Khi bạn đã xác định rằng Ghép nối logit phản thực (CLP) là kỹ thuật phù hợp cho trường hợp sử dụng của mình, bạn có thể áp dụng nó bằng cách thực hiện các bước sau:
- Tạo một phiên bản
CounterfactualPackedInputsvới dữ liệu gốc và dữ liệu phản thực tế. - Đo tỷ lệ lật và số lần lật để xác định xem có cần can thiệp hay không.
- Nếu cần can thiệp, hãy chuyển dữ liệu đầu vào ban đầu, dữ liệu phản thực, mô hình gốc và tổn thất phản thực sang mô hình phản thực.
- Đánh giá tác động của CLP bằng cách đo tỷ lệ lật và số lần lật.
Để xem ví dụ về việc áp dụng CLP cho mô hình Keras, hãy xem hướng dẫn Sử dụng Ghép nối nhật ký phản thực với Keras .
Tạo một phiên bản của CounterfactualPackedInputs
Để tạo tập dữ liệu phản thực, hãy bắt đầu bằng cách xác định các thuật ngữ và tính năng bạn muốn đánh giá mà khi bị xóa hoặc thay thế có thể làm thay đổi dự đoán của mô hình của bạn.
Sau khi hiểu các điều khoản và tính năng cần đánh giá, bạn sẽ cần tạo một phiên bản CounterfactualPackedInputs , bao gồm dữ liệu đầu vào ban đầu và dữ liệu phản thực. Đầu vào ban đầu phải là tập dữ liệu bạn đã sử dụng để huấn luyện mô hình Keras của mình. Dữ liệu phản thực tế có giá trị original_x , giá trị counterfactual_x và counterfactual_sample_weight . Giá trị phản thực phải gần giống với giá trị ban đầu với điểm khác biệt là một hoặc nhiều thuộc tính nhạy cảm bị loại bỏ hoặc thay thế. Chất lượng của tập dữ liệu phản thực rất quan trọng vì nó được sử dụng để ghép hàm mất mát giữa giá trị ban đầu và giá trị phản thực với mục tiêu đảm bảo rằng dự đoán của mô hình không thay đổi khi thuộc tính nhạy cảm khác nhau.
Để biết chi tiết về cách phát triển tập dữ liệu phản thực này, hãy xem sổ ghi chép về cách tạo tập dữ liệu phản thực tùy chỉnh .
Đo số lần lật và tốc độ lật
Một lần lật được định nghĩa là một bộ phân loại đưa ra quyết định khác khi thuộc tính nhạy cảm được tham chiếu trong ví dụ thay đổi. Nó nắm bắt tình huống trong đó bộ phân loại thay đổi dự đoán của nó khi có, vắng mặt hoặc thay đổi thuộc tính nhận dạng. Nên sử dụng số liệu liên tục hơn khi đánh giá giá trị thực (điểm) của bộ phân loại.
Đếm lật
Số lần lật đo số lần bộ phân loại đưa ra quyết định khác nếu thuật ngữ nhận dạng trong một ví dụ nhất định bị thay đổi.
- Tổng số lần lật : Tổng số lần lật dự đoán từ dương sang âm và ngược lại.
- Số lần lật dự đoán dương sang âm : Số lần lật trong đó nhãn dự đoán thay đổi từ dương sang âm.
- Số lần lật dự đoán từ âm sang dương : Số lần lật trong đó nhãn dự đoán thay đổi từ âm sang dương.
Tỷ lệ lật
Tỷ lệ lật đo lường xác suất mà bộ phân loại đưa ra quyết định khác nếu thuật ngữ nhận dạng trong một ví dụ nhất định bị thay đổi.
- Tỷ lệ lật tổng thể : Tổng số lần lật trên tổng số ví dụ
- Tỷ lệ lật dự đoán dương sang âm : Số lần lật từ dương sang âm so với các ví dụ dương trong tập dữ liệu phản thực tế
- Tỷ lệ lật dự đoán từ âm sang dương : Số lần lật từ âm sang dương trên các ví dụ âm trong tập dữ liệu phản thực tế
Sau khi tính toán tỷ lệ lật và số lần lật bằng Chỉ báo công bằng , bạn có thể xác định xem trình phân loại có đưa ra dự đoán khác dựa trên thuộc tính nhạy cảm trong dữ liệu hay không. Bạn có thể sử dụng số lượng mẫu và khoảng tin cậy để xác định xem bạn có đủ dữ liệu để áp dụng CLP và rút ra kết luận từ tỷ lệ lật hay không. Tỷ lệ lật và số lần lật cao là dấu hiệu cho thấy hành vi này đang xảy ra và có thể được sử dụng để quyết định xem CLP có phù hợp với trường hợp sử dụng của bạn hay không. Quyết định này dành riêng cho mô hình của bạn và phụ thuộc vào các yếu tố như tác hại có thể gây ra cho người dùng cuối và sản phẩm mà mô hình đó được sử dụng.
Áp dụng Ghép nối nhật ký phản thực cho Mô hình Keras của bạn
Để sử dụng CLP, bạn cần có mô hình Keras ban đầu mà bạn đang muốn khắc phục, tập dữ liệu huấn luyện ban đầu và tập dữ liệu phản thực. Xác định counterfactual loss nào sẽ được áp dụng cho cặp logit. Với điều này, bạn có thể xây dựng mô hình Phản thực tế với hàm mất mát phản thực mong muốn và hàm mất mát từ mô hình ban đầu của bạn.
Sau khi áp dụng CLP, bạn nên tính toán tốc độ lật và số lần lật cũng như mọi thay đổi trong các số liệu khác, chẳng hạn như độ chính xác tổng thể để đo lường sự cải thiện nhờ áp dụng kỹ thuật này.