Setelah Anda menentukan bahwa Counterfactual Logit Pairing (CLP) adalah teknik yang sesuai untuk kasus penggunaan Anda, Anda dapat menerapkannya dengan melakukan langkah-langkah berikut:
- Buat instance
CounterfactualPackedInputsdengan data asli dan kontrafaktual. - Ukur flip rate dan flip count untuk menentukan apakah intervensi diperlukan.
- Jika diperlukan intervensi, masukkan data masukan asli, data kontrafaktual, model asli, dan kerugian couterfaktual ke dalam model kontrafaktual.
- Menilai dampak CLP dengan mengukur flip rate dan flip count.
Untuk melihat contoh penerapan CLP ke model Keras, lihat tutorial Menggunakan Pemasangan Logit Kontrafaktual dengan Keras .
Buat sebuah instance dari CounterfactualPackedInputs
Untuk membuat kumpulan data kontrafaktual, mulailah dengan menentukan istilah dan fitur yang ingin Anda nilai, yang jika dihapus atau diganti, dapat mengubah prediksi model Anda.
Setelah Anda memahami syarat dan fitur yang akan dinilai, Anda perlu membuat instance CounterfactualPackedInputs , yang mencakup masukan asli dan data kontrafaktual. Masukan asli harus berupa kumpulan data yang Anda gunakan untuk melatih model Keras Anda. Data kontrafaktual memiliki nilai original_x , nilai counterfactual_x , dan counterfactual_sample_weight . Nilai kontrafaktual harus hampir sama dengan nilai asli, dengan perbedaan satu atau lebih atribut sensitif dihilangkan atau diganti. Kualitas kumpulan data kontrafaktual penting karena digunakan untuk memasangkan fungsi kerugian antara nilai asli dan nilai kontrafaktual dengan tujuan memastikan bahwa prediksi model tidak berubah ketika atribut sensitif berbeda.
Untuk detail tentang cara mengembangkan kumpulan data kontrafaktual ini, lihat buku catatan tentang cara membuat kumpulan data kontrafaktual khusus .
Ukur jumlah flip dan kecepatan flip
Flip didefinisikan sebagai pengklasifikasi yang memberikan keputusan berbeda ketika atribut sensitif yang dirujuk dalam contoh berubah. Ini menangkap situasi di mana pengklasifikasi mengubah prediksinya dengan ada, tidak adanya, atau perubahan atribut identitas. Metrik yang lebih berkelanjutan harus digunakan saat menilai nilai sebenarnya (skor) dari suatu pengklasifikasi.
Jumlah Balik
Flip count mengukur berapa kali pengklasifikasi memberikan keputusan berbeda jika istilah identitas dalam contoh tertentu diubah.
- Jumlah Flip Keseluruhan : Total flips suatu prediksi dari positif ke negatif dan sebaliknya.
- Hitungan Flip Prediksi Positif ke Negatif : Jumlah flips dimana label prediksi berubah dari positif ke negatif.
- Jumlah Flip Prediksi Negatif ke Positif : Jumlah flip dimana label prediksi berubah dari negatif ke positif.
Tingkat Balik
Flip rate mengukur probabilitas bahwa pengklasifikasi memberikan keputusan yang berbeda jika istilah identitas dalam contoh yang diberikan diubah.
- Tingkat Balik Keseluruhan : Total jumlah balik terhadap jumlah total contoh
- Flip Rate Prediksi Positif ke Negatif : Flip count positif ke negatif atas contoh positif dalam kumpulan data kontrafaktual
- Tingkat Balik Prediksi Negatif ke Positif : Penghitungan balik negatif ke positif atas contoh negatif dalam kumpulan data kontrafaktual
Setelah menghitung flip rate dan flip count dengan Fairness Indicators , Anda dapat menentukan apakah pengklasifikasi membuat prediksi berbeda berdasarkan atribut sensitif dalam data. Anda dapat menggunakan contoh hitungan dan interval kepercayaan untuk menentukan apakah Anda memiliki cukup data untuk menerapkan CLP dan menarik kesimpulan dari flip rate. Flip rate dan jumlah flip yang tinggi menunjukkan terjadinya perilaku ini dan dapat digunakan untuk memutuskan apakah CLP sesuai untuk kasus penggunaan Anda. Keputusan ini khusus untuk model Anda dan bergantung pada faktor-faktor seperti kerugian yang mungkin ditimbulkan pada pengguna akhir dan produk yang menggunakan model tersebut.
Terapkan Pemasangan Logit Kontrafaktual ke Model Keras Anda
Untuk menggunakan CLP, Anda memerlukan model Keras asli yang ingin Anda remediasi, kumpulan data pelatihan asli, dan kumpulan data kontrafaktual. Tentukan counterfactual loss apa yang harus diterapkan untuk pasangan logit. Dengan ini, Anda dapat membangun model Kontrafaktual dengan fungsi kerugian kontrafaktual dan fungsi kerugian yang diinginkan dari model asli Anda.
Setelah menerapkan CLP, Anda harus menghitung flip rate dan flip count, serta perubahan apa pun pada metrik lainnya seperti akurasi keseluruhan untuk mengukur peningkatan yang dihasilkan dari penerapan teknik ini.