Po ustaleniu, że kontrfaktyczne parowanie logitów (CLP) jest techniką odpowiednią dla Twojego przypadku użycia, możesz ją zastosować, wykonując następujące kroki:
- Utwórz instancję
CounterfactualPackedInputsz danymi oryginalnymi i alternatywnymi. - Zmierz współczynnik odwracania i liczbę odchyleń, aby określić, czy konieczna jest interwencja.
- Jeśli konieczna jest interwencja, przekaż oryginalne dane wejściowe, dane alternatywne, model oryginalny i stratę kontrfaktyczną do modelu kontrfaktycznego.
- Ocenić wpływ CLP, mierząc współczynnik odrzuceń i liczbę odrzutów.
Aby zobaczyć przykład zastosowania CLP do modelu Keras, zobacz samouczek dotyczący używania alternatywnego parowania logitowego z Keras .
Utwórz instancję CounterfactualPackedInputs
Aby utworzyć zbiór danych alternatywnych, zacznij od określenia terminów i funkcji, które chcesz ocenić, a które po usunięciu lub wymianie mogą zmienić przewidywania Twojego modelu.
Gdy zrozumiesz warunki i funkcje, które chcesz ocenić, musisz utworzyć instancję CounterfactualPackedInputs , która zawiera oryginalne dane wejściowe i dane alternatywne. Oryginalnym wejściem powinien być zbiór danych użyty do szkolenia modelu Keras. Dane kontrfaktyczne mają wartość original_x , wartość counterfactual_x i wagę_próbki counterfactual_sample_weight . Wartość alternatywna powinna być prawie identyczna z wartością pierwotną, z tą różnicą, że jeden lub więcej wrażliwych atrybutów zostało usuniętych lub zastąpionych. Jakość zbioru danych scenariusza alternatywnego jest ważna, ponieważ służy on do łączenia w pary funkcji straty między wartością pierwotną a wartością alternatywną w celu zapewnienia, że przewidywania modelu nie zmienią się w przypadku zmiany wrażliwego atrybutu.
Szczegółowe informacje na temat tworzenia tego zbioru danych opartego na scenariuszu alternatywnym można znaleźć w notatniku na temat tworzenia niestandardowego zbioru danych opartego na scenariuszu alternatywnym .
Zmierz liczbę i współczynnik odwracania
Odwrócenie definiuje się jako klasyfikator dający inną decyzję, gdy zmienia się wrażliwy atrybut, o którym mowa w przykładzie. Oddaje sytuację, w której klasyfikator zmienia swoje przewidywania w przypadku obecności, braku lub zmiany atrybutu tożsamości. Przy ocenie rzeczywistej wartości (wyniku) klasyfikatora należy zastosować bardziej ciągłą metrykę.
Odwróć liczbę
Liczba odwracań mierzy, ile razy klasyfikator podjął inną decyzję, jeśli człon tożsamości w danym przykładzie został zmieniony.
- Ogólna liczba przeskoków : Całkowita liczba przeskoków prognozy z wartości dodatniej na ujemną i odwrotnie.
- Liczba odwróceń prognozy dodatniej do ujemnej : Liczba odwróceń, w przypadku których etykieta przewidywania zmieniła się z dodatniej na ujemną.
- Liczba odwróceń przewidywania od ujemnego do dodatniego : Liczba odwróceń, w przypadku których etykieta przewidywania zmieniła się z ujemnej na dodatnią.
Współczynnik odwracania
Współczynnik odwrócenia mierzy prawdopodobieństwo, że klasyfikator podejmie inną decyzję, jeśli człon tożsamości w danym przykładzie został zmieniony.
- Ogólny współczynnik odwrócenia : Całkowita liczba przerzuceń w stosunku do całkowitej liczby przykładów
- Współczynnik odwrócenia prognozy pozytywnej do negatywnej : Liczba przerzuceń z pozytywnej na ujemną w stosunku do pozytywnych przykładów w zbiorze danych alternatywnych
- Współczynnik odwrócenia prognozy ujemnej do dodatniej : liczba przerzutów ujemnych do dodatnich w przypadku przykładów ujemnych w zbiorze danych alternatywnych
Po obliczeniu współczynnika odwrócenia i liczby odrzuceń za pomocą wskaźników uczciwości można określić, czy klasyfikator dokonuje innej prognozy na podstawie wrażliwego atrybutu danych. Możesz użyć liczby przykładów i przedziałów ufności, aby określić, czy masz wystarczające dane, aby zastosować CLP i wyciągnąć wnioski z współczynnika odwrócenia. Wysoki współczynnik odwracania i liczba odwracania wskazują na występowanie tego zachowania i można je wykorzystać do podjęcia decyzji, czy CLP jest odpowiedni dla danego przypadku użycia. Ta decyzja jest specyficzna dla Twojego modelu i zależy od takich czynników, jak szkody, jakie mogą zostać wyrządzone użytkownikom końcowym oraz produkt, w którym używany jest dany model.
Zastosuj alternatywne parowanie logitowe do swojego modelu Keras
Aby korzystać z CLP, potrzebujesz oryginalnego modelu Keras, który chcesz naprawić, oryginalnego zbioru danych szkoleniowych i zbioru danych alternatywnego. Określ, jaką counterfactual loss należy zastosować do parowania logitowego. Dzięki temu możesz zbudować model kontrfaktyczny z pożądaną funkcją straty kontrfaktycznej i funkcją straty z modelu oryginalnego.
Po zastosowaniu CLP należy obliczyć współczynnik odrzuceń i liczbę odrzuceń oraz wszelkie zmiany innych wskaźników, takich jak ogólna dokładność, aby zmierzyć poprawę wynikającą z zastosowania tej techniki.