CLP(반사실적 로짓 쌍)가 사용 사례에 적합한 기술이라고 판단되면 다음 단계를 수행하여 이를 적용할 수 있습니다.
- 원본 데이터와 반사실 데이터를 사용하여
CounterfactualPackedInputs인스턴스를 만듭니다 . - 뒤집기 속도와 뒤집기 횟수를 측정하여 개입이 필요한지 결정합니다.
- 개입이 필요한 경우 원래 입력 데이터, 반사실 데이터, 원래 모델 및 반사실적 손실을 반사실 모델에 전달합니다 .
- 뒤집기 속도와 뒤집기 횟수를 측정하여 CLP의 영향을 평가합니다.
Keras 모델에 CLP를 적용하는 예를 보려면 Keras와 반사실적 로짓 쌍 사용 튜토리얼을 참조하세요.
CounterfactualPackedInputs 인스턴스 만들기
반사실적 데이터 세트를 생성하려면 먼저 제거하거나 교체할 때 모델의 예측이 변경될 수 있는 평가하려는 용어 및 기능을 결정하는 것부터 시작하세요.
평가할 용어와 기능을 이해한 후에는 원래 입력 및 반사실 데이터를 포함하는 CounterfactualPackedInputs 인스턴스를 생성해야 합니다. 원래 입력은 Keras 모델을 훈련하는 데 사용한 데이터세트여야 합니다. 반사실 데이터에는 original_x 값, counterfactual_x 값 및 counterfactual_sample_weight 가 있습니다. 반사실적 값은 하나 이상의 중요한 속성이 제거되거나 교체된다는 차이점을 제외하고 원래 값과 거의 동일해야 합니다. 반사실적 데이터 세트의 품질은 민감한 속성이 다를 때 모델의 예측이 변경되지 않도록 보장하기 위해 원래 값과 반사실적 값 사이의 손실 함수를 연결하는 데 사용되므로 중요합니다.
이 반사실적 데이터세트를 개발하는 방법에 대한 자세한 내용은 사용자 정의 반사실적 데이터세트 생성에 대한 노트북을 참조하세요.
뒤집기 횟수 및 뒤집기 속도 측정
플립은 예제에서 참조된 민감한 속성이 변경될 때 다른 결정을 내리는 분류자로 정의됩니다. 이는 분류자가 ID 속성의 존재, 부재 또는 변경 시 예측을 변경하는 상황을 포착합니다. 분류기의 실제 값(점수)을 평가할 때는 보다 연속적인 측정항목을 사용해야 합니다.
뒤집기 횟수
플립 카운트는 주어진 예의 항등항이 변경된 경우 분류기가 다른 결정을 내리는 횟수를 측정합니다.
- 전체 뒤집기 횟수(Overall Flip Count) : 예측을 긍정적에서 부정적으로 또는 그 반대로 뒤집은 총 횟수입니다.
- 긍정 대 부정 예측 뒤집기 횟수 : 예측 레이블이 긍정에서 부정으로 변경된 반전 횟수입니다.
- 음수에서 양수 예측 뒤집기 횟수 : 예측 레이블이 음수에서 양수로 변경된 뒤집기 횟수입니다.
뒤집기율
뒤집기율은 주어진 예에서 항등항이 변경된 경우 분류기가 다른 결정을 내릴 확률을 측정합니다.
- 전체 플립율 : 전체 예시 수 대비 전체 플립 횟수
- 긍정 대 부정 예측 반전율 : 반사실적 데이터세트의 긍정적 예에 대한 긍정에서 부정 반전 횟수입니다.
- Negative to Positive Prediction Flip Rate : 반사실적 데이터 세트의 부정적인 예에 대한 음수에서 양수로의 뒤집기 횟수
공정성 지표를 사용하여 뒤집기 비율과 뒤집기 횟수를 계산한 후 분류기가 데이터 내의 민감한 속성을 기반으로 다른 예측을 하는지 확인할 수 있습니다. 예제 개수와 신뢰 구간을 사용하여 CLP를 적용하기에 충분한 데이터가 있는지 확인하고 전환율에서 결론을 도출할 수 있습니다. 높은 뒤집기 비율과 뒤집기 횟수는 이러한 동작이 발생했음을 나타내며 CLP가 사용 사례에 적합한지 여부를 결정하는 데 사용될 수 있습니다. 이 결정은 모델에 따라 다르며 최종 사용자에게 발생할 수 있는 피해 및 모델이 사용되는 제품과 같은 요소에 따라 달라집니다.
Keras 모델에 반사실적 로짓 쌍 적용
CLP를 사용하려면 교정하려는 원래 Keras 모델, 원래 훈련 데이터세트, 반사실적 데이터세트가 필요합니다. 로짓 쌍에 어떤 counterfactual loss 적용해야 하는지 결정합니다. 이를 통해 원하는 반사실적 손실 함수와 원본 모델의 손실 함수를 사용하여 반사실적 모델을 구축할 수 있습니다.
CLP를 적용한 후에는 뒤집기 비율과 뒤집기 횟수, 그리고 전체 정확도와 같은 기타 측정항목의 변화를 계산하여 이 기술을 적용하여 얻은 개선 사항을 측정해야 합니다.