Tổng quan

MinDiff là một kỹ thuật khắc phục mô hình nhằm tìm cách cân bằng hai phân phối. Trong thực tế, nó có thể được sử dụng để cân bằng tỷ lệ lỗi trên các phần dữ liệu khác nhau của bạn bằng cách xử lý những khác biệt về phân phối.

Thông thường, bạn áp dụng MinDiff khi cố gắng đảm bảo tính công bằng của nhóm, chẳng hạn như giảm thiểu sự khác biệt về tỷ lệ dương tính giả (FPR) hoặc tỷ lệ âm tính giả (FNR) giữa một lát dữ liệu thuộc lớp nhạy cảm và một lát hoạt động tốt hơn. Để thảo luận sâu hơn về số liệu công bằng, hãy xem lại tài liệu về chủ đề này. ^{1 2 3}

MinDiff hoạt động như thế nào?

Đưa ra hai bộ ví dụ từ tập dữ liệu của chúng tôi, MinDiff sẽ phạt mô hình trong quá trình đào tạo vì sự khác biệt trong việc phân bổ điểm giữa hai bộ. Hai hiệp đấu dựa trên điểm dự đoán càng khó phân biệt thì hình phạt sẽ được áp dụng càng nhỏ.

Hình phạt được áp dụng bằng cách thêm một thành phần vào tổn thất mà mô hình đang sử dụng để huấn luyện. Nó có thể được coi là phép đo sự khác biệt trong phân phối các dự đoán của mô hình. Khi mô hình huấn luyện, nó cố gắng giảm thiểu hình phạt bằng cách đưa các phân bố lại gần nhau hơn, như được hiển thị trong biểu đồ bên dưới.

Việc áp dụng MinDiff có thể đi kèm với sự đánh đổi về hiệu suất của tác vụ ban đầu. MinDiff có thể hoạt động hiệu quả trong khi không làm giảm hiệu suất vượt quá nhu cầu của sản phẩm, nhưng quyết định cân bằng giữa hiệu suất và hiệu quả của MinDiff phải được chủ sở hữu sản phẩm đưa ra một cách có chủ ý. Để biết các ví dụ về cách triển khai MinDiff, hãy xem sổ tay nghiên cứu điển hình về khắc phục mô hình .

Tài nguyên

• Để biết hướng dẫn về cách áp dụng MinDiff trên mô hình phân loại văn bản, hãy xem sổ ghi chép MinDiff Keras .

• Để có bài đăng blog về MinDiff trên blog TensorFlow, hãy xem Áp dụng MinDiff để cải thiện bài đăng blog mô hình .

• Để có thư viện Khắc phục mô hình đầy đủ, hãy xem repo Github khắc phục mô hình .