Cắt bớt trọng lượng không đáng kể

Tài liệu này cung cấp thông tin tổng quan về việc cắt tỉa mô hình để giúp bạn xác định xem nó phù hợp với trường hợp sử dụng của bạn như thế nào.

Tổng quan

Việc cắt bớt trọng số dựa trên cường độ dần dần loại bỏ các trọng số của mô hình trong quá trình huấn luyện để đạt được độ thưa của mô hình. Các mô hình thưa thớt dễ nén hơn và chúng ta có thể bỏ qua các số 0 trong quá trình suy luận để cải thiện độ trễ.

Kỹ thuật này mang lại những cải tiến thông qua việc nén mô hình. Trong tương lai, hỗ trợ khung cho kỹ thuật này sẽ mang lại những cải thiện về độ trễ. Chúng tôi đã thấy những cải tiến lên tới 6 lần về khả năng nén mô hình với độ chính xác bị mất ở mức tối thiểu.

Kỹ thuật này đang được đánh giá trong nhiều ứng dụng giọng nói khác nhau, chẳng hạn như nhận dạng giọng nói và chuyển văn bản thành giọng nói, đồng thời đã được thử nghiệm trên nhiều mô hình dịch thuật và thị giác khác nhau.

Ma trận tương thích API

Người dùng có thể áp dụng tính năng cắt tỉa bằng các API sau:

  • Xây dựng mô hình: keras chỉ có các mô hình Tuần tự và Chức năng
  • Phiên bản TensorFlow: TF 1.x cho phiên bản 1.14+ và 2.x.
    • tf.compat.v1 với gói TF 2.X và tf.compat.v2 với gói TF 1.X không được hỗ trợ.
  • Chế độ thực thi TensorFlow: cả đồ thị và háo hức
  • Đào tạo phân tán: tf.distribute chỉ thực hiện biểu đồ

Chúng tôi có lộ trình bổ sung hỗ trợ trong các lĩnh vực sau:

Kết quả

Phân loại hình ảnh

Người mẫu Độ chính xác Top-1 không thưa thớt Độ chính xác thưa thớt ngẫu nhiên Độ thưa thớt ngẫu nhiên Độ chính xác thưa thớt về cấu trúc Cấu trúc thưa thớt
Khởi đầuV3 78,1% 78,0% 50% 75,8% 2 x 4
76,1% 75%
74,6% 87,5%
Mạng di độngV1 224 71,04% 70,84% 50% 67,35% 2 x 4
MobilenetV2 224 71,77% 69,64% 50% 66,75% 2 x 4

Các mô hình đã được thử nghiệm trên Imagenet.

Dịch

Người mẫu BLEU không thưa thớt BLEU thưa thớt thưa thớt
GNMT EN-DE 26,77 26,86 80%
26,52 85%
26.19 90%
GNMT DE-EN 29,47 29:50 80%
29,24 85%
28,81 90%

Các mô hình sử dụng tập dữ liệu tiếng Đức và tiếng Anh WMT16 với news-test2013 làm tập phát triển và news-test2015 làm tập kiểm tra.

Mô hình phát hiện từ khóa

DS-CNN-L là mô hình phát hiện từ khóa được tạo cho các thiết bị biên. Nó có thể được tìm thấy trong kho ví dụ của phần mềm ARM.

Người mẫu Độ chính xác không thưa thớt Độ chính xác thưa thớt về cấu trúc (mẫu 2 x 4) Độ chính xác thưa thớt ngẫu nhiên (độ thưa thớt mục tiêu 50%)
DS-CNN-L 95,23 94,33 94,84

Ví dụ

Ngoài hướng dẫn Prune with Keras , hãy xem các ví dụ sau:

  • Huấn luyện mô hình CNN về nhiệm vụ phân loại chữ số viết tay MNIST bằng cách cắt tỉa: mã
  • Huấn luyện LSTM về nhiệm vụ phân loại tình cảm IMDB bằng cách cắt tỉa: mã

Để biết thông tin cơ bản, hãy xem Cắt tỉa hoặc không cắt tỉa: khám phá hiệu quả của việc cắt tỉa để nén mô hình [ giấy ].