Phiên bản phân phối của trình tối ưu hóa Stochastic Dual Tọa độ tăng dần (SDCA) dành cho
mô hình tuyến tính với chính quy hóa L1 + L2. Vì mục tiêu tối ưu hóa toàn cục có tính lồi mạnh nên trình tối ưu hóa sẽ tối ưu hóa mục tiêu kép ở mỗi bước. Trình tối ưu hóa áp dụng từng bản cập nhật một ví dụ tại một thời điểm. Các ví dụ được lấy mẫu thống nhất và trình tối ưu hóa không có tốc độ học và có tốc độ hội tụ tuyến tính.
[Đi lên tọa độ kép ngẫu nhiên gần](http://arxiv.org/pdf/1211.2717v1.pdf).
Shai Shalev-Shwartz, Tong Zhang. 2012
$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$
[Thêm so với tính trung bình trong Tối ưu hóa kép nguyên thủy phân tán](http://arxiv.org/abs/1502.03508).
Chenxin Ma, Virginia Smith, Martin Jaggi, Michael I. Jordan, Peter Richtarik, Martin Takac. 2015
[Tăng lên tọa độ kép ngẫu nhiên với xác suất thích ứng](https://arxiv.org/abs/1502.08053).
Dominik Csiba, Zheng Qu, Peter Richtarik. 2015
Các lớp lồng nhau
| lớp học | SdcaOptimizer.Options | Thuộc tính tùy chọn cho SdcaOptimizer | |
Hằng số
| Sợi dây | OP_NAME | Tên của op này, được biết đến bởi công cụ lõi TensorFlow |
Phương pháp công cộng
| SdcaOptimizer tĩnh.Options | thích ứng (thích ứng Boolean) |
| Trình tối ưu hóa Sdca tĩnh | tạo ( Phạm vi phạm vi, Iterable< Toán hạng < TInt64 >> thưaExampleIndices, Iterable< Toán hạng < TInt64 >> thưa thớtFeatureIndices, Iterable< Toán hạng < TFloat32 >> thưa thớtFeatureValues, Iterable< Toán hạng < TFloat32 >> dày đặcTính năng, Toán hạng < TFloat32 > ví dụTrọng lượng, Toán hạng < TFloat32 > exampleLabels, Iterable< Toán hạng < TInt64 >> chỉ số thưa thớt, Iterable< Toán hạng < TFloat32 >> thưaTrọng lượng, Iterable< Toán hạng < TFloat32 >> mật độ dày đặc, Toán hạng < TFloat32 > exampleStateData, String lossType, Float l1, Float l2, numLossPartitions dài, numInnerIterations dài , Tùy chọn... tùy chọn) Phương thức xuất xưởng để tạo một lớp bao bọc một thao tác SdcaOptimizer mới. |
| Danh sách< Đầu ra < TFloat32 >> | outDeltaDenseTrọng lượng () danh sách các vectơ trong đó các giá trị là trọng số delta được liên kết với một nhóm đối tượng dày đặc. |
| Danh sách< Đầu ra < TFloat32 >> | outDeltaSparseWeights () danh sách các vectơ trong đó mỗi giá trị là trọng số delta được liên kết với một nhóm đối tượng thưa thớt. |
| Đầu ra < TFloat32 > | outExampleStateData () danh sách các vectơ chứa dữ liệu trạng thái ví dụ được cập nhật. |
Phương pháp kế thừa
Hằng số
Chuỗi cuối cùng tĩnh công khai OP_NAME
Tên của op này, được biết đến bởi công cụ lõi TensorFlow
Phương pháp công cộng
public static SdcaOptimizer.Options thích ứng (Thích ứng Boolean)
Thông số
| thích nghi | Có sử dụng SDCA thích ứng cho vòng lặp bên trong hay không. |
|---|
công khai tĩnh SdcaOptimizer tạo ( Phạm vi phạm vi , Iterable< Toán hạng < TInt64 >> thưa thớtExampleIndices, Iterable< Toán hạng < TInt64 >> thưa thớtFeatureIndices, Iterable< Toán hạng < TFloat32 >> thưa thớtFeatureValues, Iterable< Toán hạng < TFloat32 >> mật độ tính năng, Toán hạng < TFloat32 > ví dụ Trọng lượng, Toán hạng < TFloat32 > exampleLabels, Iterable< Toán hạng < TInt64 >> chỉ số thưa thớt, Iterable< Toán hạng < TFloat32 >> Độ dày thưa thớt, Iterable< Toán hạng < TFloat32 >> Mật độ dày đặc, Toán hạng < TFloat32 > exampleStateData, String lossType, Float l1, Float l2, Long numLossPartitions , Tùy chọn numInnerIterations dài, Tùy chọn... )
Phương thức xuất xưởng để tạo một lớp bao bọc một thao tác SdcaOptimizer mới.
Thông số
| phạm vi | phạm vi hiện tại |
|---|---|
| thưa thớtVí dụChỉ số | danh sách các vectơ chứa các chỉ số mẫu. |
| thưa thớtTính năngChỉ số | danh sách các vectơ chứa các chỉ số đặc trưng. |
| thưa thớtTính năngGiá trị | danh sách các vectơ chứa giá trị đặc trưng được liên kết với từng nhóm đặc điểm. |
| tính năng dày đặc | một danh sách các ma trận chứa các giá trị đặc trưng dày đặc. |
| ví dụTrọng lượng | một vectơ chứa trọng số liên quan đến mỗi ví dụ. |
| ví dụNhãn | một vectơ chứa nhãn/đích được liên kết với mỗi ví dụ. |
| chỉ số thưa thớt | một danh sách các vectơ trong đó mỗi giá trị là các chỉ số có trọng số tương ứng theo trọng số thưa thớt. Trường này có thể bị bỏ qua đối với cách tiếp cận dày đặc. |
| thưa thớtTrọng lượng | danh sách các vectơ trong đó mỗi giá trị là trọng số được liên kết với một nhóm đối tượng thưa thớt. |
| dày đặcTrọng lượng | danh sách các vectơ trong đó các giá trị là trọng số được liên kết với một nhóm tính năng dày đặc. |
| ví dụStateData | danh sách các vectơ chứa dữ liệu trạng thái ví dụ. |
| loại mất mát | Loại mất mát ban đầu. Hiện tại SdcaSolver hỗ trợ tổn thất hậu cần, bình phương và bản lề. |
| l1 | Cường độ chính quy l1 đối xứng. |
| l2 | Cường độ chính quy l2 đối xứng. |
| numLossPartitions | Số lượng phân vùng của hàm mất toàn cục. |
| numInnerIterations | Số lần lặp lại trên mỗi lô nhỏ. |
| tùy chọn | mang các giá trị thuộc tính tùy chọn |
Trả lại
- một phiên bản mới của SdcaOptimizer
Danh sách công khai< Đầu ra < TFloat32 >> outDeltaDenseWeights ()
danh sách các vectơ trong đó các giá trị là trọng số delta được liên kết với một nhóm đối tượng dày đặc.
Danh sách công khai< Đầu ra < TFloat32 >> outDeltaSparseWeights ()
danh sách các vectơ trong đó mỗi giá trị là trọng số delta được liên kết với một nhóm đối tượng thưa thớt.