Các mục cập nhật thưa thớt trong '*var' và '*accum' theo thuật toán FOBOS.
Đó là đối với các hàng chúng tôi có grad, chúng tôi cập nhật var và accum như sau: $$accum += grad grad$$$$prox_v = var$$$$prox_v -= lr grad (1 / sqrt(accum))$$$$var = sign(prox_v)/(1+lrl2) max{|prox_v|-lrl1,0}$$
Các lớp lồng nhau
lớp học | SparseApplyProximalAdagrad.Options | Thuộc tính tùy chọn cho SparseApplyProximalAdagrad |
Hằng số
Sợi dây | OP_NAME | Tên của op này, được biết đến bởi công cụ lõi TensorFlow |
Phương pháp công khai
Đầu ra <T> | asOutput () Trả về tay cầm tượng trưng của tensor. |
tĩnh <T mở rộng TType > SparseApplyProximalAdagrad <T> | |
Đầu ra <T> | ngoài () Tương tự như "var". |
tĩnh SparseApplyProximalAdagrad.Options | useLocking (Boolean useLocking) |
Phương pháp kế thừa
Hằng số
Chuỗi cuối cùng tĩnh công khai OP_NAME
Tên của op này, được biết đến bởi công cụ lõi TensorFlow
Phương pháp công khai
Đầu ra công khai <T> asOutput ()
Trả về tay cầm tượng trưng của tensor.
Đầu vào của các hoạt động TensorFlow là đầu ra của một hoạt động TensorFlow khác. Phương pháp này được sử dụng để thu được một thẻ điều khiển mang tính biểu tượng đại diện cho việc tính toán đầu vào.
public static SparseApplyProximalAdagrad <T> tạo ( Phạm vi phạm vi, Toán hạng <T> var, Toán hạng <T> accum, Toán hạng <T> lr, Toán hạng <T> l1, Toán hạng <T> l2, Toán hạng <T> grad, Toán hạng <? mở rộng TNumber > chỉ số, Tùy chọn... tùy chọn)
Phương thức xuất xưởng để tạo một lớp bao bọc một hoạt động SparseApplyProximalAdagrad mới.
Thông số
phạm vi | phạm vi hiện tại |
---|---|
var | Phải từ một Biến(). |
tích lũy | Phải từ một Biến(). |
lr | Tỷ lệ học tập. Phải là một vô hướng. |
l1 | Chính quy hóa L1. Phải là một vô hướng. |
l2 | Chính quy hóa L2. Phải là một vô hướng. |
tốt nghiệp | Độ dốc. |
chỉ số | Một vectơ chỉ số theo chiều thứ nhất của var và accum. |
tùy chọn | mang các giá trị thuộc tính tùy chọn |
Trả lại
- một phiên bản mới của SparseApplyProximalAdagrad
public static SparseApplyProximalAdagrad.Options useLocking (Boolean useLocking)
Thông số
sử dụngKhóa | Nếu Đúng, việc cập nhật các tensor var và accum sẽ được bảo vệ bằng khóa; mặt khác, hành vi không được xác định, nhưng có thể ít gây tranh cãi hơn. |
---|