รายการอัปเดตแบบกระจัดกระจายใน '*var' และ '*accum' ตามอัลกอริทึม FOBOS
นั่นคือสำหรับแถวที่เราได้ grad เราอัพเดต var และ accum ดังนี้: $$accum += grad grad$$$$prox_v = var$$$$prox_v -= lr grad (1 / sqrt(accum))$$$$var = sign(prox_v)/(1+lrl2) max{|prox_v|-lrl1,0}$$
คลาสที่ซ้อนกัน
ระดับ | SparseApplyProximalAdagrad.Options | แอ็ตทริบิวต์ทางเลือกสำหรับ SparseApplyProximalAdagrad |
ค่าคงที่
สตริง | OP_NAME | ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow |
วิธีการสาธารณะ
เอาท์พุต <T> | เป็นเอาท์พุต () ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์ |
คงที่ <T ขยาย TType > SparseApplyProximalAdagrad <T> | สร้าง ( ขอบเขต ขอบเขต ตัวดำเนินการ <T> var, ตัวดำเนินการ <T> สะสม, ตัวถูกดำเนิน การ <T> lr, ตัวถูกดำเนินการ <T> l1, ตัวถูกดำเนินการ <T> l2, ตัวถูกดำเนินการ <T> ผู้สำเร็จการศึกษา, ตัวถูกดำเนินการ <? ขยาย TNumber > ดัชนี, ตัวเลือก ... ตัวเลือก) วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ SparseApplyProximalAdagrad ใหม่ |
เอาท์พุต <T> | ออก () เช่นเดียวกับ "var" |
คง SparseApplyProximalAdagrad.Options | useLocking (การใช้ล็อคแบบบูลีน) |
วิธีการสืบทอด
ค่าคงที่
สตริงสุดท้ายแบบคงที่สาธารณะ OP_NAME
ชื่อของ op นี้ ซึ่งรู้จักกันในชื่อของเอ็นจิ้นหลัก TensorFlow
วิธีการสาธารณะ
เอาท์พุท สาธารณะ <T> asOutput ()
ส่งกลับค่าแฮนเดิลสัญลักษณ์ของเทนเซอร์
อินพุตสำหรับการดำเนินการ TensorFlow คือเอาต์พุตของการดำเนินการ TensorFlow อื่น วิธีการนี้ใช้เพื่อรับหมายเลขอ้างอิงสัญลักษณ์ที่แสดงถึงการคำนวณอินพุต
สาธารณะ SparseApplyProximalAdagrad <T> สร้าง แบบคงที่ (ขอบเขต ขอบเขต , ตัวดำเนินการ <T> var, ตัวดำเนินการ <T> สะสม, ตัวดำเนินการ <T> lr, ตัวดำเนินการ <T> l1, ตัวดำเนินการ <T> l2, ตัวดำเนินการ <T> ผู้สำเร็จการศึกษา, ตัวดำเนินการ <? ขยาย TNumber > ดัชนี ตัวเลือก... ตัวเลือก)
วิธีการจากโรงงานเพื่อสร้างคลาสที่รวมการดำเนินการ SparseApplyProximalAdagrad ใหม่
พารามิเตอร์
ขอบเขต | ขอบเขตปัจจุบัน |
---|---|
var | ควรมาจากตัวแปร () |
สะสม | ควรมาจากตัวแปร () |
ล | อัตราการเรียนรู้ ต้องเป็นสเกลาร์ |
l1 | การทำให้เป็นมาตรฐาน L1 ต้องเป็นสเกลาร์ |
l2 | การทำให้เป็นมาตรฐานของ L2 ต้องเป็นสเกลาร์ |
ผู้สำเร็จการศึกษา | การไล่ระดับสี |
ดัชนี | เวกเตอร์ของดัชนีในมิติแรกของ var และ accum |
ตัวเลือก | มีค่าแอตทริบิวต์ทางเลือก |
การส่งคืน
- อินสแตนซ์ใหม่ของ SparseApplyProximalAdagrad
สาธารณะ SparseApplyProximalAdagrad.Options useLocking แบบคงที่ (useLocking แบบบูลีน)
พารามิเตอร์
ใช้ล็อค | หากเป็น True การอัปเดต var และ accum tensor จะได้รับการปกป้องด้วยการล็อค มิฉะนั้นพฤติกรรมจะไม่ได้กำหนดไว้ แต่อาจแสดงความขัดแย้งน้อยลง |
---|