เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึมของ Adam
การปรับให้เหมาะสมของอดัมเป็นวิธีการสุ่มไล่ระดับซึ่งอยู่บนพื้นฐานของการประมาณค่าแบบปรับตัวของโมเมนต์ลำดับที่หนึ่งและลำดับที่สอง
จากข้อมูลของ Kingma et al., 2014 วิธีนี้ "มีประสิทธิภาพในการคำนวณ มีความต้องการหน่วยความจำเพียงเล็กน้อย ไม่แปรผันกับการลดขนาดการไล่ระดับสีในแนวทแยง และเหมาะสำหรับปัญหาที่มีขนาดใหญ่ในแง่ของข้อมูล/พารามิเตอร์"
@see Kingma et al., 2014, Adam: A Method for Stochastic Optimization
ค่าคงที่
ลอย | BETA_ONE_DEFAULT | |
ลอย | BETA_TWO_DEFAULT | |
ลอย | EPSILON_DEFAULT | |
สตริง | FIRST_MOMENT | |
ลอย | LEARNING_RATE_DEFAULT | |
สตริง | SECOND_MOMENT |
ค่าคงที่ที่สืบทอดมา
คอนสตรัคชั่นสาธารณะ
วิธีการสาธารณะ
คงที่ <T ขยาย TType > Op | createAdamMinimize (ขอบเขต ขอบเขต , การสูญเสีย ตัวดำเนินการ <T>, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก) สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด |
สตริง | getOptimizerName () รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ |
สตริง | toString () |
วิธีการสืบทอด
ค่าคงที่
โฟลตสุดท้ายแบบคงที่สาธารณะ BETA_ONE_DEFAULT
โฟลตสุดท้ายคงสาธารณะ BETA_TWO_DEFAULT
โฟลตสุดท้ายแบบคงที่สาธารณะ EPSILON_DEFAULT
สตริงสุดท้ายแบบคงที่สาธารณะ FIRST_MOMENT
โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT
สตริงสุดท้ายแบบคงที่สาธารณะ SECOND_MOMENT
คอนสตรัคชั่นสาธารณะ
อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
เบต้าหนึ่ง | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9 |
เบต้าทู | อัตราการสลายตัวแบบเอ็กซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999 |
เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8 |
อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
ชื่อ | ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม" |
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
พารามิเตอร์
กราฟ | กราฟ TensorFlow |
---|---|
ชื่อ | ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม" |
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
เบต้าหนึ่ง | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9 |
เบต้าทู | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999 |
เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8 |
วิธีการสาธารณะ
Op createAdamMinimize แบบ คงที่สาธารณะ (ขอบเขต ขอบเขต , ตัวดำเนินการ <T> การสูญเสีย, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก)
สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
พารามิเตอร์
ขอบเขต | ขอบเขต TensorFlow |
---|---|
การสูญเสีย | การสูญเสียเพื่อลดให้เหลือน้อยที่สุด |
อัตราการเรียนรู้ | อัตราการเรียนรู้ |
เบต้าหนึ่ง | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 |
เบต้าทู | อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 |
เอปไซลอน | ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ |
ตัวเลือก | คุณลักษณะของเครื่องมือเพิ่มประสิทธิภาพทางเลือก |
การส่งคืน
- การดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย | ถ้าขอบเขตไม่ได้แสดงถึงกราฟ |
---|
สตริงสาธารณะ getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
การส่งคืน
- ชื่อเครื่องมือเพิ่มประสิทธิภาพ