Adam

อดัม ชั้นเรียนสาธารณะ

เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึมของ Adam

การปรับให้เหมาะสมของอดัมเป็นวิธีการสุ่มไล่ระดับซึ่งอยู่บนพื้นฐานของการประมาณค่าแบบปรับตัวของโมเมนต์ลำดับที่หนึ่งและลำดับที่สอง

จากข้อมูลของ Kingma et al., 2014 วิธีนี้ "มีประสิทธิภาพในการคำนวณ มีความต้องการหน่วยความจำเพียงเล็กน้อย ไม่แปรผันกับการลดขนาดการไล่ระดับสีในแนวทแยง และเหมาะสำหรับปัญหาที่มีขนาดใหญ่ในแง่ของข้อมูล/พารามิเตอร์"

@see Kingma et al., 2014, Adam: A Method for Stochastic Optimization

ค่าคงที่

ลอย BETA_ONE_DEFAULT
ลอย BETA_TWO_DEFAULT
ลอย EPSILON_DEFAULT
สตริง FIRST_MOMENT
ลอย LEARNING_RATE_DEFAULT
สตริง SECOND_MOMENT

ค่าคงที่ที่สืบทอดมา

คอนสตรัคชั่นสาธารณะ

อดัม ( กราฟ กราฟ)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ ชื่อสตริง อัตราการเรียนรู้แบบลอยตัว)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม
อดัม ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)
สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

วิธีการสาธารณะ

คงที่ <T ขยาย TType > Op
createAdamMinimize (ขอบเขต ขอบเขต , การสูญเสีย ตัวดำเนินการ <T>, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก)
สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
สตริง
getOptimizerName ()
รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ
สตริง

วิธีการสืบทอด

ค่าคงที่

โฟลตสุดท้ายแบบคงที่สาธารณะ BETA_ONE_DEFAULT

ค่าคงที่: 0.9

โฟลตสุดท้ายคงสาธารณะ BETA_TWO_DEFAULT

ค่าคงที่: 0.999

โฟลตสุดท้ายแบบคงที่สาธารณะ EPSILON_DEFAULT

ค่าคงที่: 1.0E-8

สตริงสุดท้ายแบบคงที่สาธารณะ FIRST_MOMENT

ค่าคงที่: "m"

โฟลตสุดท้ายแบบคงที่สาธารณะ LEARNING_RATE_DEFAULT

ค่าคงที่: 0.001

สตริงสุดท้ายแบบคงที่สาธารณะ SECOND_MOMENT

ค่าคงที่: "v"

คอนสตรัคชั่นสาธารณะ

อดัม สาธารณะ ( กราฟ กราฟ)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow

อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอยตัว)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
อัตราการเรียนรู้ อัตราการเรียนรู้

อดัม สาธารณะ ( กราฟ กราฟ, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
อัตราการเรียนรู้ อัตราการเรียนรู้
เบต้าหนึ่ง อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9
เบต้าทู อัตราการสลายตัวแบบเอ็กซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999
เอปไซลอน ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8

อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอยตัว)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
ชื่อ ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม"
อัตราการเรียนรู้ อัตราการเรียนรู้

อดัม สาธารณะ ( กราฟ กราฟ, ชื่อสตริง, อัตราการเรียนรู้แบบลอย, โฟลต betaOne, โฟลต betaTwo, โฟลตเอปไซลอน)

สร้างเครื่องมือเพิ่มประสิทธิภาพอดัม

พารามิเตอร์
กราฟ กราฟ TensorFlow
ชื่อ ชื่อเครื่องมือเพิ่มประสิทธิภาพ ค่าเริ่มต้นคือ "อดัม"
อัตราการเรียนรู้ อัตราการเรียนรู้
เบต้าหนึ่ง อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1 ค่าเริ่มต้นเป็น 0.9
เบต้าทู อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2 ค่าเริ่มต้นคือ 0.999
เอปไซลอน ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ ค่าเริ่มต้นคือ 1e-8

วิธีการสาธารณะ

Op createAdamMinimize แบบ คงที่สาธารณะ (ขอบเขต ขอบเขต , ตัวดำเนินการ <T> การสูญเสีย, อัตราการเรียนรู้แบบลอย, float betaOne, float betaTwo, epsilon แบบลอย, ตัวเลือก... ตัวเลือก)

สร้างการดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด

พารามิเตอร์
ขอบเขต ขอบเขต TensorFlow
การสูญเสีย การสูญเสียเพื่อลดให้เหลือน้อยที่สุด
อัตราการเรียนรู้ อัตราการเรียนรู้
เบต้าหนึ่ง อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 1
เบต้าทู อัตราการสลายตัวแบบเอกซ์โปเนนเชียลสำหรับการประมาณช่วงเวลาที่ 2
เอปไซลอน ค่าคงที่เล็กน้อยเพื่อความเสถียรของตัวเลข เอปไซลอนนี้คือ "หมวกเอปไซลอน" ในกระดาษ Kingma และ Ba (ในสูตรก่อนส่วนที่ 2.1) ไม่ใช่เอปไซลอนในอัลกอริทึม 1 ของกระดาษ
ตัวเลือก คุณลักษณะของเครื่องมือเพิ่มประสิทธิภาพทางเลือก
การส่งคืน
  • การดำเนินการที่ลดการสูญเสียให้เหลือน้อยที่สุด
ขว้าง
ข้อยกเว้นอาร์กิวเมนต์ที่ผิดกฎหมาย ถ้าขอบเขตไม่ได้แสดงถึงกราฟ

สตริงสาธารณะ getOptimizerName ()

รับชื่อของเครื่องมือเพิ่มประสิทธิภาพ

การส่งคืน
  • ชื่อเครื่องมือเพิ่มประสิทธิภาพ

สตริงสาธารณะ toString ()