AdaDelta

เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึม Adadelta

การปรับให้เหมาะสมของ Adadelta เป็นวิธีการสุ่มแบบไล่ระดับซึ่งอิงตามอัตราการเรียนรู้แบบปรับตัวต่อมิติเพื่อแก้ไขข้อบกพร่องสองประการ:

• อัตราการเรียนรู้ที่ลดลงอย่างต่อเนื่องตลอดการฝึกอบรม
• ความจำเป็นสำหรับอัตราการเรียนรู้ทั่วโลกที่เลือกด้วยตนเอง

Adadelta เป็นส่วนขยายที่แข็งแกร่งกว่าของ Adagrad ซึ่งจะปรับอัตราการเรียนรู้โดยอิงตามหน้าต่างที่เคลื่อนไหวของการอัพเดตการไล่ระดับสี แทนที่จะสะสมการไล่ระดับสีที่ผ่านมาทั้งหมด ด้วยวิธีนี้ Adadelta จะเรียนรู้ต่อไปแม้ว่าจะมีการอัพเดตมากมายก็ตาม เมื่อเทียบกับ Adagrad ใน Adadelta เวอร์ชันดั้งเดิม คุณไม่จำเป็นต้องกำหนดอัตราการเรียนรู้เริ่มต้น ในเวอร์ชันนี้ คุณสามารถตั้งค่าอัตราการเรียนรู้เริ่มต้นได้ เช่นเดียวกับในเครื่องมือเพิ่มประสิทธิภาพอื่นๆ ส่วนใหญ่

ตามส่วนที่ 4.3 ("อัตราการเรียนรู้ที่มีประสิทธิผล") เมื่อใกล้สิ้นสุดขนาดขั้นตอนการฝึกอบรมมาบรรจบกันเป็น 1 ซึ่งเป็นอัตราการเรียนรู้ที่สูงอย่างมีประสิทธิผลซึ่งจะทำให้เกิดความแตกต่าง สิ่งนี้จะเกิดขึ้นในช่วงใกล้สิ้นสุดการฝึกเท่านั้น เนื่องจากการไล่ระดับสีและขนาดขั้นตอนมีขนาดเล็ก และค่าคงที่เอปไซลอนในตัวเศษและตัวส่วนจะครอบงำการไล่ระดับสีที่ผ่านมาและการอัปเดตพารามิเตอร์ ซึ่งจะรวมอัตราการเรียนรู้เป็น 1

ตามส่วนที่ 4.4 ("ข้อมูลคำพูด") ซึ่งโครงข่ายประสาทเทียมขนาดใหญ่ที่มี 4 เลเยอร์ที่ซ่อนอยู่ได้รับการฝึกอบรมบนคลังข้อมูลภาษาอังกฤษแบบสหรัฐอเมริกา ADADELTA ถูกใช้กับแบบจำลองเครือข่าย 100 รายการ epsilon ที่ใช้คือ 1e-6 โดยมี rho=0.95 ซึ่ง บรรจบกันเร็วกว่า ADAGRAD โดยโครงสร้างต่อไปนี้: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);