RMSProp

เครื่องมือเพิ่มประสิทธิภาพที่ใช้อัลกอริทึม RMSProp

สาระสำคัญของ RMSprop คือ:

• รักษาค่าเฉลี่ยเคลื่อนที่ (ลดราคา) ของกำลังสองของการไล่ระดับสี
• หารเกรเดียนต์ด้วยรากของค่าเฉลี่ยนี้

การใช้งาน RMSprop นี้ใช้โมเมนตัมธรรมดา ไม่ใช่โมเมนตัมของ Nesterov

เวอร์ชันที่อยู่กึ่งกลางจะรักษาค่าเฉลี่ยเคลื่อนที่ของการไล่ระดับสีเพิ่มเติม และใช้ค่าเฉลี่ยนั้นเพื่อประมาณค่าความแปรปรวน