AdaDelta

Trình tối ưu hóa thực hiện thuật toán Adadelta.

Tối ưu hóa Adadelta là phương pháp giảm độ dốc ngẫu nhiên dựa trên tốc độ học thích ứng trên mỗi chiều để giải quyết hai nhược điểm:

• tốc độ học tập liên tục giảm trong suốt quá trình đào tạo
• nhu cầu về tỷ lệ học tập toàn cầu được chọn thủ công

Adadelta là một phần mở rộng mạnh mẽ hơn của Adagrad, giúp điều chỉnh tốc độ học tập dựa trên cửa sổ chuyển động của các cập nhật độ dốc, thay vì tích lũy tất cả các độ dốc trong quá khứ. Bằng cách này, Adadelta tiếp tục học hỏi ngay cả khi đã thực hiện nhiều cập nhật. So với Adagrad, trong phiên bản gốc của Adadelta, bạn không cần phải đặt tốc độ học tập ban đầu. Trong phiên bản này, tốc độ học ban đầu có thể được đặt, giống như trong hầu hết các trình tối ưu hóa khác.

Theo phần 4.3 ("Tỷ lệ học tập hiệu quả"), khi gần kết thúc kích thước bước đào tạo hội tụ về 1, đây thực sự là tỷ lệ học tập cao sẽ gây ra sự phân kỳ. Điều này chỉ xảy ra ở gần cuối quá trình đào tạo vì độ dốc và kích thước bước nhỏ và hằng số epsilon trong tử số và mẫu số chiếm ưu thế trong quá khứ và cập nhật tham số hội tụ tốc độ học về 1.

Theo phần 4.4("Dữ liệu giọng nói"), trong đó một mạng lưới thần kinh lớn với 4 lớp ẩn được huấn luyện trên kho dữ liệu tiếng Anh Mỹ, ADADELTA đã được sử dụng với 100 bản sao mạng. Epsilon được sử dụng là 1e-6 với rho=0,95. hội tụ nhanh hơn ADAGRAD, theo cách xây dựng sau: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);