AdaDelta

Оптимизатор, реализующий алгоритм Ададельта.

Ададельта-оптимизация — это метод стохастического градиентного спуска, основанный на адаптивной скорости обучения для каждого измерения и позволяющий устранить два недостатка:

• постоянное снижение скорости обучения на протяжении всего обучения
• необходимость выбора вручную глобальной скорости обучения

Adadelta — это более надежное расширение Adagrad, которое адаптирует скорость обучения на основе движущегося окна обновлений градиента, а не накапливает все прошлые градиенты. Таким образом, Adadelta продолжает обучение, даже если было сделано много обновлений. По сравнению с Adagrad, в оригинальной версии Adadelta вам не нужно устанавливать начальную скорость обучения. В этой версии можно установить начальную скорость обучения, как и в большинстве других оптимизаторов.

Согласно разделу 4.3 («Эффективная скорость обучения»), ближе к концу обучения размеры шагов сходятся к 1, что фактически является высокой скоростью обучения, которая может вызвать расхождение. Это происходит только ближе к концу обучения, поскольку градиенты и размеры шагов малы, а константа эпсилон в числителе и знаменателе доминирует над прошлыми градиентами и обновлениями параметров, что сводит скорость обучения к 1.

Согласно разделу 4.4 («Речевые данные»), где большая нейронная сеть с 4 скрытыми слоями обучалась на корпусе данных американского английского языка, ADADELTA использовалась со 100 сетевыми репликами. Используемый эпсилон — 1e-6 с rho = 0,95, что сходился быстрее, чем ADAGRAD, благодаря следующей конструкции: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);