AdaDelta

Optymalizator implementujący algorytm Adadelta.

Optymalizacja Adadelta to stochastyczna metoda opadania w gradiencie, która opiera się na adaptacyjnej szybkości uczenia się na wymiar, aby wyeliminować dwie wady:

• ciągły spadek szybkości uczenia się w trakcie szkolenia
• potrzeba ręcznie wybranego globalnego tempa uczenia się

Adadelta to solidniejsze rozszerzenie Adagradu, które dostosowuje tempo uczenia się w oparciu o ruchome okno aktualizacji gradientów, zamiast gromadzić wszystkie przeszłe gradienty. W ten sposób Adadelta kontynuuje naukę nawet po dokonaniu wielu aktualizacji. W porównaniu do Adagradu, w oryginalnej wersji Adadelty nie musisz ustawiać początkowego tempa uczenia się. W tej wersji można ustawić początkową szybkość uczenia się, jak w większości innych optymalizatorów.

Zgodnie z sekcją 4.3 („Efektywne współczynniki uczenia się”), pod koniec etapu uczenia rozmiary kroków zbiegają się do 1, co w rzeczywistości oznacza wysoki współczynnik uczenia się, który mógłby powodować rozbieżności. Dzieje się tak dopiero pod koniec uczenia, ponieważ gradienty i rozmiary kroków są małe, a stała epsilon w liczniku i mianowniku dominuje w poprzednich gradientach i aktualizacjach parametrów, które zbiegają szybkość uczenia się do 1.

Zgodnie z sekcją 4.4 („Dane mowy”), gdzie na korpusie danych w języku angielskim (USA) uczono dużą sieć neuronową z 4 warstwami ukrytymi, ADADELTA została użyta w 100 replikach sieci. Zastosowany epsilon to 1e-6 z rho = 0,95, co oznacza zbiegał się szybciej niż ADAGRAD, dzięki następującej konstrukcji: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);