AdaDelta

Otimizador que implementa o algoritmo Adadelta.

A otimização Adadelta é um método estocástico de descida gradiente baseado na taxa de aprendizagem adaptativa por dimensão para resolver duas desvantagens:

• a queda contínua das taxas de aprendizagem ao longo do treinamento
• a necessidade de uma taxa de aprendizagem global selecionada manualmente

Adadelta é uma extensão mais robusta do Adagrad que adapta as taxas de aprendizagem com base em uma janela móvel de atualizações de gradiente, em vez de acumular todos os gradientes anteriores. Dessa forma, Adadelta continua aprendendo mesmo depois de muitas atualizações terem sido feitas. Comparado ao Adagrad, na versão original do Adadelta você não precisa definir uma taxa de aprendizagem inicial. Nesta versão, a taxa de aprendizagem inicial pode ser definida, como na maioria dos outros otimizadores.

De acordo com a seção 4.3 ("Taxas de aprendizagem efetiva"), perto do final do treinamento, os tamanhos dos passos convergem para 1, o que é efetivamente uma alta taxa de aprendizagem que causaria divergência. Isso ocorre apenas perto do final do treinamento, pois os gradientes e os tamanhos dos passos são pequenos, e a constante épsilon no numerador e no denominador domina os gradientes anteriores e as atualizações de parâmetros que convergem a taxa de aprendizado para 1.

De acordo com a seção 4.4 ("Dados de fala"), onde uma grande rede neural com 4 camadas ocultas foi treinada em um corpus de dados em inglês dos EUA, o ADADELTA foi usado com 100 réplicas de rede. O épsilon usado é 1e-6 com rho = 0,95, que convergiu mais rápido que o ADAGRAD, pela seguinte construção: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);