SGD

public class SGD<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Un ottimizzatore di discesa del gradiente stocastico (SGD).

Implementa l'algoritmo di discesa del gradiente stocastico con supporto per lo slancio, il decadimento del tasso di apprendimento e lo slancio di Nesterov. Il momento e il momento di Nesterov (noto anche come metodo del gradiente accelerato di Nesterov) sono metodi di ottimizzazione del primo ordine che possono migliorare la velocità di allenamento e il tasso di convergenza della discesa del gradiente.

Riferimenti:

• “Un metodo di approssimazione stocastica” (Robbins e Monro, 1951)
• “Sul metodo dell’approssimazione stocastica di Robbins e Monro” (Wolfowitz, 1952)
• “Stima stocastica del massimo di una funzione di regressione” (Kiefer e Wolfowitz, 1952)
• "Alcuni metodi per accelerare la convergenza del metodo di iterazione" (Polyak, 1964)
• “Un metodo per problemi di minimizzazione convessa non vincolata con velocità di convergenza” (Nesterov, 1983)