SGD

public class SGD<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Un optimiseur de descente de gradient stochastique (SGD).

Implémente l'algorithme de descente de gradient stochastique avec prise en charge de l'élan, de la décroissance du taux d'apprentissage et de l'élan de Nesterov. L'élan et l'élan Nesterov (alias la méthode du gradient accéléré Nesterov) sont des méthodes d'optimisation de premier ordre qui peuvent améliorer la vitesse d'entraînement et le taux de convergence de la descente du gradient.

Références :

• « Une méthode d'approximation stochastique » (Robbins et Monro, 1951)
• « Sur la méthode d'approximation stochastique de Robbins et Monro » (Wolfowitz, 1952)
• « Estimation stochastique du maximum d'une fonction de régression » (Kiefer et Wolfowitz, 1952)
• "Quelques méthodes pour accélérer la convergence de la méthode d'itération" (Polyak, 1964)
• « Une méthode pour un problème de minimisation convexe sans contrainte avec le taux de convergence » (Nesterov, 1983)