SGD

public class SGD<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Trình tối ưu hóa giảm độ dốc ngẫu nhiên (SGD).

Triển khai thuật toán giảm độ dốc ngẫu nhiên với sự hỗ trợ cho động lượng, giảm tốc độ học tập và động lượng Nesterov. Động lượng và động lượng Nesterov (hay còn gọi là phương pháp tăng tốc độ dốc của Nesterov) là các phương pháp tối ưu hóa bậc nhất có thể cải thiện tốc độ huấn luyện và tốc độ hội tụ của quá trình giảm độ dốc.

Tài liệu tham khảo:

• “Phương pháp xấp xỉ ngẫu nhiên” (Robbins và Monro, 1951)
• “Về phương pháp xấp xỉ ngẫu nhiên của Robbins và Monro” (Wolfowitz, 1952)
• “Ước tính ngẫu nhiên mức tối đa của hàm hồi quy” (Kiefer và Wolfowitz, 1952)
• “Một số phương pháp tăng tốc độ hội tụ của phương pháp lặp” (Polyak, 1964)
• “Một phương pháp tối thiểu hóa lồi không ràng buộc với tốc độ hội tụ” (Nesterov, 1983)