Разреженные записи обновления в '*var' и '*accum' в соответствии с алгоритмом FOBOS.
То есть для строк, для которых у нас есть grad, мы обновляем var и accum следующим образом: accum += grad grad prox_v = var prox_v -= lr grad (1 / sqrt(accum)) var =sign(prox_v)/(1+lr l2 ) max{|prox_v|-lr l1,0}
Вложенные классы
сорт | ResourceSparseApplyProximalAdagrad.Options | Дополнительные атрибуты для ResourceSparseApplyProximalAdagrad |
Константы
Нить | OP_NAME | Название этой операции, известное основному движку TensorFlow. |
Публичные методы
static <T расширяет TType > ResourceSparseApplyProximalAdagrad | |
статический ResourceSparseApplyProximalAdagrad.Options | useLocking (логическое значение useLocking) |
Унаследованные методы
Константы
общедоступная статическая финальная строка OP_NAME
Название этой операции, известное основному движку TensorFlow.
Публичные методы
public static ResourceSparseApplyProximalAdagrad create ( Область действия, Операнд <?> var, Операнд <?> accum, Операнд <T> lr, Операнд <T> l1, Операнд <T> l2, Операнд <T> grad, Операнд <? расширяет TNumber > индексы, Опции... опционы)
Фабричный метод для создания класса, обертывающего новую операцию ResourceSparseApplyProximalAdagrad.
Параметры
объем | текущий объем |
---|---|
вар | Должно быть из переменной(). |
накапливать | Должно быть из переменной(). |
лр | Скорость обучения. Должно быть скаляр. |
л1 | Регуляризация L1. Должно быть скаляр. |
л2 | Регуляризация L2. Должно быть скаляр. |
выпускник | Градиент. |
индексы | Вектор индексов в первом измерении var и accum. |
параметры | содержит значения необязательных атрибутов |
Возврат
- новый экземпляр ResourceSparseApplyProximalAdagrad
общедоступный статический ResourceSparseApplyProximalAdagrad.Options useLocking (логическое значение useLocking)
Параметры
использоватьLocking | Если True, обновление тензоров var и accum будет защищено блокировкой; в противном случае поведение не определено, но может вызывать меньше конфликтов. |
---|