Una operación que carga parámetros de optimización en la memoria integrada.
Una operación que carga parámetros de optimización en la memoria integrada. Debe estar precedido por una operación ConfigureTPUEmbeddingHost que establece la configuración correcta de la tabla de incrustación. Por ejemplo, esta opción se usa para instalar parámetros que se cargan desde un punto de control antes de que se ejecute un ciclo de entrenamiento. Para Adagrad, auxiliar1 deberían ser los acumuladores. Para SGD, todos los valores auxiliares* deben estar vacíos. Para FTRL, auxiliar1 deberían ser los acumuladores y auxiliar2 deberían ser los términos lineales. Para ADAM, auxiliar1 deberían ser los momentos y auxiliar2 deberían ser las velocidades.
Métodos públicos
LoadAllTPUEmbeddingParameters estáticos | create ( Ámbito ámbito, Iterable< Operando <Flotante>> parámetros, Iterable< Operando <Flotante>> auxiliar1, Iterable< Operando <Flotante>> auxiliar2, Iterable< Operando <Flotante>> auxiliar3, Iterable< Operando <Flotante>> auxiliar4, Iterable< Operando <Flotante>> auxiliar5, Iterable< Operando <Flotante>> auxiliar6, Iterable< Operando <Flotante>> auxiliar7, Configuración de cadena, Long numShards, Long shardId) Método de fábrica para crear una clase que envuelve una nueva operación LoadAllTPUEmbeddingParameters. |
Métodos Heredados
Métodos públicos
public static LoadAllTPUEmbeddingParameters create ( Ámbito ámbito, Iterable< Operando <Flotante>> parámetros, Iterable< Operando <Flotante>> auxiliar1, Iterable< Operando <Flotante>> auxiliar2, Iterable< Operando <Flotante>> auxiliar3, Iterable< Operando <Flotante> > auxiliar4, Iterable< Operando <Flotante>> auxiliar5, Iterable< Operando <Flotante>> auxiliar6, Iterable< Operando <Flotante>> auxiliar7, Configuración de cadena, Número largo de fragmentos, Id de fragmento largo)
Método de fábrica para crear una clase que envuelve una nueva operación LoadAllTPUEmbeddingParameters.
Parámetros
alcance | alcance actual |
---|---|
parámetros | Una lista de tensores, uno para cada tabla de incrustación, que contiene los parámetros iniciales de la tabla de incrustación para usar en las búsquedas de incrustación. |
auxiliar1 | Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del primer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos un parámetro auxiliar. |
auxiliar2 | Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del segundo parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y, por lo tanto, puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos dos auxiliares. |
auxiliar3 | Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del tercer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen tres parámetros auxiliares. |
auxiliar4 | Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del segundo parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y, por lo tanto, puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos cuatro auxiliares. |
auxiliar5 | Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del tercer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen cinco parámetros auxiliares. |
auxiliar6 | Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del segundo parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y, por lo tanto, puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen al menos seis auxiliares. |
auxiliar7 | Una lista de tensores, uno para cada tabla de incrustación, que contiene los valores iniciales del tercer parámetro de optimización auxiliar para usar en la incrustación de actualizaciones de bucle de entrenamiento. La forma de cada entrada se ignora (y por lo tanto puede estar vacía) para aquellas tablas cuyos algoritmos de optimización no tienen sevan parámetros auxiliares. |
configuración | Un prototipo de TPUEmbeddingConfiguration que describe los parámetros de la tabla que se están cargando, serializados en una cadena. |
número de fragmentos | Número de fragmentos en los que se dividen las tablas de incrustación. |
shardId | Identificador del fragmento para esta operación. |
Devoluciones
- una nueva instancia de LoadAllTPUEmbeddingParameters