Una operación que realiza actualizaciones de gradiente de tablas de incrustación.
El argumento de gradientes es una TensorList que tiene la misma longitud y forma que el valor de retorno de XlaRecvTPUEmbeddingActivations, pero contiene gradientes de pérdida del modelo con respecto a las activaciones de incrustación. Las tablas de incrustación se actualizan a partir de estos gradientes a través del optimizador especificado en el protocolo TPUEmbeddingConfiguration proporcionado a tpu.initialize_system.
Métodos públicos
XlaSendTPUEmbeddingGradients estáticos |
Métodos heredados
Métodos públicos
XlaSendTPUEmbeddingGradients estáticos públicos crean ( alcance , Iterable < Operando <Float>> gradientes, Iterable < Operando <Float>> learningRates, Operando <?> deduplicationData, configuración de cadena)
Método de fábrica para crear una clase que envuelve una nueva operación XlaSendTPUEmbeddingGradients.
Parámetros
alcance | alcance actual |
---|---|
gradientes | Una TensorList de gradientes con los que actualizar tablas de incrustación. |
aprendizajeTarifas | Una TensorList de tasas de aprendizaje utilizadas para actualizar las tablas de incrustación a través del optimizador. La longitud de TensorList debe ser igual a la cantidad de etiquetas de tasa de aprendizaje dinámico especificadas en el protocolo TPUEmbeddingConfiguration. |
deduplicaciónDatos | Un tensor con tipo=DT_VARIANT que contiene los datos de deduplicación. El tensor es una tupla anidada XLA que contiene N elementos (donde N es la relación entre el número de incrustaciones y núcleos tensoriales por chip de TPU). Cada elemento de la tupla anidada es una tupla de tensores de rango 1. Cada tensor contiene índices (DT_UINT32) para incrustar la búsqueda en TensorCore o pesos (DT_FLOAT) para aplicar a la salida de la operación de búsqueda de incrustación. |
configuración | Protocolo de configuración de integración de TPU serializado. |
Devoluciones
- una nueva instancia de XlaSendTPUEmbeddingGradients