Um op que executa atualizações de gradiente de tabelas de incorporação.
O argumento gradients é um TensorList com o mesmo comprimento e formas que o valor de retorno de XlaRecvTPUEmbeddingActivations, mas contém gradientes da perda do modelo em relação às ativações de incorporação. As tabelas de incorporação são atualizadas a partir desses gradientes por meio do otimizador especificado no protocolo TPUEmbeddingConfiguration fornecido a tpu.initialize_system.
Métodos públicos
static XlaSendTPUEmbeddingGradients |
Métodos Herdados
Métodos públicos
public static XlaSendTPUEmbeddingGradients create ( Escopo do escopo, Iterable< Operando <Float>> gradientes, Iterable< Operando <Float>> learningRates, Operand <?> deduplicationData, String config)
Método de fábrica para criar uma classe envolvendo uma nova operação XlaSendTPUEmbeddingGradients.
Parâmetros
alcance | escopo atual |
---|---|
gradientes | Um TensorList de gradientes para atualizar as tabelas de incorporação. |
Taxas de aprendizagem | Uma TensorList de taxas de aprendizado usadas para atualizar as tabelas de incorporação por meio do otimizador. O comprimento do TensorList deve ser igual ao número de tags de taxa de aprendizado dinâmica especificadas no protocolo TPUEmbeddingConfiguration. |
dados de desduplicação | Um tensor com type=DT_VARIANT contendo os dados de desduplicação. O tensor é uma tupla aninhada XLA contendo N elementos (onde N é a razão do número de incorporação para núcleos de tensor por chip TPU). Cada elemento da tupla aninhada é uma tupla de tensores de nível 1. Cada tensor contém índices (DT_UINT32) para pesquisa de incorporação no TensorCore ou pesos (DT_FLOAT) para aplicar à saída da operação de pesquisa de incorporação. |
configuração | Protocolo serializado de configuração TPUEmbedding. |
Devoluções
- uma nova instância de XlaSendTPUEmbeddingGradients