Uma operação que executa atualizações gradientes de tabelas incorporadas.
O argumento gradientes é um TensorList com o mesmo comprimento e formato do valor de retorno de XlaRecvTPUEmbeddingActivations, mas contém gradientes de perda do modelo em relação às ativações de incorporação. As tabelas de incorporação são atualizadas a partir desses gradientes por meio do otimizador especificado no proto TPUEmbeddingConfiguration fornecido para tpu.initialize_system.
Métodos Públicos
XlaSendTPUEmbeddingGradients estáticos |
Métodos herdados
Métodos Públicos
public static XlaSendTPUEmbeddingGradients create ( Scope scope, Iterable< Operand <Float>> gradientes, Iterable< Operand <Float>> learningRates, Operand <?> deduplicationData, String config)
Método de fábrica para criar uma classe que envolve uma nova operação XlaSendTPUEmbeddingGradients.
Parâmetros
escopo | escopo atual |
---|---|
gradientes | Um TensorList de gradientes com os quais atualizar tabelas de incorporação. |
taxas de aprendizagem | Um TensorList de taxas de aprendizagem usadas para atualizar as tabelas de incorporação por meio do otimizador. O comprimento do TensorList deve ser igual ao número de tags de taxa de aprendizagem dinâmica especificadas no proto TPUEmbeddingConfiguration. |
desduplicaçãoDados | Um Tensor com type=DT_VARIANT contendo os dados de desduplicação. O tensor é uma tupla aninhada XLA contendo N elementos (onde N é a razão entre o número de núcleos incorporados e tensores por chip TPU). Cada elemento da tupla aninhada é uma tupla de tensores de classificação 1. Cada tensor contém índices (DT_UINT32) para incorporar a pesquisa no TensorCore ou pesos (DT_FLOAT) para aplicar à saída da operação de pesquisa de incorporação. |
configuração | Protocolo TPUEmbeddingConfiguration serializado. |
Devoluções
- uma nova instância de XlaSendTPUEmbeddingGradients