GenerateVocabRemapping

Dado um caminho para arquivos de vocabulário novos e antigos, retorna um Tensor de remapeamento de

comprimento `num_new_vocab`, onde` remapeamento [i] `contém o número da linha no antigo vocabulário que corresponde à linha` i` no novo vocabulário (começando na linha `new_vocab_offset` e até entidades` num_new_vocab`), ou `- 1` se a entrada `i` no novo vocabulário não estiver no antigo. O vocabulário antigo é restrito às primeiras entradas `old_vocab_size` se` old_vocab_size` não for o valor padrão -1.

`num_vocab_offset` permite o uso no caso de variável particionada e geralmente deve ser definido examinando as informações de particionamento. O formato dos arquivos deve ser um arquivo de texto, com cada linha contendo uma única entidade dentro do vocabulário.

Por exemplo, com `new_vocab_file` um arquivo de texto contendo cada um dos seguintes elementos em uma única linha:` [f0, f1, f2, f3] `, old_vocab_file = [f1, f0, f3],` num_new_vocab = 3, new_vocab_offset = 1`, o remapeamento retornado seria `[0, -1, 2]`.

O op também retorna uma contagem de quantas entradas no novo vocabulário estavam presentes no antigo vocabulário, que é usado para calcular o número de valores a inicializar em um remapeamento da matriz de peso

Essa funcionalidade pode ser usada para remapear vocabulários de linha (normalmente, recursos) e vocabulários de coluna (normalmente, classes) dos pontos de verificação do TensorFlow. Observe que a lógica de particionamento depende de vocabulários contíguos correspondentes a variáveis ​​particionadas por div. Além disso, o remapeamento subjacente usa uma IndexTable (em oposição a uma CuckooTable inexata), então o código do cliente deve usar o index_table_from_file () correspondente como a estrutura FeatureColumn faz (em oposição a tf.feature_to_id (), que usa uma CuckooTable).