GenerateVocabRemapping

Biorąc pod uwagę ścieżkę do nowych i starych plików słownictwa, zwraca remapujący Tensor

długość `num_new_vocab`, gdzie `remapping[i]` zawiera numer wiersza w starym słownictwie, który odpowiada wierszowi `i` w nowym słownictwie (zaczynając od linii `new_vocab_offset` i aż do `num_new_vocab` elementów) lub `- 1”, jeśli pozycja „i” w nowym słowniku nie znajduje się w starym słowniku. Stare słownictwo jest ograniczone do pierwszych wpisów `old_vocab_size`, jeśli `old_vocab_size` nie ma domyślnej wartości -1.

Opcja `num_vocab_offset` umożliwia użycie w przypadku zmiennej podzielonej na partycje i ogólnie powinna być ustawiona poprzez sprawdzenie informacji o partycjonowaniu. Format plików powinien być plikiem tekstowym, w którym każda linia zawiera pojedynczy element ze słownika.

Na przykład w przypadku `new_vocab_file` plik tekstowy zawierający każdy z następujących elementów w jednej linii: `[f0, f1, f2, f3]`, old_vocab_file = [f1, f0, f3], `num_new_vocab = 3, new_vocab_offset = 1`, zwrócone remapowanie będzie wynosić `[0, -1, 2]`.

Operacja zwraca również liczbę wpisów z nowego słownictwa, które były obecne w starym słownictwie, co jest wykorzystywane do obliczenia liczby wartości do zainicjowania w ponownym mapowaniu macierzy wag

Funkcjonalności tej można używać do ponownego mapowania zarówno słowników wierszowych (zazwyczaj funkcji), jak i słowników kolumnowych (zazwyczaj klas) z punktów kontrolnych TensorFlow. Należy zauważyć, że logika partycjonowania opiera się na ciągłych słownikach odpowiadających zmiennym podzielonym na partycje. Co więcej, podstawowe remapowanie wykorzystuje IndexTable (w przeciwieństwie do niedokładnej CuckooTable), więc kod klienta powinien używać odpowiedniej Index_table_from_file() tak jak robi to framework FeatureColumn (w przeciwieństwie do tf.feature_to_id(), która używa CuckooTable).