GenerateVocabRemapping

публичный финальный класс GenerateVocabRemapping

Учитывая путь к новым и старым файлам словаря, возвращает тензор переназначения

длина `num_new_vocab`, где `remapping[i]` содержит номер строки в старом словаре, который соответствует строке `i` в новом словаре (начиная со строки `new_vocab_offset` и до объектов `num_new_vocab`), или `- 1`, если записи `i` в новом словаре нет в старом словаре. Старый словарь ограничивается первыми записями `old_vocab_size`, если `old_vocab_size` не имеет значения по умолчанию -1.

`num_vocab_offset` позволяет использовать его в случае секционированной переменной и обычно должен устанавливаться путем проверки информации о секционировании. Файлы должны иметь текстовый формат, каждая строка которого должна содержать один объект словаря.

Например, с `new_vocab_file` текстовый файл, содержащий каждый из следующих элементов в одной строке: `[f0, f1, f2, f3]`, old_vocab_file = [f1, f0, f3], `num_new_vocab = 3, new_vocab_offset = 1`, возвращаемое переназначение будет `[0, -1, 2]`.

Операция также возвращает количество записей из нового словаря, присутствующих в старом словаре, который используется для расчета количества значений для инициализации при переотображении весовой матрицы.

Эту функциональность можно использовать для переназначения как словарей строк (обычно функций), так и словарей столбцов (обычно классов) из контрольных точек TensorFlow. Обратите внимание, что логика секционирования опирается на смежные словари, соответствующие переменным, разделенным на разделители. Более того, базовое переназначение использует IndexTable (в отличие от неточной CuckooTable), поэтому клиентский код должен использовать соответствующий index_table_from_file(), как это делает платформа FeatureColumn (в отличие от tf.feature_to_id(), который использует CuckooTable).

Вложенные классы

сорт GenerateVocabRemapping.Options Дополнительные атрибуты для GenerateVocabRemapping

Константы

Нить OP_NAME Название этой операции, известное основному движку TensorFlow.

Публичные методы

статическое GenerateVocabRemapping
create ( Область действия, Operand < TString > newVocabFile, Operand < TString > oldVocabFile, Long newVocabOffset, Long numNewVocab, Options... options)
Фабричный метод для создания класса, обертывающего новую операцию GenerateVocabRemapping.
Вывод < TInt32 >
numPresent ()
Количество новых словарных статей, найденных в старом словаре.
статический GenerateVocabRemapping.Options
oldVocabSize (длинный oldVocabSize)
Вывод < TInt64 >
переназначение ()
Тензор длины num_new_vocab, где элемент с индексом i равен старому идентификатору, который сопоставляется с новым идентификатором i.

Унаследованные методы

Константы

общедоступная статическая финальная строка OP_NAME

Название этой операции, известное основному движку TensorFlow.

Постоянное значение: «GenerateVocabRemapping»

Публичные методы

public static GenerateVocabRemapping create ( Область действия, Operand < TString > newVocabFile, Operand < TString > oldVocabFile, Long newVocabOffset, Long numNewVocab, Options... options)

Фабричный метод для создания класса, обертывающего новую операцию GenerateVocabRemapping.

Параметры
объем текущий объем
новыйVocabFile Путь к новому файлу словаря.
старыйVocabFile Путь к старому файлу словаря.
новыйVocabOffset Сколько записей в новом словарном файле, чтобы начать чтение.
numNewVocab Количество записей в новом файле словаря для переназначения.
параметры содержит значения необязательных атрибутов
Возврат
  • новый экземпляр GenerateVocabRemapping

публичный вывод <TInt32> numPresent ()

Количество новых словарных статей, найденных в старом словаре.

общедоступный статический GenerateVocabRemapping.Options oldVocabSize (Long oldVocabSize)

Параметры
старыйVocabSize Количество записей в старом словарном файле, которое следует учитывать. Если -1, используйте весь старый словарь.

общедоступный вывод <TInt64> переназначение ()

Тензор длины num_new_vocab, где элемент с индексом i равен старому идентификатору, который сопоставляется с новым идентификатором i. Этот элемент имеет значение -1 для любого нового идентификатора, которого нет в старом словаре.