GenerateVocabRemapping

新しい語彙ファイルと古い語彙ファイルへのパスを指定すると、次の再マッピング テンソルを返します。

length `num_new_vocab`、ここで `remapping[i]` には新しい語彙の行 `i` に対応する古い語彙の行番号 (`new_vocab_offset` 行から始まり `num_new_vocab` エンティティまで)、または `-新しい語彙のエントリ「i」が古い語彙にない場合は 1`。 `old_vocab_size` がデフォルト値の -1 でない場合、古い語彙は最初の `old_vocab_size` エントリに制限されます。

`num_vocab_offset` は、パーティション化された変数の場合に使用できるようにし、通常はパーティション化情報を調べて設定する必要があります。ファイルの形式はテキスト ファイルである必要があり、各行には語彙内の 1 つのエンティティが含まれます。

たとえば、`new_vocab_file` の場合、次の各要素を 1 行に含むテキスト ファイル: `[f0, f1, f2, f3]`、old_vocab_file = [f1, f0, f3]、`num_new_vocab = 3, new_vocab_offset = 1` の場合、返される再マッピングは `[0, -1, 2]` になります。

この演算は、古い語彙に新しい語彙のエントリがいくつ存在したかのカウントも返します。これは、重み行列の再マッピングで初期化する値の数を計算するために使用されます。

この機能を使用すると、TensorFlow チェックポイントからの行語彙 (通常、機能) と列語彙 (通常、クラス) の両方を再マップできます。パーティション化ロジックは、div パーティション化された変数に対応する連続した語彙に依存していることに注意してください。さらに、基になる再マッピングでは (不正確な CuckooTable ではなく) IndexTable を使用するため、クライアント コードは、(CuckooTable を使用する tf.feature_to_id() ではなく) FeatureColumn フレームワークと同様に、対応する Index_table_from_file() を使用する必要があります。