TensorFlow テキストの概要
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
TensorFlow Text は、TensorFlow 2.0 ですぐに使用できるテキスト関連のクラスと操作のコレクションを提供します。このライブラリは、テキストベースのモデルで定期的に必要とされる前処理を実行でき、コア TensorFlow では提供されないシーケンス モデリングに役立つその他の機能が含まれています。
テキストの前処理でこれらの操作を使用する利点は、それらが TensorFlow グラフで実行されることです。トレーニング時のトークン化が推論時のトークン化とは異なることや、前処理スクリプトの管理について心配する必要はありません。
TensorFlow テキストのインストール
pipを使用してインストールする
pip install を使用して TF Text をインストールする場合は、TF Text の対応するバージョンを指定する必要があるため、実行している TensorFlow のバージョンに注意してください。
pip install -U tensorflow-text==<version>
ソースからビルドする
TensorFlow Text は TensorFlow と同じ環境で構築する必要があります。したがって、TF Text を手動でビルドする場合は、TensorFlow もビルドすることを強くお勧めします。
MacOS 上でビルドする場合は、coreutils をインストールする必要があります。おそらくHomebrewを使用するのが最も簡単です。まず、ソースからTensorFlow をビルドします。
TF Text リポジトリのクローンを作成します。
git clone https://github.com/tensorflow/text.git
最後に、ビルド スクリプトを実行して pip パッケージを作成します。
./oss_scripts/run_build.sh
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2024-09-21 UTC。
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"必要な情報がない"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"複雑すぎる / 手順が多すぎる"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"最新ではない"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻訳に関する問題"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"サンプル / コードに問題がある"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"その他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"わかりやすい"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"問題の解決に役立った"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"その他"
}]
{"lastModified": "\u6700\u7d42\u66f4\u65b0\u65e5 2024-09-21 UTC\u3002"}
[[["わかりやすい","easyToUnderstand","thumb-up"],["問題の解決に役立った","solvedMyProblem","thumb-up"],["その他","otherUp","thumb-up"]],[["必要な情報がない","missingTheInformationINeed","thumb-down"],["複雑すぎる / 手順が多すぎる","tooComplicatedTooManySteps","thumb-down"],["最新ではない","outOfDate","thumb-down"],["翻訳に関する問題","translationIssue","thumb-down"],["サンプル / コードに問題がある","samplesCodeIssue","thumb-down"],["その他","otherDown","thumb-down"]],["最終更新日 2024-09-21 UTC。"],[],[]]