TFDS はCroissant 🥐 形式をサポートするようになりました。詳細については、ドキュメントをお読みください。

TFDS CLI

TFDS CLI is a command-line tool that provides various commands to easily work with TensorFlow Datasets.

TensorFlow.org で表示

Google Colab で実行

GitHub でソースを表示

ノートブックをダウンロード

インポート時に TF ログを無効にする

%%capture
%env TF_CPP_MIN_LOG_LEVEL=1  # Disable logs on TF import

インストール

CLI ツールは、tensorflow-datasets（または tfds-nightly）を使ってインストールします。

pip install -q tfds-nightly
tfds --version

すべての CLI コマンドをリスト表示するには、以下のようにします。

tfds --help

`tfds new`: 新しい Dataset を実装する

このコマンドを使うと、デフォルトの実装ファイルを含む <dataset_name>/ ディレクトリを作成して、新しい Python データセットをすぐに記述できるようになります。

使用法：

tfds new my_dataset

tfds new my_dataset は以下を作成します。

ls -1 my_dataset/

オプションのフラグ --data_format は、フォーマット固有のデータセットビルダー（conll）を生成するために使用できます。データ形式が指定されていない場合は、標準の tfds.core.GeneratorBasedBuilder 用のテンプレートを生成します。使用可能な形式固有のデータセットビルダーについての詳細は、ドキュメントをご覧ください。

See our writing dataset guide for more info.

以下のようにして、使用できるオプションを表示します。

tfds new --help

`tfds build`: データセットをダウンロードして準備する

新しいデータセットを生成するには、tfds build <my_dataset> を使用します。<my_dataset> には、以下を使用します。

dataset/ フォルダまたは dataset.py ファイルへのパス（現在のディレクトリの場合は空）:
- tfds build datasets/my_dataset/
- cd datasets/my_dataset/ && tfds build
- cd datasets/my_dataset/ && tfds build my_dataset
- cd datasets/my_dataset/ && tfds build my_dataset.py
登録済みのデータセット:
- tfds build mnist
- tfds build my_dataset --imports my_project.datasets

注意: tfds build には、プロトタイピングとデバッグを支援する有用なフラグがあります。以下の「デバッグとテスト」セクションをご覧ください。