クラスターと分散戦略の構成

デフォルトでは、 run API は、指定したクラスター構成に基づいて TensorFlow 配布戦略でモデル コードをラップします。

配布なし

CPU チーフ構成と追加のワーカーなし

tfc.run(entry_point='mnist_example.py',
        chief_config=tfc.COMMON_MACHINE_CONFIGS['CPU'])

OneDeviceStrategy

チーフに 1 GPU (デフォルトはAcceleratorType.NVIDIA_TESLA_T4 )、追加のワーカーはありません。

tfc.run(entry_point='mnist_example.py')

MirroredStrategy

複数の GPU を使用した主な構成 ( AcceleratorType.NVIDIA_TESLA_V100 )。

tfc.run(entry_point='mnist_example.py',
        chief_config=tfc.COMMON_MACHINE_CONFIGS['V100_4X'])

MultiWorkerMirroredStrategy

1 つの GPU と、それぞれ 8 つの GPU を備えた 2 つのワーカーによる主な構成 ( AcceleratorType.NVIDIA_TESLA_V100 )。

tfc.run(entry_point='mnist_example.py',
        chief_config=tfc.COMMON_MACHINE_CONFIGS['V100_1X'],
        worker_count=2,
        worker_config=tfc.COMMON_MACHINE_CONFIGS['V100_8X'])

TPUStrategy

1 つの CPU と 1 つの TPU ワーカーによるチーフ構成。

tfc.run(entry_point="mnist_example.py",
        chief_config=tfc.COMMON_MACHINE_CONFIGS["CPU"],
        worker_count=1,
        worker_config=tfc.COMMON_MACHINE_CONFIGS["TPU"])

TensorFlow Cloud を使用した TPUStrategy は、AI Platform クラウド TPUでサポートされている最新バージョンであるため、TF バージョン 2.1 でのみ動作することに注意してください。

カスタム配布戦略

モデル コードで分散戦略を指定し、API runて戦略を作成したくない場合は、 distribution_stategyをNoneに設定します。これは、たとえば、 strategy.experimental_distribute_datasetを使用する場合に必要になります。

tfc.run(entry_point='mnist_example.py',
        distribution_strategy=None,
        worker_count=2)