Konfigurasi strategi cluster dan distribusi

Secara default, run API menangani penggabungan kode model Anda dalam strategi distribusi TensorFlow berdasarkan konfigurasi cluster yang Anda berikan.

Tidak ada distribusi

Konfigurasi kepala CPU dan tidak ada pekerja tambahan

tfc.run(entry_point='mnist_example.py',
        chief_config=tfc.COMMON_MACHINE_CONFIGS['CPU'])

OneDeviceStrategy

1 GPU sebagai pemimpin (default pada AcceleratorType.NVIDIA_TESLA_T4 ) dan tidak ada pekerja tambahan.

tfc.run(entry_point='mnist_example.py')

MirroredStrategy

Konfigurasi utama dengan beberapa GPU ( AcceleratorType.NVIDIA_TESLA_V100 ).

tfc.run(entry_point='mnist_example.py',
        chief_config=tfc.COMMON_MACHINE_CONFIGS['V100_4X'])

MultiWorkerMirroredStrategy

Konfigurasi utama dengan 1 GPU dan 2 pekerja masing-masing dengan 8 GPU ( AcceleratorType.NVIDIA_TESLA_V100 ).

tfc.run(entry_point='mnist_example.py',
        chief_config=tfc.COMMON_MACHINE_CONFIGS['V100_1X'],
        worker_count=2,
        worker_config=tfc.COMMON_MACHINE_CONFIGS['V100_8X'])

TPUStrategy

Konfigurasi utama dengan 1 CPU dan 1 pekerja dengan TPU.

tfc.run(entry_point="mnist_example.py",
        chief_config=tfc.COMMON_MACHINE_CONFIGS["CPU"],
        worker_count=1,
        worker_config=tfc.COMMON_MACHINE_CONFIGS["TPU"])

Harap diperhatikan bahwa TPUStrategy dengan TensorFlow Cloud hanya berfungsi dengan TF versi 2.1 karena ini adalah versi terbaru yang didukung oleh AI Platform cloud TPU

Strategi distribusi khusus

Jika Anda ingin berhati-hati dalam menentukan strategi distribusi dalam kode model Anda dan tidak ingin run API untuk membuat strategi, maka tetapkan distribution_stategy sebagai None . Ini akan diperlukan, misalnya, saat Anda menggunakan strategy.experimental_distribute_dataset .

tfc.run(entry_point='mnist_example.py',
        distribution_strategy=None,
        worker_count=2)