Transformasi TensorFlow adalah perpustakaan untuk pra-pemrosesan data dengan TensorFlow. tf.Transform berguna untuk data yang memerlukan full-pass, seperti:
- Normalisasikan nilai input berdasarkan mean dan deviasi standar.
- Ubah string menjadi bilangan bulat dengan menghasilkan kosakata atas semua nilai masukan.
- Ubah float menjadi bilangan bulat dengan menugaskannya ke keranjang berdasarkan distribusi data yang diamati.
TensorFlow memiliki dukungan bawaan untuk manipulasi pada satu contoh atau sekumpulan contoh. tf.Transform memperluas kemampuan ini untuk mendukung penerusan penuh atas data contoh.
Output tf.Transform diekspor sebagai grafik TensorFlow untuk digunakan dalam pelatihan dan penyajian. Menggunakan grafik yang sama untuk pelatihan dan penyajian dapat mencegah distorsi karena transformasi yang sama diterapkan di kedua tahap.
Untuk pengenalan tentang tf.Transform , lihat bagian tf.Transform pada pembicaraan TFX Dev Summit di TFX ( tautan ).
Instalasi
Paket PyPI tensorflow-transform adalah cara yang disarankan untuk menginstal tf.Transform :
pip install tensorflow-transform
Bangun TFT dari sumber
Untuk membangun dari sumber ikuti langkah-langkah berikut: Buat lingkungan virtual dengan menjalankan perintah
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
Ini akan membangun roda TFT di direktori dist. Untuk menginstal roda dari direktori dist jalankan perintah
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
Paket Malam
TFT juga menyelenggarakan paket malam di https://pypi-nightly.tensorflow.org di Google Cloud. Untuk menginstal paket nightly terbaru, silakan gunakan perintah berikut:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
Ini akan menginstal paket nightly untuk dependensi utama TFT seperti TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL).
Ketergantungan Penting
TensorFlow diperlukan.
Apache Beam diperlukan; itulah cara komputasi terdistribusi yang efisien didukung. Secara default, Apache Beam berjalan dalam mode lokal tetapi juga dapat berjalan dalam mode terdistribusi menggunakan Google Cloud Dataflow dan runner Apache Beam lainnya.
Apache Arrow juga diperlukan. TFT menggunakan Panah untuk merepresentasikan data secara internal guna memanfaatkan fungsi numpy yang divektorkan.
Versi yang kompatibel
Tabel berikut adalah versi paket tf.Transform yang kompatibel satu sama lain. Hal ini ditentukan oleh kerangka pengujian kami, namun kombinasi lain yang belum teruji juga dapat berfungsi.
| transformasi tensorflow | apache-beam[gcp] | pyarrow | aliran tensor | tensorflow-metadata | tfx-bsl |
|---|---|---|---|---|---|
| master GitHub | 2.47.0 | 10.0.0 | setiap malam (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1,15 / 2,5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | tidak ada |
| 0.13.0 | 2.11.0 | tidak ada | 1.13 | 0.12.1 | tidak ada |
| 0.12.0 | 2.10.0 | tidak ada | 1.12 | 0.12.0 | tidak ada |
| 0.11.0 | 2.8.0 | tidak ada | 1.11 | 0.9.0 | tidak ada |
| 0.9.0 | 2.6.0 | tidak ada | 1.9 | 0.9.0 | tidak ada |
| 0.8.0 | 2.5.0 | tidak ada | 1.8 | tidak ada | tidak ada |
| 0.6.0 | 2.4.0 | tidak ada | 1.6 | tidak ada | tidak ada |
| 0.5.0 | 2.3.0 | tidak ada | 1.5 | tidak ada | tidak ada |
| 0.4.0 | 2.2.0 | tidak ada | 1.4 | tidak ada | tidak ada |
| 0.3.1 | 2.1.1 | tidak ada | 1.3 | tidak ada | tidak ada |
| 0.3.0 | 2.1.1 | tidak ada | 1.3 | tidak ada | tidak ada |
| 0.1.10 | 2.0.0 | tidak ada | 1.0 | tidak ada | tidak ada |
Pertanyaan
Silakan ajukan pertanyaan apa pun tentang bekerja dengan tf.Transform ke Stack Overflow menggunakan tag tensorflow-transform .