TensorFlow Transform เป็นไลบรารีสำหรับประมวลผลข้อมูลล่วงหน้าด้วย TensorFlow tf.Transform มีประโยชน์สำหรับข้อมูลที่ต้องมีการส่งผ่านแบบเต็ม เช่น:
- ทำให้ค่าอินพุตเป็นมาตรฐานด้วยค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน
- แปลงสตริงให้เป็นจำนวนเต็มโดยการสร้างคำศัพท์บนค่าอินพุตทั้งหมด
- แปลงจำนวนทศนิยมเป็นจำนวนเต็มโดยกำหนดให้กับที่เก็บข้อมูลตามการกระจายข้อมูลที่สังเกตได้
TensorFlow มีการสนับสนุนในตัวสำหรับการปรับแต่งตัวอย่างเดียวหรือเป็นกลุ่ม tf.Transform ขยายความสามารถเหล่านี้เพื่อรองรับการส่งผ่านข้อมูลตัวอย่างแบบเต็ม
ผลลัพธ์ของ tf.Transform จะถูกส่งออกเป็น กราฟ TensorFlow เพื่อใช้สำหรับการฝึกอบรมและการให้บริการ การใช้กราฟเดียวกันสำหรับทั้งการฝึกและการเสิร์ฟสามารถป้องกันการบิดเบือนได้ เนื่องจากมีการใช้การเปลี่ยนแปลงเดียวกันในทั้งสองขั้นตอน
สำหรับข้อมูลเบื้องต้นเกี่ยวกับ tf.Transform โปรดดูส่วน tf.Transform ของการพูดคุยของ TFX Dev Summit เกี่ยวกับ TFX ( ลิงก์ )
การติดตั้ง
แพ็คเกจ PyPI ของ tensorflow-transform เป็นวิธีที่แนะนำในการติดตั้ง tf.Transform :
pip install tensorflow-transform
สร้าง TFT จากแหล่งที่มา
เมื่อต้องการสร้างจากแหล่งที่มาให้ทำตามขั้นตอนต่อไปนี้: สร้างสภาพแวดล้อมเสมือนโดยการรันคำสั่ง
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
สิ่งนี้จะสร้างวงล้อ TFT ในไดเร็กทอรี dist ในการติดตั้งวงล้อจากไดเร็กทอรี dist ให้รันคำสั่ง
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
แพ็คเกจกลางคืน
TFT ยังโฮสต์แพ็คเกจยามค่ำคืนที่ https://pypi-nightly.tensorflow.org บน Google Cloud หากต้องการติดตั้งแพ็คเกจกลางคืนล่าสุด โปรดใช้คำสั่งต่อไปนี้:
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
สิ่งนี้จะติดตั้งแพ็คเกจรายคืนสำหรับการพึ่งพาที่สำคัญของ TFT เช่น TensorFlow Metadata (TFMD), TFX Basic Shared Libraries (TFX-BSL)
การพึ่งพาอาศัยกันที่โดดเด่น
ต้องใช้ TensorFlow
จำเป็นต้องมี Apache Beam เป็นวิธีการสนับสนุนการคำนวณแบบกระจายที่มีประสิทธิภาพ ตามค่าเริ่มต้น Apache Beam จะทำงานในโหมดภายในเครื่อง แต่ยังสามารถทำงานในโหมดกระจายโดยใช้ Google Cloud Dataflow และ Apache Beam runners อื่นๆ ได้ด้วย
จำเป็นต้องมี Apache Arrow ด้วย TFT ใช้ Arrow เพื่อแสดงข้อมูลภายในเพื่อใช้ฟังก์ชันตัวเลขแบบเวกเตอร์
รุ่นที่เข้ากันได้
ตารางต่อไปนี้คือเวอร์ชันแพ็คเกจ tf.Transform ที่เข้ากันได้ สิ่งนี้กำหนดโดยกรอบการทดสอบของเรา แต่ชุดค่าผสม ที่ยังไม่ทดสอบ อื่นๆ อาจใช้งานได้เช่นกัน
| การแปลงเทนเซอร์โฟลว์ | apache-คาน [gcp] | เปียร์โรว์ | เทนเซอร์โฟลว์ | เมตาดาต้าเทนเซอร์โฟลว์ | tfx-bsl |
|---|---|---|---|---|---|
| ต้นแบบ GitHub | 2.47.0 | 10.0.0 | ทุกคืน (2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | ไม่มี |
| 0.13.0 | 2.11.0 | ไม่มี | 1.13 | 0.12.1 | ไม่มี |
| 0.12.0 | 2.10.0 | ไม่มี | 1.12 | 0.12.0 | ไม่มี |
| 0.11.0 | 2.8.0 | ไม่มี | 1.11 | 0.9.0 | ไม่มี |
| 0.9.0 | 2.6.0 | ไม่มี | 1.9 | 0.9.0 | ไม่มี |
| 0.8.0 | 2.5.0 | ไม่มี | 1.8 | ไม่มี | ไม่มี |
| 0.6.0 | 2.4.0 | ไม่มี | 1.6 | ไม่มี | ไม่มี |
| 0.5.0 | 2.3.0 | ไม่มี | 1.5 | ไม่มี | ไม่มี |
| 0.4.0 | 2.2.0 | ไม่มี | 1.4 | ไม่มี | ไม่มี |
| 0.3.1 | 2.1.1 | ไม่มี | 1.3 | ไม่มี | ไม่มี |
| 0.3.0 | 2.1.1 | ไม่มี | 1.3 | ไม่มี | ไม่มี |
| 0.1.10 | 2.0.0 | ไม่มี | 1.0 | ไม่มี | ไม่มี |
คำถาม
โปรดส่งคำถามใดๆ เกี่ยวกับการทำงานกับ tf.Transform เป็น Stack Overflow โดยใช้แท็ก tensorflow-transform