TensorFlow Transform은 TensorFlow를 사용하여 데이터를 전처리하기 위한 라이브러리입니다. tf.Transform 다음과 같이 전체 전달이 필요한 데이터에 유용합니다.
- 평균과 표준편차로 입력값을 정규화합니다.
- 모든 입력 값에 대한 어휘를 생성하여 문자열을 정수로 변환합니다.
- 관찰된 데이터 분포를 기반으로 부동 소수점을 버킷에 할당하여 정수로 변환합니다.
TensorFlow에는 단일 예제 또는 예제 배치에 대한 조작 지원 기능이 내장되어 있습니다. tf.Transform 이러한 기능을 확장하여 예제 데이터에 대한 전체 전달을 지원합니다.
tf.Transform 의 출력은 학습 및 제공에 사용할 TensorFlow 그래프 로 내보내집니다. 훈련과 제공 모두에 동일한 그래프를 사용하면 두 단계 모두에 동일한 변환이 적용되므로 편향을 방지할 수 있습니다.
tf.Transform 에 대한 소개는 TFX에 대한 TFX Dev Summit 강연의 tf.Transform 섹션을 참조하세요( 링크 ).
설치
tensorflow-transform PyPI 패키지는 tf.Transform 설치하는 데 권장되는 방법입니다.
pip install tensorflow-transform
소스에서 TFT 구축
소스에서 빌드하려면 다음 단계를 따르십시오. 명령을 실행하여 가상 환경을 생성하십시오.
python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/transform.git
cd transform
python3 setup.py bdist_wheel
그러면 dist 디렉토리에 TFT 휠이 생성됩니다. dist 디렉토리에서 휠을 설치하려면 다음 명령을 실행하십시오.
cd dist
pip3 install tensorflow_transform-<version>-py3-none-any.whl
야간 패키지
TFT는 또한 Google Cloud의 https://pypi-nightly.tensorflow.org 에서 야간 패키지를 호스팅합니다. 최신 nightly 패키지를 설치하려면 다음 명령을 사용하십시오.
pip install --extra-index-url https://pypi-nightly.tensorflow.org/simple tensorflow-transform
이렇게 하면 TensorFlow Metadata(TFMD), TFX 기본 공유 라이브러리(TFX-BSL)와 같은 TFT의 주요 종속성을 위한 Nightly 패키지가 설치됩니다.
주목할만한 종속성
텐서플로우가 필요합니다.
Apache Beam이 필요합니다. 효율적인 분산 계산이 지원되는 방식입니다. 기본적으로 Apache Beam은 로컬 모드에서 실행되지만 Google Cloud Dataflow 및 기타 Apache Beam 실행기를 사용하여 분산 모드에서 실행될 수도 있습니다.
Apache Arrow 도 필요합니다. TFT는 벡터화된 numpy 함수를 사용하기 위해 내부적으로 데이터를 표현하기 위해 Arrow를 사용합니다.
호환되는 버전
다음 표는 서로 호환되는 tf.Transform 패키지 버전입니다. 이는 테스트 프레임워크에 따라 결정되지만 테스트되지 않은 다른 조합도 작동할 수 있습니다.
| 텐서플로우 변환 | 아파치-빔[gcp] | pyarrow | 텐서플로우 | 텐서플로우 메타데이터 | tfx-bsl |
|---|---|---|---|---|---|
| GitHub 마스터 | 2.47.0 | 10.0.0 | 야간(2.x) | 1.15.0 | 1.15.1 |
| 1.15.0 | 2.47.0 | 10.0.0 | 2.15 | 1.15.0 | 1.15.1 |
| 1.14.0 | 2.47.0 | 10.0.0 | 2.13 | 1.14.0 | 1.14.0 |
| 1.13.0 | 2.41.0 | 6.0.0 | 2.12 | 1.13.1 | 1.13.0 |
| 1.12.0 | 2.41.0 | 6.0.0 | 2.11 | 1.12.0 | 1.12.0 |
| 1.11.0 | 2.41.0 | 6.0.0 | 1.15.5 / 2.10 | 1.11.0 | 1.11.0 |
| 1.10.0 | 2.40.0 | 6.0.0 | 1.15.5 / 2.9 | 1.10.0 | 1.10.0 |
| 1.9.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.9 | 1.9.0 | 1.9.0 |
| 1.8.0 | 2.38.0 | 5.0.0 | 1.15.5 / 2.8 | 1.8.0 | 1.8.0 |
| 1.7.0 | 2.36.0 | 5.0.0 | 1.15.5 / 2.8 | 1.7.0 | 1.7.0 |
| 1.6.1 | 2.35.0 | 5.0.0 | 1.15.5 / 2.8 | 1.6.0 | 1.6.0 |
| 1.6.0 | 2.35.0 | 5.0.0 | 1.15.5 / 2.7 | 1.6.0 | 1.6.0 |
| 1.5.0 | 2.34.0 | 5.0.0 | 1.15.2 / 2.7 | 1.5.0 | 1.5.0 |
| 1.4.1 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.4.0 | 2.33.0 | 4.0.1 | 1.15.2 / 2.6 | 1.4.0 | 1.4.0 |
| 1.3.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.6 | 1.2.0 | 1.3.0 |
| 1.2.0 | 2.31.0 | 2.0.0 | 1.15.2 / 2.5 | 1.2.0 | 1.2.0 |
| 1.1.1 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.1 |
| 1.1.0 | 2.29.0 | 2.0.0 | 1.15.2 / 2.5 | 1.1.0 | 1.1.0 |
| 1.0.0 | 2.29.0 | 2.0.0 | 1.15 / 2.5 | 1.0.0 | 1.0.0 |
| 0.30.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.30.0 | 0.30.0 |
| 0.29.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.29.0 | 0.29.0 |
| 0.28.0 | 2.28.0 | 2.0.0 | 1.15 / 2.4 | 0.28.0 | 0.28.1 |
| 0.27.0 | 2.27.0 | 2.0.0 | 1.15 / 2.4 | 0.27.0 | 0.27.0 |
| 0.26.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.26.0 | 0.26.0 |
| 0.25.0 | 2.25.0 | 0.17.0 | 1.15 / 2.3 | 0.25.0 | 0.25.0 |
| 0.24.1 | 2.24.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.1 |
| 0.24.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.24.0 | 0.24.0 |
| 0.23.0 | 2.23.0 | 0.17.0 | 1.15 / 2.3 | 0.23.0 | 0.23.0 |
| 0.22.0 | 2.20.0 | 0.16.0 | 1.15 / 2.2 | 0.22.0 | 0.22.0 |
| 0.21.2 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.3 |
| 0.21.0 | 2.17.0 | 0.15.0 | 1.15 / 2.1 | 0.21.0 | 0.21.0 |
| 0.15.0 | 2.16.0 | 0.14.0 | 1.15 / 2.0 | 0.15.0 | 0.15.0 |
| 0.14.0 | 2.14.0 | 0.14.0 | 1.14 | 0.14.0 | 해당 없음 |
| 0.13.0 | 2.11.0 | 해당 없음 | 1.13 | 0.12.1 | 해당 없음 |
| 0.12.0 | 2.10.0 | 해당 없음 | 1.12 | 0.12.0 | 해당 없음 |
| 0.11.0 | 2.8.0 | 해당 없음 | 1.11 | 0.9.0 | 해당 없음 |
| 0.9.0 | 2.6.0 | 해당 없음 | 1.9 | 0.9.0 | 해당 없음 |
| 0.8.0 | 2.5.0 | 해당 없음 | 1.8 | 해당 없음 | 해당 없음 |
| 0.6.0 | 2.4.0 | 해당 없음 | 1.6 | 해당 없음 | 해당 없음 |
| 0.5.0 | 2.3.0 | 해당 없음 | 1.5 | 해당 없음 | 해당 없음 |
| 0.4.0 | 2.2.0 | 해당 없음 | 1.4 | 해당 없음 | 해당 없음 |
| 0.3.1 | 2.1.1 | 해당 없음 | 1.3 | 해당 없음 | 해당 없음 |
| 0.3.0 | 2.1.1 | 해당 없음 | 1.3 | 해당 없음 | 해당 없음 |
| 0.1.10 | 2.0.0 | 해당 없음 | 1.0 | 해당 없음 | 해당 없음 |
질문
tf.Transform 작업에 대한 질문이 있으면 tensorflow-transform 태그를 사용하여 Stack Overflow 에 문의하세요.