Phân tích mô hình TensorFlow

Phân tích mô hình TensorFlow (TFMA) là một thư viện để đánh giá các mô hình TensorFlow. Nó cho phép người dùng đánh giá mô hình của họ trên lượng lớn dữ liệu theo cách phân tán, sử dụng cùng các số liệu được xác định trong trình huấn luyện của họ. Các số liệu này có thể được tính toán trên các phần dữ liệu khác nhau và được hiển thị trực quan trong sổ ghi chép Jupyter.

Cài đặt

Cách cài đặt TFMA được khuyến nghị là sử dụng gói PyPI :

pip install tensorflow-model-analysis

Xây dựng TFMA từ nguồn

Để xây dựng từ nguồn, hãy làm theo các bước sau:

Cài đặt protoc theo liên kết được đề cập: protoc

Tạo môi trường ảo bằng cách chạy lệnh

python3 -m venv <virtualenv_name>
source <virtualenv_name>/bin/activate
pip3 install setuptools wheel
git clone https://github.com/tensorflow/model-analysis.git
cd model-analysis
python3 setup.py bdist_wheel

Điều này sẽ xây dựng bánh xe TFMA trong thư mục dist. Để cài đặt bánh xe từ thư mục dist, hãy chạy lệnh

cd dist
pip3 install tensorflow_model_analysis-<version>-py3-none-any.whl

Gói hàng đêm

TFMA cũng lưu trữ các gói hàng đêm tại https://pypi-nightly.tensorflow.org trên Google Cloud. Để cài đặt gói hàng đêm mới nhất, vui lòng sử dụng lệnh sau:

pip install -i https://pypi-nightly.tensorflow.org/simple tensorflow-model-analysis

Điều này sẽ cài đặt các gói hàng đêm cho các phần phụ thuộc chính của TFMA như Siêu dữ liệu TensorFlow (TFMD), Thư viện chia sẻ cơ bản TFX (TFX-BSL).

Hiện tại, TFMA yêu cầu cài đặt TensorFlow nhưng không có sự phụ thuộc rõ ràng vào gói TensorFlow PyPI. Xem hướng dẫn cài đặt TensorFlow để biết hướng dẫn.

Để bật hiển thị TFMA trong Notebook Jupyter:

  jupyter nbextension enable --py widgetsnbextension
  jupyter nbextension enable --py tensorflow_model_analysis

Phòng thí nghiệm Jupyter

Khi viết, vì https://github.com/pypa/pip/issues/9187, pip install có thể không bao giờ hoàn tất. Trong trường hợp đó, bạn nên hoàn nguyên pip về phiên bản 19 thay vì 20: pip install "pip<20" .

Việc sử dụng tiện ích mở rộng JupyterLab yêu cầu cài đặt các phần phụ thuộc trên dòng lệnh. Bạn có thể thực hiện việc này trong bảng điều khiển trong giao diện người dùng JupyterLab hoặc trên dòng lệnh. Điều này bao gồm cài đặt riêng mọi phần phụ thuộc gói pip và phần phụ thuộc plugin labextension JupyterLab và số phiên bản phải tương thích.

Các ví dụ dưới đây sử dụng 0.27.0. Kiểm tra các phiên bản có sẵn bên dưới để sử dụng phiên bản mới nhất.

Phòng thí nghiệm Jupyter 1.2.x

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@1.1

Phòng thí nghiệm Jupyter 2

pip install tensorflow_model_analysis==0.27.0
jupyter labextension install tensorflow_model_analysis@0.27.0
jupyter labextension install @jupyter-widgets/jupyterlab-manager@2

Khắc phục sự cố

Kiểm tra gói pip:

pip list

Kiểm tra tiện ích mở rộng:

jupyter labextension list

Sự phụ thuộc đáng chú ý

TensorFlow là bắt buộc.

Cần có chùm tia Apache ; đó là cách hỗ trợ tính toán phân tán hiệu quả. Theo mặc định, Apache Beam chạy ở chế độ cục bộ nhưng cũng có thể chạy ở chế độ phân tán bằng cách sử dụng Google Cloud Dataflow và các trình chạy Apache Beam khác.

Mũi tên Apache cũng được yêu cầu. TFMA sử dụng Mũi tên để biểu diễn dữ liệu nội bộ nhằm tận dụng các hàm gọn gàng được vector hóa.

Bắt đầu

Để biết hướng dẫn sử dụng TFMA, hãy xem hướng dẫn bắt đầu .

Phiên bản tương thích

Bảng sau đây là các phiên bản gói TFMA tương thích với nhau. Điều này được xác định bởi khung thử nghiệm của chúng tôi, nhưng các kết hợp chưa được kiểm tra khác cũng có thể hoạt động.

Câu hỏi

Vui lòng gửi bất kỳ câu hỏi nào về cách làm việc với TFMA tới Stack Overflow bằng cách sử dụng thẻ phân tích mô hình tensorflow .