TensorFlowモデル分析

TensorFlow.orgで表示GoogleColabで実行GitHubでソースを表示ノートブックをダウンロード

TensorFlow Extended（TFX）の主要コンポーネントの例

TensorFlowモデル分析（TFMA）は、データの異なるスライスを横切ってモデル評価を行うためのライブラリです。 TFMAは使用大量のデータ上に分散してその計算を実行するApacheのビーム。

このコラボノートブックの例は、TFMAを使用して、データセットの特性に関してモデルのパフォーマンスを調査および視覚化する方法を示しています。以前にトレーニングしたモデルを使用します。これで、結果を試すことができます。私たちは訓練されたモデルがためだったシカゴタクシー例使用して、タクシーをデータセットがTripsのシカゴ市が発表しました。で完全なデータセットを探検BigQueryのUIを。

モデラーおよび開発者として、このデータがどのように使用されるか、およびモデルの予測が引き起こす可能性のある潜在的な利益と害について考えてください。このようなモデルは、社会的バイアスと格差を強化する可能性があります。解決したい問題に関連する機能ですか、それともバイアスを導入しますか？詳細については、読んML公平性。

データセットの列は次のとおりです。

Pickup_community_area運賃trip_start_month
trip_start_hour trip_start_day trip_start_timestamp
Pickup_latitude Pickup_longitude dropoff_latitude
dropoff_longitude trip_miles Pickup_census_tract
dropoff_census_tract支払いタイプ会社
trip_seconds dropoff_community_areaチップ

Jupyter拡張機能をインストールする

jupyter nbextension enable --py widgetsnbextension --sys-prefix 
jupyter nbextension install --py --symlink tensorflow_model_analysis --sys-prefix 
jupyter nbextension enable --py tensorflow_model_analysis --sys-prefix

TensorFlowモデル分析（TFMA）をインストールする

これにより、すべての依存関係が取り込まれ、1分かかります。

# Upgrade pip to the latest, and install TFMA.
pip install -U pip
pip install tensorflow-model-analysis

次に、以下のセルを実行する前にランタイムを再起動する必要があります。

# This setup was tested with TF 2.5 and TFMA 0.31 (using colab), but it should
# also work with the latest release.
import sys

# Confirm that we're using Python 3
assert sys.version_info.major==3, 'This notebook must be run using Python 3.'

import tensorflow as tf
print('TF version: {}'.format(tf.__version__))
import apache_beam as beam
print('Beam version: {}'.format(beam.__version__))
import tensorflow_model_analysis as tfma
print('TFMA version: {}'.format(tfma.__version__))

TF version: 2.4.4
Beam version: 2.34.0
TFMA version: 0.29.0

ファイルをロードする

必要なものがすべて含まれているtarファイルをダウンロードします。これには以下が含まれます：

  • トレーニングと評価のデータセット
  • データスキーマ
  • 保存されたモデル（ケラと推定量）と評価された保存されたモデル（推定量）のトレーニングと提供。
# Download the tar file from GCP and extract it
import io, os, tempfile
TAR_NAME = 'saved_models-2.2'
BASE_DIR = tempfile.mkdtemp()
DATA_DIR = os.path.join(BASE_DIR, TAR_NAME, 'data')
MODELS_DIR = os.path.join(BASE_DIR, TAR_NAME, 'models')
SCHEMA = os.path.join(BASE_DIR, TAR_NAME, 'schema.pbtxt')
OUTPUT_DIR = os.path.join(BASE_DIR, 'output')

!curl -O https://storage.googleapis.com/artifacts.tfx-oss-public.appspot.com/datasets/{TAR_NAME}.tar
!tar xf {TAR_NAME}.tar
!mv {TAR_NAME} {BASE_DIR}
!rm {TAR_NAME}.tar

print("Here's what we downloaded:")
!ls -R {BASE_DIR}

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 6800k  100 6800k    0     0  28.2M      0 --:--:-- --:--:-- --:--:-- 28.2M
Here's what we downloaded:
/tmp/tmp_at9q62d:
saved_models-2.2

/tmp/tmp_at9q62d/saved_models-2.2:
data  models  schema.pbtxt

/tmp/tmp_at9q62d/saved_models-2.2/data:
eval  train

/tmp/tmp_at9q62d/saved_models-2.2/data/eval:
data.csv

/tmp/tmp_at9q62d/saved_models-2.2/data/train:
data.csv

/tmp/tmp_at9q62d/saved_models-2.2/models:
estimator  keras

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator:
eval_model_dir  serving_model_dir

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/eval_model_dir:
1591221811

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/eval_model_dir/1591221811:
saved_model.pb  tmp.pbtxt  variables

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/eval_model_dir/1591221811/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/serving_model_dir:
checkpoint
eval_chicago-taxi-eval
events.out.tfevents.1591221780.my-pipeline-b57vp-237544850
export
graph.pbtxt
model.ckpt-100.data-00000-of-00001
model.ckpt-100.index
model.ckpt-100.meta

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/serving_model_dir/eval_chicago-taxi-eval:
events.out.tfevents.1591221799.my-pipeline-b57vp-237544850

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/serving_model_dir/export:
chicago-taxi

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/serving_model_dir/export/chicago-taxi:
1591221801

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/serving_model_dir/export/chicago-taxi/1591221801:
saved_model.pb  variables

/tmp/tmp_at9q62d/saved_models-2.2/models/estimator/serving_model_dir/export/chicago-taxi/1591221801/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmp_at9q62d/saved_models-2.2/models/keras:
0  1  2

/tmp/tmp_at9q62d/saved_models-2.2/models/keras/0:
saved_model.pb  variables

/tmp/tmp_at9q62d/saved_models-2.2/models/keras/0/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmp_at9q62d/saved_models-2.2/models/keras/1:
saved_model.pb  variables

/tmp/tmp_at9q62d/saved_models-2.2/models/keras/1/variables:
variables.data-00000-of-00001  variables.index

/tmp/tmp_at9q62d/saved_models-2.2/models/keras/2:
saved_model.pb  variables

/tmp/tmp_at9q62d/saved_models-2.2/models/keras/2/variables:
variables.data-00000-of-00001  variables.index

スキーマを解析する

我々は、ダウンロードのものの中で作成された我々のデータのスキーマたTensorFlowデータ検証。 TFMAで使用できるように、これを解析してみましょう。

import tensorflow as tf
from google.protobuf import text_format
from tensorflow.python.lib.io import file_io
from tensorflow_metadata.proto.v0 import schema_pb2
from tensorflow.core.example import example_pb2

schema = schema_pb2.Schema()
contents = file_io.read_file_to_string(SCHEMA)
schema = text_format.Parse(contents, schema)

スキーマを使用してTFRecordを作成する

TFMAにデータセットへのアクセスを許可する必要があるので、TFRecordsファイルを作成しましょう。各機能に正しいタイプが提供されるため、スキーマを使用してスキーマを作成できます。

import csv

datafile = os.path.join(DATA_DIR, 'eval', 'data.csv')
reader = csv.DictReader(open(datafile, 'r'))
examples = []
for line in reader:
  example = example_pb2.Example()
  for feature in schema.feature:
    key = feature.name
    if feature.type == schema_pb2.FLOAT:
      example.features.feature[key].float_list.value[:] = (
          [float(line[key])] if len(line[key]) > 0 else [])
    elif feature.type == schema_pb2.INT:
      example.features.feature[key].int64_list.value[:] = (
          [int(line[key])] if len(line[key]) > 0 else [])
    elif feature.type == schema_pb2.BYTES:
      example.features.feature[key].bytes_list.value[:] = (
          [line[key].encode('utf8')] if len(line[key]) > 0 else [])
  # Add a new column 'big_tipper' that indicates if tips was > 20% of the fare. 
  # TODO(b/157064428): Remove after label transformation is supported for Keras.
  big_tipper = float(line['tips']) > float(line['fare']) * 0.2
  example.features.feature['big_tipper'].float_list.value[:] = [big_tipper]
  examples.append(example)

tfrecord_file = os.path.join(BASE_DIR, 'train_data.rio')
with tf.io.TFRecordWriter(tfrecord_file) as writer:
  for example in examples:
    writer.write(example.SerializeToString())

!ls {tfrecord_file}

/tmp/tmp_at9q62d/train_data.rio

TFMAのセットアップと実行

TFMAは、TF kerasモデル、汎用TF2シグネチャAPIに基づくモデル、TF Estimatorベースのモデルなど、さまざまなモデルタイプをサポートしています。 get_startedガイドは、モデルのサポートされているタイプと任意の制限の完全なリストを持っています。この例では、我々は、モデルだけでなく、として保存された推定量に基づくモデルベースkeras設定する方法を示してしようとしているEvalSavedModel 。参照してくださいよくある質問他の構成の例については、を。

TFMAは、トレーニング時に使用されたメトリック（つまり、組み込みメトリック）と、モデルがTFMA構成設定の一部として保存された後に定義されたメトリックの計算をサポートします。私たちのkerasのためにセットアップ我々は、（参照、当社の構成の一部として手動で私たちのメトリックとプロットを追加することを証明しますメトリックがサポートされているメトリックおよびプロットについての情報案内します）。 Estimatorのセットアップには、モデルとともに保存された組み込みのメトリックを使用します。私たちのセットアップには、次のセクションでより詳細に説明するいくつかのスライス仕様も含まれています。

作成した後tfma.EvalConfigとtfma.EvalSharedModel 、私たちは、その後使用してTFMAを実行することができtfma.run_model_analysis 。これが作成されますtfma.EvalResult我々はメトリックとプロットを描画するために、後で使用することができます。

ケラス

import tensorflow_model_analysis as tfma

# Setup tfma.EvalConfig settings
keras_eval_config = text_format.Parse("""
  ## Model information
  model_specs {
    # For keras (and serving models) we need to add a `label_key`.
    label_key: "big_tipper"
  }

  ## Post training metric information. These will be merged with any built-in
  ## metrics from training.
  metrics_specs {
    metrics { class_name: "ExampleCount" }
    metrics { class_name: "BinaryAccuracy" }
    metrics { class_name: "BinaryCrossentropy" }
    metrics { class_name: "AUC" }
    metrics { class_name: "AUCPrecisionRecall" }
    metrics { class_name: "Precision" }
    metrics { class_name: "Recall" }
    metrics { class_name: "MeanLabel" }
    metrics { class_name: "MeanPrediction" }
    metrics { class_name: "Calibration" }
    metrics { class_name: "CalibrationPlot" }
    metrics { class_name: "ConfusionMatrixPlot" }
    # ... add additional metrics and plots ...
  }

  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["trip_start_hour"]
  }
  slicing_specs {
    feature_keys: ["trip_start_day"]
  }
  slicing_specs {
    feature_values: {
      key: "trip_start_month"
      value: "1"
    }
  }
  slicing_specs {
    feature_keys: ["trip_start_hour", "trip_start_day"]
  }
""", tfma.EvalConfig())

# Create a tfma.EvalSharedModel that points at our keras model.
keras_model_path = os.path.join(MODELS_DIR, 'keras', '2')
keras_eval_shared_model = tfma.default_eval_shared_model(
    eval_saved_model_path=keras_model_path,
    eval_config=keras_eval_config)

keras_output_path = os.path.join(OUTPUT_DIR, 'keras')

# Run TFMA
keras_eval_result = tfma.run_model_analysis(
    eval_shared_model=keras_eval_shared_model,
    eval_config=keras_eval_config,
    data_location=tfrecord_file,
    output_path=keras_output_path)

2021-12-04 10:18:15.463173: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'libcusolver.so.10'; dlerror: libcusolver.so.10: cannot open shared object file: No such file or directory
2021-12-04 10:18:15.464249: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1757] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
WARNING:absl:Tensorflow version (2.4.4) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:apache_beam.runners.interactive.interactive_environment:Dependencies required for Interactive Beam PCollection visualization are not available, please use: `pip install apache-beam[interactive]` to install necessary dependencies to enable all data visualization features.
WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter.
WARNING:apache_beam.io.tfrecordio:Couldn't find python-snappy so the implementation of _TFRecordUtil._masked_crc32c is not as fast as it could be.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:113: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and: 
`tf.data.TFRecordDataset(path)`
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/writers/metrics_plots_and_validations_writer.py:113: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.
Instructions for updating:
Use eager execution and: 
`tf.data.TFRecordDataset(path)`

Estimator

import tensorflow_model_analysis as tfma

# Setup tfma.EvalConfig settings
estimator_eval_config = text_format.Parse("""
  ## Model information
  model_specs {
    # To use EvalSavedModel set `signature_name` to "eval".
    signature_name: "eval"
  }

  ## Post training metric information. These will be merged with any built-in
  ## metrics from training.
  metrics_specs {
    metrics { class_name: "ConfusionMatrixPlot" }
    # ... add additional metrics and plots ...
  }

  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["trip_start_hour"]
  }
  slicing_specs {
    feature_keys: ["trip_start_day"]
  }
  slicing_specs {
    feature_values: {
      key: "trip_start_month"
      value: "1"
    }
  }
  slicing_specs {
    feature_keys: ["trip_start_hour", "trip_start_day"]
  }
""", tfma.EvalConfig())

# Create a tfma.EvalSharedModel that points at our eval saved model.
estimator_base_model_path = os.path.join(
    MODELS_DIR, 'estimator', 'eval_model_dir')
estimator_model_path = os.path.join(
    estimator_base_model_path, os.listdir(estimator_base_model_path)[0])
estimator_eval_shared_model = tfma.default_eval_shared_model(
    eval_saved_model_path=estimator_model_path,
    eval_config=estimator_eval_config)

estimator_output_path = os.path.join(OUTPUT_DIR, 'estimator')

# Run TFMA
estimator_eval_result = tfma.run_model_analysis(
    eval_shared_model=estimator_eval_shared_model,
    eval_config=estimator_eval_config,
    data_location=tfrecord_file,
    output_path=estimator_output_path)

WARNING:absl:Tensorflow version (2.4.4) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/load.py:169: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0.
INFO:tensorflow:Restoring parameters from /tmp/tmp_at9q62d/saved_models-2.2/models/estimator/eval_model_dir/1591221811/variables/variables
INFO:tensorflow:Restoring parameters from /tmp/tmp_at9q62d/saved_models-2.2/models/estimator/eval_model_dir/1591221811/variables/variables
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow_model_analysis/eval_saved_model/graph_ref.py:189: get_tensor_from_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version.
Instructions for updating:
This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.get_tensor_from_tensor_info or tf.compat.v1.saved_model.get_tensor_from_tensor_info.

メトリックとプロットの視覚化

評価を実行したので、TFMAを使用した視覚化を見てみましょう。次の例では、kerasモデルで評価を実行した結果を視覚化します。推定量ベースのモデルを表示するには更新eval_result当社点までestimator_eval_result変数。

eval_result = keras_eval_result
# eval_result = estimator_eval_result

レンダリングメトリクス

あなたが使用してビューの指標にtfma.view.render_slicing_metrics

デフォルトでは、ビューが表示されますOverallのスライスを。特定のスライスを表示するには、（設定することで、列の名前を使用することができますslicing_column ）または提供tfma.SlicingSpec 。

メトリックの視覚化は、次の相互作用をサポートします。

  • クリックしてドラッグしてパン
  • スクロールしてズーム
  • 右クリックしてビューをリセットします
  • 目的のデータポイントにカーソルを合わせると、詳細が表示されます。
  • 下部の選択を使用して、4つの異なるタイプのビューから選択します。

例えば、我々は設定されますslicing_column見にtrip_start_hour当社従来からの機能slicing_specs 。

tfma.view.render_slicing_metrics(eval_result, slicing_column='trip_start_hour')

SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_hour:2', …

スライスの概要

スライスの数が少ない場合には、デフォルトの可視化は、スライスの概要です。各スライスのメトリックの値が表示されます。私たちが選択したのでtrip_start_hour上記の、それは私たちに私たちはいくつかの時間ではなく他の人に固有の問題のために検索することができます各時間、精度およびAUCなどの指標を示しています。

上記の視覚化では：

  • 当社で機能列、ソートしてみtrip_start_hours列ヘッダをクリックすることで、機能を
  • 例と時間のいくつかのために精度が0であるという問題を示すことができる、高精度でソートしようとすると、予告

このグラフでは、スライス内のさまざまなメトリックを選択して表示することもできます。

  • [表示]メニューから別の指標を選択してみてください
  • 「表示」メニューでリコールを選択してみてください、と予告例との時間のいくつかのためのリコールは、問題がある可能性が0であること

例の数が少ないスライス、つまり「重み」を除外するためのしきい値を設定することもできます。最小数の例を入力するか、スライダーを使用できます。

メトリックヒストグラム

このビューには、また、スライスの数が多い場合にも、デフォルトのビューである代替視覚化、としてメトリックヒストグラムをサポートしています。結果はバケットに分割され、スライス数/総重量/両方を視覚化できます。列ヘッダーをクリックすると、列を並べ替えることができます。重みが小さいスライスは、しきい値を設定することで除外できます。灰色の帯をドラッグすると、さらにフィルタリングを適用できます。範囲をリセットするには、バンドをダブルクリックします。フィルタリングを使用して、視覚化テーブルとメトリックテーブルの外れ値を削除することもできます。歯車のアイコンをクリックして、線形スケールではなく対数スケールに切り替えます。

  • Visualizationメニューで「MetricsHistogram」を選択してみてください

その他のスライス

私たちの最初のtfma.EvalConfig全体のリストを作成slicing_specs我々はに渡されたスライス情報更新することで可視化することができ、 tfma.view.render_slicing_metrics 。ここでは、選択しますtrip_start_dayスライス（曜日）を。変更してみてくださいtrip_start_dayするtrip_start_monthと異なるスライスを調べるために、再度レンダリング。

tfma.view.render_slicing_metrics(eval_result, slicing_column='trip_start_day')

SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_day:3', '…

TFMAは、機能の組み合わせを分析するための機能クロスの作成もサポートしています。私たちの元の設定は、クロス作成trip_start_hourとtrip_start_day ：

tfma.view.render_slicing_metrics(
    eval_result,
    slicing_spec=tfma.SlicingSpec(
        feature_keys=['trip_start_hour', 'trip_start_day']))

SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_day_X_tri…

2つの列を交差させると、多くの組み合わせが作成されます。さんは正午に開始するツアーでのみ見るために私達のクロスを絞り込むましょう。その後の選択しましょうbinary_accuracy可視化から：

tfma.view.render_slicing_metrics(
    eval_result,
    slicing_spec=tfma.SlicingSpec(
        feature_keys=['trip_start_day'], feature_values={'trip_start_hour': '12'}))

SlicingMetricsViewer(config={'weightedExamplesColumn': 'example_count'}, data=[{'slice': 'trip_start_day_X_tri…

レンダリングプロット

追加された任意のプロットtfma.EvalConfigポストトレーニングとしてmetric_specs使用して表示することができtfma.view.render_plot 。

メトリックと同様に、プロットはスライスごとに表示できます。メトリクスとは異なり、特定のように、スライス値のための唯一のプロットを表示することができtfma.SlicingSpec使用する必要があり、それがスライス機能名と値の両方を指定する必要があります。何のスライスが提供されていない場合は、その後のためにプロットOverallスライスが使用されています。

例では、表示されているの下にCalibrationPlotとConfusionMatrixPlotのために計算されたプロットtrip_start_hour:1のスライスを。

tfma.view.render_plot(
    eval_result,
    tfma.SlicingSpec(feature_values={'trip_start_hour': '1'}))

PlotViewer(config={'sliceName': 'trip_start_hour:1', 'metricKeys': {'calibrationPlot': {'metricName': 'calibra…

モデルのパフォーマンスを経時的に追跡する

トレーニングデータセットはモデルのトレーニングに使用され、テストデータセットと本番環境でモデルに送信されるデータを代表するものになることを願っています。ただし、推論リクエストのデータはトレーニングデータと同じままである場合がありますが、多くの場合、モデルのパフォーマンスが変化するほど十分に変化し始めます。

つまり、モデルのパフォーマンスを継続的に監視および測定して、変更を認識して対応できるようにする必要があります。 TFMAがどのように役立つかを見てみましょう。

レッツ・ロード3種類のモデルが実行され、彼らが使用して比較方法を確認するために、TFMAを使用render_time_series 。

# Note this re-uses the EvalConfig from the keras setup.

# Run eval on each saved model
output_paths = []
for i in range(3):
  # Create a tfma.EvalSharedModel that points at our saved model.
  eval_shared_model = tfma.default_eval_shared_model(
      eval_saved_model_path=os.path.join(MODELS_DIR, 'keras', str(i)),
      eval_config=keras_eval_config)

  output_path = os.path.join(OUTPUT_DIR, 'time_series', str(i))
  output_paths.append(output_path)

  # Run TFMA
  tfma.run_model_analysis(eval_shared_model=eval_shared_model,
                          eval_config=keras_eval_config,
                          data_location=tfrecord_file,
                          output_path=output_path)

WARNING:absl:Tensorflow version (2.4.4) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter.
WARNING:absl:Tensorflow version (2.4.4) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter.
WARNING:absl:Tensorflow version (2.4.4) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter.

まず、昨日モデルをトレーニングしてデプロイしたことを想像します。次に、今日入ってくる新しいデータでモデルがどのように機能するかを確認します。視覚化は、AUCを表示することから始まります。 UIから次のことができます。

  • [メトリックシリーズの追加]メニューを使用して、他のメトリックを追加します。
  • xをクリックして不要なグラフを閉じます
  • データポイント（グラフの線分の端）にカーソルを合わせると、詳細が表示されます。
eval_results_from_disk = tfma.load_eval_results(output_paths[:2])

tfma.view.render_time_series(eval_results_from_disk)

TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'binary_accuracy': {'doubleValu…

ここで、別の日が経過したことを想像し、前の2日間と比較して、今日入ってくる新しいデータでどのように機能しているかを確認したいと思います。

eval_results_from_disk = tfma.load_eval_results(output_paths)

tfma.view.render_time_series(eval_results_from_disk)

TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'binary_accuracy': {'doubleValu…

モデルの検証

TFMAは、複数のモデルを同時に評価するように構成できます。通常、これは、新しいモデルをベースライン（現在提供されているモデルなど）と比較して、メトリック（AUC​​など）のパフォーマンスの違いがベースラインと比較してどのようなものかを判断するために行われます。場合しきい値が設定されている、TFMAが生成するtfma.ValidationResult性能がexpecationsと一致するかどうかを示すレコードを。

候補とベースラインの2つのモデルを比較するために、keras評価を再構成してみましょう。また、設定することにより、ベースラインに対する候補者のパフォーマンスを検証しますtmfa.MetricThresholdメトリックAUCに。

# Setup tfma.EvalConfig setting
eval_config_with_thresholds = text_format.Parse("""
  ## Model information
  model_specs {
    name: "candidate"
    # For keras we need to add a `label_key`.
    label_key: "big_tipper"
  }
  model_specs {
    name: "baseline"
    # For keras we need to add a `label_key`.
    label_key: "big_tipper"
    is_baseline: true
  }

  ## Post training metric information
  metrics_specs {
    metrics { class_name: "ExampleCount" }
    metrics { class_name: "BinaryAccuracy" }
    metrics { class_name: "BinaryCrossentropy" }
    metrics {
      class_name: "AUC"
      threshold {
        # Ensure that AUC is always > 0.9
        value_threshold {
          lower_bound { value: 0.9 }
        }
        # Ensure that AUC does not drop by more than a small epsilon
        # e.g. (candidate - baseline) > -1e-10 or candidate > baseline - 1e-10
        change_threshold {
          direction: HIGHER_IS_BETTER
          absolute { value: -1e-10 }
        }
      }
    }
    metrics { class_name: "AUCPrecisionRecall" }
    metrics { class_name: "Precision" }
    metrics { class_name: "Recall" }
    metrics { class_name: "MeanLabel" }
    metrics { class_name: "MeanPrediction" }
    metrics { class_name: "Calibration" }
    metrics { class_name: "CalibrationPlot" }
    metrics { class_name: "ConfusionMatrixPlot" }
    # ... add additional metrics and plots ...
  }

  ## Slicing information
  slicing_specs {}  # overall slice
  slicing_specs {
    feature_keys: ["trip_start_hour"]
  }
  slicing_specs {
    feature_keys: ["trip_start_day"]
  }
  slicing_specs {
    feature_keys: ["trip_start_month"]
  }
  slicing_specs {
    feature_keys: ["trip_start_hour", "trip_start_day"]
  }
""", tfma.EvalConfig())

# Create tfma.EvalSharedModels that point at our keras models.
candidate_model_path = os.path.join(MODELS_DIR, 'keras', '2')
baseline_model_path = os.path.join(MODELS_DIR, 'keras', '1')
eval_shared_models = [
  tfma.default_eval_shared_model(
      model_name=tfma.CANDIDATE_KEY,
      eval_saved_model_path=candidate_model_path,
      eval_config=eval_config_with_thresholds),
  tfma.default_eval_shared_model(
      model_name=tfma.BASELINE_KEY,
      eval_saved_model_path=baseline_model_path,
      eval_config=eval_config_with_thresholds),
]

validation_output_path = os.path.join(OUTPUT_DIR, 'validation')

# Run TFMA
eval_result_with_validation = tfma.run_model_analysis(
    eval_shared_models,
    eval_config=eval_config_with_thresholds,
    data_location=tfrecord_file,
    output_path=validation_output_path)

WARNING:absl:Tensorflow version (2.4.4) found. Note that TFMA support for TF 2.0 is currently in beta
WARNING:root:Make sure that locally built Python SDK docker image has Python 3.7 interpreter.

ベースラインに対して1つ以上のモデルで評価を実行すると、TFMAは、評価中に計算されたすべてのメトリックの差分メトリックを自動的に追加します。これらのメトリックは、対応するメトリックが、とにちなんで命名されている_diffメトリック名に追加します。

実行によって生成されたメトリックを見てみましょう。

tfma.view.render_time_series(eval_result_with_validation)

TimeSeriesViewer(config={'isModelCentric': True}, data=[{'metrics': {'': {'': {'binary_accuracy': {'doubleValu…

次に、検証チェックからの出力を見てみましょう。我々が使用する検証結果を表示するにはtfma.load_validator_result 。この例では、AUCがしきい値を下回っているため、検証は失敗します。

validation_result = tfma.load_validation_result(validation_output_path)
print(validation_result.validation_ok)

False