ModelValidator được sử dụng để kiểm tra xem một mô hình có đủ tốt để sử dụng trong sản xuất hay không. Chúng tôi vẫn cho rằng việc xác thực là hữu ích, nhưng vì Người đánh giá mô hình đã tính toán tất cả số liệu bạn muốn xác thực dựa trên đó nên chúng tôi đã quyết định kết hợp cả hai để bạn không phải thực hiện tính toán trùng lặp.
Mặc dù chúng tôi đã ngừng sử dụng ModelValidator và không khuyên bạn nên sử dụng nó, nhưng nếu bạn cần duy trì thành phần ModelValidator hiện có thì cấu hình ví dụ như sau:
import tfx
import tensorflow_model_analysis as tfma
from tfx.components.model_validator.component import ModelValidator
...
model_validator = ModelValidator(
examples=example_gen.outputs['output_data'],
model=trainer.outputs['model'])
Đối với những người muốn di chuyển cấu hình sang Người đánh giá, một cấu hình tương tự cho Người đánh giá sẽ như sau:
from tfx import components
import tensorflow_model_analysis as tfma
...
eval_config = tfma.EvalConfig(
model_specs=[
# This assumes a serving model with signature 'serving_default'. If
# using estimator based EvalSavedModel, add signature_name: 'eval' and
# remove the label_key.
tfma.ModelSpec(label_key='<label_key>')
],
metrics_specs=[
tfma.MetricsSpec(
# The metrics added here are in addition to those saved with the
# model (assuming either a keras model or EvalSavedModel is used).
# Any metrics added into the saved model (for example using
# model.compile(..., metrics=[...]), etc) will be computed
# automatically.
metrics=[
tfma.MetricConfig(class_name='ExampleCount'),
tfma.MetricConfig(
class_name='BinaryAccuracy',
threshold=tfma.MetricThreshold(
value_threshold=tfma.GenericValueThreshold(
lower_bound={'value': 0.5}),
change_threshold=tfma.GenericChangeThreshold(
direction=tfma.MetricDirection.HIGHER_IS_BETTER,
absolute={'value': -1e-10})))
]
)
],
slicing_specs=[
# An empty slice spec means the overall slice, i.e. the whole dataset.
tfma.SlicingSpec(),
# Data can be sliced along a feature column. In this case, data is
# sliced along feature column trip_start_hour.
tfma.SlicingSpec(feature_keys=['trip_start_hour'])
])
model_resolver = Resolver(
strategy_class=latest_blessed_model_resolver.LatestBlessedModelResolver,
model=Channel(type=Model),
model_blessing=Channel(type=ModelBlessing)
).with_id('latest_blessed_model_resolver')
model_analyzer = components.Evaluator(
examples=examples_gen.outputs['examples'],
model=trainer.outputs['model'],
baseline_model=model_resolver.outputs['model'],
# Change threshold will be ignored if there is no baseline (first run).
eval_config=eval_config)