تم استخدام ModelValidator للتحقق مما إذا كان النموذج جيدًا بما يكفي لاستخدامه في الإنتاج. ما زلنا نعتقد أن التحقق من الصحة مفيد، ولكن بما أن مقيم النموذج قد قام بالفعل بحساب جميع المقاييس التي تريد التحقق من صحتها مقابلها، فقد قررنا دمج الاثنين حتى لا تضطر إلى تكرار الحسابات.
على الرغم من أننا قمنا بإهمال ModelValidator ولا نوصي باستخدامه، إذا كنت بحاجة إلى الحفاظ على مكون ModelValidator موجود، فإن مثال التكوين هو كما يلي:
import tfx
import tensorflow_model_analysis as tfma
from tfx.components.model_validator.component import ModelValidator
...
model_validator = ModelValidator(
examples=example_gen.outputs['output_data'],
model=trainer.outputs['model'])
بالنسبة لأولئك الذين يرغبون في ترحيل التكوين إلى المُقيم، سيبدو تكوين مماثل للمقيم كما يلي:
from tfx import components
import tensorflow_model_analysis as tfma
...
eval_config = tfma.EvalConfig(
model_specs=[
# This assumes a serving model with signature 'serving_default'. If
# using estimator based EvalSavedModel, add signature_name: 'eval' and
# remove the label_key.
tfma.ModelSpec(label_key='<label_key>')
],
metrics_specs=[
tfma.MetricsSpec(
# The metrics added here are in addition to those saved with the
# model (assuming either a keras model or EvalSavedModel is used).
# Any metrics added into the saved model (for example using
# model.compile(..., metrics=[...]), etc) will be computed
# automatically.
metrics=[
tfma.MetricConfig(class_name='ExampleCount'),
tfma.MetricConfig(
class_name='BinaryAccuracy',
threshold=tfma.MetricThreshold(
value_threshold=tfma.GenericValueThreshold(
lower_bound={'value': 0.5}),
change_threshold=tfma.GenericChangeThreshold(
direction=tfma.MetricDirection.HIGHER_IS_BETTER,
absolute={'value': -1e-10})))
]
)
],
slicing_specs=[
# An empty slice spec means the overall slice, i.e. the whole dataset.
tfma.SlicingSpec(),
# Data can be sliced along a feature column. In this case, data is
# sliced along feature column trip_start_hour.
tfma.SlicingSpec(feature_keys=['trip_start_hour'])
])
model_resolver = Resolver(
strategy_class=latest_blessed_model_resolver.LatestBlessedModelResolver,
model=Channel(type=Model),
model_blessing=Channel(type=ModelBlessing)
).with_id('latest_blessed_model_resolver')
model_analyzer = components.Evaluator(
examples=examples_gen.outputs['examples'],
model=trainer.outputs['model'],
baseline_model=model_resolver.outputs['model'],
# Change threshold will be ignored if there is no baseline (first run).
eval_config=eval_config)