Descripción general
TFMA admite la validación de un modelo mediante la configuración de umbrales de valor y umbrales de cambio basados en las métricas admitidas .
Configuración
Umbral de valor genérico
El umbral de valor es útil para controlar el modelo candidato comprobando si las métricas correspondientes son mayores que un límite inferior y/o menores que un límite superior. El usuario puede establecer uno o ambos valores de límite inferior y límite superior. El límite inferior tiene un valor predeterminado de infinito negativo si no está configurado, y el límite superior tiene un valor predeterminado de infinito si no está configurado.
import tensorflow_model_analysis as tfma
lower_bound = tfma.GenericValueThreshold(lower_bound={'value':0})
upper_bound = tfma.GenericValueThreshold(upper_bound={'value':1})
lower_upper_bound = tfma.GenericValueThreshold(lower_bound={'value':0},
upper_bound={'value':1))
Umbral de cambio genérico
El umbral de cambio es útil para controlar el modelo candidato comprobando si la métrica correspondiente es mayor o menor que la de un modelo de referencia. Hay dos formas de medir el cambio: cambio absoluto y cambio relativo. El cambio absoluto se calcula como la diferencia de valor entre las métricas del modelo candidato y de referencia, es decir, v_c - v_b donde v_c denota el valor de la métrica candidata y v_b denota el valor de referencia. El valor relativo es la diferencia relativa entre la métrica del candidato y la línea base, es decir, v_c/v_b . El umbral absoluto y relativo pueden coexistir en el modelo de puerta según ambos criterios. Además de configurar valores de umbral, el usuario también debe configurar MetricDirection. para métricas con valores favorablemente más altos (por ejemplo, AUC), establezca la dirección en HIGHER_IS_BETTER, para métricas con valores favorablemente más bajos (por ejemplo, pérdida), establezca la dirección en LOWER_IS_BETTER. Los umbrales de cambio requieren que se evalúe un modelo de referencia junto con el modelo candidato. Consulte la guía de introducción para ver un ejemplo.
import tensorflow_model_analysis as tfma
absolute_higher_is_better = tfma.GenericChangeThreshold(absolute={'value':1},
direction=tfma.MetricDirection.HIGHER_IS_BETTER)
absolute_lower_is_better = tfma.GenericChangeThreshold(absolute={'value':1},
direction=tfma.MetricDirection.LOWER_IS_BETTER)
relative_higher_is_better = tfma.GenericChangeThreshold(relative={'value':1},
direction=tfma.MetricDirection.HIGHER_IS_BETTER)
relative_lower_is_better = tfma.GenericChangeThreshold(relative={'value':1},
direction=tfma.MetricDirection.LOWER_IS_BETTER)
absolute_and_relative = tfma.GenericChangeThreshold(relative={'value':1},
absolute={'value':0.2},
direction=tfma.MetricDirection.LOWER_IS_BETTER)
juntando cosas
El siguiente ejemplo combina umbrales de valor y cambio:
import tensorflow_model_analysis as tfma
lower_bound = tfma.GenericValueThreshold(lower_bound={'value':0.7})
relative_higher_is_better =
tfma.GenericChangeThreshold(relative={'value':1.01},
direction=tfma.MetricDirection.HIGHER_IS_BETTER)
auc_threshold = tfma.MetricThreshold(value_threshold=lower_bound,
change_threshold=relative_higher_is_better)
Podría ser más legible escribir la configuración en formato proto:
from google.protobuf import text_format
auc_threshold = text_format.Parse("""
value_threshold { lower_bound { value: 0.6 } }
change_threshold { relative { value: 1.01 } }
""", tfma.MetricThreshold())
MetricThreshold se puede configurar para controlar las métricas de tiempo de entrenamiento del modelo (ya sea EvalSavedModel o el modelo guardado de Keras) y las métricas posteriores al entrenamiento (definidas en la configuración de TFMA). Para las métricas de Tiempo de entrenamiento, los umbrales se especifican en tfma.MetricsSpec:
metrics_spec = tfma.MetricSpec(thresholds={'auc': auc_threshold})
Para las métricas posteriores al entrenamiento, los umbrales se definen directamente en tfma.MetricConfig:
metric_config = tfma.MetricConfig(class_name='TotalWeightedExample',
threshold=lower_bound)
Aquí hay un ejemplo junto con las otras configuraciones en EvalConfig:
# Run in a Jupyter Notebook.
from google.protobuf import text_format
eval_config = text_format.Parse("""
model_specs {
# This assumes a serving model with a "serving_default" signature.
label_key: "label"
example_weight_key: "weight"
}
metrics_spec {
# Training Time metric thresholds
thresholds {
key: "auc"
value: {
value_threshold {
lower_bound { value: 0.7 }
}
change_threshold {
direction: HIGHER_IS_BETTER
absolute { value: -1e-10 }
}
}
}
# Post Training metrics and their thesholds.
metrics {
# This assumes a binary classification model.
class_name: "AUC"
threshold {
value_threshold {
lower_bound { value: 0 }
}
}
}
}
slicing_specs {}
slicing_specs {
feature_keys: ["age"]
}
""", tfma.EvalConfig())
eval_shared_models = [
tfma.default_eval_shared_model(
model_name=tfma.CANDIDATE_KEY,
eval_saved_model_path='/path/to/saved/candiate/model',
eval_config=eval_config),
tfma.default_eval_shared_model(
model_name=tfma.BASELINE_KEY,
eval_saved_model_path='/path/to/saved/baseline/model',
eval_config=eval_config),
]
eval_result = tfma.run_model_analysis(
eval_shared_models,
eval_config=eval_config,
# This assumes your data is a TFRecords file containing records in the
# tf.train.Example format.
data_location="/path/to/file/containing/tfrecords",
output_path="/path/for/output")
tfma.view.render_slicing_metrics(eval_result)
tfma.load_validation_result(output_path)
Producción
Además del archivo de métricas generado por el evaluador, cuando se utiliza la validación, también se genera un archivo de "validaciones" adicional. El formato de carga útil es ValidationResult . La salida tendrá "validation_ok" establecido en Verdadero cuando no haya fallas. Cuando hay fallas, se proporciona información sobre las métricas asociadas, los umbrales y los valores de métricas que se observaron. El siguiente es un ejemplo en el que "weighted_examle_count" no supera un umbral de valor (1,5 no es menor que 1,0, de ahí el error):
validation_ok: False
metric_validations_per_slice {
failures {
metric_key {
name: "weighted_example_count"
model_name: "candidate"
}
metric_threshold {
value_threshold {
upper_bound { value: 1.0 }
}
}
metric_value {
double_value { value: 1.5 }
}
}
}