پیکربندی
TFMA پیکربندی خود را در پروتویی ذخیره می کند که به صورت سریال JSON است. این پروتو پیکربندی مورد نیاز برای داده های ورودی، داده های خروجی، مشخصات مدل، مشخصات متریک، و مشخصات برش را یکپارچه می کند.
تمام خطوط لوله TFMA با یک مدل پایه (اولیه) و مدل های کاندید صفر یا بیشتر (ثانویه) مرتبط هستند. خط مبنا و مدل کاندید توسط کاربر در ابتدای خط لوله تعریف می شود و هر یک به یک نام منحصر به فرد نیاز دارند. موارد زیر نمونههایی از تنظیمات پیکربندی معمولی است که کاربر ممکن است از آن استفاده کند:
- ارزیابی تک مدل:
- N/A (یعنی بدون نام)
- ارزیابی مبتنی بر اعتبارسنجی:
-
baseline
-
candidate
-
- ارزیابی مقایسه مدل:
-
my_model_a
-
my_model_b
-
مشخصات مدل
مشخصات مدل از نوع tfma.ModelSpec
هستند و برای تعریف مکان یک مدل و همچنین سایر پارامترهای خاص مدل استفاده می شوند. برای مثال موارد زیر تنظیمات معمولی هستند که باید قبل از اجرای ارزیابی پیکربندی شوند:
-
name
- نام مدل (در صورت استفاده از چندین مدل) -
signature_name
- نام امضایی که برای پیشبینیها استفاده میشود (پیشفرضserving_default
است). در صورت استفاده از EvalSavedModel ازeval
استفاده کنید. -
label_key
- نام ویژگی مرتبط با برچسب. -
example_weight_key
- نام ویژگی مرتبط با وزن مثال.
مشخصات متریک
مشخصات معیارها از نوع tfma.MetricsSpec
هستند و برای پیکربندی معیارهایی که به عنوان بخشی از ارزیابی محاسبه میشوند استفاده میشوند. مشکلات مختلف یادگیری ماشین از انواع مختلفی از معیارها استفاده می کنند و TFMA گزینه های زیادی را برای پیکربندی و سفارشی کردن معیارهای محاسبه شده ارائه می دهد. از آنجایی که معیارها بخش بسیار بزرگی از TFMA هستند، آنها به طور جداگانه در متریک مورد بحث قرار می گیرند.
مشخصات برش
مشخصات برش از نوع tfma.SlicingSpec
هستند و برای پیکربندی معیارهای برشهایی که در طول ارزیابی استفاده میشوند استفاده میشوند. برش را می توان با feature_keys
، feature_values
یا هر دو انجام داد. چند نمونه از مشخصات برش به شرح زیر است:
-
{}
- برش متشکل از داده های کلی.
-
{ feature_keys: ["country"] }
- برش برای همه مقادیر در ویژگی "کشور". برای مثال، ممکن است برشهای "country:us"، "country:jp" و غیره را دریافت کنیم.
-
{ feature_values: [{key: "country", value: "us"}] }
- برش متشکل از "کشور: ما".
-
{ feature_keys: ["country", "city"] }
- تکههایی برای همه مقادیر در ویژگی "کشور" با همه مقادیر در ویژگی "شهر" تلاقی داده شده است (توجه داشته باشید که ممکن است گران باشد).
-
{ feature_keys: ["country"] feature_values: [{key: "age", value: "20"}] }
- برشها برای همه مقادیر در ویژگی "country" با مقدار "age:20" تلاقی داده شده است.
توجه داشته باشید که کلیدهای ویژگی ممکن است ویژگی های تبدیل شده یا ویژگی های ورودی خام باشند. برای اطلاعات بیشتر به tfma.SlicingSpec
مراجعه کنید.
EvalSharedModel
علاوه بر تنظیمات پیکربندی، TFMA همچنین نیاز دارد که یک نمونه از tfma.EvalSharedModel
برای به اشتراک گذاری یک مدل بین چندین رشته در یک فرآیند ایجاد شود. نمونه مدل مشترک شامل اطلاعاتی در مورد نوع مدل (keras و غیره) و نحوه بارگیری و پیکربندی مدل از مکان ذخیره شده آن بر روی دیسک (به عنوان مثال برچسب ها و غیره) است. tfma.default_eval_shared_model
API را می توان برای ایجاد یک نمونه پیش فرض با یک مسیر و مجموعه ای از برچسب ها استفاده کرد.