TensorFlow Serving (TF Serving) הוא כלי להפעלת דגמי TensorFlow באופן מקוון בהגדרות ייצור גדולות באמצעות RPC או REST API. TensorFlow Decision Forests (TF-DF) נתמך באופן מקורי על ידי TF Serving >=2.11.
דגמי TF-DF תואמים ישירות ל-TF Serving. ניתן להשתמש בדגמי Yggdrasil עם TF Serving לאחר שהוסרו תחילה.
מגבלות
TensorFlow מוסיף כמות משמעותית של תקורה חישובית. עבור מודלים קטנים ורגישים לאחביון (למשל, זמן הסקת מודל ~1µs), תקורה זו יכולה להיות גדולה בסדר גודל מהזמן הדרוש למודל עצמו. במקרה זה, מומלץ להפעיל את דגמי TF-DF עם Yggdrasil Decision Forests .
דוגמא לשימוש
הדוגמה הבאה מראה כיצד להפעיל מודל TF-DF ב-TF Serving:
ראשית, התקן את TF Serving . בדוגמה זו, נשתמש בגרסה המורכבת מראש של TF-Serving + TF-DF.
# Download TF Serving
wget https://github.com/tensorflow/decision-forests/releases/download/serving-1.0.1/tensorflow_model_server_linux.zip
unzip tensorflow_model_server_linux.zip
# Check that TF Serving works.
./tensorflow_model_server --version
בדוגמה זו, אנו משתמשים במודל TF-DF שעבר הכשרה.
# Get a TF-DF model
git clone https://github.com/tensorflow/decision-forests.git
MODEL_PATH=$(pwd)/decision-forests/tensorflow_decision_forests/test_data/model/saved_model_adult_rf
echo "The TF-DF model is available at: ${MODEL_PATH}"
הערות: TF-Serving דורש את הנתיב המלא של הדגם. זו הסיבה שאנו משתמשים ב $(pwd) .
TF-Serving תומך בניהול גרסאות של דגמים. המודל צריך להיות כלול בספרייה ששמה הוא גרסת המודל. גרסת דגם היא מספר שלם, למשל, "1". הנה ספרייה טיפוסית עבור TF-Serving.
-
/path/to/model-
1: גרסה 1 של הדגם -
5: גרסה 5 של הדגם -
6: גרסה 6 של הדגם
-
עבור דוגמה זו, אנחנו צריכים רק לשים את המודל בספרייה בשם "1".
mkdir -p /tmp/tf_serving_model
cp -R "${MODEL_PATH}" /tmp/tf_serving_model/1
כעת, נוכל להתחיל את TF-Sering בדגם.
./tensorflow_model_server \
--rest_api_port=8502 \
--model_name=my_model \
--model_base_path=/tmp/tf_serving_model
לבסוף, אתה יכול לשלוח בקשה ל-TF Serving באמצעות Rest API. שני פורמטים זמינים: Predict+instances API ו-Predict+Inputs API. הנה דוגמה לכל אחד מהם:
# Predictions with the predict+instances API.
curl http://localhost:8502/v1/models/my_model:predict -X POST \
-d '{"instances": [{"age":39,"workclass":"State-gov","fnlwgt":77516,"education":"Bachelors","education_num":13,"marital_status":"Never-married","occupation":"Adm-clerical","relationship":"Not-in-family","race":"White","sex":"Male","capital_gain":2174,"capital_loss":0,"hours_per_week":40,"native_country":"United-States"}]}'
# Predictions with the predict+inputs API
curl http://localhost:8502/v1/models/my_model:predict -X POST \
-d '{"inputs": {"age":[39],"workclass":["State-gov"],"fnlwgt":[77516],"education":["Bachelors"],"education_num":[13],"marital_status":["Never-married"],"occupation":["Adm-clerical"],"relationship":["Not-in-family"],"race":["White"],"sex":["Male"],"capital_gain":[2174],"capital_loss":[0],"hours_per_week":[40],"native_country":["United-States"]} }'