tensorflow ：：サービング:: BasicManager

使用可能なサービスのロード、提供、アンロードなどのライフサイクルの管理を支援します。

概要

マネージャーはローダーの形でサーバブルを受け入れます。

ManageServable *メソッドの1つを介してservableの管理を開始します。あなたが呼び出すことで、この後のサービス提供可能なをロードするために行くことができLoadServableを（） 。ロードすると、サーバブルも提供できるようになります。あなたはそれをアンロードすることを決定したら、あなたは呼び出すことができます）（UnloadServableサービス提供可能なアンロード、その後、奉仕することが利用できなくなる、それに。

Servablesがされるまで保持されます（）StopManagingServableと呼ばれています。これにより、より多くの情報を持つ上位レベルのマネージャーが、いつサーバブルを忘れても安全かを判断できます。

BasicManagerは、ロードされたservablesが使用するリソース（例えばRAM）を追跡し、そして唯一の総合的なリソースプール内に収まる新しいservablesをロードすることができます。

BasicManagerはそれのロードとアンロードを行うには、スレッドプールを使用するように設定することができます。これは作るLoadServable（）とUnloadServable（）に同期して実行するのではなく、ロード/アンロードをスケジューリングする方法を。スレッドプール内のスレッドよりも保留中のロード/アンロードが多い場合、それらはFIFO順に処理されます。

サーバブルのリソースニーズを過大評価している、および/またはサーバブルのリソースをデバイスインスタンスにバインドするだけのローダーが存在する場合、ロード/アンロードの同時実行性をスレッドプールサイズより小さくすることができます。これは、あるサーバブルのロード/アンロードが完了するのを待って、別のサーバブルをロードするためのリソースの可用性を特定する必要がある場合があるためです。

必要：

1. -メソッド呼び出しの順序ManageServable（） （および変異体） - > LoadServable（） - > UnloadServable（） - > StopManagingServable（） 。
2. 同じサーバブルの同時ロードとアンロードをスケジュールしないでください。
3. 同じサーバブルでロードまたはアンロードを複数回呼び出さないでください。

このクラスはスレッドセーフです。

使用例：

const ServableId id = {kServableName, 0};
std::unique_ptr<Loader> loader = ...;
...
BasicManager manager;
TF_CHECK_OK(manager.ManageServable(
  CreateServableData(id, std::move(loader))));
TF_CHECK_OK(manager.LoadServable(id));

...
TF_CHECK_OK(manager.GetServableHandle(
    ServableRequest::Latest(kServableName), &handle));
...

TF_CHECK_OK(manager.UnloadServable(id));
TF_CHECK_OK(manager.StopManagingServable(id));  

継承

パブリックタイプ

std::function< void(const Status &status)> DoneCallback

std::function< void(const ServableId &)> PreLoadHook

friend class test_util::BasicManagerTestAccess

Status Create(
  Options options,
  std::unique_ptr< BasicManager > *manager
)

void CancelLoadServableRetry(
  const ServableId & id
)

T * GetAdditionalServableState(
  const ServableId & id
)

virtual std::map< ServableId, std::unique_ptr< UntypedServableHandle > > GetAvailableUntypedServableHandles() const override

std::vector< string > GetManagedServableNames() const 

optional< ServableStateSnapshot< T > > GetManagedServableStateSnapshot(
  const ServableId & id
)

std::vector< ServableStateSnapshot< T > > GetManagedServableStateSnapshots(
  const string & servable_name
) const 

virtual Status GetUntypedServableHandle(
  const ServableRequest & request,
  std::unique_ptr< UntypedServableHandle > *untyped_handle
) override

virtual std::vector< ServableId > ListAvailableServableIds() const override

void LoadServable(
  const ServableId & id,
  DoneCallback done_callback
)

Status ManageServable(
  ServableData< std::unique_ptr< Loader >> servable
)

Status ManageServableWithAdditionalState(
  ServableData< std::unique_ptr< Loader >> servable,
  std::unique_ptr< T > additional_state
)

Status StopManagingServable(
  const ServableId & id
)

void UnloadServable(
  const ServableId & id,
  DoneCallback done_callback
)

 ~BasicManager() override