텐서플로:: 피복재:: 기본매니저

로드, 서빙 및 언로드를 포함하여 서블릿의 수명 주기를 관리하는 데 도움이 됩니다.

요약

관리자는 로더 형태의 서블릿을 허용합니다.

ManageServable* 메소드 중 하나를 통해 서버블 관리를 시작합니다. 당신은 호출하여이 후 게재 가능한로드에 갈 수 LoadServable을 () . 또한 로드하면 서빙을 제공할 수 있습니다. 당신이 그것을 언로드하기로 결정하면, 당신은 호출 할 수 있습니다 UnloadServable ()를 다음 게재 가능한 언로드, 그것은 사용할 수없는 역할을 할 것이다, 거기에.

Servables가 될 때까지 유지됩니다 () StopManagingServable 이라고합니다. 이렇게 하면 더 많은 정보를 가진 상위 관리자가 언제 서번블을 잊어도 안전한지 결정할 수 있습니다.

BasicManager는 로드 servables에서 사용하는 리소스 (예 : RAM)을 추적하고 단지 전체 리소스 풀에 들어 가지 새로운 servables를로드 할 수 있습니다.

BasicManager는 그것의로드 및 언로드 할 수있는 스레드 풀을 사용하도록 구성 할 수 있습니다. 이것은하게 LoadServable () 및 UnloadServable () 동기들을 실행보다는로드 / 언로드 예약 방법. 스레드 풀의 스레드보다 보류 중인 로드/언로드가 많으면 FIFO 순서로 처리됩니다.

servable의 리소스 요구 사항을 과대 평가하고/또는 servable의 리소스를 장치 인스턴스에만 바인딩하는 로더가 있는 경우 로드/언로드 동시성을 스레드 풀 크기 아래로 줄일 수 있습니다. 이는 다른 서빙을 로드하기 위한 리소스 가용성을 고정하기 위해 한 서빙의 로드/언로드가 완료될 때까지 기다려야 할 수도 있기 때문입니다.

다음이 필요합니다.

1. 메소드 호출의 주문 - ManageServable () (및 변형) -> LoadServable () -> UnloadServable () -> StopManagingServable () .
2. 동일한 servable의 동시 로드 및 언로드를 예약하지 마십시오.
3. 동일한 servable에서 load 또는 unload를 여러 번 호출하지 마십시오.

이 클래스는 스레드로부터 안전합니다.

사용 예제 :

const ServableId id = {kServableName, 0};
std::unique_ptr<Loader> loader = ...;
...
BasicManager manager;
TF_CHECK_OK(manager.ManageServable(
  CreateServableData(id, std::move(loader))));
TF_CHECK_OK(manager.LoadServable(id));

...
TF_CHECK_OK(manager.GetServableHandle(
    ServableRequest::Latest(kServableName), &handle));
...

TF_CHECK_OK(manager.UnloadServable(id));
TF_CHECK_OK(manager.StopManagingServable(id));  

계승

공개 유형

std::function< void(const Status &status)> DoneCallback

std::function< void(const ServableId &)> PreLoadHook

friend class test_util::BasicManagerTestAccess

Status Create(
  Options options,
  std::unique_ptr< BasicManager > *manager
)

void CancelLoadServableRetry(
  const ServableId & id
)

T * GetAdditionalServableState(
  const ServableId & id
)

virtual std::map< ServableId, std::unique_ptr< UntypedServableHandle > > GetAvailableUntypedServableHandles() const override

std::vector< string > GetManagedServableNames() const 

optional< ServableStateSnapshot< T > > GetManagedServableStateSnapshot(
  const ServableId & id
)

std::vector< ServableStateSnapshot< T > > GetManagedServableStateSnapshots(
  const string & servable_name
) const 

virtual Status GetUntypedServableHandle(
  const ServableRequest & request,
  std::unique_ptr< UntypedServableHandle > *untyped_handle
) override

virtual std::vector< ServableId > ListAvailableServableIds() const override

void LoadServable(
  const ServableId & id,
  DoneCallback done_callback
)

Status ManageServable(
  ServableData< std::unique_ptr< Loader >> servable
)

Status ManageServableWithAdditionalState(
  ServableData< std::unique_ptr< Loader >> servable,
  std::unique_ptr< T > additional_state
)

Status StopManagingServable(
  const ServableId & id
)

void UnloadServable(
  const ServableId & id,
  DoneCallback done_callback
)

 ~BasicManager() override