TensorFlow 에이전트

TensorFlow를 사용한 강화 학습

에이전트는 수정 및 확장이 가능한 잘 테스트된 모듈식 구성 요소를 제공함으로써 새로운 RL 알고리즘을 보다 쉽게 ​​설계, 구현 및 테스트할 수 있도록 해줍니다. 우수한 테스트 통합 및 벤치마킹을 통해 빠른 코드 반복이 가능합니다.

시작하려면 튜토리얼 중 하나를 확인하는 것이 좋습니다.

설치

TF-Agents는 야간에 안정적인 빌드를 게시합니다. 릴리스 목록을 보려면 릴리스 섹션을 읽어보세요. 아래 명령은 pypi.org 및 GitHub 복제본에서 야간에 안정적으로 TF-Agent를 설치하는 방법을 다룹니다.

:경고: 매우 일반적인 Reverb(재생 버퍼)를 사용하는 경우 TF-Agent는 Linux에서만 작동합니다.

안정적인

최신 안정 릴리스를 설치하려면 아래 명령을 실행하십시오. 릴리스에 대한 API 문서는 tensorflow.org 에 있습니다.

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

pip 종속성 검사에 의해 호환되지 않는 것으로 표시된 Tensorflow 또는 Reverb 버전으로 TF-Agent를 설치하려는 경우 위험 부담은 아래의 다음 패턴을 사용하십시오.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

TensorFlow 1.15 또는 2.0과 함께 TF-Agent를 사용하려면 버전 0.3.0을 설치하세요.

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

야간

Nightly 빌드에는 최신 기능이 포함되어 있지만 버전이 지정된 릴리스보다 안정성이 떨어질 수 있습니다. Nightly 빌드는 tf-agents-nightly 로 푸시됩니다. TF-Agents nightly가 테스트되는 버전이므로 TensorFlow( tf-nightly ) 및 TensorFlow Probability( tfp-nightly )의 nightly 버전을 설치하는 것이 좋습니다.

Nightly 빌드 버전을 설치하려면 다음을 실행하세요.

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

GitHub에서

리포지토리를 복제한 후 pip install -e .[tests] 실행하여 종속성을 설치할 수 있습니다. TensorFlow는 독립적으로 설치해야 합니다: pip install --user tf-nightly .

기여

우리는 당신과 협력하고 싶습니다! 기여 방법에 대한 안내는 CONTRIBUTING.md 참조하세요. 이 프로젝트는 TensorFlow의 행동 강령을 준수합니다. 참여함으로써 귀하는 이 코드를 유지해야 합니다.

릴리스

TF Agents에는 안정적인 야간 릴리스가 있습니다. 야간 릴리스는 괜찮은 경우가 많지만 업스트림 라이브러리가 유동적이어서 문제가 발생할 수 있습니다. 아래 표에는 각 TF Agent 릴리스에 맞는 TensorFlow 버전이 나열되어 있습니다. 관심 있는 릴리스 버전:

• 0.19.0은 tensorflow-2.15.0을 지원합니다.
• 0.18.0에서는 Python 3.8 지원이 중단되었습니다.
• 0.16.0은 Python 3.11을 지원하는 첫 번째 버전입니다.
• 0.15.0은 Python 3.7과 호환되는 마지막 릴리스입니다.
• numpy < 1.19를 사용하는 경우 TF-Agents 0.15.0 이하를 사용하세요.
• 0.9.0은 Python 3.6과 호환되는 마지막 릴리스입니다.
• 0.3.0은 Python 2.x와 호환되는 마지막 릴리스입니다.

원칙

이 프로젝트는 Google의 AI 원칙을 준수합니다. 이 프로젝트에 참여, 사용 또는 기여함으로써 귀하는 이러한 원칙을 준수해야 합니다.

소환

이 코드를 사용하는 경우 다음과 같이 인용해 주세요.

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}