Agenty TensorFlow

Uczenie się przez wzmacnianie za pomocą TensorFlow

Agents ułatwia projektowanie, wdrażanie i testowanie nowych algorytmów RL, dostarczając dobrze przetestowane komponenty modułowe, które można modyfikować i rozszerzać. Umożliwia szybką iterację kodu, z dobrą integracją testów i benchmarkingiem.

Na początek zalecamy zapoznanie się z jednym z naszych tutoriali .

Instalacja

TF-Agents publikuje nocne i stabilne kompilacje. Aby zapoznać się z listą wydań, przeczytaj sekcję Wydania . Poniższe polecenia obejmują instalację TF-Agents stabilnie i co noc z pypi.org , a także z klonu GitHub.

:warning: Jeśli używasz Reverb (bufor odtwarzania), co jest bardzo powszechne, TF-Agents będzie działać tylko z Linuksem.

Stabilny

Uruchom poniższe polecenia, aby zainstalować najnowszą stabilną wersję. Dokumentacja API tej wersji znajduje się na tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Jeśli chcesz zainstalować TF-Agents z wersjami Tensorflow lub Reverb , które są oznaczone jako niezgodne podczas sprawdzania zależności pip, użyj poniższego wzorca na własne ryzyko.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Jeśli chcesz używać agentów TF z TensorFlow 1.15 lub 2.0, zainstaluj wersję 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Nocny

Kompilacje Nightly zawierają nowsze funkcje, ale mogą być mniej stabilne niż wersje wersjonowane. Wersja nocna jest wypychana jako tf-agents-nightly . Sugerujemy zainstalowanie nocnych wersji TensorFlow ( tf-nightly ) i TensorFlow Probability ( tfp-nightly ), ponieważ są to wersje, z którymi testowany jest TF-Agents nightly.

Aby zainstalować wersję nocną, uruchom następujące polecenie:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Z GitHuba

Po sklonowaniu repozytorium zależności można zainstalować, uruchamiając polecenie pip install -e .[tests] . TensorFlow należy zainstalować niezależnie: pip install --user tf-nightly .

Wkład

Chętnie nawiążemy z Tobą współpracę! Zobacz CONTRIBUTING.md aby dowiedzieć się, jak wnieść swój wkład. Ten projekt jest zgodny z kodeksem postępowania TensorFlow. Biorąc udział w programie, oczekuje się, że będziesz przestrzegać tego kodeksu.

Wydania

TF Agents ma stabilne i nocne wydania. Wydania nocne są często w porządku, ale mogą powodować problemy ze względu na ciągłe zmiany bibliotek nadrzędnych. Poniższa tabela zawiera listę wersji TensorFlow, które są zgodne z wydaniem każdego agenta TF. Wydaj interesujące wersje:

  • Wersja 0.19.0 obsługuje tensorflow-2.15.0.
  • Wersja 0.18.0 porzuciła obsługę Pythona 3.8.
  • 0.16.0 to pierwsza wersja obsługująca język Python 3.11.
  • 0.15.0 to ostatnia wersja kompatybilna z Pythonem 3.7.
  • Jeśli używasz numpy <1.19, użyj TF-Agents 0.15.0 lub starszej.
  • 0.9.0 to ostatnia wersja zgodna z Pythonem 3.6.
  • 0.3.0 to ostatnia wersja kompatybilna z Pythonem 2.x.
Uwolnienie Oddział/znacznik Wersja TensorFlow Wersja dm-reverb
Nocny gospodarz tf-co noc dm-reverb-nightly
0.19.0 wersja 0.19.0 2.15.0 0.14.0
0.18.0 wersja 0.18.0 2.14.0 0.13.0
0.17.0 wersja 0.17.0 2.13.0 0.12.0
0.16.0 wersja 0.16.0 2.12.0 0.11.0
0.15.0 wersja 0.15.0 2.11.0 0.10.0
0.14.0 wersja 0.14.0 2.10.0 0.9.0
0.13.0 wersja 0.13.0 2.9.0 0.8.0
0.12.0 wersja 0.12.0 2.8.0 0.7.0
0.11.0 wersja 0.11.0 2.7.0 0.6.0
0.10.0 wersja 0.10.0 2.6.0
0.9.0 wersja 0.9.0 2.6.0
0.8.0 wersja 0.8.0 2.5.0
0.7.1 v0.7.1 2.4.0
0.6.0 wersja 0.6.0 2.3.0
0.5.0 wersja 0.5.0 2.2.0
0.4.0 wersja 0.4.0 2.1.0
0.3.0 wersja 0.3.0 1.15.0 i 2.0.0.

Zasady

Ten projekt jest zgodny z zasadami sztucznej inteligencji Google . Oczekuje się, że biorąc udział w tym projekcie, korzystając z niego lub wnosząc swój wkład, będziesz przestrzegać tych zasad.

Cytat

Jeśli używasz tego kodu, zacytuj go jako:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}
,

Uczenie się przez wzmacnianie za pomocą TensorFlow

Agents ułatwia projektowanie, wdrażanie i testowanie nowych algorytmów RL, dostarczając dobrze przetestowane komponenty modułowe, które można modyfikować i rozszerzać. Umożliwia szybką iterację kodu, z dobrą integracją testów i benchmarkingiem.

Na początek zalecamy zapoznanie się z jednym z naszych tutoriali .

Instalacja

TF-Agents publikuje nocne i stabilne kompilacje. Aby zapoznać się z listą wydań, przeczytaj sekcję Wydania . Poniższe polecenia obejmują instalację TF-Agents stabilnie i co noc z pypi.org , a także z klonu GitHub.

:warning: Jeśli używasz Reverb (bufor odtwarzania), co jest bardzo powszechne, TF-Agents będzie działać tylko z Linuksem.

Stabilny

Uruchom poniższe polecenia, aby zainstalować najnowszą stabilną wersję. Dokumentacja API tej wersji znajduje się na tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Jeśli chcesz zainstalować TF-Agents z wersjami Tensorflow lub Reverb , które są oznaczone jako niezgodne podczas sprawdzania zależności pip, użyj poniższego wzorca na własne ryzyko.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Jeśli chcesz używać agentów TF z TensorFlow 1.15 lub 2.0, zainstaluj wersję 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Nocny

Kompilacje Nightly zawierają nowsze funkcje, ale mogą być mniej stabilne niż wersje wersjonowane. Wersja nocna jest wypychana jako tf-agents-nightly . Sugerujemy zainstalowanie nocnych wersji TensorFlow ( tf-nightly ) i TensorFlow Probability ( tfp-nightly ), ponieważ są to wersje, z którymi testowany jest TF-Agents nightly.

Aby zainstalować wersję nocną, uruchom następujące polecenie:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Z GitHuba

Po sklonowaniu repozytorium zależności można zainstalować, uruchamiając polecenie pip install -e .[tests] . TensorFlow należy zainstalować niezależnie: pip install --user tf-nightly .

Wkład

Chętnie nawiążemy z Tobą współpracę! Zobacz CONTRIBUTING.md aby dowiedzieć się, jak wnieść swój wkład. Ten projekt jest zgodny z kodeksem postępowania TensorFlow. Biorąc udział w programie, oczekuje się, że będziesz przestrzegać tego kodeksu.

Wydania

TF Agents ma stabilne i nocne wydania. Wydania nocne są często w porządku, ale mogą powodować problemy ze względu na ciągłe zmiany bibliotek nadrzędnych. Poniższa tabela zawiera listę wersji TensorFlow, które są zgodne z wydaniem każdego agenta TF. Wydaj interesujące wersje:

  • Wersja 0.19.0 obsługuje tensorflow-2.15.0.
  • Wersja 0.18.0 porzuciła obsługę Pythona 3.8.
  • 0.16.0 to pierwsza wersja obsługująca język Python 3.11.
  • 0.15.0 to ostatnia wersja kompatybilna z Pythonem 3.7.
  • Jeśli używasz numpy <1.19, użyj TF-Agents 0.15.0 lub starszej.
  • 0.9.0 to ostatnia wersja zgodna z Pythonem 3.6.
  • 0.3.0 to ostatnia wersja kompatybilna z Pythonem 2.x.
Uwolnienie Oddział/znacznik Wersja TensorFlow Wersja dm-reverb
Nocny gospodarz tf-co noc dm-reverb-nightly
0.19.0 wersja 0.19.0 2.15.0 0.14.0
0.18.0 wersja 0.18.0 2.14.0 0.13.0
0.17.0 wersja 0.17.0 2.13.0 0.12.0
0.16.0 wersja 0.16.0 2.12.0 0.11.0
0.15.0 wersja 0.15.0 2.11.0 0.10.0
0.14.0 wersja 0.14.0 2.10.0 0.9.0
0.13.0 wersja 0.13.0 2.9.0 0.8.0
0.12.0 wersja 0.12.0 2.8.0 0.7.0
0.11.0 wersja 0.11.0 2.7.0 0.6.0
0.10.0 wersja 0.10.0 2.6.0
0.9.0 wersja 0.9.0 2.6.0
0.8.0 wersja 0.8.0 2.5.0
0.7.1 v0.7.1 2.4.0
0.6.0 wersja 0.6.0 2.3.0
0.5.0 wersja 0.5.0 2.2.0
0.4.0 wersja 0.4.0 2.1.0
0.3.0 wersja 0.3.0 1.15.0 i 2.0.0.

Zasady

Ten projekt jest zgodny z zasadami sztucznej inteligencji Google . Oczekuje się, że biorąc udział w tym projekcie, korzystając z niego lub wnosząc swój wkład, będziesz przestrzegać tych zasad.

Cytat

Jeśli używasz tego kodu, zacytuj go jako:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}