Agentes de TensorFlow

Aprendizaje por refuerzo con TensorFlow

Agents facilita el diseño, la implementación y la prueba de nuevos algoritmos de RL al proporcionar componentes modulares bien probados que se pueden modificar y ampliar. Permite una rápida iteración de código, con buena integración de pruebas y evaluación comparativa.

Para comenzar, le recomendamos consultar uno de nuestros tutoriales .

Instalación

TF-Agents publica compilaciones estables y nocturnas. Para obtener una lista de lanzamientos, lea la sección Lanzamientos . Los siguientes comandos cubren la instalación de TF-Agents de forma estable y nocturna desde pypi.org, así como desde un clon de GitHub.

:advertencia: Si usa Reverb (búfer de reproducción), que es muy común, TF-Agents solo funcionará con Linux.

Estable

Ejecute los siguientes comandos para instalar la versión estable más reciente. La documentación API para el lanzamiento está en tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Si desea instalar TF-Agents con versiones de Tensorflow o Reverb que están marcadas como no compatibles mediante la verificación de dependencia de pip, utilice el siguiente patrón bajo su propia responsabilidad.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Si desea utilizar TF-Agents con TensorFlow 1.15 o 2.0, instale la versión 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Nocturno

Las compilaciones nocturnas incluyen funciones más nuevas, pero pueden ser menos estables que las versiones versionadas. La compilación nocturna se envía como tf-agents-nightly . Sugerimos instalar versiones nocturnas de TensorFlow ( tf-nightly ) y TensorFlow Probability ( tfp-nightly ), ya que esas son las versiones con las que se prueban los TF-Agents nocturnos.

Para instalar la versión de compilación nocturna, ejecute lo siguiente:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Desde GitHub

Después de clonar el repositorio, las dependencias se pueden instalar ejecutando pip install -e .[tests] . TensorFlow debe instalarse de forma independiente: pip install --user tf-nightly .

Contribuyendo

¡Estamos ansiosos por colaborar con usted! Consulte CONTRIBUTING.md para obtener una guía sobre cómo contribuir. Este proyecto se adhiere al código de conducta de TensorFlow. Al participar, se espera que respete este código.

Lanzamientos

TF Agents tiene lanzamientos estables y nocturnos. Los lanzamientos nocturnos suelen estar bien, pero pueden tener problemas debido a que las bibliotecas ascendentes están en constante cambio. La siguiente tabla enumera las versiones de TensorFlow que se alinean con la versión de cada TF Agents. Versiones de lanzamiento de interés:

• 0.19.0 admite tensorflow-2.15.0.
• 0.18.0 eliminó la compatibilidad con Python 3.8.
• 0.16.0 es la primera versión compatible con Python 3.11.
• 0.15.0 es la última versión compatible con Python 3.7.
• Si usa numpy <1.19, use TF-Agents 0.15.0 o anterior.
• 0.9.0 es la última versión compatible con Python 3.6.
• 0.3.0 es la última versión compatible con Python 2.x.

Principios

Este proyecto se adhiere a los principios de IA de Google . Al participar, utilizar o contribuir a este proyecto, se espera que usted cumpla con estos principios.

Citación

Si utiliza este código, cítelo como:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}