Agents TensorFlow

Apprentissage par renforcement avec TensorFlow

Agents facilite la conception, la mise en œuvre et le test de nouveaux algorithmes RL, en fournissant des composants modulaires bien testés qui peuvent être modifiés et étendus. Il permet une itération rapide du code, avec une bonne intégration des tests et une bonne analyse comparative.

Pour commencer, nous vous recommandons de consulter l'un de nos tutoriels .

Installation

TF-Agents publie des builds nocturnes et stables. Pour une liste des versions, lisez la section Versions . Les commandes ci-dessous couvrent l'installation stable et nocturne de TF-Agents à partir de pypi.org ainsi qu'à partir d'un clone de GitHub.

:avertissement : Si vous utilisez Reverb (tampon de relecture), ce qui est très courant, les TF-Agents ne fonctionneront qu'avec Linux.

Écurie

Exécutez les commandes ci-dessous pour installer la version stable la plus récente. La documentation de l'API pour la version se trouve sur tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Si vous souhaitez installer TF-Agents avec des versions de Tensorflow ou Reverb signalées comme non compatibles par la vérification des dépendances pip, utilisez le modèle suivant ci-dessous à vos propres risques.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Si vous souhaitez utiliser TF-Agents avec TensorFlow 1.15 ou 2.0, installez la version 0.3.0 :

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Chaque nuit

Les versions nocturnes incluent des fonctionnalités plus récentes, mais peuvent être moins stables que les versions versionnées. La version nocturne est poussée sous le nom tf-agents-nightly . Nous vous suggérons d'installer les versions nocturnes de TensorFlow ( tf-nightly ) et TensorFlow Probability ( tfp-nightly ) car ce sont les versions sur lesquelles les TF-Agents sont testés la nuit.

Pour installer la version de build nocturne, exécutez ce qui suit :

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Depuis GitHub

Après avoir cloné le référentiel, les dépendances peuvent être installées en exécutant pip install -e .[tests] . TensorFlow doit être installé indépendamment : pip install --user tf-nightly .

Contribuer

Nous sommes impatients de collaborer avec vous! Voir CONTRIBUTING.md pour un guide sur la façon de contribuer. Ce projet adhère au code de conduite de TensorFlow . En participant, vous êtes censé respecter ce code.

Sorties

TF Agents propose des versions stables et nocturnes. Les versions nocturnes sont souvent correctes mais peuvent poser des problèmes en raison du flux des bibliothèques en amont. Le tableau ci-dessous répertorie la ou les versions de TensorFlow qui correspondent à la version de chaque agent TF. Versions publiées intéressantes :

• 0.19.0 prend en charge tensorflow-2.15.0.
• La version 0.18.0 a abandonné la prise en charge de Python 3.8.
• 0.16.0 est la première version à prendre en charge Python 3.11.
• 0.15.0 est la dernière version compatible avec Python 3.7.
• Si vous utilisez numpy <1.19, utilisez TF-Agents 0.15.0 ou version antérieure.
• 0.9.0 est la dernière version compatible avec Python 3.6.
• 0.3.0 est la dernière version compatible avec Python 2.x.

Principes

Ce projet adhère aux principes d'IA de Google . En participant, en utilisant ou en contribuant à ce projet, vous êtes censé adhérer à ces principes.

Citation

Si vous utilisez ce code, veuillez le citer comme suit :

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}