Agenti TensorFlow

Apprendimento per rinforzo con TensorFlow

Gli agenti semplificano la progettazione, l'implementazione e il test di nuovi algoritmi RL, fornendo componenti modulari ben testati che possono essere modificati ed estesi. Consente una rapida iterazione del codice, con una buona integrazione di test e benchmarking.

Per iniziare, ti consigliamo di dare un'occhiata a uno dei nostri tutorial .

Installazione

TF-Agents pubblica build notturne e stabili. Per un elenco delle versioni leggere la sezione Rilasci . I comandi seguenti riguardano l'installazione stabile e notturna di TF-Agents da pypi.org e da un clone GitHub.

:avviso: Se si utilizza Reverb (buffer di riproduzione), che è molto comune, i TF-Agent funzioneranno solo con Linux.

Stabile

Esegui i comandi seguenti per installare la versione stabile più recente. La documentazione API per il rilascio è su tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Se desideri installare TF-Agent con versioni di Tensorflow o Reverb contrassegnate come non compatibili dal controllo delle dipendenze pip, utilizza il seguente schema a tuo rischio e pericolo.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Se desideri utilizzare TF-Agents con TensorFlow 1.15 o 2.0, installa la versione 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Notturno

Le build notturne includono funzionalità più recenti, ma potrebbero essere meno stabili rispetto alle versioni con versione. La build notturna viene inviata come tf-agents-nightly . Suggeriamo di installare le versioni notturne di TensorFlow ( tf-nightly ) e TensorFlow Probability ( tfp-nightly ) poiché queste sono le versioni contro cui vengono testati i TF-Agents nightly.

Per installare la versione di build notturna, esegui quanto segue:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Da GitHub

Dopo aver clonato il repository, le dipendenze possono essere installate eseguendo pip install -e .[tests] . TensorFlow deve essere installato in modo indipendente: pip install --user tf-nightly .

Contribuire

Siamo ansiosi di collaborare con te! Vedi CONTRIBUTING.md per una guida su come contribuire. Questo progetto aderisce al codice di condotta di TensorFlow. Partecipando, sei tenuto a sostenere questo codice.

Rilasci

TF Agents ha versioni stabili e notturne. I rilasci notturni spesso vanno bene, ma possono presentare problemi a causa del flusso delle librerie upstream. La tabella seguente elenca le versioni di TensorFlow in linea con la versione di ciascun agente TF. Versioni di rilascio di interesse:

• 0.19.0 supporta tensorflow-2.15.0.
• 0.18.0 ha eliminato il supporto per Python 3.8.
• 0.16.0 è la prima versione a supportare Python 3.11.
• 0.15.0 è l'ultima versione compatibile con Python 3.7.
• Se si utilizza Numpy < 1.19, utilizzare TF-Agents 0.15.0 o versioni precedenti.
• 0.9.0 è l'ultima versione compatibile con Python 3.6.
• 0.3.0 è l'ultima versione compatibile con Python 2.x.

Principi

Questo progetto aderisce ai principi dell'intelligenza artificiale di Google . Partecipando, utilizzando o contribuendo a questo progetto sei tenuto ad aderire a questi principi.

Citazione

Se utilizzi questo codice, citalo come:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}