Agentes do TensorFlow

Aprendizado por reforço com TensorFlow

Os agentes facilitam o projeto, a implementação e o teste de novos algoritmos RL, fornecendo componentes modulares bem testados que podem ser modificados e estendidos. Ele permite iteração rápida de código, com boa integração de testes e benchmarking.

Para começar, recomendamos conferir um de nossos tutoriais .

Instalação

TF-Agents publica compilações noturnas e estáveis. Para obter uma lista de lançamentos, leia a seção Lançamentos . Os comandos abaixo cobrem a instalação de TF-Agents estáveis ​​e noturnos de pypi.org, bem como de um clone do GitHub.

:warning: Se estiver usando Reverb (replay buffer), o que é muito comum, TF-Agents só funcionará com Linux.

Estável

Execute os comandos abaixo para instalar a versão estável mais recente. A documentação da API para o lançamento está em tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Se você deseja instalar TF-Agents com versões do Tensorflow ou Reverb sinalizadas como não compatíveis pela verificação de dependência do pip, use o seguinte padrão abaixo por sua própria conta e risco.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Se você quiser usar TF-Agents com TensorFlow 1.15 ou 2.0, instale a versão 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Todas as noites

As compilações noturnas incluem recursos mais recentes, mas podem ser menos estáveis ​​do que as versões versionadas. A compilação noturna é enviada como tf-agents-nightly . Sugerimos a instalação de versões noturnas do TensorFlow ( tf-nightly ) e do TensorFlow Probability ( tfp-nightly ), pois essas são as versões nas quais os TF-Agents nightly são testados.

Para instalar a versão noturna, execute o seguinte:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Do GitHub

Após clonar o repositório, as dependências podem ser instaladas executando pip install -e .[tests] . O TensorFlow precisa ser instalado de forma independente: pip install --user tf-nightly .

Contribuindo

Estamos ansiosos para colaborar com você! Consulte CONTRIBUTING.md para obter um guia sobre como contribuir. Este projeto segue o código de conduta do TensorFlow. Ao participar, espera-se que você cumpra este código.

Lançamentos

TF Agents tem lançamentos estáveis ​​e noturnos. Os lançamentos noturnos geralmente são bons, mas podem ter problemas devido ao fluxo das bibliotecas upstream. A tabela abaixo lista as versões do TensorFlow que se alinham com a versão de cada TF Agents. Versões de lançamento de interesse:

• 0.19.0 suporta tensorflow-2.15.0.
• 0.18.0 abandonou o suporte ao Python 3.8.
• 0.16.0 é a primeira versão a suportar Python 3.11.
• 0.15.0 é a última versão compatível com Python 3.7.
• Se estiver usando numpy <1.19, use TF-Agents 0.15.0 ou anterior.
• 0.9.0 é a última versão compatível com Python 3.6.
• 0.3.0 é a última versão compatível com Python 2.x.

Princípios

Este projeto segue os princípios de IA do Google . Ao participar, utilizar ou contribuir para este projeto, espera-se que você cumpra estes princípios.

Citação

Se você usar este código, cite-o como:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}

Aprendizado por reforço com TensorFlow

Os agentes facilitam o projeto, a implementação e o teste de novos algoritmos RL, fornecendo componentes modulares bem testados que podem ser modificados e estendidos. Ele permite iteração rápida de código, com boa integração de testes e benchmarking.

Para começar, recomendamos conferir um de nossos tutoriais .

Instalação

TF-Agents publica compilações noturnas e estáveis. Para obter uma lista de lançamentos, leia a seção Lançamentos . Os comandos abaixo cobrem a instalação de TF-Agents estáveis ​​e noturnos de pypi.org, bem como de um clone do GitHub.

:warning: Se estiver usando Reverb (replay buffer), o que é muito comum, TF-Agents só funcionará com Linux.

Estável

Execute os comandos abaixo para instalar a versão estável mais recente. A documentação da API para o lançamento está em tensorflow.org .

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

Se você deseja instalar TF-Agents com versões do Tensorflow ou Reverb sinalizadas como não compatíveis pela verificação de dependência do pip, use o seguinte padrão abaixo por sua própria conta e risco.

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

Se você quiser usar TF-Agents com TensorFlow 1.15 ou 2.0, instale a versão 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

Todas as noites

As compilações noturnas incluem recursos mais recentes, mas podem ser menos estáveis ​​do que as versões versionadas. A compilação noturna é enviada como tf-agents-nightly . Sugerimos a instalação de versões noturnas do TensorFlow ( tf-nightly ) e do TensorFlow Probability ( tfp-nightly ), pois essas são as versões nas quais os TF-Agents nightly são testados.

Para instalar a versão noturna, execute o seguinte:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

Do GitHub

Após clonar o repositório, as dependências podem ser instaladas executando pip install -e .[tests] . O TensorFlow precisa ser instalado de forma independente: pip install --user tf-nightly .

Contribuindo

Estamos ansiosos para colaborar com você! Consulte CONTRIBUTING.md para obter um guia sobre como contribuir. Este projeto segue o código de conduta do TensorFlow. Ao participar, espera-se que você cumpra este código.

Lançamentos

TF Agents tem lançamentos estáveis ​​e noturnos. Os lançamentos noturnos geralmente são bons, mas podem ter problemas devido ao fluxo das bibliotecas upstream. A tabela abaixo lista as versões do TensorFlow que se alinham com a versão de cada TF Agents. Versões de lançamento de interesse:

• 0.19.0 suporta tensorflow-2.15.0.
• 0.18.0 abandonou o suporte ao Python 3.8.
• 0.16.0 é a primeira versão a suportar Python 3.11.
• 0.15.0 é a última versão compatível com Python 3.7.
• Se estiver usando numpy <1.19, use TF-Agents 0.15.0 ou anterior.
• 0.9.0 é a última versão compatível com Python 3.6.
• 0.3.0 é a última versão compatível com Python 2.x.

Princípios

Este projeto segue os princípios de IA do Google . Ao participar, utilizar ou contribuir para este projeto, espera-se que você cumpra estes princípios.

Citação

Se você usar este código, cite-o como:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}