ตัวแทน TensorFlow

การเรียนรู้แบบเสริมกำลังด้วย TensorFlow

เอเจนต์ทำให้การออกแบบ การใช้งาน และการทดสอบอัลกอริธึม RL ใหม่ง่ายขึ้น โดยการจัดหาส่วนประกอบโมดูลาร์ที่ได้รับการทดสอบอย่างดีซึ่งสามารถแก้ไขและขยายได้ ช่วยให้สามารถวนซ้ำโค้ดได้อย่างรวดเร็ว พร้อมบูรณาการการทดสอบและการเปรียบเทียบประสิทธิภาพที่ดี

ในการเริ่มต้น เราขอแนะนำให้ดู บทช่วยสอน ของเรา

การติดตั้ง

TF-Agents เผยแพร่งานสร้างที่มีความเสถียรทุกคืน สำหรับรายการการเผยแพร่ โปรดอ่านหัวข้อ การเผยแพร่ คำสั่งด้านล่างครอบคลุมถึงการติดตั้ง TF-Agents ที่เสถียรและทุกคืนจาก pypi.org รวมถึงจากโคลน GitHub

:warning: หากใช้ Reverb (บัฟเฟอร์การเล่นซ้ำ) ซึ่งเป็นเรื่องปกติ TF-Agents จะใช้งานได้กับ Linux เท่านั้น

มั่นคง

เรียกใช้คำสั่งด้านล่างเพื่อติดตั้งเวอร์ชันเสถียรล่าสุด เอกสารประกอบ API สำหรับการเปิดตัวอยู่ที่ tensorflow.org

$ pip install --user tf-agents[reverb]

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0

หากคุณต้องการติดตั้ง TF-Agents ด้วยเวอร์ชันของ Tensorflow หรือ Reverb ที่ถูกทำเครื่องหมายว่าเข้ากันไม่ได้โดยการตรวจสอบการพึ่งพา pip ให้ใช้รูปแบบต่อไปนี้ด้านล่างโดยยอมรับความเสี่ยงเอง

$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents

หากคุณต้องการใช้ TF-Agents กับ TensorFlow 1.15 หรือ 2.0 ให้ติดตั้งเวอร์ชัน 0.3.0:

# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0

ทุกคืน

รุ่นต่อคืนมีคุณสมบัติใหม่กว่า แต่อาจมีความเสถียรน้อยกว่ารุ่นที่วางจำหน่าย งานสร้างยามค่ำคืนถูกผลักดันให้เป็น tf-agents-nightly เราขอแนะนำให้ติดตั้ง TensorFlow เวอร์ชันกลางคืน ( tf-nightly ) และความน่าจะเป็นของ TensorFlow ( tfp-nightly ) เนื่องจากเป็นเวอร์ชันที่ TF-Agents ทุกคืนได้รับการทดสอบ

หากต้องการติดตั้งเวอร์ชัน build ทุกคืน ให้รันสิ่งต่อไปนี้:

# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly

# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly

จาก GitHub

หลังจากการโคลนที่เก็บ คุณสามารถติดตั้งการพึ่งพาได้โดยการรัน pip install -e .[tests] TensorFlow จะต้องติดตั้งอย่างอิสระ: pip install --user tf-nightly

มีส่วนร่วม

เรากระตือรือร้นที่จะร่วมงานกับคุณ! ดู CONTRIBUTING.md สำหรับคำแนะนำเกี่ยวกับวิธีการมีส่วนร่วม โปรเจ็กต์นี้ปฏิบัติตาม จรรยาบรรณ ของ TensorFlow ในการเข้าร่วม คุณจะต้องรักษารหัสนี้

ข่าวประชาสัมพันธ์

TF Agents มีการเปิดตัวที่เสถียรและออกทุกคืน การเผยแพร่ทุกคืนมักจะเป็นเรื่องปกติ แต่อาจมีปัญหาเนื่องจากไลบรารีอัพสตรีมอยู่ระหว่างดำเนินการ ตารางด้านล่างแสดงรายการเวอร์ชันของ TensorFlow ที่สอดคล้องกับการเปิดตัวของ TF Agent แต่ละรายการ รุ่นที่สนใจวางจำหน่าย:

• 0.19.0 รองรับ tensorflow-2.15.0
• 0.18.0 ลดการรองรับ Python 3.8
• 0.16.0 เป็นเวอร์ชันแรกที่รองรับ Python 3.11
• 0.15.0 เป็นรุ่นล่าสุดที่เข้ากันได้กับ Python 3.7
• หากใช้ numpy < 1.19 ให้ใช้ TF-Agents 0.15.0 หรือเก่ากว่า
• 0.9.0 เป็นรุ่นล่าสุดที่เข้ากันได้กับ Python 3.6
• 0.3.0 เป็นรุ่นล่าสุดที่เข้ากันได้กับ Python 2.x

หลักการ

โครงการนี้เป็นไปตาม หลักการ AI ของ Google โดยการเข้าร่วม ใช้ หรือมีส่วนร่วมในโครงการนี้ คุณจะต้องปฏิบัติตามหลักการเหล่านี้

การอ้างอิง

หากคุณใช้รหัสนี้ โปรดอ้างอิงเป็น:

@misc{TFAgents,
  title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
  author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
     Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
     Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
     Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
     Vincent Vanhoucke and Eugene Brevdo},
  howpublished = {\url{https://github.com/tensorflow/agents} },
  url = "https://github.com/tensorflow/agents",
  year = 2018,
  note = "[Online; accessed 25-June-2019]"
}