TensorFlow के साथ सुदृढीकरण सीखना
एजेंट अच्छी तरह से परीक्षण किए गए मॉड्यूलर घटकों को प्रदान करके नए आरएल एल्गोरिदम को डिजाइन, कार्यान्वित और परीक्षण करना आसान बनाते हैं जिन्हें संशोधित और विस्तारित किया जा सकता है। यह अच्छे परीक्षण एकीकरण और बेंचमार्किंग के साथ तेज़ कोड पुनरावृत्ति को सक्षम बनाता है।
आरंभ करने के लिए, हम अपने ट्यूटोरियल में से एक को जांचने की सलाह देते हैं।
इंस्टालेशन
टीएफ-एजेंट रात्रिकालीन और स्थिर बिल्ड प्रकाशित करते हैं। रिलीज़ की सूची के लिए रिलीज़ अनुभाग पढ़ें। नीचे दिए गए आदेश pypi.org के साथ-साथ GitHub क्लोन से स्थिर और रात्रिकालीन TF-एजेंटों को स्थापित करने को कवर करते हैं।
:चेतावनी: यदि रिवर्ब (रीप्ले बफर) का उपयोग कर रहे हैं, जो कि बहुत आम है, तो टीएफ-एजेंट केवल लिनक्स के साथ काम करेंगे।
स्थिर
नवीनतम स्थिर रिलीज़ को स्थापित करने के लिए नीचे दिए गए आदेश चलाएँ। रिलीज़ के लिए एपीआई दस्तावेज़ Tensorflow.org पर है।
$ pip install --user tf-agents[reverb]
# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0
यदि आप टीएफ-एजेंट्स को टेन्सरफ्लो या रीवरब के संस्करणों के साथ स्थापित करना चाहते हैं जिन्हें पाइप निर्भरता जांच द्वारा संगत नहीं के रूप में चिह्नित किया गया है, तो अपने जोखिम पर नीचे दिए गए पैटर्न का उपयोग करें।
$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents
यदि आप TensorFlow 1.15 या 2.0 के साथ TF-एजेंट का उपयोग करना चाहते हैं, तो संस्करण 0.3.0 स्थापित करें:
# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0
हर रात को
रात्रिकालीन बिल्ड में नई सुविधाएँ शामिल हैं, लेकिन संस्करण रिलीज़ की तुलना में कम स्थिर हो सकती हैं। रात्रिकालीन निर्माण को tf-agents-nightly के रूप में आगे बढ़ाया जाता है। हम TensorFlow ( tf-nightly ) और TensorFlow Probability ( tfp-nightly ) के रात्रिकालीन संस्करण स्थापित करने का सुझाव देते हैं क्योंकि ये वे संस्करण हैं जिनके विरुद्ध TF-Agents रात्रिकालीन परीक्षण किया जाता है।
रात्रिकालीन बिल्ड संस्करण स्थापित करने के लिए, निम्नलिखित चलाएँ:
# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly
# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly
गिटहब से
रिपॉजिटरी को क्लोन करने के बाद, निर्भरताएँ pip install -e .[tests] चलाकर स्थापित की जा सकती हैं। TensorFlow को स्वतंत्र रूप से स्थापित करने की आवश्यकता है: pip install --user tf-nightly ।
योगदान
हम आपके साथ सहयोग करने के लिए उत्सुक हैं! योगदान कैसे करें, इस बारे में मार्गदर्शिका के लिए CONTRIBUTING.md देखें। यह प्रोजेक्ट TensorFlow की आचार संहिता का पालन करता है। भाग लेने से, आपसे इस कोड को बनाए रखने की अपेक्षा की जाती है।
विज्ञप्ति
टीएफ एजेंटों के पास स्थिर और रात्रिकालीन रिलीज़ हैं। रात्रिकालीन रिलीज़ अक्सर ठीक होती हैं लेकिन अपस्ट्रीम लाइब्रेरीज़ के प्रवाह में होने के कारण समस्याएँ हो सकती हैं। नीचे दी गई तालिका TensorFlow के उन संस्करणों को सूचीबद्ध करती है जो प्रत्येक TF एजेंटों की रिलीज़ के साथ संरेखित होते हैं। रुचि के रिलीज़ संस्करण:
- 0.19.0 टेंसरफ्लो-2.15.0 को सपोर्ट करता है।
- 0.18.0 ने Python 3.8 समर्थन हटा दिया।
- 0.16.0, Python 3.11 को सपोर्ट करने वाला पहला संस्करण है।
- 0.15.0 पायथन 3.7 के साथ संगत अंतिम रिलीज़ है।
- यदि numpy <1.19 का उपयोग कर रहे हैं, तो TF-Agents 0.15.0 या इससे पहले का उपयोग करें।
- 0.9.0 पायथन 3.6 के साथ संगत अंतिम रिलीज़ है।
- 0.3.0 Python 2.x के साथ संगत अंतिम रिलीज़ है।
| मुक्त करना | शाखा/टैग | टेंसरफ़्लो संस्करण | डीएम-रीवरब संस्करण |
|---|---|---|---|
| हर रात को | मालिक | tf-रात्रिकालीन | डीएम-रीवरब-नाइटली |
| 0.19.0 | v0.19.0 | 2.15.0 | 0.14.0 |
| 0.18.0 | v0.18.0 | 2.14.0 | 0.13.0 |
| 0.17.0 | v0.17.0 | 2.13.0 | 0.12.0 |
| 0.16.0 | v0.16.0 | 2.12.0 | 0.11.0 |
| 0.15.0 | v0.15.0 | 2.11.0 | 0.10.0 |
| 0.14.0 | v0.14.0 | 2.10.0 | 0.9.0 |
| 0.13.0 | v0.13.0 | 2.9.0 | 0.8.0 |
| 0.12.0 | v0.12.0 | 2.8.0 | 0.7.0 |
| 0.11.0 | v0.11.0 | 2.7.0 | 0.6.0 |
| 0.10.0 | v0.10.0 | 2.6.0 | |
| 0.9.0 | v0.9.0 | 2.6.0 | |
| 0.8.0 | v0.8.0 | 2.5.0 | |
| 0.7.1 | v0.7.1 | 2.4.0 | |
| 0.6.0 | v0.6.0 | 2.3.0 | |
| 0.5.0 | v0.5.0 | 2.2.0 | |
| 0.4.0 | v0.4.0 | 2.1.0 | |
| 0.3.0 | v0.3.0 | 1.15.0 और 2.0.0. |
सिद्धांत
यह प्रोजेक्ट Google के AI सिद्धांतों का पालन करता है। इस परियोजना में भाग लेने, उपयोग करने या योगदान देने से आपसे इन सिद्धांतों का पालन करने की अपेक्षा की जाती है।
उद्धरण
यदि आप इस कोड का उपयोग करते हैं, तो कृपया इसे इस प्रकार उद्धृत करें:
@misc{TFAgents,
title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
Vincent Vanhoucke and Eugene Brevdo},
howpublished = {\url{https://github.com/tensorflow/agents} },
url = "https://github.com/tensorflow/agents",
year = 2018,
note = "[Online; accessed 25-June-2019]"
}
TensorFlow के साथ सुदृढीकरण सीखना
एजेंट अच्छी तरह से परीक्षण किए गए मॉड्यूलर घटकों को प्रदान करके नए आरएल एल्गोरिदम को डिजाइन, कार्यान्वित और परीक्षण करना आसान बनाते हैं जिन्हें संशोधित और विस्तारित किया जा सकता है। यह अच्छे परीक्षण एकीकरण और बेंचमार्किंग के साथ तेज़ कोड पुनरावृत्ति को सक्षम बनाता है।
आरंभ करने के लिए, हम अपने ट्यूटोरियल में से एक को जांचने की सलाह देते हैं।
इंस्टालेशन
टीएफ-एजेंट रात्रिकालीन और स्थिर बिल्ड प्रकाशित करते हैं। रिलीज़ की सूची के लिए रिलीज़ अनुभाग पढ़ें। नीचे दिए गए आदेश pypi.org के साथ-साथ GitHub क्लोन से स्थिर और रात्रिकालीन TF-एजेंटों को स्थापित करने को कवर करते हैं।
:चेतावनी: यदि रिवर्ब (रीप्ले बफर) का उपयोग कर रहे हैं, जो कि बहुत आम है, तो टीएफ-एजेंट केवल लिनक्स के साथ काम करेंगे।
स्थिर
नवीनतम स्थिर रिलीज़ को स्थापित करने के लिए नीचे दिए गए आदेश चलाएँ। रिलीज के लिए एपीआई दस्तावेज Tensorflow.org पर है।
$ pip install --user tf-agents[reverb]
# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# Use this tag get the matching examples and colabs.
$ git clone https://github.com/tensorflow/agents.git
$ cd agents
$ git checkout v0.19.0
यदि आप टीएफ-एजेंट्स को टेन्सरफ्लो या रीवरब के संस्करणों के साथ स्थापित करना चाहते हैं जिन्हें पाइप निर्भरता जांच द्वारा संगत नहीं के रूप में चिह्नित किया गया है, तो अपने जोखिम पर नीचे दिए गए पैटर्न का उपयोग करें।
$ pip install --user tensorflow
$ pip install --user tf-keras
$ pip install --user dm-reverb
$ pip install --user tf-agents
यदि आप TensorFlow 1.15 या 2.0 के साथ TF-एजेंट का उपयोग करना चाहते हैं, तो संस्करण 0.3.0 स्थापित करें:
# Newer versions of tensorflow-probability require newer versions of TensorFlow.
$ pip install tensorflow-probability==0.8.0
$ pip install tf-agents==0.3.0
हर रात को
रात्रिकालीन बिल्ड में नई सुविधाएँ शामिल हैं, लेकिन संस्करण रिलीज़ की तुलना में कम स्थिर हो सकती हैं। रात्रिकालीन निर्माण को tf-agents-nightly के रूप में आगे बढ़ाया जाता है। हम TensorFlow ( tf-nightly ) और TensorFlow Probability ( tfp-nightly ) के रात्रिकालीन संस्करण स्थापित करने का सुझाव देते हैं क्योंकि ये वे संस्करण हैं जिनके विरुद्ध TF-Agents रात्रिकालीन परीक्षण किया जाता है।
रात्रिकालीन बिल्ड संस्करण स्थापित करने के लिए, निम्नलिखित चलाएँ:
# Use keras-2
$ export TF_USE_LEGACY_KERAS=1
# `--force-reinstall helps guarantee the right versions.
$ pip install --user --force-reinstall tf-nightly
$ pip install --user --force-reinstall tf-keras-nightly
$ pip install --user --force-reinstall tfp-nightly
$ pip install --user --force-reinstall dm-reverb-nightly
# Installing with the `--upgrade` flag ensures you'll get the latest version.
$ pip install --user --upgrade tf-agents-nightly
गिटहब से
रिपॉजिटरी को क्लोन करने के बाद, निर्भरताएँ pip install -e .[tests] चलाकर स्थापित की जा सकती हैं। TensorFlow को स्वतंत्र रूप से स्थापित करने की आवश्यकता है: pip install --user tf-nightly ।
योगदान
हम आपके साथ सहयोग करने के लिए उत्सुक हैं! योगदान कैसे करें, इस बारे में मार्गदर्शिका के लिए CONTRIBUTING.md देखें। यह प्रोजेक्ट TensorFlow की आचार संहिता का पालन करता है। भाग लेने से, आपसे इस कोड को बनाए रखने की अपेक्षा की जाती है।
विज्ञप्ति
टीएफ एजेंटों के पास स्थिर और रात्रिकालीन रिलीज़ हैं। रात्रिकालीन रिलीज़ अक्सर ठीक होती हैं लेकिन अपस्ट्रीम लाइब्रेरीज़ के प्रवाह में होने के कारण समस्याएँ हो सकती हैं। नीचे दी गई तालिका TensorFlow के उन संस्करणों को सूचीबद्ध करती है जो प्रत्येक TF एजेंटों की रिलीज़ के साथ संरेखित होते हैं। रुचि के रिलीज़ संस्करण:
- 0.19.0 टेंसरफ्लो-2.15.0 को सपोर्ट करता है।
- 0.18.0 ने Python 3.8 समर्थन हटा दिया।
- 0.16.0, Python 3.11 को सपोर्ट करने वाला पहला संस्करण है।
- 0.15.0 पायथन 3.7 के साथ संगत अंतिम रिलीज़ है।
- यदि numpy <1.19 का उपयोग कर रहे हैं, तो TF-Agents 0.15.0 या इससे पहले का उपयोग करें।
- 0.9.0 पायथन 3.6 के साथ संगत अंतिम रिलीज़ है।
- 0.3.0 Python 2.x के साथ संगत अंतिम रिलीज़ है।
| मुक्त करना | शाखा/टैग | टेंसरफ़्लो संस्करण | डीएम-रीवरब संस्करण |
|---|---|---|---|
| हर रात को | मालिक | tf-रात्रिकालीन | डीएम-रीवरब-नाइटली |
| 0.19.0 | v0.19.0 | 2.15.0 | 0.14.0 |
| 0.18.0 | v0.18.0 | 2.14.0 | 0.13.0 |
| 0.17.0 | v0.17.0 | 2.13.0 | 0.12.0 |
| 0.16.0 | v0.16.0 | 2.12.0 | 0.11.0 |
| 0.15.0 | v0.15.0 | 2.11.0 | 0.10.0 |
| 0.14.0 | v0.14.0 | 2.10.0 | 0.9.0 |
| 0.13.0 | v0.13.0 | 2.9.0 | 0.8.0 |
| 0.12.0 | v0.12.0 | 2.8.0 | 0.7.0 |
| 0.11.0 | v0.11.0 | 2.7.0 | 0.6.0 |
| 0.10.0 | v0.10.0 | 2.6.0 | |
| 0.9.0 | v0.9.0 | 2.6.0 | |
| 0.8.0 | v0.8.0 | 2.5.0 | |
| 0.7.1 | v0.7.1 | 2.4.0 | |
| 0.6.0 | v0.6.0 | 2.3.0 | |
| 0.5.0 | v0.5.0 | 2.2.0 | |
| 0.4.0 | v0.4.0 | 2.1.0 | |
| 0.3.0 | v0.3.0 | 1.15.0 और 2.0.0. |
सिद्धांत
यह प्रोजेक्ट Google के AI सिद्धांतों का पालन करता है। इस परियोजना में भाग लेने, उपयोग करने या योगदान देने से आपसे इन सिद्धांतों का पालन करने की अपेक्षा की जाती है।
उद्धरण
यदि आप इस कोड का उपयोग करते हैं, तो कृपया इसे इस प्रकार उद्धृत करें:
@misc{TFAgents,
title = { {TF-Agents}: A library for Reinforcement Learning in TensorFlow},
author = {Sergio Guadarrama and Anoop Korattikara and Oscar Ramirez and
Pablo Castro and Ethan Holly and Sam Fishman and Ke Wang and
Ekaterina Gonina and Neal Wu and Efi Kokiopoulou and Luciano Sbaiz and
Jamie Smith and Gábor Bartók and Jesse Berent and Chris Harris and
Vincent Vanhoucke and Eugene Brevdo},
howpublished = {\url{https://github.com/tensorflow/agents} },
url = "https://github.com/tensorflow/agents",
year = 2018,
note = "[Online; accessed 25-June-2019]"
}