- বর্ণনা :
নিউরাল নেটওয়ার্ক, ব্যারেট, হিল, সান্তোরো এট আল-এ মেজারিং অ্যাবস্ট্রাক্ট রিজনিং পেপার থেকে পদ্ধতিগতভাবে জেনারেটেড ম্যাট্রিস (PGM) ডেটা। 2018. লক্ষ্য হল বিমূর্ত যুক্তির উপর ভিত্তি করে প্রসঙ্গ প্যানেল থেকে সঠিক উত্তর অনুমান করা।
এই ডেটা সেটটি ব্যবহার করতে, অনুগ্রহ করে ডেটা সেট পৃষ্ঠা থেকে সমস্ত *.tar.gz ফাইল ডাউনলোড করুন এবং সেগুলিকে ~/tensorflow_datasets/abstract_reasoning/-এ রাখুন৷
\(R\) বোঝায় সম্পর্ক প্রকারের সেট (প্রগতি, XOR, OR, AND, consistent union), \(O\) বোঝায় বস্তুর ধরন (আকৃতি, রেখা), এবং \(A\) বৈশিষ্ট্যের ধরন (আকার, রঙ, অবস্থান, সংখ্যা)। একটি ম্যাট্রিক্সের গঠন,\(S\), হল ট্রিপল \(S={[r, o, a]}\) এর সেট যা একটি নির্দিষ্ট ম্যাট্রিক্স দ্বারা উত্থাপিত চ্যালেঞ্জ নির্ধারণ করে।
হোমপেজ : https://github.com/deepmind/abstract-reasoning-matrices
উত্স কোড :
tfds.datasets.abstract_reasoning.Builder
সংস্করণ :
-
1.0.0
(ডিফল্ট): কোনো রিলিজ নোট নেই।
-
ডাউনলোড আকার :
Unknown size
ম্যানুয়াল ডাউনলোডের নির্দেশাবলী : এই ডেটাসেটের জন্য আপনাকে ডাউনলোড_config.manual_dir-এ ম্যানুয়ালি উৎস ডেটা
download_config.manual_dir
করতে হবে (~/tensorflow_datasets/downloads/manual/
ডিফল্ট):
https://console.cloud.google.com/storage/browser/ravens-matrices থেকে ডেটা ডাউনলোড করা যেতে পারে অনুগ্রহ করে সমস্ত tar.gz ফাইলগুলি manual_dir-এ রাখুন৷স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'test' | 200,000 |
'train' | 1,200,000 |
'validation' | 20,000 |
- বৈশিষ্ট্য গঠন :
FeaturesDict({
'answers': Video(Image(shape=(160, 160, 1), dtype=uint8)),
'context': Video(Image(shape=(160, 160, 1), dtype=uint8)),
'filename': Text(shape=(), dtype=string),
'meta_target': Tensor(shape=(12,), dtype=int64),
'relation_structure_encoded': Tensor(shape=(4, 12), dtype=int64),
'target': ClassLabel(shape=(), dtype=int64, num_classes=8),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
ফিচারসডিক্ট | ||||
উত্তর | ভিডিও(ছবি) | (8, 160, 160, 1) | uint8 | |
প্রসঙ্গ | ভিডিও(ছবি) | (8, 160, 160, 1) | uint8 | |
ফাইলের নাম | পাঠ্য | স্ট্রিং | ||
মেটা_টার্গেট | টেনসর | (12,) | int64 | |
relation_structure_encoded | টেনসর | (৪, ১২) | int64 | |
লক্ষ্য | ক্লাসলেবেল | int64 |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):None
চিত্র ( tfds.show_examples ): সমর্থিত নয়।
উদ্ধৃতি :
@InProceedings{pmlr-v80-barrett18a,
title = {Measuring abstract reasoning in neural networks},
author = {Barrett, David and Hill, Felix and Santoro, Adam and Morcos, Ari and Lillicrap, Timothy},
booktitle = {Proceedings of the 35th International Conference on Machine Learning},
pages = {511--520},
year = {2018},
editor = {Dy, Jennifer and Krause, Andreas},
volume = {80},
series = {Proceedings of Machine Learning Research},
address = {Stockholmsmassan, Stockholm Sweden},
month = {10--15 Jul},
publisher = {PMLR},
pdf = {http://proceedings.mlr.press/v80/barrett18a/barrett18a.pdf},
url = {http://proceedings.mlr.press/v80/barrett18a.html},
abstract = {Whether neural networks can learn abstract reasoning or whetherthey merely rely on superficial statistics is a topic of recent debate. Here, we propose a dataset and challenge designed to probe abstract reasoning, inspired by a well-known human IQ test. To succeed at this challenge, models must cope with various generalisation 'regimes' in which the training data and test questions differ in clearly-defined ways. We show that popular models such as ResNets perform poorly, even when the training and test sets differ only minimally, and we present a novel architecture, with structure designed to encourage reasoning, that does significantly better. When we vary the way in which the test questions and training data differ, we find that our model is notably proficient at certain forms of generalisation, but notably weak at others. We further show that the model's ability to generalise improves markedly if it is trained to predict symbolic explanations for its answers. Altogether, we introduce and explore ways to both measure and induce stronger abstract reasoning in neural networks. Our freely-available dataset should motivate further progress in this direction.}
}
বিমূর্ত_যুক্তি/নিরপেক্ষ (ডিফল্ট কনফিগারেশন)
কনফিগারেশনের বিবরণ : উভয়ের মধ্যে ম্যাট্রিক্স এনকোডিং কাঠামো
প্রশিক্ষণ এবং পরীক্ষার সেটে l10n-placeholder12-এর জন্য যেকোন ট্রিপল \([r, o, a]\) \(r \\in R\)থাকে,
\(o \\in O\), এবং \(a \\in A\)। প্রশিক্ষণ এবং পরীক্ষার সেটগুলি বিচ্ছিন্ন, সঙ্গে
ইনপুট ভেরিয়েবলের স্তরে বিচ্ছেদ ঘটছে (যেমন পিক্সেল
প্রকাশ)।ডেটাসেটের আকার :
42.02 GiB
উদাহরণ ( tfds.as_dataframe ):
abstract_reasoning/interpolation
কনফিগারেশনের বিবরণ : নিরপেক্ষ বিভাজনের মতো, \(S\) এ যে কোনো
তিনগুণ \([r, o, a]\)। ইন্টারপোলেশন জন্য, প্রশিক্ষণ সেটে, যখন
বৈশিষ্ট্য ছিল "রঙ" বা "আকার" (অর্থাৎ, আদেশকৃত বৈশিষ্ট্য), এর মান
বৈশিষ্ট্যগুলি একটি পৃথক সেটের সম-সূচীকৃত সদস্যদের মধ্যে সীমাবদ্ধ ছিল,
যেখানে পরীক্ষার সেটে শুধুমাত্র বিজোড়-সূচীযুক্ত মান অনুমোদিত ছিল। নোট করুন যে সব
\(S\) এ কিছু ট্রিপল \([r, o, a]\) রঙ বা আকারের বৈশিষ্ট্য রয়েছে।
সুতরাং, পরীক্ষার সেটের প্রতিটি প্রশ্নের জন্য সাধারণীকরণ প্রয়োজন।ডেটাসেটের আকার :
37.09 GiB
উদাহরণ ( tfds.as_dataframe ):
বিমূর্ত_যুক্তি/এক্সট্রাপোলেশন
কনফিগার বর্ণনা : ইন্টারপোলেশনের মতই, কিন্তু এর মান
বৈশিষ্ট্যগুলি বিযুক্ত সেটের নীচের অর্ধেকের মধ্যে সীমাবদ্ধ ছিল
প্রশিক্ষণ, যেখানে পরীক্ষার সেটে তারা উপরের অর্ধেক মান নিয়েছে।ডেটাসেটের আকার :
35.91 GiB
উদাহরণ ( tfds.as_dataframe ):
abstract_reasoning/attr.rel.pairs
কনফিগারের বিবরণ : সমস্ত \(S\) তে কমপক্ষে দুটি ট্রিপল রয়েছে,
\(([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)\), যার মধ্যে 400টি কার্যকর। আমরা
এলোমেলোভাবে প্রশিক্ষণ সেটে 360 এবং পরীক্ষার সেটে 40টি বরাদ্দ করা হয়েছে। সদস্যরা
40টি\((t_1, t_2)\) -আউট জোড়ার মধ্যে l10n-placeholder21 স্ট্রাকচারে একসাথে ঘটেনি\(S\)
প্রশিক্ষণ সেটে, এবং সমস্ত স্ট্রাকচার \(S\) এর অন্তত একটি জোড়া ছিল
\((t_1, t_2)\) একটি উপসেট হিসাবে।ডেটাসেটের আকার :
41.07 GiB
উদাহরণ ( tfds.as_dataframe ):
abstract_reasoning/attr.rels
কনফিগারেশনের বিবরণ : আমাদের ডেটাসেটে, 29টি সম্ভাব্য অনন্য
ট্রিপল \([r,o,a]\)। আমরা এর মধ্যে সাতটি পরীক্ষার সেটের জন্য বরাদ্দ করেছি, এলোমেলোভাবে,
কিন্তু এমন যে প্রতিটি গুণাবলী এই সেটে ঠিক একবার উপস্থাপন করা হয়েছে।
এই অনুষ্ঠিত-আউট ট্রিপল প্রশিক্ষণ সেটের প্রশ্নে কখনও ঘটেনি, এবং
পরীক্ষার সেটের প্রতিটি \(S\) এ তাদের মধ্যে অন্তত একটি থাকে।ডেটাসেটের আকার :
41.45 GiB
উদাহরণ ( tfds.as_dataframe ):
abstract_reasoning/attrs.pairs
কনফিগারের বিবরণ : \(S\) এ কমপক্ষে দুটি ট্রিপল রয়েছে। 20টি আছে
\((a_1, a_2)\) গুণাবলীর (অনিয়ন্ত্রিত) কার্যকর জোড়া যেমন কারো জন্য
\(r_i, o_i, ([r_1,o_1,a_1],[r_2,o_2,a_2])\) একটি কার্যকরী ট্রিপল জোড়া
\(([r_1,o_1,a_1],[r_2,o_2,a_2]) = (t_1, t_2)\)। আমরা এই জোড়া 16 বরাদ্দ
প্রশিক্ষণের জন্য এবং চারটি পরীক্ষার জন্য। টেস্ট সেটে \((a_1, a_2)\) জোড়ার জন্য,
প্রশিক্ষণ সেটে l10n-\(S\) এ \(a_1\) বা \(a_2\)placeholder34 সহ ট্রিপল রয়েছে। পরীক্ষায়
সেট, সমস্ত \(S\) এ \(a_1\) এবং \(a_2\)placeholder37 সহ ট্রিপল রয়েছে।ডেটাসেটের আকার :
40.98 GiB
উদাহরণ ( tfds.as_dataframe ):
abstract_reasoning/attrs.shape.color
কনফিগারেশনের বিবরণ : হোল্ড-আউট অ্যাট্রিবিউট আকৃতি-রঙ। \(S\) in
প্রশিক্ষণ সেটে \(o\)=shape এবং \(a\)=colour সহ কোন ট্রিপল নেই।
পরীক্ষার সেটে ধাঁধা পরিচালনাকারী সমস্ত কাঠামোতে কমপক্ষে একটি ট্রিপল রয়েছে
\(o\)= আকৃতি এবং \(a\)= রঙ সহ।ডেটাসেটের আকার :
41.21 GiB
উদাহরণ ( tfds.as_dataframe ):
abstract_reasoning/attrs.line.type
কনফিগারেশনের বিবরণ : হোল্ড-আউট অ্যাট্রিবিউট লাইন-টাইপ। \(S\) in
প্রশিক্ষণ সেটে \(o\)=line এবং \(a\)=type সহ কোন ট্রিপল নেই।
পরীক্ষার সেটে ধাঁধা পরিচালনাকারী সমস্ত কাঠামোতে কমপক্ষে একটি ট্রিপল রয়েছে
\(o\)= line এবং \(a\)= টাইপ সহ।ডেটাসেটের আকার :
41.40 GiB
উদাহরণ ( tfds.as_dataframe ):