- বর্ণনা :
প্রায় 4 মিলিয়ন নিবন্ধ সমন্বিত Gigaword থেকে নিবন্ধ জোড়ার একটি কর্পাসের শিরোনাম-প্রজন্ম। https://github.com/microsoft/unilm/ দ্বারা প্রদত্ত 'org_data' ব্যবহার করুন যা https://github.com/harvardnlp/sent-summary- এর সাথে অভিন্ন কিন্তু আরও ভাল বিন্যাস সহ।
দুটি বৈশিষ্ট্য আছে: - নথি: নিবন্ধ. - সারাংশ: শিরোনাম।
উত্স কোড :
tfds.summarization.Gigaword
সংস্করণ :
-
1.2.0
(ডিফল্ট): কোনো রিলিজ নোট নেই।
-
ডাউনলোডের আকার :
551.61 MiB
ডেটাসেটের আকার :
1.02 GiB
স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): না
বিভাজন :
বিভক্ত | উদাহরণ |
---|---|
'test' | 1,951 |
'train' | 3,803,957 |
'validation' | 189,651 |
- বৈশিষ্ট্য গঠন :
FeaturesDict({
'document': Text(shape=(), dtype=string),
'summary': Text(shape=(), dtype=string),
})
- বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য | ক্লাস | আকৃতি | ডিটাইপ | বর্ণনা |
---|---|---|---|---|
ফিচারসডিক্ট | ||||
নথি | পাঠ্য | স্ট্রিং | ||
সারসংক্ষেপ | পাঠ্য | স্ট্রিং |
তত্ত্বাবধান করা কী (দেখুন
as_supervised
doc ):('document', 'summary')
চিত্র ( tfds.show_examples ): সমর্থিত নয়।
উদাহরণ ( tfds.as_dataframe ):
- উদ্ধৃতি :
@article{graff2003english,
title={English gigaword},
author={Graff, David and Kong, Junbo and Chen, Ke and Maeda, Kazuaki},
journal={Linguistic Data Consortium, Philadelphia},
volume={4},
number={1},
pages={34},
year={2003}
}
@article{Rush_2015,
title={A Neural Attention Model for Abstractive Sentence Summarization},
url={http://dx.doi.org/10.18653/v1/D15-1044},
DOI={10.18653/v1/d15-1044},
journal={Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing},
publisher={Association for Computational Linguistics},
author={Rush, Alexander M. and Chopra, Sumit and Weston, Jason},
year={2015}
}