câu hỏi_ tự nhiên

• Mô tả :

Kho văn bản NQ chứa các câu hỏi từ người dùng thực và nó yêu cầu hệ thống QA đọc và hiểu toàn bộ bài viết Wikipedia có thể chứa hoặc không chứa câu trả lời cho câu hỏi. Việc bao gồm các câu hỏi của người dùng thực và yêu cầu rằng các giải pháp phải đọc toàn bộ trang để tìm câu trả lời, khiến NQ trở thành một nhiệm vụ thực tế và thách thức hơn so với các bộ dữ liệu QA trước đó.

• Tài liệu bổ sung : Khám phá trên giấy tờ với mã north_east

• Trang chủ : https://ai.google.com/research/NaturalQuestions/dataset

• Mã nguồn : tfds.datasets.natural_questions.Builder

• Phiên bản :

  • 0.0.2 : Không có ghi chú phát hành.
  • 0.1.0 (mặc định): Không có ghi chú phát hành.

• Kích thước tải xuống : 41.97 GiB

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Chia tách :

• Các khóa được giám sát (Xem as_supervised doc ): None

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• trích dẫn :

@article{47761,
title = {Natural Questions: a Benchmark for Question Answering Research},
author = {Tom Kwiatkowski and Jennimaria Palomaki and Olivia Redfield and Michael Collins and Ankur Parikh and Chris Alberti and Danielle Epstein and Illia Polosukhin and Matthew Kelcey and Jacob Devlin and Kenton Lee and Kristina N. Toutanova and Llion Jones and Ming-Wei Chang and Andrew Dai and Jakob Uszkoreit and Quoc Le and Slav Petrov},
year = {2019},
journal = {Transactions of the Association of Computational Linguistics}
}

natural_questions/default (cấu hình mặc định)

• Mô tả cấu hình : Cấu hình natural_questions mặc định

• Kích thước tập dữ liệu : 90.26 GiB

• Cấu trúc tính năng :

FeaturesDict({
    'annotations': Sequence({
        'id': string,
        'long_answer': FeaturesDict({
            'end_byte': int64,
            'end_token': int64,
            'start_byte': int64,
            'start_token': int64,
        }),
        'short_answers': Sequence({
            'end_byte': int64,
            'end_token': int64,
            'start_byte': int64,
            'start_token': int64,
            'text': Text(shape=(), dtype=string),
        }),
        'yes_no_answer': ClassLabel(shape=(), dtype=int64, num_classes=2),
    }),
    'document': FeaturesDict({
        'html': Text(shape=(), dtype=string),
        'title': Text(shape=(), dtype=string),
        'tokens': Sequence({
            'is_html': bool,
            'token': Text(shape=(), dtype=string),
        }),
        'url': Text(shape=(), dtype=string),
    }),
    'id': string,
    'question': FeaturesDict({
        'text': Text(shape=(), dtype=string),
        'tokens': Sequence(string),
    }),
})

• Tài liệu tính năng :

• Ví dụ ( tfds.as_dataframe ):

natural_questions/longt5

• Mô tả cấu hình : natural_questions được xử lý trước như trong điểm chuẩn longT5

• Kích thước tập dữ liệu : 8.91 GiB

• Cấu trúc tính năng :

FeaturesDict({
    'all_answers': Sequence(Text(shape=(), dtype=string)),
    'answer': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Ví dụ ( tfds.as_dataframe ):