wiki_snippets

Tài liệu tham khảo:

wiki40b_en_100_0

Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:

ds = tfds.load('huggingface:wiki_snippets/wiki40b_en_100_0')
  • Sự miêu tả :
Wikipedia version split into plain text snippets for dense semantic indexing.
  • Giấy phép : Không có giấy phép được biết đến
  • Phiên bản : 1.0.0
  • Chia tách :
Tách ra Ví dụ
'train' 17553713
  • Đặc trưng :
{
    "_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "datasets_id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "wiki_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "start_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "start_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "article_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "section_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "passage_text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}

wikipedia_en_100_0

Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:

ds = tfds.load('huggingface:wiki_snippets/wikipedia_en_100_0')
  • Sự miêu tả :
Wikipedia version split into plain text snippets for dense semantic indexing.
  • Giấy phép : Không có giấy phép được biết đến
  • Phiên bản : 2.0.0
  • Chia tách :
Tách ra Ví dụ
'train' 33849898
  • Đặc trưng :
{
    "_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "datasets_id": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "wiki_id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "start_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "start_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_paragraph": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "end_character": {
        "dtype": "int32",
        "id": null,
        "_type": "Value"
    },
    "article_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "section_title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "passage_text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}