Tài liệu tham khảo:
song songTweets
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:tweets_ar_en_parallel/parallelTweets')
- Sự miêu tả :
Twitter users often post parallel tweets—tweets that contain the same content but are
written in different languages. Parallel tweets can be an important resource for developing
machine translation (MT) systems among other natural language processing (NLP) tasks. This
resource is a result of a generic method for collecting parallel tweets. Using the method,
we compiled a bilingual corpus of English-Arabic parallel tweets and a list of Twitter accounts
who post English-Arabic tweets regularly. Additionally, we annotate a subset of Twitter accounts
with their countries of origin and topic of interest, which provides insights about the population
who post parallel tweets.
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'test' | 166706 |
- Đặc trưng :
{
"ArabicTweetID": {
"dtype": "int64",
"id": null,
"_type": "Value"
},
"EnglishTweetID": {
"dtype": "int64",
"id": null,
"_type": "Value"
}
}
danh sách tài khoản
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:tweets_ar_en_parallel/accountList')
- Sự miêu tả :
Twitter users often post parallel tweets—tweets that contain the same content but are
written in different languages. Parallel tweets can be an important resource for developing
machine translation (MT) systems among other natural language processing (NLP) tasks. This
resource is a result of a generic method for collecting parallel tweets. Using the method,
we compiled a bilingual corpus of English-Arabic parallel tweets and a list of Twitter accounts
who post English-Arabic tweets regularly. Additionally, we annotate a subset of Twitter accounts
with their countries of origin and topic of interest, which provides insights about the population
who post parallel tweets.
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'test' | 1389 |
- Đặc trưng :
{
"account": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
quốc giaChủ đềChú thích
Sử dụng lệnh sau để tải tập dữ liệu này trong TFDS:
ds = tfds.load('huggingface:tweets_ar_en_parallel/countryTopicAnnotation')
- Sự miêu tả :
Twitter users often post parallel tweets—tweets that contain the same content but are
written in different languages. Parallel tweets can be an important resource for developing
machine translation (MT) systems among other natural language processing (NLP) tasks. This
resource is a result of a generic method for collecting parallel tweets. Using the method,
we compiled a bilingual corpus of English-Arabic parallel tweets and a list of Twitter accounts
who post English-Arabic tweets regularly. Additionally, we annotate a subset of Twitter accounts
with their countries of origin and topic of interest, which provides insights about the population
who post parallel tweets.
- Giấy phép : Không có giấy phép được biết đến
- Phiên bản : 1.0.0
- Chia tách :
| Tách ra | Ví dụ |
|---|---|
'test' | 200 |
- Đặc trưng :
{
"account": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"country": {
"num_classes": 12,
"names": [
"QA",
"BH",
"AE",
"OM",
"SA",
"PL",
"JO",
"IQ",
"Other",
"EG",
"KW",
"SY"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"topic": {
"num_classes": 12,
"names": [
"Gov",
"Culture",
"Education",
"Sports",
"Travel",
"Events",
"Business",
"Science",
"Politics",
"Health",
"Governoment",
"Media"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
}
}