cifar10_n

  • Mô tả :

Phiên bản CIFAR-10 được dán nhãn lại với các lỗi chú thích thực sự của con người. Đối với mỗi cặp (hình ảnh, nhãn) trong tập huấn luyện CIFAR-10 ban đầu, nó cung cấp một số nhãn bổ sung do người chú thích thực của con người đưa ra.

  • Trang chủ : https://ucsc-real.soe.ucsc.edu:1995/Home.html/

  • Mã nguồn : tfds.image_classification.cifar10_n.Cifar10N

  • Phiên bản :

    • 1.0.0 : Bản phát hành đầu tiên.
    • 1.0.1 : Đã sửa lỗi đánh máy trong khóa worse_label .
    • 1.0.2 : Đã sửa lỗi tương ứng giữa chú thích và hình ảnh.
    • 1.0.3 : Đã sửa các tệp trong MANUAL_DIR .
    • 1.0.4 (mặc định): Đã sửa lỗi tải thông tin bên.
  • Kích thước tải xuống : 162.17 MiB

  • Kích thước tập dữ liệu : 147.91 MiB

  • Hướng dẫn tải xuống thủ công : Bộ dữ liệu này yêu cầu bạn tải xuống dữ liệu nguồn theo cách thủ công vào download_config.manual_dir (mặc định là ~/tensorflow_datasets/downloads/manual/ ):
    Tải xuống 'side_info_cifar10N.csv', 'CIFAR-10_human_ordered.npy' và 'image_order_c10.npy' từ https://github.com/UCSC-REAL/cifar-10-100n

Sau đó, chuyển đổi 'CIFAR-10_human_ordered.npy' thành tệp CSV 'CIFAR-10_human_annotations.csv'. Điều này có thể được thực hiện với đoạn mã sau:

import numpy as np
from tensorflow_datasets.core.utils.lazy_imports_utils import pandas as pd
from tensorflow_datasets.core.utils.lazy_imports_utils import tensorflow as tf

human_labels_np_path = '<local_path>/CIFAR-10_human_ordered.npy'
human_labels_csv_path = '<local_path>/CIFAR-10_human_annotations.csv'

with tf.io.gfile.GFile(human_labels_np_path, "rb") as f:
  human_annotations = np.load(f, allow_pickle=True)

df = pd.DataFrame(human_annotations[()])

with tf.io.gfile.GFile(human_labels_csv_path, "w") as f:
  df.to_csv(f, index=False)
  • Tự động lưu vào bộ đệm ( tài liệu ): Có

  • Chia tách :

Tách ra ví dụ
'test' 10.000
'train' 50.000
  • Cấu trúc tính năng :
FeaturesDict({
    'aggre_label': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'id': Text(shape=(), dtype=string),
    'image': Image(shape=(32, 32, 3), dtype=uint8),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'random_label1': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'random_label2': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'random_label3': ClassLabel(shape=(), dtype=int64, num_classes=10),
    'worker1_id': int64,
    'worker1_time': float32,
    'worker2_id': int64,
    'worker2_time': float32,
    'worker3_id': int64,
    'worker3_time': float32,
    'worse_label': ClassLabel(shape=(), dtype=int64, num_classes=10),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
aggre_label LớpNhãn int64
Tôi Chữ sợi dây
hình ảnh Hình ảnh (32, 32, 3) uint8
nhãn mác LớpNhãn int64
random_label1 LớpNhãn int64
ngẫu nhiên_nhãn2 LớpNhãn int64
ngẫu nhiên_nhãn3 LớpNhãn int64
worker1_id tenxơ int64
worker1_time tenxơ phao32
worker2_id tenxơ int64
worker2_time tenxơ phao32
worker3_id tenxơ int64
công nhân3_time tenxơ phao32
tệ hơn_nhãn LớpNhãn int64

Hình dung

  • trích dẫn :
@inproceedings{wei2022learning,
  title={Learning with Noisy Labels Revisited: A Study Using Real-World Human
  Annotations},
  author={Jiaheng Wei and Zhaowei Zhu and Hao Cheng and Tongliang Liu and Gang
  Niu and Yang Liu},
  booktitle={International Conference on Learning Representations},
  year={2022},
  url={https://openreview.net/forum?id=TBWA6PLJZQm}
}