Avro Dataset API

مشاهده در TensorFlow.org

در Google Colab اجرا شود

مشاهده منبع در GitHub

دانلود دفترچه یادداشت

بررسی اجمالی

هدف از آورو مجموعه داده API است که برای بارگذاری آورو داده بومی به TensorFlow به عنوان فرمت مجموعه داده TensorFlow . Avro یک سیستم سریال‌سازی داده مشابه بافرهای پروتکل است. این به طور گسترده در Apache Hadoop استفاده می‌شود، جایی که می‌تواند هم یک قالب سریال‌سازی برای داده‌های پایدار و هم یک قالب سیمی برای ارتباط بین گره‌های Hadoop ارائه دهد. داده Avro یک فرمت داده باینری فشرده و ردیف‌گرا است. این مبتنی بر طرحی است که به عنوان یک فایل JSON جداگانه ذخیره می شود. برای تنظیمات از آورو فرمت و طرح اعلامیه، مراجعه شود به کتابچه راهنمای رسمی .

بسته راه اندازی

بسته tensorflow-io مورد نیاز را نصب کنید

pip install tensorflow-io

بسته های وارداتی

import tensorflow as tf
import tensorflow_io as tfio

واردات tf و tfio را تأیید کنید

print("tensorflow-io version: {}".format(tfio.__version__))
print("tensorflow version: {}".format(tf.__version__))

tensorflow-io version: 0.18.0
tensorflow version: 2.5.0

استفاده

مجموعه داده را کاوش کنید

برای هدف این آموزش، نمونه مجموعه داده Avro را دانلود می کنیم.

دانلود نمونه فایل Avro:

curl -OL https://github.com/tensorflow/io/raw/master/docs/tutorials/avro/train.avro
ls -l train.avro

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   151  100   151    0     0   1268      0 --:--:-- --:--:-- --:--:--  1268
100   369  100   369    0     0   1255      0 --:--:-- --:--:-- --:--:--  1255
-rw-rw-r-- 1 kbuilder kokoro 369 May 25 22:23 train.avro

فایل شمای مربوطه نمونه فایل Avro را دانلود کنید:

curl -OL https://github.com/tensorflow/io/raw/master/docs/tutorials/avro/train.avsc
ls -l train.avsc

% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   151  100   151    0     0   1247      0 --:--:-- --:--:-- --:--:--  1247
100   271  100   271    0     0    780      0 --:--:-- --:--:-- --:--:--   780
-rw-rw-r-- 1 kbuilder kokoro 271 May 25 22:23 train.avsc

در مثال بالا، یک مجموعه داده آزمایشی Avro بر اساس مجموعه داده mnist ایجاد شد. مجموعه داده MNIST اصلی در قالب TFRecord از تولید TF به نام مجموعه داده . با این حال، مجموعه داده mnist به عنوان یک مجموعه داده آزمایشی بسیار بزرگ است. به منظور سادگی، بیشتر آن کوتاه شد و تنها چند رکورد اول نگهداری شد. علاوه بر این، پیرایش اضافی برای انجام شد image زمینه در مجموعه داده MNIST اصلی و آن را به نقشه برداری features زمینه در آورو. بنابراین فایل AVRO train.avro دارای 4 سوابق، که هر کدام دارای 3 زمینه های: features است که آرایه ای از نوع int، label ، یک int یا null، و dataType ، یک شمارشی. برای مشاهده رمزگشایی train.avro (توجه داشته باشید فایل داده AVRO اصلی است قابل خواندن توسط انسان نه به عنوان AVRO یک فرمت فشرده است):

بسته مورد نیاز برای خواندن فایل Avro را نصب کنید:

pip install avro

برای خواندن و چاپ یک فایل Avro در قالب قابل خواندن توسط انسان:

from avro.io import DatumReader
from avro.datafile import DataFileReader

import json

def print_avro(avro_file, max_record_num=None):
    if max_record_num is not None and max_record_num <= 0:
        return

    with open(avro_file, 'rb') as avro_handler:
        reader = DataFileReader(avro_handler, DatumReader())
        record_count = 0
        for record in reader:
            record_count = record_count+1
            print(record)
            if max_record_num is not None and record_count == max_record_num:
               break

print_avro(avro_file='train.avro')

{'features': [0, 0, 0, 1, 4], 'label': None, 'dataType': 'TRAINING'}
{'features': [0, 0], 'label': 2, 'dataType': 'TRAINING'}
{'features': [0], 'label': 3, 'dataType': 'VALIDATION'}
{'features': [1], 'label': 4, 'dataType': 'VALIDATION'}

و طرح از train.avro است که توسط نمایندگی train.avsc یک فایل با قالب JSON است. برای مشاهده train.avsc :

def print_schema(avro_schema_file):
    with open(avro_schema_file, 'r') as handle:
        parsed = json.load(handle)
    print(json.dumps(parsed, indent=4, sort_keys=True))

print_schema('train.avsc')

{
    "fields": [
        {
            "name": "features",
            "type": {
                "items": "int",
                "type": "array"
            }
        },
        {
            "name": "label",
            "type": [
                "int",
                "null"
            ]
        },
        {
            "name": "dataType",
            "type": {
                "name": "dataTypes",
                "symbols": [
                    "TRAINING",
                    "VALIDATION"
                ],
                "type": "enum"
            }
        }
    ],
    "name": "ImageDataset",
    "type": "record"
}

مجموعه داده را آماده کنید

بار train.avro به عنوان مجموعه داده TensorFlow با آورو مجموعه داده API:

features = {
    'features[*]': tfio.experimental.columnar.VarLenFeatureWithRank(dtype=tf.int32),
    'label': tf.io.FixedLenFeature(shape=[], dtype=tf.int32, default_value=-100),
    'dataType': tf.io.FixedLenFeature(shape=[], dtype=tf.string)
}

schema = tf.io.gfile.GFile('train.avsc').read()

dataset = tfio.experimental.columnar.make_avro_record_dataset(file_pattern=['train.avro'],
                                                              reader_schema=schema,
                                                              features=features,
                                                              shuffle=False,
                                                              batch_size=3,
                                                              num_epochs=1)

for record in dataset:
    print(record['features[*]'])
    print(record['label'])
    print(record['dataType'])
    print("--------------------")

SparseTensor(indices=tf.Tensor(
[[0 0]
 [0 1]
 [0 2]
 [0 3]
 [0 4]
 [1 0]
 [1 1]
 [2 0]], shape=(8, 2), dtype=int64), values=tf.Tensor([0 0 0 1 4 0 0 0], shape=(8,), dtype=int32), dense_shape=tf.Tensor([3 5], shape=(2,), dtype=int64))
tf.Tensor([-100    2    3], shape=(3,), dtype=int32)
tf.Tensor([b'TRAINING' b'TRAINING' b'VALIDATION'], shape=(3,), dtype=string)
--------------------
SparseTensor(indices=tf.Tensor([[0 0]], shape=(1, 2), dtype=int64), values=tf.Tensor([1], shape=(1,), dtype=int32), dense_shape=tf.Tensor([1 1], shape=(2,), dtype=int64))
tf.Tensor([4], shape=(1,), dtype=int32)
tf.Tensor([b'VALIDATION'], shape=(1,), dtype=string)
--------------------

به عنوان مثال تبدیل بالا train.avro به مجموعه داده tensorflow. هر عنصر مجموعه داده یک فرهنگ لغت است که کلید آن نام ویژگی است، مقدار آن تانسور پراکنده یا متراکم تبدیل شده است. به عنوان مثال، آن را تبدیل features ، label ، dataType رشته به VarLenFeature (SparseTensor)، FixedLenFeature (DenseTensor) و FixedLenFeature (DenseTensor) بود. از آنجا که batch_size 3 است، آن را مجبور 3 رکورد از train.avro را به یک عنصر در مجموعه داده نتیجه. برای اولین رکورد در train.avro که برچسب تهی است، جایگزین خواننده AVRO آن را با مقدار پیش فرض مشخص (-100). در این مثال، هستید 4 سوابق در مجموع در آن وجود دارد train.avro . از آنجا که اندازه دسته 3، مجموعه داده نتیجه شامل 3 عناصر، آخرین آن است اندازه دسته 1. با این حال کاربران نیز قادر به رها کردن آخرین دسته اگر اندازه کوچکتر از اندازه دسته ای با فعال است drop_final_batch . به عنوان مثال:

dataset = tfio.experimental.columnar.make_avro_record_dataset(file_pattern=['train.avro'],
                                                              reader_schema=schema,
                                                              features=features,
                                                              shuffle=False,
                                                              batch_size=3,
                                                              drop_final_batch=True,
                                                              num_epochs=1)

for record in dataset:
    print(record)

{'features[*]': <tensorflow.python.framework.sparse_tensor.SparseTensor object at 0x7f97656423d0>, 'dataType': <tf.Tensor: shape=(3,), dtype=string, numpy=array([b'TRAINING', b'TRAINING', b'VALIDATION'], dtype=object)>, 'label': <tf.Tensor: shape=(3,), dtype=int32, numpy=array([-100,    2,    3], dtype=int32)>}

همچنین می‌توان num_parallel_reads را برای تسریع پردازش داده‌های Avro با افزایش موازی‌سازی avro parse/read افزایش داد.

dataset = tfio.experimental.columnar.make_avro_record_dataset(file_pattern=['train.avro'],
                                                              reader_schema=schema,
                                                              features=features,
                                                              shuffle=False,
                                                              num_parallel_reads=16,
                                                              batch_size=3,
                                                              drop_final_batch=True,
                                                              num_epochs=1)

for record in dataset:
    print(record)

{'features[*]': <tensorflow.python.framework.sparse_tensor.SparseTensor object at 0x7f9765693990>, 'dataType': <tf.Tensor: shape=(3,), dtype=string, numpy=array([b'TRAINING', b'TRAINING', b'VALIDATION'], dtype=object)>, 'label': <tf.Tensor: shape=(3,), dtype=int32, numpy=array([-100,    2,    3], dtype=int32)>}

برای استفاده دقیق از make_avro_record_dataset ، مراجعه شود به توضیحات API .

آموزش مدل‌های tf.keras با مجموعه داده Avro

اکنون بیایید یک مثال سرتاسری از آموزش مدل tf.keras با مجموعه داده Avro بر اساس مجموعه داده mnist را مرور کنیم.

بار train.avro به عنوان مجموعه داده TensorFlow با آورو مجموعه داده API:

features = {
    'features[*]': tfio.experimental.columnar.VarLenFeatureWithRank(dtype=tf.int32)
}

schema = tf.io.gfile.GFile('train.avsc').read()

dataset = tfio.experimental.columnar.make_avro_record_dataset(file_pattern=['train.avro'],
                                                              reader_schema=schema,
                                                              features=features,
                                                              shuffle=False,
                                                              batch_size=1,
                                                              num_epochs=1)

یک مدل کراس ساده را تعریف کنید:

def build_and_compile_cnn_model():
    model = tf.keras.Sequential()
    model.compile(optimizer='sgd', loss='mse')
    return model

model = build_and_compile_cnn_model()

آموزش مدل keras با مجموعه داده Avro:

model.fit(x=dataset, epochs=1, steps_per_epoch=1, verbose=1)

WARNING:tensorflow:Layers in a Sequential model should only have a single input tensor, but we receive a <class 'dict'> input: {'features[*]': <tensorflow.python.framework.sparse_tensor.SparseTensor object at 0x7f94b00645d0>}
Consider rewriting this model with the Functional API.
WARNING:tensorflow:Layers in a Sequential model should only have a single input tensor, but we receive a <class 'dict'> input: {'features[*]': <tensorflow.python.framework.sparse_tensor.SparseTensor object at 0x7f976476ca90>}
Consider rewriting this model with the Functional API.
1/1 [==============================] - 0s 60ms/step - loss: 0.0000e+00
<tensorflow.python.keras.callbacks.History at 0x7f94ec08c6d0>

مجموعه داده avro می‌تواند هر داده avro را در تانسورهای TensorFlow، از جمله رکوردها در رکوردها، نقشه‌ها، آرایه‌ها، شاخه‌ها و شمارش‌ها تجزیه و تحلیل کند. اطلاعات تجزیه به عنوان نقشه ای به پیاده سازی مجموعه داده avro ارسال می شود که در آن کلیدها نحوه تجزیه مقادیر داده را در مورد نحوه وادار کردن داده ها به تانسورهای TensorFlow رمزگذاری می کنند - تعیین نوع اولیه (مانند bool، int، long، float، double، string). ) و همچنین نوع تانسور (مثلاً پراکنده یا متراکم). فهرستی از انواع تجزیه کننده TensorFlow (به جدول 1 مراجعه کنید) و اجبار انواع اولیه (جدول 2) ارائه شده است.

جدول 1 انواع تجزیه کننده TensorFlow پشتیبانی شده:

جدول 2 تبدیل پشتیبانی شده از انواع Avro به انواع TensorFlow:

مجموعه ای جامع از نمونه هایی از آورو مجموعه داده API است که در داخل ارائه آزمون .