Bazı TFX bileşenleri giriş verilerinizin şema adı verilen bir tanımını kullanır. Şema, schema.proto'nun bir örneğidir. Özellik değerleri için veri türlerini, bir özelliğin tüm örneklerde mevcut olup olmayacağını, izin verilen değer aralıklarını ve diğer özellikleri belirtebilir. Bir SchemaGen işlem hattı bileşeni, eğitim verilerinden türleri, kategorileri ve aralıkları çıkararak otomatik olarak bir şema oluşturacaktır.
- Tüketim: bir İstatistikGen bileşeninden alınan istatistikler
- Yayar: Veri şeması protokolü
İşte şema protokolünden bir alıntı:
...
feature {
name: "age"
value_count {
min: 1
max: 1
}
type: FLOAT
presence {
min_fraction: 1
min_count: 1
}
}
feature {
name: "capital-gain"
value_count {
min: 1
max: 1
}
type: FLOAT
presence {
min_fraction: 1
min_count: 1
}
}
...
Aşağıdaki TFX kitaplıkları şemayı kullanır:
- TensorFlow Veri Doğrulaması
- TensorFlow Dönüşümü
- TensorFlow Model Analizi
Tipik bir TFX işlem hattında SchemaGen, diğer işlem hattı bileşenleri tarafından tüketilen bir şema oluşturur. Bununla birlikte, otomatik olarak oluşturulan şema en iyi çabadır ve yalnızca verilerin temel özelliklerini çıkarmaya çalışır. Geliştiricilerin bunu gözden geçirmesi ve gerektiğinde değiştirmesi bekleniyor.
Değiştirilen şema, ImportSchemaGen bileşeni kullanılarak ardışık düzene geri getirilebilir. İlk şema oluşturmaya yönelik SchemaGen bileşeni kaldırılabilir ve tüm aşağı akış bileşenleri, ImportSchemaGen çıktısını kullanabilir. Ayrıca eğitim verilerinin sürekli olarak incelenmesi için içe aktarılan şemayı kullanarak SampleValidator'ın eklenmesi de önerilir.
SchemaGen ve TensorFlow Veri Doğrulaması
SchemaGen, bir şema çıkarmak için TensorFlow Veri Doğrulama'yı kapsamlı bir şekilde kullanır.
SchemaGen Bileşenini Kullanma
İlk şema üretimi için
Bir SchemaGen işlem hattı bileşeninin dağıtımı genellikle çok kolaydır ve çok az özelleştirme gerektirir. Tipik kod şuna benzer:
schema_gen = tfx.components.SchemaGen(
statistics=stats_gen.outputs['statistics'])
Daha fazla ayrıntıyı [SchemaGen API referansı] [tfx.v1.components.SchemaGen] adresinde bulabilirsiniz.
İncelenen şemanın içe aktarımı için
İncelenen şema tanımını işlem hattına getirmek için ImportSchemaGen bileşenini işlem hattına ekleyin.
schema_gen = tfx.components.ImportSchemaGen(
schema_file='/some/path/schema.pbtxt')
schema_file
metin protobuf dosyasının tam yolu olmalıdır.
Daha fazla ayrıntıyı [ImportSchemaGen API referansı] [tfx.v1.components.ImportSchemaGen] adresinde bulabilirsiniz.