Son birkaç yılda, sinir ağı mimarilerine eklenebilen yeni türevlenebilir grafik katmanlarında bir artış görüldü. Uzamsal dönüştürücülerden farklılaştırılabilir grafik oluşturuculara kadar bu yeni katmanlar, yeni ve daha verimli ağ mimarileri oluşturmak için yıllar boyunca bilgisayarla görme ve grafik araştırmalarında edinilen bilgilerden yararlanır. Geometrik öncelikleri ve kısıtlamaları sinir ağlarına açıkça modellemek, sağlam, verimli ve daha da önemlisi kendi kendini denetleyen bir şekilde eğitilebilen mimarilere kapı açar.
Yüksek düzeyde, bir bilgisayar grafiği boru hattı, 3B nesnelerin bir temsilini ve sahnedeki mutlak konumlarını, yapıldıkları malzemenin bir tanımını, ışıkları ve bir kamerayı gerektirir. Bu sahne açıklaması daha sonra sentetik bir görüntü oluşturmak için bir oluşturucu tarafından yorumlanır.
Buna karşılık, bir bilgisayarlı görü sistemi bir görüntüden başlayacak ve sahnenin parametrelerini çıkarmaya çalışacaktı. Bu, sahnede hangi nesnelerin bulunduğu, hangi malzemelerden yapıldıkları ve üç boyutlu konum ve yönelimin tahmin edilmesini sağlar.
Bu karmaşık 3B görüntü görevlerini çözebilen makine öğrenimi sistemlerini eğitmek, çoğunlukla büyük miktarda veri gerektirir. Verileri etiketlemek maliyetli ve karmaşık bir süreç olduğundan, fazla denetim olmadan eğitilirken üç boyutlu dünyayı kavrayabilen makine öğrenimi modelleri tasarlamak için mekanizmalara sahip olmak önemlidir. Bilgisayarlı görü ve bilgisayar grafiği tekniklerini birleştirmek, büyük miktarda hazır etiketlenmemiş veriden yararlanmak için benzersiz bir fırsat sağlar. Aşağıdaki resimde gösterildiği gibi, bu, örneğin, görüntü sisteminin sahne parametrelerini çıkardığı ve grafik sisteminin bunlara dayalı bir görüntüyü geri verdiği sentez yoluyla analiz kullanılarak başarılabilir. Oluşturma orijinal görüntüyle eşleşirse, görüntü sistemi sahne parametrelerini doğru bir şekilde çıkarmıştır. Bu kurulumda, bilgisayarlı görü ve bilgisayar grafikleri el ele gider ve otomatik kodlayıcıya benzer tek bir makine öğrenimi sistemi oluşturur ve kendi kendini denetleyen bir şekilde eğitilebilir.
Tensorflow Graphics bu tür zorlukların üstesinden gelmeye yardımcı olmak için geliştirilmekte ve bunu yapmak için bir dizi farklılaştırılabilir grafik ve geometri katmanı (örn. kameralar, yansıma modelleri, uzamsal dönüşümler, ağ kıvrımları) ve 3D görüntüleyici işlevleri (örn. tercih ettiğiniz makine öğrenimi modellerinizi eğitmek ve hatalarını ayıklamak için kullanılabilir.