Bu sayfada, TensorFlow Hub ile metin alanındaki sorunları çözen bir dizi bilinen kılavuz ve araç listelenmektedir. Sıfırdan başlamak yerine, önceden eğitilmiş makine öğrenimi bileşenlerini kullanarak tipik makine öğrenimi sorunlarını çözmek isteyen herkes için bir başlangıç noktasıdır.
sınıflandırma
Belirli bir örnek için bir sınıfı tahmin etmek istediğimizde; örneğin duyarlılık , toksisite , makale kategorisi veya başka herhangi bir özellik.
Aşağıdaki eğitimler aynı görevi farklı bakış açılarından ve farklı araçlar kullanarak çözmektedir.
Keras
Keras ile metin sınıflandırması - Keras ve TensorFlow Veri Kümeleri ile IMDB duyarlılık sınıflandırıcısı oluşturmaya yönelik örnek.
Tahminci
Metin sınıflandırması - Estimator ile IMDB duyarlılık sınıflandırıcısı oluşturmaya yönelik örnek. İyileştirme için birden fazla ipucu ve bir modül karşılaştırma bölümü içerir.
BERT
TF Hub'da BERT ile Film İnceleme Duygusunu Tahmin Etme - sınıflandırma için bir BERT modülünün nasıl kullanılacağını gösterir. Tokenizasyon ve ön işleme için bert kütüphanesinin kullanımını içerir.
Kaggle
Kaggle'daki IMDB sınıflandırması - verilerin indirilmesi ve sonuçların gönderilmesi de dahil olmak üzere bir Colab'daki Kaggle yarışmasıyla nasıl kolayca etkileşime geçileceğini gösterir.
| Tahminci | Keras | TF2 | TF Veri Kümeleri | BERT | Kaggle API'leri | |
|---|---|---|---|---|---|---|
| Metin sınıflandırması |  | |||||
| Keras ile metin sınıflandırması | | | | |||
| TF Hub'da BERT ile Film İnceleme Duygusunu Tahmin Etmek | | | ||||
| Kaggle'da IMDB sınıflandırması | | |
FastText yerleştirmeleriyle Bangla görevi
TensorFlow Hub şu anda her dilde bir modül sunmamaktadır. Aşağıdaki eğitimde hızlı denemeler ve modüler makine öğrenimi geliştirme için TensorFlow Hub'dan nasıl yararlanılacağı gösterilmektedir.
Bangla Makale Sınıflandırıcısı - yeniden kullanılabilir bir TensorFlow Hub metin yerleştirmesinin nasıl oluşturulacağını ve bunun BARD Bangla Makale veri kümesi için bir Keras sınıflandırıcısını eğitmek için nasıl kullanılacağını gösterir.
Anlamsal benzerlik
Sıfır atış kurulumunda hangi cümlelerin birbiriyle ilişkili olduğunu bulmak istediğimizde (eğitim örneği yok).
Temel
Anlamsal benzerlik - cümle benzerliğini hesaplamak için cümle kodlayıcı modülünün nasıl kullanılacağını gösterir.
Diller arası
Diller arası anlam benzerliği - diller arası cümle benzerliğini hesaplamak için diller arası cümle kodlayıcılardan birinin nasıl kullanılacağını gösterir.
Anlamsal erişim
Anlamsal erişim - anlamsal benzerliğe dayalı olarak bir belge koleksiyonunu almak üzere dizine eklemek için Soru-Cevap cümle kodlayıcısının nasıl kullanılacağını gösterir.
Cümle Parçası girişi
Evrensel kodlayıcı lite ile anlamsal benzerlik - girişte metin yerine SentencePiece kimliklerini kabul eden cümle kodlayıcı modüllerinin nasıl kullanılacağını gösterir.
Modül oluşturma
Yalnızca tfhub.dev'deki modülleri kullanmak yerine kendi modüllerini oluşturmanın yolları vardır. Bu, daha iyi makine öğrenimi kod tabanı modülerliği ve daha fazla paylaşım için yararlı bir araç olabilir.
Mevcut önceden eğitilmiş yerleştirmeleri sarmalama
Metin gömme modülü dışa aktarıcısı - mevcut önceden eğitilmiş bir yerleştirmeyi bir modüle sarmak için bir araç. Metin ön işleme işlemlerinin modüle nasıl dahil edileceğini gösterir. Bu, belirteç yerleştirmelerden bir cümle yerleştirme modülü oluşturmaya olanak tanır.
Metin yerleştirme modülü dışa aktarıcı v2 - yukarıdakiyle aynı, ancak TensorFlow 2 ve hızlı yürütme ile uyumlu.