 TensorFlow.org'da görüntüle |  Google Colab'da çalıştırın |  GitHub'da görüntüle |  Not defterini indir |  Kaggle'da koş |
Bu kılavuz, Google Cloud AI Platform'da eğitimi geniş ölçekte kolayca yürütmek için tensorflow_cloud'u kullanmak amacıyla ilk kez kullanan kullanıcıların özel olarak bir Google Cloud Platform hesabı oluşturmasına yardımcı olmayı amaçlamaktadır. TensorFlow Cloud, kullanıcıların yerel veya kaggle ortamında hata ayıklama, eğitim, Keras ve TensorFlow kodunu ayarlama aşamalarından Bulut üzerinde dağıtılmış eğitim/ayar işlemlerine kolayca geçmesine olanak tanıyan API'ler sağlar.
1. Google Cloud Platform'a kaydolun
Başlamak için https://cloud.google.com/ adresine gidin ve "Ücretsiz Başlayın"ı tıklayın. Bu, adınızı, adresinizi ve kredi kartınızı vermeniz gereken iki adımlı bir kayıt işlemidir. Başlangıç hesabı ücretsizdir ve kullanabileceğiniz 300 ABD doları tutarında krediyle birlikte gelir. Bu adımda oturum açmak için bir Google Hesabı (yani Gmail hesabınız) sağlamanız gerekecektir.
Kayıt işlemini tamamladıktan sonra Google Cloud Platform karşılama sayfasına yönlendirileceksiniz. "Ana Sayfa" sekmesine tıklayın ve Proje Kimliğinizi ve Proje numaranızı not edin. (bkz. Projelerin belirlenmesi )
GCP_PROJECT_ID = 'YOUR_PROJECT_ID'
PROJECT_NUMBER = 'YOUR_PROJECT_NUMBER'
2.Google Cloud SDK'yı etkinleştirin ve not defterinizin kimliğini doğrulayın
Artık projenizi kurduğunuza göre, geri kalan yapılandırma adımlarına doğrudan bu not defterinden devam edebiliriz. Üç tür not defteri vardır; bu adım (adım #2) her not defteri için biraz farklıdır, geri kalan adımlar (adım #3'ten #6'ya kadar) tüm not defterleri için aynıdır.
- 2.1. Kaggle not defterleri için yetkilendirme
- 2.2. Colab not defteri için yetkilendirme
- 2.3. Cloud AI Not Defterleri için Kimlik Doğrulaması - Desteklenmiyor.
2.1 Kaggle Dizüstü Bilgisayar için Kurulum Kimlik Doğrulaması
Kaggle not defteri kullanıyorsanız, bu projede kullandığınız tüm yeni not defterleri için bu adımı tekrarlamanız gerekecektir. Not defterinizde Eklentiler -> Google Cloud SDK'yı tıklayın ve istemdeki talimatları izleyin. Daha sonra kimlik doğrulama bilgilerinizi bu not defterine eklemek için aşağıdaki komutu çalıştırın.
import sys
if "kaggle_secrets" in sys.modules:
from kaggle_secrets import UserSecretsClient
UserSecretsClient().set_gcloud_credentials(project=GCP_PROJECT_ID)
2.2 Colab Dizüstü Bilgisayar için Kurulum Kimlik Doğrulaması
Colab not defteri kullanıyorsanız bu projede kullanacağınız tüm yeni not defterleri için bu adımı tekrarlamanız gerekecektir. Kimlik doğrulama kimlik bilgilerinizi bu not defterine eklemek için aşağıdaki komutu çalıştırın.
import sys
if "google.colab" in sys.modules:
from google.colab import auth
auth.authenticate_user()
3. Faturalandırma hesabınızı projenize bağlayın
Sonraki adım bu proje için faturalandırma hesabını ayarlamaktır . Google Cloud Varsayılan olarak sizin için “İlk Projem” adı verilen bir proje oluşturur. Bu varsayılan projeyi kullanacağız. Aşağıdaki komutları çalıştırmak için Proje Kimliğinizi (1. adımdan itibaren) kullanın. Bu size Faturalandırma Hesabı_Kimliğinizi gösterecektir; bir sonraki adım için bunu not edin.
gcloud beta billing accounts listFaturalandırma Hesabınızı_ID'nizi yukarıdan kullanın ve faturalandırma hesabınızı projenize bağlamak için aşağıdakileri çalıştırın.
Mevcut bir projeyi kullanıyorsanız Account_ID'yi göremeyebileceğinizi unutmayın; bu, aşağıdaki komutları çalıştırmak, yöneticinizle iletişime geçmek veya yeni bir proje oluşturmak için uygun izinlere sahip olmadığınız anlamına gelir.
BILLING_ACCOUNT_ID = 'YOUR_BILLING_ACCOUNT_ID'
!gcloud beta billing projects link $GCP_PROJECT_ID --billing-account $BILLING_ACCOUNT_ID
4. Projenizde tensorflow bulutu için Gerekli API'leri etkinleştirin
Tensorflow_cloud için iki özel API kullanıyoruz: AI Platform Training Jobs API ve Cloud builder API . Bunun bu proje için tek seferlik bir kurulum olduğunu unutmayın; bu komutu her not defteri için yeniden çalıştırmanıza gerek yoktur.
gcloud services --project $GCP_PROJECT_ID enable ml.googleapis.com cloudbuild.googleapis.com5. Bir Google Bulut Depolama paketi oluşturun
Bu depolama paketini geçici varlıklar için ve model kontrol noktalarını kaydetmek için kullanacağız. İleride başvurmak üzere paketin adını not edin. Paket adlarının genel olarak benzersiz olduğunu unutmayın.
BUCKET_NAME = 'YOUR_BUCKET_NAME'
GCS_BUCKET = f'gs://{BUCKET_NAME}'
!gsutil mb -p $GCP_PROJECT_ID $GCS_BUCKET
HP Ayarlama işleri için bir hizmet hesabı oluşturun
Bu adım, CloudTuner'ı kullanarak Google Cloud'da HP Tuning'i kullanmak için gereklidir. Bir hizmet hesabı oluşturmak ve ona proje düzenleyici erişimi vermek için aşağıdaki komutu çalıştırın ve hizmet hesabınızın adını not edin.
SERVICE_ACCOUNT_NAME ='YOUR_SERVICE_ACCOUNT_NAME'
SERVICE_ACCOUNT_EMAIL = f'{SERVICE_ACCOUNT_NAME}@{GCP_PROJECT_ID}.iam.gserviceaccount.com'
!gcloud iam --project $GCP_PROJECT_ID service-accounts create $SERVICE_ACCOUNT_NAME
!gcloud projects add-iam-policy-binding $GCP_PROJECT_ID \
--member serviceAccount:$SERVICE_ACCOUNT_EMAIL \
--role=roles/editor
default AI Platform service account service-PROJECT_NUMBER@cloud-ml.google.com.iam.gserviceaccount.com biçimindeki bir e-posta adresiyle tanımlanır. Birinci adımdaki Proje numaranızı kullanarak hizmet hesabı e-postasını oluştururuz ve yeni hizmet hesabınızda default AI Platform service account yöneticisi rolünü (roles/iam.serviceAccountAdmin) veririz.
DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT = f'service-{PROJECT_NUMBER}@cloud-ml.google.com.iam.gserviceaccount.com'
!gcloud iam --project $GCP_PROJECT_ID service-accounts add-iam-policy-binding \
--role=roles/iam.serviceAccountAdmin \
--member=serviceAccount:$DEFAULT_AI_PLATFORM_SERVICE_ACCOUNT \
$SERVICE_ACCOUNT_EMAIL
Tebrikler !
Artık tensorflow bulutunu çalıştırmaya hazırsınız. Bu adımların yalnızca bir kez çalıştırılması gerektiğini unutmayın. Proje kurulumunuzu yaptıktan sonra aynı projeyi ve paket yapılandırmasını gelecekteki çalıştırmalar için yeniden kullanabilirsiniz. Yeni not defterleri için Google Cloud kimlik doğrulama bilgilerinizi eklemek üzere ikinci adımı tekrarlamanız gerekecektir.
Tensorflow-cloud'u çalıştırmak için gerekli olan aşağıdaki değerleri not edin.
print(f"Your GCP_PROJECT_ID is: {GCP_PROJECT_ID}")
print(f"Your SERVICE_ACCOUNT_NAME is: {SERVICE_ACCOUNT_NAME}")
print(f"Your BUCKET_NAME is: {BUCKET_NAME}")
Your GCP_PROJECT_ID is: YOUR_PROJECT_ID Your SERVICE_ACCOUNT_NAME is: YOUR_SERVICE_ACCOUNT_NAME Your BUCKET_NAME is: YOUR_BUCKET_NAME