ความเป็นส่วนตัวในการเรียนรู้ของเครื่อง

ลักษณะสำคัญของการใช้ AI อย่างรับผิดชอบคือทำให้แน่ใจว่าโมเดล ML ถูกป้องกันไม่ให้เปิดเผยข้อมูลที่ละเอียดอ่อน เช่น ข้อมูลประชากรหรือคุณลักษณะอื่นๆ ในชุดข้อมูลการฝึกอบรมที่สามารถใช้ระบุตัวบุคคลได้ วิธีหนึ่งในการบรรลุเป้าหมายนี้คือการใช้ differentially private stochastic gradient descent (DP-SGD) ซึ่งเป็นการดัดแปลงอัลกอริธึม stochastic gradient descent (SGD) มาตรฐานในการเรียนรู้ของเครื่อง

โมเดลที่ฝึกด้วย DP-SGD มีการปรับปรุงด้านความเป็นส่วนตัว (DP) ที่วัดได้ ซึ่งช่วยลดความเสี่ยงในการเปิดเผยข้อมูลการฝึกที่ละเอียดอ่อน เนื่องจากวัตถุประสงค์ของ DP คือการช่วยป้องกันการระบุจุดข้อมูลแต่ละจุด โมเดลที่ฝึกกับ DP ไม่ควรได้รับผลกระทบจากตัวอย่างการฝึกอบรมชุดเดียวในชุดข้อมูลการฝึกอบรม เทคนิค DP-SGD สามารถใช้ในการเรียนรู้แบบสหพันธรัฐเพื่อให้ความเป็นส่วนตัวที่แตกต่างกันในระดับผู้ใช้ คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับการเรียนรู้เชิงลึกส่วนตัวที่แตกต่างกันได้ใน เอกสารต้นฉบับ

import tensorflow as tf
from tensorflow_privacy.privacy.optimizers import dp_optimizer_keras

# Select your differentially private optimizer
optimizer = tensorflow_privacy.DPKerasSGDOptimizer(
    l2_norm_clip=l2_norm_clip,
    noise_multiplier=noise_multiplier,
    num_microbatches=num_microbatches,
    learning_rate=learning_rate)

# Select your loss function
loss = tf.keras.losses.CategoricalCrossentropy(
    from_logits=True, reduction=tf.losses.Reduction.NONE)

# Compile your model
model.compile(optimizer=optimizer, loss=loss, metrics=['accuracy'])

# Fit your model
model.fit(train_data, train_labels,
  epochs=epochs,
  validation_data=(test_data, test_labels),
  batch_size=batch_size)
  

ความเป็นส่วนตัวของ TensorFlow

Tensorflow Privacy (TF Privacy) เป็นไลบรารีโอเพ่นซอร์สที่พัฒนาโดยทีมใน Google Research ไลบรารีนี้รวมการใช้งาน TensorFlow Optimizers ที่ใช้กันทั่วไปสำหรับการฝึกโมเดล ML ด้วย DP เป้าหมายคือเพื่อให้ผู้ปฏิบัติงาน ML ใช้ Tensorflow API มาตรฐานเพื่อฝึกโมเดลการรักษาความเป็นส่วนตัวโดยเปลี่ยนโค้ดเพียงไม่กี่บรรทัด

เครื่องมือเพิ่มประสิทธิภาพส่วนตัวที่ต่างกันสามารถใช้ร่วมกับ API ระดับสูงที่ใช้คลาส Optimizer โดยเฉพาะ Keras นอกจากนี้ คุณสามารถค้นหาการใช้งานส่วนตัวที่แตกต่างกันของโมเดล Keras บางรุ่น คุณจะพบเครื่องมือเพิ่มประสิทธิภาพและรุ่นทั้งหมดได้ใน เอกสารประกอบ API