Apprendimento strutturato neurale: allenamento con segnali strutturati
Neural Structured Learning (NSL) è un nuovo paradigma di apprendimento per addestrare le reti neurali sfruttando segnali strutturati oltre agli input delle funzionalità. La struttura può essere esplicita come rappresentata da un grafo o implicita come indotta da perturbazione contraddittoria.
I segnali strutturati sono comunemente usati per rappresentare relazioni o somiglianze tra campioni che possono essere etichettati o non etichettati. Pertanto, l'utilizzo di questi segnali durante l'addestramento della rete neurale sfrutta i dati sia etichettati che non etichettati, il che può migliorare l'accuratezza del modello, in particolare quando la quantità di dati etichettati è relativamente piccola . Inoltre, i modelli addestrati con campioni generati aggiungendo perturbazione del contraddittorio si sono dimostrati robusti contro gli attacchi dannosi , progettati per fuorviare la previsione o la classificazione di un modello.
NSL generalizza all'apprendimento con grafi neurali e all'apprendimento contraddittorio . Il framework NSL in TensorFlow fornisce le seguenti API e strumenti facili da usare per consentire agli sviluppatori di addestrare modelli con segnali strutturati:
- API Keras per abilitare la formazione con grafici (struttura esplicita) e perturbazioni contraddittorie (struttura implicita).
- Operazioni e funzioni TF per abilitare l'addestramento con struttura quando si utilizzano API TensorFlow di livello inferiore
- Strumenti per costruire grafici e costruire input grafici per la formazione
L'incorporazione di segnali strutturati viene eseguita solo durante l'allenamento. Pertanto, le prestazioni del flusso di lavoro di pubblicazione/inferenza rimangono invariate. Maggiori informazioni sull'apprendimento strutturato neurale possono essere trovate nella nostra descrizione del framework . Per iniziare, consulta la nostra guida all'installazione e, per un'introduzione pratica a NSL, dai un'occhiata ai nostri tutorial.
import tensorflow as tf
import neural_structured_learning as nsl
# Prepare data.
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
# Create a base model -- sequential, functional, or subclass.
model = tf.keras.Sequential([
tf.keras.Input((28, 28), name='feature'),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(128, activation=tf.nn.relu),
tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])
# Wrap the model with adversarial regularization.
adv_config = nsl.configs.make_adv_reg_config(multiplier=0.2, adv_step_size=0.05)
adv_model = nsl.keras.AdversarialRegularization(model, adv_config=adv_config)
# Compile, train, and evaluate.
adv_model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
adv_model.fit({'feature': x_train, 'label': y_train}, batch_size=32, epochs=5)
adv_model.evaluate({'feature': x_test, 'label': y_test})
