Iniciar

Este documento pressupõe que você já esteja familiarizado com a privacidade diferencial e determinou que gostaria de usar o TF Privacy para implementar garantias de privacidade diferenciadas em seu(s) modelo(s). Se você não estiver familiarizado com a privacidade diferencial, consulte a página de visão geral . Depois de instalar o TF Privacy, comece seguindo estas etapas:

1. Escolha uma versão diferentemente privada de um otimizador existente

Se você estiver usando um otimizador do TensorFlow, provavelmente desejará selecionar um otimizador com o nome DPKeras*Optimizer , como [ DPKerasAdamOptimizer ] em [ TF Privacy ].

Opcionalmente, você pode tentar otimizadores vetorizados como [ tf_privacy.VectorizedDPKerasAdamOptimizer ]. para uma possível melhoria de velocidade (em termos de passos globais por segundo). Descobriu-se que o uso de otimizadores vetorizados fornece acelerações inconsistentes em experimentos, mas ainda não é bem compreendido. Como antes, você provavelmente desejará usar um otimizador análogo ao que está usando agora. Esses otimizadores vetorizados usam o operador vectorized_map do Tensorflow, que pode não funcionar com alguns outros operadores do Tensorflow. Se este for o seu caso, abra um problema no repositório GitHub do TF Privacy .

2. Perda de cálculo para seu minilote de entrada

Ao calcular a perda para seu minilote de entrada, certifique-se de que seja um vetor com uma entrada por exemplo, em vez de agregá-lo em um escalar. Isso é necessário, pois o DP-SGD deve ser capaz de calcular a perda para microlotes individuais.

3. Treine seu modelo

Treine seu modelo usando o DP Optimizer (etapa 1) e perda vetorizada (etapa 2). Existem duas opções para fazer isso:

• Passe o otimizador e a perda como argumentos para Model.compile antes de chamar Model.fit .
• Ao escrever um loop de treinamento personalizado, use Optimizer.minimize() na perda vetorizada.

Feito isso, é recomendável ajustar seus hiperparâmetros. Para obter um passo a passo completo, consulte o tutorial de privacidade de classificação

4. Ajuste os hiperparâmetros DP-SGD

Todos os otimizadores tf_privacy usam três hiperparâmetros adicionais:

• l2_norm_clip ou \(C\) - Norma de recorte (a norma euclidiana máxima (L2) de cada gradiente individual calculado por minilote).
• noise_multiplier ou \(σ\) - Relação do desvio padrão para a norma de recorte.
• num_microbatches ou \(B\) - Número de microlotes em que cada minilote é dividido.

Geralmente, quanto menor o desvio padrão efetivo \(σC / B\), melhor o desempenho do modelo treinado em suas métricas de avaliação.

Os três novos hiperparâmetros DP-SGD têm os seguintes efeitos e compensações:

1. O número de \(B\): Geralmente, aumentar isso melhorará a utilidade porque reduz o desvio padrão do ruído. No entanto, ele irá desacelerar o treinamento em termos de tempo.
2. A norma de recorte \(C\): Como o desvio padrão das escalas de ruído com\(C\), provavelmente é melhor definir \(C\) como algum quantil (por exemplo, mediana, 75º percentil, 90º percentil) das normas de gradiente. Ter um valor muito grande de \(C\) adiciona quantidades desnecessariamente grandes de ruído.
3. O multiplicador de ruído \(σ\): Dos três hiperparâmetros, a quantidade de privacidade depende apenas do multiplicador de ruído. Quanto maior o multiplicador de ruído, mais privacidade é obtida; no entanto, isso também vem com uma perda de utilidade.

Essas compensações entre utilidade, privacidade e velocidade em termos de etapas/segundo estão resumidas aqui:

Siga estas sugestões para encontrar os hiperparâmetros ideais:

• Defina \(C\) como um quantil conforme recomendado acima. Um valor de 1,00 geralmente funciona bem.
• Defina \(B\) = 1, para velocidade máxima de treinamento.
• Experimente encontrar o maior valor de σ que ainda dê utilidade aceitável. Geralmente, os valores de 0,01 ou inferiores foram observados para funcionar bem.
• Assim que um valor adequado de \(σ\) for encontrado, dimensione \(B\) e \(σ\) por uma constante para alcançar um nível razoável de privacidade.