AllToAll

aula final pública AllToAll

Uma operação para trocar dados entre réplicas de TPU.

Em cada réplica, a entrada é dividida em blocos `split_count` ao longo de `split_dimension` e enviada para as outras réplicas, dado group_assignment. Depois de receber blocos `split_count` - 1 de outras réplicas, concatenamos os blocos junto com `concat_dimension` como saída.

Por exemplo, suponha que haja 2 réplicas de TPU: a réplica 0 recebe a entrada: `[[A, B]]` a réplica 1 recebe a entrada: `[[C, D]]`

group_assignment=`[[0, 1]]` concat_dimension=0 split_dimension=1 split_count=2

saída da réplica 0: `[[A], [C]]` saída da réplica 1: `[[B], [D]]`

Constantes

Corda OP_NAME O nome desta operação, conforme conhecido pelo mecanismo principal do TensorFlow

Métodos Públicos

Saída <T>
asOutput ()
Retorna o identificador simbólico do tensor.
estático <T estende TType > AllToAll <T>
create ( escopo do escopo , entrada do operando <T>, operando < TInt32 > groupAssignment, concatDimension longo, splitDimension longo, splitCount longo)
Método de fábrica para criar uma classe que envolve uma nova operação AllToAll.
Saída <T>
saída ()
O resultado trocado.

Métodos herdados

Constantes

String final estática pública OP_NAME

O nome desta operação, conforme conhecido pelo mecanismo principal do TensorFlow

Valor constante: "AllToAll"

Métodos Públicos

Saída pública <T> asOutput ()

Retorna o identificador simbólico do tensor.

As entradas para operações do TensorFlow são saídas de outra operação do TensorFlow. Este método é usado para obter um identificador simbólico que representa o cálculo da entrada.

public static AllToAll <T> create (Escopo escopo , Operando <T> entrada, Operando <TInt32> groupAssignment, Long concatDimension, Long splitDimension, Long splitCount)

Método de fábrica para criar uma classe que envolve uma nova operação AllToAll.

Parâmetros
escopo escopo atual
entrada A entrada local para a soma.
atribuição de grupo Um tensor int32 com forma [num_groups, num_replicas_per_group]. `group_assignment[i]` representa os IDs de réplica no i-ésimo subgrupo.
concatDimension O número da dimensão a ser concatenado.
splitDimension O número da dimensão a ser dividida.
contagem dividida O número de divisões, este número deve ser igual ao tamanho do subgrupo (group_assignment.get_shape()[1])
Devoluções
  • uma nova instância de AllToAll

Saída pública <T> saída ()

O resultado trocado.