Dataset

conjunto de dados de classe abstrata pública
Subclasses diretas conhecidas

Representa uma lista potencialmente grande de elementos independentes (amostras) e permite que iterações e transformações sejam realizadas nesses elementos.

Construtores Públicos

Conjunto de dados (Ops tf, operando <?> variante, List<Class<? estende TType >> outputTypes, List< Shape > outputShapes)

Métodos Públicos

conjunto de dados final
lote (batchSize longo, booleano dropLastBatch)
Agrupa elementos deste conjunto de dados em lotes.
conjunto de dados final
lote (batchSize longo)
Agrupa elementos deste conjunto de dados em lotes.
conjunto de dados estático
fromTensorSlices (Ops tf, List< Operand <?>> tensores, List<Class<? estende TType >> outputTypes)
Cria um `Dataset` na memória cujos elementos são fatias dos tensores fornecidos.
Operações
Lista <Forma>
getOutputShapes ()
Obtenha uma lista de formas para cada componente deste conjunto de dados.
Lista<Classe<? estende TType >>
getOutputTypes ()
Obtenha uma lista de tipos de saída para cada componente deste conjunto de dados.
Operando <?>
obterVariante ()
Obtenha o tensor variante que representa este conjunto de dados.
Iterador<Lista< Operando <?>>>
iterador ()
Cria um iterador que itera por todos os lotes deste conjunto de dados de maneira rápida.
DatasetIterator
makeInitializeableIterator ()
Cria um `DatasetIterator` que pode ser usado para iterar elementos deste conjunto de dados.
DatasetIterator
makeOneShotIterator ()
Cria um `DatasetIterator` que pode ser usado para iterar elementos deste conjunto de dados.
Conjunto de dados
mapa (Função<Lista< Operando <?>>, Lista< Operando <?>>> mapeador)
Retorna um novo conjunto de dados que mapeia uma função sobre todos os elementos retornados por este conjunto de dados.
Conjunto de dados
mapAllComponents (Função< Operando <?>, Operando <?>> mapeador)
Retorna um novo conjunto de dados que mapeia uma função em todos os elementos deste conjunto de dados, em todos os componentes de cada elemento.
Conjunto de dados
mapOneComponent (índice int, função < operando <?>, operando <?>> mapeador)
Retorna um novo conjunto de dados que mapeia uma função em todos os elementos deste conjunto de dados, em um único componente de cada elemento.
conjunto de dados final
pular (contagem longa)
Retorna um novo `Dataset` que ignora `count` os elementos iniciais deste conjunto de dados
conjunto de dados final
pegar (contagem longa)
Retorna um novo `Dataset` com apenas os primeiros elementos `count` deste conjunto de dados.
conjunto de dados estático
textLineDataset (Ops tf, String nome do arquivo, String compressionType, bufferSize longo)
conjunto de dados estático
tfRecordDataset (Ops tf, String filename, String compressionType, bufferSize longo)
Corda

Métodos herdados

Construtores Públicos

conjunto de dados público (Ops tf, variante Operando <?>, List<Class<? estende TType >> outputTypes, List< Shape > outputShapes)

Métodos Públicos

Lote de conjunto de dados final público (batchSize longo, dropLastBatch booleano)

Agrupa elementos deste conjunto de dados em lotes.

Parâmetros
tamanho do lote O número de elementos desejados por lote
dropLastBatch Se deve ser omitido o lote final se ele tiver menos de elementos `batchSize`.
Devoluções
  • Um conjunto de dados em lote

lote de conjunto de dados final público (batchSize longo)

Agrupa elementos deste conjunto de dados em lotes. Inclui o último lote, mesmo que tenha menos de elementos `batchSize`.

Parâmetros
tamanho do lote O número de elementos desejados por lote
Devoluções
  • Um conjunto de dados em lote

conjunto de dados estático público fromTensorSlices (Ops tf, List< Operand <?>> tensores, List<Class<? estende TType >> outputTypes)

Cria um `Dataset` na memória cujos elementos são fatias dos tensores fornecidos. Cada elemento deste conjunto de dados será um List<Operand<?>> , representando fatias (por exemplo, lotes) dos tensores fornecidos.

Parâmetros
TF Acessador de operações
tensores Uma lista de Operand<?> representando componentes deste conjunto de dados (por exemplo, recursos, rótulos)
tipos de saída Uma lista de classes de tipo tensor que representam o tipo de dados de cada componente deste conjunto de dados.
Devoluções
  • Um novo `conjunto de dados`

operações públicas getOpsInstance ()

Lista pública <Forma> getOutputShapes ()

Obtenha uma lista de formas para cada componente deste conjunto de dados.

Lista pública<Classe<? estende TType >> getOutputTypes ()

Obtenha uma lista de tipos de saída para cada componente deste conjunto de dados.

Operando público <?> getVariant ()

Obtenha o tensor variante que representa este conjunto de dados.

iterador público<Lista< Operando <?>>> iterador ()

Cria um iterador que itera por todos os lotes deste conjunto de dados de maneira rápida. Cada lote é uma lista de componentes, retornados como objetos `Output`.

Este método permite a iteração for-each por meio de lotes ao executar no modo ansioso. Para iteração em lote no modo Graph, consulte `makeOneShotIterator`.

Devoluções
  • um Iterador por meio de lotes deste conjunto de dados.

DatasetIterator público makeInitializeableIterator ()

Cria um `DatasetIterator` que pode ser usado para iterar elementos deste conjunto de dados.

Este iterador terá que ser inicializado com uma chamada para `iterator.makeInitializer(Dataset)` antes que os elementos possam ser recuperados em um loop.

Devoluções
  • Um novo `DatasetIterator` baseado na estrutura deste conjunto de dados.

DatasetIterator público makeOneShotIterator ()

Cria um `DatasetIterator` que pode ser usado para iterar elementos deste conjunto de dados. Usar `makeOneShotIterator` garante que o iterador seja inicializado automaticamente neste conjunto de dados. skips No modo gráfico, a operação do inicializador será adicionada à lista de inicializadores do gráfico, que deve ser executada via `tf.init()`:

Ex:

     try (Session session = new Session(graph) {
         // Immediately run initializers
         session.run(tf.init());
     }
 

No modo ansioso, o inicializador será executado automaticamente como resultado desta chamada.

Devoluções
  • Um novo `DatasetIterator` baseado na estrutura deste conjunto de dados.

mapa de conjunto de dados público (Função<Lista< Operando <?>>, Lista< Operando <?>>> mapeador)

Retorna um novo conjunto de dados que mapeia uma função sobre todos os elementos retornados por este conjunto de dados.

Por exemplo, suponha que cada elemento seja um List<Operand<?>> com 2 componentes: (recursos, rótulos).

Chamando

dataset.map(components -> {
      Operand<?> features = components.get(0);
      Operand<?> labels   = components.get(1);

      return Arrays.asList(
        tf.math.mul(features, tf.constant(2)),
        tf.math.mul(labels, tf.constant(5))
      );
 );
 }
mapeará a função sobre os componentes `features` e `labels`, multiplicando os recursos por 2 e multiplicando os rótulos por 5.

Parâmetros
mapeador A função a ser aplicada a cada elemento deste iterador.
Devoluções
  • Um novo conjunto de dados aplicando `mapper` a cada elemento deste iterador.

conjunto de dados público mapAllComponents (função < operando <?>, operando <?>> mapeador)

Retorna um novo conjunto de dados que mapeia uma função em todos os elementos deste conjunto de dados, em todos os componentes de cada elemento.

Por exemplo, suponha que cada elemento seja um List<Operand<?>> com 2 componentes: (recursos, rótulos).

Chamar dataset.mapAllComponents(component -> tf.math.mul(component, tf.constant(2))) mapeará a função sobre os componentes `features` e `labels` de cada elemento, multiplicando-os todos por 2

Parâmetros
mapeador A função a ser aplicada a cada componente
Devoluções
  • Um novo conjunto de dados aplicando `mapper` a todos os componentes de cada elemento.

conjunto de dados público mapOneComponent (índice int, função < operando <?>, mapeador de operando <?>>)

Retorna um novo conjunto de dados que mapeia uma função em todos os elementos deste conjunto de dados, em um único componente de cada elemento.

Por exemplo, suponha que cada elemento seja um List<Operand<?>> com 2 componentes: (recursos, rótulos).

Chamar dataset.mapOneComponent(0, features -> tf.math.mul(features, tf.constant(2))) mapeará a função sobre o componente `features` de cada elemento, multiplicando cada um por 2.

Parâmetros
índice O índice do componente a ser transformado.
mapeador A função a ser aplicada ao componente de destino.
Devoluções
  • Um novo conjunto de dados aplicando `mapper` ao componente no índice escolhido.

pulo do conjunto de dados final público (contagem longa)

Retorna um novo `Dataset` que ignora `count` os elementos iniciais deste conjunto de dados

Parâmetros
contar O número de elementos a serem ignorados para formar o novo conjunto de dados.
Devoluções
  • Um novo conjunto de dados com elementos `count` removidos.

Tomada final pública do conjunto de dados (contagem longa)

Retorna um novo `Dataset` com apenas os primeiros elementos `count` deste conjunto de dados.

Parâmetros
contar O número de elementos a serem "retirados" deste conjunto de dados.
Devoluções
  • Um novo conjunto de dados contendo os primeiros elementos `count` deste conjunto de dados.

Conjunto de dados estático público textLineDataset (Ops tf, String filename, String compressionType, bufferSize longo)

Conjunto de dados estático público tfRecordDataset (Ops tf, String filename, String compressionType, bufferSize longo)

String pública paraString ()