tensorflow :: operaciones :: FixedUnigramCandidateSampler :: Atributos

#include <candidate_sampling_ops.h>

Establecedores de atributos opcionales para FixedUnigramCandidateSampler .

Resumen

Atributos públicos

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Funciones publicas

Distortion (float x)
TF_MUST_USE_RESULT Attrs
La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Si la semilla o semilla2 se establecen en un valor distinto de cero, el generador de números aleatorios es sembrado por la semilla dada.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Una segunda semilla para evitar la colisión de semillas.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Una lista de recuentos o probabilidades de unigramo, uno por ID en orden secuencial.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una ID de palabra válida.

Atributos públicos

distorsión_

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_reserved_ids_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_shards_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

seed2_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

semilla_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

casco_

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigrams_

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

vocab_file_

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funciones publicas

Distorsión

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.

Cada peso se eleva primero a la potencia de la distorsión antes de agregarlo a la distribución interna de un gramo. Como resultado, la distorsión = 1.0 proporciona un muestreo de unigramo regular (según lo definido por el archivo de vocabulario) y la distorsión = 0.0 proporciona una distribución uniforme.

Predeterminado a 1

NumReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcionalmente, los usuarios pueden agregar algunos ID reservados en el rango [0, ..., num_reserved_ids).

Un caso de uso es que se utiliza un token de palabra desconocida especial como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.

Predeterminado a 0

NumShards

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Se puede usar un muestreador para muestrear de un subconjunto del rango original con el fin de acelerar todo el cálculo a través del paralelismo.

Este parámetro (junto con 'fragmento') indica el número de particiones que se están utilizando en el cálculo general.

Predeterminado a 1

Semilla

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si la semilla o semilla2 se establecen en un valor distinto de cero, el generador de números aleatorios es sembrado por la semilla dada.

De lo contrario, es sembrado por una semilla aleatoria.

Predeterminado a 0

Semilla2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Una segunda semilla para evitar la colisión de semillas.

Predeterminado a 0

Casco

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Se puede utilizar un muestreador para muestrear un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestreador, cuando se utiliza la partición.

Predeterminado a 0

Unigramos

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Una lista de recuentos o probabilidades de unigramo, uno por ID en orden secuencial.

Se debe pasar exactamente uno de vocab_file y unigrams a esta operación.

El valor predeterminado es []

VocabFile

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una ID de palabra válida.

Los ID están en orden secuencial, comenzando por num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Exactamente uno de vocab_file y unigrams debe pasarse a esta operación.

El valor predeterminado es ""