flujo tensor:: operaciones:: FijoUnigramCandidateSampler:: atributos

#include <candidate_sampling_ops.h>

Configuradores de atributos opcionales para FixedUnigramCandidateSampler .

Resumen

Atributos públicos

distortion_ = 1.0f
float
num_reserved_ids_ = 0
int64
num_shards_ = 1
int64
seed2_ = 0
int64
seed_ = 0
int64
shard_ = 0
int64
unigrams_ = {}
gtl::ArraySlice< float >
vocab_file_ = ""
StringPiece

Funciones públicas

Distortion (float x)
TF_MUST_USE_RESULT Attrs
La distorsión se utiliza para sesgar la distribución de probabilidad unigramo.
NumReservedIds (int64 x)
TF_MUST_USE_RESULT Attrs
Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids).
NumShards (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Seed (int64 x)
TF_MUST_USE_RESULT Attrs
Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada.
Seed2 (int64 x)
TF_MUST_USE_RESULT Attrs
Una segunda semilla para evitar la colisión de semillas.
Shard (int64 x)
TF_MUST_USE_RESULT Attrs
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Unigrams (const gtl::ArraySlice< float > & x)
TF_MUST_USE_RESULT Attrs
Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.
VocabFile (StringPiece x)
TF_MUST_USE_RESULT Attrs
Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida.

Atributos públicos

distorsión_ 

float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f

num_id_reservados_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0

num_fragmentos_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1

semilla2_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0

semilla_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0

casco_ 

int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0

unigramas_ 

gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}

archivo_vocab_ 

StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""

Funciones públicas

Distorsión

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion(
  float x
)

La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.

Cada peso se eleva primero a la potencia de distorsión antes de agregarlo a la distribución interna de unigramos. Como resultado, la distorsión = 1,0 proporciona un muestreo de unigrama regular (como se define en el archivo de vocabulario) y la distorsión = 0,0 proporciona una distribución uniforme.

Por defecto es 1

NúmReservedIds

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds(
  int64 x
)

Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids).

Un caso de uso es que se utiliza un token especial de palabra desconocida como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.

Por defecto es 0

NumFragmentos

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards(
  int64 x
)

Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'shard') indica el número de particiones que se utilizan en el cálculo general.

Por defecto es 1

Semilla

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed(
  int64 x
)

Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada.

De lo contrario, se siembra con una semilla aleatoria.

Por defecto es 0

Semilla2

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2(
  int64 x
)

Una segunda semilla para evitar la colisión de semillas.

Por defecto es 0

Casco

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard(
  int64 x
)

Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.

Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestra, cuando se utiliza la partición.

Por defecto es 0

Unigramas

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams(
  const gtl::ArraySlice< float > & x
)

Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.

Se debe pasar exactamente uno de vocab_file y unigramas a esta operación.

El valor predeterminado es []

Archivo de vocabulario

TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile(
  StringPiece x
)

Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida.

Los ID están en orden secuencial, comenzando desde num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Se debe pasar exactamente uno de vocab_file y unigramas a esta operación.

El valor predeterminado es ""