flujo tensor:: operaciones:: FijoUnigramCandidateSampler:: atributos
#include <candidate_sampling_ops.h>
Configuradores de atributos opcionales para FixedUnigramCandidateSampler .
Resumen
Atributos públicos | |
---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
Funciones públicas | |
---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs La distorsión se utiliza para sesgar la distribución de probabilidad unigrama. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids). |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original para acelerar todo el cálculo mediante el paralelismo. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Una segunda semilla para evitar la colisión de semillas. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida. |
Atributos públicos
distorsión_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_id_reservados_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
num_fragmentos_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
semilla2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
semilla_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
casco_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigramas_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}
archivo_vocab_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
Funciones públicas
Distorsión
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
La distorsión se utiliza para sesgar la distribución de probabilidad unigrama.
Cada peso se eleva primero a la potencia de distorsión antes de agregarlo a la distribución interna de unigramas. Como resultado, la distorsión = 1,0 proporciona un muestreo regular de unigramas (como se define en el archivo de vocabulario) y la distorsión = 0,0 proporciona una distribución uniforme.
Por defecto es 1
NúmReservedIds
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Opcionalmente, los usuarios pueden agregar algunas ID reservadas en el rango [0, ..., num_reserved_ids).
Un caso de uso es que se utiliza un token especial de palabra desconocida como ID 0. Estos ID tendrán una probabilidad de muestreo de 0.
Por defecto es 0
NumFragmentos
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original con el fin de acelerar todo el cálculo mediante el paralelismo.
Este parámetro (junto con 'shard') indica el número de particiones que se utilizan en el cálculo general.
Por defecto es 1
Semilla
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Si seed o seed2 se configuran como distintos de cero, el generador de números aleatorios se siembra con la semilla dada.
De lo contrario, se siembra con una semilla aleatoria.
Por defecto es 0
Semilla2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Una segunda semilla para evitar la colisión de semillas.
Por defecto es 0
Casco
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Se puede utilizar un muestreador para tomar muestras de un subconjunto del rango original para acelerar todo el cálculo mediante el paralelismo.
Este parámetro (junto con 'num_shards') indica el número de partición particular de una operación de muestra, cuando se utiliza la partición.
Por defecto es 0
Unigramas
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Una lista de recuentos o probabilidades de unigramas, uno por ID en orden secuencial.
Se debe pasar exactamente uno de vocab_file y unigrams a esta operación.
El valor predeterminado es []
Archivo de vocabulario
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Cada línea válida en este archivo (que debe tener un formato similar a CSV) corresponde a una identificación de palabra válida.
Los ID están en orden secuencial, comenzando desde num_reserved_ids. Se espera que la última entrada en cada línea sea un valor correspondiente al recuento o probabilidad relativa. Se debe pasar exactamente uno de vocab_file y unigrams a esta operación.
El valor predeterminado es ""