tensorflow :: ops :: FixedUnigramCandidateSampler :: Attrs
#include <candidate_sampling_ops.h>Configuradores de atributos opcionais para FixedUnigramCandidateSampler .
Resumo
Atributos públicos | |
|---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
Funções públicas | |
|---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs A distorção é usada para distorcer a distribuição de probabilidade unigrama. |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs Opcionalmente, alguns IDs reservados podem ser adicionados no intervalo [0, ..., num_reserved_ids) pelos usuários. |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo. |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs Se seed ou seed2 forem definidos como diferentes de zero, o gerador de número aleatório é propagado por um determinado seed. |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs Uma segunda semente para evitar a colisão de sementes. |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo. |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs Uma lista de contagens de unigrama ou probabilidades, uma por ID em ordem sequencial. |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs Cada linha válida neste arquivo (que deve ter um formato semelhante a CSV) corresponde a um ID de palavra válido. |
Atributos públicos
distorção_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_reserved_ids_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
num_shards_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
seed2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
semente_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
shard_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
unigramas_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {} vocab_file_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
Funções públicas
Distorção
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
A distorção é usada para distorcer a distribuição de probabilidade unigrama.
Cada peso é primeiro elevado à potência da distorção antes de ser adicionado à distribuição unigrama interna. Como resultado, distorção = 1,0 fornece amostragem unigrama regular (conforme definido pelo arquivo de vocabulário) e distorção = 0,0 fornece uma distribuição uniforme.
Padrões para 1
NumReservedIds
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
Opcionalmente, alguns IDs reservados podem ser adicionados no intervalo [0, ..., num_reserved_ids) pelos usuários.
Um caso de uso é que um token de palavra desconhecida especial é usado como ID 0. Esses IDs terão uma probabilidade de amostragem de 0.
Padrões para 0
NumShards
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo.
Este parâmetro (junto com 'shard') indica o número de partições que estão sendo usadas na computação geral.
Padrões para 1
Semente
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
Se seed ou seed2 forem definidos como diferentes de zero, o gerador de número aleatório é propagado por um determinado seed.
Caso contrário, é semeado por uma semente aleatória.
Padrões para 0
Seed2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
Uma segunda semente para evitar a colisão de sementes.
Padrões para 0
Fragmento
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
Um amostrador pode ser usado para amostrar de um subconjunto do intervalo original para acelerar todo o cálculo por meio do paralelismo.
Este parâmetro (junto com 'num_shards') indica o número de partição particular de uma operação de amostrador, quando o particionamento está sendo usado.
Padrões para 0
Unigramas
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
Uma lista de contagens de unigrama ou probabilidades, uma por ID em ordem sequencial.
Exatamente um de vocab_file e unigramas deve ser passado para este op.
O padrão é []
VocabFile
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
Cada linha válida neste arquivo (que deve ter um formato semelhante a CSV) corresponde a um ID de palavra válido.
Os IDs estão em ordem sequencial, começando em num_reserved_ids. Espera-se que a última entrada em cada linha seja um valor correspondente à contagem ou probabilidade relativa. Exatamente um de vocab_file e unigramas precisa ser passado para este op.
O padrão é ""