เทนเซอร์โฟลว์:: ปฏิบัติการ:: แก้ไข UnigramCandidateSampler:: คุณสมบัติ
#include <candidate_sampling_ops.h>
ตัวตั้งค่าแอ็ตทริบิวต์ทางเลือกสำหรับ FixUnigramCandidateSampler
สรุป
คุณลักษณะสาธารณะ | |
---|---|
distortion_ = 1.0f | float |
num_reserved_ids_ = 0 | int64 |
num_shards_ = 1 | int64 |
seed2_ = 0 | int64 |
seed_ = 0 | int64 |
shard_ = 0 | int64 |
unigrams_ = {} | gtl::ArraySlice< float > |
vocab_file_ = "" | StringPiece |
งานสาธารณะ | |
---|---|
Distortion (float x) | TF_MUST_USE_RESULT Attrs การบิดเบือนจะใช้เพื่อบิดเบือนการแจกแจงความน่าจะเป็นแบบยูนิแกรม |
NumReservedIds (int64 x) | TF_MUST_USE_RESULT Attrs นอกจากนี้ ผู้ใช้ยังสามารถเพิ่ม ID ที่สงวนไว้บางส่วนในช่วง [0, ..., num_reserved_ids) ได้ |
NumShards (int64 x) | TF_MUST_USE_RESULT Attrs เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วการคำนวณทั้งหมดผ่านการขนาน |
Seed (int64 x) | TF_MUST_USE_RESULT Attrs หากเมล็ดพืชหรือเมล็ดพืช2 ถูกตั้งค่าไม่เป็นศูนย์ เครื่องกำเนิดตัวเลขสุ่มจะถูกเพาะโดยเมล็ดที่ให้มา |
Seed2 (int64 x) | TF_MUST_USE_RESULT Attrs เมล็ดที่สองเพื่อหลีกเลี่ยงการชนกันของเมล็ด |
Shard (int64 x) | TF_MUST_USE_RESULT Attrs เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วการคำนวณทั้งหมดผ่านการขนาน |
Unigrams (const gtl::ArraySlice< float > & x) | TF_MUST_USE_RESULT Attrs รายการจำนวนยูนิแกรมหรือความน่าจะเป็น หนึ่งรายการต่อ ID ตามลำดับ |
VocabFile (StringPiece x) | TF_MUST_USE_RESULT Attrs แต่ละบรรทัดที่ถูกต้องในไฟล์นี้ (ซึ่งควรมีรูปแบบคล้าย CSV) สอดคล้องกับรหัสคำที่ถูกต้อง |
คุณลักษณะสาธารณะ
การบิดเบือน_
float tensorflow::ops::FixedUnigramCandidateSampler::Attrs::distortion_ = 1.0f
num_reserved_ids_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_reserved_ids_ = 0
num_shards_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::num_shards_ = 1
เมล็ดพันธุ์2_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed2_ = 0
เมล็ดพืช_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::seed_ = 0
เศษ_
int64 tensorflow::ops::FixedUnigramCandidateSampler::Attrs::shard_ = 0
ยูนิแกรม_
gtl::ArraySlice< float > tensorflow::ops::FixedUnigramCandidateSampler::Attrs::unigrams_ = {}
คำศัพท์_file_
StringPiece tensorflow::ops::FixedUnigramCandidateSampler::Attrs::vocab_file_ = ""
งานสาธารณะ
การบิดเบือน
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Distortion( float x )
การบิดเบือนจะใช้เพื่อบิดเบือนการแจกแจงความน่าจะเป็นแบบยูนิแกรม
แต่ละตุ้มน้ำหนักจะถูกยกขึ้นตามกำลังของการบิดเบือนก่อนจะบวกเข้ากับการแจกแจงแบบยูนิแกรมภายใน ผลก็คือ ความบิดเบี้ยว = 1.0 ให้การสุ่มตัวอย่างแบบยูนิแกรมปกติ (ตามที่กำหนดโดยไฟล์คำศัพท์) และการบิดเบือน = 0.0 ให้การแจกแจงแบบสม่ำเสมอ
ค่าเริ่มต้นเป็น 1
NumReservedIds
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumReservedIds( int64 x )
นอกจากนี้ ผู้ใช้ยังสามารถเพิ่ม ID ที่สงวนไว้บางส่วนในช่วง [0, ..., num_reserved_ids) ได้
กรณีการใช้งานประการหนึ่งคือมีการใช้โทเค็นคำพิเศษที่ไม่รู้จักเป็น ID 0 รหัสเหล่านี้จะมีความน่าจะเป็นในการสุ่มตัวอย่างเป็น 0
ค่าเริ่มต้นเป็น 0
NumShards
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::NumShards( int64 x )
เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วในการคำนวณทั้งหมดผ่านการขนาน
พารามิเตอร์นี้ (ร่วมกับ 'shard') ระบุจำนวนพาร์ติชันที่ใช้ในการคำนวณโดยรวม
ค่าเริ่มต้นเป็น 1
เมล็ดพันธุ์
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed( int64 x )
หากเมล็ดพืชหรือเมล็ดพืช2 ถูกตั้งค่าไม่เป็นศูนย์ เครื่องกำเนิดตัวเลขสุ่มจะถูกเพาะโดยเมล็ดที่ให้มา
มิฉะนั้นจะถูกเพาะโดยเมล็ดแบบสุ่ม
ค่าเริ่มต้นเป็น 0
เมล็ดพันธุ์2
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Seed2( int64 x )
เมล็ดที่สองเพื่อหลีกเลี่ยงการชนกันของเมล็ด
ค่าเริ่มต้นเป็น 0
เศษ
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Shard( int64 x )
เครื่องเก็บตัวอย่างสามารถใช้เพื่อสุ่มตัวอย่างจากชุดย่อยของช่วงดั้งเดิมเพื่อเร่งความเร็วในการคำนวณทั้งหมดผ่านการขนาน
พารามิเตอร์นี้ (ร่วมกับ 'num_shards') ระบุหมายเลขพาร์ติชันเฉพาะของแซมเพลอร์ op เมื่อใช้การแบ่งพาร์ติชัน
ค่าเริ่มต้นเป็น 0
ยูนิแกรม
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::Unigrams( const gtl::ArraySlice< float > & x )
รายการจำนวนยูนิแกรมหรือความน่าจะเป็น หนึ่งรายการต่อ ID ตามลำดับ
ควรส่ง vocab_file และ unigrams หนึ่งรายการไปยัง op นี้
ค่าเริ่มต้นเป็น []
VocabFile
TF_MUST_USE_RESULT Attrs tensorflow::ops::FixedUnigramCandidateSampler::Attrs::VocabFile( StringPiece x )
แต่ละบรรทัดที่ถูกต้องในไฟล์นี้ (ซึ่งควรมีรูปแบบคล้าย CSV) สอดคล้องกับรหัสคำที่ถูกต้อง
รหัสจะเรียงลำดับตามลำดับ โดยเริ่มจาก num_reserved_ids รายการสุดท้ายในแต่ละบรรทัดคาดว่าจะเป็นค่าที่สอดคล้องกับการนับหรือความน่าจะเป็นแบบสัมพันธ์ ต้องส่ง vocab_file และ unigrams หนึ่งรายการไปยัง op นี้
ค่าเริ่มต้นเป็น ""