FixedUnigramCandidateSampler

lớp cuối cùng công khai FixUnigramCandidateSampler

Tạo nhãn để lấy mẫu ứng viên bằng cách phân phối unigram đã học.

Bộ lấy mẫu unigram có thể sử dụng phân phối unigram cố định được đọc từ một tệp hoặc được truyền vào dưới dạng mảng trong bộ nhớ thay vì xây dựng phân phối từ dữ liệu một cách nhanh chóng. Ngoài ra còn có một tùy chọn để làm lệch sự phân bố bằng cách áp dụng công suất biến dạng cho các trọng số.

Tệp từ vựng phải ở định dạng giống như CSV, với trường cuối cùng là trọng số liên quan đến từ.

Đối với mỗi lô, hoạt động này chọn một tập hợp các nhãn ứng cử viên được lấy mẫu.

Ưu điểm của việc lấy mẫu ứng viên theo từng đợt là tính đơn giản và khả năng nhân ma trận dày đặc hiệu quả. Điểm bất lợi là các ứng cử viên được lấy mẫu phải được chọn độc lập với bối cảnh và nhãn thực sự.

Các lớp lồng nhau

lớp học Đã sửa lỗiUnigramCandidateSampler.Options Thuộc tính tùy chọn cho FixedUnigramCandidateSampler

Hằng số

Sợi dây OP_NAME Tên của op này, được biết đến bởi công cụ lõi TensorFlow

Phương pháp công cộng

tĩnh cố địnhUnigramCandidateSampler
tạo ( Phạm vi phạm vi , Toán hạng < TInt64 > trueClasses, Long numTrue, Long numSampled, Boolean duy nhất, Long rangeMax, Tùy chọn... tùy chọn)
Phương thức xuất xưởng để tạo một lớp bao bọc một thao tác FixUnigramCandidateSampler mới.
cố định tĩnhUnigramCandidateSampler.Options
biến dạng (biến dạng nổi)
cố định tĩnhUnigramCandidateSampler.Options
numReservedIds (numReservedIds dài)
cố định tĩnhUnigramCandidateSampler.Options
numShards (numShards dài)
Đầu ra < TInt64 >
đã lấy mẫuỨng viên ()
Một vectơ có độ dài được lấy mẫu bằng số, trong đó mỗi phần tử là ID của một ứng cử viên được lấy mẫu.
Đầu ra < TFloat32 >
đã lấy mẫuExpectedCount ()
Một vectơ có độ dài bằng số_sampled, cho mỗi ứng viên được lấy mẫu biểu thị số lần ứng viên đó dự kiến ​​sẽ xuất hiện trong một loạt ứng viên được lấy mẫu.
cố định tĩnhUnigramCandidateSampler.Options
hạt giống (Hạt dài)
cố định tĩnhUnigramCandidateSampler.Options
hạt giống2 (Hạt dài2)
cố định tĩnhUnigramCandidateSampler.Options
mảnh vỡ (Mảnh dài)
Đầu ra < TFloat32 >
trueExpectedCount ()
Ma trận batch_size * num_true, biểu thị số lần mỗi ứng viên dự kiến ​​xuất hiện trong một loạt ứng viên được lấy mẫu.
cố định tĩnhUnigramCandidateSampler.Options
unigram (Danh sách<Float> unigram)
cố định tĩnhUnigramCandidateSampler.Options
vocabFile (Chuỗi vocabFile)

Phương pháp kế thừa

Hằng số

Chuỗi cuối cùng tĩnh công khai OP_NAME

Tên của op này, được biết đến bởi công cụ lõi TensorFlow

Giá trị không đổi: "FixedUnigramCandidateSampler"

Phương pháp công cộng

tĩnh công khai FixUnigramCandidateSampler tạo (Phạm vi phạm vi, Toán hạng < TInt64 > trueClasses, Long numTrue, Long numSampled, Boolean duy nhất, Long rangeMax, Tùy chọn... tùy chọn)

Phương thức xuất xưởng để tạo một lớp bao bọc một thao tác FixUnigramCandidateSampler mới.

Thông số
phạm vi phạm vi hiện tại
đúnglớp học Ma trận batch_size * num_true, trong đó mỗi hàng chứa ID của num_true target_classes trong nhãn gốc tương ứng.
số đúng Số lượng nhãn thực sự cho mỗi ngữ cảnh.
numĐã lấy mẫu Số lượng ứng viên lấy mẫu ngẫu nhiên.
độc nhất Nếu duy nhất là đúng, chúng tôi lấy mẫu với sự từ chối, sao cho tất cả các ứng cử viên được lấy mẫu trong một đợt là duy nhất. Điều này đòi hỏi một số phép tính gần đúng để ước tính xác suất lấy mẫu sau loại bỏ.
phạm viMax Bộ lấy mẫu sẽ lấy mẫu các số nguyên từ khoảng [0, range_max).
tùy chọn mang các giá trị thuộc tính tùy chọn
Trả lại
  • một phiên bản mới của FixUnigramCandidateSampler

biến dạng tĩnh công khai FixUnigramCandidateSampler.Options (Biến dạng nổi)

Thông số
méo mó Sự biến dạng được sử dụng để làm lệch phân bố xác suất unigram. Mỗi trọng số trước tiên được nâng lên tới mức độ biến dạng trước khi thêm vào phân phối unigram bên trong. Kết quả là, độ méo = 1,0 cho phép lấy mẫu unigram thông thường (như được xác định bởi tệp từ vựng) và độ méo = 0,0 mang lại sự phân bố đồng đều.

tĩnh công khai FixUnigramCandidateSampler.Options numReservedIds (numReservedIds dài)

Thông số
numReservedId Người dùng có thể tùy chọn thêm một số ID dành riêng trong phạm vi [0, ..., num_reserved_ids). Một trường hợp sử dụng là mã thông báo từ đặc biệt không xác định được sử dụng làm ID 0. Những ID này sẽ có xác suất lấy mẫu là 0.

tĩnh công khai FixUnigramCandidateSampler.Options numShards (numShards dài)

Thông số
số mảnh vỡ Một bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập hợp con của phạm vi ban đầu nhằm tăng tốc toàn bộ quá trình tính toán thông qua tính song song. Tham số này (cùng với 'phân đoạn') cho biết số lượng phân vùng đang được sử dụng trong quá trình tính toán tổng thể.

Đầu ra công khai < TInt64 > sampledCandidates ()

Một vectơ có độ dài được lấy mẫu bằng số, trong đó mỗi phần tử là ID của một ứng cử viên được lấy mẫu.

Đầu ra công khai < TFloat32 > sampledExpectedCount ()

Một vectơ có độ dài bằng số_sampled, cho mỗi ứng viên được lấy mẫu biểu thị số lần ứng viên đó dự kiến ​​sẽ xuất hiện trong một loạt ứng viên được lấy mẫu. Nếu duy nhất=true thì đây là một xác suất.

public static Cố địnhUnigramCandidateSampler.Options hạt giống (Hạt giống dài)

Thông số
hạt giống Nếu hạt giống hoặc hạt giống2 được đặt khác 0, thì bộ tạo số ngẫu nhiên sẽ được gieo hạt giống đã cho. Nếu không, nó sẽ được gieo bởi một hạt giống ngẫu nhiên.

tĩnh công khai FixUnigramCandidateSampler.Optionsseed2 ( Hạt giống dài2)

Thông số
hạt giống2 Hạt giống thứ hai để tránh va chạm hạt giống.

phân đoạn tĩnh công khai FixUnigramCandidateSampler.Options (Phân đoạn dài)

Thông số
mảnh vỡ Một bộ lấy mẫu có thể được sử dụng để lấy mẫu từ một tập hợp con của phạm vi ban đầu nhằm tăng tốc toàn bộ quá trình tính toán thông qua tính song song. Tham số này (cùng với 'num_shards') cho biết số phân vùng cụ thể của hoạt động lấy mẫu khi phân vùng đang được sử dụng.

Đầu ra công khai < TFloat32 > trueExpectedCount ()

Ma trận batch_size * num_true, biểu thị số lần mỗi ứng viên dự kiến ​​xuất hiện trong một loạt ứng viên được lấy mẫu. Nếu duy nhất=true thì đây là một xác suất.

unigram tĩnh công khai FixedUnigramCandidateSampler.Options (Danh sách<Float> unigram)

Thông số
unigram Danh sách số lượng hoặc xác suất unigram, mỗi số một ID theo thứ tự tuần tự. Chính xác một trong số vocab_file và unigram sẽ được chuyển cho op này.

tĩnh công khai FixUnigramCandidateSampler.Options vocabFile (Chuỗi vocabFile)

Thông số
tập tin từ vựng Mỗi dòng hợp lệ trong tệp này (phải có định dạng giống CSV) tương ứng với một ID từ hợp lệ. ID được sắp xếp theo thứ tự, bắt đầu từ num_reserved_ids. Mục cuối cùng trong mỗi dòng dự kiến ​​​​sẽ là một giá trị tương ứng với số lượng hoặc xác suất tương đối. Chính xác một trong số vocab_file và unigram cần được chuyển tới op này.