Dataset

lớp trừu tượng công khai
Các lớp con trực tiếp đã biết

Đại diện cho một danh sách lớn các phần tử độc lập (mẫu) và cho phép thực hiện phép lặp và chuyển đổi trên các phần tử này.

Nhà xây dựng công cộng

Bộ dữ liệu (biến thể Ops tf, Toán hạng <?>, Danh sách<Class<? mở rộng TType >> loại đầu ra, Danh sách< Hình dạng > hình dạng đầu ra)

Phương pháp công khai

Bộ dữ liệu cuối cùng
(kích thước lô dài, boolean dropLastBatch)
Nhóm các phần tử của tập dữ liệu này thành các nhóm.
Bộ dữ liệu cuối cùng
(kích thước lô dài)
Nhóm các phần tử của tập dữ liệu này thành các nhóm.
Bộ dữ liệu tĩnh
fromTensorSlices (Ops tf, Danh sách< Toán hạng <?>> tensor, Danh sách<Class<? mở rộng TType >> loại đầu ra)
Tạo một `Bộ dữ liệu` trong bộ nhớ có các phần tử là các lát cắt của các tensor đã cho.
Rất tiếc
Danh sách< Hình dạng >
getOutputShapes ()
Nhận danh sách các hình dạng cho từng thành phần của tập dữ liệu này.
Danh sách<Lớp<? mở rộng TType >>
getOutputTypes ()
Nhận danh sách các loại đầu ra cho từng thành phần của tập dữ liệu này.
Toán hạng <?>
getVariant ()
Lấy tensor biến thể đại diện cho tập dữ liệu này.
Trình vòng lặp<Danh sách< Toán hạng <?>>>
trình lặp ()
Tạo một trình vòng lặp lặp qua tất cả các lô của Bộ dữ liệu này một cách háo hức.
Bộ dữ liệuIterator
makeInitializeableIterator ()
Tạo một `DatasetIterator` có thể được sử dụng để lặp lại các phần tử của tập dữ liệu này.
Bộ dữ liệuIterator
makeOneShotIterator ()
Tạo một `DatasetIterator` có thể được sử dụng để lặp lại các phần tử của tập dữ liệu này.
Tập dữ liệu
bản đồ (Hàm<Danh sách< Toán hạng <?>>, Danh sách< Toán hạng <?>>> trình ánh xạ)
Trả về một Tập dữ liệu mới ánh xạ hàm trên tất cả các phần tử được tập dữ liệu này trả về.
Tập dữ liệu
mapAllComponents (Hàm< Toán hạng <?>, Toán hạng <?>> trình ánh xạ)
Trả về một Tập dữ liệu mới ánh xạ một hàm trên tất cả các phần tử từ tập dữ liệu này, trên tất cả các thành phần của từng phần tử.
Tập dữ liệu
mapOneComponent (chỉ mục int, Hàm< Toán hạng <?>, Toán hạng <?>> trình ánh xạ)
Trả về một Tập dữ liệu mới ánh xạ một hàm trên tất cả các phần tử từ tập dữ liệu này, trên một thành phần duy nhất của mỗi phần tử.
Bộ dữ liệu cuối cùng
bỏ qua (đếm dài)
Trả về một `Bộ dữ liệu` mới bỏ qua `đếm` các phần tử ban đầu từ tập dữ liệu này
Bộ dữ liệu cuối cùng
mất (đếm dài)
Trả về một `Bộ dữ liệu` mới chỉ có các phần tử `đếm` đầu tiên từ tập dữ liệu này.
Bộ dữ liệu tĩnh
textLineDataset (Ops tf, Tên tệp chuỗi, Loại nén chuỗi, Kích thước bộ đệm dài)
Bộ dữ liệu tĩnh
tfRecordDataset (Ops tf, tên tệp chuỗi, loại nén chuỗi, kích thước bộ đệm dài)
Sợi dây

Phương pháp kế thừa

Nhà xây dựng công cộng

Bộ dữ liệu công khai (biến thể Ops tf, Toán hạng <?>, Danh sách<Class<? mở rộng TType >> loại đầu ra, Danh sách< Hình dạng > hình dạng đầu ra)

Phương pháp công khai

Lô tập dữ liệu cuối cùng công khai (lô dàiSize, boolean dropLastBatch)

Nhóm các phần tử của tập dữ liệu này thành các nhóm.

Thông số
kích thước lô Số lượng phần tử mong muốn trên mỗi lô
thảLastBatch Có nên loại bỏ lô cuối cùng nếu nó có ít hơn phần tử `batchSize` hay không.
Trả lại
  • Bộ dữ liệu theo đợt

Lô tập dữ liệu cuối cùng công khai (kích thước lô dài)

Nhóm các phần tử của tập dữ liệu này thành các nhóm. Bao gồm lô cuối cùng, ngay cả khi nó có ít hơn phần tử `batchSize`.

Thông số
kích thước lô Số lượng phần tử mong muốn trên mỗi lô
Trả lại
  • Bộ dữ liệu theo đợt

Bộ dữ liệu tĩnh công khai từTensorSlices (Ops tf, Danh sách< Toán hạng <?>> tensor, Danh sách<Class<? mở rộng TType >> loại đầu ra)

Tạo một `Bộ dữ liệu` trong bộ nhớ có các phần tử là các lát cắt của các tensor đã cho. Mỗi phần tử của tập dữ liệu này sẽ là một List<Operand<?>> , đại diện cho các lát (ví dụ: lô) của các tensor được cung cấp.

Thông số
tf Trình truy cập hoạt động
tensor Danh sách Operand<?> đại diện cho các thành phần của tập dữ liệu này (ví dụ: tính năng, nhãn)
loại đầu ra Danh sách các lớp kiểu tensor biểu thị kiểu dữ liệu của từng thành phần của tập dữ liệu này.
Trả lại
  • Một `Bộ dữ liệu` mới

Hoạt động công khai getOpsInstance ()

Danh sách công khai< Shape > getOutputShapes ()

Nhận danh sách các hình dạng cho từng thành phần của tập dữ liệu này.

Danh sách công khai<Lớp<? mở rộng TType >> getOutputTypes ()

Nhận danh sách các loại đầu ra cho từng thành phần của tập dữ liệu này.

Toán hạng công khai <?> getVariant ()

Lấy tensor biến thể đại diện cho tập dữ liệu này.

public Iterator<List< Toán hạng <?>>> iterator ()

Tạo một trình vòng lặp lặp qua tất cả các lô của Bộ dữ liệu này một cách háo hức. Mỗi lô là một danh sách các thành phần, được trả về dưới dạng đối tượng `Output`.

Phương pháp này cho phép lặp lại từng đợt qua các đợt khi chạy ở chế độ háo hức. Để biết lặp lại hàng loạt chế độ Đồ thị, hãy xem `makeOneShotIterator`.

Trả lại
  • một Iterator thông qua các lô của tập dữ liệu này.

public DatasetIterator makeInitializeableIterator ()

Tạo một `DatasetIterator` có thể được sử dụng để lặp lại các phần tử của tập dữ liệu này.

Trình lặp này sẽ phải được khởi tạo bằng lệnh gọi `iterator.makeInitializer(Dataset)` trước khi các phần tử có thể được truy xuất trong một vòng lặp.

Trả lại
  • Một `DatasetIterator` mới dựa trên cấu trúc của tập dữ liệu này.

DatasetIterator công khai makeOneShotIterator ()

Tạo một `DatasetIterator` có thể được sử dụng để lặp lại các phần tử của tập dữ liệu này. Việc sử dụng `makeOneShotIterator` đảm bảo rằng trình vòng lặp được khởi tạo tự động trên tập dữ liệu này. bỏ qua Trong chế độ biểu đồ, trình khởi tạo op sẽ được thêm vào danh sách trình khởi tạo của Biểu đồ, danh sách này phải được chạy thông qua `tf.init()`:

Bán tại:

     try (Session session = new Session(graph) {
         // Immediately run initializers
         session.run(tf.init());
     }
 

Ở chế độ háo hức, trình khởi tạo sẽ tự động chạy do lệnh gọi này.

Trả lại
  • Một `DatasetIterator` mới dựa trên cấu trúc của tập dữ liệu này.

bản đồ tập dữ liệu công khai (Chức năng<Danh sách< Toán hạng <?>>, Trình ánh xạ Danh sách< Toán hạng <?>>>)

Trả về một Tập dữ liệu mới ánh xạ hàm trên tất cả các phần tử được tập dữ liệu này trả về.

Ví dụ: giả sử mỗi phần tử là một List<Operand<?>> có 2 thành phần: (tính năng, nhãn).

Đang gọi

dataset.map(components -> {
      Operand<?> features = components.get(0);
      Operand<?> labels   = components.get(1);

      return Arrays.asList(
        tf.math.mul(features, tf.constant(2)),
        tf.math.mul(labels, tf.constant(5))
      );
 );
 }
sẽ ánh xạ hàm trên các thành phần `features` và `label`, nhân các tính năng với 2 và nhân nhãn với 5.

Thông số
người lập bản đồ Hàm áp dụng cho từng phần tử của trình vòng lặp này.
Trả lại
  • Bộ dữ liệu mới áp dụng `trình ánh xạ` cho từng phần tử của trình vòng lặp này.

tập dữ liệu công khai mapAllComponents (Hàm< Toán hạng <?>, Trình ánh xạ toán hạng <?>>)

Trả về một Tập dữ liệu mới ánh xạ một hàm trên tất cả các phần tử từ tập dữ liệu này, trên tất cả các thành phần của từng phần tử.

Ví dụ: giả sử mỗi phần tử là một List<Operand<?>> có 2 thành phần: (tính năng, nhãn).

Việc gọi dataset.mapAllComponents(component -> tf.math.mul(component, tf.constant(2))) sẽ ánh xạ hàm trên cả hai thành phần `features` và `labels` của mỗi phần tử, nhân tất cả chúng với 2

Thông số
người lập bản đồ Hàm áp dụng cho từng thành phần
Trả lại
  • Bộ dữ liệu mới áp dụng `mapper` cho tất cả các thành phần của từng phần tử.

Bộ dữ liệu công khai mapOneComponent (chỉ mục int, Hàm< Toán hạng <?>, Trình ánh xạ toán hạng <?>>)

Trả về một Tập dữ liệu mới ánh xạ một hàm trên tất cả các phần tử từ tập dữ liệu này, trên một thành phần duy nhất của mỗi phần tử.

Ví dụ: giả sử mỗi phần tử là một List<Operand<?>> có 2 thành phần: (tính năng, nhãn).

Việc gọi dataset.mapOneComponent(0, features -> tf.math.mul(features, tf.constant(2))) sẽ ánh xạ hàm trên thành phần `features` của từng phần tử, nhân mỗi phần tử với 2.

Thông số
chỉ số Chỉ số của thành phần cần chuyển đổi.
người lập bản đồ Chức năng áp dụng cho thành phần mục tiêu.
Trả lại
  • Bộ dữ liệu mới áp dụng `trình ánh xạ` cho thành phần tại chỉ mục đã chọn.

Bỏ qua tập dữ liệu cuối cùng công khai (đếm dài)

Trả về một `Bộ dữ liệu` mới bỏ qua `đếm` các phần tử ban đầu từ tập dữ liệu này

Thông số
đếm Số phần tử cần `bỏ qua` để tạo thành tập dữ liệu mới.
Trả lại
  • Một Tập dữ liệu mới đã loại bỏ các phần tử `count`.

Tập dữ liệu cuối cùng công khai (số lượng dài)

Trả về một `Bộ dữ liệu` mới chỉ có các phần tử `đếm` đầu tiên từ tập dữ liệu này.

Thông số
đếm Số phần tử cần "lấy" từ tập dữ liệu này.
Trả lại
  • Tập dữ liệu mới chứa các phần tử `count` đầu tiên từ tập dữ liệu này.

văn bản tập dữ liệu tĩnh công khaiLineDataset (Ops tf, tên tệp chuỗi, loại nén chuỗi, kích thước bộ đệm dài)

Bộ dữ liệu tĩnh công khai tfRecordDataset (Ops tf, Tên tệp chuỗi, Loại nén chuỗi, Kích thước bộ đệm dài)

Chuỗi công khai toString ()