Dataset

מחלקה תקציר ציבורית מערך נתונים
תת-מחלקות ישירות ידועות

מייצג רשימה פוטנציאלית גדולה של אלמנטים עצמאיים (דגימות), ומאפשר לבצע איטרציה וטרנספורמציות על פני אלמנטים אלה.

בונים ציבוריים

מערך נתונים (Ops tf, Variant Operand <?>, List<Class<? מרחיב את TType >> outputTypes, List< Shape > outputShapes)

שיטות ציבוריות

מערך הנתונים הסופי
אצווה (גודל אצווה ארוך, טיפה בוליאנית LastBatch)
מקבץ רכיבים של מערך נתונים זה לקבוצות.
מערך הנתונים הסופי
אצווה (גודל אצווה ארוך)
מקבץ רכיבים של מערך נתונים זה לקבוצות.
סט נתונים סטטי
fromTensorSlices (Ops tf, List< Operand <?>> tensors, List<Class<? מרחיב את TType >> outputTypes)
יוצר 'מערך נתונים' בזיכרון שהאלמנטים שלו הם פרוסות של הטנזורים הנתונים.
אופס
רשימה< צורה >
getOutputShapes ()
קבל רשימה של צורות עבור כל רכיב במערך הנתונים הזה.
רשימה<Class<? מרחיב את TType >>
getOutputTypes ()
קבל רשימה של סוגי פלט עבור כל רכיב של מערך נתונים זה.
אופרנד <?>
getVariant ()
קבל את טנזור הגרסה המייצג את מערך הנתונים הזה.
Iterator<List< Operand <?>>>
איטרטור ()
יוצר איטרטור החוזר על כל הקבוצות של מערך הנתונים הזה בצורה נלהבת.
DatasetIterator
makeInitializeableIterator ()
יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה.
DatasetIterator
makeOneShotIterator ()
יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה.
מערך נתונים
מפה (פונקציה<List< Operand <?>>, List< Operand <?>>> ממפה)
מחזירה ערכת נתונים חדשה אשר ממפה פונקציה על פני כל האלמנטים המוחזרים על ידי מערך נתונים זה.
מערך נתונים
mapAllComponents (פונקציה< Operand <?>, Operand <?>> ממפה)
מחזירה ערכת נתונים חדשה שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על כל הרכיבים של כל אלמנט.
מערך נתונים
mapOneComponent (int index, Function< Operand <?>, Operand <?>> ממפה)
מחזירה ערכת נתונים חדשה שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על רכיב בודד של כל רכיב.
מערך הנתונים הסופי
לדלג (ספירה ארוכה)
מחזירה 'מערך נתונים' חדש שמדלג על רכיבים ראשוניים של 'ספירה' ממערך הנתונים הזה
מערך נתונים סופי
לקחת (ספירה ארוכה)
מחזירה 'מערך נתונים' חדש עם רכיבי 'ספירה' הראשונים בלבד ממערך הנתונים הזה.
סט נתונים סטטי
textLineDataset (Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)
סט נתונים סטטי
tfRecordDataset (Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)
חוּט

שיטות בירושה

בונים ציבוריים

מערך נתונים ציבורי (Ops tf, Variant Operand <?>, List<Class<? מרחיב את TType >> outputTypes, List< Shape > outputShapes)

שיטות ציבוריות

אצווה ערכת נתונים סופית ציבורית (אצווה ארוכה, dropLastBatch בוליאני)

מקבץ רכיבים של מערך נתונים זה לקבוצות.

פרמטרים
גודל אצווה מספר האלמנטים הרצויים בכל אצווה
dropLastBatch האם להשאיר את האצווה הסופית בחוץ אם יש בה פחות מ-'batchSize' אלמנטים.
מחזיר
  • מערך נתונים אצווה

אצווה ערכת נתונים סופית ציבורית (גודל אצווה ארוך)

מקבץ רכיבים של מערך נתונים זה לקבוצות. כולל את האצווה האחרונה, גם אם יש בה פחות מ-'batchSize' אלמנטים.

פרמטרים
גודל אצווה מספר האלמנטים הרצויים בכל אצווה
מחזיר
  • מערך נתונים אצווה

מערך נתונים סטטי ציבורי מ-TensorSlices (Ops tf, List< Operand <?>> טנסורים, List<Class<? מרחיב את TType >> outputTypes)

יוצר 'מערך נתונים' בזיכרון שהאלמנטים שלו הם פרוסות של הטנזורים הנתונים. כל רכיב במערך נתונים זה יהיה List<Operand<?>> , המייצג פרוסות (למשל אצווה) של הטנזורים שסופקו.

פרמטרים
tf אופס אקסס
טנסורים רשימה של Operand<?> המייצגים רכיבים של מערך נתונים זה (למשל תכונות, תוויות)
outputTypes רשימה של מחלקות מסוג טנסור המייצגות את סוג הנתונים של כל רכיב של מערך נתונים זה.
מחזיר
  • 'מערך נתונים' חדש

Public Ops getOpsInstance ()

רשימה ציבורית< Shape > getOutputShapes ()

קבל רשימה של צורות עבור כל רכיב במערך הנתונים הזה.

רשימה ציבורית<Class<? מרחיב את TType >> getOutputTypes ()

קבל רשימה של סוגי פלט עבור כל רכיב של מערך נתונים זה.

Open Operand <?> getVariant ()

קבל את טנזור הגרסה המייצג את מערך הנתונים הזה.

איטרטור ציבורי<List< Operand <?>>> איטרטור ()

יוצר איטרטור החוזר על כל הקבוצות של מערך הנתונים הזה בצורה נלהבת. כל אצווה היא רשימה של רכיבים, המוחזרים כאובייקטי 'פלט'.

שיטה זו מאפשרת עבור כל איטרציה דרך אצווה כאשר היא פועלת במצב להוט. עבור איטרציה של מצב גרף, ראה 'makeOneShotIterator'.

מחזיר
  • איטרטור דרך קבוצות של מערך נתונים זה.

ערכת נתונים ציבוריים makeInitializeableIterator ()

יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה.

איטרטור זה יצטרך להיות אתחול בקריאה אל `iterator.makeInitializer(Dataset)` לפני שניתן יהיה לאחזר אלמנטים בלולאה.

מחזיר
  • `DatasetIterator` חדש המבוסס על מבנה מערך הנתונים הזה.

Public DatasetIterator makeOneShotIterator ()

יוצר `DatasetIterator` שניתן להשתמש בו כדי לחזור על אלמנטים של מערך נתונים זה. שימוש ב-'makeOneShotIterator' מבטיח שהאיטרטור מאותחל אוטומטית במערך הנתונים הזה. דילוגים במצב גרף, הפעלת האתחול יתווסף לרשימת המאתחלים של הגרף, אותה יש להפעיל באמצעות `tf.init()`:

לְשֶׁעָבַר:

     try (Session session = new Session(graph) {
         // Immediately run initializers
         session.run(tf.init());
     }
 

במצב להוט, האתחול יופעל אוטומטית כתוצאה משיחה זו.

מחזיר
  • `DatasetIterator` חדש המבוסס על מבנה מערך הנתונים הזה.

מפת ערכת נתונים ציבורית (פונקציה<List< Operand <?>>, List< Operand <?>>> ממפה)

מחזירה ערכת נתונים חדשה אשר ממפה פונקציה על פני כל האלמנטים המוחזרים על ידי מערך נתונים זה.

לדוגמה, נניח שכל אלמנט הוא List<Operand<?>> עם 2 רכיבים: (תכונות, תוויות).

יִעוּד

dataset.map(components -> {
      Operand<?> features = components.get(0);
      Operand<?> labels   = components.get(1);

      return Arrays.asList(
        tf.math.mul(features, tf.constant(2)),
        tf.math.mul(labels, tf.constant(5))
      );
 );
 }
ימפה את הפונקציה על רכיבי ה'תכונות' וה'תוויות', יכפיל את התכונות ב-2, והכפיל את התוויות ב-5.

פרמטרים
ממפה הפונקציה שיש להחיל על כל רכיב של איטרטור זה.
מחזיר
  • מערך נתונים חדש המחיל 'מפה' על כל רכיב של איטרטור זה.

mapAllComponents של ערכת נתונים ציבורית (פונקציה< Operand <?>, Operand <?>> ממפה)

מחזירה ערכת נתונים חדשה שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על כל הרכיבים של כל אלמנט.

לדוגמה, נניח שכל אלמנט הוא List<Operand<?>> עם 2 רכיבים: (תכונות, תוויות).

קריאה ל- dataset.mapAllComponents(component -> tf.math.mul(component, tf.constant(2))) תמפה את הפונקציה על רכיבי ה-'features' וה-'labels' של כל אלמנט, ותכפיל את כולם ב-2

פרמטרים
ממפה הפונקציה שיש להחיל על כל רכיב
מחזיר
  • מערך נתונים חדש המחיל 'מאפר' על כל הרכיבים של כל אלמנט.

mapOneComponent של ערכת נתונים ציבורית (int index, Function< Operand <?>, Operand <?>> ממפה)

מחזירה מערך נתונים חדש שממפה פונקציה על פני כל האלמנטים ממערך הנתונים הזה, על רכיב בודד של כל רכיב.

לדוגמה, נניח שכל אלמנט הוא List<Operand<?>> עם 2 רכיבים: (תכונות, תוויות).

קריאה ל- dataset.mapOneComponent(0, features -> tf.math.mul(features, tf.constant(2))) תמפה את הפונקציה על פני רכיב ה-'features' של כל אלמנט, תוך הכפלת כל אחד ב-2.

פרמטרים
מַדָד האינדקס של הרכיב שיש להמיר.
ממפה הפונקציה שיש להחיל על רכיב היעד.
מחזיר
  • מערך נתונים חדש המחיל 'מפה' על הרכיב באינדקס הנבחר.

דילוג על ערכת נתונים סופית (ספירה ארוכה)

מחזירה 'מערך נתונים' חדש שמדלג על רכיבים ראשוניים של 'ספירה' ממערך הנתונים הזה

פרמטרים
לִסְפּוֹר מספר האלמנטים שיש לדלג עליהם כדי ליצור את מערך הנתונים החדש.
מחזיר
  • מערך נתונים חדש עם רכיבי 'count' הוסרו.

צריכת נתונים סופית ציבורית (ספירה ארוכה)

מחזירה 'מערך נתונים' חדש עם רכיבי 'ספירה' הראשונים בלבד ממערך הנתונים הזה.

פרמטרים
לִסְפּוֹר מספר האלמנטים שיש "לקחת" ממערך הנתונים הזה.
מחזיר
  • ערכת נתונים חדשה המכילה את רכיבי ה-'count' הראשונים ממערך הנתונים הזה.

סטטי סטטי ציבורי textLineDataset ( Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)

ערכת נתונים סטטית ציבורית tfRecordDataset (Ops tf, שם קובץ מחרוזת, String compressionType, long bufferSize)

מחרוזת ציבורית למחרוזת ()