Catatan pertemuan kolaborator TFF 22/9/2022

  • [Ajay Kannan, Michael Reneer] Mengelola pembuatan versi/dependensi
    • Proposal dari LinkedIn
    • [Michael] Dua kekhawatiran
      • Versi TFF tergantung pada TF dan Python
      • Pythin - dapatkah kami mendukung yang lama, dapatkah kami mendukung yang baru?
      • Kami mendukung 3.9 untuk saat ini, segera 3.10
    • [A] Dapat menegosiasikan versi tertentu - mari kita bongkar
    • [M] Kenapa 3.9
      • Sebagian besar untuk pytype
      • Mungkin fitur lain - bisa dijaga bendera
    • (banyak bolak-balik pada mur dan baut - tidak mencatat)
    • Resolusi/item tindakan:
      • TFF untuk menurunkan versi OSS menjadi yang berfungsi
      • Michael untuk mengkoordinasikan downgrade dengan Ajay, Ajay untuk menguji apa yang berhasil
      • Versi revisi dari proposal untuk mengikuti
      • Akan membutuhkan sistem untuk memperbarui "versi yang diturunkan" secara berkala untuk memastikannya terus maju
      • Ajay, Michael mengusulkan jadwal peningkatan untuk itu
      • Revisi draf asinkron, untuk dipresentasikan di lain waktu
  • [Tong Zhou et al.] Diskusi tentang eksperimen/temuan terbaru tentang skalabilitas
    • Pertanyaan TFF
    • [Tong] Pertanyaan tentang panjang yang diharapkan untuk putaran TFF
      • Waktu ekstra sepertinya tidak dihabiskan di depan atau belakang
      • Mencurigai agregasi
      • Tidak mengherankan bahwa pertandingan kinerja TFF vs. Keras untuk satu putaran
        • Membaca data bukan faktor
        • Semua waktu adalah waktu TF
      • Penyerapan data yang mungkin dicurigai, perlu diukur dengan lebih baik
        • Tumpang tindih penyerapan data dan pemrosesan salah satu faktornya,
        • Secara umum, peluang yang terlewatkan untuk pengoptimalan saat putaran pelatihan adalah O(detik)
      • Ada dukungan di TFF untuk prefetching/preprocessing data K putaran sebelum pelatihan
        • API yang digunakan dalam tutorial sinkron, tetapi async dan pipelining tersedia secara native di bawah tenda di runtime TFF
        • Kode yang relevan di OSS, hanya saja tidak terekspos dengan baik untuk digunakan
        • Sepertinya itu bisa memecahkan masalah - untuk dicoba
      • AI di tim TFF untuk menindaklanjuti dengan tautan ke cara mengatur penyerapan dan prapemrosesan putaran K ke depan
      • Tong untuk menindaklanjuti dengan eksperimen baru
  • Contoh async dari pertemuan berikutnya mungkin dalam 1 minggu
  • Untuk menindaklanjuti secara interaktif di Discord.