2022 年 9 月 22 日 TFF 协作者会议笔记

  • [Ajay Kannan、Michael Reneer] 管理版本控制/依赖项
    • 来自 LinkedIn 的提案
    • [Michael] 两个担忧
      • TFF 版本依赖于 TF 和 Python
      • Pythin - 我们可以同时支持新旧版本吗？
      • 我们目前支持 3.9，并且很快将支持 3.10
    • [A] 可以协商特定版本 – 我们来探讨一下
    • [M] 为什么是 3.9
      • 主要针对 pytype
      • 可能是其他功能 - 可以通过标志进行保护
    • （许多拉锯式讨论 – 没有记笔记）
    • 决议/行动项：
      • TFF 将 OSS 版本降级为可行版本
      • Michael 将与 Ajay 协调降级工作，Ajay 负责测试可行版本
      • 跟进修改后的提案版本
      • 需要一个系统来定期更新“降级版本”以确保它不断推进
      • Ajay、Michael 将提出相应的升级时间表
      • 修订草案异步，下次会议展示
  • [Tong Zhou 等人] 讨论最近关于可扩展性的实验/发现
    • TFF 问题
    • [Tong] 有关 TFF 回合预期长度的问题
      • 额外的时间似乎没有花在正向或反向传播上
      • 怀疑问题出在聚合上
      • 毫不奇怪，TFF 与 Keras 的单轮性能不相上下
        • 读取数据不是一个因素
        • 所有时间都是 TF 时间
      • 数据提取可能是原因，需要更好地衡量
        • 重叠的数据提取和处理是一个因素，
        • 一般来说，当训练轮次为 0（秒）时，会错过优化机会
      • TFF 支持在训练前 K 轮预提取/预处理数据
        • 教程中使用的 API 同步，但异步和流水线在 TFF 运行时的底层原生可用
        • OSS 中的相关代码，只是没有很好地使用
        • 看起来它可以解决问题 – 尝试一下
      • TFF 团队的 AI 小组将跟进如何设置提取和预处理 K 轮的链接
      • Tong 将跟进新实验
  • 下一次会议的异步实例可能在 1 周内
  • 在 Discord 上以交互式方式跟进。