Notas da reunião de 22/09/2022 dos colaboradores do TFF

  • [Ajay Kannan, Michael Reneer] Gerenciando versões/dependências
    • Proposta do LinkedIn
    • [Michael] Duas preocupações
      • Versões TFF depende de TF e Python
      • Pythin - podemos suportar o antigo, podemos suportar o novo
      • Suportamos 3.9 por enquanto, em breve 3.10
    • [A] Poderia negociar versões específicas - vamos descompactar
    • [M] Por que 3,9
      • Principalmente para pytype
      • Podem ser outros recursos - podem ser protegidos por bandeira
    • (muito para frente e para trás em porcas e parafusos - não tomou notas)
    • Itens de resolução/ação:
      • TFF para fazer o downgrade da versão OSS das coisas para o que funciona
      • Michael para coordenar downgrade com Ajay, Ajay para testar o que funciona
      • Versão revisada da proposta a seguir
      • Precisará de um sistema para atualizar periodicamente a “versão rebaixada” para garantir que continue avançando
      • Ajay, Michael para propor um cronograma de atualização para isso
      • Rascunho de revisão assíncrono, para apresentar na próxima vez
  • [Tong Zhou et al.] Discussão de experimentos/descobertas recentes sobre escalabilidade
    • Perguntas TFF
    • [Tong] Pergunta sobre a duração esperada para as rodadas do TFF
      • O tempo extra não parece ser gasto em frente ou backprop
      • Suspeita de agregação
      • Sem surpresa que TFF vs. Keras jogo de desempenho para uma única rodada
        • Ler dados não é um fator
        • Todo o tempo é tempo TF
      • A ingestão de dados é um provável suspeito, precisa ser melhor medida
        • Sobreposição de ingestão de dados e processamento de um dos fatores,
        • Em geral, oportunidades perdidas de otimização quando as rodadas de treinamento são O(segundos)
      • Há suporte no TFF para pré-busca/pré-processamento de dados K ​​rodadas antes do treinamento
        • APIs usadas no tutorial síncrono, mas assíncrono e pipelining estão disponíveis nativamente sob o capô no tempo de execução do TFF
        • Código relevante em OSS, mas não muito bem exposto para uso
        • Parece que isso pode resolver o problema - para experimentar
      • AI na equipe do TFF para acompanhar links sobre como configurar a ingestão e pré-processamento de rodadas K à frente
      • Tong para acompanhar novos experimentos
  • Instância assíncrona da próxima reunião possivelmente em 1 semana
  • Para acompanhar interativamente no Discord.