Заметки со встречи сотрудников TFF 28.07.2022

  • Новые люди
  • Давайте все будем на сервере Discord, чтобы облегчить интерактивное общение
    • Ping Krzys, чтобы стать участником, чтобы иметь возможность публиковать
  • SIG федеративный
  • Обсуждение безбилетника и отравления данных в x-silo, обсуждение под руководством LinkedIn (контекст из вариантов использования, определенных LinkedIn, если не указано иное):
    • Бесплатная езда - некоторые арендаторы не вносят вклад в группу, что снижает прибыль.
      • Может быть преднамеренным или непреднамеренным
      • Сосредоточьтесь на непреднамеренном в этот момент — это тот случай, который нас в первую очередь интересует в LinkedIn.
      • Это может быть просто участник, у которого недостаточно данных, или данные, которые бесполезны для обучения.
        • В настоящее время думает о моделировании этого как проблемы обнаружения аномалий.
        • Сравнение с вкладом большинства работает, если оно подходит для меньшинства данных.
        • Другой подход: несколько федеративных моделей, построенных с участием или без вклада данного участника; наблюдайте, какие из них продвигаются вперед, и исключайте участников на основе этого
      • Некоторые фрирайдеры могут предоставлять мусорные данные
        • Сложнее моделировать обнаружение аномалий
        • Тот же подход, что и выше
    • Отравление
      • Точно так же может быть преднамеренным или нет
      • Сосредоточьтесь на непреднамеренном — более крупные арендаторы могут перегрузить группу и сместить модель в сторону их вклада.
      • Для представляющих интерес сценариев это имеет сходство с проблемой безбилетника.
      • Соответствующие техники в распределенном византийском обучении
        • Например, вместо среднего можно использовать медиану, чтобы повысить устойчивость к отравлению.
    • Видим ли мы, что эти проблемы возникают где-то еще, стоит ли вносить такую ​​логику в экосистему?
      • Да! Общие проблемы, которые можно увидеть в состязательных условиях, когда разрозненные интересы могут не совпадать (вклады влекут за собой вычислительные затраты и требуют ресурсов)
    • Как мы можем измерить влияние нахлебничества или отравления?
      • На вклад по сравнению с совокупным - идеи, приведенные выше, указывают на последнее.
    • Наблюдение: одной из особенностей TFF являются параметризуемые агрегаты с отслеживанием состояния, которые могут поддерживать собственное внутреннее состояние и обновлять его по мере объединения.
    • Мысли о компромиссах и синергии с другими целями (например, DP)
      • DP определенно может помочь при отравлении
      • Вопрос про ДП в контексте фрилоада - пока открытый вопрос
    • Мы обнаружили, что атаки с отравлением данных могут иметь незначительное влияние.
      • Например, см. https://arxiv.org/pdf/2108.10241.pdf .
      • Важно предоставить такую ​​функцию как часть многофункциональной платформы FL, независимо от величины воздействия.
  • Пишите идеи с более подробной информацией об вышеизложенном и предложениями по компонентам для добавления в экосистему TFF от LinkedIn в ближайшее время.
  • Смотрите больше обсуждений в Discord
  • Следующая встреча через 2 недели