TFFコラボレーターの2022年7月28日の会議からのメモ

  • 新しい人
  • インタラクティブに会話を促進するために、全員がDiscordサーバーに参加しましょう
    • 投稿できるように寄稿者になるためにKrzysにPing
  • SIGフェデレーション
  • x-siloでのフリーライディングとデータポイズニングに関するディスカッション、LinkedInが主導するディスカッション（特に指定がない限り、LinkedInによって特定されたユースケースのコンテキスト）：
    • フリーライディング-特定のテナントはグループに貢献していないため、利益を薄める
      • 意図的または非意図的である可能性があります
      • この時点で意図しないことに焦点を当てます-これは主にLinkedInで私たちが興味を持っているケースです
      • 参加者が十分なデータを持っていない、またはトレーニングに役立たないデータとして単純である可能性があります
        • 現在、これを異常検出の問題としてモデル化することを考えています
        • 少数派のデータの場合、多数派の構成との比較は機能します
        • 別のアプローチ：特定の参加者からの貢献の有無にかかわらず構築された複数のフェデレーションモデル。どれが進歩しているかを観察し、それに基づいて参加者を除外します
      • 一部のフリーライダーがガベージデータを提供している可能性があります
        • 異常検出としてモデル化するのが難しい
        • 上記と同じアプローチ
    • 中毒
      • 同様に、意図的であるかどうか
      • 意図しないことに焦点を当てる-大規模なテナントはグループを圧倒し、モデルを彼らの貢献に偏らせる可能性があります
      • 関心のあるシナリオの場合、これはフリーライダーの問題と類似しています。
      • 分散ビザンチントレーニングに関連するテクニック
        • たとえば、平均の代わりに、中毒に対するある程度の堅牢性を追加するために中央値を採用することができます
    • これらの問題が他の場所で発生しているのを見ますか？そのようなロジックをエコシステムに貢献する価値はありますか？
      • はい！サイロの利益が一致しない可能性がある敵対的な設定で見られる一般的な問題（貢献には計算コストがかかり、リソースが必要です）
    • フリーロードまたは中毒の影響をどのように測定できますか？
      • 貢献ごと対全体-上記のアイデアは後者を指します
    • 観察：TFFの機能の1つは、パラメーター化可能でステートフルな集約であり、独自の内部状態を維持し、集約時にその状態を更新できます。
    • 他の目標（DPなど）とのトレードオフと相乗効果に関するThoguhts
      • DPは間違いなく中毒を助けることができます
      • freloadingのcontetxにおけるDPについての質問-まだ未解決の質問
    • データポイズニング攻撃による影響はごくわずかであることがわかりました
      • 例： https ：//arxiv.org/pdf/2108.10241.pdfを参照
      • 影響の大きさに関係なく、クロスサイロFLプラットフォームの一部としてこのような機能を提供することが重要です
  • 上記の詳細と今後のLinkedInからTFFエコシステムに追加するコンポーネントの提案を含むアイデアを書いてください
  • Discordの詳細を見る
  • 2週間後の次の会議