多模态联邦学习综述:背景、应用与洞见

📁资料库📆2024-07-29 🤯PH 👀2,633 次浏览

Multimedia Systems(JCR Q1、CCF-C)上发表了一篇文章,关于Multimodal federated learning。为了提供全面的视角,整理了大量的相关工作,总结在Github仓库,希望能为MMFL的发展出一份小力。本页面提供该文章的中文摘要。

摘要

多模态联邦学习(MMFL)是一种全新的机器学习技术,它增强了传统联邦学习(FL)的能力,允许多个本地模型使用各种模态的数据进行协作训练。随着互联网、传感器和移动设备产生和存储的多模态数据的快速增长,以及人工智能模型的快速迭代,业界对多模态模型的需求正在迅速增长。尽管在过去几年里人们对联邦学习进行了广泛的研究,但大多数现有研究都是基于单模态设置的。为了激发更多关于MMFL的应用和研究,我们全面回顾了大量先进的MMFL方法在各方面取得的进展和面临的挑战。具体而言,我们分析了MMFL的研究动机,针对现有研究提出了一种新的分类方法,讨论了可用的数据集和应用场景,并在最后对MMFL面临的机遇和挑战提出了许多观点。

多模态联邦学习综述:背景、应用与洞见-BtoAI 波特埃

Fig1: Illustration of federated learning and multimodal federated learning

更多文章

大模型学习路线

整理了一下大模型与多模态大模型的技术路线,包括基础课程、经典教材、开源项目等。 1.什么是大模型 大模型全称是大型语言模型(Large Language Model, LLM),指具有超大规模参数量(通常超过十亿个)的深度神经网络模型。 大模型是自然语言处理(NLP)领域的重要技术分支,从技术角度来看,大模型特指近年来以Transformer架构(谷歌2017年首次提出)为核心的超大规模神经网络模…

📁 机器学习 资料库 📆 2025-06-06
大模型学习路线
回到顶部