联邦学习为大模型应用落地提供新可能。
7月2日,微众媒体学院系列活动在北京举行。在业内专家看来,大模型技术在发展应用中显现三大挑战:一是算力角度,大模型的训练过程中需要庞大的硬件算力资源支撑;二是算法角度,大模型生成内容可能存在安全风险,同时广泛存在隐形偏见的可能性;三数据角度,近年来各项法律法规对私域数据的使用有“数据可用不可见”的要求,在医疗、金融等行业都存在海量自治的高质量数据,但受限于隐私无法共享利用。
微众银行人工智能首席科学家范力欣提出,联邦学习作为一种先进的分布式机器学习范式,允许参与方在不直接共享原始数据的情况下协作训练模型,为解决大模型应用落地的技术难题提供了路径。联邦大模型技术路线通过其独特的设计,解决数据时效性、模型幻觉、专业知识融合及算力资源消耗等挑战,在保护数据隐私和促进AI技术公平性方面迈出重要一步。