中国电信完成行业首个大模型多方协同隐私训练试验

近期，中国电信研究院成功完成行业首个大模型多方协同隐私训练试验。该试验依托中国电信云网融合大科创装置的智算资源，通过自主研发的大模型多方协同隐私训练技术，在保障原始数据不出域的条件下，成功完成了多方协同的大模型训练，为推动数据要素的安全流通与价值释放提供了坚实的技术支撑。

本次试验赋能大模型研发全流程的高智能、高安全与高可用。基于该训练框架开展大模型多方协同隐私训练得到的全局模型，能够获得接近集中训练的模型的性能表现。本次试验在大模型训练领域实现的重要突破主要体现在以下维度：

一是构建多方管理控制、多机多卡训练和一键启动机制，实现多方参与下的高效协同训练。多方管理控制负责协调多方之间的通信、存储和任务管理；多机多卡训练机制支持参与方内部多机多卡训练及灵活使用不同训练资源；一键启动机制通过配置文件统一启动训练，提升训练的自动化水平。

二是构建模型融合策略，实现全局模型的参数聚合，提升模型泛化能力。模型融合策略支持FedAvg、Fed-Prox、FedAdam、FedAdagrad等多种算法，可通过配置文件灵活选择并调整融合策略及其参数。

三是构建数据切分策略，实现训练数据的灵活配置与高效利用。通过数据切分策略，方便调整每轮训练的数据量，支持按固定大小、百分比、最大数据量、数据总量及可用显存等多种方式进行切分，可通过配置文件便捷选择并调整切分策略及其参数。

四是构建数据保护机制，实现大模型多方训练过程中的数据保护。通过引入差分隐私实现对训练数据的隐私保护，支持多种隐私保护策略，包括服务器端裁剪与客户端裁剪等，可通过配置文件灵活选择差分隐私策略并调整参数配置。

未来，项目组将持续深化大模型多方协同隐私训练的技术创新与场景应用落地，加快技术成果的生态共建。同时，聚焦金融、医疗、司法等重点行业需求，深化技术赋能与场景适配，为释放数据要素潜能和加速人工智能产业升级提供坚实支撑。（翼研）

　　 转自：人民邮电报