专利示意图

一、技术领域

机器学习领域

二、专利介绍

1.专利信息

专利类型：发明

专利权人：清华大学深圳国际研究生院

申请号：202210918002.3

发明人：丁文伯、刘洋、毛钰竹、赵子号、张林

2.专利说明书摘要

本申请实施例提出了一种联邦学习梯度量化方法、高效通信联邦学习方法及相关装置，涉及机器学习领域。根据本申请的第一方面提出了一种联邦学习梯度量化方法，包括：获取来自服务器的待训练模型；使用本地的私有数据对待训练模型进行本地训练，得到本轮训练模型；根据本轮训练模型，获得本轮训练模型的第一参数，第一参数为本地训练模型的模型参数或梯度；根据预设的最大量化等级，计算本轮训练模型与上一轮模型的量化更新量；根据量化更新量，确定第一参数的量化等级，并根据量化等级量化第一参数；将量化后的第一参数发送到中央服务器。能够减少联邦学习训练过程中的非必要通信轮次和每个通信轮次需要传输的数据总量。

3.创新点

（1）本发明针对联邦学习系统固有的异构数据分布，通过充分利用本地数据的异构性，能够提升联邦学习系统的通信效率；

（2）本发明结合了惰性聚合联邦学习框架，能够同时减少联邦学习训练过程的通信轮次和通信比特数，提升联邦学习系统的通信效率；

（3）本发明提出用分布式客户的本地梯度更新量描述联邦学习中本地私有数据的异构特性，并基于该变化量动态调整客户端的量化水平，取得了优于同类方法的通信开销，是一种很有潜力的高效通信联邦学习架构；

（4）本发明在分别以逻辑回归和深度神经网络为代表的凸优化和非凸优化场景都取得预期效果，能够广泛应用于实际联邦学习场景；

（（5）本发明能够与其他高效通信手段（如惰性聚合、选择性聚合、数据稀疏化等）联合部署，有力推进联邦学习生态建设。

4.痛点问题

大幅提升现有联邦学习系统的通信效率。

5.技术优势

（1）充分利用联邦学习系统固有的本地数据异构性来大幅提升现有联邦学习系统的通信效率；

（2）可以在不影响训练收敛的情况下，同时减少通信轮次和每个通信轮次的传输比特数，对应用于通信资源受限的物联网和边缘计算等领域有其重大意义；

（3）能够与其他高效通信手段（如惰性聚合、选择性聚合、数据稀疏化等）联合部署，大力推进高效通信联邦学习生态建设。

三、产业化信息

1.应用场景

本发明可以应用于大型机构间的合作，也可以用于个人分布式智能设备的联合学习，包括但不限于以下应用场景：

多个不同的金融服务提供商（银行、电商等）用各自在运营过程中收集的用户私人数据，联合训练预测用户行为的全局模型。

多个医疗机构在保证各自隐私医疗数据不被泄露的情况下，联合训练准确度更高的疾病诊断模型。

通信资源有限的智能设备（如车联网、智能家居系统）之间的联合学习。

2.商业价值

此项技术拥有巨大的商业前景，可以广泛应用于金融、医疗等对数据私密性和安全性高度敏感的领域，同时可以依靠其通信高效的特性，大大促进物联网、边缘计算等技术的发展。

3.发展规划

该技术未来可应用至金融、医疗等场景，快速提高物联网、边缘计算等技术的发展。

4.合作方式

面议

注:所有成果未经授权，请勿转载

联系方式：ttc@sz.tsinghua.edu.cn