为什么说communication efficiency是联邦学习的关键?


联邦学习领域有很多论文旨在提高联邦学习模型的收敛速度,减少训练轮数,甚至不惜大幅提高计算成本。导师也提到过在联邦里面的cost,主要就是communication cost,而每个client上的训练cost,一般不会被考虑。

今天读一篇NIPS的FL论文:TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels
作者在引言中解释了这一原因:

Further, in such settings, clients are physically separated and connected by ad-hoc networks with large latencies and limited bandwidth. This is especially true when clients are edge devices such as mobile phones, IoT sensors, etc. Thus, communication efficiency is crucial for practical federated learning.

在联邦学习的设定中,客户端之间的物理隔离和连接是通过有限带宽、延迟较大的自组网实现的,而当客户端是移动电话、物联网传感器等边缘设备时,情况尤甚。因此,communication efficiency(通信效率)是实际的联邦学习的关键。

声明:奋斗小刘|版权所有,违者必究|如未注明,均为原创|本网站采用BY-NC-SA协议进行授权

转载:转载请注明原文链接 - 为什么说communication efficiency是联邦学习的关键?


Make Everyday Count