面向部分設(shè)備參與的非獨(dú)立同分布數(shù)據(jù)的聯(lián)邦學(xué)習(xí)算法

摘要： 在數(shù)據(jù)非獨(dú)立分布的情況下，聯(lián)邦學(xué)習(xí)每一輪通信中將局部模型聚合成一個(gè)全局模型的過程將會(huì)導(dǎo)致異質(zhì)性，并給聯(lián)邦學(xué)習(xí)訓(xùn)練帶來巨大的挑戰(zhàn).除此之外，由網(wǎng)絡(luò)帶寬不同或者客戶端設(shè)備的訓(xùn)練速度的不同導(dǎo)致的部分設(shè)備參與加劇了這種異質(zhì)性.僅通過局部模型的簡單加權(quán)聚合會(huì)導(dǎo)致與真正的全局模型的進(jìn)一步偏差，后者會(huì)收斂到局部極值點(diǎn)并在收斂過程中振蕩.基于這些發(fā)現(xiàn)，本文提出了一種新的聚合算法--聯(lián)邦累積學(xué)習(xí)...