統(tǒng)計(jì)與數(shù)據(jù)科學(xué)學(xué)院  報(bào)道

近日，南京審計(jì)大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)學(xué)院周興才教授團(tuán)隊(duì)（博士生楊光和碩士生鄭昊天）與加拿大阿爾伯塔大學(xué)孔令龍教授和東南大學(xué)曹進(jìn)徳院士合作完成的學(xué)術(shù)論文“FedFask: Fast Sketching Distributed PCA for Large-Scale Federated Data”在線(xiàn)發(fā)表于人工智能頂級(jí)期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)。該期刊科學(xué)引文索引影響因子為18.6，中科院分區(qū)一區(qū)頂級(jí)。 

研究成果主要聚焦于大尺度聯(lián)邦數(shù)據(jù)的統(tǒng)計(jì)機(jī)器學(xué)習(xí)基礎(chǔ)方法主成分分析（PCA）。作為最流行的線(xiàn)性降維工具之一，PCA能夠從原始數(shù)據(jù)中提取主要信息，同時(shí)過(guò)濾無(wú)關(guān)信息。該方法已廣泛應(yīng)用于機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、信息檢索、生物醫(yī)學(xué)和圖像處理等多個(gè)科學(xué)領(lǐng)域。當(dāng)數(shù)據(jù)特征維度超高時(shí)，例如全基因組關(guān)聯(lián)分析（GWAS）中特征可達(dá)數(shù)十萬(wàn)至數(shù)百萬(wàn)，這給傳統(tǒng)PCA方法帶來(lái)難以承受的通信負(fù)擔(dān)和計(jì)算復(fù)雜度。研究提出了一種新算法 FedFask（Fast Sketching for Federated learning），其通信成本僅為 O(dr)，計(jì)算復(fù)雜度為 O(d(np/m+p2+r2))，其中 m 為工作節(jié)點(diǎn)數(shù)量，r 為矩陣秩，p 為草圖列空間維度，d是數(shù)據(jù)特征維度，且滿(mǎn)足 r≤p?d。在 FedFask 中，研究采用并發(fā)展了多種技術(shù)，包括快速草圖構(gòu)建、基于正交 Procrustes Fixing 的對(duì)齊方法，以及通過(guò) Kolmogorov–Nagumo 型平均實(shí)現(xiàn)矩陣Stiefel 流形計(jì)算等。這些技術(shù)使得FedFask 具有更高的精度、更低的隨機(jī)波動(dòng)性，并能最佳地融合多個(gè)隨機(jī)投影特征子空間，同時(shí)避免了特征子空間的正交模糊性問(wèn)題。研究證明，F(xiàn)edFask 可達(dá)到與集中式 PCA 使用全部數(shù)據(jù)相同的學(xué)習(xí)精度，且能夠支持更多工作節(jié)點(diǎn)以實(shí)現(xiàn)并行加速計(jì)算。FedFask具有大大降低大尺度聯(lián)邦數(shù)據(jù)PCA分析的通信成本和計(jì)算復(fù)雜度同時(shí)保證統(tǒng)計(jì)精度的優(yōu)勢(shì)。

論文信息：

Xingcai Zhou, Gang Yang (博士生), Haotian Zheng (碩士生), Linglong Kong & Jinde Cao. FedFask: Fast Sketching Distributed PCA for Large-Scale Federated Data. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025+, https://doi.org/10.1109/TPAMI.2025.3639635