第110章 聯邦
兩周後，沈一鳴敲開了左城的辦公室門。
"左總，聯邦學習框架的工程化做完了。"沈一鳴的語氣裡帶著一絲不易察覺的興奮，"馬昊幫我在模型聚合算法上做了優化，方澤的團隊把寒武紀的工程樣片跑通了，三線並行測試都通過了。"
左城放下手裡的文件："可以上真機了？"
"可以。但只能在少量節點上先試跑，大規模部署還需要更多驗證。"
"那就今天試。"左城站起來，"叫上陳浩和方澤，去智慧城市的控制中心。"
半小時後，左城一行人站在杭城智慧城市控制中心的大屏前。
屏幕上顯示著全市傳感器的實時數據，一千五百個邊緣網關，五千個傳感器節點，分布在六個區的道路、橋樑、河道和建築上。數據流像細密的光線，不斷匯入中央平台。
"選一個區的網關做測試。"左城說，"西湖區，一百二十個網關。"
沈一鳴在筆記本電腦上操作起來。他把聯邦學習的訓練任務分發到西湖區的邊緣網關上，每個網關只使用本地的傳感器數據訓練一個小模型，然後把梯度信息加密後上傳到聚合伺服器，由聚合伺服器把所有網關的梯度匯總，更新全局模型。
"開始。"左城說。
屏幕上的數據開始流動。一百二十個邊緣網關同時開始本地訓練，每完成一輪，梯度信息就加密上傳。聚合伺服器的進度條從零開始緩慢爬升。
左城站在後面，悄悄打開了系統面板。科技雷達的冷卻已經結束，沈一鳴就在三米之外。
掃描。
面板跳出了結果。和兩周前相比，沈一鳴掌握的技術列表多了一項：梯度稀疏化壓縮。這是他在工程化過程中自己研究出來的新能力，可以把梯度信息中的冗餘數據剔除，只保留關鍵參數，從而大幅降低通信開銷。
左城看著這項技術，心裡迅速計算。如果複製梯度稀疏化壓縮，配合沈一鳴已有的自適應通信調度，聯邦學習的通信效率還能再提升一個台階。
【複製"梯度稀疏化壓縮"需要消耗8積分，是否繼續？】
確認。
積分從二百八十五分變成了二百七十七分。一項新的技術出現在左城的科技樹葉片列表中，歸入萬物互聯枝幹。
左城關掉面板，繼續看測試。
"第三輪聚合完成，模型精度百分之八十五。"沈一鳴的聲音有些發顫，"數據沒有出過本地，隱私保護完全有效。第四輪。"
"通信開銷呢？"陳浩問。
"比集中式訓練降低了百分之五十二。"沈一鳴說，"這個數據已經超出了我的預期。樹莓派上測試的時候只能做到百分之三十七的降幅，真機環境反而更好，因為邊緣網關的算力比樹莓派強很多，本地訓練的梯度質量更高，聚合的效率也就更好。"
"精度損失呢？"方澤開口了。
"幾乎沒有。"沈一鳴調出一個對比圖，"聯邦學習訓練出來的模型精度是百分之八十五，集中式訓練的精度是百分之八十七，差距在誤差範圍內。而且隨著訓練輪次增加，這個差距還在縮小。"
左城心中一動。梯度稀疏化壓縮，他已經從系統里複製了，但這項技術的載體不是沈一鳴，而是他自己的科技樹。他需要把這項技術"反饋"給沈一鳴，但不能暴露來源。
"一鳴，你之前提到的梯度稀疏化思路，有沒有繼續往下做？"左城問。
沈一鳴愣了一下："有初步的想法，但還沒來得及實現。"
全網首發更新ⓉⓌ看書網→ⓢⓗⓤ.ⓣⓦ
"我之前看過一篇論文，講的是梯度稀疏化的自適應閾值選擇。核心思路是在訓練過程中動態調整稀疏化率，前期保留更多梯度保證收斂，後期提高稀疏率降低通信。你試試這個方向。"
沈一鳴眼睛一亮："自適應閾值選擇？這個思路很好，和我之前的自適應壓縮率可以對接。我回去就做。"
測試繼續進行。第八輪聚合完成後，模型精度穩定在百分之九十三，和集中式訓練的精度幾乎持平。通信開銷最終穩定在百分之五十八的降低幅度。
"測試成功。"沈一鳴長出一口氣，雙手微微顫抖，"聯邦學習框架在真實設備上跑通了。數據沒有出過本地，精度幾乎無損，通信開銷降了百分之五十八。"
陳浩拍了拍他的肩膀："幹得不錯，回去請團隊吃頓好的。"
方澤難得露出一個微小的笑容，然後繼續低頭看功耗數據，嘴裡嘟囔了一句："峰值功耗比預估低了百分之十二，寒武紀的晶片還行。"
左城站在大屏前，看著那些從邊緣網關匯聚而來的數據流。聯邦學習，模型壓縮，寒武紀晶片，三條技術線正在交匯。技術增幅在後台默默工作著，所有融合方案的實際效率都被放大了百分之二十。
但他沒有向任何人提起這一點。
正想著，手機響了。
周鶴年的名字出現在屏幕上。
"左城，有個事要跟你說。"周鶴年的聲音一如既往地直接，"天穹四期的技術方案評審要提前了，藍灣那邊希望把AI能力納入四期的核心指標。你們402的AI團隊準備得怎麼樣？"
左城握緊手機，心跳加速了。
"周總，402的AI能力，隨時可以上。"
"好。下周來藍灣，做一個技術演示。"
電話掛斷後，左城看著窗外的天色。聯邦學習框架剛剛完成首次實戰，藍灣的天穹四期就來了。時機恰好。
但天穹四期的AI需求遠比三期的頻譜調度複雜。左城需要更強的技術儲備。
他低頭看了看系統面板。積分二百七十七分，科技樹四根枝幹三十九枚葉片，冷卻中的科技雷達還要再等。
夠用嗎？
左城不知道。但他知道一件事，402的AI，已經不是一個空殼了。
"左總，聯邦學習框架的工程化做完了。"沈一鳴的語氣裡帶著一絲不易察覺的興奮，"馬昊幫我在模型聚合算法上做了優化，方澤的團隊把寒武紀的工程樣片跑通了，三線並行測試都通過了。"
左城放下手裡的文件："可以上真機了？"
"可以。但只能在少量節點上先試跑，大規模部署還需要更多驗證。"
"那就今天試。"左城站起來，"叫上陳浩和方澤，去智慧城市的控制中心。"
半小時後，左城一行人站在杭城智慧城市控制中心的大屏前。
屏幕上顯示著全市傳感器的實時數據，一千五百個邊緣網關，五千個傳感器節點，分布在六個區的道路、橋樑、河道和建築上。數據流像細密的光線，不斷匯入中央平台。
"選一個區的網關做測試。"左城說，"西湖區，一百二十個網關。"
沈一鳴在筆記本電腦上操作起來。他把聯邦學習的訓練任務分發到西湖區的邊緣網關上，每個網關只使用本地的傳感器數據訓練一個小模型，然後把梯度信息加密後上傳到聚合伺服器，由聚合伺服器把所有網關的梯度匯總，更新全局模型。
"開始。"左城說。
屏幕上的數據開始流動。一百二十個邊緣網關同時開始本地訓練，每完成一輪，梯度信息就加密上傳。聚合伺服器的進度條從零開始緩慢爬升。
左城站在後面，悄悄打開了系統面板。科技雷達的冷卻已經結束，沈一鳴就在三米之外。
掃描。
面板跳出了結果。和兩周前相比，沈一鳴掌握的技術列表多了一項：梯度稀疏化壓縮。這是他在工程化過程中自己研究出來的新能力，可以把梯度信息中的冗餘數據剔除，只保留關鍵參數，從而大幅降低通信開銷。
左城看著這項技術，心裡迅速計算。如果複製梯度稀疏化壓縮，配合沈一鳴已有的自適應通信調度，聯邦學習的通信效率還能再提升一個台階。
【複製"梯度稀疏化壓縮"需要消耗8積分，是否繼續？】
確認。
積分從二百八十五分變成了二百七十七分。一項新的技術出現在左城的科技樹葉片列表中，歸入萬物互聯枝幹。
左城關掉面板，繼續看測試。
"第三輪聚合完成，模型精度百分之八十五。"沈一鳴的聲音有些發顫，"數據沒有出過本地，隱私保護完全有效。第四輪。"
"通信開銷呢？"陳浩問。
"比集中式訓練降低了百分之五十二。"沈一鳴說，"這個數據已經超出了我的預期。樹莓派上測試的時候只能做到百分之三十七的降幅，真機環境反而更好，因為邊緣網關的算力比樹莓派強很多，本地訓練的梯度質量更高，聚合的效率也就更好。"
"精度損失呢？"方澤開口了。
"幾乎沒有。"沈一鳴調出一個對比圖，"聯邦學習訓練出來的模型精度是百分之八十五，集中式訓練的精度是百分之八十七，差距在誤差範圍內。而且隨著訓練輪次增加，這個差距還在縮小。"
左城心中一動。梯度稀疏化壓縮，他已經從系統里複製了，但這項技術的載體不是沈一鳴，而是他自己的科技樹。他需要把這項技術"反饋"給沈一鳴，但不能暴露來源。
"一鳴，你之前提到的梯度稀疏化思路，有沒有繼續往下做？"左城問。
沈一鳴愣了一下："有初步的想法，但還沒來得及實現。"
全網首發更新ⓉⓌ看書網→ⓢⓗⓤ.ⓣⓦ
"我之前看過一篇論文，講的是梯度稀疏化的自適應閾值選擇。核心思路是在訓練過程中動態調整稀疏化率，前期保留更多梯度保證收斂，後期提高稀疏率降低通信。你試試這個方向。"
沈一鳴眼睛一亮："自適應閾值選擇？這個思路很好，和我之前的自適應壓縮率可以對接。我回去就做。"
測試繼續進行。第八輪聚合完成後，模型精度穩定在百分之九十三，和集中式訓練的精度幾乎持平。通信開銷最終穩定在百分之五十八的降低幅度。
"測試成功。"沈一鳴長出一口氣，雙手微微顫抖，"聯邦學習框架在真實設備上跑通了。數據沒有出過本地，精度幾乎無損，通信開銷降了百分之五十八。"
陳浩拍了拍他的肩膀："幹得不錯，回去請團隊吃頓好的。"
方澤難得露出一個微小的笑容，然後繼續低頭看功耗數據，嘴裡嘟囔了一句："峰值功耗比預估低了百分之十二，寒武紀的晶片還行。"
左城站在大屏前，看著那些從邊緣網關匯聚而來的數據流。聯邦學習，模型壓縮，寒武紀晶片，三條技術線正在交匯。技術增幅在後台默默工作著，所有融合方案的實際效率都被放大了百分之二十。
但他沒有向任何人提起這一點。
正想著，手機響了。
周鶴年的名字出現在屏幕上。
"左城，有個事要跟你說。"周鶴年的聲音一如既往地直接，"天穹四期的技術方案評審要提前了，藍灣那邊希望把AI能力納入四期的核心指標。你們402的AI團隊準備得怎麼樣？"
左城握緊手機，心跳加速了。
"周總，402的AI能力，隨時可以上。"
"好。下周來藍灣，做一個技術演示。"
電話掛斷後，左城看著窗外的天色。聯邦學習框架剛剛完成首次實戰，藍灣的天穹四期就來了。時機恰好。
但天穹四期的AI需求遠比三期的頻譜調度複雜。左城需要更強的技術儲備。
他低頭看了看系統面板。積分二百七十七分，科技樹四根枝幹三十九枚葉片，冷卻中的科技雷達還要再等。
夠用嗎？
左城不知道。但他知道一件事，402的AI，已經不是一個空殼了。