第113章_算力方案
第二天一早，沈一鳴就把自己關進了實驗室。
昨晚他幾乎沒睡，整夜都在思考協同推理的具體實現。早上七點，左城到公司的時候，實驗室的燈已經亮了。
"一鳴，你這是通宵了？"左城推門進去，看到沈一鳴趴在桌上睡著了。
沈一鳴揉揉眼睛坐起來："城哥，我想出來了。"
他從桌上拿起一疊手繪的圖紙："你看，這是我設計的分布式邊緣AI架構。"
左城接過圖紙，仔細看著上面的線條和標註。
"每顆衛星不再運行一個完整的AI模型，而是運行一個精簡版的'決策代理'。"沈一鳴指著圖解釋，"代理只負責局部決策，通過星間鏈路與其他代理通信。"
方澤這時候也走了進來，手裡端著三杯咖啡。
"我來補充一下硬體層面的思路。"他把咖啡放下，"如果用協同推理的架構，單顆衛星的算力需求可以大幅降低。我們可以考慮用低功耗的嵌入式AI晶片。"
"功耗能壓到多少？"左城問。
方澤調出一些測試數據："我昨晚查了一下，目前行業里最低功耗的嵌入式AI晶片可以做到2瓦左右。如果用三四顆這樣的晶片協同，功耗大概在6到8瓦。"
"還是超標。"沈一鳴皺眉，"目標必須壓到5瓦以下。"
"與其用多顆低功耗晶片，不如把一個高性能晶片的模型壓縮到極致。"左城突然開口。
沈一鳴眼睛一亮："模型壓縮？"
"對。"左城在白板上畫了一個示意圖，"如果我們能把AI模型的體積壓縮到原來的三十分之一，同時保持80%以上的決策準確率，就能在單晶片上運行。"
方澤快速計算著："寒武紀的MLU270功耗30瓦，如果壓縮到三十分之一，理論上功耗可以降到1瓦左右。"
"問題是，我們現在的壓縮技術能做到嗎？"沈一鳴問。
左城打開系統面板，查看當前的葉片列表。
【科技樹葉片】
- 神經網絡基礎
【寫到這裡我希望讀者記一下我們域名 TW 看書網體驗棒，𝘀𝗵𝘂.𝘁𝘄超讚 】
- 深度學習框架
- 強化學習策略
- 自然語言理解
- 計算機視覺
- 模型壓縮優化
- 聯邦學習
- 因果推理
- 生成式模型
- 梯度稀疏化壓縮
這枚葉片應該有用。
但他不能直接告訴沈一鳴這些。
"一鳴，你覺得我們的壓縮技術有提升空間嗎？"左城問。
沈一鳴沉吟片刻："有。但需要新的算法突破。"
"什麼樣的突破？"
"有一種方向叫'知識蒸餾'。"沈一鳴在白板上寫下這個詞，"把大模型的知識'蒸餾'到小模型里。但知識蒸餾的難點在於，我們沒有一個足夠強大的'教師模型'來指導學生模型。"
"為什麼？"
"因為天穹衛星的AI調度是一個全新的場景。"沈一鳴解釋道，"傳統的預訓練模型在這個場景上表現不好，我們需要從頭訓練一個專用的大模型。"
"這需要多少時間？"
沈一鳴估算了一下："至少兩到三個月。"
兩到三個月。
而他們只有兩周。
"還有一個方向。"方澤突然說。
"邊緣計算。"方澤說，"與其在衛星上跑完整的AI模型，不如把一部分計算任務搬到地面站或者中繼衛星上。"
"你的意思是？"沈一鳴問。
"雲邊協同。"方澤在白板上畫了一個簡單的架構圖，"衛星只負責簡單的感知和決策，複雜的推理放到地面站或者中繼衛星上完成。"
"但這樣會增加通信延遲。"沈一鳴提出問題，"對於實時性要求高的場景，延遲可能是致命的。"
"所以要用預測性調度。"左城突然開口。
兩人一愣。
"我們的目標不是讓衛星'實時思考'，而是讓它'提前預判'。"左城在白板上畫了一條時間線，"比如，星間鏈路的狀態變化是可以預測的。如果衛星能提前幾秒鐘預判到鏈路擁塞，就可以提前調整路由，避免問題發生。"
"預測性調度……"沈一鳴喃喃自語，"這需要對衛星網絡的動態特性有深入理解。"
"我們不是有聯邦學習嗎？"左城說，"用聯邦學習的方式，讓所有衛星共享網絡狀態信息，然後用AI預測鏈路變化。"
"城哥，你是說，用聯邦學習訓練一個預測模型？"
"對。"左城點頭，"這個模型不需要在衛星上運行，只需要在地面站訓練好後，下發預測參數給各衛星。衛星根據參數做簡單計算就行了。"
沈一鳴眼睛一亮。
"這樣既保證了預測的準確性，又降低了衛星的算力需求。"方澤興奮地補充。
"能壓縮到多少？"左城問。
沈一鳴估算了一下："原來需要壓縮到三十分之一，現在可能只需要十分之一就夠了。準確率可以從70%提升到85%左右。"
85%。
距離90%的目標更近了一步。
"但還不夠。"左城搖頭，"必須做到95%以上。"
沈一鳴有些為難："95%的話，單純的壓縮很難做到。除非……"
"除非有新的算法突破。"沈一鳴說，"比如，超參數自動優化。"
超參數自動優化。
這正是他需要的。
"能提升多少？"左城問。
"理論上能提升5到10個百分點。"沈一鳴說。
5到10個百分點。
85%加上10%，就是95%。
左城閉上眼睛，深吸一口氣。
他需要這項技術。
科技雷達的冷卻還有多久？
他打開系統面板看了一眼：剩餘8小時。
8小時後，他就可以掃描沈一鳴，獲取超參數自動優化的技術。
"好。"左城睜開眼睛，"就這麼定了。"
"定了？"沈一鳴有些意外。
"第一，用聯邦學習訓練預測模型。第二，把模型壓縮到十分之一。第三，用超參數自動優化提升準確率。"
左城在白板上寫下三個關鍵詞。
"兩周內完成。"
沈一鳴和方澤對視一眼，都看到了彼此眼中的決心。
"沒問題。"沈一鳴說，"我這就開始寫技術方案。"
"晶片的事交給我。"方澤說，"我去聯繫寒武紀，看他們能不能提供一些技術支持。"
三人分頭行動，會議室里重新忙碌起來。
左城最後一個離開。他看了一眼系統面板上的倒計時。
8小時。
只需要再等8小時。
昨晚他幾乎沒睡，整夜都在思考協同推理的具體實現。早上七點，左城到公司的時候，實驗室的燈已經亮了。
"一鳴，你這是通宵了？"左城推門進去，看到沈一鳴趴在桌上睡著了。
沈一鳴揉揉眼睛坐起來："城哥，我想出來了。"
他從桌上拿起一疊手繪的圖紙："你看，這是我設計的分布式邊緣AI架構。"
左城接過圖紙，仔細看著上面的線條和標註。
"每顆衛星不再運行一個完整的AI模型，而是運行一個精簡版的'決策代理'。"沈一鳴指著圖解釋，"代理只負責局部決策，通過星間鏈路與其他代理通信。"
方澤這時候也走了進來，手裡端著三杯咖啡。
"我來補充一下硬體層面的思路。"他把咖啡放下，"如果用協同推理的架構，單顆衛星的算力需求可以大幅降低。我們可以考慮用低功耗的嵌入式AI晶片。"
"功耗能壓到多少？"左城問。
方澤調出一些測試數據："我昨晚查了一下，目前行業里最低功耗的嵌入式AI晶片可以做到2瓦左右。如果用三四顆這樣的晶片協同，功耗大概在6到8瓦。"
"還是超標。"沈一鳴皺眉，"目標必須壓到5瓦以下。"
"與其用多顆低功耗晶片，不如把一個高性能晶片的模型壓縮到極致。"左城突然開口。
沈一鳴眼睛一亮："模型壓縮？"
"對。"左城在白板上畫了一個示意圖，"如果我們能把AI模型的體積壓縮到原來的三十分之一，同時保持80%以上的決策準確率，就能在單晶片上運行。"
方澤快速計算著："寒武紀的MLU270功耗30瓦，如果壓縮到三十分之一，理論上功耗可以降到1瓦左右。"
"問題是，我們現在的壓縮技術能做到嗎？"沈一鳴問。
左城打開系統面板，查看當前的葉片列表。
【科技樹葉片】
- 神經網絡基礎
【寫到這裡我希望讀者記一下我們域名 TW 看書網體驗棒，𝘀𝗵𝘂.𝘁𝘄超讚 】
- 深度學習框架
- 強化學習策略
- 自然語言理解
- 計算機視覺
- 模型壓縮優化
- 聯邦學習
- 因果推理
- 生成式模型
- 梯度稀疏化壓縮
這枚葉片應該有用。
但他不能直接告訴沈一鳴這些。
"一鳴，你覺得我們的壓縮技術有提升空間嗎？"左城問。
沈一鳴沉吟片刻："有。但需要新的算法突破。"
"什麼樣的突破？"
"有一種方向叫'知識蒸餾'。"沈一鳴在白板上寫下這個詞，"把大模型的知識'蒸餾'到小模型里。但知識蒸餾的難點在於，我們沒有一個足夠強大的'教師模型'來指導學生模型。"
"為什麼？"
"因為天穹衛星的AI調度是一個全新的場景。"沈一鳴解釋道，"傳統的預訓練模型在這個場景上表現不好，我們需要從頭訓練一個專用的大模型。"
"這需要多少時間？"
沈一鳴估算了一下："至少兩到三個月。"
兩到三個月。
而他們只有兩周。
"還有一個方向。"方澤突然說。
"邊緣計算。"方澤說，"與其在衛星上跑完整的AI模型，不如把一部分計算任務搬到地面站或者中繼衛星上。"
"你的意思是？"沈一鳴問。
"雲邊協同。"方澤在白板上畫了一個簡單的架構圖，"衛星只負責簡單的感知和決策，複雜的推理放到地面站或者中繼衛星上完成。"
"但這樣會增加通信延遲。"沈一鳴提出問題，"對於實時性要求高的場景，延遲可能是致命的。"
"所以要用預測性調度。"左城突然開口。
兩人一愣。
"我們的目標不是讓衛星'實時思考'，而是讓它'提前預判'。"左城在白板上畫了一條時間線，"比如，星間鏈路的狀態變化是可以預測的。如果衛星能提前幾秒鐘預判到鏈路擁塞，就可以提前調整路由，避免問題發生。"
"預測性調度……"沈一鳴喃喃自語，"這需要對衛星網絡的動態特性有深入理解。"
"我們不是有聯邦學習嗎？"左城說，"用聯邦學習的方式，讓所有衛星共享網絡狀態信息，然後用AI預測鏈路變化。"
"城哥，你是說，用聯邦學習訓練一個預測模型？"
"對。"左城點頭，"這個模型不需要在衛星上運行，只需要在地面站訓練好後，下發預測參數給各衛星。衛星根據參數做簡單計算就行了。"
沈一鳴眼睛一亮。
"這樣既保證了預測的準確性，又降低了衛星的算力需求。"方澤興奮地補充。
"能壓縮到多少？"左城問。
沈一鳴估算了一下："原來需要壓縮到三十分之一，現在可能只需要十分之一就夠了。準確率可以從70%提升到85%左右。"
85%。
距離90%的目標更近了一步。
"但還不夠。"左城搖頭，"必須做到95%以上。"
沈一鳴有些為難："95%的話，單純的壓縮很難做到。除非……"
"除非有新的算法突破。"沈一鳴說，"比如，超參數自動優化。"
超參數自動優化。
這正是他需要的。
"能提升多少？"左城問。
"理論上能提升5到10個百分點。"沈一鳴說。
5到10個百分點。
85%加上10%，就是95%。
左城閉上眼睛，深吸一口氣。
他需要這項技術。
科技雷達的冷卻還有多久？
他打開系統面板看了一眼：剩餘8小時。
8小時後，他就可以掃描沈一鳴，獲取超參數自動優化的技術。
"好。"左城睜開眼睛，"就這麼定了。"
"定了？"沈一鳴有些意外。
"第一，用聯邦學習訓練預測模型。第二，把模型壓縮到十分之一。第三，用超參數自動優化提升準確率。"
左城在白板上寫下三個關鍵詞。
"兩周內完成。"
沈一鳴和方澤對視一眼，都看到了彼此眼中的決心。
"沒問題。"沈一鳴說，"我這就開始寫技術方案。"
"晶片的事交給我。"方澤說，"我去聯繫寒武紀，看他們能不能提供一些技術支持。"
三人分頭行動，會議室里重新忙碌起來。
左城最後一個離開。他看了一眼系統面板上的倒計時。
8小時。
只需要再等8小時。