第116章_協同之道
有了超參數自動優化能力,左城開始了秘密的"算法推演"。
說是推演,實際上是在系統能力的輔助下,快速驗證各種壓縮策略。
他用系統能力模擬不同的參數配置,測試對模型準確率的影響。
這個過程別人做需要幾個月,但他只需要幾天。
因為系統可以同時運行無數個模擬,每個模擬都在毫秒級完成。
兩天後,夜以繼日的推演終於有了結果。左城找到了突破口。
動態精度量化。
簡單說,就是讓模型在推理時動態調整計算精度。簡單任務用低精度,複雜任務用高精度。
這樣既保證了準確率,又把功耗控制在了可接受範圍內。
他把這個技術思路整理成文檔,發送給沈一鳴和方澤審核。
"一鳴,你看看這個方向可行嗎?"
沈一鳴看了半小時後,回了電話。
"城哥,這個方向是對的。"他的聲音帶著興奮,"我測試了一下,動態精度量化確實能提升準確率。"
"能到多少?"
"89%。"沈一鳴說,"比之前提升了將近21個百分點。"
89%。
距離95%的目標更近了一步。
"功耗呢?"左城問。
"如果用動態精度模式,MLU270的功耗可以壓到4.8瓦。"方澤接過電話,"剛好達標。"
4.8瓦。
比目標低了0.2瓦。
這0.2瓦的餘量,讓方案有了更多安全保障。
"太好了。"左城鬆了口氣,懸著的心終於放了下來。
但他很快又提起了精神。
【寫到這裡我希望讀者記一下我們域名 TW 看書網解無聊,𝕤𝕙𝕦.𝕥𝕨超靠譜 】
89%還不夠。
評審會上,林建華那幫人不會給他們任何容錯空間。
"必須做到95%以上。"他說。
電話那頭沉默了幾秒。
沈一鳴開口:"城哥,89%到95%,差距是6個百分點。這個提升……不容易。"
"我知道。"左城說,"但這是必須的。"
"你有沒有什麼想法?"
左城沒有直接回答。
他掛掉電話,打開系統面板。
267分。
這已經足夠再做一次科技融合。
如果把超參數自動優化和模型壓縮優化的能力融合……
也許能產生一個更強的新能力。
【科技融合】
【消耗:5積分】
【請選擇至少兩枚葉片進行融合】
左城看著面板上的葉片列表。
超參數自動優化、模型壓縮優化、邊緣AI推理。
如果把這三枚葉片融合……
三秒後,融合完成。
【融合成功】
【獲得新葉片:自適應神經網絡編譯器】
效果:在邊緣設備上自動編譯和優化神經網絡模型,效率提升1.5倍,準確率額外+8%。
左城看著新葉片,心跳加速。
89%加上8%,就是97%。
遠超95%的目標。
但他不能直接告訴沈一鳴。
融合是系統的能力,他沒辦法解釋來源。
"一鳴。"左城撥通電話,"我有一個新的優化思路,你再試試。"
"什麼思路?"
"我把它叫做'自適應編譯'。"左城說,"簡單說,就是讓編譯器根據任務類型自動調整模型結構。"
"自適應編譯?"沈一鳴有些困惑,"這聽起來像是編譯器優化……"
"對,就是編譯器優化。"左城打斷他,"但這次優化是針對AI模型的,不是通用程序。"
沈一鳴沉默了幾秒。他知道左城不會無的放矢。
"好吧,我試試。"
---
第二天早上,沈一鳴發來消息。
"城哥,你在哪裡?"
"在公司。"左城回復。
"來實驗室。"
左城推開門,看到沈一鳴和方澤都站在電腦前。
他們的表情很奇怪。
不是沮喪,也不是興奮,而是一種難以置信。仿佛看到了不可能發生的事情。
"怎麼了?"左城問。
沈一鳴轉過頭,看著他。
"城哥。"他的聲音有些發抖,"你到底是怎麼做到的?"
"做到什麼?"
"準確率。"沈一鳴指著屏幕,"97.1%。"
左城看了一眼屏幕。
97.1%。
比他預期的還高了0.1個百分點。
"不只是準確率。"方澤開口,"功耗也降了。"
"多少?"
"4.2瓦。"方澤說,"比目標低了0.8瓦。"
4.2瓦。
97.1%準確率。
兩個指標都大幅超過了目標。
左城沒有說話。
他走到窗邊,看著外面的陽光。
成功了。
準確率從68%提升到97.1%,功耗從30瓦降到4.2瓦。
這個結果,足以讓任何質疑他們的人閉嘴。林建華也不例外。
"城哥。"沈一鳴走到他身邊,"你是怎麼做到的?"
左城轉過頭,看著沈一鳴的眼睛。
那雙眼睛裡滿是困惑和敬佩。
他不能告訴沈一鳴真相。
但他可以給一個合理的解釋。
"我用的是一種新的編譯器優化技術。"左城說,"叫自適應神經網絡編譯器。"
"自適應神經網絡編譯器?"沈一鳴皺眉,"我沒聽說過這個技術。"
"你當然沒聽說過。"左城笑了笑,"這是我根據一些前沿論文,加上自己的理解設計的。"
"你自己的設計?"
"對。"左城點頭,"準確率97.1%,功耗4.2瓦。這兩個指標足夠了嗎?"
沈一鳴愣了一下,然後露出笑容。
"足夠了。"他說,"綽綽有餘。"
方澤也走過來:"城哥,這個編譯器是怎麼設計的?我想學習一下。"
左城想了想。
他可以給方澤一些表面的解釋,但核心的東西沒辦法分享。
"編譯器的事回頭再說。"他岔開話題,"現在最重要的是把方案整理出來。"
"對。"沈一鳴點頭,"後天就是評審會了。"
後天。
距離評審會只剩兩天。
"方案我來整理。"左城說,"你們繼續完善測試數據。"
"好。"
沈一鳴和方澤轉身回到電腦前,開始工作。
左城站在窗邊,看著兩人的背影。
97.1%的準確率,4.2瓦的功耗。
這個結果,足以讓林建華無話可說。
但他知道,這只是開始。
天穹四期只是第一步。
未來還有更廣闊的舞台在等著他們。
而他,會一步一步走下去。堅定而從容。
直到站在那個舞台的中央。
說是推演,實際上是在系統能力的輔助下,快速驗證各種壓縮策略。
他用系統能力模擬不同的參數配置,測試對模型準確率的影響。
這個過程別人做需要幾個月,但他只需要幾天。
因為系統可以同時運行無數個模擬,每個模擬都在毫秒級完成。
兩天後,夜以繼日的推演終於有了結果。左城找到了突破口。
動態精度量化。
簡單說,就是讓模型在推理時動態調整計算精度。簡單任務用低精度,複雜任務用高精度。
這樣既保證了準確率,又把功耗控制在了可接受範圍內。
他把這個技術思路整理成文檔,發送給沈一鳴和方澤審核。
"一鳴,你看看這個方向可行嗎?"
沈一鳴看了半小時後,回了電話。
"城哥,這個方向是對的。"他的聲音帶著興奮,"我測試了一下,動態精度量化確實能提升準確率。"
"能到多少?"
"89%。"沈一鳴說,"比之前提升了將近21個百分點。"
89%。
距離95%的目標更近了一步。
"功耗呢?"左城問。
"如果用動態精度模式,MLU270的功耗可以壓到4.8瓦。"方澤接過電話,"剛好達標。"
4.8瓦。
比目標低了0.2瓦。
這0.2瓦的餘量,讓方案有了更多安全保障。
"太好了。"左城鬆了口氣,懸著的心終於放了下來。
但他很快又提起了精神。
【寫到這裡我希望讀者記一下我們域名 TW 看書網解無聊,𝕤𝕙𝕦.𝕥𝕨超靠譜 】
89%還不夠。
評審會上,林建華那幫人不會給他們任何容錯空間。
"必須做到95%以上。"他說。
電話那頭沉默了幾秒。
沈一鳴開口:"城哥,89%到95%,差距是6個百分點。這個提升……不容易。"
"我知道。"左城說,"但這是必須的。"
"你有沒有什麼想法?"
左城沒有直接回答。
他掛掉電話,打開系統面板。
267分。
這已經足夠再做一次科技融合。
如果把超參數自動優化和模型壓縮優化的能力融合……
也許能產生一個更強的新能力。
【科技融合】
【消耗:5積分】
【請選擇至少兩枚葉片進行融合】
左城看著面板上的葉片列表。
超參數自動優化、模型壓縮優化、邊緣AI推理。
如果把這三枚葉片融合……
三秒後,融合完成。
【融合成功】
【獲得新葉片:自適應神經網絡編譯器】
效果:在邊緣設備上自動編譯和優化神經網絡模型,效率提升1.5倍,準確率額外+8%。
左城看著新葉片,心跳加速。
89%加上8%,就是97%。
遠超95%的目標。
但他不能直接告訴沈一鳴。
融合是系統的能力,他沒辦法解釋來源。
"一鳴。"左城撥通電話,"我有一個新的優化思路,你再試試。"
"什麼思路?"
"我把它叫做'自適應編譯'。"左城說,"簡單說,就是讓編譯器根據任務類型自動調整模型結構。"
"自適應編譯?"沈一鳴有些困惑,"這聽起來像是編譯器優化……"
"對,就是編譯器優化。"左城打斷他,"但這次優化是針對AI模型的,不是通用程序。"
沈一鳴沉默了幾秒。他知道左城不會無的放矢。
"好吧,我試試。"
---
第二天早上,沈一鳴發來消息。
"城哥,你在哪裡?"
"在公司。"左城回復。
"來實驗室。"
左城推開門,看到沈一鳴和方澤都站在電腦前。
他們的表情很奇怪。
不是沮喪,也不是興奮,而是一種難以置信。仿佛看到了不可能發生的事情。
"怎麼了?"左城問。
沈一鳴轉過頭,看著他。
"城哥。"他的聲音有些發抖,"你到底是怎麼做到的?"
"做到什麼?"
"準確率。"沈一鳴指著屏幕,"97.1%。"
左城看了一眼屏幕。
97.1%。
比他預期的還高了0.1個百分點。
"不只是準確率。"方澤開口,"功耗也降了。"
"多少?"
"4.2瓦。"方澤說,"比目標低了0.8瓦。"
4.2瓦。
97.1%準確率。
兩個指標都大幅超過了目標。
左城沒有說話。
他走到窗邊,看著外面的陽光。
成功了。
準確率從68%提升到97.1%,功耗從30瓦降到4.2瓦。
這個結果,足以讓任何質疑他們的人閉嘴。林建華也不例外。
"城哥。"沈一鳴走到他身邊,"你是怎麼做到的?"
左城轉過頭,看著沈一鳴的眼睛。
那雙眼睛裡滿是困惑和敬佩。
他不能告訴沈一鳴真相。
但他可以給一個合理的解釋。
"我用的是一種新的編譯器優化技術。"左城說,"叫自適應神經網絡編譯器。"
"自適應神經網絡編譯器?"沈一鳴皺眉,"我沒聽說過這個技術。"
"你當然沒聽說過。"左城笑了笑,"這是我根據一些前沿論文,加上自己的理解設計的。"
"你自己的設計?"
"對。"左城點頭,"準確率97.1%,功耗4.2瓦。這兩個指標足夠了嗎?"
沈一鳴愣了一下,然後露出笑容。
"足夠了。"他說,"綽綽有餘。"
方澤也走過來:"城哥,這個編譯器是怎麼設計的?我想學習一下。"
左城想了想。
他可以給方澤一些表面的解釋,但核心的東西沒辦法分享。
"編譯器的事回頭再說。"他岔開話題,"現在最重要的是把方案整理出來。"
"對。"沈一鳴點頭,"後天就是評審會了。"
後天。
距離評審會只剩兩天。
"方案我來整理。"左城說,"你們繼續完善測試數據。"
"好。"
沈一鳴和方澤轉身回到電腦前,開始工作。
左城站在窗邊,看著兩人的背影。
97.1%的準確率,4.2瓦的功耗。
這個結果,足以讓林建華無話可說。
但他知道,這只是開始。
天穹四期只是第一步。
未來還有更廣闊的舞台在等著他們。
而他,會一步一步走下去。堅定而從容。
直到站在那個舞台的中央。