第375章 且聽龍吟

投票推薦 加入書籤 小說報錯

  趙文淵這一番操作之後,丁耀先面色不變。

  但他的心裡多少有點兒懷疑。

  晶片的架構模擬是一個很複雜的工作,而且具體細分下來,從晶片計算架構、模型工作負載、集群和網絡通信模擬到實際硬體測量,每一個細分領域都有軟體廠商在深耕,比如timeloop、chakra、astra-sim這些。

  怎麼能讓這個模擬結果儘量準確,能夠給實際工作的安排產生指導意義,靠的是企業積累的海量數據,那都是各個軟體廠商的核心機密。

  現在源智突然端上來一個效率模擬器,說是能預測晶片架構對效率的影響,雖然界面看起來像是那麼回事,但是這件事本身就讓人不那麼信服。

  丁耀先是個沒什麼城府的技術人,有什麼就說什麼,他直接問道:「趙總,我問個問題,你們這個模擬結果,怎麼能保證有效?」

  「我們自然是驗證過。」趙文淵微微一笑,說道,「我們之前使用的英偉達集群,實驗室里的旗艦卡,還有正在使用的l100集群,都校準過。」

  當然只有這些數據是不夠的,預測最重要的是發現規律。

  還好湯圓在這方面很擅長。

  但這個就沒必要在這裡說了。

  丁耀先並沒有被說服,他搖了搖頭,說道:「趙總,說到底都是源智一家的數據,用這個來做預測——雖然我是相信的,但是恐怕不能服眾。」

  趙文淵用手把筆記本電腦往前輕輕推了推:「要不丁總自己來試試?」  丁耀先先是回頭看了看廖伯韜,見他沒有反對的意思,就幾步走到了趙文淵身邊,開始操作了起來。

  界面倒是寫的很簡潔,上手就能用,但是操作到一半的丁耀先突然停了下來。

  冰芯的每一代工藝正式開放給客戶之前,都會先試生產各種驗證晶片。

  從電晶體性能到高速接口,只有各個地方都測試完善了才能把工藝開放出來。

  這些驗證晶片不一定會對外銷售,但相關數據非常完整,所以冰芯這裡積攢了很多外面沒有的數據。

  只是這些參數涉及冰芯的工藝機密。

  廖伯韜看丁耀先停下來不動,自然知道是為什麼,他發話道:「用b7平台的測試數據吧。」

  丁耀先抬頭驚訝地看了廖伯韜一眼,但沒說什麼。

  既然得到了首肯,他就繼續輸入。

  b7是冰芯最近測試的平台,數字都在丁耀先的腦子裡,他連查資料都不用。

  【寫到這裡我希望讀者記一下我們域名 追書神器 TW 看書網,𝕤𝕙𝕦.𝕥𝕨超流暢 】

  最後他輸入了一個冰芯內部用的測量計算任務。

  輸完之後,他點了一下運行鍵。  屏幕上出現一個進度條。

  模擬器先把計算任務拆開成基礎運算算子,然後嘗試將這些算子分配到不同的計算單元,再根據剛才提供的各個參數,模擬數據從內存讀入緩存、進入計算陣列,最後把計算結果寫回內存的整個過程。

  這個過程沒有可視化,倒是有日誌輸出,但是要專門進入開發模式才能看見。

  所以現場十幾雙眼睛就一起盯著屏幕上的進度條。

  模擬運算的時間倒是不長,只是在全場安靜的環境下讓人覺得過的很慢。

  一分多鐘後,結果出來了。

  任務預計完成時間,六點四二秒。

  計算單元平均利用率,百分之六十一點八。

  內存等待占比,百分之二十一點三。

  趙文淵轉頭看向丁耀先,正好看到他的眼睛睜大的樣子。

  另外一邊,驗證負責人在自己的電腦上打開了最近一次的測試報告。

  真實完成時間,六點六七秒。  計算單元平均利用率,百分之六十點四。

  內存等待占比,百分之二十二點七。

  模擬軟體的預測值和他們的真實數據差距在百分之五以內。

  即使源智接觸過b7這款晶片的歷史數據,能在現場完成這種精度的預測也非常驚人,但這可是內部實驗晶片,從來沒有對外公開過,甚至都不是一款產品。

  他們是怎麼做到的?

  就這一下,屋子裡的人對源智的這款不知名的模擬軟體都重視起來。

  丁耀先更是吞咽了一口口水,看向韓路一。

  他說話的聲音都有點兒沙啞。

  「韓總,你們這款模擬器,賣嗎?」

  韓路一笑了一下:「丁總,既然源智和冰芯兩家合作,這些當然都是共享資源,說什麼買賣的就太生分了。」

  然後他用手一指屏幕,說道:「不知道丁總對這個數據的可信度還認可嗎?要不要試一試別的?」

  趙文淵在旁邊略微無語。  這個模擬軟體可是我們研究院主導開發的,怎麼一開口就問韓總,這個逼就不能讓我裝嗎?

  雖然這種級別的軟體是不是能對外開放,確實不是他一個研究院院長能決定的,還真得韓總拍板,但你哪怕先問問我呢?

  丁耀先也反應了過來,現在最重要的事情還是把技術路線確定下來。

  於是他低下頭,在l100的現有架構的基礎上,把現在成品的一些參數替換成了冰芯七納米工藝的對應參數,再次點了運行。

  結果很快出來,效率大概是原先的百分之七十多。

  和冰芯這邊做出的預測差不多。

  丁耀先看到這個結果,連心裡的最後一點疑慮也消失了。

  能猜中一次可以說是巧合,但對l100的遷移結果的現場預測和冰芯內部的測算結果也幾乎一樣,說明源智的模擬器確實有東西。

  甚至可能比冰芯內部正在使用的工具還要先進得多。

  想到這,丁耀先的心裡有點兒熱。

  源智的這個項目能不能成先不說,如果冰芯之後的晶片驗證和生產流程能用上這套工具,效率能提升多少?

  他強行把這個念頭壓下來,把電腦轉回給趙文淵,開口說道:「趙總,試試你們的新方案?」  冰芯這邊的工藝參數都不用改,趙文淵直接在模擬軟體里導入了薛兆恆剛才展示的l200異構晶片的架構,四塊計算芯粒、輸入輸出芯粒和封裝內互聯的設計展示在軟體的預覽界面上。

  參數都設計好了,趙文淵向丁耀先確認道:「丁總,你看看這個參數都對嗎?」

  丁耀先尷尬地開口:「趙總,剛才輸入的參數是我們理論上能達到的最優值,既然是第一輪測算,還是保守一點兒吧。」

  然後他提出了幾個參數改動,基本把各項工藝的數字都往更保守的方向挪了百分之十到百分之二十。

  薛兆恆在旁邊看得欲言又止。

  我們內部跑的時候都沒壓的這麼狠,冰芯能不能行啊?

  趙文淵倒是沒在意,丁耀先讓改哪兒,他就改哪兒,讓改多少,他就改多少。

  等所有數字都確認完,趙文淵載入湯圓最近一次訓練的單輪計算任務,按下運行鍵。

  又是一分多鐘。

  屏幕上的結果跳了出來。

  理論算力,只相當於英偉達旗艦卡的百分之八十左右。

  這個結果比l100的遷移方案強了不少——l100的現貨能達到百分之六十,遷移之後再打個八折,單卡就只有英偉達旗艦的一半算力了。  這個結果讓冰芯這邊的人都有點兒意外,看來這個新架構確實有可取之處,以冰芯的製程限制和工藝水平,能做到這個程度已經很驚人了。

  丁耀先這個時候已經有點兒認同薛兆恆的設計了,看來人家不是信口胡說,是帶著數據來的。

  模擬的結果除了綜合效率之外,還有【任務預計完成時間】和【內存等待占比】等幾個詳細選項。

  任務預計完成時間是一點七七秒。

  丁耀先掃了過去,沒太在意。

  然後繼續看內存等待占比,百分之六點五。

  他突然意識到有點兒不對。

  一點七七秒?

  剛才l100的模擬結果是使用的同一個任務吧,那個時間是多少來著?

  丁耀先感覺渾身一激靈,既覺得有可能是自己記錯了,又隱約覺得似乎真有這個細節。

  這個模擬軟體對過去的模擬結果都有歷史記錄,l100的模擬結果就在前面三個,丁耀先咽了口口水,問道:「我們再對比一下l100的結果?」

  沒人提出反對。  趙文淵把這次結果的標籤頁單獨拖了出來,留在屏幕的一邊,然後在屏幕的另一邊打開了l100的模擬歷史記錄。

  任務預計完成時間六點八四秒。

  冰芯這邊的人也都意識到哪裡不對了。

  算力提升了百分之三十多,但是訓練速度變成了原來的四倍。

  封裝負責人的身子往前探了探,喃喃地說出口:「這怎麼可能?」

  剛才輸入參數的時候,封裝帶寬的數據已經被壓縮到很保守的水平了,對冰芯來說屬於沒有技術挑戰。

  相對應的,通信效率就會很受影響,這種多芯粒設計受到的影響最大。

  怎麼可能會出現這樣的結果?

  丁耀先也抬起頭看向趙文淵,想讓他給個解釋。

  他甚至都沒問問題,很顯然,兩組數據的對比顯得不合常理,這需要一個解釋。

  趙文淵淡淡一笑。

  「看起來大家都很驚訝,可能是因為你們對大模型的訓練管線不太了解。」趙文淵開口道,語氣平淡,仿佛在討論一件微不足道的小事。  其實他心裡已經樂開了花。

  雖然技術方向是大家頭腦風暴出來的,但是既然是我來講解和演示,那這個逼就讓我一個人裝吧。

  冰芯的各位,準備好,表演開始了!

  「l200的異構設計不只是拿幾個小芯粒堆起來而已,它是為湯圓的訓練管線特意設計過的。」趙文淵用手指著屏幕上的四塊芯粒,說道,「我們對訓練的每一步任務都做了精細的規劃,會用到哪種算子,任務量有多大,編譯器都可以提前規劃好,這是一種在訓練開始之前就進行過的宏觀優化,訓練一旦開始,所有的計算都會在同一個芯粒里完成,只有在最後reduce的階段才需要進行通信。」

  「這樣,在密集運算的過程中,每一個芯粒其實都是一個完整的晶片,顯存讀取也被降到了最低。」

  「為什麼我們能用比英偉達落後的製程達到效率上的反超?」

  「英偉達要照顧所有的用戶,而我們只需要考慮湯圓就可以。」

  「答案就是這麼簡單。」

  趙文淵話說完,全場安靜。

  他靜靜的享受了幾秒鐘這會議室里的寧靜,直到一個清脆的鼓掌聲將這寧靜打破。

  是廖伯韜。

  他一邊慢慢鼓掌,一邊臉上露出了一個真誠的笑容。  「趙總還說自己是外行人,我看趙總對晶片設計是真正的內行啊。」廖伯韜說道,「先想好要跑什麼任務,才進行晶片設計,蘋果做m系列的時候走得就是這條路。軟硬體能夠協同設計,才能做到效率的天花板上,源智在這方面得天獨厚啊。」

  說完他嘆了一口氣:「這條路,冰芯還沒有走過。」

  這話一出來,會議室里的人都有點兒明白他的意思了,所有的目光都匯聚在廖伯韜的身上。

  廖伯韜環顧了一下四周,最終把目光放在韓路一身上,開口道:「韓總,冰芯和源智的合作,可以就按照你們剛才提的路線來。」

  「設計方案你們出,冰芯負責把它生產出來,l200就是冰芯下半年的核心項目。」廖伯韜說這話的時候,心裡也久違的升起了一點兒激動的情緒。

  他做技術五十年了,見到這種突破性的東西還是會覺得興奮。

  這個東西做出來,如果真能有模擬中的效果,甚至只有它百分之八十的效果,也算是在計算晶片的領域走出了一條新路來。

  這不是口號里說的國產替代。

  這是真真正正在技術邊界上的探索和創新。

  韓路一也能看到廖伯韜的真誠,他站起身走到廖伯韜身邊,兩人再次握了握手。

  「廖總,合作愉快。」

  「合作愉快。」  在合作意向達成之後,兩家企業的合作具體以什麼形式、以誰主導,這才算是定了下來。

  當然,會議到這還沒結束,接下來雙方要以同一個研發團隊的方式來討論問題了。

  第一個要定的就是時間線。

  丁耀先拿出冰芯先前準備的時間表快速看了一眼,說道:「冰芯這邊,最快五月底之前成立項目組,人手到位。」

  「我們這邊的設計已經開始了,預計在九月之前把設計定稿。」薛兆恆下了保證書。

  兩邊合計了一下,如果一切順利的話,今年年底應該能進行第一次流片。

  再留三個月的緩衝期,四到五月就能拿到測試集群了,離現在將近一年。

  韓路一皺了皺眉頭,問道:「丁總,能不能再快點兒?」

  丁耀先尷尬地笑了笑。

  要是別人這麼說,他就直接開懟了,不到一年就拿到產品,這個速度在晶片領域已經是火箭速度了好嗎?嫌慢?找別人去!

  但是問話的人是韓路一,他只能一邊在心中默念「莫生氣」,一邊陪著笑解釋道:「韓總,這已經是我們這邊全年無休才能出來的方案了,晶片研發不是軟體開發,就是要這麼長時間。」

  全年無休,這話倒是把韓路一說得不好意思了。  他笑了一下,說道:「我們對技術能力還是有自信的,如果軟體方面我們能提供什麼支持,丁總儘管開口。」

  這話說的丁耀先心中一動,臉上的笑容也變得真誠了許多:「那剛才的那款模擬軟體,是不是能——」

  「當然,我一會讓趙總和你聊細節,如果有什麼功能改進上的需求也可以和他講。」

  兩家的時間線協調完了,丁耀先在時間表上手動寫了個更新後的日期,然後在上面畫了個圈。

  「明年四月一日之前,讓第一套l200集群上線!」

  看著這個日期,韓路一默默想著,這個日期還挺有意義的。

  湯圓第一次在公眾面前亮相,也是這一天。

  等到會議開完,已經是傍晚的時候了,源智的四個人從冰芯總部出來,恰好能看到一片晚霞。

  源智總部的大樓就在遠處的一片晚霞中迎接著他們。

  幾人沿著街道往回走。

  趙文淵拿出手機來,屏幕上摺疊的全都是知乎的提示。

  他打開app,中午那個回答下面已經有幾百條評論了,其中最高贊的一條是:  「且聽龍吟是吧?提頭來見是吧?還敢說一年內國產晶片跑通訓練?建議答主留下姓名,一年以後回來考古。到時候如果真有哪家跑通了,我直播吃」

  趙文淵看著這條評論,沒有回覆的興趣,反倒是修改了原答案。

  你以為我是吹牛,其實我是真有東西,這才是在網際網路裝逼的精髓。

  「更新:剛開完一個會,保密程度比較高,不能多說,我只能說——」

  「諸君,且聽龍吟。」

  點擊發布,趙文淵心滿意足地收起了手機。

  韓路一好奇的掃了他一眼:「怎麼了?」

  趙文淵背著手,面對著滿天紅霞,語氣雲淡風輕:「沒什麼,給網友做了一點兒簡單的科普。」

  韓路一搖了搖頭,今天可是給老趙裝爽了,但是結果很好,他懶得拆穿。

  這種低成本的開心,總比買個樓便宜。

  「看來明天是個好天氣。」韓路一突然開口道。

  「啊?你怎麼知道?」趙文淵問道。  「朝霞不出門,晚霞行千里嘛。」


章節目錄