第294章 十七個集群，十七倍算力
第294章 十七個集群，十七倍算力
聽到江松然這話，張彪一愣。
張彪在張家口的機房待了幾個月，和海城這邊聯繫最多的就是江松然，其次才是韓路一。
說實話，他一開始和江松然合作是有點兒自卑的。
江松然是美國回來的博士，乾的都是高科技的活，有時候嘴裡說出來的名詞，張彪別說聽說過，甚至都聽不懂。
而張彪本人呢，雖然在他的領域裡，他相信自己不輸任何人。
可是一說到硬體、伺服器、布線這些，他腦子就犯困。
所以他除了白天的工作之外，每天晚上還會花幾個小時的時間和湯圓聊天——學習，學白天遇到的新名詞，是什麼，幹什麼用的，學完再寫在隨身的小本上，時不時拿出來翻看。
這個學習的勁頭，甚至比當年在部隊考軍校還要努力。
神奇的是，隨著張彪的學習，他和江松然交流時能聽懂的詞越來越多了，提出的問題也越來越在關鍵點上。
如果說誰最能感受到張彪的變化的話，除了江松然，可能只有視界了。
在韓路一眼中，兩個月沒見，張彪的屬性又發生了翻天覆地的變化。
【張彪|32歲】
【格鬥S|技術C|協作A|穩定S】
【特技：機房管理|近身格鬥|武器使用】
【詞條：百戰|堅韌】
別看技術只是C，這也是經過視界認可的，矽明前任CE0薛兆恆的管理可是D，張彪的評價還更高一些。
幾人很快進入工作狀態，張彪把手裡的圖紙攤開，用手在上面指著講解道：「目前八千一百九十二張L100已經全部到場，機櫃安裝完成九成五，剩下的主要是最後兩排的線纜和供電核驗。」
「運維團隊這邊現在分了四個組。」
「第一組負責上架，第二組負責供電和液冷，第三組負責網絡和線纜，第四組負責資產編號和故障記錄。每一台機器進場之後，掃資產碼，再核對槽位，再接電，再接網絡，最後統一打標籤。」
「每個機櫃裡哪幾張卡，接到哪台交換機，哪條線纜編號多少，都在這張表上。」
如果是電子化的表格記錄會更好一些。
但是對於張彪能把現場管理到這種程度，幾人都很滿意，沒人挑表格不是電子版這種毛病。
一般人可能對近萬張顯卡、幾十排機櫃沒有概念。
光擺放這些機櫃的房間就得有三個籃球場那麼大。
本書首發 TW 看書網超便捷，𝐬𝐡𝐮.𝐭𝐰輕鬆看 ,提供給你無錯章節，無亂序章節的閱讀體驗
更何況機櫃的安裝不是放在那就結束了，供電、液冷、網絡、調度，任何一個環節都不能出差錯。
真正安裝完的機房是個非常擁擠的立體空間，頂上有冷氣管道，櫃間密密麻麻的走線全在地板下面。
雖然數據中心的工人團隊本就熟悉這套流程，但張彪作為唯一的甲方代表，能把這麼大的場面管得這麼順，確實不容易。
實際上，江松然本來以為自己過來的一大半時間要花費在指揮機櫃的安裝上。
沒想到他到的時候，安裝已經快結束了。
「彪哥，最近幾個月學了不少東西啊。」韓路一說了一句，面板上看到的變化雖然直觀，但是現實中看到張彪把這些細節管理地井井有條，更有真實感。
張彪臉上表情沒什麼大的變化，只是點了點頭。
但韓路一還是注意到他的嘴角微微動了動。
幾人走進機房大樓，隔著玻璃門，可以看見裡面擺的整整齊齊的機櫃。
韓路一欣慰地點了點頭，源智自己的計算資源已經初具規模了。
下午三點十七分，最後一批機櫃完成接線。
張彪在對講機里確認完最後一個點位之後，轉身對韓路一說：「韓總，可以開始第一輪通電測試。」
江松然上前接過了指揮權。
在場的人里只有他指揮過這樣的大場面。
「供電組收到。」
「液冷組收到。」
「網絡組收到。」
「監控平台準備完成。」
「開始上電。」
隨著一聲聲指令下達，一排排指示燈從遠處亮起。
綠色的光像潮水一樣，從第一排機櫃一直蔓延到最後一排。
低沉的風聲和水泵聲漸漸變大，像一頭沉睡的巨獸正在醒來。
江松然站在監控屏前，盯著上面的數字。
供電正常。
溫度正常。
液冷流速正常。
單卡自檢正常。
第一輪測試很順利。
張彪鬆了一口氣，旁邊幾個運維組的人也忍不住交換了一下眼神。
但是江松然知道，真正的挑戰才剛開始。
之前的五百卡是跑在同一個集群里，現在的八千一百九十二張卡可以分成了十六個集群，每個的上限都在五百一十二張卡。
這次布線能不能把新的十六個集群都提到跟老集群一樣的效率，甚至，還能不能擴大
成更大的集群？
以前沒有這麼多卡，沒法試，這次可以試試了。
江松然在機房的控制終端前坐下，開始進行壓力測試。
他沒一上來就跑五一二卡，而是先從八卡開始。
一般八張顯卡會放在一張伺服器上，也叫一個節點，這八張卡之間的通信叫做節點內通信，速度更快。
每個機櫃會有八台伺服器。
五一二卡就是八個機櫃。
從節點內通信到節點間通信，再到機櫃間通信，每一步都是一個難度升級。
隨著測試進入到五一二卡，監控屏幕上的曲線已經不是平滑上漲了，可以見到斜率變緩的趨勢。
看了一會監控，江松然更改設置，把兩個五一二卡的集群並在了一起。
新任務下發。
這一次，監控屏的曲線發生了明顯的變動，延遲迅速上升。
監控屏上出現了一片紅色。
「失敗了啊—」江松然苦笑了一聲。
這其實是預料之中的事情。
大型顯卡集群需要從硬體到軟體到通信協議各個層級的優化才能實現。
源智的L100集群現在用的是東拼西湊來的各種開源技術，還沒來得及進行任何優化。
能達到五一二卡的集群規模已經是謝天謝地了，想要在什麼改動都不做的情況下去沖千卡，只能是墜機收尾了。
韓路一收回視界，滿眼的紅光從視野中消失。
視界定位的結論是：注意力層之後的歸約通信，幾個任務分片同時撞上了同一批物理鏈路，觸發了跨排鏈路堵塞。
他正準備開口，江松然先說話了。
「通信模式和物理拓撲對不上。」江松然指著屏幕上的波形說道，「你們看，每次擁塞都在注意力層之後，幾個分片同時在跑歸約運算，一起發到跨排鏈路上了，所以每個尖峰都在注意力層後面。」
趙文淵抱著手站在旁邊，開口了：「是因為通信協議？」
「是啊，是因為通信協議。」江松然確認道。
然後江松然轉向韓路一，語氣遺憾：「韓總，現在用的通信模式在五百卡已經是上限了。」
江松然和趙文淵得出了與韓路一一樣的結論。
區別是，韓路一是開掛看出來的，視界直接幫他定位到了數據阻塞的地方，也給出了原因。
而江松然和趙文淵卻是憑藉他們多年的實戰經驗和技術理解得出的結論。
果然，頂級技術專家的含金量在這裡就體現出來了。
人才雖然貴，但貴有貴的道理。
韓路一暗自點頭。
視界再厲害，他也只是一個人，他不可能自己攻克所有的技術難關。
團隊裡有了趙文淵、江松然，以及新加入的薛兆恆這些各個方面的人才，才是源智走得更遠的底氣。
韓路一的臉上沒有失望的表情，反過來安慰兩人：「沒事，能增加十六個五百卡集群，對我們來說已經是個巨大的進步了，路要一步一步走，飯要一口一口吃。」
「我們現在最迫在眉睫的任務是解決推理算力的問題，推理請求對顯存和卡間通信的需求都沒有那麼大，現在我們有之前十七倍的算力，湯圓的潛力終於可以被釋放出來了。」
這話江松然當然也知道。
超大集群主要是訓練的需求，推理不需要。
如果按照正常公司的流程，現在要麼是採購英偉達的硬體，使用現成的解決方案。
要麼就是還遠遠沒有到需要自研超大集群通信的進度。
源智能走到今天這一步，發展過程就像是坐上了火箭。
原本在江松然看來，光解決算子適配的問題就得花幾年時間，經過這幾天的離奇經歷之後，他把這個預期調整成了幾個月。
所以，幾個月之後，超大集群就得建起來。
所以，一個原本他以為短期內都不會遇到的問題突然變得棘手了起來。
源智現在撞上了一堵牆。
這是一堵到現在為止，只有英偉達跨過去了的牆
顯卡間通信效率。
韓路一看著監控屏幕上滿屏的紅色警告，笑了一下：「我們會找到辦法的。」
江松然看了看完全沒有擔心神色的趙文淵，又看了看韓路一。
不知道為什麼，他心中也生出一股自信來，不僅是對源智科技團隊的自信，也是對韓路一的自信。
之前認為解決不了的問題都解決了，難道現在會在這裡被卡住嗎？
不會的。
江松然沒再說話，轉身回到了控制終端前，把剛才的測試日誌導出來，為下一步技術突破做準備。
>
聽到江松然這話，張彪一愣。
張彪在張家口的機房待了幾個月，和海城這邊聯繫最多的就是江松然，其次才是韓路一。
說實話，他一開始和江松然合作是有點兒自卑的。
江松然是美國回來的博士，乾的都是高科技的活，有時候嘴裡說出來的名詞，張彪別說聽說過，甚至都聽不懂。
而張彪本人呢，雖然在他的領域裡，他相信自己不輸任何人。
可是一說到硬體、伺服器、布線這些，他腦子就犯困。
所以他除了白天的工作之外，每天晚上還會花幾個小時的時間和湯圓聊天——學習，學白天遇到的新名詞，是什麼，幹什麼用的，學完再寫在隨身的小本上，時不時拿出來翻看。
這個學習的勁頭，甚至比當年在部隊考軍校還要努力。
神奇的是，隨著張彪的學習，他和江松然交流時能聽懂的詞越來越多了，提出的問題也越來越在關鍵點上。
如果說誰最能感受到張彪的變化的話，除了江松然，可能只有視界了。
在韓路一眼中，兩個月沒見，張彪的屬性又發生了翻天覆地的變化。
【張彪|32歲】
【格鬥S|技術C|協作A|穩定S】
【特技：機房管理|近身格鬥|武器使用】
【詞條：百戰|堅韌】
別看技術只是C，這也是經過視界認可的，矽明前任CE0薛兆恆的管理可是D，張彪的評價還更高一些。
幾人很快進入工作狀態，張彪把手裡的圖紙攤開，用手在上面指著講解道：「目前八千一百九十二張L100已經全部到場，機櫃安裝完成九成五，剩下的主要是最後兩排的線纜和供電核驗。」
「運維團隊這邊現在分了四個組。」
「第一組負責上架，第二組負責供電和液冷，第三組負責網絡和線纜，第四組負責資產編號和故障記錄。每一台機器進場之後，掃資產碼，再核對槽位，再接電，再接網絡，最後統一打標籤。」
「每個機櫃裡哪幾張卡，接到哪台交換機，哪條線纜編號多少，都在這張表上。」
如果是電子化的表格記錄會更好一些。
但是對於張彪能把現場管理到這種程度，幾人都很滿意，沒人挑表格不是電子版這種毛病。
一般人可能對近萬張顯卡、幾十排機櫃沒有概念。
光擺放這些機櫃的房間就得有三個籃球場那麼大。
本書首發 TW 看書網超便捷，𝐬𝐡𝐮.𝐭𝐰輕鬆看 ,提供給你無錯章節，無亂序章節的閱讀體驗
更何況機櫃的安裝不是放在那就結束了，供電、液冷、網絡、調度，任何一個環節都不能出差錯。
真正安裝完的機房是個非常擁擠的立體空間，頂上有冷氣管道，櫃間密密麻麻的走線全在地板下面。
雖然數據中心的工人團隊本就熟悉這套流程，但張彪作為唯一的甲方代表，能把這麼大的場面管得這麼順，確實不容易。
實際上，江松然本來以為自己過來的一大半時間要花費在指揮機櫃的安裝上。
沒想到他到的時候，安裝已經快結束了。
「彪哥，最近幾個月學了不少東西啊。」韓路一說了一句，面板上看到的變化雖然直觀，但是現實中看到張彪把這些細節管理地井井有條，更有真實感。
張彪臉上表情沒什麼大的變化，只是點了點頭。
但韓路一還是注意到他的嘴角微微動了動。
幾人走進機房大樓，隔著玻璃門，可以看見裡面擺的整整齊齊的機櫃。
韓路一欣慰地點了點頭，源智自己的計算資源已經初具規模了。
下午三點十七分，最後一批機櫃完成接線。
張彪在對講機里確認完最後一個點位之後，轉身對韓路一說：「韓總，可以開始第一輪通電測試。」
江松然上前接過了指揮權。
在場的人里只有他指揮過這樣的大場面。
「供電組收到。」
「液冷組收到。」
「網絡組收到。」
「監控平台準備完成。」
「開始上電。」
隨著一聲聲指令下達，一排排指示燈從遠處亮起。
綠色的光像潮水一樣，從第一排機櫃一直蔓延到最後一排。
低沉的風聲和水泵聲漸漸變大，像一頭沉睡的巨獸正在醒來。
江松然站在監控屏前，盯著上面的數字。
供電正常。
溫度正常。
液冷流速正常。
單卡自檢正常。
第一輪測試很順利。
張彪鬆了一口氣，旁邊幾個運維組的人也忍不住交換了一下眼神。
但是江松然知道，真正的挑戰才剛開始。
之前的五百卡是跑在同一個集群里，現在的八千一百九十二張卡可以分成了十六個集群，每個的上限都在五百一十二張卡。
這次布線能不能把新的十六個集群都提到跟老集群一樣的效率，甚至，還能不能擴大
成更大的集群？
以前沒有這麼多卡，沒法試，這次可以試試了。
江松然在機房的控制終端前坐下，開始進行壓力測試。
他沒一上來就跑五一二卡，而是先從八卡開始。
一般八張顯卡會放在一張伺服器上，也叫一個節點，這八張卡之間的通信叫做節點內通信，速度更快。
每個機櫃會有八台伺服器。
五一二卡就是八個機櫃。
從節點內通信到節點間通信，再到機櫃間通信，每一步都是一個難度升級。
隨著測試進入到五一二卡，監控屏幕上的曲線已經不是平滑上漲了，可以見到斜率變緩的趨勢。
看了一會監控，江松然更改設置，把兩個五一二卡的集群並在了一起。
新任務下發。
這一次，監控屏的曲線發生了明顯的變動，延遲迅速上升。
監控屏上出現了一片紅色。
「失敗了啊—」江松然苦笑了一聲。
這其實是預料之中的事情。
大型顯卡集群需要從硬體到軟體到通信協議各個層級的優化才能實現。
源智的L100集群現在用的是東拼西湊來的各種開源技術，還沒來得及進行任何優化。
能達到五一二卡的集群規模已經是謝天謝地了，想要在什麼改動都不做的情況下去沖千卡，只能是墜機收尾了。
韓路一收回視界，滿眼的紅光從視野中消失。
視界定位的結論是：注意力層之後的歸約通信，幾個任務分片同時撞上了同一批物理鏈路，觸發了跨排鏈路堵塞。
他正準備開口，江松然先說話了。
「通信模式和物理拓撲對不上。」江松然指著屏幕上的波形說道，「你們看，每次擁塞都在注意力層之後，幾個分片同時在跑歸約運算，一起發到跨排鏈路上了，所以每個尖峰都在注意力層後面。」
趙文淵抱著手站在旁邊，開口了：「是因為通信協議？」
「是啊，是因為通信協議。」江松然確認道。
然後江松然轉向韓路一，語氣遺憾：「韓總，現在用的通信模式在五百卡已經是上限了。」
江松然和趙文淵得出了與韓路一一樣的結論。
區別是，韓路一是開掛看出來的，視界直接幫他定位到了數據阻塞的地方，也給出了原因。
而江松然和趙文淵卻是憑藉他們多年的實戰經驗和技術理解得出的結論。
果然，頂級技術專家的含金量在這裡就體現出來了。
人才雖然貴，但貴有貴的道理。
韓路一暗自點頭。
視界再厲害，他也只是一個人，他不可能自己攻克所有的技術難關。
團隊裡有了趙文淵、江松然，以及新加入的薛兆恆這些各個方面的人才，才是源智走得更遠的底氣。
韓路一的臉上沒有失望的表情，反過來安慰兩人：「沒事，能增加十六個五百卡集群，對我們來說已經是個巨大的進步了，路要一步一步走，飯要一口一口吃。」
「我們現在最迫在眉睫的任務是解決推理算力的問題，推理請求對顯存和卡間通信的需求都沒有那麼大，現在我們有之前十七倍的算力，湯圓的潛力終於可以被釋放出來了。」
這話江松然當然也知道。
超大集群主要是訓練的需求，推理不需要。
如果按照正常公司的流程，現在要麼是採購英偉達的硬體，使用現成的解決方案。
要麼就是還遠遠沒有到需要自研超大集群通信的進度。
源智能走到今天這一步，發展過程就像是坐上了火箭。
原本在江松然看來，光解決算子適配的問題就得花幾年時間，經過這幾天的離奇經歷之後，他把這個預期調整成了幾個月。
所以，幾個月之後，超大集群就得建起來。
所以，一個原本他以為短期內都不會遇到的問題突然變得棘手了起來。
源智現在撞上了一堵牆。
這是一堵到現在為止，只有英偉達跨過去了的牆
顯卡間通信效率。
韓路一看著監控屏幕上滿屏的紅色警告，笑了一下：「我們會找到辦法的。」
江松然看了看完全沒有擔心神色的趙文淵，又看了看韓路一。
不知道為什麼，他心中也生出一股自信來，不僅是對源智科技團隊的自信，也是對韓路一的自信。
之前認為解決不了的問題都解決了，難道現在會在這裡被卡住嗎？
不會的。
江松然沒再說話，轉身回到了控制終端前，把剛才的測試日誌導出來，為下一步技術突破做準備。
>