第362章 釣魚佬能不能趕上聚餐
五月十四，京城。
天氣已經開始熱起來了。
趙文淵在長租公寓樓下掃了一輛共享單車，開始往源智京城研究院騎。從這騎過去一共是一公里多，但是早高峰的時段，比開車還快。
還能鍛鍊鍛鍊身體。
刷卡進到辦公室，和沿途遇見的幾個同事打了招呼，趙文淵去沖了杯咖啡——設備比較簡陋，沒有咖啡機，只有燒水壺，所以趙文淵自己帶的掛耳。
然後趙文淵回到自己的院長辦公室，打開電腦，開始查看訓練進度。
他已經從能在國產卡集群上跑訓練的狂喜中恢復過來了。
這個放在半年前想都不敢想的成就，此時此刻，並不能讓他高興起來。
趙文淵反思了一下，可能和韓總在一起待久了，有什麼神奇的成就也能習慣，人習慣新事物的能力是很強的。
現在他有了新的問題——時間不夠。
正常來說，一個後訓練任務跑個兩到三周，算是正常。
但是現在湯圓1.0想要趕上人工智慧大會的閉門測評，卻卡在兩周緊張，三周不夠的一個狀態。 簡單的說，就是訓練過程中一點岔子也不能出，然後祈禱運氣夠好，能在人工智慧大會的盲測截止日期前完成測試、整理材料和提交。
但是從現在的進度看，恐怕是不太行了。
前天的時候，預計訓練的完成時間是五月二十六日。
昨天，這個預計完成時間變成了五月二十八日。
現在再看，預計完成時間是六月三日，十一點四十分。
按照這個進度下去，恐怕最終的完成時間要拖到六月中旬，到時候人工智慧大會都開完了。
這倒也不是什麼大事，但是趙文淵就是覺得不舒服。
明明知道下一個版本的更強模型就要訓練出來了，卻要拿著上一代的湯圓0.9去打擂台，非常不舒服。
為了這個，趙文淵已經連著和江松然開了好幾個會，最後得出的結論是：這不是硬體的問題，不是基礎設施的問題，是算法的問題。
就算把湯圓的底座和那些數據拿到一個n卡集群上去跑，訓練的速度也不會更快了。
這次他倒是沒想著去找韓路一。
本書首發 海量小說在 TW 看書網，𝙨𝙝𝙪.𝙩𝙬任你讀 ,提供給你無錯章節，無亂序章節的閱讀體驗
因為後訓練是他的強項，他的領域，他不認為韓路一會比他更懂。 更重要的是，韓路一走之前特意跟他說過了，要對他放手。
那他就更得證明自己的價值了。
不就是訓練速度遇上了算法瓶頸嗎？不就是還沒有人做出來的更優化的訓練算法嗎？
難道我趙文淵就做不出來？
搞笑。
趙文淵讓訓練任務繼續跑下一輪，自己在電腦上調出了上一輪的運行數據。
仔細看了一圈之後，他發現了第一個問題。
各個節點的運行效率並不一樣。
transformer架構的開創性貢獻是把以前只能串行的機器學習任務變成了可以並行，於是機器學習也可以像大數據處理一樣用大集群來加快速度、提升效果。
基本原理也很簡單，就是把大任務切成小任務，派一個集群一起執行，執行完了之後合併在一起。
問題是怎麼分？
最理想的情況是，每個節點運算能力都一樣，那任務都分出來一樣大小，每個節點負責的任務量一樣。 這樣就沒有時間的浪費。
但是實際上很難做到平均分配。
因為後訓練的任務類型不一樣。
比如一個寢室決定聚餐，大家分別去採買食材，有人的任務是去超市買菜，有人的任務是去海里釣魚，買菜的人都回來了，魚還沒上鉤。
但是這沒辦法，釣魚是不可細分的最小任務。
現在通行的做法是，大家一起等這個釣魚佬回來，然後把階段性結果寫到硬碟里，再進行下一步。
問題是，該怎麼把效率再往上提一提呢？
趙文淵托著下巴正在想著，門外突然響起了敲門聲。
趙文淵被打斷了思路，緩了緩才說話。
「請進。」
章聞鐸推門走了進來，手裡拿著一張紙，徑直走到趙文淵的辦公桌前。
「院長，我來提個申請。」 「什麼申請？」
「我手裡有個新實驗，原來的十六張卡不夠用了，想申請六十四張卡來做。」章聞鐸一邊說著，一邊把申請表遞到趙文淵面前。
趙文淵皺了皺眉頭，現在他手底下用於研究的卡也就不到兩百張，除了章聞鐸之外，其他的幾個項目組也在排隊。六十四張還真不一定拿得出來。
趙文淵沉吟了一下，回憶著章聞鐸的研究方向。
「十六張也不少了，怎麼不夠？實驗內容有什麼變動嗎？」
章聞鐸看趙文淵要問細節，乾脆拉開椅子坐了下來，語氣有些興奮：「是這樣的，院長，我有個新想法。之前我做實驗的時候，不是有些長程任務嘛，把池子都占滿了，短程任務也跑不起來，我就想把池子做大一點兒，一個任務完成之後就讓——」
趙文淵一開始思路還跟得上，但是越聽越不對，不由得打斷了他：「不是，等等，章博士，你剛才來說，任務完成了之後直接回去取，不用等同一個batch（批次）的其他任務嗎？」
章聞鐸的方向是只有他一個人在做，平時就是查文獻、做實驗、記錄結果，現在看院長趙文淵對技術細節有興趣，他就打開了話匣子。
「是的，研究世界模型的話因果鏈比較長，有很多多步驟的長程任務，有時候一個任務就得好幾個小時，這個時候其他的任務都做完了，就等這一個長程任務太浪費了，所以我想了個方法，一個任務做完就回去取，不用等。」
趙文淵一邊聽一邊皺眉頭，到最後眉毛都擰成了麻花。
不對不對不對，這個方法和他認知的基礎框架有很大區別。
等到章聞鐸說完，他趕緊拋出了自己的疑問：「你上一輪還沒跑完，結果還沒更新回模型，就跑下一輪？這不是全亂套了嗎？」 拿趙文淵剛才自己想的那個例子來說，就相當於釣魚佬還沒回來，其他人都已經開吃了，等到釣魚佬回來了，那事還能小？
天氣已經開始熱起來了。
趙文淵在長租公寓樓下掃了一輛共享單車，開始往源智京城研究院騎。從這騎過去一共是一公里多，但是早高峰的時段，比開車還快。
還能鍛鍊鍛鍊身體。
刷卡進到辦公室，和沿途遇見的幾個同事打了招呼，趙文淵去沖了杯咖啡——設備比較簡陋，沒有咖啡機，只有燒水壺，所以趙文淵自己帶的掛耳。
然後趙文淵回到自己的院長辦公室，打開電腦，開始查看訓練進度。
他已經從能在國產卡集群上跑訓練的狂喜中恢復過來了。
這個放在半年前想都不敢想的成就，此時此刻，並不能讓他高興起來。
趙文淵反思了一下，可能和韓總在一起待久了，有什麼神奇的成就也能習慣，人習慣新事物的能力是很強的。
現在他有了新的問題——時間不夠。
正常來說，一個後訓練任務跑個兩到三周，算是正常。
但是現在湯圓1.0想要趕上人工智慧大會的閉門測評，卻卡在兩周緊張，三周不夠的一個狀態。 簡單的說，就是訓練過程中一點岔子也不能出，然後祈禱運氣夠好，能在人工智慧大會的盲測截止日期前完成測試、整理材料和提交。
但是從現在的進度看，恐怕是不太行了。
前天的時候，預計訓練的完成時間是五月二十六日。
昨天，這個預計完成時間變成了五月二十八日。
現在再看，預計完成時間是六月三日，十一點四十分。
按照這個進度下去，恐怕最終的完成時間要拖到六月中旬，到時候人工智慧大會都開完了。
這倒也不是什麼大事，但是趙文淵就是覺得不舒服。
明明知道下一個版本的更強模型就要訓練出來了，卻要拿著上一代的湯圓0.9去打擂台，非常不舒服。
為了這個，趙文淵已經連著和江松然開了好幾個會，最後得出的結論是：這不是硬體的問題，不是基礎設施的問題，是算法的問題。
就算把湯圓的底座和那些數據拿到一個n卡集群上去跑，訓練的速度也不會更快了。
這次他倒是沒想著去找韓路一。
本書首發 海量小說在 TW 看書網，𝙨𝙝𝙪.𝙩𝙬任你讀 ,提供給你無錯章節，無亂序章節的閱讀體驗
因為後訓練是他的強項，他的領域，他不認為韓路一會比他更懂。 更重要的是，韓路一走之前特意跟他說過了，要對他放手。
那他就更得證明自己的價值了。
不就是訓練速度遇上了算法瓶頸嗎？不就是還沒有人做出來的更優化的訓練算法嗎？
難道我趙文淵就做不出來？
搞笑。
趙文淵讓訓練任務繼續跑下一輪，自己在電腦上調出了上一輪的運行數據。
仔細看了一圈之後，他發現了第一個問題。
各個節點的運行效率並不一樣。
transformer架構的開創性貢獻是把以前只能串行的機器學習任務變成了可以並行，於是機器學習也可以像大數據處理一樣用大集群來加快速度、提升效果。
基本原理也很簡單，就是把大任務切成小任務，派一個集群一起執行，執行完了之後合併在一起。
問題是怎麼分？
最理想的情況是，每個節點運算能力都一樣，那任務都分出來一樣大小，每個節點負責的任務量一樣。 這樣就沒有時間的浪費。
但是實際上很難做到平均分配。
因為後訓練的任務類型不一樣。
比如一個寢室決定聚餐，大家分別去採買食材，有人的任務是去超市買菜，有人的任務是去海里釣魚，買菜的人都回來了，魚還沒上鉤。
但是這沒辦法，釣魚是不可細分的最小任務。
現在通行的做法是，大家一起等這個釣魚佬回來，然後把階段性結果寫到硬碟里，再進行下一步。
問題是，該怎麼把效率再往上提一提呢？
趙文淵托著下巴正在想著，門外突然響起了敲門聲。
趙文淵被打斷了思路，緩了緩才說話。
「請進。」
章聞鐸推門走了進來，手裡拿著一張紙，徑直走到趙文淵的辦公桌前。
「院長，我來提個申請。」 「什麼申請？」
「我手裡有個新實驗，原來的十六張卡不夠用了，想申請六十四張卡來做。」章聞鐸一邊說著，一邊把申請表遞到趙文淵面前。
趙文淵皺了皺眉頭，現在他手底下用於研究的卡也就不到兩百張，除了章聞鐸之外，其他的幾個項目組也在排隊。六十四張還真不一定拿得出來。
趙文淵沉吟了一下，回憶著章聞鐸的研究方向。
「十六張也不少了，怎麼不夠？實驗內容有什麼變動嗎？」
章聞鐸看趙文淵要問細節，乾脆拉開椅子坐了下來，語氣有些興奮：「是這樣的，院長，我有個新想法。之前我做實驗的時候，不是有些長程任務嘛，把池子都占滿了，短程任務也跑不起來，我就想把池子做大一點兒，一個任務完成之後就讓——」
趙文淵一開始思路還跟得上，但是越聽越不對，不由得打斷了他：「不是，等等，章博士，你剛才來說，任務完成了之後直接回去取，不用等同一個batch（批次）的其他任務嗎？」
章聞鐸的方向是只有他一個人在做，平時就是查文獻、做實驗、記錄結果，現在看院長趙文淵對技術細節有興趣，他就打開了話匣子。
「是的，研究世界模型的話因果鏈比較長，有很多多步驟的長程任務，有時候一個任務就得好幾個小時，這個時候其他的任務都做完了，就等這一個長程任務太浪費了，所以我想了個方法，一個任務做完就回去取，不用等。」
趙文淵一邊聽一邊皺眉頭，到最後眉毛都擰成了麻花。
不對不對不對，這個方法和他認知的基礎框架有很大區別。
等到章聞鐸說完，他趕緊拋出了自己的疑問：「你上一輪還沒跑完，結果還沒更新回模型，就跑下一輪？這不是全亂套了嗎？」 拿趙文淵剛才自己想的那個例子來說，就相當於釣魚佬還沒回來，其他人都已經開吃了，等到釣魚佬回來了，那事還能小？