第363章 釣魚佬吃上飯了
章聞鐸說道：「這個問題我也想到了，傳統的方法肯定是等一個batch（批次）的訓練都跑完，新參數更新回模型，再跑下一個batch，但那是一般的模型，長程任務不夠多，也不夠長。像我做的這個實驗，用這種傳統算法，平均下來計算卡利用率只有百分之二十多。」
百分之二十多，趙文淵在心裡複述了一下，現在湯圓的後訓練任務，平均利用率大概是百分之四十多，兩者相差一倍。
章聞鐸左右看了看，沒在趙文淵的桌子上找到紙筆，乾脆把自己的設備申請表翻過來，從褲兜里掏出一隻原子筆，在上面寫了起來。
「院長你看，這個是我想出來的新架構。」
他在紙的中心畫了一個圓，兩側各有兩排小人，一排寫著actor（行動者），一排寫著learner（學習者）。中間的圓則是經驗池。
在傳統的學習方法中，行動者全部行動完之後，會得到一批結果，學習者把這些結果更新到原本的模型中，行動者再基於新版本的模型進行行動。
就這樣模型、行動者、學習者、模型、行動者、學習者反覆執行，一直到最後的結果達到相對最優，沒有進步的空間，就算是完成了訓練。
「你是說，放棄同步策略，改用異步策略？」
章聞鐸講完之後，趙文淵已經懂了。
所謂同步，就是你走一步，等你走完，我再走一步，大家不會同時走。好處是數據永遠同步，壞處是慢。
而異步就是我走了告訴你一聲，你也可以走，等你走完再告訴我一聲，但你走的同時我還在走。好處是快，壞處是數據會亂。 在傳統的編程領域，同步和異步各有好處。
但是在機器學習領域異步的應用遠遠不如同步的應用，因為大多數時候，準確率要比速度重要的多。
誰也不想飛快地訓練出一個傻瓜模型，那沒有任何意義。
趙文淵心裡想了一下，說道：「還是剛才的老問題，新一輪的行動已經開始了，用的卻是老的模型，這中間造成的偏差怎麼辦？」
章聞鐸說道：「在我的這個實驗裡，每個行動結果的重要性不是完全相同的，大部分結果其實沒那麼重要，真正重要的幾個結果，我已經提前標出來了，只要在訓練的過程中，這幾個關鍵步驟被更新，其他的步驟就算被跳過，對最終結果的影響也不太大。」
「效果怎麼樣？」趙文淵問道，他的聲音已經不自覺提高了幾分。
「運氣好的時候能跑到百分之八十多。」章聞鐸說道，「但運氣不好，長程任務把所有的actor都占了，大家一起陷入等待，這個策略就失效了，所以我才來申請多幾張卡。」
趙文淵愣了一下。
八十多？
如果計算卡的平均利用率能從百分之四十提到百分之八十，那訓練時間至少能縮短百分之三十。
至少！
「章博士，你說的準確率不會受影響，大概會影響多少？更新的關鍵步驟怎麼標註？」趙文淵急切地問道。 「額，我——」章聞鐸被趙文淵的狀態嚇了一跳。
我不是來申請卡的嗎？怎麼突然問這麼細？實驗數據都在我電腦里啊。
趙文淵也意識到這些細節估計章聞鐸一下子講不清楚，他站起身，說道：「走，章博士，去你那看看實驗數據，還有訓練框架的代碼。」
章聞鐸也愣愣的站起來，還有點兒搞不清狀況。
「那，院長，我那六十四張卡——」
「要是真有你說的那麼好，六十四張卡我肯定給你擠出來，我一會給你電子批，現在先去你工位。」
趙文淵風風火火地走了出去。
章聞鐸回頭看了看，把桌子上那張背面畫著水池和小人兒的申請表拿了起來，也跟著趙文淵出門了。
本書首發 TW 看書網超好用，𝖘𝖍𝖚.𝖙𝖜隨時看 ,提供給你無錯章節，無亂序章節的閱讀體驗
兩人來到章聞鐸的工位上，章聞鐸先把之前的實驗數據調出來。
為了證明這個異步框架能跑，章聞鐸用相同的數據在同步框架和異步框架里都進行了訓練，然後對比了準確率的差異。
在不標註關鍵步驟的時候，模型準確率下降了百分之三到五，訓練曲線也更抖，收斂慢了不少。
在標註關鍵步驟的時候，準確率的損失幾乎可以忽略不計，和同步訓練相差不到百分之一，曲線也基本平穩。 而用時方面，異步訓練所花費的時間只有同步訓練的不到一半。
看完了訓練數據之後，趙文淵興奮地拍了一下章聞鐸的肩膀。
釣魚佬能吃上飯了！
章聞鐸又嚇了一跳。
他能感覺出趙文淵對這個成果應該很滿意，但是他不太知道為什麼。
我的世界模型都還沒開始訓練呢，這個異步框架只是訓練過程中的一個副產品，你對著一個副產品這麼激動幹什麼。
是不是沒見過世面？
趙文淵看章聞鐸一副不在乎的樣子，估計他完全意識不到這個框架的價值，於是問道：「你知道現在各個大模型公司捲來捲去，卷資本、卷人才、卷算力、卷數據，但是他們永遠卷不出來的是什麼嗎？」
章聞鐸茫然地搖了搖頭。
「是時間，訓練需要計算，計算就需要時間。」趙文淵說道，「你這套異步訓練框架，準確率損失這麼一點，卻把時間直接縮短了一半。別人訓練一次的時間，你能訓練兩次！這有多大價值你知道嗎？」
趙文淵笑著又拍了一下章聞鐸的肩膀。
「你要是有興趣，把這個思路寫個論文，你放心，引用少不了的。但是現在嘛——」趙文淵說道，「你先把手裡的活兒停一停，跟我一起把這套框架寫完，我們用到湯圓上。」 「院長，那我現在的項目怎麼辦啊？」章聞鐸問道。
在他心裡，顯然是世界模型的項目更重要一些。
「你幫我把湯圓的訓練搞好了，我批一百——不，二百五十六張l100給你，你的項目做起來比現在快十倍。」
章聞鐸沒再說話，點了點頭。
他站在原地，慢慢消化著趙文淵所說的話。
我原來寫出來了這麼了不得的東西嗎？值二百五十六張卡？
趙文淵沒管年輕的章博士對自己的科研成果有什麼感想，他現在慶幸的是，用了這個新框架，湯圓1.0的訓練應該能趕在五月底之前完成了。
果然，沒有韓總在，我就能自己解決問題了。
得跟他匯報一下。
怎麼說才能顯得雲淡風輕又逼味十足呢？
趙文淵回到自己的辦公室之後，坐在椅子上仔細想了想，反覆斟酌了措辭之後，給韓路一發了一條信息。
「韓總，研究院團隊開發了一個新的訓練框架，可以把訓練速度提升到過去的兩倍。預計可以在五月底順利完成湯圓1.0的訓練任務。」 過了一會兒，趙文淵收到了韓路一的消息。
「不錯。」
「【貓咪點讚】」
趙文淵感覺自己的一套逼裝到了空處，他看著回信，眨了眨眼。
韓總——
什麼時候開始用這套表情包了？
百分之二十多，趙文淵在心裡複述了一下，現在湯圓的後訓練任務，平均利用率大概是百分之四十多，兩者相差一倍。
章聞鐸左右看了看，沒在趙文淵的桌子上找到紙筆，乾脆把自己的設備申請表翻過來，從褲兜里掏出一隻原子筆，在上面寫了起來。
「院長你看，這個是我想出來的新架構。」
他在紙的中心畫了一個圓，兩側各有兩排小人，一排寫著actor（行動者），一排寫著learner（學習者）。中間的圓則是經驗池。
在傳統的學習方法中，行動者全部行動完之後，會得到一批結果，學習者把這些結果更新到原本的模型中，行動者再基於新版本的模型進行行動。
就這樣模型、行動者、學習者、模型、行動者、學習者反覆執行，一直到最後的結果達到相對最優，沒有進步的空間，就算是完成了訓練。
「你是說，放棄同步策略，改用異步策略？」
章聞鐸講完之後，趙文淵已經懂了。
所謂同步，就是你走一步，等你走完，我再走一步，大家不會同時走。好處是數據永遠同步，壞處是慢。
而異步就是我走了告訴你一聲，你也可以走，等你走完再告訴我一聲，但你走的同時我還在走。好處是快，壞處是數據會亂。 在傳統的編程領域，同步和異步各有好處。
但是在機器學習領域異步的應用遠遠不如同步的應用，因為大多數時候，準確率要比速度重要的多。
誰也不想飛快地訓練出一個傻瓜模型，那沒有任何意義。
趙文淵心裡想了一下，說道：「還是剛才的老問題，新一輪的行動已經開始了，用的卻是老的模型，這中間造成的偏差怎麼辦？」
章聞鐸說道：「在我的這個實驗裡，每個行動結果的重要性不是完全相同的，大部分結果其實沒那麼重要，真正重要的幾個結果，我已經提前標出來了，只要在訓練的過程中，這幾個關鍵步驟被更新，其他的步驟就算被跳過，對最終結果的影響也不太大。」
「效果怎麼樣？」趙文淵問道，他的聲音已經不自覺提高了幾分。
「運氣好的時候能跑到百分之八十多。」章聞鐸說道，「但運氣不好，長程任務把所有的actor都占了，大家一起陷入等待，這個策略就失效了，所以我才來申請多幾張卡。」
趙文淵愣了一下。
八十多？
如果計算卡的平均利用率能從百分之四十提到百分之八十，那訓練時間至少能縮短百分之三十。
至少！
「章博士，你說的準確率不會受影響，大概會影響多少？更新的關鍵步驟怎麼標註？」趙文淵急切地問道。 「額，我——」章聞鐸被趙文淵的狀態嚇了一跳。
我不是來申請卡的嗎？怎麼突然問這麼細？實驗數據都在我電腦里啊。
趙文淵也意識到這些細節估計章聞鐸一下子講不清楚，他站起身，說道：「走，章博士，去你那看看實驗數據，還有訓練框架的代碼。」
章聞鐸也愣愣的站起來，還有點兒搞不清狀況。
「那，院長，我那六十四張卡——」
「要是真有你說的那麼好，六十四張卡我肯定給你擠出來，我一會給你電子批，現在先去你工位。」
趙文淵風風火火地走了出去。
章聞鐸回頭看了看，把桌子上那張背面畫著水池和小人兒的申請表拿了起來，也跟著趙文淵出門了。
本書首發 TW 看書網超好用，𝖘𝖍𝖚.𝖙𝖜隨時看 ,提供給你無錯章節，無亂序章節的閱讀體驗
兩人來到章聞鐸的工位上，章聞鐸先把之前的實驗數據調出來。
為了證明這個異步框架能跑，章聞鐸用相同的數據在同步框架和異步框架里都進行了訓練，然後對比了準確率的差異。
在不標註關鍵步驟的時候，模型準確率下降了百分之三到五，訓練曲線也更抖，收斂慢了不少。
在標註關鍵步驟的時候，準確率的損失幾乎可以忽略不計，和同步訓練相差不到百分之一，曲線也基本平穩。 而用時方面，異步訓練所花費的時間只有同步訓練的不到一半。
看完了訓練數據之後，趙文淵興奮地拍了一下章聞鐸的肩膀。
釣魚佬能吃上飯了！
章聞鐸又嚇了一跳。
他能感覺出趙文淵對這個成果應該很滿意，但是他不太知道為什麼。
我的世界模型都還沒開始訓練呢，這個異步框架只是訓練過程中的一個副產品，你對著一個副產品這麼激動幹什麼。
是不是沒見過世面？
趙文淵看章聞鐸一副不在乎的樣子，估計他完全意識不到這個框架的價值，於是問道：「你知道現在各個大模型公司捲來捲去，卷資本、卷人才、卷算力、卷數據，但是他們永遠卷不出來的是什麼嗎？」
章聞鐸茫然地搖了搖頭。
「是時間，訓練需要計算，計算就需要時間。」趙文淵說道，「你這套異步訓練框架，準確率損失這麼一點，卻把時間直接縮短了一半。別人訓練一次的時間，你能訓練兩次！這有多大價值你知道嗎？」
趙文淵笑著又拍了一下章聞鐸的肩膀。
「你要是有興趣，把這個思路寫個論文，你放心，引用少不了的。但是現在嘛——」趙文淵說道，「你先把手裡的活兒停一停，跟我一起把這套框架寫完，我們用到湯圓上。」 「院長，那我現在的項目怎麼辦啊？」章聞鐸問道。
在他心裡，顯然是世界模型的項目更重要一些。
「你幫我把湯圓的訓練搞好了，我批一百——不，二百五十六張l100給你，你的項目做起來比現在快十倍。」
章聞鐸沒再說話，點了點頭。
他站在原地，慢慢消化著趙文淵所說的話。
我原來寫出來了這麼了不得的東西嗎？值二百五十六張卡？
趙文淵沒管年輕的章博士對自己的科研成果有什麼感想，他現在慶幸的是，用了這個新框架，湯圓1.0的訓練應該能趕在五月底之前完成了。
果然，沒有韓總在，我就能自己解決問題了。
得跟他匯報一下。
怎麼說才能顯得雲淡風輕又逼味十足呢？
趙文淵回到自己的辦公室之後，坐在椅子上仔細想了想，反覆斟酌了措辭之後，給韓路一發了一條信息。
「韓總，研究院團隊開發了一個新的訓練框架，可以把訓練速度提升到過去的兩倍。預計可以在五月底順利完成湯圓1.0的訓練任務。」 過了一會兒，趙文淵收到了韓路一的消息。
「不錯。」
「【貓咪點讚】」
趙文淵感覺自己的一套逼裝到了空處，他看著回信，眨了眨眼。
韓總——
什麼時候開始用這套表情包了？