第433章 數據不夠了
第433章 數據不夠了
周五早晨六點整，京城，水木大學博十生公寓裡。
伴隨著一陣手機鬧鐘的聲音，章聞鐸睜開了眼。
關掉鬧鐘，起床，洗漱，一切整理完之後大概過了十幾分鐘，章聞鐸已經坐在了電腦前面。
這還是他讀博時候的作息習慣，現在入職了源智科技一哦，不，現在已經改名叫起源集團了，雖然研究院的名字還叫源智京城研究院一章聞鐸還是保持著每天十一點睡六點起的作息沒變，因為他堅信自律才是成功的關鍵。
起來之後的時間用來看論文，因為經過一晚上的休息，這個時候的腦子是最清楚的。
你說為什麼已經博士畢業了還要看論文？
因為博士畢業不是學習的終點，那只是科研的起點。
看到七點半，章聞鐸會去食堂吃個早飯，他會點一個茶葉蛋、兩個水煮蛋和白粥。早餐要吃足夠的蛋白質來保證上午高效的工作，水煮蛋太淡，但是全吃茶葉蛋鈉含量又超過了居民膳食指南的推薦量，所以中和一下正好。
然後章聞鐸會騎共享單車去研究院的辦公室，離水木的校區只有三公里多，騎車十幾分鐘，比地鐵和公交車都快，還能鍛鍊身體，一舉兩得。
到辦公室正好是八點，在九點上班時間之前可以做些自己感興趣的研究。
章聞鐸很喜歡這樣規律的生活，但他最近有兩個煩惱。
第一個是關於住的地方，他已經博士畢業開始工作，學生公寓最多只能住到七月中旬，現在已
經是六月下旬，找個新的地方住是當務之急。
但是無論怎麼找都很難找到像學生公寓一樣性價比這麼高的選擇了。
更何況搬出去住連食堂都沒有了。
至於第二個煩惱，是和他的工作有關的，更加讓章聞鐸頭疼。
自從上次他提出的新的異步算法的架構大大提升了模型的訓練效率之後，趙文淵信守承諾，批了一百二十八張L100的訓練卡給他，章聞鐸的課題組瞬間成了整個研究院最富裕的一個。
趙文淵還給他配了兩個來實習的在讀博十生，剛剛畢業的章聞鐸也當上了小組長。
章聞鐸主要研究的方向是世界模型，和他在博士期間研究的方向略微不同，那個時候他默認用文字形式來表達世界本身是有局限性的，必須使用更創新的算法來拉平多維信號到高維空間的映射，才能更高效地建立模型內部的世界狀態。
但是來到源智研究院之後，基於湯圓的研究徹底顛覆了章聞鐸之前的假設。
湯圓作為一個大語言模型，並不具備原生多模態的能力，但是通過提供足夠的高精度高質量的標註數據，湯圓1.0的內部世界穩定程度超過了很多對世界模型進行探索的前沿研究。
所以章聞鐸的課題就是研究，在湯圓1.0的基礎上，以大語言模型，即純文本的方式來構建世界模型到底能做到什麼程度。
他的研究過程也不算複雜，只是比較累人，主要是測試在湯圓1.0微調的那些標註數據中哪些數據的作用更大更關鍵，以便為之後的數據標註方向提供指導。
說白了還是煉丹的過程，是放這個標註，還是放那個標註，放不同的標註之後再用探針去檢測內部狀態的穩定程度。
這些操作都是些髒活累活，並不需要用到博士階段的知識，甚至一個電腦玩的溜的初中生都能操作。
真正需要耗腦子的是設計改進方案、提出假設、用實驗來驗證假設的部分。
【寫到這裡我希望讀者記一下我們域名 找書就去 TW 看書網，𝓼𝓱𝓾.𝓽𝔀超全 】
有的時候一個理論能解釋幾個實驗結果，但是再跑一次新的，結果又和理論偏離了，就只能再對理論進行調整，再根據暫時的理論來設計出對模型訓練中有意義的調整方向。
這才是只有博士才能幹的活兒，連AI都暫時還做不到。
當然，等到AI能做到自我演進的時候，那個時候才是真正的AGI時代到來了。
章聞鐸又是第一個到辦公室的，他剛坐下不久，大門又開了，趙文淵走了進來。
看到章聞鐸，趙文淵並不驚訝，兩人總是最早到辦公室的，有時候你早點兒，有時候我早點兒。
「早啊，章博士。」趙文淵說道。
「趙總早。」章聞鐸坐在原地點了點頭。
趙文淵卻沒進自己的辦公室，而是直接走到章聞鐸的工位邊上，問道：「怎麼樣？最近項目進展還順利嗎？」
章聞鐸臉色一沉，說道：「不太順利。」
這就是他的第二個煩惱了，基於湯圓1.0的世界模型研究撞牆了。
趙文淵聽完來了興致，從旁邊拉了把椅子坐下來，問道：「我記得上周還有新進展，這次發現什麼問題了？」
章聞鐸的組屬於長期戰略方向的組，沒有短期內要出成果的壓力，況且他們之前的研究已經有了不少進展，所以趙文淵並不擔心，這個問題也只是出於領導對員工的關心而不是對項目的關心。
章聞鐸說道：「趙總，最近幾輪的探針結果，能力不僅沒有提升，反而還有些降低。」
趙文淵接著問道：「你覺得是什麼原因？」
章聞鐸想了想，說道：「我覺得應該是數據不夠了。」
趙文淵驚訝地看了他一眼。
湯圓的參數量和標註比例不算低了，更別提這個標註的精細程度和質量————
總之感謝韓總。
到章聞鐸這裡不夠了？
「差哪方面的數據？我幫你想辦法。」趙文淵說道。
幫遇到困難的下屬解決問題是領導的責任，對趙文淵自己是如此，對韓總也是如此，對吧？
反正我先把活兒攬過來，韓總會有辦法解決的。
章聞鐸看了趙文淵一眼，不知道為什麼他連是什麼數據都沒問就敢大包大攬，這麼自信。
但他還是解釋道：「是人的數據，確切地說，是人和人之間互動的數據。」
他不解釋還好，一解釋趙文淵反而不懂了。
現在的標註數據基本都是一對一對的輸入和輸出，這人和人之間的互動數據是什麼意思？
周五早晨六點整，京城，水木大學博十生公寓裡。
伴隨著一陣手機鬧鐘的聲音，章聞鐸睜開了眼。
關掉鬧鐘，起床，洗漱，一切整理完之後大概過了十幾分鐘，章聞鐸已經坐在了電腦前面。
這還是他讀博時候的作息習慣，現在入職了源智科技一哦，不，現在已經改名叫起源集團了，雖然研究院的名字還叫源智京城研究院一章聞鐸還是保持著每天十一點睡六點起的作息沒變，因為他堅信自律才是成功的關鍵。
起來之後的時間用來看論文，因為經過一晚上的休息，這個時候的腦子是最清楚的。
你說為什麼已經博士畢業了還要看論文？
因為博士畢業不是學習的終點，那只是科研的起點。
看到七點半，章聞鐸會去食堂吃個早飯，他會點一個茶葉蛋、兩個水煮蛋和白粥。早餐要吃足夠的蛋白質來保證上午高效的工作，水煮蛋太淡，但是全吃茶葉蛋鈉含量又超過了居民膳食指南的推薦量，所以中和一下正好。
然後章聞鐸會騎共享單車去研究院的辦公室，離水木的校區只有三公里多，騎車十幾分鐘，比地鐵和公交車都快，還能鍛鍊身體，一舉兩得。
到辦公室正好是八點，在九點上班時間之前可以做些自己感興趣的研究。
章聞鐸很喜歡這樣規律的生活，但他最近有兩個煩惱。
第一個是關於住的地方，他已經博士畢業開始工作，學生公寓最多只能住到七月中旬，現在已
經是六月下旬，找個新的地方住是當務之急。
但是無論怎麼找都很難找到像學生公寓一樣性價比這麼高的選擇了。
更何況搬出去住連食堂都沒有了。
至於第二個煩惱，是和他的工作有關的，更加讓章聞鐸頭疼。
自從上次他提出的新的異步算法的架構大大提升了模型的訓練效率之後，趙文淵信守承諾，批了一百二十八張L100的訓練卡給他，章聞鐸的課題組瞬間成了整個研究院最富裕的一個。
趙文淵還給他配了兩個來實習的在讀博十生，剛剛畢業的章聞鐸也當上了小組長。
章聞鐸主要研究的方向是世界模型，和他在博士期間研究的方向略微不同，那個時候他默認用文字形式來表達世界本身是有局限性的，必須使用更創新的算法來拉平多維信號到高維空間的映射，才能更高效地建立模型內部的世界狀態。
但是來到源智研究院之後，基於湯圓的研究徹底顛覆了章聞鐸之前的假設。
湯圓作為一個大語言模型，並不具備原生多模態的能力，但是通過提供足夠的高精度高質量的標註數據，湯圓1.0的內部世界穩定程度超過了很多對世界模型進行探索的前沿研究。
所以章聞鐸的課題就是研究，在湯圓1.0的基礎上，以大語言模型，即純文本的方式來構建世界模型到底能做到什麼程度。
他的研究過程也不算複雜，只是比較累人，主要是測試在湯圓1.0微調的那些標註數據中哪些數據的作用更大更關鍵，以便為之後的數據標註方向提供指導。
說白了還是煉丹的過程，是放這個標註，還是放那個標註，放不同的標註之後再用探針去檢測內部狀態的穩定程度。
這些操作都是些髒活累活，並不需要用到博士階段的知識，甚至一個電腦玩的溜的初中生都能操作。
真正需要耗腦子的是設計改進方案、提出假設、用實驗來驗證假設的部分。
【寫到這裡我希望讀者記一下我們域名 找書就去 TW 看書網，𝓼𝓱𝓾.𝓽𝔀超全 】
有的時候一個理論能解釋幾個實驗結果，但是再跑一次新的，結果又和理論偏離了，就只能再對理論進行調整，再根據暫時的理論來設計出對模型訓練中有意義的調整方向。
這才是只有博士才能幹的活兒，連AI都暫時還做不到。
當然，等到AI能做到自我演進的時候，那個時候才是真正的AGI時代到來了。
章聞鐸又是第一個到辦公室的，他剛坐下不久，大門又開了，趙文淵走了進來。
看到章聞鐸，趙文淵並不驚訝，兩人總是最早到辦公室的，有時候你早點兒，有時候我早點兒。
「早啊，章博士。」趙文淵說道。
「趙總早。」章聞鐸坐在原地點了點頭。
趙文淵卻沒進自己的辦公室，而是直接走到章聞鐸的工位邊上，問道：「怎麼樣？最近項目進展還順利嗎？」
章聞鐸臉色一沉，說道：「不太順利。」
這就是他的第二個煩惱了，基於湯圓1.0的世界模型研究撞牆了。
趙文淵聽完來了興致，從旁邊拉了把椅子坐下來，問道：「我記得上周還有新進展，這次發現什麼問題了？」
章聞鐸的組屬於長期戰略方向的組，沒有短期內要出成果的壓力，況且他們之前的研究已經有了不少進展，所以趙文淵並不擔心，這個問題也只是出於領導對員工的關心而不是對項目的關心。
章聞鐸說道：「趙總，最近幾輪的探針結果，能力不僅沒有提升，反而還有些降低。」
趙文淵接著問道：「你覺得是什麼原因？」
章聞鐸想了想，說道：「我覺得應該是數據不夠了。」
趙文淵驚訝地看了他一眼。
湯圓的參數量和標註比例不算低了，更別提這個標註的精細程度和質量————
總之感謝韓總。
到章聞鐸這裡不夠了？
「差哪方面的數據？我幫你想辦法。」趙文淵說道。
幫遇到困難的下屬解決問題是領導的責任，對趙文淵自己是如此，對韓總也是如此，對吧？
反正我先把活兒攬過來，韓總會有辦法解決的。
章聞鐸看了趙文淵一眼，不知道為什麼他連是什麼數據都沒問就敢大包大攬，這麼自信。
但他還是解釋道：「是人的數據，確切地說，是人和人之間互動的數據。」
他不解釋還好，一解釋趙文淵反而不懂了。
現在的標註數據基本都是一對一對的輸入和輸出，這人和人之間的互動數據是什麼意思？