第404章 李東教授,真坑人
所以林偉沒有立刻答應李東,而是說道。
「我得回去,和上面溝通一下。」
說完,他看向留在教室里的三位大佬,目光在姚先生身上停了停,問出了最後一個問題。
「三位院士,也會加入嗎?」
「高老師和鄂老師會的。」李東回答道,「姚先生應該會掛個名,再從姚班和智班裡,推薦一些學生進來。」
林偉緩緩點了點頭。
這才是他關注的重點,這三個大佬的名字往可行性報告上一放,分量比任何技術論證都重。
他回去要說服的那些人,看的就是這個。
「行。」林偉站起身,「李東教授,給我一點時間。」
李東從包里取出一個u盤,遞了過去。
「原型代碼和全套文檔都在裡面,讓你們的工程師,隨便驗。」
林偉雙手接過,鄭重地放進了公文包最裡層,然後同三位大佬逐一握手道別。
……
教室里。
直到林偉離開,李東才轉過身,朝三位大佬說道。
「謝謝高老師,謝謝鄂老師,謝謝姚先生。」
姚先生笑著說道
「談不上謝。」
「我是真看好你這個大模型,才坐到這兒來的。」
高穩和鄂偉南對視了一眼,都笑了。
「要謝,也該我們謝你。」高穩說道,「水木那邊的大模型做出名堂多少年了,我們燕大總不能一直看著人家一枝獨秀吧?」
鄂偉南慢悠悠地接了一句。
「是啊,也該有個我們自己的了。」
……
追書認準 TW 看書網,𝒔𝒉𝒖.𝒕𝒘超便捷
大洋彼岸,加州,山景城。
還是谷歌園區主樓頂層的那間會議室。
實測啟動那天,這間屋子裡人人都覺得,新範式的大門已經被推開了。
結果這些天燒下來,把眾人的熱情都燒沒了。
會議室的白板寫滿了推導,但是都是被紅筆成叉掉的。
「……我再說最後一遍。」
預訓練總監的嗓子已經啞了。
「重排算子本身沒有錯,錯的是它要的那組正交基。」
「zeta函數的基底是從解析式里推出來的,是唯一的。」
「可注意力矩陣的譜是活的呀,我們只能靠採樣去估計。」
「估計誤差的上界是什麼?噪聲除以譜隙。」
「偏偏負責長程檢索的那幾個特徵向量全擠在譜的尾部里,那裡的譜隙是趨於零的。」
「分母趨零。」
「各位,分母趨零意味著什麼,不用我翻譯了吧?」
會議室里沒人接話。
tpu平台的負責人說道。
「離線估基檢索長度超過三十萬詞,召回當場就崩盤了。」
「在線估基,每條輸入單獨跑一遍特徵分解,開銷是它省下來的緩存的四倍。」
「我們等於花錢,買了個更慢的東西。」
「那就端對端,讓模型自己學這組基。」
角落裡,deepmind那位年輕研究員開口了。
「訓練過了。」
馬庫斯終於出聲。
「對特徵向量求導,梯度里天然帶著特徵值間隙的倒數,譜一簡合併這個倒數就炸。」
「兩萬張卡,跑到第六天,損失曲線抽搐了一整晚,天亮的時候,變成一排nan。」
「我們重啟了三次,三次死在同一個位置。」
年輕研究員張了張嘴,沒再出聲。
「跨洋異步那條線呢?」有人問。
「停了。」馬庫斯翻過一頁,「漂移補償需要沿途的曲率,這一項我們給不出來,跑到第四天的時候損失曲線一切正常,下游評測全線歸零。」
「還有縮放律。」預訓練總監翻著手裡的報表,聲音發苦道,「代理模型那組曲線,小規模上確實塌縮成一條母線,漂亮得能進教科書,可放大到真實規模,一萬億詞之後,曲線就全散開了。」
「散開的原因,我們說不清是噪聲,還是換了區域?沒有定理能回答。」
「zeta那邊有解析式兜底,我們這邊什麼都沒有,只有拿錢燒出來的數據點。」
「說到錢。」
tpu負責人的聲音冷了下來。
「這幾天我們砍了兩個內部項目,壓縮了客戶側的容量,財務昨天第三次來問,這兩萬張卡這個季度的產出是什麼。」
「我特麼現在需要一個能寫進報告裡的答案。」
屋子裡又安靜了下來。
很久馬庫斯合上了那個本子。
「答案就是,路是對的。」
「每一條死路的盡頭,都不是思路錯了,而是缺一條能將經驗譜的擾動界、非平穩算子的有限樣本理論、一條能被證明的縮放律統一在一起的定理」
「而想把這條定理補上,就得去找一個站在金字塔尖上的數學家,按著我們的架構,從零定製一套出來。」
他頓了頓,環視了一圈這間屋子。
「而這顆星球上,最有資格幹這件事的那個人……」
後面的話他沒有說,但是大家都明白他要說什麼。
馬庫斯靠回椅背,盯著天花板看了幾秒,緩緩吐出一句話。
「李東教授,真坑人。」
主位上的戴維·朗,從頭到尾沒怎麼說話。
此刻他看了看表聲音聽不出情緒。
「散會。」
「各部門按原計劃推進主線,李東教授提的那條思路,封存,相關實驗全部凍結。」
「什麼時候找到能把那段數學補齊的人,什麼時候解封。」
……
會議室人走光了,戴維·朗在空蕩蕩的會議室里站了一會兒,走到落地窗前,撥通了一個號碼。
這一次,電話只響了一聲。
「諾維格。」戴維·朗的聲音很古怪,「我就提醒你一件事,看好你的女兒,別讓她被李東教授騙了。」
對面沉默了一秒。
「滾。」
電話掛斷了。
同一個星期,舊金山另外兩棟寫字樓里,兩份措辭不同的內部備忘錄先後下發,但意思都一樣。
李東教授指的那條路,暫緩,封存待啟,等找到能解開那些數學問題的人,再行評估。
……
燕大,信科大樓外。
李東伸了個懶腰,決定犒勞一下自己。
農園食堂的辣子雞,好久沒去了。
他哼著曲子從數院的一棟教學樓下路過。
然後他突然看到了兩個人。
一位頭髮花白的外國人和一個金髮姑娘。
「我得回去,和上面溝通一下。」
說完,他看向留在教室里的三位大佬,目光在姚先生身上停了停,問出了最後一個問題。
「三位院士,也會加入嗎?」
「高老師和鄂老師會的。」李東回答道,「姚先生應該會掛個名,再從姚班和智班裡,推薦一些學生進來。」
林偉緩緩點了點頭。
這才是他關注的重點,這三個大佬的名字往可行性報告上一放,分量比任何技術論證都重。
他回去要說服的那些人,看的就是這個。
「行。」林偉站起身,「李東教授,給我一點時間。」
李東從包里取出一個u盤,遞了過去。
「原型代碼和全套文檔都在裡面,讓你們的工程師,隨便驗。」
林偉雙手接過,鄭重地放進了公文包最裡層,然後同三位大佬逐一握手道別。
……
教室里。
直到林偉離開,李東才轉過身,朝三位大佬說道。
「謝謝高老師,謝謝鄂老師,謝謝姚先生。」
姚先生笑著說道
「談不上謝。」
「我是真看好你這個大模型,才坐到這兒來的。」
高穩和鄂偉南對視了一眼,都笑了。
「要謝,也該我們謝你。」高穩說道,「水木那邊的大模型做出名堂多少年了,我們燕大總不能一直看著人家一枝獨秀吧?」
鄂偉南慢悠悠地接了一句。
「是啊,也該有個我們自己的了。」
……
追書認準 TW 看書網,𝒔𝒉𝒖.𝒕𝒘超便捷
大洋彼岸,加州,山景城。
還是谷歌園區主樓頂層的那間會議室。
實測啟動那天,這間屋子裡人人都覺得,新範式的大門已經被推開了。
結果這些天燒下來,把眾人的熱情都燒沒了。
會議室的白板寫滿了推導,但是都是被紅筆成叉掉的。
「……我再說最後一遍。」
預訓練總監的嗓子已經啞了。
「重排算子本身沒有錯,錯的是它要的那組正交基。」
「zeta函數的基底是從解析式里推出來的,是唯一的。」
「可注意力矩陣的譜是活的呀,我們只能靠採樣去估計。」
「估計誤差的上界是什麼?噪聲除以譜隙。」
「偏偏負責長程檢索的那幾個特徵向量全擠在譜的尾部里,那裡的譜隙是趨於零的。」
「分母趨零。」
「各位,分母趨零意味著什麼,不用我翻譯了吧?」
會議室里沒人接話。
tpu平台的負責人說道。
「離線估基檢索長度超過三十萬詞,召回當場就崩盤了。」
「在線估基,每條輸入單獨跑一遍特徵分解,開銷是它省下來的緩存的四倍。」
「我們等於花錢,買了個更慢的東西。」
「那就端對端,讓模型自己學這組基。」
角落裡,deepmind那位年輕研究員開口了。
「訓練過了。」
馬庫斯終於出聲。
「對特徵向量求導,梯度里天然帶著特徵值間隙的倒數,譜一簡合併這個倒數就炸。」
「兩萬張卡,跑到第六天,損失曲線抽搐了一整晚,天亮的時候,變成一排nan。」
「我們重啟了三次,三次死在同一個位置。」
年輕研究員張了張嘴,沒再出聲。
「跨洋異步那條線呢?」有人問。
「停了。」馬庫斯翻過一頁,「漂移補償需要沿途的曲率,這一項我們給不出來,跑到第四天的時候損失曲線一切正常,下游評測全線歸零。」
「還有縮放律。」預訓練總監翻著手裡的報表,聲音發苦道,「代理模型那組曲線,小規模上確實塌縮成一條母線,漂亮得能進教科書,可放大到真實規模,一萬億詞之後,曲線就全散開了。」
「散開的原因,我們說不清是噪聲,還是換了區域?沒有定理能回答。」
「zeta那邊有解析式兜底,我們這邊什麼都沒有,只有拿錢燒出來的數據點。」
「說到錢。」
tpu負責人的聲音冷了下來。
「這幾天我們砍了兩個內部項目,壓縮了客戶側的容量,財務昨天第三次來問,這兩萬張卡這個季度的產出是什麼。」
「我特麼現在需要一個能寫進報告裡的答案。」
屋子裡又安靜了下來。
很久馬庫斯合上了那個本子。
「答案就是,路是對的。」
「每一條死路的盡頭,都不是思路錯了,而是缺一條能將經驗譜的擾動界、非平穩算子的有限樣本理論、一條能被證明的縮放律統一在一起的定理」
「而想把這條定理補上,就得去找一個站在金字塔尖上的數學家,按著我們的架構,從零定製一套出來。」
他頓了頓,環視了一圈這間屋子。
「而這顆星球上,最有資格幹這件事的那個人……」
後面的話他沒有說,但是大家都明白他要說什麼。
馬庫斯靠回椅背,盯著天花板看了幾秒,緩緩吐出一句話。
「李東教授,真坑人。」
主位上的戴維·朗,從頭到尾沒怎麼說話。
此刻他看了看表聲音聽不出情緒。
「散會。」
「各部門按原計劃推進主線,李東教授提的那條思路,封存,相關實驗全部凍結。」
「什麼時候找到能把那段數學補齊的人,什麼時候解封。」
……
會議室人走光了,戴維·朗在空蕩蕩的會議室里站了一會兒,走到落地窗前,撥通了一個號碼。
這一次,電話只響了一聲。
「諾維格。」戴維·朗的聲音很古怪,「我就提醒你一件事,看好你的女兒,別讓她被李東教授騙了。」
對面沉默了一秒。
「滾。」
電話掛斷了。
同一個星期,舊金山另外兩棟寫字樓里,兩份措辭不同的內部備忘錄先後下發,但意思都一樣。
李東教授指的那條路,暫緩,封存待啟,等找到能解開那些數學問題的人,再行評估。
……
燕大,信科大樓外。
李東伸了個懶腰,決定犒勞一下自己。
農園食堂的辣子雞,好久沒去了。
他哼著曲子從數院的一棟教學樓下路過。
然後他突然看到了兩個人。
一位頭髮花白的外國人和一個金髮姑娘。