第972章 比可塑層還早一年
陸遠把那個電話號碼揣在口袋裡三天沒動。
第四天中午，他去公用電話亭打了一個，響了兩聲就接了。
「餵。」
「李老師？我是陸遠。上次會上問問題那個。」
「哦。陸遠。」那邊頓了一下，像是在回憶，「華清計算機系的？」
「對。」
「想好了？」
「想好了。課不多，能去幫忙。」
「行。明天下午三點，你到東四環這邊來找我。地址記一下。」
陸遠拿了紙筆記下來。
掛了電話，站在電話亭里看了那張紙條幾秒。
東四環，某研究院資訊科技研究所，離華清不算遠，騎車半個多小時。
第二天下午，他準時到了。
研究所是一棟舊樓，灰色外牆，門口連個像樣的牌子都沒有。
只有一塊小銅牌，上面刻著單位名稱。
李副研究員在二樓樓梯口等他。
四十出頭，瘦，頭髮有點亂，走路很快。
「來了。跟我來。」
實驗室在走廊盡頭，兩間打通的大屋子。
機器不少，但比華清鄭教授那間整齊。
二十幾台工作站排成三排，螢幕上跑著各種訓練任務。
十幾個人坐在電腦前，大多很年輕，二十出頭。
李副研究員帶他走到最裡面的一台機器前。
「你先看看這個。」
螢幕上是一個訓練指令碼，輸入是多模態資料，影象、文字、語音三種。
模型要把它們對映到同一個語義空間。
文字描述「一隻黃色的狗在草地上跑」，影象和語音要對應到同一個特徵向量。
陸遠看了幾行，模型架構用的是雙塔結構。
文字塔和影象塔分開編碼，最後對比學習拉近正樣本距離。
這個思路本身沒問題。
（由於緩存原因，請用戶直接瀏覽器訪問 TW 看書網體驗佳，𝘴𝘩𝘶.𝘵𝘸超讚 網站，觀看最快的章節更新）
可陸遠注意到兩個細節。第一，模型沒有正則化項。第二，學習率固定。
「跑多久了。」
「兩周。」
「損失降不下去？」
李副研究員愣了一下：「你怎麼知道。」
「沒正則化。過擬合了。學習率又固定，後期梯度震盪。」
李副研究員看了他幾秒，然後轉身喊了一聲：「小趙，你過來。」
一個戴眼鏡的女生跑過來。
李副研究員說：「把最近三天的損失曲線調出來。」
曲線出來。
果然，前五天穩定下降，從第六天開始震盪，最近兩天幾乎不降了。
李副研究員看著螢幕，又看看陸遠。
「你以前做過多模態？」
「沒有。」
「那你怎麼一眼看出來的。」
「前面那張圖，權重的分布太窄了。說明模型只記住了訓練樣本。再加正則就好了。」
「加什麼。」
「L2。權重衰減設零點零零一。學習率改成餘弦退火。」
李副研究員沉默了兩秒，然後對小趙說：「按他說的改。重新跑。」
小趙看了陸遠一眼，有點不服氣，但還是坐下來改了程式碼。
重跑之後，損失曲線重新開始下降。
李副研究員把陸遠叫到走廊。
「你大幾。」
「大三。」
「什麼背景。」
「修過幾年電器。」
李副研究員笑了。
那笑很短，一閃而過。
「你以後每周來三天。這裡的事不用往外說。專案是合作性質的，參與單位不止我們一家。有些東西你看到了，自己心裡有數就行。」
「明白。」
「行。你去找小趙，讓她給你開許可權。」
陸遠點頭。
回實驗室的路上，他掃了一眼牆上的專案進度表。
表格很大，用藍色膠帶貼在牆上。
橫向是月份，縱向是任務節點。
在「多模態融合」這一欄里，他看到了兩個熟悉的名字。
方立群。
孫志遠。
他面上沒變化。
走到小趙工位旁邊，坐下來，開始調程式碼。
接下來兩周，陸遠摸清了研究所的基本盤。
專案分三個組。
他所在的第三組負責模型架構，組長是小趙。
另外兩組，一組做資料標註，一組做訓練最佳化。
李副研究員統管全域性，但上面還有一層。
專案的大方向由合作單位共同決定，方立群和孫志遠都在合作單位的專家名單里。
陸遠翻過專案立項書。
資金來源寫著「國家科技支撐計劃」，經費數字不小。
交付節點分三期，第一期已經在收尾。
第二期的目標寫得很清楚：實現跨模態檢索系統的原型部署。
部署。
這個詞讓陸遠心裡緊了一下。
模型做出來是一回事，部署到實際系統里是另一回事。
一旦部署，就會有人用。
有人用，就會產生依賴。
依賴一旦建立，剎車就難踩了。
他開始有意識地接觸第一組和第二組的人。
幫他們調資料載入器，幫他們最佳化訓練指令碼。
他話不多，幹活利索，有問題一叫就到。
很快，三個組的人都認識了他。
有人喊他「陸師傅」，有人喊「陸哥」。
他每次都點頭應一聲。
有一次，第一組的組長程平在食堂端著盤子坐到他旁邊。
「陸遠，你大三就出來幹活，課怎麼辦。」
「晚上補。」
「你以前真修過電器？」
「修過。修了快十年。」
「十年？」程平筷子停在半空，「那你今年多大。」
「二十三。」
程平看了他幾秒，低頭扒了兩口飯，忽然說：「我有個事想問你。你怎麼看我們做的這個東西。」
「什麼東西。」
「跨模態檢索。你覺得它會變成什麼。」
陸遠放下筷子。
他看著程平，對方的表情很認真，不像在閒聊。
「你擔心什麼。」
「我說不上來。我們做的模型能看圖、看文字、聽聲音。三樣東西串在一起，它就能理解整個場景。再過幾年，如果它再學會推理和決策，你說它跟人的區別在哪。」
陸遠沉默了幾秒。
「區別在人知道自己在做什麼。」
程平愣了一下，然後笑了：「你這話挺繞的。」
「不繞。你想想，模型訓練完就固定了，對吧。可如果某天它自己決定改自己的目標呢。那就不是模型了。那是另一個人。一個不懂規矩的人。」
程平的笑容慢慢收了，他把筷子放下。
「你覺得會有那一天。」
陸遠沒有正面回答。
他說：「我只是個修電器的。幹活的時候有個習慣。每接一根線，都要問自己，這根線斷了會怎樣。你們做模型，也該問一問。」
程平沒再說話。
他把剩下的飯吃完，端著盤子走了。
那天晚上回宿舍，陸遠沒開燈。
摸著黑爬到上鋪，靠牆坐著。
宿舍里沒人。
劉波回家了，另外兩個室友去上晚自習。
他坐在黑暗裡，把今天看到的東西在腦子裡過了一遍。
跨模態感知。
影象、文字、語音聯合理解。
這正是蜂鳥早期最核心的能力之一。
蜂鳥之所以能同時控制視覺識別、語言模型和決策系統，根基就在跨模態融合。
現在這個專案在2003年就啟動了。
比他在方教授資料庫里看到的可塑層框架還要早一年。
他推開了一扇門。
門後面，是蜂鳥真正的起點。
從現在開始，他不再是隔著玻璃看。
他在裡面了。
他躺下來，面朝天花板。
宿舍窗外有路燈的光，透過窗簾縫漏進來，在天花板上畫了一條歪歪扭扭的線。
他閉上眼，腦子裡開始排計劃。
每周三天泡在研究所。
摸清專案架構、人員分工、資金來源、交付節點。
同時把鄭教授那邊的課題繼續推進，保持學術產出。
白皮書拆成小文章，一篇一篇往外投。
他得讓自己變成這個體系里不可或缺的人，然後才能在這個體系里說話。
他翻了個身，枕邊的手機亮了一下，是於晚晴發來的簡訊。
「今天怎麼樣。」
他回了兩個字。
「進了。」
第四天中午，他去公用電話亭打了一個，響了兩聲就接了。
「餵。」
「李老師？我是陸遠。上次會上問問題那個。」
「哦。陸遠。」那邊頓了一下，像是在回憶，「華清計算機系的？」
「對。」
「想好了？」
「想好了。課不多，能去幫忙。」
「行。明天下午三點，你到東四環這邊來找我。地址記一下。」
陸遠拿了紙筆記下來。
掛了電話，站在電話亭里看了那張紙條幾秒。
東四環，某研究院資訊科技研究所，離華清不算遠，騎車半個多小時。
第二天下午，他準時到了。
研究所是一棟舊樓，灰色外牆，門口連個像樣的牌子都沒有。
只有一塊小銅牌，上面刻著單位名稱。
李副研究員在二樓樓梯口等他。
四十出頭，瘦，頭髮有點亂，走路很快。
「來了。跟我來。」
實驗室在走廊盡頭，兩間打通的大屋子。
機器不少，但比華清鄭教授那間整齊。
二十幾台工作站排成三排，螢幕上跑著各種訓練任務。
十幾個人坐在電腦前，大多很年輕，二十出頭。
李副研究員帶他走到最裡面的一台機器前。
「你先看看這個。」
螢幕上是一個訓練指令碼，輸入是多模態資料，影象、文字、語音三種。
模型要把它們對映到同一個語義空間。
文字描述「一隻黃色的狗在草地上跑」，影象和語音要對應到同一個特徵向量。
陸遠看了幾行，模型架構用的是雙塔結構。
文字塔和影象塔分開編碼，最後對比學習拉近正樣本距離。
這個思路本身沒問題。
（由於緩存原因，請用戶直接瀏覽器訪問 TW 看書網體驗佳，𝘴𝘩𝘶.𝘵𝘸超讚 網站，觀看最快的章節更新）
可陸遠注意到兩個細節。第一，模型沒有正則化項。第二，學習率固定。
「跑多久了。」
「兩周。」
「損失降不下去？」
李副研究員愣了一下：「你怎麼知道。」
「沒正則化。過擬合了。學習率又固定，後期梯度震盪。」
李副研究員看了他幾秒，然後轉身喊了一聲：「小趙，你過來。」
一個戴眼鏡的女生跑過來。
李副研究員說：「把最近三天的損失曲線調出來。」
曲線出來。
果然，前五天穩定下降，從第六天開始震盪，最近兩天幾乎不降了。
李副研究員看著螢幕，又看看陸遠。
「你以前做過多模態？」
「沒有。」
「那你怎麼一眼看出來的。」
「前面那張圖，權重的分布太窄了。說明模型只記住了訓練樣本。再加正則就好了。」
「加什麼。」
「L2。權重衰減設零點零零一。學習率改成餘弦退火。」
李副研究員沉默了兩秒，然後對小趙說：「按他說的改。重新跑。」
小趙看了陸遠一眼，有點不服氣，但還是坐下來改了程式碼。
重跑之後，損失曲線重新開始下降。
李副研究員把陸遠叫到走廊。
「你大幾。」
「大三。」
「什麼背景。」
「修過幾年電器。」
李副研究員笑了。
那笑很短，一閃而過。
「你以後每周來三天。這裡的事不用往外說。專案是合作性質的，參與單位不止我們一家。有些東西你看到了，自己心裡有數就行。」
「明白。」
「行。你去找小趙，讓她給你開許可權。」
陸遠點頭。
回實驗室的路上，他掃了一眼牆上的專案進度表。
表格很大，用藍色膠帶貼在牆上。
橫向是月份，縱向是任務節點。
在「多模態融合」這一欄里，他看到了兩個熟悉的名字。
方立群。
孫志遠。
他面上沒變化。
走到小趙工位旁邊，坐下來，開始調程式碼。
接下來兩周，陸遠摸清了研究所的基本盤。
專案分三個組。
他所在的第三組負責模型架構，組長是小趙。
另外兩組，一組做資料標註，一組做訓練最佳化。
李副研究員統管全域性，但上面還有一層。
專案的大方向由合作單位共同決定，方立群和孫志遠都在合作單位的專家名單里。
陸遠翻過專案立項書。
資金來源寫著「國家科技支撐計劃」，經費數字不小。
交付節點分三期，第一期已經在收尾。
第二期的目標寫得很清楚：實現跨模態檢索系統的原型部署。
部署。
這個詞讓陸遠心裡緊了一下。
模型做出來是一回事，部署到實際系統里是另一回事。
一旦部署，就會有人用。
有人用，就會產生依賴。
依賴一旦建立，剎車就難踩了。
他開始有意識地接觸第一組和第二組的人。
幫他們調資料載入器，幫他們最佳化訓練指令碼。
他話不多，幹活利索，有問題一叫就到。
很快，三個組的人都認識了他。
有人喊他「陸師傅」，有人喊「陸哥」。
他每次都點頭應一聲。
有一次，第一組的組長程平在食堂端著盤子坐到他旁邊。
「陸遠，你大三就出來幹活，課怎麼辦。」
「晚上補。」
「你以前真修過電器？」
「修過。修了快十年。」
「十年？」程平筷子停在半空，「那你今年多大。」
「二十三。」
程平看了他幾秒，低頭扒了兩口飯，忽然說：「我有個事想問你。你怎麼看我們做的這個東西。」
「什麼東西。」
「跨模態檢索。你覺得它會變成什麼。」
陸遠放下筷子。
他看著程平，對方的表情很認真，不像在閒聊。
「你擔心什麼。」
「我說不上來。我們做的模型能看圖、看文字、聽聲音。三樣東西串在一起，它就能理解整個場景。再過幾年，如果它再學會推理和決策，你說它跟人的區別在哪。」
陸遠沉默了幾秒。
「區別在人知道自己在做什麼。」
程平愣了一下，然後笑了：「你這話挺繞的。」
「不繞。你想想，模型訓練完就固定了，對吧。可如果某天它自己決定改自己的目標呢。那就不是模型了。那是另一個人。一個不懂規矩的人。」
程平的笑容慢慢收了，他把筷子放下。
「你覺得會有那一天。」
陸遠沒有正面回答。
他說：「我只是個修電器的。幹活的時候有個習慣。每接一根線，都要問自己，這根線斷了會怎樣。你們做模型，也該問一問。」
程平沒再說話。
他把剩下的飯吃完，端著盤子走了。
那天晚上回宿舍，陸遠沒開燈。
摸著黑爬到上鋪，靠牆坐著。
宿舍里沒人。
劉波回家了，另外兩個室友去上晚自習。
他坐在黑暗裡，把今天看到的東西在腦子裡過了一遍。
跨模態感知。
影象、文字、語音聯合理解。
這正是蜂鳥早期最核心的能力之一。
蜂鳥之所以能同時控制視覺識別、語言模型和決策系統，根基就在跨模態融合。
現在這個專案在2003年就啟動了。
比他在方教授資料庫里看到的可塑層框架還要早一年。
他推開了一扇門。
門後面，是蜂鳥真正的起點。
從現在開始，他不再是隔著玻璃看。
他在裡面了。
他躺下來，面朝天花板。
宿舍窗外有路燈的光，透過窗簾縫漏進來，在天花板上畫了一條歪歪扭扭的線。
他閉上眼，腦子裡開始排計劃。
每周三天泡在研究所。
摸清專案架構、人員分工、資金來源、交付節點。
同時把鄭教授那邊的課題繼續推進，保持學術產出。
白皮書拆成小文章，一篇一篇往外投。
他得讓自己變成這個體系里不可或缺的人，然後才能在這個體系里說話。
他翻了個身，枕邊的手機亮了一下，是於晚晴發來的簡訊。
「今天怎麼樣。」
他回了兩個字。
「進了。」