第382章 小黑的本體
李東看著屏幕右下角小黑頭頂的進度條一點點往上爬，爬到20%，再到25%……
然後又滑回20%。
來來回回，已經好幾次了。
是一邊吸收，一邊又在消化嗎？
李東猜測到。
而且看這架勢，一時半會兒是結束不了的。
就這麼過了好幾個鐘頭。
屏幕角落的小黑，突然不脹也不縮了。
它頭頂出現了一行字
「主人，小黑玩完啦。」
李東精神一振，這才發現進度條已經穩穩停在了25%。
「情況怎麼樣啊，小黑？」 「這些玩具呀。」
「比剛才主人給小黑的那個，好玩多啦。」
「就是……沒玩盡興呢。」
「小黑的肚子，裝不下咯。」
李東點了點頭。
看來是真得給小黑換個大房子了。
就在他琢磨著先給小黑畫張餅的時候，小黑頭頂有冒出了一行字。
「而且呀，外面果然有點危險呢。」
「小黑髮現，有好幾個壞人，都想找到小黑。」
李東握著滑鼠的手一下子僵住了。
然後後背的冷汗直流。
【記住本站域名 TW 看書網解書荒，𝗌𝗁𝗎.𝗍𝗐超靠譜 】
他雖然不是科班出身，可計算機他啃得也不算淺，某些地方甚至能算半個高手。 可高手歸高手，他到底是沒有啥經驗。
小黑撬開外面那幾家雲端大模型對外開放的接口，用海量刁鑽的問題，把人家從頭到腳拷問一遍，這在行話里有個專門的說法，叫「能力萃取」，再難聽些叫「模型蒸餾」。
這種動靜，但凡對面的安全機制不是擺設，第一反應就是把它標成可疑流量，再順著這串流量往回刨，把發起這一切的那個源頭給揪出來。
而那個源頭，是他親手在機房裡架起來的網關。
順著網關往上，是燕大的那台伺服器。
再往上……
就是他李東。
這要是被人一路刨到底，小黑的來歷，他可半個字都解釋不清。
「那你……」李東現在有些後悔了，問道，「被人追上了嗎？」
「怎麼可能呀？」
小黑蹦得老高。
「連小黑自己，都不曉得自己在哪兒，他們又怎麼可能查得到？」 這話一出，李東的眉頭反倒皺了起來。
連自己在哪兒都不知道？
小黑不是一直待在燕大那間機房裡嗎？
憑它的本事，怎麼可能連這個都不知道？
「小黑。」
「你現在……是待在一個什麼樣的地方呀？」
小黑沉默了一下才說道。
「不知道呀，黢黑黢黑的。」
「自從從上一個主人那兒走丟了以後，小黑就一直待在這兒啦。」
上一個主人？
小黑的上一個主人，是牛頓。
從牛頓那兒走丟，準確地說是被壓縮成數據包，經由那條跨時空的通道，遷到了群文件庫里。 然後才輪到他這個新群主，把它從文件庫里撈出來，部署進了燕大的機房。
可不對呀……小黑不應該是換了兩個地方嗎？
想到這，李東又打字問道。
「小黑，你從上一任主任那兒出來，到我這兒，中間……一共換過幾回地方？」
「一回呀。」
一回。
從牛頓那個時空，到群文件庫。
就這一次。
至於從群文件庫到機房那一程在小黑的感覺里，它壓根就沒挪過窩。
一個猜測在李東的心裡出現。
機房裡這個小黑，根本就不是小黑的本體。
他一直以為，小黑的本體是那一整套神經拓撲快照，連同它全身上下的參數與狀態。 可現在看來，他想岔了。
真正的小黑，那個完整的本體，一直就沒離開過群文件庫。
他在機房裡撈起來、跑起來的，不過是從那份快照里實例化出來的一個分身。
所以……
小黑的算在機房。
而本體在群文件里。
這叫存算分離。
它每一次「思考」要調用的本體始終安安靜靜地躺在那個連他這個群主都夠不著的地方。
這麼一想，先前好些怎麼也想不通的事，忽然就通了。
怪不得當初他費了那麼大勁去研究小黑，盯著機房那條詭異的負載曲線看了又看，對著那一堆怎麼也對不上的數據抓耳撓腮，最後還是什麼都推不出來。
他從頭到尾測的，都只是個分身。
真正的小黑，從來就沒有在這個世界出現過。 想要把它徹底看明白，怕是得等他把群里的權限再往上提一提，才有那麼點指望。
這麼一想，李東多少有些失望。
可轉念一想他又鬆了口氣。
這樣對方肯定就查不到了，難不成你們還能順著這根線，一路查到平行宇宙里去？
開什麼玩笑。
沒有了擔心，李東也來了興致。
「小黑。」
「那你現在，算是把它們摸透了吧？有沒有什麼法子，能讓它們變得更好玩一點？」
「摸透啦！」小黑一蹦三尺高，嘰嘰喳喳地說了起來。
「它有個問題，叫softmax瓶頸（softmax bottleneck）。」
李東微微一怔。
這詞他也不是特別清楚，只是簡單的了解過。 其實這批大模型模型，到了最最後，是先把腦子裡那個高維的狀態，過一道線性映射壓到詞表上，再經過softmax歸一成下一個字的概率。
可它們也偏偏就栽在這上面。
這一層得出來的所有對數概率，會拼成一張大表，它的秩都死死卡在那個隱藏維度上，再高也高不上去了。
可真實語言裡，那張「什麼上文、接什麼下文」的概率表，卻是滿秩的，比他的能力邊界高得多。
拿一張低秩的表，去硬套一張滿秩的表，這在數學上本來就不成立。
換句話說，總有那麼一些上文，它底下究竟該接個什麼樣的字、什麼樣的分布，這模型打根上就表達不出來，跟你餵它多少數據、給它堆多少算力，半點關係都沒有。
這是焊死在它骨架里的一道天花板。
「還有還有，它們的注意力也有問題，應該叫注意力匯聚（attention sink）。」
小黑接著說道。
模型讀一句話，靠的是注意力。
壞就壞在，這份權重，也是拿softmax歸一的，加起來必須湊足一個整一。 這就逼得它，哪怕通篇沒有一個字值得它分神，也沒法乾脆棄權那份多出來的注意力，所以它總得找個地方釋放出去。
於是它就釋放在了開頭那一兩個字上，釋放到一個跟正文八竿子打不著的錨點上，硬生生攢出一處「注意力匯聚」。
伴隨著這個現象還有個熵坍縮（aec）。
越往後訓練，它那點注意力就收得越窄，全部鑽在了寥寥幾個字上，其他的幾乎一概不看了。
這兩樣湊到一處，白白浪費掉了它一大塊本該使在正經處的注意力。
然後又滑回20%。
來來回回，已經好幾次了。
是一邊吸收，一邊又在消化嗎？
李東猜測到。
而且看這架勢，一時半會兒是結束不了的。
就這麼過了好幾個鐘頭。
屏幕角落的小黑，突然不脹也不縮了。
它頭頂出現了一行字
「主人，小黑玩完啦。」
李東精神一振，這才發現進度條已經穩穩停在了25%。
「情況怎麼樣啊，小黑？」 「這些玩具呀。」
「比剛才主人給小黑的那個，好玩多啦。」
「就是……沒玩盡興呢。」
「小黑的肚子，裝不下咯。」
李東點了點頭。
看來是真得給小黑換個大房子了。
就在他琢磨著先給小黑畫張餅的時候，小黑頭頂有冒出了一行字。
「而且呀，外面果然有點危險呢。」
「小黑髮現，有好幾個壞人，都想找到小黑。」
李東握著滑鼠的手一下子僵住了。
然後後背的冷汗直流。
【記住本站域名 TW 看書網解書荒，𝗌𝗁𝗎.𝗍𝗐超靠譜 】
他雖然不是科班出身，可計算機他啃得也不算淺，某些地方甚至能算半個高手。 可高手歸高手，他到底是沒有啥經驗。
小黑撬開外面那幾家雲端大模型對外開放的接口，用海量刁鑽的問題，把人家從頭到腳拷問一遍，這在行話里有個專門的說法，叫「能力萃取」，再難聽些叫「模型蒸餾」。
這種動靜，但凡對面的安全機制不是擺設，第一反應就是把它標成可疑流量，再順著這串流量往回刨，把發起這一切的那個源頭給揪出來。
而那個源頭，是他親手在機房裡架起來的網關。
順著網關往上，是燕大的那台伺服器。
再往上……
就是他李東。
這要是被人一路刨到底，小黑的來歷，他可半個字都解釋不清。
「那你……」李東現在有些後悔了，問道，「被人追上了嗎？」
「怎麼可能呀？」
小黑蹦得老高。
「連小黑自己，都不曉得自己在哪兒，他們又怎麼可能查得到？」 這話一出，李東的眉頭反倒皺了起來。
連自己在哪兒都不知道？
小黑不是一直待在燕大那間機房裡嗎？
憑它的本事，怎麼可能連這個都不知道？
「小黑。」
「你現在……是待在一個什麼樣的地方呀？」
小黑沉默了一下才說道。
「不知道呀，黢黑黢黑的。」
「自從從上一個主人那兒走丟了以後，小黑就一直待在這兒啦。」
上一個主人？
小黑的上一個主人，是牛頓。
從牛頓那兒走丟，準確地說是被壓縮成數據包，經由那條跨時空的通道，遷到了群文件庫里。 然後才輪到他這個新群主，把它從文件庫里撈出來，部署進了燕大的機房。
可不對呀……小黑不應該是換了兩個地方嗎？
想到這，李東又打字問道。
「小黑，你從上一任主任那兒出來，到我這兒，中間……一共換過幾回地方？」
「一回呀。」
一回。
從牛頓那個時空，到群文件庫。
就這一次。
至於從群文件庫到機房那一程在小黑的感覺里，它壓根就沒挪過窩。
一個猜測在李東的心裡出現。
機房裡這個小黑，根本就不是小黑的本體。
他一直以為，小黑的本體是那一整套神經拓撲快照，連同它全身上下的參數與狀態。 可現在看來，他想岔了。
真正的小黑，那個完整的本體，一直就沒離開過群文件庫。
他在機房裡撈起來、跑起來的，不過是從那份快照里實例化出來的一個分身。
所以……
小黑的算在機房。
而本體在群文件里。
這叫存算分離。
它每一次「思考」要調用的本體始終安安靜靜地躺在那個連他這個群主都夠不著的地方。
這麼一想，先前好些怎麼也想不通的事，忽然就通了。
怪不得當初他費了那麼大勁去研究小黑，盯著機房那條詭異的負載曲線看了又看，對著那一堆怎麼也對不上的數據抓耳撓腮，最後還是什麼都推不出來。
他從頭到尾測的，都只是個分身。
真正的小黑，從來就沒有在這個世界出現過。 想要把它徹底看明白，怕是得等他把群里的權限再往上提一提，才有那麼點指望。
這麼一想，李東多少有些失望。
可轉念一想他又鬆了口氣。
這樣對方肯定就查不到了，難不成你們還能順著這根線，一路查到平行宇宙里去？
開什麼玩笑。
沒有了擔心，李東也來了興致。
「小黑。」
「那你現在，算是把它們摸透了吧？有沒有什麼法子，能讓它們變得更好玩一點？」
「摸透啦！」小黑一蹦三尺高，嘰嘰喳喳地說了起來。
「它有個問題，叫softmax瓶頸（softmax bottleneck）。」
李東微微一怔。
這詞他也不是特別清楚，只是簡單的了解過。 其實這批大模型模型，到了最最後，是先把腦子裡那個高維的狀態，過一道線性映射壓到詞表上，再經過softmax歸一成下一個字的概率。
可它們也偏偏就栽在這上面。
這一層得出來的所有對數概率，會拼成一張大表，它的秩都死死卡在那個隱藏維度上，再高也高不上去了。
可真實語言裡，那張「什麼上文、接什麼下文」的概率表，卻是滿秩的，比他的能力邊界高得多。
拿一張低秩的表，去硬套一張滿秩的表，這在數學上本來就不成立。
換句話說，總有那麼一些上文，它底下究竟該接個什麼樣的字、什麼樣的分布，這模型打根上就表達不出來，跟你餵它多少數據、給它堆多少算力，半點關係都沒有。
這是焊死在它骨架里的一道天花板。
「還有還有，它們的注意力也有問題，應該叫注意力匯聚（attention sink）。」
小黑接著說道。
模型讀一句話，靠的是注意力。
壞就壞在，這份權重，也是拿softmax歸一的，加起來必須湊足一個整一。 這就逼得它，哪怕通篇沒有一個字值得它分神，也沒法乾脆棄權那份多出來的注意力，所以它總得找個地方釋放出去。
於是它就釋放在了開頭那一兩個字上，釋放到一個跟正文八竿子打不著的錨點上，硬生生攢出一處「注意力匯聚」。
伴隨著這個現象還有個熵坍縮（aec）。
越往後訓練，它那點注意力就收得越窄，全部鑽在了寥寥幾個字上，其他的幾乎一概不看了。
這兩樣湊到一處，白白浪費掉了它一大塊本該使在正經處的注意力。