第383章您好，李東教授
「而且它們腦袋還有問題，我把這個問題叫做秩坍縮（rank collapse）。」
小黑那個圓球還化做一隻小手指了指自己的「腦袋」。
簡單的說這些大模型的腦子，就是拿注意力一層一層疊起來的。
在它腦子裡，每一個字都不再是字，而是一串數字。
業內把管這串數字叫做「表示」（representation），專門用來裝這個字的意思。
每過一層注意力，所有的字就拿著這串數字彼此摻和一回，你借我一點，我借你一點。
壞就壞在，要是只有這些注意力層，光這麼一層一層摻下去，每個字的那串數字，就會越摻越像。
摻著摻著，所有的字就都都變成了同一個模樣，再也分不出誰是誰。
當然，這些大模型也有預防機制，一個叫「殘差」（residual connection）。
一個叫「前饋層」（ffn）。
可就算這樣，也沒有從根上解決問題。
李東聽得入了神。 這些東西，他先前壓根沒往這麼深的地方想過。
「還有個怪症，叫逆轉詛咒。」
小黑一說起來簡直就停不下來了……
它後面還說了組合性鴻溝和rlhf
一個是大模型碰上那種一環扣一環，得連推好幾步才解得開的題，它根本沒在「推」，只是把見過的套路硬往上套，稍微複雜點它就垮了。
另一個就是，本來是拿人的喜好把它調教得更聽話，可越調它反倒越自負，明明心裡沒底，張口卻是十分的篤定。
小黑說完這些一臉的嫌棄。
李東聽到這兒，連帶著也一起嫌棄起來了。
這些問題小黑好像都沒有，還是小黑可愛。
不像這些大模型，很會唬人，而且還唬的像模像樣。
說實話要是田鋼用這些模型來搭建ai for math。
李東都不敢想那些數學家會不會被哄成胎盤。 畢竟一般的學者真不一定有這些大模型厲害，所以它偷換概念的時候，他們分不清的。
全網首發更新𝙏𝙒看書📕𝙨𝙝𝙪.𝙩𝙬
這些被小黑一路看穿的毛病，單拎出哪一條，都夠那些頂尖團隊頭疼上好一陣子。
可偏偏，這些放在小黑眼裡，竟沒有一樣能難得住它。
李東的眼睛，慢慢亮了起來，於是朝著小黑說道。
「小黑你先玩兒著。」
「我這就去給你，換一間大一點的屋子。」
……
李東把電腦關掉，靠在椅背上，對著那片漆黑的屏幕，發了好一會兒呆。
說是給小黑換新家，可是有個問題。
他想起劉若傳說的話……
這世上最頂尖的算力，和框架都在別人手裡呀。
這種東西，光有錢砸不出來，還得有硬體那一邊的門路才行。 「哎……又要麻煩別人了」
李東拿起手機撥出了一個號碼。
……
魔都，華軒科技。
一間恆溫恆濕的廠房裡，裡面的燈光還沒有熄滅。
廠房裡一塵不染的，幾名穿著白色無塵服的工程師，正圍著一台機器在做最後一輪的數據覆核，誰也沒怎麼出聲。
隔著一層觀察窗，林偉雙手抱在胸前，一動不動地看著裡面那台龐然大物。
這是他們新一代的浸沒式光刻整機。
兩年前，國威那台「啟明」系列的國產浸沒式整機落地的時候，也曾經在網上掀起過一陣風浪。
能把這麼一台頂尖的光刻整機，從裡到外自己攢出來，本身就夠讓人振奮了。
可那對林偉他們來說，那事早就翻篇了，他們可不能停止不前。
眼前這台，比當年的「啟明」又往前先進了一大截，這是衝著七納米節點去的。 「林總。」
身旁一名技術員盯著控制屏，聲音裡帶著掩飾不住的激動。
「最新一輪全片驗證的數據，出來了。」
「雙工件台的同步誤差，整片壓到了閾值以下。」
「套刻精度和焦面控制，從片心到片邊，全程都死死咬在了設計指標上。」
「這台整機……過線了。」
觀察窗里，機械臂正穩穩地托著一片晶圓，在兩座工件台之間無聲地交接。
林偉看了好幾秒，才緩緩吐出一口氣。
他這種人，是不大會把情緒掛在臉上的。
可這一刻，連他手都有些微微發抖。
這台整機一旦真站穩了，那就意味著它能磨出來下一代國產的ai加速器（ai accelerator）。
這兩年外面那些大模型越堆越大，對算力的要求大得嚇人。 可真正頂尖的那批晶片，華夏自己沒有，而現在……華夏終於可以自己下場了。
雖然跟外面的比，他們手裡這傢伙還差著身位。
人家最頂尖的極紫外光刻（euv），早就把晶片推到了2納米節點上。
他們這台浸沒式光刻（duv）連同多重曝光，往極限里一點一點地逼，才把七納米硬生生啃了下來，工藝更費，良率也更難看。
可這條路能不能走通，從來就不只看單顆晶片的成色。
單顆追不上，那就拿數量去填，成千上萬顆加起來連成一片，靠著規模硬生生把那點差距給抹平了不少。
何況國內的電費便宜，電力又管夠，這麼大一片的晶片也就餵得起。
這條路是真真切切，被他們走通了。
而且這條路能走到今天，裡面離不開的還是……李東那套降維算法。
是那套算法解決了流熱耦合實時控制。
林偉到現在都還記得，當年那個在華軒杯複賽卷子最後一問里，寫下「雙光束雷射干涉無掩模光刻」方案的高中生。
時間一晃，竟也有兩年了。 這些年，林偉在各種場合，沒少聽見這個名字。
數學、太陽物理，甚至醫療上他都聽見過李東這個名字。
「你到底還藏著多少東西呀，李東——教授！」
想到這兒，林偉居然忍不住笑了起來。
就在這時，他西裝口袋裡的手機震懂了起來。
這個點這種場合，能打進來的電話，多半沒什麼好事。
林偉皺了皺眉，騰出一隻手，把手機摸了出來，正要掛斷。
可當他的視線，掃過屏幕上那個名字時……
他的動作，停住了。
林偉轉過頭，沖身旁那名技術員說道。
「這邊你先盯著，我接個電話。」
說完他推開廠房的門，快步走了出去。 「您好，李東教授？」
小黑那個圓球還化做一隻小手指了指自己的「腦袋」。
簡單的說這些大模型的腦子，就是拿注意力一層一層疊起來的。
在它腦子裡，每一個字都不再是字，而是一串數字。
業內把管這串數字叫做「表示」（representation），專門用來裝這個字的意思。
每過一層注意力，所有的字就拿著這串數字彼此摻和一回，你借我一點，我借你一點。
壞就壞在，要是只有這些注意力層，光這麼一層一層摻下去，每個字的那串數字，就會越摻越像。
摻著摻著，所有的字就都都變成了同一個模樣，再也分不出誰是誰。
當然，這些大模型也有預防機制，一個叫「殘差」（residual connection）。
一個叫「前饋層」（ffn）。
可就算這樣，也沒有從根上解決問題。
李東聽得入了神。 這些東西，他先前壓根沒往這麼深的地方想過。
「還有個怪症，叫逆轉詛咒。」
小黑一說起來簡直就停不下來了……
它後面還說了組合性鴻溝和rlhf
一個是大模型碰上那種一環扣一環，得連推好幾步才解得開的題，它根本沒在「推」，只是把見過的套路硬往上套，稍微複雜點它就垮了。
另一個就是，本來是拿人的喜好把它調教得更聽話，可越調它反倒越自負，明明心裡沒底，張口卻是十分的篤定。
小黑說完這些一臉的嫌棄。
李東聽到這兒，連帶著也一起嫌棄起來了。
這些問題小黑好像都沒有，還是小黑可愛。
不像這些大模型，很會唬人，而且還唬的像模像樣。
說實話要是田鋼用這些模型來搭建ai for math。
李東都不敢想那些數學家會不會被哄成胎盤。 畢竟一般的學者真不一定有這些大模型厲害，所以它偷換概念的時候，他們分不清的。
全網首發更新𝙏𝙒看書📕𝙨𝙝𝙪.𝙩𝙬
這些被小黑一路看穿的毛病，單拎出哪一條，都夠那些頂尖團隊頭疼上好一陣子。
可偏偏，這些放在小黑眼裡，竟沒有一樣能難得住它。
李東的眼睛，慢慢亮了起來，於是朝著小黑說道。
「小黑你先玩兒著。」
「我這就去給你，換一間大一點的屋子。」
……
李東把電腦關掉，靠在椅背上，對著那片漆黑的屏幕，發了好一會兒呆。
說是給小黑換新家，可是有個問題。
他想起劉若傳說的話……
這世上最頂尖的算力，和框架都在別人手裡呀。
這種東西，光有錢砸不出來，還得有硬體那一邊的門路才行。 「哎……又要麻煩別人了」
李東拿起手機撥出了一個號碼。
……
魔都，華軒科技。
一間恆溫恆濕的廠房裡，裡面的燈光還沒有熄滅。
廠房裡一塵不染的，幾名穿著白色無塵服的工程師，正圍著一台機器在做最後一輪的數據覆核，誰也沒怎麼出聲。
隔著一層觀察窗，林偉雙手抱在胸前，一動不動地看著裡面那台龐然大物。
這是他們新一代的浸沒式光刻整機。
兩年前，國威那台「啟明」系列的國產浸沒式整機落地的時候，也曾經在網上掀起過一陣風浪。
能把這麼一台頂尖的光刻整機，從裡到外自己攢出來，本身就夠讓人振奮了。
可那對林偉他們來說，那事早就翻篇了，他們可不能停止不前。
眼前這台，比當年的「啟明」又往前先進了一大截，這是衝著七納米節點去的。 「林總。」
身旁一名技術員盯著控制屏，聲音裡帶著掩飾不住的激動。
「最新一輪全片驗證的數據，出來了。」
「雙工件台的同步誤差，整片壓到了閾值以下。」
「套刻精度和焦面控制，從片心到片邊，全程都死死咬在了設計指標上。」
「這台整機……過線了。」
觀察窗里，機械臂正穩穩地托著一片晶圓，在兩座工件台之間無聲地交接。
林偉看了好幾秒，才緩緩吐出一口氣。
他這種人，是不大會把情緒掛在臉上的。
可這一刻，連他手都有些微微發抖。
這台整機一旦真站穩了，那就意味著它能磨出來下一代國產的ai加速器（ai accelerator）。
這兩年外面那些大模型越堆越大，對算力的要求大得嚇人。 可真正頂尖的那批晶片，華夏自己沒有，而現在……華夏終於可以自己下場了。
雖然跟外面的比，他們手裡這傢伙還差著身位。
人家最頂尖的極紫外光刻（euv），早就把晶片推到了2納米節點上。
他們這台浸沒式光刻（duv）連同多重曝光，往極限里一點一點地逼，才把七納米硬生生啃了下來，工藝更費，良率也更難看。
可這條路能不能走通，從來就不只看單顆晶片的成色。
單顆追不上，那就拿數量去填，成千上萬顆加起來連成一片，靠著規模硬生生把那點差距給抹平了不少。
何況國內的電費便宜，電力又管夠，這麼大一片的晶片也就餵得起。
這條路是真真切切，被他們走通了。
而且這條路能走到今天，裡面離不開的還是……李東那套降維算法。
是那套算法解決了流熱耦合實時控制。
林偉到現在都還記得，當年那個在華軒杯複賽卷子最後一問里，寫下「雙光束雷射干涉無掩模光刻」方案的高中生。
時間一晃，竟也有兩年了。 這些年，林偉在各種場合，沒少聽見這個名字。
數學、太陽物理，甚至醫療上他都聽見過李東這個名字。
「你到底還藏著多少東西呀，李東——教授！」
想到這兒，林偉居然忍不住笑了起來。
就在這時，他西裝口袋裡的手機震懂了起來。
這個點這種場合，能打進來的電話，多半沒什麼好事。
林偉皺了皺眉，騰出一隻手，把手機摸了出來，正要掛斷。
可當他的視線，掃過屏幕上那個名字時……
他的動作，停住了。
林偉轉過頭，沖身旁那名技術員說道。
「這邊你先盯著，我接個電話。」
說完他推開廠房的門，快步走了出去。 「您好，李東教授？」