第387章 知己者，莫若東也
講到這兒，台下的學生就有點撐不住了。
他們才大二啊。
這幫人雖說不少都已經上手做起了自己的ai項目，模型調起來一個比一個溜，可姚先生今天講的這個，實在太特麼垂直了。
這已經不是「會不會用」的層面。
這是得專門鑽進深度學習的數學理論裡頭，整天跟損失景觀、隱式偏置、泛化邊界這些東西打交道的人，才跟得上的東西。
隨著姚先生的講解，黑板上的公式越堆越多。
【Θ(x，x′)=??f/?θ，?f/?θ?……】
底下勉強還能跟上的人，越來越少。
有人已經開始小聲地議論了起來。
「姚先生今天這……跟平時不太一樣啊？」
這話說到了點子上。
平時姚先生上課，是出了名的深入淺出。 再難的東西，他總能用一些大家聽的動的例子來講解，把學問講得有趣，好懂。
可今天他講的這些什麼過參數化的損失景觀，梯度下降的隱式偏置，還有那個懶惰訓練背後的 ntk機制……
這根本就不是給一群大二智班學生準備的東西。
這像是講給同行聽的。
然而坐在後排的李東，卻聽得津津有味。
這些東西，有一些他也不是全懂。
哪怕這一個禮拜，他幾乎把市面上能找著的ai論文、文獻、測評，一篇不落地全塞進了記憶宮殿。
可記憶宮殿這玩意兒，說到底只是個倉庫。
它能存，卻不能替李東啃透。
那些論文這一篇是講損失景觀，那一篇是講泛化，另一篇又在講什麼核方法，李東完全沒辦法將它們有序的關聯起來。。
而姚先生此刻在台上講的這些，就像一根針線，終於將這些串聯了起來。
【記住本站域名 TW 看書網伴你讀，𝓈𝒽𝓊.𝓉𝓌超順暢 】
損失景觀為什麼會連成片，連成片之後梯度下降憑什麼偏心，偏心又怎麼扯到了核方法的頭上…… 原來，它們講的是同一件事。
……
就在李東順著這根線往下捋的時候。
台上的姚先生，忽然停了下來，低頭看著教案，似乎是在等底下的同學消化。
教室里，一下子就靜了。
李東還沉浸在剛才的思路里沒出來，姚先生講的那個懶惰訓練有個地方他一時沒搞明白。
於是他下意識地就喃喃自語了一句。
「……可它要是一直這麼懶，那它到底是從什麼時候起，才真正學到東西的呢？」
聲音不大。
可教室太靜了，這一句話就顯得格外的清楚了。
姚先生本來還低頭看著教案，聽見這一聲，他抬起了頭。
目光落到後排的李東身上，他笑了笑。 「李東教授，你這個問題，問得很好，」老人慢條斯理地說道，「網絡要是真就一直這麼懶、一直圍著起點打轉，那它頂多算個換了身皮的核方法，談不上學到什麼新東西。它真正開始學，是從它肯挪窩、肯把那些旋鈕往遠了擰、在底層自己長出一套有用特徵來的那一刻起的。」
「這中間隔著的那道坎叫逃離 ntk機制，進入特徵學習。」
「至於這道坎卡在哪兒，又該怎麼邁過去……」
姚先生笑著搖了搖頭。
「這恰恰是現在還沒有幾個人能說清楚的事。」
姚先生話音一落，李東卻愣在了那裡。
周圍幾個學生偷偷瞄他，心裡都犯起了嘀咕。
好傢夥。
這個問題難成這樣了？連東神都被說懵逼了？
然而李東並沒有被說懵。
他愣住的原因只是因為……剛才他的腦子裡毫無徵兆地冒出來一些更深的東西。
【當網絡寬到極限的時候，不再被看成一堆死板的旋鈕，而是化作了一片連續的「概率分布」】 【每一個神經元，都成了這片分布里的一粒塵埃。】
【訓練也不再是苦哈哈地一個個擰旋鈕，而是這一整片分布，在一個叫 wasserstein空間的幾何世界裡，順著最省力的方向流動。】
這是把訓練直接寫成了一道描述質量如何流動的偏微分方程啊。
而順著這道方程往下，那道卡了無數人從懶惰到特徵學習的坎，竟隱隱約約露出了一點能繞過去的縫。
這才是李東懵逼的原因，他立刻就反應了過來……
這是姚先生腦子裡的思路，是姚先生那些還沒來得及說出口、甚至自己都未必理順了的靈感。
它們被薪火相傳進階版的效果，塞進了李東的記憶宮殿裡。
可緊接著李東又覺得不對勁。
剛才他坐在底下聽，姚先生講了那麼久，他腦子裡也只是把舊東西串了串，半點新的沒冒出來。
偏偏是他喃喃問了那一句、姚先生回了他那一句之後。
這股靈感才出現的。
「不會吧……」 「難道非得我開口問才能……觸發這個效果？」
他越想越覺得是這個理。
於是李東抬起頭，有些抱歉地，看了一眼教室里那一張張還懵著的臉。
對不住了，各位。
接下來我要乾的這些事，真不是我自己想這麼幹的。
……
於是在智班這一屋子人的眼皮子底下……
李東自打問完頭一個問題以後，就完全停不下來了。
「姚先生，那順著這個往下想。」
「要是乾脆別盯著一個個參數看了，把整張網絡拉到無限寬，看成一片連續的分布，訓練是不是就能看作這片分布的演化？」
姚先生握著粉筆的手，微微一頓。
他沒料到，這小子一張口，直接切到了平均場理論的腹地。 「……可以這麼看。」
他眼裡也透出了光。
「把訓練寫成分布的流動，那你緊接著就會撞上一個問題，它順著什麼尺度在流動？」
「順著最省力的方向唄。」
李東幾乎是脫口而出。
「可省力得有個尺度，尋常的歐氏距離不頂用，得換一種能丈量兩片概率分布遠近的法子……」
「最優傳輸給的度量尺度。」
姚先生接了下去，語速也快了幾分。
「拿 wasserstein距離當尺度，這片分布的流動，就成了一道最優傳輸空間裡的梯度流。」
「再往下一落地，你就得到一道偏微分方程。」
「連續性方程！」
兩個人幾乎是同時說出了這五個字。
他們才大二啊。
這幫人雖說不少都已經上手做起了自己的ai項目，模型調起來一個比一個溜，可姚先生今天講的這個，實在太特麼垂直了。
這已經不是「會不會用」的層面。
這是得專門鑽進深度學習的數學理論裡頭，整天跟損失景觀、隱式偏置、泛化邊界這些東西打交道的人，才跟得上的東西。
隨著姚先生的講解，黑板上的公式越堆越多。
【Θ(x，x′)=??f/?θ，?f/?θ?……】
底下勉強還能跟上的人，越來越少。
有人已經開始小聲地議論了起來。
「姚先生今天這……跟平時不太一樣啊？」
這話說到了點子上。
平時姚先生上課，是出了名的深入淺出。 再難的東西，他總能用一些大家聽的動的例子來講解，把學問講得有趣，好懂。
可今天他講的這些什麼過參數化的損失景觀，梯度下降的隱式偏置，還有那個懶惰訓練背後的 ntk機制……
這根本就不是給一群大二智班學生準備的東西。
這像是講給同行聽的。
然而坐在後排的李東，卻聽得津津有味。
這些東西，有一些他也不是全懂。
哪怕這一個禮拜，他幾乎把市面上能找著的ai論文、文獻、測評，一篇不落地全塞進了記憶宮殿。
可記憶宮殿這玩意兒，說到底只是個倉庫。
它能存，卻不能替李東啃透。
那些論文這一篇是講損失景觀，那一篇是講泛化，另一篇又在講什麼核方法，李東完全沒辦法將它們有序的關聯起來。。
而姚先生此刻在台上講的這些，就像一根針線，終於將這些串聯了起來。
【記住本站域名 TW 看書網伴你讀，𝓈𝒽𝓊.𝓉𝓌超順暢 】
損失景觀為什麼會連成片，連成片之後梯度下降憑什麼偏心，偏心又怎麼扯到了核方法的頭上…… 原來，它們講的是同一件事。
……
就在李東順著這根線往下捋的時候。
台上的姚先生，忽然停了下來，低頭看著教案，似乎是在等底下的同學消化。
教室里，一下子就靜了。
李東還沉浸在剛才的思路里沒出來，姚先生講的那個懶惰訓練有個地方他一時沒搞明白。
於是他下意識地就喃喃自語了一句。
「……可它要是一直這麼懶，那它到底是從什麼時候起，才真正學到東西的呢？」
聲音不大。
可教室太靜了，這一句話就顯得格外的清楚了。
姚先生本來還低頭看著教案，聽見這一聲，他抬起了頭。
目光落到後排的李東身上，他笑了笑。 「李東教授，你這個問題，問得很好，」老人慢條斯理地說道，「網絡要是真就一直這麼懶、一直圍著起點打轉，那它頂多算個換了身皮的核方法，談不上學到什麼新東西。它真正開始學，是從它肯挪窩、肯把那些旋鈕往遠了擰、在底層自己長出一套有用特徵來的那一刻起的。」
「這中間隔著的那道坎叫逃離 ntk機制，進入特徵學習。」
「至於這道坎卡在哪兒，又該怎麼邁過去……」
姚先生笑著搖了搖頭。
「這恰恰是現在還沒有幾個人能說清楚的事。」
姚先生話音一落，李東卻愣在了那裡。
周圍幾個學生偷偷瞄他，心裡都犯起了嘀咕。
好傢夥。
這個問題難成這樣了？連東神都被說懵逼了？
然而李東並沒有被說懵。
他愣住的原因只是因為……剛才他的腦子裡毫無徵兆地冒出來一些更深的東西。
【當網絡寬到極限的時候，不再被看成一堆死板的旋鈕，而是化作了一片連續的「概率分布」】 【每一個神經元，都成了這片分布里的一粒塵埃。】
【訓練也不再是苦哈哈地一個個擰旋鈕，而是這一整片分布，在一個叫 wasserstein空間的幾何世界裡，順著最省力的方向流動。】
這是把訓練直接寫成了一道描述質量如何流動的偏微分方程啊。
而順著這道方程往下，那道卡了無數人從懶惰到特徵學習的坎，竟隱隱約約露出了一點能繞過去的縫。
這才是李東懵逼的原因，他立刻就反應了過來……
這是姚先生腦子裡的思路，是姚先生那些還沒來得及說出口、甚至自己都未必理順了的靈感。
它們被薪火相傳進階版的效果，塞進了李東的記憶宮殿裡。
可緊接著李東又覺得不對勁。
剛才他坐在底下聽，姚先生講了那麼久，他腦子裡也只是把舊東西串了串，半點新的沒冒出來。
偏偏是他喃喃問了那一句、姚先生回了他那一句之後。
這股靈感才出現的。
「不會吧……」 「難道非得我開口問才能……觸發這個效果？」
他越想越覺得是這個理。
於是李東抬起頭，有些抱歉地，看了一眼教室里那一張張還懵著的臉。
對不住了，各位。
接下來我要乾的這些事，真不是我自己想這麼幹的。
……
於是在智班這一屋子人的眼皮子底下……
李東自打問完頭一個問題以後，就完全停不下來了。
「姚先生，那順著這個往下想。」
「要是乾脆別盯著一個個參數看了，把整張網絡拉到無限寬，看成一片連續的分布，訓練是不是就能看作這片分布的演化？」
姚先生握著粉筆的手，微微一頓。
他沒料到，這小子一張口，直接切到了平均場理論的腹地。 「……可以這麼看。」
他眼裡也透出了光。
「把訓練寫成分布的流動，那你緊接著就會撞上一個問題，它順著什麼尺度在流動？」
「順著最省力的方向唄。」
李東幾乎是脫口而出。
「可省力得有個尺度，尋常的歐氏距離不頂用，得換一種能丈量兩片概率分布遠近的法子……」
「最優傳輸給的度量尺度。」
姚先生接了下去，語速也快了幾分。
「拿 wasserstein距離當尺度，這片分布的流動，就成了一道最優傳輸空間裡的梯度流。」
「再往下一落地，你就得到一道偏微分方程。」
「連續性方程！」
兩個人幾乎是同時說出了這五個字。