第880章 通用模型（4k）
第880章 通用模型（4k）
陸奇有被碳矽掌門人扭轉了意願上的方向，但他距離真正加入DLF基金會還有一個重要的前提需要弄清楚。
這次的自注意力機制為什麼值得俞總這麼大費周章？
換句話說，Transformer真的展現出顛覆級別的潛力了？
陸奇不是深度學習領域的研究者，但也一直在關心這個領域的進展，對於這次的Transformer也有了解，知道它展現出了機器翻譯領域新一代S0TA技術的定位潛力。
所謂SOTA，State of the Art，也就是業界所說的最強水平。
問題在於，僅僅是機器翻譯領域，這值得俞總又是要內部推動，又是要外部競爭，還不惜讓吳恩達拉自己過來嗎？
陸奇在百度的時候就已經要推動公司ALL IN AI，彼時還沒有Transformer，而之所以那時就要把戰略定在這個領域，是因為全球頂級公司幾乎已經取得共識，AI會是網際網路之後的下一代通用技術革命，會重構所有的行業。
谷歌2011年成立「谷歌大腦」，次年收購DeepMind，至今已經把深度學習廣泛應用在搜索、安卓、翻譯等上百個產品之中，微軟2013年大規模轉向Ai，旗下0ffice、語音等產品都已經完成深度學習改造，臉書則在2013年邀請楊立昆組建FAIR，全面布局視覺和語言以及推薦系統。
作為曾經的微軟執行副總裁，陸奇本身就是這波深度學習發展浪潮里的親歷者和推動
者，認同的是俞總對深度學習的戰略重視，不解的是他選擇重視的節點。
但是，陸奇對於俞總這種不見兔子不撒鷹的態度也在彼此短暫的交流里有種合適的猜想，DLF這邊已經就著Transformer搞出了東西。
他握了手，現在就需要俞總把真傢伙端出來了。
吳恩達乾的就是這個活。
吳恩達看著陸奇，用眼神表達嚴肅：「陸總，我們認為，Transformer在自然語言方面有成為通用模型的可能性。」
自然語言處理NLP，這個領域一直是深度學習研究的重點，是為了讓計算機能夠聽懂人話，也能說出來人話。
NLP之前基本是每個任務單獨設計模型，再單獨訓練，很依賴大量標註數據，不同任務之間的技術棧並不通用，也就是導致研發進展很緩慢。
通用模型意味著只用Transformer就能快速適配不同的任務。
以前是很多模型干不同方向的活，現在是用一個Transformer做不同方向的活，意義自然完全不同，如果能夠繼續推動，許多設想中的場面都可能會實現。
陸奇不用吳恩達多解釋就知道這種判斷的意義，但他的第一反應是十分懷疑：「通用模型？Transformer？這個判斷是怎麼得出來的？」
「我們基於Transformer做了一個模型，用它去做NLP的能力測試，它在GLUE的9個任務里已經有5個達到S0TA，這還只是我們的初步嘗試。」吳恩達說道，「另外，它在機器閱讀理解的2個任務里也拿到了高分。」
𝑇𝑊看書網→𝑠ℎ𝑢.𝑡𝑤
GLUE是目前業內公認的NLP通用能力評測，包含9個不同類型的語言理解任務，而機器閱讀理解也是NLP領域最受關注的任務之一。
吳恩達拿出了平板，展示具體的模型處理效果，過去需要不同模型的任務在基於Transformer的模型測試里拿到5項最優，剩下4項也接近最優。
在機器閱讀理解的2個任務里，模型的F1值拿到89分，超越了人類平均水平的87.9
分。
吳恩達時刻注意著陸奇的視線和瀏覽，等到他看到機器閱讀理解這部分，不輕不重的說了句：「這是大模型在機器閱讀領域第一次超過人類在通用數據集的表現。」
陸奇沉默了。
俞興這時提到一個關鍵的問題：「這還是他們在很短時間裡的成果，從去年到現在，從機器翻譯領域轉到NLP領域，也就不到4個月的時間。」
「這4個月，這11個任務里大部分的提升幅度已經相當於業內過去三到五年的總和。」
「嘖，就這個情況，時間再多點，恐怕11個任務都能達到S0TA。」
全球業內數年的提升在過去四個月時間裡被基於Transformer的模型做到了。
這些正是吳恩達發起聯名信的底氣，他有信心可以進一步推動新模型的發展，至於到底能不能成為NLP通用大模型，謹慎的說，需要進一步驗證。
從感性與直覺來看，吳恩達認為就是這個了。
陸奇翻來覆去的看著平板上的測試展示，頗有些抓耳撓腮。
他看了好一會，猛然抬頭問道：「這是真的？沒有造假？」
吳恩達舉手發誓：「我用我的人格擔保，這就是最真實的情況。」
俞興笑了句：「我是最見不了造假的，也沒有在這方面造假的意義，總不能是編個大謊，就為把你騙過來吧？」
陸奇長長的呼了一口氣，喃喃道：「要是這樣————」
要是這樣，下一代產業革命真要來了嗎？
他從微軟回國時，矽谷科技圈的主流判斷是如今處於產業變革的前夜，AI會是下一個時代最重要的突破，深度學習已經證明它可以解決一些複雜的決策類問題，這也是特斯拉自動駕駛和工業控制等領域具備想像空間的基礎。
可是，這會出現在致力於機器翻譯領域進步而推出的Transformer嗎？
陸奇很難相信，但面前的經典NLP任務表現又讓他不得不相信，確實有這個潛力。
他一會搖頭，一會點頭，末了看向倒茶的俞總，問道：「俞總，碳矽集團的智能駕駛也有這方面的推進嗎？」
俞興愣了下，搖頭道：「沒有，還沒那麼快，但這確實會是一個新能源產品快速發展的領域，也能增加市場裡的競爭力，不過，我們造車不一樣，這方面要更加謹慎。」
陸奇只是受到的衝擊太大，同時又想到了之前百度在做的自動駕駛研究，情不自禁就對如今國內的新能源領軍人物問出這樣的問題。
他聽到俞總的回答之後也反應過來，這方面的推進沒有那麼快，不會像大模型做任務這樣快速拿到成績。
陸奇終究還是放下了平板，沉思一會後感嘆道：「這個東西要是發出來會讓大家都震動的！」
俞興點點頭：「嗯，但我覺得谷歌他們可能也在這方面研究了，新的機制放在這裡，NLP任務放在那裡，很難不一起研究嘗試。」
「其實，我們車上的語音功能就是來自深度學習的研究，那個是卷積神經網絡，今年應該就能考慮切換到Transformer，沒準是它最先落地的一個商業領域。」
陸奇沒有立即說話，低頭沉思了一會，冒出來一個問題：「百度怎麼辦————」
俞興攤攤手：「好歹也在做這方面的研究，我祝福它。」
陸奇估摸著百度在這些領域的研究都要面臨很大的挑戰了。
他悠悠的嘆息，一時間也不知是為百度，還是為面前一次有望推動產業變革的突破。
陸奇慢慢喝了一杯茶，也在結合最新的情況梳理思路，等到再換新茶，他慢慢的說道：「模型是需要數據餵的，自然語言模型會是一個人和信息交換的新媒介。」
他在嘗試思考新技術帶來的變化，網際網路領域的信息交換總能造就巨頭，雅虎，谷歌，微軟，臉書————
如果機器真能聽懂人話，也能說出來人話，機器背後的龐大信息都能源源不斷的向外輸出。
陸奇這麼一說，瞬間又想起俞總先前的話，深度學習的發展很可能就是在吞噬百度搜索的未來。
搜索大概真會受到很大衝擊。
「陸總，其實我覺得人機互動的新媒介不能單純的當做一款網際網路產品。」俞興說道，「它要是出現，不能再往傳統的網際網路產品上套，它不會是QQ，不會是微信，也不會是抖音，背後情況是完全不同的。」
陸奇聞言，有些茫然：「俞總，怎麼說？」
「網際網路產品有一個很重要的特點，就是邊際效應，一款產品開發出來的前期投入很高，一旦取得一定的規模，用戶越滾越多，相應的成本越來越低。」俞興斟酌道，「這是我們做網際網路里最喜歡看到的場面。」
陸奇點了點頭，俞總是親自帶人做出來微信的，這種體會必然很深，現在碳矽數據的抖音也已經形成規模優勢。
「但是，AI不一樣，人與AI的交互很可能會存在算力成本。」俞興說道，「我和吳總聊過，他們與模型交流，我與模型交流，再增加人交流，它的使用成本也是跟著增加的，它的總成本很可能並不隨著用戶的增加而大幅減少，那就代表著它可能只是披著網際網路產品外衣的重資產產品。」
陸奇的眉頭皺了起來，重資產？
他看向吳恩達，後者則是點了點頭，認可俞總的說法。
陸奇因為新模型成績所帶來的驚喜消散了一些，如果這種說法正確，那AI的商業化可能不會那麼樂觀，成本跟著走高，盈利也會困難。
如果不盈利，內部造血機制不健康，就需要外部輸血。
陸奇思考了一會，問道：「那俞總是怎麼想的？」
「我想著先讓你過來，先把班子搭起來，先把新發現都告訴大家，先把錢融進來。」俞興很坦誠的說道，「怎麼辦，先燒著唄。」
吳恩達聽到這話又有點不安了。
陸奇卻笑了，反而十分贊同：「是的，先燒著，就算是重資產，俞總，這也值得投入啊，如果新模型能夠有通用性，你的車至少能賣更多了。」
他這麼說著，腦海里卻是思緒萬千，能夠想像的空間很大，具體落實卻需要大量工作O
「這會是碳矽與碳矽數據的合作之一，但我們現在因為電氣化的進步也還賣得不錯。」俞興淡定的說道，「目前我對這一塊的考慮是先活著，一邊活一邊進步，然後看看最終能夠通過什麼樣的商業模式運轉。」
「我們可以吃吃百度搜索的份額，吃吃阿里電商的業務，吃吃企鵝社交的利益，也吃吃臉書，吃吃外面金融市場的漲幅。」
「反正，先活下來，然後再看我們能推動哪些方向的落地。」
俞興展現了謹慎的樂觀。
陸奇看到了臨港之蛇的複雜性，食譜是有點多啊。
不過，如果說深度學習的發展是吞噬百度搜索的未來，如今抖音搜索的增長已經在威脅百度搜索的現在了。
陸奇用力的抓了抓頭，由衷說道：「俞總，這得好好考慮，這要是做出來，我感覺很多行業都會有深刻的變化，硬體，軟體————」
俞興瞧著他露出這樣不那麼精英的動作，忍不住笑了笑，點頭道：「是，我也這麼想。」
陸奇感覺嘴唇有些干，自己去拿了一瓶礦泉水又一口氣幹掉大半。
他放下瓶子，冷靜了一些，突然盯著俞總問道：「俞總，你不會拿著這種可能的衝擊去做空吧？」
吳恩達從來沒有想過這一層，聞言也用餘光打量老闆。
俞興搖搖頭：「我一心想著公司內外的良性競爭，沒往那方面想。」
下一刻，他笑道：「，你倒是提醒我了。」
吳恩達立即對陸奇說道：「陸總，你看你幹了什麼，你把過山峰放出來了！」
陸奇看俞總雖然臉上帶笑，卻一點也不像是開玩笑的模樣，思索幾秒後搖頭道：「不是我放的，過山峰從來都沒進去過。」
「不用關心那些了，我現在希望的就是DLF基金會有獨立的運作和發展，新模型在通用領域的突破能夠儘快落實並發布，相關的融資都可以等正式亮相後推出。」俞興認真的說道，「涉及到這種突破，過山峰基金會的資金也可以投過來，陸總，我希望DLF基金可
以成為這方面最強的研究機構。」
陸奇問道：「比碳矽數據還強？」
俞興毫不猶豫的點頭：「當然，這就是我邀請你來的意義。」
陸奇徹底接受了來自碳矽掌門人的邀請，回了句：「嗯，如切如磋，如琢如磨。」
如切如磋，如琢如磨，是為君子之爭。
>
陸奇有被碳矽掌門人扭轉了意願上的方向，但他距離真正加入DLF基金會還有一個重要的前提需要弄清楚。
這次的自注意力機制為什麼值得俞總這麼大費周章？
換句話說，Transformer真的展現出顛覆級別的潛力了？
陸奇不是深度學習領域的研究者，但也一直在關心這個領域的進展，對於這次的Transformer也有了解，知道它展現出了機器翻譯領域新一代S0TA技術的定位潛力。
所謂SOTA，State of the Art，也就是業界所說的最強水平。
問題在於，僅僅是機器翻譯領域，這值得俞總又是要內部推動，又是要外部競爭，還不惜讓吳恩達拉自己過來嗎？
陸奇在百度的時候就已經要推動公司ALL IN AI，彼時還沒有Transformer，而之所以那時就要把戰略定在這個領域，是因為全球頂級公司幾乎已經取得共識，AI會是網際網路之後的下一代通用技術革命，會重構所有的行業。
谷歌2011年成立「谷歌大腦」，次年收購DeepMind，至今已經把深度學習廣泛應用在搜索、安卓、翻譯等上百個產品之中，微軟2013年大規模轉向Ai，旗下0ffice、語音等產品都已經完成深度學習改造，臉書則在2013年邀請楊立昆組建FAIR，全面布局視覺和語言以及推薦系統。
作為曾經的微軟執行副總裁，陸奇本身就是這波深度學習發展浪潮里的親歷者和推動
者，認同的是俞總對深度學習的戰略重視，不解的是他選擇重視的節點。
但是，陸奇對於俞總這種不見兔子不撒鷹的態度也在彼此短暫的交流里有種合適的猜想，DLF這邊已經就著Transformer搞出了東西。
他握了手，現在就需要俞總把真傢伙端出來了。
吳恩達乾的就是這個活。
吳恩達看著陸奇，用眼神表達嚴肅：「陸總，我們認為，Transformer在自然語言方面有成為通用模型的可能性。」
自然語言處理NLP，這個領域一直是深度學習研究的重點，是為了讓計算機能夠聽懂人話，也能說出來人話。
NLP之前基本是每個任務單獨設計模型，再單獨訓練，很依賴大量標註數據，不同任務之間的技術棧並不通用，也就是導致研發進展很緩慢。
通用模型意味著只用Transformer就能快速適配不同的任務。
以前是很多模型干不同方向的活，現在是用一個Transformer做不同方向的活，意義自然完全不同，如果能夠繼續推動，許多設想中的場面都可能會實現。
陸奇不用吳恩達多解釋就知道這種判斷的意義，但他的第一反應是十分懷疑：「通用模型？Transformer？這個判斷是怎麼得出來的？」
「我們基於Transformer做了一個模型，用它去做NLP的能力測試，它在GLUE的9個任務里已經有5個達到S0TA，這還只是我們的初步嘗試。」吳恩達說道，「另外，它在機器閱讀理解的2個任務里也拿到了高分。」
𝑇𝑊看書網→𝑠ℎ𝑢.𝑡𝑤
GLUE是目前業內公認的NLP通用能力評測，包含9個不同類型的語言理解任務，而機器閱讀理解也是NLP領域最受關注的任務之一。
吳恩達拿出了平板，展示具體的模型處理效果，過去需要不同模型的任務在基於Transformer的模型測試里拿到5項最優，剩下4項也接近最優。
在機器閱讀理解的2個任務里，模型的F1值拿到89分，超越了人類平均水平的87.9
分。
吳恩達時刻注意著陸奇的視線和瀏覽，等到他看到機器閱讀理解這部分，不輕不重的說了句：「這是大模型在機器閱讀領域第一次超過人類在通用數據集的表現。」
陸奇沉默了。
俞興這時提到一個關鍵的問題：「這還是他們在很短時間裡的成果，從去年到現在，從機器翻譯領域轉到NLP領域，也就不到4個月的時間。」
「這4個月，這11個任務里大部分的提升幅度已經相當於業內過去三到五年的總和。」
「嘖，就這個情況，時間再多點，恐怕11個任務都能達到S0TA。」
全球業內數年的提升在過去四個月時間裡被基於Transformer的模型做到了。
這些正是吳恩達發起聯名信的底氣，他有信心可以進一步推動新模型的發展，至於到底能不能成為NLP通用大模型，謹慎的說，需要進一步驗證。
從感性與直覺來看，吳恩達認為就是這個了。
陸奇翻來覆去的看著平板上的測試展示，頗有些抓耳撓腮。
他看了好一會，猛然抬頭問道：「這是真的？沒有造假？」
吳恩達舉手發誓：「我用我的人格擔保，這就是最真實的情況。」
俞興笑了句：「我是最見不了造假的，也沒有在這方面造假的意義，總不能是編個大謊，就為把你騙過來吧？」
陸奇長長的呼了一口氣，喃喃道：「要是這樣————」
要是這樣，下一代產業革命真要來了嗎？
他從微軟回國時，矽谷科技圈的主流判斷是如今處於產業變革的前夜，AI會是下一個時代最重要的突破，深度學習已經證明它可以解決一些複雜的決策類問題，這也是特斯拉自動駕駛和工業控制等領域具備想像空間的基礎。
可是，這會出現在致力於機器翻譯領域進步而推出的Transformer嗎？
陸奇很難相信，但面前的經典NLP任務表現又讓他不得不相信，確實有這個潛力。
他一會搖頭，一會點頭，末了看向倒茶的俞總，問道：「俞總，碳矽集團的智能駕駛也有這方面的推進嗎？」
俞興愣了下，搖頭道：「沒有，還沒那麼快，但這確實會是一個新能源產品快速發展的領域，也能增加市場裡的競爭力，不過，我們造車不一樣，這方面要更加謹慎。」
陸奇只是受到的衝擊太大，同時又想到了之前百度在做的自動駕駛研究，情不自禁就對如今國內的新能源領軍人物問出這樣的問題。
他聽到俞總的回答之後也反應過來，這方面的推進沒有那麼快，不會像大模型做任務這樣快速拿到成績。
陸奇終究還是放下了平板，沉思一會後感嘆道：「這個東西要是發出來會讓大家都震動的！」
俞興點點頭：「嗯，但我覺得谷歌他們可能也在這方面研究了，新的機制放在這裡，NLP任務放在那裡，很難不一起研究嘗試。」
「其實，我們車上的語音功能就是來自深度學習的研究，那個是卷積神經網絡，今年應該就能考慮切換到Transformer，沒準是它最先落地的一個商業領域。」
陸奇沒有立即說話，低頭沉思了一會，冒出來一個問題：「百度怎麼辦————」
俞興攤攤手：「好歹也在做這方面的研究，我祝福它。」
陸奇估摸著百度在這些領域的研究都要面臨很大的挑戰了。
他悠悠的嘆息，一時間也不知是為百度，還是為面前一次有望推動產業變革的突破。
陸奇慢慢喝了一杯茶，也在結合最新的情況梳理思路，等到再換新茶，他慢慢的說道：「模型是需要數據餵的，自然語言模型會是一個人和信息交換的新媒介。」
他在嘗試思考新技術帶來的變化，網際網路領域的信息交換總能造就巨頭，雅虎，谷歌，微軟，臉書————
如果機器真能聽懂人話，也能說出來人話，機器背後的龐大信息都能源源不斷的向外輸出。
陸奇這麼一說，瞬間又想起俞總先前的話，深度學習的發展很可能就是在吞噬百度搜索的未來。
搜索大概真會受到很大衝擊。
「陸總，其實我覺得人機互動的新媒介不能單純的當做一款網際網路產品。」俞興說道，「它要是出現，不能再往傳統的網際網路產品上套，它不會是QQ，不會是微信，也不會是抖音，背後情況是完全不同的。」
陸奇聞言，有些茫然：「俞總，怎麼說？」
「網際網路產品有一個很重要的特點，就是邊際效應，一款產品開發出來的前期投入很高，一旦取得一定的規模，用戶越滾越多，相應的成本越來越低。」俞興斟酌道，「這是我們做網際網路里最喜歡看到的場面。」
陸奇點了點頭，俞總是親自帶人做出來微信的，這種體會必然很深，現在碳矽數據的抖音也已經形成規模優勢。
「但是，AI不一樣，人與AI的交互很可能會存在算力成本。」俞興說道，「我和吳總聊過，他們與模型交流，我與模型交流，再增加人交流，它的使用成本也是跟著增加的，它的總成本很可能並不隨著用戶的增加而大幅減少，那就代表著它可能只是披著網際網路產品外衣的重資產產品。」
陸奇的眉頭皺了起來，重資產？
他看向吳恩達，後者則是點了點頭，認可俞總的說法。
陸奇因為新模型成績所帶來的驚喜消散了一些，如果這種說法正確，那AI的商業化可能不會那麼樂觀，成本跟著走高，盈利也會困難。
如果不盈利，內部造血機制不健康，就需要外部輸血。
陸奇思考了一會，問道：「那俞總是怎麼想的？」
「我想著先讓你過來，先把班子搭起來，先把新發現都告訴大家，先把錢融進來。」俞興很坦誠的說道，「怎麼辦，先燒著唄。」
吳恩達聽到這話又有點不安了。
陸奇卻笑了，反而十分贊同：「是的，先燒著，就算是重資產，俞總，這也值得投入啊，如果新模型能夠有通用性，你的車至少能賣更多了。」
他這麼說著，腦海里卻是思緒萬千，能夠想像的空間很大，具體落實卻需要大量工作O
「這會是碳矽與碳矽數據的合作之一，但我們現在因為電氣化的進步也還賣得不錯。」俞興淡定的說道，「目前我對這一塊的考慮是先活著，一邊活一邊進步，然後看看最終能夠通過什麼樣的商業模式運轉。」
「我們可以吃吃百度搜索的份額，吃吃阿里電商的業務，吃吃企鵝社交的利益，也吃吃臉書，吃吃外面金融市場的漲幅。」
「反正，先活下來，然後再看我們能推動哪些方向的落地。」
俞興展現了謹慎的樂觀。
陸奇看到了臨港之蛇的複雜性，食譜是有點多啊。
不過，如果說深度學習的發展是吞噬百度搜索的未來，如今抖音搜索的增長已經在威脅百度搜索的現在了。
陸奇用力的抓了抓頭，由衷說道：「俞總，這得好好考慮，這要是做出來，我感覺很多行業都會有深刻的變化，硬體，軟體————」
俞興瞧著他露出這樣不那麼精英的動作，忍不住笑了笑，點頭道：「是，我也這麼想。」
陸奇感覺嘴唇有些干，自己去拿了一瓶礦泉水又一口氣幹掉大半。
他放下瓶子，冷靜了一些，突然盯著俞總問道：「俞總，你不會拿著這種可能的衝擊去做空吧？」
吳恩達從來沒有想過這一層，聞言也用餘光打量老闆。
俞興搖搖頭：「我一心想著公司內外的良性競爭，沒往那方面想。」
下一刻，他笑道：「，你倒是提醒我了。」
吳恩達立即對陸奇說道：「陸總，你看你幹了什麼，你把過山峰放出來了！」
陸奇看俞總雖然臉上帶笑，卻一點也不像是開玩笑的模樣，思索幾秒後搖頭道：「不是我放的，過山峰從來都沒進去過。」
「不用關心那些了，我現在希望的就是DLF基金會有獨立的運作和發展，新模型在通用領域的突破能夠儘快落實並發布，相關的融資都可以等正式亮相後推出。」俞興認真的說道，「涉及到這種突破，過山峰基金會的資金也可以投過來，陸總，我希望DLF基金可
以成為這方面最強的研究機構。」
陸奇問道：「比碳矽數據還強？」
俞興毫不猶豫的點頭：「當然，這就是我邀請你來的意義。」
陸奇徹底接受了來自碳矽掌門人的邀請，回了句：「嗯，如切如磋，如琢如磨。」
如切如磋，如琢如磨，是為君子之爭。
>