第418章 這才是新時代的API

投票推薦 加入書籤 小說報錯

  第418章 這才是新時代的API

  韓路一把電話接了起來。

  「韓總,恭喜啊!」鄭曉波爽朗的笑聲傳了過來。

  「鄭總,喜從何來啊?竟然值得鄭總百忙之中特意給我打電話?」韓路一問道。

  「韓總,湯圓API開放這麼大的事,整個行業都在討論,我自然是為這個事情來的。」鄭曉波說道,「我聽說起源之前一直在為算力的事情困擾,現在API能開放出來,想必是這個瓶頸已經解決了吧?」

  「承蒙鄭總關心,確實有一些進展。」韓路一回答道。

  鄭曉波說的都是些廢話。

  起源缺算力這件事,在全行業都不是秘密。

  而且因為實體清單的限制,起源是完全買不到英偉達的顯卡,韓路一也不打算買,所以才另闢蹊徑,把資源全投在算力國產化上。

  這個方向究竟要多久才能出成果,之前沒人能打包票,直到起源突然冒出來,借著官方的名義組織起了國產算力聯盟,大家才反應過來:

  還真給他們做出來了。

  現在算力聯盟里既有鼎盛的全資子公司,也有鼎盛參與投資的公司,起源在推國產算

  力聯盟就是為了解決算力不足的問題,這個事大家都心知肚明,鄭曉波更沒理由不知道。

  甚至連起源手裡到底有多少卡,多少算力,都能從業內人士那拼湊出來。

  所以他打電話來肯定不是擔心算力的。

  「鄭總還有什麼別的提點?」韓路一問道。

  鄭曉波又哈哈大笑了幾聲:「韓總真是敏銳,我確實是無事不登三寶殿,這次是有個不情之請。」

  「鄭總請講。」

  「湯圓的市場反響這麼熱烈,韓總就算手裡有多餘的算力,應該也快到頂了吧?」鄭曉波的聲音嚴肅起來,「不知道韓總考不考慮把模型部署到鼎盛雲上來,由我們來賣?你有模型,我有算力,你有市場,我有客戶基礎,這是合則兩利的事情。」

  韓路一冷冷一笑。

  「鄭總的算盤打得不錯,只是和貴司合作,我心裡不是很有底。上次的事情,如果不是呂總親自出面,恐怕不會結束得那麼簡單吧?」

  這鼎盛還真是好了傷疤忘了疼,上次湯圓0.9在鼎盛雲上跑的訓練,標註數據被他們偷去訓練坤元,這才過去沒兩個月,還想故技重施?

  誰能保證你們不會再偷一次?

  【寫到這裡我希望讀者記一下我們域名𝙏𝙒看書📕𝙨𝙝𝙪.𝙩𝙬】

  把模型部署在別人的計算卡上,顯存里的東西一目了然,模型的參數和權重基本上是全開放的。

  為什麼Neus AI敢把自己的模型放在谷歌雲上?為什麼0penAI把自己的模型都部署在微軟的Azure雲上?就是因為他們之間不只是合作夥伴,還有直接的投資關係。

  不然的話,他們也怕參數被偷。

  為了解決這種問題,英偉達還特意推出了顯存加密計算的技術,保證顯存里的內容不會被外人讀取。

  但是說到底,如果你把模型放到別人的硬體上跑,不論怎麼加密都沒用,就算真能保證參數,被蒸餾也是不可避免的。

  以鼎盛和起源之間的關係,這根本就不可能。

  鄭曉波解釋道:「韓總,我們兩家之前的誤會純粹是公司里的個人行為,涉事人員都已經被辭退處理了。請你相信,鼎盛雲是把客戶的隱私放在第一位考慮的,雲業務幾千億的市場,現在AI的市場有沒有這麼大?鼎盛不會為了一個新興的機會置自己的商譽為不顧的。」

  韓路一根本不信。

  問題不在於管理上允不允許,問題在於物理上可不可行。

  今天你說是個人行為,下次偷完了還是個人行為,開除兩個人了事唄?

  「鄭總,這個問題不用聊了,湯圓模型是不會部署到鼎盛雲上去的。」

  鄭曉波又勸道:「韓總,呂總之前和我透露過,如果韓總有意的話,鼎盛可以向起源定向增發,我們兩家換股,不知道韓總意下如何?」

  韓路一心裡一驚。

  他們大概是聽說了自己和澄江科技之間談的條件,竟然想了這麼一出。

  不過不管是按照什麼估值來換股,鼎盛肯定是想進董事會的,起源上市的籌備工作已經開始,韓路一不想放他們進來。

  「幫我謝謝呂總的好意,但是我們暫時不會考慮這個選項。」韓路一又拒絕道。

  「韓總,看來你對鼎盛還有芥蒂,希望不要影響了我們的合作。我注意到,湯圓0.9

  的模型接口沒有開放,在湯圓Chat和御風裡也不能指定模型,不知道起源這邊是不是已經完全放棄了?能不能把湯圓0.9放到鼎盛雲上來?」

  鄭曉波連續被拒絕兩次,好像完全不在意,又提出了第三個選項。

  韓路一馬上就意識到,這才是他真正的目的。

  前面兩個提議,韓路一接受了自然好,被拒絕了他也不在意,因為他就是想要一種連

  續被拒絕兩次的狀態。

  這要等到他第三次再提出一個相當合理的選項的時候,韓路一再想拒絕,心裡難免會不好意思。

  鄭曉波說的沒錯,在湯圓1.0正式發布之後,湯圓0.9基本上就全面下架了。

  至於原因嘛,是因為0.9跟1.0用的其實是同一個預訓練的底子,只是後訓練使用的標註數據不同,兩者的大小差不多,對算力的消耗也差不多,1.0的結果又全面優於0.9,所以沒有任何理由還把0.9部署上來。

  韓路一暗自考慮,鄭曉波想把0.9要過去賣,確實不是不能談。

  劉大海領導研發的坤元2.0用的是和湯圓一樣的思路,更乾淨的數據集加上更複雜的標註數據,各項能力已經提升了不少,和湯圓0.9的差距不算太大,無論他們是直接偷參數還是自己偷偷蒸餾,其實對湯圓1.0都不會有什麼影響。

  而這一部分用的是鼎盛的算力,起源授權出去,賺個授權費,或者按比例分成,同時還能擴大湯圓的用戶基數,總體上來說絕對是利大於弊。

  這第三個提議,確實值得韓路一好好考慮。

  「鄭總,厲害啊。」韓路一感慨了一句,沒說是哪裡厲害,「湯圓0.9是上一代模型,鄭總也感興趣?」

  鄭曉波笑著說:「在韓總面前,我哪說得上厲害,鼎盛是綜合公司,不只做AI研發,各個事業部我們都要綜合考慮。鼎盛雲上的企業客戶很多都希望我們能上線湯圓模型,我們這也是為客戶考慮啊。」

  韓路一莫名覺得這話有點兒耳熟。

  他突然想起來,自己當年去找天樞雲兜售BugKiller的時候不是也是這麼說的嗎?

  不是我們非得來,實在是客戶都要求我們上架,我們才來尋求合作的,一切為了客戶嘛。

  韓路一頓感啼笑皆非。

  果然,做起生意來,這世界上的藉口都差不多。

  「具體的合作條款,鄭總是怎麼想的?」韓路一問道。

  「一口價,10個億,鼎盛買湯圓0.9的授權,怎麼樣?」

  韓路一笑了。

  「鄭總,這種合作沒有一口價的道理。」

  「那韓總打算怎麼合作呢?」

  「鄭總既然這麼有誠意,那就派人過來談談吧。」

  「韓總是爽快人。」

  鄭曉波電話一掛,就把臉上的笑容收了起來。

  這個韓路一,成長得太快了,鄭曉波已經不能像以前那樣對待他了。

  鄭曉波不敢再輕視他,不是因為呂雲重視,而是因為起源集團已經成為了人工智慧行業不可忽視的一股力量。

  他想了想,把秘書叫了進來:「讓王浩來一趟,跟他說是和起源下一步合作的事情,讓他做做準備。」

  「好的,鄭總。」

  時間往回撥兩個小時。

  鵬城。

  九點多的時候,林一舟睜開眼,看著臥室的天花板。

  他已經搬離了龍崗的出租屋,而是去南山區新租了一個兩室一廳。

  其中一間還當臥室用,另外一間則當成了工作室。

  這近一個月的時間,林一舟過得如夢似幻。

  自從湯圓協議被越來越多的大模型和AI助手接入,購買元宵郵箱的人越來越多。

  不到一個月的時間,他已經賺了十萬塊錢。

  十萬塊!

  他做後端開發的時候,就算那個跳槽去的二線中廠,也只能給到稅前四十萬的年薪,每個月到手才兩萬多。

  現在的收入是那時候的四倍。

  而且這是月度訂閱,不是買斷,也就是說,每個月都是十萬,如果付費用戶繼續增多,後面還會漲。

  這就是當風口上的豬的感覺?

  可太爽了!

  最近購買元宵郵箱的用戶越來越多,而且很多用戶都來自海外。

  顯然,相比於國內把很多業務都放在微信里,國外的用戶更偏向於重度使用郵箱。

  甚至還有很多企業來問協作功能,想要企業採購。

  做過SaaS業務的林一舟一下就反應過來,這是真正穩定的收入來源,因為和個人用戶不一樣,企業採購的流程複雜,一旦批准之後也就不太容易輕易中斷了。

  但問題是他們的一個主要需求是,不只是讓元宵郵箱當一個被AI助手調用的工具,而是希望元宵郵箱能作為一個入口,同時還有那些AI的功能,比如自然語言篩選郵件啊、操作郵件等等。

  林一舟當然也想繼續抓住這波風口。

  但是想要給自己的這個小軟體加上AI功能,就必須得在後台調用API了。

  這可是真真正正的在開發AI智能體了。

  想要製作一個讓AI助手能調用的工具,只需要適配湯圓協議就可以了,也就是說讓自己的功能能被AI使用就可以了,其實完全不需要什麼AI能力。

  但是要開發智能體卻需要對AI有所了解。

  雖然服務的人里有不少國外的用戶,但是作為開發者的林一舟人在國內,就只能使用國內模型廠商提供的API了,林一舟已經試過幾個不同的選項,最後的結果都不盡如人意。

  就拿一個最基本的篩選郵件的功能來說,其實林一舟需要的功能很簡單。

  如果用戶用中文或者英文說:「幫我找出上周的郵件。」

  林一舟需要把這個輸入連同他寫好的系統提示詞一起發給AI模型的API。

  作為一個傳統的後端開發,系統提示詞他自然沒有什麼經驗,只能一邊在網上搜索別人分享的模板一邊自己摸索效果。

  第一版是這麼寫的:

  【你是一個郵箱助手,用戶使用語言描述他的需求,把這個需求轉化為以下命令之一,返回固定格式的JSON文檔】

  【JSON文檔格式為:】後面是一個多層嵌套的JSON格式,然後在元宵郵箱的客戶端再寫一個解析器(Parser),把這個JSON轉化為具體的命令。

  【用戶輸入:】然後在裡面填上用戶輸入的話。

  按照道理來說,這個時候API會把客戶的需求翻譯成一個郵箱軟體可以理解的命令,然後軟體直接運行就可以了。

  但是林一舟驚訝地發現,就這麼一個簡單的架構,中間的坑竟然這麼多。

  因為客戶有可能說的是:「幫我找出上周需要我回復的郵件。」

  這怎麼找?

  得先把時間範圍圈出來,然後把郵件內容發回給API,讓它判斷是不是需要回復。

  但是現在API只會回一種命令,就是系統提示詞裡規定的那種。

  林一舟抓瞎了,系統提示詞越寫越複雜,接收到回復的處理器也越來越複雜,但是功能上卻沒有提升多少。

  昨天晚上臨睡前,又一次嘗試失敗了,坤元的API返回了一個解析器無法理解的內容,系統報錯。

  媽的,自己寫一個智能體才知道開發智能體又多難啊。

  這一個需求卡了林一舟一個多星期了,也沒什麼進展,不出意外,今天他也要度過在工作室和這個新功能死磕的一天。

  從床上爬起來的林一舟在衛生間裡一邊刷牙一邊刷手機,刷到了一個他平時關注的AI

  博主。

  這個博主雖然時不時有點兒於貨內容,但是風格實在是浮誇,還喜歡販賣焦慮,林一舟心不在焉地看著。

  「重磅新聞!湯圓1.0模型的API今天正式開放了,如果你還沒有聽說過湯圓1.0是什麼,那你真的OUT了,這就是我們每天使用的湯圓Chat後面的模型。所有關注我的粉絲,我推薦你現在就去註冊一個起源開發者平台的帳號,真的會改變你的認知————」

  博主還在滔滔不絕地輸出他的內容,但是林一舟看到這反應過來。

  他說什麼?

  湯圓開API了?

  怎麼一點兒消息都沒有?

  林一舟漱了漱口,把嘴裡的泡沫都吐出去,然後用手機打開起源官網上關於湯圓模型的內容。

  竟然真的開放了!

  額度有限,先到先得!

  林一舟也顧不得自己還沒來得及吃早飯了,從衛生間出來就直奔電腦,先把API的額度買上再說。

  林一舟是多年的老開發,這種流程不知道走過多少遍了,很快他就綁好了支付方式,生成了API Key,並且往裡充了一千塊錢。

  他之所以往裡充這麼多錢,自然是出於對湯圓系列模型一直以來的信任。

  就算自己的API開發不順利,這些額度將來也用得上,不會浪費的。

  如果是別的平台,他可不敢這麼使勁充值,充進去的錢可不退款,你用不完是你活該。

  然後林一舟仔細查看起湯圓1.0API用法的官方教程來。

  裡面對如何用湯圓API來開發智能體有詳細的講解,尤其是特別強調了對長程任務該怎麼處理。

  林一舟看得心頭一陣狂跳。

  我的這個元宵郵箱裡,如果用戶需要使用的功能是和郵件內容有關的,那不就是長程任務嗎?

  果然,湯圓API對智能體相關的長程任務有個新東西:工具調用鏈。

  也就是說,不只是把元宵郵箱需要接收什麼告訴湯圓,而是把元宵郵箱能做的所有事情都告訴湯圓,然後由湯圓來決定調用什麼功能,後續是不是還要繼續和湯圓API交流。

  所有需要在客戶端實現的複雜邏輯都不用寫了,直接交給湯圓去做。

  林一舟一邊看一邊懷疑。


  不過反正嘗試也不複雜,林一舟把之前寫的好幾十行的系統提示詞先注釋掉,然後按照官方教程,把元宵郵箱提供的這些功能寫成湯圓API接受的工具格式。

  其實很好寫,格式基本和湯圓協議是一樣的。

  然後最後只寫了一行解析器和一個循環。

  準備測試了,林一舟屏住了呼吸—不對,等等,先給循環加一個次數限制,不然模型犯傻一直調用,把我錢花完了怎麼辦?

  林一舟慶幸自己的急智,把這段缺失的邏輯加上了,循環最多執行十次,也就是說最多會對湯圓API發起十次請求。

  然後他再次屏住呼吸,在新編譯後好的本地開發版輸入了那個讓他最近無比挫敗的命令:「幫我找出上周需要我回復的郵件。」

  然後他沒等著看結果,而是直接打開開發者模式開始看本地日誌。

  【發往湯圓API:用戶:「幫我找出上周需要我回復的郵件」,工具:————】

  【回覆:調用工具:按日期篩選郵件,獲取郵件內容】

  【發往湯圓API:246封郵件內容】

  【回覆:調用工具:渲染界面,郵件ID*17】

  調用兩次之後,調用鏈結束了。

  林一舟切回到元宵郵箱的界面,只見他故意生成的兩百多封測試郵件里,之前他手動標記出來的、需要回復的那十七封已經被篩選了出來。

  此時此刻,林一舟說不出心裡是什麼感覺。

  這也太牛逼了。

  這個困擾了他一個多星期的問題,就被這樣一個簡單的循環給解決了。

  之前我測試的那些API都是什麼?

  這才是新時代的API吧!

  林一舟迅速把這個改動提交了,然後在元宵郵箱裡輸入了一個新的命令:「幫我把所有詢問過元宵郵箱AI入口的郵件找出來,統一回覆:新功能已經開發完成,預計下周更新。」

  >


章節目錄