第418章 這才是新時代的API
第418章 這才是新時代的API
韓路一把電話接了起來。
「韓總,恭喜啊!」鄭曉波爽朗的笑聲傳了過來。
「鄭總,喜從何來啊?竟然值得鄭總百忙之中特意給我打電話?」韓路一問道。
「韓總,湯圓API開放這麼大的事,整個行業都在討論,我自然是為這個事情來的。」鄭曉波說道,「我聽說起源之前一直在為算力的事情困擾,現在API能開放出來,想必是這個瓶頸已經解決了吧?」
「承蒙鄭總關心,確實有一些進展。」韓路一回答道。
鄭曉波說的都是些廢話。
起源缺算力這件事,在全行業都不是秘密。
而且因為實體清單的限制,起源是完全買不到英偉達的顯卡,韓路一也不打算買,所以才另闢蹊徑,把資源全投在算力國產化上。
這個方向究竟要多久才能出成果,之前沒人能打包票,直到起源突然冒出來,借著官方的名義組織起了國產算力聯盟,大家才反應過來:
還真給他們做出來了。
現在算力聯盟里既有鼎盛的全資子公司,也有鼎盛參與投資的公司,起源在推國產算
力聯盟就是為了解決算力不足的問題,這個事大家都心知肚明,鄭曉波更沒理由不知道。
甚至連起源手裡到底有多少卡,多少算力,都能從業內人士那拼湊出來。
所以他打電話來肯定不是擔心算力的。
「鄭總還有什麼別的提點?」韓路一問道。
鄭曉波又哈哈大笑了幾聲:「韓總真是敏銳,我確實是無事不登三寶殿,這次是有個不情之請。」
「鄭總請講。」
「湯圓的市場反響這麼熱烈,韓總就算手裡有多餘的算力,應該也快到頂了吧?」鄭曉波的聲音嚴肅起來,「不知道韓總考不考慮把模型部署到鼎盛雲上來,由我們來賣?你有模型,我有算力,你有市場,我有客戶基礎,這是合則兩利的事情。」
韓路一冷冷一笑。
「鄭總的算盤打得不錯,只是和貴司合作,我心裡不是很有底。上次的事情,如果不是呂總親自出面,恐怕不會結束得那麼簡單吧?」
這鼎盛還真是好了傷疤忘了疼,上次湯圓0.9在鼎盛雲上跑的訓練,標註數據被他們偷去訓練坤元,這才過去沒兩個月,還想故技重施?
誰能保證你們不會再偷一次?
【寫到這裡我希望讀者記一下我們域名𝙏𝙒看書📕𝙨𝙝𝙪.𝙩𝙬】
把模型部署在別人的計算卡上,顯存里的東西一目了然,模型的參數和權重基本上是全開放的。
為什麼Neus AI敢把自己的模型放在谷歌雲上?為什麼0penAI把自己的模型都部署在微軟的Azure雲上?就是因為他們之間不只是合作夥伴,還有直接的投資關係。
不然的話,他們也怕參數被偷。
為了解決這種問題,英偉達還特意推出了顯存加密計算的技術,保證顯存里的內容不會被外人讀取。
但是說到底,如果你把模型放到別人的硬體上跑,不論怎麼加密都沒用,就算真能保證參數,被蒸餾也是不可避免的。
以鼎盛和起源之間的關係,這根本就不可能。
鄭曉波解釋道:「韓總,我們兩家之前的誤會純粹是公司里的個人行為,涉事人員都已經被辭退處理了。請你相信,鼎盛雲是把客戶的隱私放在第一位考慮的,雲業務幾千億的市場,現在AI的市場有沒有這麼大?鼎盛不會為了一個新興的機會置自己的商譽為不顧的。」
韓路一根本不信。
問題不在於管理上允不允許,問題在於物理上可不可行。
今天你說是個人行為,下次偷完了還是個人行為,開除兩個人了事唄?
「鄭總,這個問題不用聊了,湯圓模型是不會部署到鼎盛雲上去的。」
鄭曉波又勸道:「韓總,呂總之前和我透露過,如果韓總有意的話,鼎盛可以向起源定向增發,我們兩家換股,不知道韓總意下如何?」
韓路一心裡一驚。
他們大概是聽說了自己和澄江科技之間談的條件,竟然想了這麼一出。
不過不管是按照什麼估值來換股,鼎盛肯定是想進董事會的,起源上市的籌備工作已經開始,韓路一不想放他們進來。
「幫我謝謝呂總的好意,但是我們暫時不會考慮這個選項。」韓路一又拒絕道。
「韓總,看來你對鼎盛還有芥蒂,希望不要影響了我們的合作。我注意到,湯圓0.9
的模型接口沒有開放,在湯圓Chat和御風裡也不能指定模型,不知道起源這邊是不是已經完全放棄了?能不能把湯圓0.9放到鼎盛雲上來?」
鄭曉波連續被拒絕兩次,好像完全不在意,又提出了第三個選項。
韓路一馬上就意識到,這才是他真正的目的。
前面兩個提議,韓路一接受了自然好,被拒絕了他也不在意,因為他就是想要一種連
續被拒絕兩次的狀態。
這要等到他第三次再提出一個相當合理的選項的時候,韓路一再想拒絕,心裡難免會不好意思。
鄭曉波說的沒錯,在湯圓1.0正式發布之後,湯圓0.9基本上就全面下架了。
至於原因嘛,是因為0.9跟1.0用的其實是同一個預訓練的底子,只是後訓練使用的標註數據不同,兩者的大小差不多,對算力的消耗也差不多,1.0的結果又全面優於0.9,所以沒有任何理由還把0.9部署上來。
韓路一暗自考慮,鄭曉波想把0.9要過去賣,確實不是不能談。
劉大海領導研發的坤元2.0用的是和湯圓一樣的思路,更乾淨的數據集加上更複雜的標註數據,各項能力已經提升了不少,和湯圓0.9的差距不算太大,無論他們是直接偷參數還是自己偷偷蒸餾,其實對湯圓1.0都不會有什麼影響。
而這一部分用的是鼎盛的算力,起源授權出去,賺個授權費,或者按比例分成,同時還能擴大湯圓的用戶基數,總體上來說絕對是利大於弊。
這第三個提議,確實值得韓路一好好考慮。
「鄭總,厲害啊。」韓路一感慨了一句,沒說是哪裡厲害,「湯圓0.9是上一代模型,鄭總也感興趣?」
鄭曉波笑著說:「在韓總面前,我哪說得上厲害,鼎盛是綜合公司,不只做AI研發,各個事業部我們都要綜合考慮。鼎盛雲上的企業客戶很多都希望我們能上線湯圓模型,我們這也是為客戶考慮啊。」
韓路一莫名覺得這話有點兒耳熟。
他突然想起來,自己當年去找天樞雲兜售BugKiller的時候不是也是這麼說的嗎?
不是我們非得來,實在是客戶都要求我們上架,我們才來尋求合作的,一切為了客戶嘛。
韓路一頓感啼笑皆非。
果然,做起生意來,這世界上的藉口都差不多。
「具體的合作條款,鄭總是怎麼想的?」韓路一問道。
「一口價,10個億,鼎盛買湯圓0.9的授權,怎麼樣?」
韓路一笑了。
「鄭總,這種合作沒有一口價的道理。」
「那韓總打算怎麼合作呢?」
「鄭總既然這麼有誠意,那就派人過來談談吧。」
「韓總是爽快人。」
鄭曉波電話一掛,就把臉上的笑容收了起來。
這個韓路一,成長得太快了,鄭曉波已經不能像以前那樣對待他了。
鄭曉波不敢再輕視他,不是因為呂雲重視,而是因為起源集團已經成為了人工智慧行業不可忽視的一股力量。
他想了想,把秘書叫了進來:「讓王浩來一趟,跟他說是和起源下一步合作的事情,讓他做做準備。」
「好的,鄭總。」
時間往回撥兩個小時。
鵬城。
九點多的時候,林一舟睜開眼,看著臥室的天花板。
他已經搬離了龍崗的出租屋,而是去南山區新租了一個兩室一廳。
其中一間還當臥室用,另外一間則當成了工作室。
這近一個月的時間,林一舟過得如夢似幻。
自從湯圓協議被越來越多的大模型和AI助手接入,購買元宵郵箱的人越來越多。
不到一個月的時間,他已經賺了十萬塊錢。
十萬塊!
他做後端開發的時候,就算那個跳槽去的二線中廠,也只能給到稅前四十萬的年薪,每個月到手才兩萬多。
現在的收入是那時候的四倍。
而且這是月度訂閱,不是買斷,也就是說,每個月都是十萬,如果付費用戶繼續增多,後面還會漲。
這就是當風口上的豬的感覺?
可太爽了!
最近購買元宵郵箱的用戶越來越多,而且很多用戶都來自海外。
顯然,相比於國內把很多業務都放在微信里,國外的用戶更偏向於重度使用郵箱。
甚至還有很多企業來問協作功能,想要企業採購。
做過SaaS業務的林一舟一下就反應過來,這是真正穩定的收入來源,因為和個人用戶不一樣,企業採購的流程複雜,一旦批准之後也就不太容易輕易中斷了。
但問題是他們的一個主要需求是,不只是讓元宵郵箱當一個被AI助手調用的工具,而是希望元宵郵箱能作為一個入口,同時還有那些AI的功能,比如自然語言篩選郵件啊、操作郵件等等。
林一舟當然也想繼續抓住這波風口。
但是想要給自己的這個小軟體加上AI功能,就必須得在後台調用API了。
這可是真真正正的在開發AI智能體了。
想要製作一個讓AI助手能調用的工具,只需要適配湯圓協議就可以了,也就是說讓自己的功能能被AI使用就可以了,其實完全不需要什麼AI能力。
但是要開發智能體卻需要對AI有所了解。
雖然服務的人里有不少國外的用戶,但是作為開發者的林一舟人在國內,就只能使用國內模型廠商提供的API了,林一舟已經試過幾個不同的選項,最後的結果都不盡如人意。
就拿一個最基本的篩選郵件的功能來說,其實林一舟需要的功能很簡單。
如果用戶用中文或者英文說:「幫我找出上周的郵件。」
林一舟需要把這個輸入連同他寫好的系統提示詞一起發給AI模型的API。
作為一個傳統的後端開發,系統提示詞他自然沒有什麼經驗,只能一邊在網上搜索別人分享的模板一邊自己摸索效果。
第一版是這麼寫的:
【你是一個郵箱助手,用戶使用語言描述他的需求,把這個需求轉化為以下命令之一,返回固定格式的JSON文檔】
【JSON文檔格式為:】後面是一個多層嵌套的JSON格式,然後在元宵郵箱的客戶端再寫一個解析器(Parser),把這個JSON轉化為具體的命令。
【用戶輸入:】然後在裡面填上用戶輸入的話。
按照道理來說,這個時候API會把客戶的需求翻譯成一個郵箱軟體可以理解的命令,然後軟體直接運行就可以了。
但是林一舟驚訝地發現,就這麼一個簡單的架構,中間的坑竟然這麼多。
因為客戶有可能說的是:「幫我找出上周需要我回復的郵件。」
這怎麼找?
得先把時間範圍圈出來,然後把郵件內容發回給API,讓它判斷是不是需要回復。
但是現在API只會回一種命令,就是系統提示詞裡規定的那種。
林一舟抓瞎了,系統提示詞越寫越複雜,接收到回復的處理器也越來越複雜,但是功能上卻沒有提升多少。
昨天晚上臨睡前,又一次嘗試失敗了,坤元的API返回了一個解析器無法理解的內容,系統報錯。
媽的,自己寫一個智能體才知道開發智能體又多難啊。
這一個需求卡了林一舟一個多星期了,也沒什麼進展,不出意外,今天他也要度過在工作室和這個新功能死磕的一天。
從床上爬起來的林一舟在衛生間裡一邊刷牙一邊刷手機,刷到了一個他平時關注的AI
博主。
這個博主雖然時不時有點兒於貨內容,但是風格實在是浮誇,還喜歡販賣焦慮,林一舟心不在焉地看著。
「重磅新聞!湯圓1.0模型的API今天正式開放了,如果你還沒有聽說過湯圓1.0是什麼,那你真的OUT了,這就是我們每天使用的湯圓Chat後面的模型。所有關注我的粉絲,我推薦你現在就去註冊一個起源開發者平台的帳號,真的會改變你的認知————」
博主還在滔滔不絕地輸出他的內容,但是林一舟看到這反應過來。
他說什麼?
湯圓開API了?
怎麼一點兒消息都沒有?
林一舟漱了漱口,把嘴裡的泡沫都吐出去,然後用手機打開起源官網上關於湯圓模型的內容。
竟然真的開放了!
額度有限,先到先得!
林一舟也顧不得自己還沒來得及吃早飯了,從衛生間出來就直奔電腦,先把API的額度買上再說。
林一舟是多年的老開發,這種流程不知道走過多少遍了,很快他就綁好了支付方式,生成了API Key,並且往裡充了一千塊錢。
他之所以往裡充這麼多錢,自然是出於對湯圓系列模型一直以來的信任。
就算自己的API開發不順利,這些額度將來也用得上,不會浪費的。
如果是別的平台,他可不敢這麼使勁充值,充進去的錢可不退款,你用不完是你活該。
然後林一舟仔細查看起湯圓1.0API用法的官方教程來。
裡面對如何用湯圓API來開發智能體有詳細的講解,尤其是特別強調了對長程任務該怎麼處理。
林一舟看得心頭一陣狂跳。
我的這個元宵郵箱裡,如果用戶需要使用的功能是和郵件內容有關的,那不就是長程任務嗎?
果然,湯圓API對智能體相關的長程任務有個新東西:工具調用鏈。
也就是說,不只是把元宵郵箱需要接收什麼告訴湯圓,而是把元宵郵箱能做的所有事情都告訴湯圓,然後由湯圓來決定調用什麼功能,後續是不是還要繼續和湯圓API交流。
所有需要在客戶端實現的複雜邏輯都不用寫了,直接交給湯圓去做。
林一舟一邊看一邊懷疑。
不過反正嘗試也不複雜,林一舟把之前寫的好幾十行的系統提示詞先注釋掉,然後按照官方教程,把元宵郵箱提供的這些功能寫成湯圓API接受的工具格式。
其實很好寫,格式基本和湯圓協議是一樣的。
然後最後只寫了一行解析器和一個循環。
準備測試了,林一舟屏住了呼吸—不對,等等,先給循環加一個次數限制,不然模型犯傻一直調用,把我錢花完了怎麼辦?
林一舟慶幸自己的急智,把這段缺失的邏輯加上了,循環最多執行十次,也就是說最多會對湯圓API發起十次請求。
然後他再次屏住呼吸,在新編譯後好的本地開發版輸入了那個讓他最近無比挫敗的命令:「幫我找出上周需要我回復的郵件。」
然後他沒等著看結果,而是直接打開開發者模式開始看本地日誌。
【發往湯圓API:用戶:「幫我找出上周需要我回復的郵件」,工具:————】
【回覆:調用工具:按日期篩選郵件,獲取郵件內容】
【發往湯圓API:246封郵件內容】
【回覆:調用工具:渲染界面,郵件ID*17】
調用兩次之後,調用鏈結束了。
林一舟切回到元宵郵箱的界面,只見他故意生成的兩百多封測試郵件里,之前他手動標記出來的、需要回復的那十七封已經被篩選了出來。
此時此刻,林一舟說不出心裡是什麼感覺。
這也太牛逼了。
這個困擾了他一個多星期的問題,就被這樣一個簡單的循環給解決了。
之前我測試的那些API都是什麼?
這才是新時代的API吧!
林一舟迅速把這個改動提交了,然後在元宵郵箱裡輸入了一個新的命令:「幫我把所有詢問過元宵郵箱AI入口的郵件找出來,統一回覆:新功能已經開發完成,預計下周更新。」
>
韓路一把電話接了起來。
「韓總,恭喜啊!」鄭曉波爽朗的笑聲傳了過來。
「鄭總,喜從何來啊?竟然值得鄭總百忙之中特意給我打電話?」韓路一問道。
「韓總,湯圓API開放這麼大的事,整個行業都在討論,我自然是為這個事情來的。」鄭曉波說道,「我聽說起源之前一直在為算力的事情困擾,現在API能開放出來,想必是這個瓶頸已經解決了吧?」
「承蒙鄭總關心,確實有一些進展。」韓路一回答道。
鄭曉波說的都是些廢話。
起源缺算力這件事,在全行業都不是秘密。
而且因為實體清單的限制,起源是完全買不到英偉達的顯卡,韓路一也不打算買,所以才另闢蹊徑,把資源全投在算力國產化上。
這個方向究竟要多久才能出成果,之前沒人能打包票,直到起源突然冒出來,借著官方的名義組織起了國產算力聯盟,大家才反應過來:
還真給他們做出來了。
現在算力聯盟里既有鼎盛的全資子公司,也有鼎盛參與投資的公司,起源在推國產算
力聯盟就是為了解決算力不足的問題,這個事大家都心知肚明,鄭曉波更沒理由不知道。
甚至連起源手裡到底有多少卡,多少算力,都能從業內人士那拼湊出來。
所以他打電話來肯定不是擔心算力的。
「鄭總還有什麼別的提點?」韓路一問道。
鄭曉波又哈哈大笑了幾聲:「韓總真是敏銳,我確實是無事不登三寶殿,這次是有個不情之請。」
「鄭總請講。」
「湯圓的市場反響這麼熱烈,韓總就算手裡有多餘的算力,應該也快到頂了吧?」鄭曉波的聲音嚴肅起來,「不知道韓總考不考慮把模型部署到鼎盛雲上來,由我們來賣?你有模型,我有算力,你有市場,我有客戶基礎,這是合則兩利的事情。」
韓路一冷冷一笑。
「鄭總的算盤打得不錯,只是和貴司合作,我心裡不是很有底。上次的事情,如果不是呂總親自出面,恐怕不會結束得那麼簡單吧?」
這鼎盛還真是好了傷疤忘了疼,上次湯圓0.9在鼎盛雲上跑的訓練,標註數據被他們偷去訓練坤元,這才過去沒兩個月,還想故技重施?
誰能保證你們不會再偷一次?
【寫到這裡我希望讀者記一下我們域名𝙏𝙒看書📕𝙨𝙝𝙪.𝙩𝙬】
把模型部署在別人的計算卡上,顯存里的東西一目了然,模型的參數和權重基本上是全開放的。
為什麼Neus AI敢把自己的模型放在谷歌雲上?為什麼0penAI把自己的模型都部署在微軟的Azure雲上?就是因為他們之間不只是合作夥伴,還有直接的投資關係。
不然的話,他們也怕參數被偷。
為了解決這種問題,英偉達還特意推出了顯存加密計算的技術,保證顯存里的內容不會被外人讀取。
但是說到底,如果你把模型放到別人的硬體上跑,不論怎麼加密都沒用,就算真能保證參數,被蒸餾也是不可避免的。
以鼎盛和起源之間的關係,這根本就不可能。
鄭曉波解釋道:「韓總,我們兩家之前的誤會純粹是公司里的個人行為,涉事人員都已經被辭退處理了。請你相信,鼎盛雲是把客戶的隱私放在第一位考慮的,雲業務幾千億的市場,現在AI的市場有沒有這麼大?鼎盛不會為了一個新興的機會置自己的商譽為不顧的。」
韓路一根本不信。
問題不在於管理上允不允許,問題在於物理上可不可行。
今天你說是個人行為,下次偷完了還是個人行為,開除兩個人了事唄?
「鄭總,這個問題不用聊了,湯圓模型是不會部署到鼎盛雲上去的。」
鄭曉波又勸道:「韓總,呂總之前和我透露過,如果韓總有意的話,鼎盛可以向起源定向增發,我們兩家換股,不知道韓總意下如何?」
韓路一心裡一驚。
他們大概是聽說了自己和澄江科技之間談的條件,竟然想了這麼一出。
不過不管是按照什麼估值來換股,鼎盛肯定是想進董事會的,起源上市的籌備工作已經開始,韓路一不想放他們進來。
「幫我謝謝呂總的好意,但是我們暫時不會考慮這個選項。」韓路一又拒絕道。
「韓總,看來你對鼎盛還有芥蒂,希望不要影響了我們的合作。我注意到,湯圓0.9
的模型接口沒有開放,在湯圓Chat和御風裡也不能指定模型,不知道起源這邊是不是已經完全放棄了?能不能把湯圓0.9放到鼎盛雲上來?」
鄭曉波連續被拒絕兩次,好像完全不在意,又提出了第三個選項。
韓路一馬上就意識到,這才是他真正的目的。
前面兩個提議,韓路一接受了自然好,被拒絕了他也不在意,因為他就是想要一種連
續被拒絕兩次的狀態。
這要等到他第三次再提出一個相當合理的選項的時候,韓路一再想拒絕,心裡難免會不好意思。
鄭曉波說的沒錯,在湯圓1.0正式發布之後,湯圓0.9基本上就全面下架了。
至於原因嘛,是因為0.9跟1.0用的其實是同一個預訓練的底子,只是後訓練使用的標註數據不同,兩者的大小差不多,對算力的消耗也差不多,1.0的結果又全面優於0.9,所以沒有任何理由還把0.9部署上來。
韓路一暗自考慮,鄭曉波想把0.9要過去賣,確實不是不能談。
劉大海領導研發的坤元2.0用的是和湯圓一樣的思路,更乾淨的數據集加上更複雜的標註數據,各項能力已經提升了不少,和湯圓0.9的差距不算太大,無論他們是直接偷參數還是自己偷偷蒸餾,其實對湯圓1.0都不會有什麼影響。
而這一部分用的是鼎盛的算力,起源授權出去,賺個授權費,或者按比例分成,同時還能擴大湯圓的用戶基數,總體上來說絕對是利大於弊。
這第三個提議,確實值得韓路一好好考慮。
「鄭總,厲害啊。」韓路一感慨了一句,沒說是哪裡厲害,「湯圓0.9是上一代模型,鄭總也感興趣?」
鄭曉波笑著說:「在韓總面前,我哪說得上厲害,鼎盛是綜合公司,不只做AI研發,各個事業部我們都要綜合考慮。鼎盛雲上的企業客戶很多都希望我們能上線湯圓模型,我們這也是為客戶考慮啊。」
韓路一莫名覺得這話有點兒耳熟。
他突然想起來,自己當年去找天樞雲兜售BugKiller的時候不是也是這麼說的嗎?
不是我們非得來,實在是客戶都要求我們上架,我們才來尋求合作的,一切為了客戶嘛。
韓路一頓感啼笑皆非。
果然,做起生意來,這世界上的藉口都差不多。
「具體的合作條款,鄭總是怎麼想的?」韓路一問道。
「一口價,10個億,鼎盛買湯圓0.9的授權,怎麼樣?」
韓路一笑了。
「鄭總,這種合作沒有一口價的道理。」
「那韓總打算怎麼合作呢?」
「鄭總既然這麼有誠意,那就派人過來談談吧。」
「韓總是爽快人。」
鄭曉波電話一掛,就把臉上的笑容收了起來。
這個韓路一,成長得太快了,鄭曉波已經不能像以前那樣對待他了。
鄭曉波不敢再輕視他,不是因為呂雲重視,而是因為起源集團已經成為了人工智慧行業不可忽視的一股力量。
他想了想,把秘書叫了進來:「讓王浩來一趟,跟他說是和起源下一步合作的事情,讓他做做準備。」
「好的,鄭總。」
時間往回撥兩個小時。
鵬城。
九點多的時候,林一舟睜開眼,看著臥室的天花板。
他已經搬離了龍崗的出租屋,而是去南山區新租了一個兩室一廳。
其中一間還當臥室用,另外一間則當成了工作室。
這近一個月的時間,林一舟過得如夢似幻。
自從湯圓協議被越來越多的大模型和AI助手接入,購買元宵郵箱的人越來越多。
不到一個月的時間,他已經賺了十萬塊錢。
十萬塊!
他做後端開發的時候,就算那個跳槽去的二線中廠,也只能給到稅前四十萬的年薪,每個月到手才兩萬多。
現在的收入是那時候的四倍。
而且這是月度訂閱,不是買斷,也就是說,每個月都是十萬,如果付費用戶繼續增多,後面還會漲。
這就是當風口上的豬的感覺?
可太爽了!
最近購買元宵郵箱的用戶越來越多,而且很多用戶都來自海外。
顯然,相比於國內把很多業務都放在微信里,國外的用戶更偏向於重度使用郵箱。
甚至還有很多企業來問協作功能,想要企業採購。
做過SaaS業務的林一舟一下就反應過來,這是真正穩定的收入來源,因為和個人用戶不一樣,企業採購的流程複雜,一旦批准之後也就不太容易輕易中斷了。
但問題是他們的一個主要需求是,不只是讓元宵郵箱當一個被AI助手調用的工具,而是希望元宵郵箱能作為一個入口,同時還有那些AI的功能,比如自然語言篩選郵件啊、操作郵件等等。
林一舟當然也想繼續抓住這波風口。
但是想要給自己的這個小軟體加上AI功能,就必須得在後台調用API了。
這可是真真正正的在開發AI智能體了。
想要製作一個讓AI助手能調用的工具,只需要適配湯圓協議就可以了,也就是說讓自己的功能能被AI使用就可以了,其實完全不需要什麼AI能力。
但是要開發智能體卻需要對AI有所了解。
雖然服務的人里有不少國外的用戶,但是作為開發者的林一舟人在國內,就只能使用國內模型廠商提供的API了,林一舟已經試過幾個不同的選項,最後的結果都不盡如人意。
就拿一個最基本的篩選郵件的功能來說,其實林一舟需要的功能很簡單。
如果用戶用中文或者英文說:「幫我找出上周的郵件。」
林一舟需要把這個輸入連同他寫好的系統提示詞一起發給AI模型的API。
作為一個傳統的後端開發,系統提示詞他自然沒有什麼經驗,只能一邊在網上搜索別人分享的模板一邊自己摸索效果。
第一版是這麼寫的:
【你是一個郵箱助手,用戶使用語言描述他的需求,把這個需求轉化為以下命令之一,返回固定格式的JSON文檔】
【JSON文檔格式為:】後面是一個多層嵌套的JSON格式,然後在元宵郵箱的客戶端再寫一個解析器(Parser),把這個JSON轉化為具體的命令。
【用戶輸入:】然後在裡面填上用戶輸入的話。
按照道理來說,這個時候API會把客戶的需求翻譯成一個郵箱軟體可以理解的命令,然後軟體直接運行就可以了。
但是林一舟驚訝地發現,就這麼一個簡單的架構,中間的坑竟然這麼多。
因為客戶有可能說的是:「幫我找出上周需要我回復的郵件。」
這怎麼找?
得先把時間範圍圈出來,然後把郵件內容發回給API,讓它判斷是不是需要回復。
但是現在API只會回一種命令,就是系統提示詞裡規定的那種。
林一舟抓瞎了,系統提示詞越寫越複雜,接收到回復的處理器也越來越複雜,但是功能上卻沒有提升多少。
昨天晚上臨睡前,又一次嘗試失敗了,坤元的API返回了一個解析器無法理解的內容,系統報錯。
媽的,自己寫一個智能體才知道開發智能體又多難啊。
這一個需求卡了林一舟一個多星期了,也沒什麼進展,不出意外,今天他也要度過在工作室和這個新功能死磕的一天。
從床上爬起來的林一舟在衛生間裡一邊刷牙一邊刷手機,刷到了一個他平時關注的AI
博主。
這個博主雖然時不時有點兒於貨內容,但是風格實在是浮誇,還喜歡販賣焦慮,林一舟心不在焉地看著。
「重磅新聞!湯圓1.0模型的API今天正式開放了,如果你還沒有聽說過湯圓1.0是什麼,那你真的OUT了,這就是我們每天使用的湯圓Chat後面的模型。所有關注我的粉絲,我推薦你現在就去註冊一個起源開發者平台的帳號,真的會改變你的認知————」
博主還在滔滔不絕地輸出他的內容,但是林一舟看到這反應過來。
他說什麼?
湯圓開API了?
怎麼一點兒消息都沒有?
林一舟漱了漱口,把嘴裡的泡沫都吐出去,然後用手機打開起源官網上關於湯圓模型的內容。
竟然真的開放了!
額度有限,先到先得!
林一舟也顧不得自己還沒來得及吃早飯了,從衛生間出來就直奔電腦,先把API的額度買上再說。
林一舟是多年的老開發,這種流程不知道走過多少遍了,很快他就綁好了支付方式,生成了API Key,並且往裡充了一千塊錢。
他之所以往裡充這麼多錢,自然是出於對湯圓系列模型一直以來的信任。
就算自己的API開發不順利,這些額度將來也用得上,不會浪費的。
如果是別的平台,他可不敢這麼使勁充值,充進去的錢可不退款,你用不完是你活該。
然後林一舟仔細查看起湯圓1.0API用法的官方教程來。
裡面對如何用湯圓API來開發智能體有詳細的講解,尤其是特別強調了對長程任務該怎麼處理。
林一舟看得心頭一陣狂跳。
我的這個元宵郵箱裡,如果用戶需要使用的功能是和郵件內容有關的,那不就是長程任務嗎?
果然,湯圓API對智能體相關的長程任務有個新東西:工具調用鏈。
也就是說,不只是把元宵郵箱需要接收什麼告訴湯圓,而是把元宵郵箱能做的所有事情都告訴湯圓,然後由湯圓來決定調用什麼功能,後續是不是還要繼續和湯圓API交流。
所有需要在客戶端實現的複雜邏輯都不用寫了,直接交給湯圓去做。
林一舟一邊看一邊懷疑。
不過反正嘗試也不複雜,林一舟把之前寫的好幾十行的系統提示詞先注釋掉,然後按照官方教程,把元宵郵箱提供的這些功能寫成湯圓API接受的工具格式。
其實很好寫,格式基本和湯圓協議是一樣的。
然後最後只寫了一行解析器和一個循環。
準備測試了,林一舟屏住了呼吸—不對,等等,先給循環加一個次數限制,不然模型犯傻一直調用,把我錢花完了怎麼辦?
林一舟慶幸自己的急智,把這段缺失的邏輯加上了,循環最多執行十次,也就是說最多會對湯圓API發起十次請求。
然後他再次屏住呼吸,在新編譯後好的本地開發版輸入了那個讓他最近無比挫敗的命令:「幫我找出上周需要我回復的郵件。」
然後他沒等著看結果,而是直接打開開發者模式開始看本地日誌。
【發往湯圓API:用戶:「幫我找出上周需要我回復的郵件」,工具:————】
【回覆:調用工具:按日期篩選郵件,獲取郵件內容】
【發往湯圓API:246封郵件內容】
【回覆:調用工具:渲染界面,郵件ID*17】
調用兩次之後,調用鏈結束了。
林一舟切回到元宵郵箱的界面,只見他故意生成的兩百多封測試郵件里,之前他手動標記出來的、需要回復的那十七封已經被篩選了出來。
此時此刻,林一舟說不出心裡是什麼感覺。
這也太牛逼了。
這個困擾了他一個多星期的問題,就被這樣一個簡單的循環給解決了。
之前我測試的那些API都是什麼?
這才是新時代的API吧!
林一舟迅速把這個改動提交了,然後在元宵郵箱裡輸入了一個新的命令:「幫我把所有詢問過元宵郵箱AI入口的郵件找出來,統一回覆:新功能已經開發完成,預計下周更新。」
>