機(jī)器之心原創(chuàng)

作者：吳昕

【資料圖】

企業(yè)被放在了開(kāi)往大模型時(shí)代列車的駕駛座上。

從 2 月份起，我們就被絡(luò)繹不絕的大模型發(fā)布和各種 AI 新品轟炸。風(fēng)暴眼當(dāng)然是 ChatGPT。

除了極少數(shù)瞄準(zhǔn)通用底層的野心，一眾以 AIGC、NLP 技術(shù)為名的創(chuàng)業(yè)公司后臺(tái)接入基礎(chǔ)大模型底座，前端做 UI 設(shè)計(jì)，上架應(yīng)用商店。

還有一些 AI 公司沒(méi)有通用底層的抱負(fù)，但也不滿足于 API 式創(chuàng)新，而是瞄準(zhǔn)了中間層與應(yīng)用層的戰(zhàn)略價(jià)值。他們往往沒(méi)有參數(shù)規(guī)模的執(zhí)念，更關(guān)心行業(yè)落地的效率。

竹間智能就是其中一員。八年前，前微軟（亞洲）互聯(lián)網(wǎng)工程院副院長(zhǎng)簡(jiǎn)仁賢堅(jiān)定看好對(duì)話機(jī)器人在企業(yè)級(jí)市場(chǎng)的潛力，離開(kāi)微軟創(chuàng)業(yè)。最近，竹間智能也官宣了自己大模型產(chǎn)品矩陣「1+4」，希望解決大模型落地行業(yè)「最后一公里問(wèn)題」。

「實(shí)際上大部分企業(yè)場(chǎng)景不需要 AGI（通用人工智能）來(lái)滿足，在合理的成本下選擇合適的模型才是企業(yè)客戶需要思考的。」公司 CEO 簡(jiǎn)仁賢在接受機(jī)器之心專訪時(shí)談道。

這套「1+4」產(chǎn)品的邏輯關(guān)系，簡(jiǎn)明清晰。

「1」指 EmotiBrain ，一個(gè)大模型微調(diào)訓(xùn)練平臺(tái)，專注降低大模型訓(xùn)練的成本，提供從模型選擇、微調(diào)訓(xùn)練、評(píng)測(cè)、部署到最后接入企業(yè)應(yīng)用的一站式服務(wù)。

定制好的模型只是一臺(tái)強(qiáng)大的發(fā)動(dòng)機(jī)，沒(méi)辦法直接上路。為此，竹間智能又推出四款裝配先進(jìn)發(fā)動(dòng)機(jī)的「車型」。

如果你體驗(yàn)過(guò)微軟 Office Copilot ，超級(jí)助手 KKbot 的功能幾乎與之無(wú)異。 Magic Writer 是大模型 AIGC 能力最典型的應(yīng)用，除了文本生成，還可以文生圖。 Emoti Coach 是由大語(yǔ)言模型和生成式 AI 驅(qū)動(dòng)的「教練」，培訓(xùn)效果完勝被動(dòng)式的 e-learning。

至于 Knowledge Factory 、Bot Factory+，顧名思義，肯定與批量生產(chǎn)有關(guān)。

背靠大模型， Bot Factory 能力升級(jí)，以更低成本、更高效率批量生產(chǎn)對(duì)話機(jī)器人。 Knowledge Factory 協(xié)助企業(yè)在私域數(shù)據(jù)必須「足不出戶」的限制下，更好管理內(nèi)部知識(shí)數(shù)據(jù)，也為穩(wěn)定大模型的輸出質(zhì)量打好基礎(chǔ)，讓知識(shí)與模型形成閉環(huán)。

一、「中間層」的價(jià)值

企業(yè)要想享受到大模型的神奇能力，一般有三個(gè)辦法。

像谷歌、Meta、OpenAI 一樣從零開(kāi)始、全量訓(xùn)練基礎(chǔ)大模型。但巨額開(kāi)發(fā)成本（動(dòng)輒百萬(wàn)甚至千萬(wàn)美金）和頂尖人才（據(jù)說(shuō)全球不過(guò)百人）稀缺注定這是一條「少有人走的路」。

第二個(gè)辦法是在開(kāi)源預(yù)訓(xùn)練模型上面做微調(diào) ( Fine-Tuning ) 。 Vicuna、Alpaca 、Guanaco 羊駝系列預(yù)訓(xùn)練模型都是在最初的 LLaMA 上做了微調(diào)。目前，大部分國(guó)產(chǎn)大模型也是在 GPT、LLaMA 的框架上進(jìn)行訓(xùn)練與微調(diào)，并在此基礎(chǔ)上為客戶定制行業(yè)模型。

「還有一個(gè)辦法是在與訓(xùn)練好的模型上用 embedding 與 vectorization 做預(yù)檢索給企業(yè)提供私有數(shù)據(jù)的大模型。」簡(jiǎn)仁賢說(shuō)。

這個(gè)辦法做起來(lái)很方便，但弊端也很明顯。檢索依賴檢索的 indexing 及語(yǔ)義匹配效果來(lái)獲得比較好的輸出，如果 indexing 的檢索、ranking、語(yǔ)義相似與理解的匹配能力不夠，給到大模型的數(shù)據(jù)也會(huì)有誤差，這些技術(shù) NLP 廠商相對(duì)的做的更好。

在他看來(lái)，通過(guò)在預(yù)訓(xùn)練模型上微調(diào)獲得定制化行業(yè)模型（也就是第二個(gè)辦法）最適合中國(guó)國(guó)情，不過(guò)成本比只用 embedding 的方式高，技術(shù)與數(shù)據(jù)的門(mén)檻也比較高。

「生成式 AI 有一個(gè)很重要的特點(diǎn)，它是根據(jù)訓(xùn)練數(shù)據(jù)生成的，所以大模型在中國(guó)落地面臨的最大挑戰(zhàn)就是數(shù)據(jù)安全，模型安全。」簡(jiǎn)仁賢認(rèn)為。

企業(yè)不可能把內(nèi)部數(shù)據(jù)上傳，比如產(chǎn)品設(shè)計(jì)、技術(shù)架構(gòu)、核心代碼、制造工藝、配方、客戶隱私，會(huì)議紀(jì)要，戰(zhàn)略文檔，業(yè)務(wù)規(guī)劃，商業(yè)邏輯等，一定要保留在內(nèi)部，尤其是對(duì)于國(guó)央企、金融、能源、大型集團(tuán)企業(yè)、先進(jìn)制造等數(shù)據(jù)敏感性較高的行業(yè)而言。所以，「未來(lái)一定是企業(yè)擁有自己專屬的、定制化、場(chǎng)景化的大模型。」

從成本上來(lái)看，在模型微調(diào)階段，可以依據(jù)不同任務(wù) ( Task ) 來(lái)微調(diào)訓(xùn)練大模型，訓(xùn)練數(shù)據(jù)的多少，模型參數(shù)大小以及能力涵蓋的范圍，如果能有高效的訓(xùn)練方式以及自動(dòng)化的訓(xùn)練量產(chǎn)，可以達(dá)到規(guī)模化的低成本，絕大多數(shù)中型以上企業(yè)足以負(fù)擔(dān)。

國(guó)金證券曾做過(guò)初步測(cè)算，由 8 塊 A100 組成的 AI 服務(wù)器可為規(guī)模達(dá) 2,000 人的中大型企業(yè)提供 AI 服務(wù)，離線部署方案每年的推理算力成本約為 33.2 萬(wàn)元，若采用云計(jì)算方案則每年需花費(fèi)約 66 萬(wàn)元算力成本。

不過(guò)，企業(yè)負(fù)擔(dān)得起成本是一回事，工程技術(shù)上能不能靠自己搞定完全是另一碼事。

中國(guó) IT 應(yīng)用開(kāi)發(fā)的成熟度不像美國(guó)那么發(fā)達(dá)。很多企業(yè)有 IT 團(tuán)隊(duì)，規(guī)模也不小，但主要是在維護(hù)內(nèi)部的業(yè)務(wù)系統(tǒng)，沒(méi)有人懂得模型如何落地，外部合格的人才也缺乏。

也許你會(huì)說(shuō)，直接賣(mài)給他們模型不就好了？但中國(guó)軟件和算法領(lǐng)域環(huán)境，跟美國(guó)差別很大。中國(guó)企業(yè)會(huì)花 2000 萬(wàn)買(mǎi)很多服務(wù)器，但很難買(mǎi)一個(gè)軟件。

「將模型當(dāng)作一個(gè)商品（commodity）賣(mài)給企業(yè)，就像賣(mài)代碼一樣，不太現(xiàn)實(shí)。」簡(jiǎn)仁賢有過(guò)多年的中美從業(yè)經(jīng)驗(yàn)，美國(guó)企業(yè)能用 SaaS 就用 SaaS，中國(guó)企業(yè)更喜歡 own （擁有）、control（把控）這個(gè)東西。「但如果你能給到一個(gè) total solution ，企業(yè)更容易買(mǎi)單。」

這也是竹間智能過(guò)去一直堅(jiān)持「授人以漁」的根本原因。借由他們提供的機(jī)器人「工廠」（BotFactory），銀行、證券、保險(xiǎn)、能源、制造、消費(fèi)等行業(yè)七、八百家客戶已經(jīng)定制出無(wú)數(shù)個(gè)私有的行業(yè)模型、特殊任務(wù)模型，包括情感分析在內(nèi)。

現(xiàn)在大語(yǔ)言模型可以做很多不需要再用代碼做的事情。未來(lái)代碼量會(huì)越來(lái)越少，模型數(shù)會(huì)越來(lái)越多，「模型就是代碼」。簡(jiǎn)仁賢一直強(qiáng)調(diào)這一點(diǎn)。

而另一方面，海量場(chǎng)景又需要不斷切換和更新、訓(xùn)練、運(yùn)維模型，那么，中間層會(huì)變得很重。「管理數(shù)據(jù)，管理模型、訓(xùn)練模型、微調(diào)模型，評(píng)測(cè)模型，推理運(yùn)維，讓模型持續(xù)迭代就會(huì)成為一個(gè)非常重要的產(chǎn)業(yè)。」他認(rèn)為。

「這就像蓋房子并不難，但要蓋一個(gè)豪宅還是平民住宅，那就不一樣了。」

二、EmotiBrain 如何實(shí)現(xiàn)可定制？

有了 EmotiBrain 「金剛鉆」，幾乎可以解決企業(yè)攬下「瓷器活兒」過(guò)程中 70% 的問(wèn)題。

企業(yè)只用勾選基礎(chǔ)模型、訓(xùn)練數(shù)據(jù)和微調(diào)（Fine-Tuning ）方法，然后交給平臺(tái)自動(dòng)訓(xùn)練。根據(jù)結(jié)果評(píng)測(cè)，選出最適合業(yè)務(wù)的模型，直接接入企業(yè)應(yīng)用即可。

EmotiBrain 是一個(gè)企業(yè)定制化大模型的流水線平臺(tái)，所有復(fù)雜微調(diào)流程都被封裝在里面，內(nèi)置多個(gè)參數(shù)高效微調(diào)技術(shù) ( Parameter-Efficient Fine Tuning ) 與驗(yàn)證過(guò)的訓(xùn)練數(shù)據(jù)集，包括竹間積累七年的行業(yè)訓(xùn)練數(shù)據(jù)集，透過(guò)簡(jiǎn)單 UI 設(shè)計(jì)，有「basic understanding 」的人就能馬上上手。

當(dāng)然，「你至少要了解什么樣數(shù)據(jù)合適，還有一些 Fine-Tuning 基本知識(shí)，但不需要知道很多細(xì)節(jié)。」簡(jiǎn)仁賢補(bǔ)充道。

EmotiBrain 由三個(gè)核心部分組成。

一個(gè)是訓(xùn)練大模型的地方，Model Factory。工廠里，企業(yè)可以同時(shí)訓(xùn)練二十多個(gè)甚至上百個(gè)大模型，包括非常前沿的開(kāi)源 LLM。比如，羊駝系列 ( LLaMA ) 。

「2019 年我們的模型做到了 3.4 億的參數(shù)量，也已開(kāi)發(fā) Transformer 的模型」，據(jù)簡(jiǎn)仁賢透露，「現(xiàn)在已經(jīng)訓(xùn)練出來(lái)、可用的有 70 億、130 億的參數(shù)規(guī)模，下一步是 330 億參數(shù)與 650 億參數(shù)的模型，650 億參數(shù)的模型微調(diào)時(shí)間比較久一點(diǎn)，但新的高效方法如 QLoRA 提速了不少。」

模型選好后，就要選擇訓(xùn)練數(shù)據(jù)集，比如指令數(shù)據(jù)集，法律領(lǐng)域數(shù)據(jù)集、中醫(yī)西醫(yī)領(lǐng)域數(shù)據(jù)集、醫(yī)藥的數(shù)據(jù)集、財(cái)經(jīng)類數(shù)據(jù)集，汽車，電商，企業(yè)私有數(shù)據(jù)。

AI 大模型實(shí)現(xiàn)高性能，數(shù)據(jù)質(zhì)量比數(shù)據(jù)體量更重要。因此，竹間智能將過(guò)去七年積累下的行業(yè)訓(xùn)練語(yǔ)料（包括中英文訓(xùn)練數(shù)據(jù)）做了優(yōu)化，放到了平臺(tái)。

選好訓(xùn)練數(shù)據(jù)集后，就來(lái)到最具挑戰(zhàn)的環(huán)節(jié)——對(duì)預(yù)訓(xùn)練的模型展開(kāi)微調(diào)。「現(xiàn)在大模型還有一個(gè)非常大的缺點(diǎn)，你要會(huì)寫(xiě)提示（prompt）才能把大模型用得好，這可不是任何人都能寫(xiě)得好的。」簡(jiǎn)仁賢說(shuō)。

讓大模型變得聰明起來(lái)的辦法很多，無(wú)論是 Instruct learning、in context learning、Chain of Thought ( CoT ) ，門(mén)檻都比較高，模型工程師也要懂得很多技術(shù)細(xì)節(jié)。竹間智能將八年來(lái) NLP 模型訓(xùn)練的 know-how，再加上大語(yǔ)言模型訓(xùn)練的 know-how，以及包括最前沿、最新微調(diào)技術(shù)在內(nèi)的許多微調(diào)方法（比如 DeepSpeed、LoRA、QLoRA、P-Tuning 等），都做到了模型工廠里，變成幫助企業(yè)的工具。即使用戶不用懂技術(shù)細(xì)節(jié)，也可以做微調(diào)。

用戶還可以用 RLHF（Human Feedback Reinforcement Learning）的 Fine-Tuning 方式進(jìn)行微調(diào)，等于賦予企業(yè)以「指令微調(diào)定制」的方式滿足自己的個(gè)性化需求。

例如，選出某個(gè)模型，詢問(wèn)相關(guān)問(wèn)題，看看輸出結(jié)果怎么樣，給它做標(biāo)注。以少量標(biāo)注的高質(zhì)量模板數(shù)據(jù)，對(duì)模型的輸出進(jìn)行誘導(dǎo)與限制，讓模型的輸出更加符合企業(yè)業(yè)務(wù)的喜好，同時(shí)減少模型的有害輸出。

簡(jiǎn)仁賢反復(fù)強(qiáng)調(diào)，EmotiBrain 可以幫你構(gòu)建的，從來(lái)不是一個(gè)模型，而是同時(shí)訓(xùn)練多個(gè)模型。例如，當(dāng)用戶選擇三個(gè)預(yù)訓(xùn)練模型進(jìn)行微調(diào)時(shí)，又分別選擇了三組測(cè)試數(shù)據(jù)、三種微調(diào)方法，最后會(huì)得到 27 個(gè)定制化模型。

如何從多個(gè)模型里面選出最合適的？這就離不開(kāi)平臺(tái)的第二個(gè)核心要件 Benchmark System。在這里，每個(gè)模型就像一個(gè)個(gè)被多維度評(píng)分系統(tǒng)加以評(píng)估的小朋友，每個(gè)人都有自己的一套得分：比如平均分?jǐn)?shù)、推理分?jǐn)?shù)、知識(shí)分?jǐn)?shù)、對(duì)話分?jǐn)?shù)、上下文，文本生成分?jǐn)?shù)等。每個(gè)模型的長(zhǎng)處、短板和綜合實(shí)力，一目了然。

最后，用戶可透過(guò)平臺(tái)將選定的定制化模型部署到自己的服務(wù)器，或者跑在企業(yè)私有云，當(dāng)然，也支持對(duì)接所有廠商的云計(jì)算平臺(tái)。系統(tǒng)會(huì)自動(dòng)產(chǎn)生 API，與既有的企業(yè)應(yīng)用做結(jié)合，企業(yè)馬上就能用起來(lái)。

EmotiBrain DEMO 視頻

總之，Model factory、Benchmark System 加上 Chat Search，一個(gè)大模型驅(qū)動(dòng)的語(yǔ)義搜索引擎，三大要素緊密聯(lián)動(dòng)，使 EmotiBrain 可敏捷應(yīng)用于復(fù)雜及多變的場(chǎng)景中，并給予強(qiáng)大靈活的支持。

「EmotiBrain 可以在幾天甚至幾個(gè)小時(shí)內(nèi)幫你選出最適合的大模型，通常需要一個(gè)模型工程師花好幾個(gè)月才能做到，甚至因缺少人才或 know-how 都無(wú)法完成可用的模型，白白浪費(fèi)的資源。」簡(jiǎn)仁賢說(shuō)。

另外，EmotiBrain 還有一個(gè)非常好用的 GPU 資源調(diào)度功能，自動(dòng)幫你調(diào)度云資源或本地 GPU 資源。這樣，一般不懂 IT 業(yè)務(wù)的人員也可以用這個(gè)微調(diào)平臺(tái)來(lái)訓(xùn)練自己的模型，「他只要需要知道數(shù)據(jù)從哪來(lái)的。」

三、如何可控？四步應(yīng)對(duì)模型幻覺(jué)

可定制化實(shí)現(xiàn)后，還有一個(gè)問(wèn)題。許多創(chuàng)始人對(duì)在他們的產(chǎn)品和工作流程中實(shí)施大模型持謹(jǐn)慎態(tài)度，因?yàn)檫@些模型有時(shí)就像小孩子——會(huì)編造事情，對(duì)幻想與現(xiàn)實(shí)沒(méi)有牢固的把握。有媒體報(bào)道，美國(guó)律師使用 ChatGPT 提交法庭簡(jiǎn)報(bào)，結(jié)果引用的 6 個(gè)案例都是 ChatGPT 編造的虛假案例。

「產(chǎn)生幻覺(jué)，其實(shí)是生成式 AI 的一個(gè)特點(diǎn)。」簡(jiǎn)仁賢認(rèn)為，創(chuàng)造力是知識(shí)生成的一個(gè)主要來(lái)源，如果百分百避免幻覺(jué)，模型也會(huì)失去創(chuàng)造力。不過(guò)，EmotiBrain 也有辦法幫助企業(yè)更好控制模型的輸出。

例如，在模型推理階段，用戶可以根據(jù)不同業(yè)務(wù)需求，調(diào)整「temperature」的數(shù)值，低溫度可以生成更加專注、保守和一致的回答。這種方式在營(yíng)銷人員需要準(zhǔn)確、精確的答案或者遵循特定格式或品牌指南的信息時(shí)非常有用。

中溫度的話，能夠在創(chuàng)造力和一致性之間取得平衡。這種設(shè)置非常適用于一般內(nèi)容生成，因?yàn)樾枰獪?zhǔn)確性和創(chuàng)新的結(jié)合。高溫度可以生成更具創(chuàng)意、多樣化和出人意料的輸出。營(yíng)銷人員可能會(huì)在頭腦風(fēng)暴創(chuàng)新的活動(dòng)想法、制作引人入勝的社交媒體內(nèi)容或?qū)で髮?duì)某個(gè)主題的新鮮視角時(shí)更喜歡使用這種設(shè)置。

除此之外，模型可控能不能做到 100% 還取決于微調(diào)過(guò)程。

就企業(yè)私域問(wèn)答部分來(lái)說(shuō)，完全可以做到可控。企業(yè)可以花大量精力做好知識(shí)準(zhǔn)備、知識(shí)清洗和審核。訓(xùn)練后，還可以用人類對(duì)齊（alignment ）的方式控制輸出質(zhì)量。

比如，你可以給輸出的答案做標(biāo)注，告訴模型哪個(gè)是對(duì)的、哪個(gè)是錯(cuò)的，用基于人類反饋的強(qiáng)化學(xué)習(xí)的方法（RLHF）進(jìn)行再訓(xùn)練，模型就知道對(duì)與錯(cuò)，自動(dòng)減少胡言亂語(yǔ)的回答，但是 RLHF 要做得好，對(duì)使用數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)量和質(zhì)量就有要求。

值得一提的是， EmotiBrain 還提供審核機(jī)制——「用大模型去做 reflection ，把 reflection 放到大模型里」，讓大模型擁有自我檢視的能力。

「這個(gè)咖啡很難喝」，在講出這句話之前，人們會(huì)先問(wèn)自己這句話對(duì)嗎？是不是符合商業(yè)規(guī)范或道德標(biāo)準(zhǔn)？有沒(méi)有人身攻擊？有沒(méi)有牽扯到政治？

「所有這些環(huán)節(jié)，一個(gè)前面的大模型反思模型、加上基于人類反饋的強(qiáng)化學(xué)習(xí)、私域數(shù)據(jù)的掌控，還有 temperature 也可以調(diào)。我們都會(huì)提供工具和評(píng)測(cè)去幫助他們做好這些控制。」簡(jiǎn)仁賢總結(jié)道。

四、KKBot 的想象力

除了 EmotiBrain，安裝了這臺(tái)發(fā)動(dòng)機(jī)四款「車型」中，最值得關(guān)注、也最具想象力的是 KKBot ，你可以將它視為國(guó)內(nèi)版本的 Office Copilot，可以存在任何地方。

它可以是一個(gè)瀏覽器插件，根據(jù)你瀏覽網(wǎng)頁(yè)的內(nèi)容，答問(wèn)題、做總結(jié)，任何 web application，KKBot 都是 Copilot。「Chrome 能用，我們現(xiàn)在準(zhǔn)備適配 IE 瀏覽器。」簡(jiǎn)仁賢告訴我們。

它還會(huì)出現(xiàn)在常用企業(yè)軟件里（例如網(wǎng)頁(yè)版的辦公軟件、竹間智能的產(chǎn)品），根據(jù)你的 query 自動(dòng)生成想要的總結(jié)、圖片、統(tǒng)計(jì)表格、數(shù)據(jù)分析等。在他看來(lái)，「?jìng)鹘y(tǒng)的 BI 可能會(huì)被大模型顛覆掉。」

它甚至可以在企業(yè) DIY 大模型過(guò)程中，充當(dāng)助手。如果企業(yè)將自己的私域數(shù)據(jù)放到 Knowledge Factory ，那么，KK bot 可以在 Knowledge Factory 的文檔與知識(shí)庫(kù)里，找出大模型生成的一些令人生疑的回答的來(lái)源。如果找不到某句回答出處，大概率是模型在亂講。

KKBot DEMO 視頻

最有意思的是在 KKBot 加持下，公司最暢銷的 Bot Factory 脫胎換骨，升級(jí)到 Plus。

竹間智能早在 2017 年就推出了 Bot Factory，企業(yè)客戶可以在這個(gè)工廠里做各種機(jī)器人——智能客服、對(duì)話機(jī)器人、問(wèn)診機(jī)器人、故障排除機(jī)器人、專家機(jī)器人等。有些企業(yè)甚至用 Bot Factory 在企業(yè)內(nèi)部做了 1000 多個(gè)機(jī)器人。

現(xiàn)在，這些經(jīng)過(guò)行業(yè)驗(yàn)證和打磨的產(chǎn)品又成為竹間智能部署在客戶側(cè)的「尖兵」，也是接入底層大模型能力的關(guān)鍵入口。如果可以幫助企業(yè)輕松定制自己的模型并嵌入到這些入口，無(wú)需帶著新品教育市場(chǎng)，竹間智能就能將新的底層能力出售出去。

以前我們用小模型去訓(xùn)練可能需要花兩天的時(shí)間。現(xiàn)在，機(jī)器人的問(wèn)答跟知識(shí)全部由大模型生成，只要兩個(gè)小時(shí)，運(yùn)營(yíng)成本降低了 90% 以上。簡(jiǎn)仁賢解釋道。

KKBot 可以幫你生成知識(shí)，幫你對(duì)齊知識(shí)。比如，你給它輸入《保險(xiǎn)法》，輸入完以后，它自動(dòng)從《保險(xiǎn)法》里抽出來(lái)所有的知識(shí)跟所有的問(wèn)答，抽出來(lái)之后，自動(dòng)訓(xùn)練 Bot Factory+ 的對(duì)話機(jī)器人，兩個(gè)小時(shí)可以回答上千個(gè)問(wèn)題，95% 以上準(zhǔn)確率。

整個(gè)過(guò)程都是自動(dòng)的，無(wú)需人為干預(yù)。跑完以后，再由人工測(cè)試。如果對(duì)輸出結(jié)果滿意，就能發(fā)布上線

Bot Factory+ DEMO 視頻

KKBot 作為 Copilot，還有一個(gè)很大的優(yōu)點(diǎn)。簡(jiǎn)仁賢強(qiáng)調(diào)說(shuō)，「它不是一個(gè)模型的 Copilot，而是多個(gè)不同模型的 Copilot，可以跟所有模型去兼容，當(dāng)企業(yè)不同部門(mén)或項(xiàng)目組有多個(gè)模型在運(yùn)行時(shí)，KKBot 可以選擇不同模型來(lái)回答，完全不受單一模型限制。」

比如，可以接竹間大模型魔力寫(xiě)作與 ChatLLM，華為盤(pán)古大模型的 API，海外用戶可以去接 GPT-4 或 GPT3.5 Turbo 的 API，甚至包括企業(yè)自己訓(xùn)練出來(lái)放到 EmotiBrain 里的大模型。

「切換不同的大模型，展現(xiàn)出來(lái)的能力也不一樣。」

五、「租」得起：99 萬(wàn)包年

竹間智能的目標(biāo)是將人工智能平民化，讓所有的企業(yè)都有自己的大模型，都能負(fù)擔(dān)得起的大模型。「工廠（factory）」就是實(shí)現(xiàn)這一目標(biāo)的技術(shù)手段。

現(xiàn)在，從「工廠（factory）租金」來(lái)看，根據(jù)所需 GPU 的數(shù)量不同，「1+4」PaaS 年訂閱服務(wù)的費(fèi)用也有兩個(gè)檔次。

如果僅需 1-8 個(gè) GPU，一年訂閱價(jià)格 99 萬(wàn)。超過(guò) 8 個(gè) GPU，一年的套餐價(jià)格 149 萬(wàn)。具體情況，依據(jù)不同行業(yè)、不同企業(yè)部門(mén)要求不同。

例如，訓(xùn)練一個(gè)比較復(fù)雜的模型，假設(shè) 330 億參數(shù)，用一塊 GPU 可能需要 1-5 天。很多時(shí)候，在預(yù)算有限的情況下，99 萬(wàn)的套餐也就夠用了。當(dāng)然，如果預(yù)算比較富裕，企業(yè)也希望數(shù)小時(shí)就能訓(xùn)練好，8 個(gè) GPU 可能不夠用，可以升級(jí)到 149 萬(wàn)元的套餐。

「相比花 2000 萬(wàn)買(mǎi)個(gè)行業(yè)大模型，還冒著走彎路的風(fēng)險(xiǎn)，我們的產(chǎn)品用起來(lái)比較安心」，簡(jiǎn)仁賢認(rèn)為，「你只用花 99 萬(wàn)，就可以定制出適合你的模型，而且沒(méi)有限制模型數(shù)量，并可以立刻在現(xiàn)實(shí)應(yīng)用中看到它的價(jià)值，也不受云計(jì)算廠商的限制，不用綁定任何云計(jì)算資源。」

這些工具都是免費(fèi)升級(jí)，而且做出來(lái)的模型都屬于客戶，「我們不 own 這個(gè)模型，我們也不賣(mài)模型，我們只是把這個(gè) PaaS 租給你用，讓人去定制模型。」他補(bǔ)充說(shuō)，「也就是說(shuō)，我租給你的是一個(gè)模型工廠。」

其實(shí)，OpenAI 這樣的公司只是給我們指明了一個(gè)方向。開(kāi)源社區(qū)會(huì)根據(jù)這個(gè)方向做出更創(chuàng)新的東西，進(jìn)而成為企業(yè)落地大模型的主流。

簡(jiǎn)仁賢預(yù)測(cè)，未來(lái) 6-12 個(gè)月，開(kāi)源社區(qū)也會(huì)出現(xiàn)更多新的前沿訓(xùn)練和微調(diào)技術(shù)，不斷降低大模型對(duì)內(nèi)存、GPU 依賴，降低微調(diào)和訓(xùn)練成本，不斷提升訓(xùn)練速度。更新的模型框架也會(huì)出現(xiàn)，更多的具備通用能力的指令集也會(huì)問(wèn)世，更多的不同語(yǔ)言的訓(xùn)練集也會(huì)在各國(guó)地區(qū)的努力下開(kāi)源出來(lái)，全球范圍內(nèi)的大模型應(yīng)用會(huì)更加廣泛，進(jìn)而加速 Generative AI 與 LLM 技術(shù)的快速迭代。

這個(gè)大模型就是每個(gè)企業(yè)應(yīng)用的「腦」。未來(lái)，每隔一段時(shí)間，與「腦」有關(guān)的技術(shù)都會(huì)取得重要進(jìn)展，比如更好的模型、訓(xùn)練方式、更高質(zhì)量的數(shù)據(jù)。

這個(gè)時(shí)候，大模型的管理和迭代就顯得更加重要。他說(shuō)，有了工廠流水線，換「腦」就變得很容易。

THE END

投稿或?qū)で髨?bào)道：content@jiqizhixin.com