每經(jīng)記者｜朱成祥    每經(jīng)編輯｜文多    

7月7日下午，天壤創(chuàng)始人、CEO薛貴榮接受了《每日經(jīng)濟(jì)新聞》記者的專訪。在2023世界人工智能大會(huì)上，該公司發(fā)布了一種大模型產(chǎn)品生態(tài)——“天壤小白”。其中包含最高1860億參數(shù)的通用大語(yǔ)言模型、語(yǔ)義搜索引擎和開(kāi)發(fā)平臺(tái)。

目前，國(guó)內(nèi)已是“百?；鞈?zhàn)”，天壤推出的大模型生態(tài)有何別致之處呢？薛貴榮首先向記者介紹了大模型存在的四大挑戰(zhàn)，即大模型產(chǎn)生真假難辨的“幻覺(jué)”，所謂“一本正經(jīng)的胡說(shuō)八道”；政企私有數(shù)據(jù)的保密性要求，不能對(duì)外公開(kāi)；缺少可靠的企業(yè)級(jí)中文大模型；大模型存在封閉性，無(wú)法自動(dòng)更新信息。

關(guān)于天壤如何解決大模型“一本正經(jīng)的胡說(shuō)八道”，薛貴榮表示：“用‘提示詞’去控制大模型，大模型還是會(huì)胡說(shuō)八道。后來(lái)，有人嘗試輸入一些簡(jiǎn)單的上下文，以及對(duì)大模型進(jìn)行fine-tune，但這個(gè)也不夠。我們?yōu)榱私鉀Q‘幻覺(jué)’問(wèn)題，做了一個(gè)語(yǔ)義搜索引擎。先把需要的所有文檔，放到語(yǔ)義引擎里面，比如法律書(shū)、知識(shí)庫(kù)或者企業(yè)內(nèi)部各種數(shù)據(jù)。該引擎使用了一個(gè)核心技術(shù)，即embedding。”

薛貴榮進(jìn)一步解釋：“生成式模型，最大的特點(diǎn)就是結(jié)果的不確定性。”那么，如何提高生成式模型的準(zhǔn)確性呢？

薛貴榮認(rèn)為：“現(xiàn)在給你100個(gè)字，你的答案就在這100個(gè)字里面總結(jié)。”那么是否為了提高準(zhǔn)確性，限定生成（內(nèi)容）的范圍？薛貴榮回答稱：“你只能用這里面的內(nèi)容，做一次理解上的修飾。”

據(jù)其介紹，上述限制是放在推理端。簡(jiǎn)而言之，就是訓(xùn)練好大模型，為了得出一個(gè)精確值，在推理端限定一個(gè)范圍。

薛貴榮介紹稱，目前公司主要有三個(gè)團(tuán)隊(duì)，一個(gè)專門(mén)訓(xùn)練大模型；第二個(gè)是Fine-tune，做行業(yè)專用模型；第三個(gè)是做應(yīng)用提示。

對(duì)于天壤小白大模型通過(guò)什么算力訓(xùn)練的？薛貴榮表示：“我們（基礎(chǔ)）大模型的算力是租的，比如租用蘇州超算（的算力），上海像商湯（的算力）我們也租。它們（商湯）有1萬(wàn)多張A100。另外，我們家里也有大概300張卡，以3090為主。”

封面圖片來(lái)源：視覺(jué)中國(guó)