每經(jīng)記者｜張韻    每經(jīng)編輯｜董興生    

大模型也有自己的“摩爾定律”？2024世界人工智能大會期間，深耕端側大模型的清華大學計算機系長聘副教授、面壁智能首席科學家劉知遠分享了他的研究思路：“如果擁有在端側有限的算力、內(nèi)存、能耗條件下，將知識濃縮到更小的參數(shù)規(guī)模中的能力，那么便可探尋大模型的高效成長規(guī)律。”

圖片來源：每經(jīng)記者 張韻 攝

在訓練大模型之前，劉知遠會在“模型沙盒”中做成百上千次演練。他解釋道，在小模型上高效尋找最優(yōu)數(shù)據(jù)和超參配置，并外推至大模型，可找到一個更高的知識密度，從而帶來一個更加高效的模型。

劉知遠認為，如果說芯片制程會帶來終端算力持續(xù)增強，模型制程也將帶來模型知識密度的持續(xù)增長，那么兩者交匯將揭示端側智能的巨大潛力。因此，大模型時代會擁有自己的“摩爾定律”，即模型知識密度的持續(xù)增強。據(jù)劉知遠觀察，模型的知識密度呈現(xiàn)出每8個月提升一倍的規(guī)律。

劉知遠進一步得出結論，未來高效大模型第一性原理的關鍵詞便是知識密度，也就是每一次計算依托的參數(shù)規(guī)模所對應的能力消耗。當大模型數(shù)據(jù)驅(qū)動技術方向大致確定，模型的架構、算法、數(shù)據(jù)等技術方案卻仍在高速迭代，因此持續(xù)改進模型制程、極致提升知識密度成為行業(yè)努力的方向。