經(jīng)濟(jì)觀察網(wǎng) 記者 黃一帆 “現(xiàn)在很多設(shè)備廠商非常焦慮?！?月26日，巖芯數(shù)智董事長陳代千在接受采訪時告訴經(jīng)濟(jì)觀察網(wǎng)，目前人工智能領(lǐng)域發(fā)展迅速，“他們擔(dān)心，如果自身不進(jìn)行智能設(shè)備的開發(fā)與嘗試，友商很有可能會做，自己就會被遠(yuǎn)遠(yuǎn)甩下。”

陳代千說，在過去的一段時間里，多家不同行業(yè)的設(shè)備廠商找到公司，要求將大模型部署到其設(shè)備上。這些設(shè)備廠商通常不具備大模型的基因和部署能力。目前，巖芯數(shù)智度對外公開了包括機(jī)器人、無人機(jī)、PC在內(nèi)的數(shù)款端側(cè)AI設(shè)備。

隨著人工智能技術(shù)的快速發(fā)展，大模型的競爭正在從技術(shù)驅(qū)動過渡到市場驅(qū)動。在此背景下，業(yè)界在關(guān)注重要產(chǎn)品發(fā)布的同時，還聚焦大規(guī)模產(chǎn)業(yè)應(yīng)用和成本控制。

“所謂端側(cè)模型指的是那些不需要聯(lián)網(wǎng)就能運(yùn)行的AI模型，它們依靠設(shè)備本身的計算能力來執(zhí)行任務(wù)。這類模型在過去的一年里備受矚目，業(yè)內(nèi)看好端側(cè)AI能夠成為推動AI普及的關(guān)鍵因素?！闭憬髮W(xué)人工智能系主任楊洋說，“大模型非常依賴算力。我們一直在思考怎樣讓更多玩家參與到AI產(chǎn)業(yè)中來，以此讓整個大模型生態(tài)有所發(fā)展。”

端側(cè)設(shè)備等待大腦

在巖芯數(shù)智的辦公室內(nèi)，擺滿了眾多的各類硬件設(shè)備。

陳代千說，目前有大量的適配和兼容工作需要完成，而一旁來自深圳各個廠商的機(jī)器人也在等待適配他們的“大腦”。

“這些設(shè)備大多是客戶提供給我們，他們要求在端側(cè)部署大模型?！标惔дf，在端側(cè)，如果采用云端方案，會給設(shè)備帶來比較嚴(yán)重的延遲效果?！翱蛻粼谂c設(shè)備進(jìn)行交互時，設(shè)備可能要等待七八秒才能有所反應(yīng)?！?/p>

端側(cè)AI并非新事物，2020年時任華為諾亞方舟實驗室技術(shù)專家王云鶴便分享過端側(cè)AI模型的技術(shù)發(fā)展。

近年來手機(jī)廠商們紛紛推出主打AI功能的手機(jī)，旨在通過AI拍照、智能交互、個性化推薦等功能提升用戶體驗。而汽車廠商則更加關(guān)注自動駕駛技術(shù)的實現(xiàn)，以及如何通過AI技術(shù)提升駕駛安全性、舒適性和智能化水平。

“與傳統(tǒng)的云端大模型相比，端側(cè)大模型的參數(shù)量更小，因此可以在設(shè)備端直接使用算力進(jìn)行運(yùn)行，無需依賴云端算力?！币晃粐鴥?nèi)大模型廠商告訴記者。

騰訊研究院高級研究員李瑞龍也認(rèn)為，輕量級模型和端側(cè)模型都旨在降低模型的計算復(fù)雜度和存儲需求，以便在資源受限的設(shè)備上高效運(yùn)行。在實現(xiàn)方法上，端側(cè)模型側(cè)重于將輕量化技術(shù)應(yīng)用于終端設(shè)備上，以實現(xiàn)快速響應(yīng)和低延遲。

而除了延遲問題外，在將云端模型應(yīng)用到設(shè)備上時，廠商還將面臨數(shù)據(jù)“閹割”。巖芯數(shù)智CMO鄒佳思告訴記者，“由于物理存儲空間和運(yùn)行內(nèi)存的限制，設(shè)備端模型不可能像云端一樣到千億、萬億參數(shù)。一個30億參數(shù)的無損模型，文件大小約為5G。算力方面，現(xiàn)在主流的Transformer架構(gòu)即使是18億參數(shù)的模型，也需要量化壓縮，否則設(shè)備的處理能力和交互體驗都會有所欠缺”。

一位國產(chǎn)大模型廠商告訴記者，實現(xiàn)無損部署與算力以及網(wǎng)絡(luò)框架有關(guān)?！叭绻W(wǎng)絡(luò)架構(gòu)相當(dāng)復(fù)雜，就會需要較多算力，這會導(dǎo)致該模型在低端的設(shè)備上或者是邊緣端的設(shè)備上很可能無法運(yùn)行。”

國內(nèi)多位大模型廠商人士告訴記者，Transformer大模型帶來一種開發(fā)范式——先通過預(yù)訓(xùn)練讓大模型具備一定的基本能力，然后在下游任務(wù)中通過微調(diào)對齊，激發(fā)模型舉一反三的能力。但目前，大部分Transformer主流大模型受限于資源及算力，只能通過有損壓縮等“性能閹割”的方式在端側(cè)運(yùn)行，尚且無法高效運(yùn)轉(zhuǎn)。

今年1月，巖芯數(shù)智推出了自研的大模型Yan。在算法側(cè)，公司使用基于仿生神經(jīng)元驅(qū)動的選擇算法，實現(xiàn)了類腦分區(qū)激活的工作機(jī)制，使大模型可以根據(jù)學(xué)習(xí)的類型和知識的范圍分區(qū)激活，大幅減少了數(shù)據(jù)訓(xùn)練量。同時，Yan替換了Attention機(jī)制。目前，巖芯數(shù)智推出新版本具備多模態(tài)能力，處理圖文及語音等多模態(tài)信息。

巖芯數(shù)智方面人士告訴記者，當(dāng)時該版本已可以實現(xiàn)在更廣泛設(shè)備端上的離線無損部署。

巖芯數(shù)智工程總監(jiān)張錦麟告訴記者，“在部分設(shè)備廠商因該模型找到公司后，公司要根據(jù)設(shè)備進(jìn)行結(jié)構(gòu)上的適配。整體工作量并不大，就是讓我們的模型去適配設(shè)備的硬件，以便讓設(shè)備達(dá)到更好的性能”。

端側(cè)AI的可能走向

“隨著國內(nèi)大模型能力的提升、調(diào)用價格的下降以及政策上的支持，更多的AI應(yīng)用將會逐步落地。C端的聊天機(jī)器人、文生圖、文生視頻應(yīng)用正在逐步被接受。B端AI也開始在金融、工業(yè)、軍事、醫(yī)療、教育等領(lǐng)域開始落地?！敝行沤ㄍ斗治鰩熡诜疾┱J(rèn)為，AI走向端側(cè)是大勢所趨。

巖芯數(shù)智CEO劉凡平認(rèn)為，對于設(shè)備廠商而言，端側(cè)模型是類似Windows操作系統(tǒng)般的存在?，F(xiàn)階段可能是系統(tǒng)在適配各種硬件。而在設(shè)備廠商深入了解模型的人工智能能力后，就需要設(shè)備反向兼容操作系統(tǒng)，而兩者合力，是社會分工生產(chǎn)力變化的一個必然趨勢。

“站在To C智能化甚至具身智能的大話題下，端側(cè)模型需要結(jié)合實際載體（即硬件）去做適配研究和迭代改進(jìn)，才這樣能逐步形成標(biāo)準(zhǔn)化的類Windows操作系統(tǒng)。這樣，端側(cè)模型就可以既裝在個人電腦，也可以適配穿戴設(shè)備。而不同的‘身體’就會需要不同的腦子，我們所構(gòu)想的通用人工智能，是在諸如智能手機(jī)、機(jī)器人以及其他多樣化設(shè)備上展現(xiàn)出得非凡適應(yīng)力與高度個性化的交互能力。”

目前，巖芯數(shù)智嘗試將模型部署到盡可能廣泛的端、邊緣設(shè)備上，以升級、優(yōu)化其模型算法。

“公司的商業(yè)化將側(cè)重在設(shè)備端的智能化產(chǎn)品交付上。我們要做智能單元大模型，即讓這些設(shè)備成為智能單元，并在此基礎(chǔ)上進(jìn)行迭代，以搭建形成群體智能的生態(tài)?！标惔Ц嬖V記者，上述提及的設(shè)備可能包括掃地機(jī)器人、廚房電器、可穿戴設(shè)備等。

陳代千說:“在這些設(shè)備上，我們會和不同的廠商去合作，嘗試部署大模型?！?/p>

不過，他補(bǔ)充說，本質(zhì)上，公司不想只做端側(cè)大模型?！肮疽欢ㄒ龅皆诙松夏芡綄W(xué)習(xí)。”

據(jù)了解，巖芯數(shù)智的同步學(xué)習(xí)仍在實驗室最后驗證階段，仍需要大規(guī)模測試。劉凡平表示，Yan 2.0預(yù)計需6個月時間面世。

責(zé)編：李傳新

一審：李傳新

二審：段涵敏

三審：楊又華

來源：觀察者網(wǎng)