阿里云優(yōu)惠券 先領(lǐng)券再下單

文 | 智能相對論

作者 | 沈浪

知名科學雜志《Nature》發(fā)表了一篇關(guān)于大模型規(guī)模參數(shù)大小爭議的文章《In Al, is bigger always better?》——AI大模型，越大越好嗎？隨著大模型應(yīng)用走向?qū)嵺`，這一問題不可避免地成為了當前AI行業(yè)發(fā)展的焦點與爭議。

有人認為，大模型當然是越大越好，參數(shù)越大，性能越優(yōu)。也有人認為，小模型更好，消耗更小，更能精準地解決專業(yè)問題。兩相對比之下，各有各的道理，懸而未決，究竟什么才是AI大模型發(fā)展的出路？

這一問題或許在日前商湯科技舉辦的技術(shù)交流日活動上有所解答。在活動現(xiàn)場，商湯科技發(fā)布了行業(yè)首個“云、端、邊”全棧大模型產(chǎn)品矩陣，以滿足不同規(guī)模場景的應(yīng)用需求，對大模型的場景應(yīng)用提出了新的思路，并且全新升級了“日日新SenseNova 5.0”大模型體系，綜合能力全面對標GPT-4 Turbo。

當然，在當前節(jié)點上，領(lǐng)先的意義已經(jīng)不僅僅是超越GPT-4，更是探索出能解決實際應(yīng)用問題的有效路徑。

01、離譜or靠譜？日日新端側(cè)大模型“暴打”GPT-4

在技術(shù)交流日活動的現(xiàn)場，商湯科技以一個很有趣的畫面闡釋了大模型與小模型之間的差別?；谌视螒虻漠嬅嫜菔?，商湯科技將自家的SenseChat-Lite 版本日日新端側(cè)?模型與GPT-4進行PK。

一開始，GPT-4還能略占上風，但是SenseChat-Lite出拳速度更快，隨后各種連招打到他根本反應(yīng)不過來，只得被商湯科技的模型“暴打”，直接K.O出局。

這一結(jié)局似乎太離譜了？商湯科技對此做了解釋：實際上其中的差距并非模型能力強弱問題，而是在不同的適用場景之下小模型決策速度快。當大模型還在計算的時候，小模型已經(jīng)完成了判斷并且出拳了，而且實實在在打到了對手身上。

正所謂，“天下武功，唯快不破”！對比大模型，小模型在具體的場景應(yīng)用中有著更明顯的決策優(yōu)勢。

因此，業(yè)內(nèi)正在形成一個全面的共識：在實際應(yīng)用中，大模型并非越大越好，而是得看具體場景需求。前不久，美國AI公司Anthropic發(fā)布Claude 3系列模型，一度超越GPT-4，登頂全球最強大模型。其中Claude 3系列就給出了不同量級的模型產(chǎn)品，包括Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus，以便適用于不同的企業(yè)和場景。

同樣的，基于這一思路，商湯科技也在搭建完善的基模型體系與小模型系統(tǒng)方案，并發(fā)布了一系列的垂類大模型和端側(cè)大模型。其中，SenseChat-Lite版本端側(cè)大模型就可以面向手機、平板、VR 眼鏡、智能汽車等提供輕量、高效的大模型能力，結(jié)合端云解決方案，及時適應(yīng)變化的環(huán)境和需求，保持高性能和準確性。

對比來說，中國更注重實踐。商湯科技在這個思路上給出的解決方案更具有主動性和服務(wù)意識以及更有實踐價值。具體的，商湯端側(cè)大模型不僅是參數(shù)量級小，還講究端側(cè)部署與端側(cè)處理能力的強化，在解決實際問題上響應(yīng)更快速。

與此同時，商湯科技還面向金融、代碼、醫(yī)療、政務(wù)等多個領(lǐng)域推出了邊緣產(chǎn)品“商湯企業(yè)級大模型一體機”，在實際場景應(yīng)用中更能滿足專業(yè)化需求，主動貼合客戶需求。比如，“大醫(yī)”醫(yī)療健康大模型一體機就可以在醫(yī)療機構(gòu)內(nèi)部一鍵部署大模型應(yīng)用，實現(xiàn)“開箱即用”，并有效針對智能問診、導診、病歷結(jié)構(gòu)化、影像報告解讀等場景，支持智能調(diào)整回復內(nèi)容的語言風格、詳略程度、格式要求等。

當然，這也是目前商湯科技在AI大模型領(lǐng)域領(lǐng)先行業(yè)的關(guān)鍵點。同樣的思路，以小模型為應(yīng)用焦點，商湯比別人多走了幾步，提出了軟硬兼顧的解決方案。

02、在尺度定律之下，沒有永恒的“最強”，唯有“日日新”

從經(jīng)濟性而言，小模型更利于企業(yè)應(yīng)用與解決實際問題。那么，是否對于AI行業(yè)而言，就不需要訓練大模型了？

實則不然。

在技術(shù)交流日活動現(xiàn)場，商湯科技提到了一個同為業(yè)內(nèi)共識的理論：尺度定律。在普遍的認知中，以尺度定律為參考，隨著模型的參數(shù)變大、數(shù)據(jù)量變大、訓練時長加長，則算法性能會越來越好。

OpenAl于2020年曾發(fā)布一篇論文《Scaling Laws for Neural Language Models》，其中也有類似的觀點，即模型性能隨著模型參數(shù)大小的增長而變好。因此，在后續(xù)的大模型迭代中，OpenAI通過構(gòu)建一個巨大的海量數(shù)據(jù)集，再簡單增加GPT模型的深度，就做出了具有驚人的涌現(xiàn)能力的大模型產(chǎn)品。

對此，很多廠商也作了相關(guān)驗證，包括谷歌、商湯科技等。其中，谷歌曾精調(diào)了三個尺寸的Minerva模型，分別使用了80億，620億和5400億個參數(shù)的預訓練PaLM模型。

結(jié)果發(fā)現(xiàn)，Minerva的性能隨著規(guī)模的擴大而提高。在整個MATH數(shù)據(jù)集上，最小模型的準確率為25%，中型模型達到43%，最大模型突破50%大關(guān)。

由此，基于尺度定律的認知，他們發(fā)現(xiàn)自家的模型產(chǎn)品在一定測試級上超越GPT-4的能力，并非不可能。如今，商湯科技發(fā)布的最新的“日日新SenseNova 5.0”大模型體系，其性能就超越了GPT-4。

其中，日日新·商量大模型5.0主模型在語言、知識、推理、數(shù)學、代碼等領(lǐng)域的能力，在主流客觀評測上就達到或超越了GPT-4 Turbo，在聊天、多輪對話、信息提取、寫作等場景能和GPT-4 Turbo相媲美。

更值得一提的是，日日新·商量多模態(tài)大模型的圖文感知能力達到了全球領(lǐng)先水平，在多模態(tài)大模型權(quán)威綜合基準測試MMBench中綜合得分排名首位，并在多個知名多模態(tài)榜單MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU 取得領(lǐng)先成績。

換句話說，在尺度定律的認知下，GPT-4被超越是遲早的事情，AI大模型領(lǐng)域沒有永恒的“最強”。

當然，若要登頂最強，雖說可行，但絕不簡單。大模型的參數(shù)爭議，其中就有能耗的問題。谷歌曾坦言，PaLM的訓練在2個月內(nèi)消耗了大約300個美國家庭一年的電力消耗，其中所需要的算力、數(shù)據(jù)等基礎(chǔ)設(shè)施絕非常規(guī)企業(yè)可以負擔。

在這一點上，商湯科技秉持“大模型+大算力”的“雙輪驅(qū)動”戰(zhàn)略布局又一次為其拓寬了道路。其中，SenseCore商湯大裝置作為商湯科技前瞻決策所打造的高效率、低成本、規(guī)?；男乱淮鶤I基礎(chǔ)設(shè)施，可以支撐超過20個千億超大模型同時訓練，并支持萬億參數(shù)大模型的全生命周期生成，為大模型的打造提供了非常關(guān)鍵的支撐。

簡單來說，雖說有尺度定律作為理論支持，但是以SenseCore商湯大裝置為代表的大算力才是商湯科技能超越GPT-4的底氣。從這個角度來看，商湯科技做AI，比大多企業(yè)要更加純粹且徹底。

03、大模型的最優(yōu)解，是場景平衡

從國內(nèi)外的實驗與實踐來看，模型的大小之爭意義不大，離開基礎(chǔ)理論和場景應(yīng)用去拋棄任何一方都不可取。因此，目前主流的AI廠商在迭代和發(fā)布系列模型時，往往都會推出主模型與小模型以及垂類專業(yè)模型，根據(jù)場景需求按需提供服務(wù)。

這一點將在接下來的時間里拉開專業(yè)AI服務(wù)商之間的差距。目前，日日新SenseNova5.0大模型體系采用了混合專家模式，這樣做的目的在于通過將模型分割成多個具有專門功能的模塊，使得模型在推理過程中能更有效地利用計算資源，并可能提高模型的泛化能力和應(yīng)對復雜任務(wù)的性能。

具體來看，商湯瓊宇發(fā)布的3D高斯?jié)姙R技術(shù)，就具備輕量化的web渲染能力，可以產(chǎn)生更輕量的模型資產(chǎn)，使城市級三維模型的構(gòu)建和編輯重建效果更加真實，成本更低，也可以應(yīng)用在更多場景。

這是混合專家模式思想在實際應(yīng)用中的體現(xiàn)，通過不同技術(shù)和模型組件之間的配合，實現(xiàn)了對特定任務(wù)定制化處理和資源優(yōu)化，從而加速大模型在不同場景中的應(yīng)用，實現(xiàn)AI普惠。目前，瓊宇已服務(wù)客戶超過60個，實現(xiàn)了15個城市120多種場景的重建。

因此，當我們把目光投遞到實際中的場景問題，就會發(fā)現(xiàn)大模型和小模型均有用武之地，問題則在于如何去平衡地調(diào)配資源，實現(xiàn)最優(yōu)解。由此來看，商湯科技對混合專家模式的應(yīng)用，可以視為是一種領(lǐng)先行業(yè)的熟練決策。

未來不屬于大模型或小模型，而是大小模型之間的平衡。因此，“AI大模型是否越大越好”類似的問題不必糾結(jié)，但需要面對，即如何去打造大模型，又如何把大模型的能力調(diào)配出小模型服務(wù)好市場，會是各大廠商接下來的必修課程。

*本文圖片均來源于網(wǎng)絡(luò)

此內(nèi)容為【智能相對論】原創(chuàng)，

僅代表個人觀點，未經(jīng)授權(quán)，任何人不得以任何方式使用，包括轉(zhuǎn)載、摘編、復制或建立鏡像。

部分圖片來自網(wǎng)絡(luò)，且未核實版權(quán)歸屬，不作為商業(yè)用途，如有侵犯，請作者與我們聯(lián)系。

•AI產(chǎn)業(yè)新媒體;

•澎湃新聞科技榜單月度top5;

•文章長期“霸占”鈦媒體熱門文章排行榜TOP10;

•著有《人工智能 十萬個為什么》

•【重點關(guān)注領(lǐng)域】智能家電（含白電、黑電、智能手機、無人機等AIoT設(shè)備）、智能駕駛、AI+醫(yī)療、機器人、物聯(lián)網(wǎng)、AI+金融、AI+教育、AR/VR、云計算、開發(fā)者以及背后的芯片、算法等。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！