財聯(lián)社7月27日訊(記者 付靜)“邊緣計算和機器視覺(jué)技術(shù)已經(jīng)相當成熟，未來(lái)可能會(huì )將更多的關(guān)注和資源投入到大語(yǔ)言模型和AI的開(kāi)發(fā)與應用中。AI模型可能會(huì )逐步從云端向邊緣端轉移。我們可以預見(jiàn)到一場(chǎng)巨大的創(chuàng )新浪潮正在醞釀。目前市場(chǎng)上已經(jīng)出現了許多成熟的解決方案，我們正處于這一轉變的關(guān)鍵時(shí)刻。”2024英特爾網(wǎng)絡(luò )與邊緣計算行業(yè)大會(huì )期間，英特爾公司高級副總裁兼網(wǎng)絡(luò )與邊緣事業(yè)部總經(jīng)理Sachin Katti在接受財聯(lián)社記者采訪(fǎng)時(shí)表示。

　　近日財聯(lián)社記者從業(yè)內多方獲悉，從算力、邊緣推理能力、成本綜合考量來(lái)講，人工智能在邊緣領(lǐng)域的滲透將成關(guān)鍵趨勢，多家巨頭入局該賽道，不少成熟解決方案涌現，邊緣AI方興未艾，2030年全球邊緣市場(chǎng)規?；驅⑦_千億美金規模。

　　瞄準邊緣AI 成熟解決方案涌現

　　財聯(lián)社記者最新從英特爾方面了解到，今年上半年英特爾中國區邊緣端業(yè)務(wù)同比保持增長(cháng)，公司預期這一趨勢將保持。邊緣AI一直是英特爾過(guò)去多年來(lái)的關(guān)注重點(diǎn)，部署領(lǐng)域涉及零售、醫藥、物流、農業(yè)、交通、制造業(yè)等。

　　Sachin Katti告訴財聯(lián)社記者，“現在我們講的邊緣AI其實(shí)已經(jīng)從邊緣的機器視覺(jué)，逐步進(jìn)展到比如大語(yǔ)言模型、邊緣應用以及生成式AI等，因此英特爾就要不斷地提供相關(guān)能力，加速在邊緣端的生成式AI以及大語(yǔ)言模型的部署。我們已經(jīng)不僅僅局限于硬件供應，還擴展到了應用層、軟件以及客戶(hù)服務(wù)支持等多個(gè)維度。”

　　

 

　　(財聯(lián)社記者攝)

　　今年MWC期間，英特爾方面稱(chēng)，已在邊緣端完成九萬(wàn)多個(gè)實(shí)際部署。Sachin Katti在大會(huì )上則表示，英特爾將采取以開(kāi)放、模塊化、統一平臺為核心的方法加快邊緣Al解決方案的部署進(jìn)程。“硬件側，我們會(huì )提供有足夠內存的GPU以及NPU解決方案，很多模型如Llama 2、Llama 3等可以在本地運行。”生態(tài)方面，截至目前英特爾網(wǎng)絡(luò )與邊緣事業(yè)部在中國已與500多家OEM/ODM和150多家ISV建立了合作關(guān)系。

　　實(shí)際上不僅英特爾，AMD、英偉達、高通等巨頭，云天勵飛(688343.SH)、中科創(chuàng )達(300496.SZ)、國科微(300672.SZ)等A股上市公司均已瞄準邊緣端做出動(dòng)作。

　　同時(shí)財聯(lián)社記者在大會(huì )展區注意到，機器人(300024.SZ)、深信服(300454.SZ)、數碼視訊(300079.SZ)、中科創(chuàng )達等A股廠(chǎng)商均展示了各自邊緣AI成果。

　　財聯(lián)社記者在展區注意到了模型訓練過(guò)程中通過(guò)自動(dòng)化手段做數據標注的案例。展臺工作人員告訴記者，基于英特爾酷睿處理器、英特爾銳炫獨立顯卡ARC770打造的CNN邊緣訓推方案，借助視覺(jué)大模型實(shí)現了圖片自動(dòng)標注和基于MLFlow的模型自動(dòng)重訓。“原來(lái)訓練模型要找算法公司，標注都需要人來(lái)完成，現在可以使用機器標注，訓練成本、人力成本都極大降低，現在業(yè)界慢慢都出現了這種訓推的方案。”

　　此次英特爾最新打造的3D虛擬數智人“小英”亦展出。展臺工作人員稱(chēng)，“小英”同樣基于酷睿處理器、ARC770顯卡打造，完全部署于邊緣端，還在本地集成了大語(yǔ)言模型和RAG技術(shù)。據悉，其可以勝任營(yíng)業(yè)廳客服、商場(chǎng)導購、博物館講解員等角色。

　　

 

　　(受訪(fǎng)者供圖)

　　AI Agent苗頭已現 邊緣部署有何動(dòng)因?

　　站在行業(yè)發(fā)展視角，英特爾對于A(yíng)IGC及大語(yǔ)言模型發(fā)展做了三階段總結：第一階段是AI輔助時(shí)代(Age of AI Co-Pilots)，第二階段是AI助手時(shí)代(Age of AI Agents)，第三階段是全功能AI時(shí)代(Age of AI Functions)。

　　“從中國來(lái)看，我們的創(chuàng )新速度非?？?，很多AI Agent的功能在當下可能已經(jīng)看到發(fā)展苗頭了，有關(guān)AI Agent的案例實(shí)際在我們身邊已經(jīng)慢慢出現。”英特爾中國區網(wǎng)絡(luò )與邊緣事業(yè)部首席技術(shù)官、英特爾高級首席AI工程師張宇對財聯(lián)社記者表示。

　　他舉例稱(chēng)，電信企業(yè)網(wǎng)安和網(wǎng)絡(luò )運營(yíng)類(lèi)產(chǎn)品已經(jīng)可以基于大模型對網(wǎng)絡(luò )日志文件進(jìn)行分析，以便網(wǎng)絡(luò )管理人員及時(shí)根據分析結果采取措施等。Sachin Katti則表示，預計在未來(lái)一到兩年內會(huì )看到更多AI Agent的出現。

　　英特爾高管在大會(huì )上提及，中國生成式人工智能市場(chǎng)規模今年預計達33億美元。而據Gartner預測，到2026年，80%的全球企業(yè)將使用生成式AI，50%的全球邊緣部署將包含AI。STL Partners報告顯示，2030年全球邊緣服務(wù)市場(chǎng)規模會(huì )達到4450億美元，其中AI是第一大邊緣工作負載。

　　邊緣AI市場(chǎng)持續升溫，而驅動(dòng)企業(yè)在邊緣側部署的實(shí)際原因何在?

　　“一是數據的安全性，是不是放心把數據都放到云端，還是在邊緣端更合理。第二，隨著(zhù)邊緣數據量越來(lái)越大，整個(gè)傳輸帶寬是個(gè)問(wèn)題，雖然國內在整個(gè)基礎建設傳輸帶寬建設是全球最領(lǐng)先的，但當大量數據在邊緣產(chǎn)生時(shí)，仍然可能引發(fā)網(wǎng)絡(luò )風(fēng)暴，我們仍需要進(jìn)一步優(yōu)化網(wǎng)絡(luò )管理和數據傳輸策略。第三，實(shí)時(shí)性，很多東西只能在邊緣做才能解決實(shí)時(shí)性的要求。”英特爾公司市場(chǎng)營(yíng)銷(xiāo)集團副總裁、英特爾中國網(wǎng)絡(luò )與邊緣及渠道數據中心事業(yè)部總經(jīng)理郭威向財聯(lián)社記者分析了三點(diǎn)原因。

　　Sachin Katti告訴財聯(lián)社記者，目前AI主要在云端運行，然而隨著(zhù)邊緣設備在本地產(chǎn)生大量數據，將所有數據傳輸至云端的成本變得相當高昂。“一些工廠(chǎng)可能無(wú)法承擔訓練超大規模行業(yè)級大模型的成本，因為這些模型的參數量可能高達萬(wàn)億級別。因此他們往往選擇訓練中等規模的模型，并結合自身數據進(jìn)行定制化調整。”

　　財聯(lián)社記者了解到，當前大模型訓練、推理、調用、部署均在云端完成，對算力(集群)規模、網(wǎng)絡(luò )穩定性、能效等方面都提出極高要求，隨著(zhù)大模型進(jìn)入比拼落地階段，就要求所有分析處理都在本地完成。

　　張宇認為，“邊緣的特點(diǎn)就是碎片化。不同用戶(hù)對于算力、性能有不同要求，有些性能要求很高，必須要有集群來(lái)承載，有些性能可能通過(guò)幾個(gè)小設備就能夠承載，跨度非常大。邊緣往往最終部署的是業(yè)務(wù)，并不是追求一個(gè)技術(shù)方案。”