AMD AI PC願景 推出能運行30億參數模型的筆電晶片
超微半導體(AMD)正站在人工智慧(AI)技術的前端,致力於將大規模AI模型的運行從雲端轉移到設備上,並計畫在未來幾年內,推出能夠在設備內運行30億參數大型語言模型的筆記型電腦晶片。
編譯/黃竣凱
超微半導體(AMD)正站在人工智慧(AI)技術的前端,致力於將大規模AI模型的運行從雲端轉移到設備上,並計畫在未來幾年內,推出能夠在設備內運行30億參數大型語言模型的筆記型電腦晶片,其將能以每秒100個權重的速度運行,帶來AI處理器技術的一大突破。
![AMD AI PC願景 推出能運行30億參數模型的筆電晶片](https://news.pchome.com.tw/newsdata/science/technice/20240716/72110929578709338005.jpg)
技術挑戰與創新
據報導,要實現這一宏大目標,AMD需要在軟體和硬體方面進行多重優化,目前,AMD的Ryzen AI 300系列Strix Point處理器,已經可以以4 位元精度,運行多達70億參數的模型,每秒處理20個權重,然而,達到30億參數和每秒100個權重的性能目標,僅靠增加更多的神經處理單元(NPU)是不夠的,記憶體容量和頻寬,已經成為設備上運行大型語言模型的關鍵因素。
更多新聞:代號「Strawberry」 傳OpenAI打造具推理能力新AI模型
記憶體與頻寬的突破
目前,Strix Point的性能受限於128-bit的記憶體,即使配對LPDDR5x,其頻寬也只有120到135 GBps,為了達到預期目標,未來的AMD SoC需要更快且更大容量的行動DDR,AMD高級研究員兼矽設計工程師Mahesh Subramony指出,即便目前能設計出達到目標的零件,但如果成本過高或無法廣泛應用,仍無實際意義,因此,AMD將致力於開發能滿足95% 用戶需求的產品,同時展示AI PC的價值。
AMD對AI PC的願景
對於AI PC,AMD希望創建一個全新的Windows基礎AI PC類別,這些PC將配備強大的神經處理單元(NPU),能夠執行先進的AI模型,並提供全天的電池續航能力,提升PC的整體性能,提供更快、更智慧的使用體驗。
合作與創新
AMD認為,透過引入AI技術,PC市場有望復興。AMD強調其Ryzen AI 300系列處理器,在提供強大AI運算能力的同時,也注重性能和電池壽命的平衡,適應更輕薄的筆記型電腦的需求,為推動AI PC的發展,AMD強調開放技術的重要性,並強調了與微軟等軟體合作夥伴的合作,這種合作不僅有助於硬體的發展,還能引導新的使用案例和應用場景的開發。
參考資料:The Register、Indian Express
這篇文章 AMD AI PC願景 推出能運行30億參數模型的筆電晶片 最早出現於 科技島-掌握科技新聞、科技職場最新資訊。
最新科技新聞
-
-
Warpple LS7 Pro真無線投影機開箱評測分享:可取代電視且內建電池與OVO TV OS!
(9 小時前) -
華城攜雙北市布建充電樁 拚後年全台達3700座、市占率3成
(10 小時前) -
全球電動車電池市占Top10 中國占6名、韓國居次
(10 小時前) -
IC產業基金風起雲湧 上海IC產業蓬勃發展
(10 小時前)