2025-02-18 | 中央社
馬斯克推Grok 3後 DeepSeek推出NSA加速推理
人工智慧(AI)大戰愈演愈烈,科技富豪馬斯克今天發布最新版AI聊天機器人Grok 3後,中國深度求索(DeepSeek)也宣布推出用於超快速長文本訓練與推理的「原生稀疏注意力」(Native Sparse Attention,簡稱NSA)。
據中國媒體第一財經今天報導,DeepSeek官方18日在海外社交平台X上發布了一篇純技術論文報告,主要內容是關於「原生稀疏注意力」。據官方介紹,這是一種用於超快速長文本訓練與推理、硬體對齊且可原生訓練的稀疏注意力機制。
報告宣稱,NSA針對現代硬體進行了優化設計,能加速推理過程,同時降低預訓練成本,且不犧牲性能。NSA在通用基準測試、長文本任務和基於指令的推理,均能達到或超越全注意力模型的表現。NSA為提高效率同時保持模型能力提供了一個有前景的方向。
在這篇名題為「原生稀疏注意力:硬體對齊且可原生訓練的稀疏注意力機制」(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的論文署名中,DeepSeek創始人梁文鋒也是共同作者。
另一方面,馬斯克(Elon Musk)旗下人工智慧新創公司xAI於台灣時間18日發布最新版AI聊天機器人Grok 3。馬斯克表示,Grok 3的運算能力是前一代的10倍,並稱它「聰明得嚇人」,又指「Grok目標是要理解宇宙」。
法新社報導形容,馬斯克希望Grok 3將在ChatGPT及中國的DeepSeek等對手競爭激烈的AI市場中占有一席之地。
據中國媒體第一財經今天報導,DeepSeek官方18日在海外社交平台X上發布了一篇純技術論文報告,主要內容是關於「原生稀疏注意力」。據官方介紹,這是一種用於超快速長文本訓練與推理、硬體對齊且可原生訓練的稀疏注意力機制。
報告宣稱,NSA針對現代硬體進行了優化設計,能加速推理過程,同時降低預訓練成本,且不犧牲性能。NSA在通用基準測試、長文本任務和基於指令的推理,均能達到或超越全注意力模型的表現。NSA為提高效率同時保持模型能力提供了一個有前景的方向。
在這篇名題為「原生稀疏注意力:硬體對齊且可原生訓練的稀疏注意力機制」(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的論文署名中,DeepSeek創始人梁文鋒也是共同作者。
另一方面,馬斯克(Elon Musk)旗下人工智慧新創公司xAI於台灣時間18日發布最新版AI聊天機器人Grok 3。馬斯克表示,Grok 3的運算能力是前一代的10倍,並稱它「聰明得嚇人」,又指「Grok目標是要理解宇宙」。
法新社報導形容,馬斯克希望Grok 3將在ChatGPT及中國的DeepSeek等對手競爭激烈的AI市場中占有一席之地。
最新生活新聞
-
-
東海大學夢幻AI MV亮相 真人+AI唱出新世代拒絕被科技取代的吶喊
(2 小時前) -
中市環保局寒天送暖 捐助熱血兼推廣市民資源回收兌換好康
(2 小時前) -
雲縣府、屏科大攜手改善文蛤養殖環境 成果顯著將擴大輔導範圍
(2 小時前) -
深化台波合作!!台波商會攜手町洋集團共創波蘭新商機
(2 小時前)