DeepSeek-R1登上自然期刊 訓練成本不到千萬

年初成為人工智慧（AI）領域熱門話題的DeepSeek-R1，相關論文登上最新一期「自然」期刊，是首個通過同行評議的主要大型語言模型（LLM），文章顯示其訓練成本僅29.4萬美元（約新台幣882萬元）。

這篇題為「DeepSeek-R1透過強化學習激勵大型語言模型推理」的論文由DeepSeek（深度求索）公司團隊完成、DeepSeek創辦人梁文鋒擔任通訊作者，18日刊發在「自然」（Nature）期刊上。而這一期封面即以AI的自我學習和改良為主題。

陸媒界面新聞報導，這篇新版DeepSeek-R1論文，與今年1月未經同行評審的預印本有較大差異，作者根據評審意見增加了模型訓練的技術細節說明，包括模型訓練數據類型和安全性考慮等，並回應了先前關於知識「蒸餾」的質疑。

據報導，DeepSeek明確否認了先前關於其使用OpenAI模型輸出進行訓練的質疑。DeepSeek-V3 Base（DeepSeek-R1的基座模型）使用的數據全部來自網際網路，雖然可能包含GPT-4生成的結果，但絕非有意而為之，也沒有專門的蒸餾環節。

DeepSeek還透露，為了防止基準測試數據汙染，對DeepSeek-R1的預訓練和後訓練數據都實施了全面的去汙染措施。

報導指出，DeepSeek-R1的核心創新在於採用了「純強化學習」這一自動化試錯方法，R1透過獎勵模型達到正確答案的行為來學習推理策略，而非傳統模仿人類預設的推理模式。

在補充材料中，DeepSeek團隊還首次公開了R1訓練成本僅為29.4萬美元，即使加上約600萬美元的基礎模型成本，也遠低於OpenAI、谷歌（Google）訓練AI的成本。

今年1月，當DeepSeek-R1模型發布時，其推理能力和極低的開發成本曾引發全球科技股大幅下跌。

「自然」期刊認為，隨著AI技術日漸普及，大型語言模型廠商們無法驗證的宣傳可能對社會帶來真實風險。依靠獨立研究人員進行的同行評審，是抑制AI行業過度炒作的一種有效方式。

DeepSeek是2023年成立於杭州的人工智慧公司。創始團隊由梁文鋒領銜，成員來自頂尖高校與國際機構技術專家。今年8月21日，DeepSeek正式發布了最新大語言模型DeepSeek-V3.1。