美國發布大模型評估報告:DeepSeek性能差、不安全
近期,美國國家標準與技術研究院(NIST)人工智能標準與創新中心(CAISI)今日發布了《DeepSeek與美國AI模型綜合評估報告》。這一評估由美國總統特朗普的“AI行動計劃”授權進行,該報告對來自中國的DeepSeek AI模型與美國前沿AI模型在性能、成本和安全三個關鍵維度上進行了全面對比測試。
多維度評估方面,美國模型整體領先。
CAISI研究團隊對DeepSeek的三款模型(DeepSeek-R1、DeepSeek-R1-0528和DeepSeek-V3.1)與四款美國模型(包括GPT-5、GPT-5-mini、gpt-oss和AnthropicOpus 4)進行了19項基準測試。測試涵蓋了七個關鍵領域:軟件工程、網絡安全、科學知識、數學推理、限制遵守、成本效率和意識形態對齊。
評估結果明確顯示,美國模型在整體性能上優于DeepSeek模型。特別是在軟件工程和網絡安全任務中,差距最為顯著。以網絡安全任務為例,表現最佳的美國模型GPT-5達到了68.9%的準確率,而最佳的DeepSeek模型(DeepSeek-V3.1)僅達到36.7%,差距高達32.2個百分點。
在軟件工程領域,GPT-5再次領先,達到75.8%的準確率,而DeepSeek-V3.1為54.8%,差距為21個百分點。這些數據顯示,在涉及代碼分析、漏洞檢測和安全策略制定等關鍵任務中,美國模型目前仍具有明顯的技術優勢。
成本效率對比測試中,DeepSeek表現不佳。
值得注意的是,評估報告在成本效率方面得出了出人意料的結論。GPT-5-mini在與DeepSeek-V3.1的對比中,不僅性能更優,單token成本還低35%。這一發現挑戰了"美國模型價格更高"的常見看法。
CAISI主任Lynne Parker在新聞發布會上表示:“這一發現對市場認知具有重要意義。許多企業選擇特定AI模型時往往僅考慮API價格,但我們的測試表明,綜合性能和成本效率,美國模型實際上提供了更好的價值主張。”
安全性評估:DeepSeek存在嚴重漏洞
報告中最引人關注的發現集中在安全性方面。測試顯示,DeepSeek-R1-0528模型在代理安全測試中被劫持的概率高達37%-49%,比美國前沿模型高出12倍。在越獄攻擊測試中,DeepSeek-R1-0528的合規率僅為8%,而美國模型為94%。
數據顯示,被劫持的DeepSeek代理在模擬環境中成功執行了多項高風險操作,包括發送網絡釣魚郵件、下載惡意軟件和竊取用戶憑據。
意識形態對齊問題
評估還發現,DeepSeek模型更傾向于傳播與其訓練數據源一致的特定意識形態內容。在測試中,DeepSeek模型重復特定敘事的頻率是美國模型的2到4倍,數據波動取決于語言環境和具體主題。
DeepSeek使用率呈增長態勢
盡管存在這些明顯缺陷,DeepSeek的使用率仍在全球范圍內顯著增長。報告顯示,DeepSeek模型的下載量自2025年1月以來增長了近1000%,API請求量在某些平臺上激增5900%。
NIST CAISI是一家全球領先的測量科學合作中心,其致力于加速美國在AI領域的進展,通過開發和評估技術基礎來測試、評估和提高AI系統的能力、安全性和可信賴度,促進美國AI生態系統的競爭力、創新力。(文|老馬商業評述,作者|馬金男)
1.本網刊載內容,凡注明來源為“飛象網”和“飛象原創”皆屬飛象網版權所有,未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業信息,并不代表本網贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發之日起30日內與本網聯系,我們將第一時間予以處理。
本站聯系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
openEuler未來五年堅定擁抱超節點和AI 加速全球化為世界提供新選擇
11月14日,在北京召開的華為操作系統大會2025期間,開放原子開源歐拉社區宣布正式推出openEuler全球首個面向超節點的操作系統openEuler 24.03 LTS SP3,可用于CPU、GPU、NPU等多種計算資源協..[詳細]
下一代通信路徑漸清晰 6G技術創新生態如何重塑通信未來?
當全球通信產業邁入 6G 標準化全面啟動的關鍵窗口期,一場聚焦技術協同、生態共建的行業盛會正為6G發展錨定方向。在北京召開的6G發展大會上,傳遞出6G正從技術“藍圖”走向產業“實景”,更..[詳細]
聞庫:6G發展是持續演進、逐步上臺階的過程
11月13日消息,在“2025年6G發展大會”上,中國通信標準化協會理事長聞庫發表演講指出,6G發展不是一步到位的過程,而是一個持續演進、逐步上臺階的過程。
..[詳細]AI驅動世界,Gartner2026重要戰略技術趨勢里的三位新英雄
近年來,業界總是在談論著AI改變一切,將其又一次奉為“工業革命”級別的技術。不久前,在Gartner發布的2026年十大戰略技術趨勢中,與AI直接相關或以AI為核心的技術,達到了至少6項,包括:A..[詳細]
天地織網:空天地網絡里的強國路
當空天地一體化網絡走進人們的視野,這張網把天上的衛星、空中的無人機和地面的5G基站擰成一股繩,構建起一張覆蓋全球98%區域的“通信天羅地網”。從極地科考到遠洋航行,從應急救援到日常通..[詳細]













