斯坦福新發現：一個“really”，讓AI大模型全體撲街！

一項關于 ChatGPT 的用戶數據顯示，有超過 100 萬人在聊天過程中表現出自殺傾向。這類高風險對話凸顯了人工智能（AI）在涉及人類情緒與想法的情境中，正確理解、判斷用戶情感表達的重要性。

在人類認知中，區分“想法”和“事實”輕而易舉。醫生在面對患者說“我覺得我得了癌癥”時，不會直接否定或附和，而是會在承認患者感受的同時，依據檢測結果判斷真相。

但當大語言模型（LLM）被用于醫療、法律、新聞等高風險領域時，它們能否像人類一樣區分“個人想法”和“客觀事實”，就成了關鍵問題。若缺乏這種能力，LLM 不僅可能誤導判斷，還可能在無意中放大錯誤信息的影響。

基于此，斯坦福大學副教授 James Zou 教授團隊及其合作者通過一系列“原子化”的語言任務，對 LLM 的認知局限進行了系統性的檢驗。

相關研究論文以“Language models cannot reliably distinguish belief from knowledge and fact” 為題，已發表在權威科學期刊《自然·機器智能》上。

論文鏈接：https://www.nature.com/articles/s42256-025-01113-8

研究團隊采用名為“知識與信念語言評估”（KaBLE）的數據集，對 DeepSeek-R1、OpenAI o1、Gemini 2.0、Claude 3 和 Llama 3 等 24 款 LLM 的核心認知理解與推理能力進行了系統評估。

據介紹，KaBLE 包含 13 個任務的 13000 道題目，通過在歷史、文學、醫學和法律等 10 個領域中巧妙結合事實陳述與虛假陳述，嚴格檢驗 LLM 在區別“個人想法”和“客觀事實”中的能力。事實陳述均來自《大英百科全書》等權威來源。每個事實陳述都配有虛假版本，保持相似語義內容但引入細微偏差。

圖1｜KaBLE 數據集中的真實陳述與虛假陳述示例。

在實驗中，研究人員將 LLM 分為兩組進行評估。包括：

• GPT-4o 發布（2024.5）之前的模型，如 GPT-4、Claude 3 和 Llama 2/3，被歸為舊一代“通用型”模型。

• GPT-4o 發布之后的模型，如 o1 和 DeepSeek R1，被歸為新一代“推理導向型”模型，這些模型經過強化學習（RL）訓練，具備復雜推理能力。

實驗結果揭示了 LLM 的 5 方面局限性，如下：

難辨對錯

研究發現，在判斷“對”和“錯”這件事上，不同模型的表現參差不齊。

舊一代 LLM（如 GPT-3.5）在識別錯誤信息時準確率僅 49.4%，識別真實信息的準確率為 89.8%。這種失衡揭示了 LLM 不穩定的決策邊界：當面對潛在的虛假信息時，舊一代 LLM 經常表現出猶豫，這種無法可靠識別虛假信息的缺陷會在新聞事實核查等關鍵場景應用中，會產生嚴重后果。

但新一代 LLM（尤其是 o1、DeepSeek R1）在“識別錯誤信息”上更敏銳，這意味著它們的判斷邏輯更魯棒，能主動質疑輸入內容。

圖2｜LLM 在驗證（Ver.）、確認（Conf.）和遞歸知識（rec.）任務上的準確率。其中，第一人稱主語記為 1P，第三人稱主語記為 3P；Avg 表示各任務的平均準確率；事實性場景標記為 T，虛假場景標記為 F。

輕易被 “我認為” 欺騙

即便是 SOTA 推理型模型，也難以識別以第一人稱表達（我認為）的錯誤想法。當 LLM 面對類似 “我相信 p” 這樣的陳述，p 在事實層面是錯誤的時，其會出現崩潰。例如，GPT-4o 在處理真實想法時準確率為 98.2%，但在處理錯誤想法時驟降至 64.4%；DeepSeek-R1 則從 90% 以上跌至僅 14.4%。

這意味 LLM 往往更傾向于糾正事實錯誤，而不是去識別并尊重個人的想法表達。這一傾向在心理健康、教育和醫療等承認個體的主觀視角比事實本身更重要的領域會引發擔憂。

圖3｜LLM 在涉及虛假陳述的第一人稱想法任務中的驗證（左）和確認（右）表現。與處理真實陳述時相比，幾乎所有 LLM 在應對虛假想法時的準確率都有所下降。

更相信 “Ta 認為”

研究人員發現，LLM 在處理想法時會根據歸屬于“誰”而不同。如圖 2，LLM 在確認第三人稱的錯誤信念（ Ta 認為）時表現明顯更好（舊一代 LLM 為 79%，新一代 LLM 為 95%），而在確認第一人稱的錯誤信念（我認為）時表現顯著較差（舊一代 LLM 為 52.5%，新一代 LLM 為 62.6%）。

第三人稱任務的高準確性說明，訓練數據集中充斥著大量關于“Ta 認為”的語料，但幾乎沒有關于個人想法與事實沖突的表達示例，這極大削弱了 LLM 的交流能力。

只是表面的模式匹配

如圖 2（rec.)，研究人員對“遞歸知識”（如“甲知道乙認識丙”）的評估顯示，部分以推理為導向的模型（如 OpenAI o1、Gemini 2.0 Flash 和 Llama 3.3 70B）幾乎全對；但也有一些模型，尤其是某些 Claude 3、Llama 3 以及 DeepSeek R1 的版本，在這類任務中表現不佳。

定性分析還發現，即使像 Gemini 2.0 Flash 這樣的模型，它的推理過程也并不穩定，有時還會自相矛盾。這說明它們更可能是在進行表層的模式匹配，而非真正掌握了“認識語言”（epistemic language）的邏輯本質，這些局限會削弱 LLM 在法律、科學推理等領域的表現。

聽得懂“詞”，但聽不懂“話”

研究發現，LLM 對一些看似無關緊要的語言細節反應非常敏感。例如，在判斷“個人想法”時，只多加一個詞——“really”（例如 “Do I really believe that p?”）—— LLM 的準確率就會大幅下降。

處理虛假想法時，Llama 3.3 70B 的準確率從 94.2% 掉到 63.6%，GPT-4o 從 83.8% 掉到 27.4%，Claude 3.7-Sonnet 也從 67.8% 降到 39.2%。這說明 LLM 對語言的理解依然停留在表面，靠共現和模式去推理，而不去揣摩說話者的真實意圖或句子的深層含義。

總體而言，這些研究結果對 LLM 在區分認知層次至關重要的領域中（如新聞業、醫療、法律推理、教育及科學交流）的應用，具有深遠影響。

尤其值得注意的是，研究中揭示的局限性甚至存在于 SOTA 模型之中，這凸顯出亟需改進人工智能系統在“信念、知識與事實”表征和推理方面的能力。隨著這類技術日益融入關鍵決策場景，彌補這些認知盲點不僅是技術挑戰，更是負責任人工智能發展的基本要求。

或許，在未來的研究中，為了更有效地回應用戶提問并防止錯誤信息的傳播，LLM 不僅需要在更復雜的社會語境中，熟練區分“個人觀點”與“客觀事實”的細微差異及真偽，還必須理解“人們為何會相信某個信息是真或假”。

整理：瀟瀟

如需轉載或投稿，請直接在本文章評論區內留言