AI學術寫作：方法論意義大于文本本身

自2022年底生成式人工智能興起以來，人文與社會科學各領域的學者紛紛響應，試圖厘清它對語言、知識生產以及學術傳播意味著什么。這類討論在寫作研究領域體現得尤為突出。研究人員把人類作者撰寫的文章與人工智能系統生成的文章進行了比較，分析了它們各自的詞匯與論證模式，并就機器生成文本與“真正的”學術寫作是否相似展開了辯論。研究進展得十分迅速，短短數年間已有大量成果問世，聚焦于人工智能生成文本的語言特征及其對教育與學術研究的潛在影響。我本人也參與了相關探討，例如，我的一篇合著論文《探究生成式人工智能大語言模型之于學術寫作中的立場建構與文本互動的可供性》（Exploring the affordances of generative AI large language models for stance and engagement in academic writing）2025年發表于《學術英語雜志》。然而，隨著研究的發展成熟，一個重要的方法論問題浮現出來：當我們比較人工智能生成文本與人類寫作時，的確是在比較可比的事物嗎？

01

比較作者抑或比較提示詞

乍看之下，這種比較似乎一目了然。研究人員讓人工智能系統圍繞特定主題生成文章，再將文章與學生或專家撰寫的內容進行對比分析。倘若二者呈現出差異，例如在論證結構、與讀者互動的方式等方面有所不同，研究人員便可能得出以下結論：人工智能缺乏人類作者具備的某些精巧的修辭能力。然而，看似簡單的比較背后隱藏著更深層次的問題。人類寫作建立在復雜的學習過程、經驗和學科實踐的基礎之上，有別于此，人工智能生成文本則高度依賴于接收到的指令。換言之，系統生成什么內容更多取決于任務是如何被設定的，而與其固有能力關系不大。

這引出了一個根本的方法論問題，但之前的諸多研究并未對此進行充分探索。人類作者通常在相對穩定的條件下產出文本：他們接受任務，憑借自身知識和經驗，按照長期習得的規范來寫作。相比之下，人工智能系統則是通過交互來運轉的。提示詞的措辭、其中包含的指令乃至語言表達上的微小變化，都可能顯著改變最終生成的文本。如此說來，在沒有認真考量上述狀況的前提下比較人工智能與人類寫作，可能會得出誤導性的結論。

要理解這一問題為何重要，可以先想一想生成式人工智能系統是如何生成語言的。這些模型不像人類那樣“書寫”，而是根據指令生成文本。提示詞（即提供給模型的文本）是整個過程的起點。早期的研究通常將提示詞視為單純的任務描述。一個典型的指令可能是要求系統“以公共交通為主題寫一篇議論文”，并說明預期的大致篇幅與風格。隨后，研究人員把系統生成的文本與由學生撰寫的類似主題的文章進行對比分析。在這種情況下，研究人員經常會注意到兩者間存在明顯的差異。比方說，人類作者傾向于使用更細致的表述來表達不確定性和作出評估，如作為模糊限制語的“可以”（could）和作為態度標記語的“重要”（significant），而人工智能生成的文本通常會顯得更加統一且缺乏個人色彩。因此，一些研究認為，人工智能寫作缺少某些精妙的修辭策略，這些策略使人類作者得以在論證中確立自身站位或與讀者直接互動。這些發現被廣泛理解為研究證據，表明人工智能或許能夠模仿學術寫作的表面特征，但難以復刻更深層的修辭結構。然而，深入觀察人工智能系統對提示詞的反應后會發現，這一結論可能過于輕率。

02

任務指令影響人工智能生產內容

為了檢驗人們的論斷是否以人工智能“能夠”完成什么為基礎，我同南開大學外國語學院助理研究員孫淑怡、北京航空航天大學外國語學院教授姜峰共同開展了一項比較人類寫作與人工智能寫作的新研究。在實驗的第一階段，我們讓人工智能系統根據基本的提示詞來撰寫文章，該提示詞描述了任務但并未提供具體的修辭指令。然后，我們將這些文章與學生撰寫的文章進行對比分析，結果顯示，兩者間有著明顯差異。人類作者使用了更多的模糊性表述，諸如“或許”“這顯示”“這可能表明”等，體現出學術論證中典型的審慎姿態。人類作者也會更直接地面向讀者表達（如通過使用“我們”一詞）或更清楚地示意論證結構（如“現在轉向……”）。人工智能生成的文章則顯得更加中立、疏離，展現作者立場或與讀者互動的標記語也更少。

基于此，可能有人會得出結論：人類寫作表現出更豐富的修辭復雜性。換句話說，“人工智能能做什么，不能做什么”這類說法。但這樣的說法公允嗎？我們能否將由人工智能生成的語料庫視為固定的數據集？又或者這只是某種提示條件的產物——目標語言特征隱含在任務指令中（人類寫作亦是如此），而沒有在提示詞中明確陳述？因此，在實驗的第二階段，人工智能系統被給予了額外的指令。除生成文章外，還要求它應用特定的修辭策略，例如在觀點之間增加更多的過渡、更直接地與讀者互動并在論證中展現評價立場或謹慎性的表態。就像人類寫作場景中那樣，這些指令并未在最初的提示詞中被提及。我們在第二階段有意地將其加入。

輸出結果出現了驚人的差異。當接收到更具體的指令之后，人工智能系統開始生成包含更多此類特征的文本，有時與在人類寫作中觀察到的頻率相當，有時遠遠超出。對提示詞稍作調整就可以帶來輸出上的巨大不同。我們還注意到，這些修辭元素往往以夸張或程式化的方式呈現。由于模型直接響應我們的指令，它會放大指令所要求的特征，而不是像人類作者那樣在論證中策略性地進行運用。也就是說，對于被明確要求生成的內容，人工智能會過度生成并一遍又一遍地加以重復。

這項簡單的實驗有著重要的啟示意義。它表明，人工智能寫作與人類寫作之間的諸多差異未必是技術本身的固有局限（即“能做什么，不能做什么”）所致，而是僅僅反映了文本生成時所接收的提示條件。

03

研究問題的轉向

這一洞見指向了人工智能生成語言研究面臨的更廣泛的挑戰。與一旦產生就保持固定的傳統文本數據不同，人工智能輸出天然是可變的。收到何種提示、交互的重復次數以及任務如何隨著對話過程演變，可能導致同一個系統生成截然不同的文本。從這個意義上說，人工智能生成的語言更像是人類指令與機器回應之間的一種交互，而非靜態的文檔集合。從這種交互中產生的文本不僅受到模型本身的影響，也受到用戶選擇的影響。

對于試圖分析人工智能寫作的研究人員來說，這帶來了一個移動的目標。倘若兩項研究探討同一現象，可能會僅僅因為使用不同的提示詞而得出非常不同的結論。這種不同引發了關于應如何對此類文本進行分析的疑問。如果人工智能寫作的語言特征在很大程度上取決于交互過程，那么，將這些文本視為固定的數據集——如同人類寫作文本的集合——可能無法準確反映實際發生的情況。更有效的路徑可能是將提示本身作為研究設計中的一個重要變量來處理。

認識到提示詞的作用，并不意味著人類寫作與人工智能寫作之間的比較毫無意義。恰恰相反，這種比較對于理解人工智能系統的運轉機制及其對學術傳播的影響至關重要。然而，這確實表明未來的研究需要更加清晰地說明人工智能生成文本的生產方式。研究應清晰地記錄所使用的提示詞，解釋其設計背后的邏輯，并考慮不同的替代性提示詞可能對結果造成的影響。更重要的是，研究人員可能需要超越單一提示下的比較，轉而探索不同提示條件下語言模式的變化。這種路徑不僅可以揭示人工智能系統能夠生成什么內容，還能展現其輸出在交互過程中如何演變。換句話說，探討的問題應從“人工智能寫作與人類寫作有何不同”轉變為“人工智能寫作在何種情況下與人類寫作相似，何種情況下與人類寫作相異”。這一轉變看似細微，卻折射出研究生成性技術時所必需的更深層的方法論調整。

04

確保分析框架迭代升級

這些議題對教育領域也有實際意義。如今，許多學生在思路構想、論文起草、文本修改等環節利用生成式人工智能工具來輔助寫作任務。如果人工智能輸出結果的修辭特征會因提示方式的不同而有所變化，那么，一些不加批判地依賴此類系統的學生就可能在無意中采用扭曲變形的學術表達模式。

因此，教育工作者或許會發現，將人工智能生成的文本作為分析對象而非去仿效的范本或模板，是更有成效的做法。學生可以考察不同提示詞如何影響人工智能生成文章的結構與語氣，將人工智能輸出結果與人類寫作案例文本進行比較，并反思修辭選擇如何塑造學術論證。這類活動有助于培養一種新型的人工智能素養：評估人工智能生成語言并批判性地與其進行交互的能力。從這個意義上說，生成式人工智能可能不再只是傳統寫作方式的替代，而更多成為探索寫作本身運作機制的一種手段。

生成式人工智能的迅速普及無疑為人文社會科學研究創造了新的機遇。與此同時，它也迫使研究人員不得不面對此前不熟悉的方法論問題。在研究由人工智能生成的語言時，我們不只是在分析文本，更是在分析人類指令與機器回應之間的交互。提示詞、對話以及任務背景，都成為研究對象的一部分。認識到這一點，或許有助于該研究領域超越早前關于人工智能寫作是否“足夠好”或“類似人類”的爭論。研究焦點可以轉向理解人工智能系統如何生成語言、用戶如何影響這一過程，以及最終生成的文本如何在學術環境與社會環境中傳播。從長遠來看，生成式人工智能對寫作研究最重要的貢獻可能并非其所產出的文本，而是由此引出的方法論問題。當前，研究人員面臨的挑戰是，確保我們所用分析框架的演進能夠跟上技術發展的步伐。

中國社會科學報特約通訊員 彼得·克羅斯威特（Peter Crosthwaite）/文 陳禹同/譯

作者系澳大利亞昆士蘭大學語言與文化學院副院長

來源：中國社會科學報

責任編輯：趙琪

新媒體編輯：常暢

如需交流可聯系我們