預(yù)印本論文不可靠？大語言模型追蹤顯示并非如此，生物醫(yī)學(xué)預(yù)印本論文后續(xù)正式發(fā)表時(shí)，核心結(jié)論基本不變，撤稿率也更低

編輯丨王多魚

排版丨水成文

自 COVID-19 以來，大量的生物醫(yī)學(xué)研究論文在經(jīng)過同行評(píng)議之前就已在預(yù)印本平臺(tái)發(fā)布，并得多廣泛傳播。由于尚未經(jīng)過同行評(píng)議，一些研究人員認(rèn)為，預(yù)印本論文中的結(jié)論未經(jīng)驗(yàn)證或可能并不可靠。然而，這些研究結(jié)論在正式發(fā)表前究竟發(fā)生了多大程度的改變，迄今為止僅在較小規(guī)模的研究群體中進(jìn)行了量化分析，且結(jié)果因領(lǐng)域和主題的不同而有所差異。

如今，發(fā)布預(yù)印本在科學(xué)界已十分普遍，但洛杉磯南加州大學(xué)的神經(jīng)科學(xué)家魯斯蘭·魯斯特表示，他經(jīng)常聽到同行科學(xué)家說這些預(yù)印本并不可靠。根據(jù)他的經(jīng)驗(yàn)，同行評(píng)審?fù)ǔ２粫?huì)對(duì)研究?jī)?nèi)容帶來重大修改。魯斯特希望驗(yàn)證這一情況是否也適用于不同的生物醫(yī)學(xué)研究領(lǐng)域。

近日，韋仕敦大學(xué)及美國(guó)南加州大學(xué)的研究人員在預(yù)印本平臺(tái)bioRxiv上發(fā)表了題為：Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models 的研究論文。

這項(xiàng)研究顯示，發(fā)表于預(yù)印本平臺(tái)的生物醫(yī)學(xué)研究論文，在經(jīng)過同行評(píng)議在期刊正式發(fā)表后，其核心結(jié)論基本保持不變。此外，相比直接通過同行評(píng)議在期刊正式發(fā)表的論文，那些先以預(yù)印本形式發(fā)表的論文被撤稿的概率僅為前者的一半。研究團(tuán)隊(duì)表示，這些發(fā)現(xiàn)表明，bioRxiv 預(yù)印本平臺(tái)是生物醫(yī)學(xué)信息可靠的早期來源。

在這項(xiàng)研究中，研究團(tuán)隊(duì)匯總了 2018-2025 年間所有能夠通過論文 DOI 標(biāo)識(shí)號(hào)匹配到后續(xù)通過同行評(píng)議正式發(fā)表的 bioRxiv 預(yù)印本論文，共獲得 72644 對(duì)預(yù)印本-發(fā)表論文。利用大語言模型（Claude Sonnet 4.6），研究團(tuán)隊(duì)將每對(duì)預(yù)印本-發(fā)表論文的摘要解析為一個(gè)主要結(jié)論和兩個(gè)次要結(jié)論，并對(duì)每對(duì)預(yù)印本-發(fā)表論文的內(nèi)容變化（無變化、輕微修改、重大修改）以及語氣傾向變化（更謹(jǐn)慎、更自信、無變化）進(jìn)行分類。

在驗(yàn)證子樣本中，該模型與兩位獨(dú)立領(lǐng)域?qū)＜业囊恢滦猿潭扰c專家彼此之間的一致性相當(dāng)（Cohen's kappa 值為 0.63-0.66）。論文摘要中主要結(jié)論保持不變的占 39.9%，輕微修訂的占 50.0%，而重大修改的僅占 10.2%。語氣傾向變化較為少見且不對(duì)稱，變得更加謹(jǐn)慎的是變得更加自信的兩倍（8.4% vs 4.2%）。該研究還顯示，經(jīng)過較長(zhǎng)時(shí)間同行評(píng)議才得以發(fā)表的論文，重大修改則更為頻繁（同行評(píng)議時(shí)間最慢的三分之一組別發(fā)生重大修改的比例為 14.1%，而最快組別則為 7.0%），且在整個(gè)研究期間呈下降趨勢(shì)（2019 年為 17.0%，2024 年為 5.7%）。在同一時(shí)期，從未作為預(yù)印本發(fā)布的生物醫(yī)學(xué)論文被撤稿的比例大約是曾作為預(yù)印本發(fā)布的論文的 2 倍。

研究團(tuán)隊(duì)表示，這些數(shù)據(jù)共同表明，從預(yù)印本到經(jīng)過同行評(píng)議正式發(fā)表的過程基本保留了大多數(shù)生物醫(yī)學(xué)論文摘要的核心結(jié)論，這說明預(yù)印本是可靠的生物醫(yī)學(xué)研究信息來源。

論文鏈接：

https://www.nature.com/articles/d41586-026-02167-3