IEEE TBME | 十年回顧：用于目標檢測的快速序列視覺呈現(xiàn)腦機范式研究現(xiàn)狀與趨勢

本研究由北京工業(yè)大學(xué)、北京機械設(shè)備研究所和北京科學(xué)技術(shù)研究院信息與人工智能技術(shù)研究所共同完成。這篇發(fā)表于IEEE Transactions on Biomedical Engineering（IEEE生物醫(yī)學(xué)工程匯刊）的綜述文章，系統(tǒng)回顧了2015至2024年間基于快速序列視覺呈現(xiàn)（RSVP）范式的腦機接口（BCI）在目標檢測領(lǐng)域的研究進展。文章創(chuàng)新性地提出了一個三維分類法，從目標類型、被試數(shù)量和模態(tài)形式三個維度全面梳理了該領(lǐng)域在公共數(shù)據(jù)集、范式編碼設(shè)計和信號解碼方法上取得的成果與挑戰(zhàn)，并指明了向多目標、多被試、多模態(tài)融合發(fā)展的未來趨勢。

01

論文概要

本研究由北京工業(yè)大學(xué)北京機械設(shè)備研究所、北京科學(xué)技術(shù)研究院信息與人工智能技術(shù)研究所等單位共同完成，該論文系統(tǒng)回顧了2015至2024年間RSVP-BCI領(lǐng)域的86篇文獻，從公共數(shù)據(jù)集、范式編碼設(shè)計和解碼方法三個維度梳理進展。論文將RSVP-BCI系統(tǒng)按目標類型（單目標/多目標）、被試數(shù)量（單被試/多被試）和模態(tài)形式（單模態(tài)/多模態(tài)）劃分為八種組合模式，并深入分析了各類模式的研究現(xiàn)狀。研究發(fā)現(xiàn)，現(xiàn)有工作主要集中于單目標-單被試-單模態(tài)及單目標-單被試-多模態(tài)類型，而多目標類型的探索仍較為匱乏。研究通過Scopus和Web of Science數(shù)據(jù)庫篩選文獻，最終納入86篇符合標準的論文進行分析。現(xiàn)有研究主要集中于單目標-單被試-單模態(tài)及單目標-單被試-多模態(tài)類型，而多目標類型的探索仍較為匱乏

02

研究背景

目標檢測是圖像處理領(lǐng)域的核心研究方向，計算機視覺方法雖在高速數(shù)據(jù)處理中廣泛應(yīng)用，但人類復(fù)雜的感知與認知能力仍無法被完全替代。針對弱信號、低質(zhì)量圖像或有限樣本等特定任務(wù)，需結(jié)合人腦推理與理解能力進行檢測。2006年，Gerson等人首次提出基于腦電圖（EEG）的快速序列視覺呈現(xiàn)腦機接口（RSVP-BCI）范式，通過呈現(xiàn)圖像序列誘發(fā)事件相關(guān)電位（ERP），尤其是P3家族成分的顯著振幅變化，實現(xiàn)目標圖像識別。RSVP-BCI系統(tǒng)在醫(yī)療、娛樂、軍事等領(lǐng)域具有廣泛應(yīng)用前景。近年來，隨著人工智能技術(shù)的發(fā)展，RSVP范式在數(shù)據(jù)采集、編碼設(shè)計及解碼算法方面取得重要突破。

圖1 RSVP-BCI系統(tǒng)的經(jīng)典框架

圖2 RSVP-BCI系統(tǒng)的類型

圖4 RSVP研究的文獻檢索策略(2015年1月至2024年10月)

03

研究結(jié)果分析

1. 公共數(shù)據(jù)集的發(fā)展

RSVP數(shù)據(jù)集因采集成本、版權(quán)和隱私問題長期稀缺。自2015年以來，已有7個完全公開的EEG數(shù)據(jù)集支持圖像目標檢測研究（見表1）。分析表明，69.77%的研究使用私有數(shù)據(jù)集，僅18.61%采用全公開數(shù)據(jù)集，半公開數(shù)據(jù)集占11.62%。2020年后，數(shù)據(jù)集可用性顯著提升，為算法比較提供了基礎(chǔ)。例如，Zheng等人發(fā)布的基準數(shù)據(jù)集包含多被試和多任務(wù)設(shè)計，推動了跨域研究。

表1. 完全公開的RSVP數(shù)據(jù)集概述

2. RSVP范式編碼設(shè)計

編碼范式是提升RSVP-BCI分類性能的核心。研究從圖像編碼模式（如材料類型、呈現(xiàn)順序、空間模式）和邊界刺激條件（如噪聲、疲勞度、圖像質(zhì)量）兩方面進行了深入分析。表2總結(jié)了八種RSVP-BCI類型的RSVP編碼范例。

表2.按目標、被試和模態(tài)類型分類的RSVP范式設(shè)計

2.1單目標-單被試-單模態(tài)編碼

2.1.1圖像編碼模式

圖像材料類型：在相同呈現(xiàn)速率下，自然圖像能誘發(fā)最高的腦響應(yīng)振幅，其次是人物面孔和字符，而數(shù)字誘發(fā)的腦響應(yīng)最低（可能因認知記憶數(shù)字空間排列的負荷所致）。

圖像演示順序：采用多流RSVP（雙流或三流），即同一圖像在不同時間點重復(fù)呈現(xiàn)，能增強對目標圖像的EEG響應(yīng)，但研究表明同一圖像呈現(xiàn)超過三次會顯著削弱EEG信號振幅，因此僅雙流或三流配置有效。

圖像空間模式：比較了中央、左/右、上/下等視覺空間呈現(xiàn)模式。結(jié)果發(fā)現(xiàn)中央視野的表現(xiàn)優(yōu)于周邊視野，且左側(cè)視野優(yōu)于右側(cè)視野。動態(tài)調(diào)整呈現(xiàn)方向（如運動RSVP范式）也能增強ERP振幅差異，提高分類準確率。

2.1.2邊界刺激條件

噪聲與疲勞：高噪聲水平和精神疲勞會顯著降低RSVP分類性能。優(yōu)化目標呈現(xiàn)頻率是減輕認知負荷的有效策略。

圖像質(zhì)量：圖像尺寸和清晰度至關(guān)重要，大尺寸刺激物的檢測準確率更高。在弱隱藏條件（如深色、弱目標、遮擋、偽裝）或低可見度環(huán)境（如夜間車輛檢測）下，P300振幅會減弱，分類性能下降。

圖3.(A)單目標、單被試、單模態(tài)(傳統(tǒng)模式)、(B)多目標、單被試、單模態(tài)、(C)-(F)單目標、單被試、多模態(tài)、(G)單目標、多被試、單模態(tài)、(H)單目標、多被試、多模態(tài)

2.2單目標-單被試-多模態(tài)編碼設(shè)計

多模態(tài)設(shè)計通過整合其他類型的數(shù)據(jù)或范式來提升系統(tǒng)性能和應(yīng)用范圍，主要包括以下四類：

多生理信號融合：如圖3(C)所示，將眼動、心電圖、脈搏等生理信號與EEG結(jié)合。眼動信號可追蹤目標空間位置，而瞳孔擴張、速度等變化能揭示注意力分布，這種多模態(tài)交互顯著提高了目標檢測的分類性能。挑戰(zhàn)在于不同信號的采樣頻率、時間延遲和數(shù)據(jù)格式需要對齊和綜合分析。

多范式融合（混合BCI）：將RSVP與其他BCI范式（如SSVEP、運動想象MI）結(jié)合。例如，結(jié)合SSVEP范式可通過刺激頻率確定目標在圖像中的位置；結(jié)合MI范式可用于識別與中風患者運動想象相關(guān)的生物標志物。挑戰(zhàn)在于混合BCI通常需要更多電極，可能影響系統(tǒng)穩(wěn)定性和用戶接受度。

多領(lǐng)域研究：主要關(guān)注跨時段、跨被試和跨設(shè)備的差異，目標是利用現(xiàn)有數(shù)據(jù)減少新實驗所需的校準時間。旨在尋找跨領(lǐng)域EEG信號中共同的生理模式，以實現(xiàn)校準減少或免校準。

多種媒體數(shù)據(jù)融合：如圖3(D)所示，融合圖像、視頻、聲音等信息與EEG信號。例如，先使用圖像分類器進行初篩，再結(jié)合RSVP范式進行檢測；或?qū)⒁曈X刺激與聽覺刺激結(jié)合，形成多媒體RSVP-BCI系統(tǒng)。這種融合增強了復(fù)雜場景下的目標檢測能力。

2.3多被試與多目標編碼設(shè)計

多被試協(xié)作：受“群體智能”啟發(fā)，通過融合多個被試對同一目標圖像的EEG響應(yīng)（如圖3(G)所示），提升系統(tǒng)的魯棒性和決策信心。即使一個被試受到干擾，另一被試的信號仍可被檢測到。數(shù)據(jù)級和決策級融合策略是常用方法。挑戰(zhàn)在于如何避免簡單平均融合引入的冗余噪聲，以及如何依據(jù)個體差異優(yōu)化協(xié)作策略。

多目標范式：現(xiàn)實應(yīng)用常需區(qū)分多個目標類型（如敵我識別），促使RSVP從二元分類向多類型目標發(fā)展（如圖3(B)所示）。2021-2022年世界機器人大賽的ERP競賽中首次出現(xiàn)了雙目標RSVP范式驗證。研究表明，不同圖像目標（如自然圖像與遙感圖像）會誘發(fā)不同的振幅響應(yīng)。然而，多目標間的ERP差異微弱，且引入新目標類型會導(dǎo)致更復(fù)雜的數(shù)據(jù)分布和目標類型間的信號干擾，因此區(qū)分能力仍受限。將不同目標類型隔離在獨立的視覺通道上是可能的改進方向。

3. RSVP-BCI的解碼方法

隨著人工智能技術(shù)的進步，RSVP-BCI的解碼方法經(jīng)歷了從傳統(tǒng)機器學(xué)習(xí)到深度學(xué)習(xí)的演變，性能顯著提升。核心包含信號處理（如濾波、解決類別不平衡）和信號解碼（分類算法）兩大環(huán)節(jié)。以下根據(jù)不同系統(tǒng)類型進行總結(jié)。

3.1單目標-單被試-單模態(tài)解碼方法

這是RSVP目標檢測最成熟的研究領(lǐng)域，解碼方法涵蓋了傳統(tǒng)的信號處理技術(shù)和先進的深度學(xué)習(xí)模型。

3.1.1信號處理

使用帶通濾波、xDAWN、TRCA等濾波方法抑制噪聲并提取有效成分。通道選擇是一種特殊濾波，可優(yōu)化腦區(qū)電極布局。

RSVP中目標試次遠少于非目標試次，導(dǎo)致嚴重的數(shù)據(jù)類別不平衡。采用數(shù)據(jù)增強（如GAN生成人工EEG樣本）或欠采樣、解耦學(xué)習(xí)等算法層面策略解決不平衡問題。

表3.解決RSVP解碼中類別失衡的方法

3.1.2信號解碼

表4.深度學(xué)習(xí)和傳統(tǒng)機器學(xué)習(xí)方法在RSVP解碼中的對比

傳統(tǒng)機器學(xué)習(xí)包括時域方法（SVM, DCPM）、頻域方法（如濾波器組）和時空特征分析（HDCA, XGB-DIM）。

表5.基于機器學(xué)習(xí)的RSVP-BCI分類方法

深度學(xué)習(xí)因其處理EEG非平穩(wěn)性和復(fù)雜性的強大能力而成為主流。EEGNet是經(jīng)典基線模型。最新進展引入注意力機制（如PSAEEGNet）和圖卷積網(wǎng)絡(luò)（GCN）以更好地提取特征和表征腦區(qū)協(xié)作。深度學(xué)習(xí)性能普遍優(yōu)于傳統(tǒng)方法。

表6.基于深度學(xué)習(xí)的RSVP-BCI分類方法

3.2單目標-單被試-多模態(tài)解碼方法

旨在通過融合多源信息來提升算法性能和穩(wěn)定性。

多生理數(shù)據(jù)：設(shè)計特定網(wǎng)絡(luò)（如跨模態(tài)引導(dǎo)網(wǎng)絡(luò)）動態(tài)融合EEG與眼動等信號。

多范式：采用不同方法處理不同范式信號（如用CCA處理SSVEP，用分類器處理RSVP），整合時頻域數(shù)據(jù)。

多領(lǐng)域：研究跨被試、跨設(shè)備、跨時間的適應(yīng)問題。校準減少方法主要通過遷移學(xué)習(xí)（如微調(diào)、跨尺度變換器）和數(shù)據(jù)對齊（如在黎曼流形上使用最大均值差異MMD損失對齊分布）來實現(xiàn)。免校準方法包括池化（如用大量被試數(shù)據(jù)訓(xùn)練一個通用模型）、集成算法和元學(xué)習(xí)等。

多媒體數(shù)據(jù)：融合圖像/視頻與EEG，分為串行處理（計算機初篩+人腦檢測）和并行處理（同步檢測+決策融合）。

表7.各種RSVP通道類型的優(yōu)缺點

3.3多被試與多目標解碼

多被試解碼：通過信號融合與決策融合策略提升協(xié)作BCI（cBCI）性能。采用多任務(wù)協(xié)作網(wǎng)絡(luò)、空時相關(guān)（STC）等方法。未來需更好地利用個體差異。

多目標解碼：是新興方向。采用如CRE-TSCAE等模型，但核心挑戰(zhàn)在于目標間EEG信號區(qū)分度弱，區(qū)分能力有限，且缺乏針對性評估指標。

04

結(jié)論與啟發(fā)展望

本研究系統(tǒng)總結(jié)了RSVP-BCI在過去十年的進展，強調(diào)其在增強人機交互和視覺能力方面的潛力。如圖5所示，未來研究應(yīng)優(yōu)先關(guān)注以下方向：

弱目標檢測：針對低可見度環(huán)境（如夜間、云霧遮擋）中的小目標，開發(fā)新型視覺刺激范式（如AVEP、ESSVP）和專用解碼算法。

視頻目標檢測：用動態(tài)視頻替代靜態(tài)圖像，更貼合自然視覺處理，但需解決時間抖動和目標延遲問題。

高級視覺解釋：結(jié)合EEG信號重建視覺內(nèi)容，探索多對象分類的神經(jīng)機制，但EEG的空間分辨率限制仍是主要挑戰(zhàn)。

圖5.RSVP范例未來的幾個發(fā)展方向。

(A)弱目標檢測；(B)視頻目標檢測；(C)高級視覺判讀

局限性：

1. 當前數(shù)據(jù)集被試年齡集中（18-33歲），缺乏跨年齡組研究；

2. 多目標區(qū)分算法尚未成熟；

3. 實際應(yīng)用中的環(huán)境噪聲和設(shè)備差異亟待解決。

通過突破這些瓶頸，RSVP-BCI有望在醫(yī)療診斷、智能監(jiān)控和腦機交互游戲等領(lǐng)域?qū)崿F(xiàn)更廣泛的應(yīng)用。

05

結(jié)論

本研究系統(tǒng)梳理了2015年以來RSVP-BCI范式在目標檢測領(lǐng)域的應(yīng)用文獻。同時從多個維度對公開數(shù)據(jù)集、編碼設(shè)計及解碼算法進行了綜合分析。本研究精選的86篇論文展現(xiàn)了RSVP范式的發(fā)展脈絡(luò)。當前研究重點聚焦于公共數(shù)據(jù)集規(guī)模的擴展、刺激界面的易用性提升以及解碼算法的實用性優(yōu)化。原本小眾的RSVP-BCI范式，現(xiàn)已根據(jù)受試者數(shù)量、目標類型及模態(tài)特征被劃分為八種組合模式。現(xiàn)有研究多集中于單一目標、單受試者、單模態(tài)或多模態(tài)組合模式，而涉及多目標的研究仍屬少數(shù)。未來研究可著力提升RSVP-BCI系統(tǒng)的可及性和適用性，重點優(yōu)化用戶體驗：縮短訓(xùn)練周期、確保微小動作下的系統(tǒng)運行、實現(xiàn)多類型目標識別，最終目標是提升系統(tǒng)在真實場景中的圖像判讀性能。

論文作者為北京工業(yè)大學(xué)計算機學(xué)院講師許萌為第一作者，北京工業(yè)大學(xué)王丹教授和北京機械設(shè)備研究所陳遠方研究員為通訊作者。該論文受到國家自然科學(xué)基金聯(lián)合基金No. U2441253的支持。

僅用于學(xué)術(shù)分享，若侵權(quán)請留言，即時刪侵！

歡迎加入腦機接口AI星球

獲取更多腦機接口+AI等領(lǐng)域的知識和資源。

歡迎來稿

1.歡迎來稿。投稿咨詢，請聯(lián)系微信：RoseBCI

點擊投稿：

2.加入社區(qū)成為兼職創(chuàng)作者，請聯(lián)系微信：RoseBCI

一鍵三連「分享」、「點贊」和「在看」

不錯過每一條腦機前沿進展