脑电图(EEG)的预处理在不同研究之间差异很大,但其对分类性能的影响仍知之甚少。为弥补这一差距,我们分析了从公开的ERP CORE数据集中抽取的40名参与者的七个实验。我们系统地改变了关键的预处理步骤,如滤波、参考、基线区间、去趋势以及多个伪影校正步骤,所有这些都在MNE-Python中实现。然后,我们使用神经网络(EEGNet)或时间分辨的逻辑回归进行逐试次的二元分类(即解码)。我们的研究结果表明,预处理的选择显著影响了解码性能。所有的伪影校正步骤都降低了跨实验和模型的解码性能,而较高的高通滤波器截止频率则一致地提高了解码性能。对于EEGNet,基线校正进一步提高了解码性能;对于时间分辨分类器,线性去趋势和较低的低通滤波器截止频率提高了解码性能。其他预处理选择的影响则对每个实验或事件相关电位成分具有特异性。当前的结果强调了为基于EEG的解码仔细选择预处理步骤的重要性。虽然未校正的伪影可能会提高解码性能,但这以牺牲可解释性和模型有效性为代价,因为模型可能利用的是结构化的噪声而非神经信号。本文发表在Communications Biology杂志。
引言
将分类模型应用于神经数据——即所谓的解码——已成为神经科学,包括脑电图(EEG)研究中的一项标准技术。与单变量方法不同,解码利用了数据的多维性,促进了对基础和转化研究问题的探索,或脑机接口(BCI)的部署。在基础研究中,解码可以作为一种工具来提高灵敏度,缩减电极电压所张成的多维空间以推断神经表征空间,并量化认知状态、知觉特征或任务条件如何随时间和空间反映在大脑活动模式中。转化研究使用解码来更好地理解个体风险或疾病模式,或介导治疗与临床结果之间的关系。另一方面,BCI研究旨在最大化解码性能,允许用户或患者控制机器或与环境进行交流。
尽管最大化解码性能可能不总是一项研究的主要目标,但在已知会影响数据质量的环境中,如发育或患者研究中常见的运动伪影,它在某种程度上是重要的。然而,提高可解码性的步骤绝不能牺牲模型的可解释性和实用性。最大化可解码性可以在多个层面实现,例如实验设计、数据采集、数据预处理或解码框架的选择。在本研究中,我们的目标是说明应用于源自常见EEG实验范式数据的某些预处理选择如何增加或减少解码性能。
这个问题可以通过几种方式来解决。例如,多团队方法可以检验多个研究人员在处理一组固定研究问题时的分析策略。因此,每个团队贡献一个分析流程。另一方面,使用多重宇宙方法,单个团队贡献许多可能的流程。与多团队方法从社区中抽样一个受过教育的个体预处理流程子集(即分叉路径)不同,多重宇宙方法允许通过系统地改变每个预定义的预处理步骤,对所有可能的分叉路径进行网格搜索。多重宇宙方法不限于预处理流程。它可以应用于研究中的任何分析步骤,例如统计建模或解码器架构的选择。
与先前的研究类似,我们为EEG预处理构建了一个多重宇宙(图1)。我们系统地改变了使用独立成分分析(ICA)进行的眼动和肌肉伪影校正、低通滤波器(LPF)、高通滤波器(HPF)、参考、去趋势、基线区间以及使用autoreject进行伪影剔除。与先前的多重宇宙研究不同,我们没有检验预处理对事件相关电位(ERP)振幅的影响,而是对解码性能的影响。为此,我们分析了几个公开可用的EEG实验,使用了来自两个框架的分类器。首先,我们使用了一个基于神经网络的分类器(EEGNet),它为每个完整的试次提取时间和空间特征来预测实验条件,即刺激或反应。其次,我们使用了时间分辨的逻辑回归分类器,它独立地使用每个时间点的电极信号来预测实验条件。
图1:预处理选择的多重宇宙
通过系统地改变每个预处理步骤,原始数据被复制了2592次,以在独特的分叉路径中进行预处理。星号表示用于某些分析的示例分叉路径的处理选择,其中N170实验被重参考到平均参考,而所有其他实验被重参考到P9/P10。
我们的结果展示了预处理步骤如何影响解码性能。窄带滤波器提高了解码性能,尤其是在时间分辨框架中。相反,伪影校正步骤通常会降低解码性能。我们讨论了在解码分析方面EEG预处理的前景和陷阱。
结果
诱发反应
我们使用一个示例分叉路径,即一个特定的预处理流程(图1),为ERP CORE数据集的每个实验计算了总平均诱发反应(图2,表1)。成分的时间进程与原始研究的结果非常接近(参见参考文献18及其图2),尽管在预处理、纳入所有参与者以及在整个预处理过程中缺乏手动干预方面存在差异。不同实验的成分在振幅上有所不同。错误相关负波(ERN)和N400显示出最大的振幅,而偏侧化准备电位(LRP)、失匹配负波(MMN)和N2pc则显示出相当小的振幅。此外,成分的形状也不同,N400和P3覆盖了较长的时间间隔,而例如N2pc则仅覆盖了很短的时间间隔。
图2:每个实验的总平均诱发反应。
使用了一个示例分叉路径(图1)的数据。虚线和点线的时间进程分别代表对每个刺激类别的平均反应。实线的时间进程代表相应类别之间的差异,展示了各自的ERP。时间序列源自单个通道,或两个通道(在这种情况下计算了平均值)。通道位置由每个图右侧的小图形图例表示。点状垂直线表示反应开始(ERN, LRP),虚线垂直线表示刺激开始(其他实验)。请注意,每个实验的y轴刻度不同。
表1. ERP CORE数据集的属性
实验以其主要(事件相关电位)成分命名,并使用各自的范式进行分析。对于每个实验,都显示了用于计算和可视化ERP的条件和通道,其中第二个条件从第一个条件中减去。在解码中,LRP和N2pc实验的试次被分配到不同的条件。
解码性能
使用基于神经网络的方法(EEGNet)和使用逻辑回归的时间分辨方法,对每个分叉路径分别进行了解码。对于EEGNet,我们量化了每个分叉路径的(平衡的)测试准确率——在参与者间平均——作为解码性能的度量(图3A)。对于时间分辨解码,我们量化了参与者间但在一个分叉路径内的T-sum作为解码性能的度量(图3B)。观察到不同实验的解码性能不同,其中ERN中的条件最容易解码,中位准确率约为0.85,其次是LRP,然后是所有其他实验,最后是MMN,中位准确率约为0.57。解码性能的排名在基于神经网络和时间分辨的方法中是相似的。当使用一个时间窗内的平均解码准确率而不是T-sum来量化时间分辨解码性能时(图S1),实验的排名保持相似。
图3:解码性能概述
A. EEGNet:(平衡的)解码准确率(y轴)针对每个分叉路径绘制,在参与者间平均,并按实验(x轴)分开。
B. 时间分辨:T-sum(y轴)针对每个分叉路径和所有参与者绘制,并按实验(x轴)分开。三角形表示未经预处理的分叉路径。方框表示四分位距(第25至第75百分位数),中位数由实心黑线表示。晶须延伸到距下、上四分位数1.5倍四分位距范围内的最极端值。
单个电极上的高ERP振幅并不一定与整个头皮上的高解码性能相关。例如,LRP在选定电极上显示出相当低的振幅(图2),而解码性能则相当高(图3)。尽管这两个测量值不能直接比较,但一个电极上ERP的高振幅和长持续时间仍然可以促进所有电极的解码性能,因为ERP所基于的数据也被纳入了分类器,特别是如果高振幅是由于试次间变异性低造成的。此外,排名不仅取决于成分的大小和范围,还取决于实验设计的特征,例如刺激重复的次数。请注意,T-sum值取决于数据采样率,该采样率在不同实验间保持不变。因此,确切的值是相当任意的。
我们标记了没有任何预处理的分叉路径,即没有伪影校正、没有滤波、没有基线校正或去趋势,并且使用了一个通用的在线参考Cz(图3),同时保持了相应解码器实现的数据归一化(参见方法)。对于EEGNet,没有任何预处理的分叉路径表现远高于平均水平,表明其对特征的形状具有高度的灵活性。对于时间分辨解码,未经处理的数据表现很差,表明至少需要最基本的预处理才能进行解码。
图4展示了对于一个单一分叉路径(图1),所有七个实验的时间分辨解码性能。解码时间序列揭示了大的、显著的聚类,通常跨越超过600毫秒的时间窗。峰值解码准确率大约在0.55(MMN)和0.7(ERN)之间。显著的解码聚类倾向于比选定通道上的ERP(图2)跨越更长的时间间隔。请注意,与聚类深度测试相比,使用所执行的聚类质量测试,确切的聚类起始和结束点是不可解释的。
图4:一个分叉路径的时间分辨解码准确率
(平衡的)解码准确率在y轴上针对每个时间点(x-轴)进行说明。水平黑线代表机遇水平。每个实验使用了一个示例分叉路径(图1)。解码在每个参与者内部进行,但解码时间序列在参与者间进行了平均。不同的实验在垂直面板中分开。点状垂直线表示反应开始(ERN, LRP),虚线垂直线表示刺激开始(其余实验)。对每个实验进行了p < 0.05的置换聚类质量测试(阴影区域)。
预处理选择的影响
对于每个实验,我们分别构建了使用EEGNet解码准确率的线性混合模型(LMMs)或使用来自时间分辨解码的T-sums的线性模型(LMs),将解码性能描述为所有预处理步骤的函数。每个解码框架和实验拟合一个模型,从而产生七个独立的LMMs(EEGNet)和七个独立的LMs(时间分辨)。在每个模型中,我们然后估计了每个预处理步骤的边际均值,即给定步骤的每个选择对解码性能的影响,边际化了所有其他步骤。图5说明了所有实验、两种解码模型类型以及每个预处理步骤所有可能变化的主效应的边际均值。预处理选择对解码性能的影响——以与边际均值的百分比偏差表示——在时间分辨分析中比在EEGNet分析中更大。这部分是由于部署的T-sum指标以及时间分辨分析是跨参与者进行的事实。有关使用随时间变化的平均准确率和用于时间分辨解码的LMMs的结果,请参见图S2。
图5:预处理步骤对解码性能的影响
每个图块内描绘了与解码准确率(EEGNet, A)或T-sum(时间分辨, B)的边际均值的百分比偏差。每个预处理步骤(水平面板)的每个水平(x轴)的边际均值被归一化到相应实验(垂直面板)的均值。因此,每个图块显示了与该均值相关的百分比差异。只有F检验显著(p < 0.05)的步骤才被着色。A和B中的色标不同。
Ocular:眼动伪影校正;muscle:肌肉伪影校正;ICA:独立成分分析;low-pass:低通滤波器(赫兹);high-pass:高通滤波器(赫兹);baseline:基线区间(毫秒);autoreject版本:插值(interp)或剔除(reject)受伪影污染的试次。
大多数处理步骤的影响在不同实验中都遵循相同的方向(图5)。例如,在大多数实验和解码框架中,使用诸如ICA或autoreject包之类的伪影校正步骤会降低解码性能。此外,在所有实验和解码框架中,高HPF(高通滤波器)产生了最佳的解码性能。在时间分辨框架中,低LPF进一步提高了解码性能,而在EEGNet框架中则没有观察到这种趋势。最大化性能的参考选择在不同实验和模型类型之间有所不同,但与其他预处理步骤相比,其影响相当微弱。线性去趋势对大多数实验和解码框架的解码性能有相当积极的影响。此外,在大多数实验中,较长的基线校正时间窗对解码性能是有益的。表S1和S2说明了所有预处理步骤、实验和模型类型的综合F检验结果。此外,表S3和S4说明了主效应因子水平之间的显著成对事后检验。
出现了两个特性,尤其是在EEGNet中表现得尤为明显(图5A)。首先,在N2pc实验中,去除眼动伪影与解码性能呈强烈的负相关。在该实验中,由于参与者可能会不自主地向目标的视觉半野进行扫视,并且解码的是目标位置,因此预期会有眼动(表1)。因此,眼动伪影预计会与类别标签系统地相关,从而对解码器具有预测性。因此,去除这些伪影降低了解码性能。其次,去除肌肉伪影与解码性能呈负相关,尤其是在LRP实验中。在该实验中,解码的是左手和右手的按键(表1),因此,预计两种情况下会有系统性不同的肌肉伪影。这些伪影具有预测性,因此去除它们会降低解码性能。
此外,我们分析了与示例分叉路径(图1)相比,一次只改变一个预处理选项对解码性能的影响。图S3说明,对于大多数实验,省略伪影校正步骤(ICAs, autoreject)会提高解码性能。同样,在时间分辨解码中,6赫兹的LPFs提高了解码性能。对于其他预处理步骤,与参考分叉路径相比的变化对每个实验有不同的后果。该比较仅提供了关于在参考分叉路径中替换一个(但不是更多)预处理步骤如何影响解码性能的见解,因此高度依赖于参考分叉路径,而参考分叉路径在不同研究人员之间差异很大。为了便于简单比较各个预处理流程及其对解码性能的影响,我们在https://reamlit.app上部署了一个在线仪表板。
我们根据参与者间的平均解码性能,将所有分叉路径从最佳(#1)到最差(#2592)进行了排序,分别针对每个解码框架和实验。图S4和S5说明了性能排序的分叉路径的各个预处理选择,并提供了图3数据点的更多细节。结果表明,在许多用EEGNet分析的实验中,解码性能最高的分叉路径不包括肌肉伪影校正。特别是在LRP中,这种效应通过表明所有使用肌肉伪影校正的分叉路径排名较低,解释了图3中看到的双峰分布。此外,对于EEGNet,包括autoreject的分叉路径显示出较低的解码性能。对于N2pc,解码性能最高的分叉路径不包括眼动伪影校正。对于时间分辨解码,在大多数实验中观察到去趋势和基线校正对解码性能有积极影响。
预处理选择之间的交互作用
我们还分析了预处理步骤之间的双向交互作用。图6以EEGNet框架内N170实验为例,说明了相关的交互作用。由于实验和解码框架的组合数量相当可观,我们在补充材料中展示了其余的交互作用结果(图S6-S18)。
图6:N170实验和EEGNet解码中预处理步骤对解码性能的交互作用
水平和垂直面板说明了不同的预处理步骤。各个预处理选择在x轴上说明并用颜色编码。对角线上的颜色图例指代每个水平面板。(平衡的)解码准确率显示在y轴上。星号表示显著性(’‘p < 0.05; ‘‘p < 0.01; ‘‘p < 0.001)。Ocular:眼动伪影校正;muscle:肌肉伪影校正;ICA:独立成分分析;low-pass:低通滤波器(赫兹);high-pass:高通滤波器(赫兹);baseline:基线区间(毫秒);autoreject版本:插值(interp)或剔除(reject)受伪影污染的试次。
可以观察到HPF(高通滤波器)和去趋势之间存在强烈的交互作用(图6)。在许多实验中,应用线性去趋势使得HPF的选择变得不那么重要,即中和了关于HPF截止频率的不利选择(表S1和S2,图S6-S18)。同样,对于N170和其他实验,既不应用HPF也不进行基线校正的组合对解码性能有负面影响。
当使用拒绝版本的autoreject时,可以观察到几个效应,在该版本中,受噪声污染的试次被丢弃而不是被插值(参见方法)。当使用autoreject,但省略了HPF、线性去趋势或基线校正时,解码性能较低(图6,S4和S5)。据推测,当这些步骤均未应用时,可能存在的高电极电压导致了许多试次的拒绝,从而可用于模型训练的试次更少。

在时间分辨解码中检测到两个显著的交互作用。首先,去趋势和基线校正之间存在交互作用,当避免基线校正时,去趋势变得至关重要(图S12-S18)。其次,尽管模型中未包含更高阶的交互作用,但既不包含基线校正、去趋势,也不包含HPF的分叉路径显示出最低的解码性能(图S4和S5)。表S1和S2以及相应的图6和S6-S18说明了其他实验和解码框架的所有交互效应。一些交互作用在不同实验中是常见的,而另一些则只能在单个实验中观察到。
时间分辨解码中的显著聚类
每个分叉路径和实验的解码时间序列也分别进行了可视化,并根据总T-sum进行排序。图S19说明了每个时间点的解码准确率,这些时间点落在一个显著的聚类内。峰值解码准确率主要在一个相似的时间窗内,并且振幅相似,与分叉路径无关。在大多数实验中,对于大约90%排名最高的分叉路径,显著聚类的范围基本保持相似(图S19)。对于排名最低的10%的分叉路径,显著的时间窗变窄或完全消失。大多数分叉路径揭示了条件被显著解码的时间窗。
一些解码时间序列,特别是那些对应于排名较高的分叉路径的时间序列,显示出延伸到基线时间窗的显著聚类,从而导致基线伪影。虽然在每个实验的所有分叉路径中都预期会有一定比例的假阳性,但一些实验表现出更高数量的虚假可解码性,延伸到基线期间。请注意,三分之一的分叉路径没有使用基线校正(图1)。
我们比较了有和没有基线伪影的分叉路径,并仔细审查了这些分叉路径的独特预处理步骤。因此,我们将基线伪影定义为延伸到基线期间的显著聚类(表S5)。图S20说明了在相应实验中,包含特定版本预处理步骤的多少分叉路径导致了基线伪影。结果表明,具有大ERP成分的实验(见图2),如ERN、N400和P3,更有可能显示基线伪影。对于大多数实验,线性去趋势增加了基线伪影的可能性(图S20)。低LPF(6赫兹)、省略基线校正,以及在某些情况下高HPF(0.5赫兹),增加了基线伪影的可能性(图S20)。伪影剔除步骤倾向于在大多数实验中降低基线伪影的概率(图S20),突显了伪影剔除在使解码结果基于神经信号而非生理伪影方面的重要性。基线伪影的一个可能贡献者是本研究中使用的非因果滤波器,它允许信号影响更早的时间点。
参与者的影响
为了展示EEGNet解码性能在不同分叉路径上的变异性(图3A),我们对参与者进行了平均,以与图3B保持一致,因为那里呈现的T-sum是跨参与者计算的。如果不进行平均,准确率的变异性会显著增加,突显了与分叉路径的影响相比,参与者对解码准确率的巨大影响(图S21)。图3中每个实验解码性能的剩余变异可归因于分叉路径的选择。
我们进一步分析了解码性能是否与参与者的人口统计学特征相关,但根据LMMs的随机截距,未发现年龄、性别或利手与参与者特异性解码性能之间存在关联(图S22和S23,补充文本——LMMs中参与者的影响)。此外,我们对跨实验的参与者特异性随机截距进行了相关性分析,但仅在EEGNet框架中LRP与N170之间发现了显著的线性相关(r = 0.52, p = 0.011,经错误发现率校正)(图S24和S25)。虽然在单个实验中,参与者对解码性能的影响是巨大的,但没有一致的证据表明同一个参与者在多个范式中都取得了更高的解码性能。这与先前的一项研究非常吻合,在该研究中,使用了不同的神经网络解码器和单一分叉路径对完全相同的数据集进行了研究。
讨论
在这项研究中,我们研究了EEG预处理步骤对两种不同解码框架中解码性能的影响。对于基于神经网络的框架(EEGNet),我们比较了拟合于不同预处理时段的模型的测试准确率。对于时间分辨框架,我们对不同预处理时段的跨参与者解码时间序列计算了基于聚类的置换统计,并以显著聚类的T-sum量化解码性能。我们分别分析了七个不同的实验,并将分类器性能建模为所有预处理步骤的函数。
结果表明,用大多数分叉路径进行超机遇水平的解码是可行的。对于EEGNet,高HPF(高通滤波器)截止频率和基线校正促进了解码。对于时间分辨分类器,线性去趋势、低LPF截止频率和高HPF截止频率提高了解码性能。所有的伪影校正步骤都降低了所有实验和解码框架的解码性能,这可能是通过去除与实验条件协变的伪影,但也可能通过去除部分感兴趣的神经信号。因此,仅关注解码性能不足以决定预处理流程,而需要结合神经信号与噪声进行进一步的研究。我们还发现了对解码性能有显著负面影响的处理步骤组合。
伪影虚假地增强了解码性能
大多数伪影校正导致解码性能下降。这种下降在伪影预期会与刺激类别协变的实验中尤为明显,例如视觉搜索任务中的眼动伪影和按键任务中的肌肉伪影。尽管性能下降,但当模型特征需要进行空间或时间解释时,例如通过Shapley值或可视化权重向量的方式,去除伪影应是值得关注的。然而,去除伪影也可能去除感兴趣的神经信号,特别是在本研究中使用的基于阈值的ICA。未来的研究应进一步将伪影校正步骤的影响分解为被去除伪影的独特贡献与被无意中去除的神经信号的贡献。在一些BCI用例中,信号的来源可能不那么重要,分析师甚至可以避免去除具有预测性的伪影。
与经典的ERP分析相比,解码同时使用所有通道和时间点来推断不同条件之间的差异。这可能导致这样一种情况,即某些伪影虽然对感兴趣区域的ERP分析问题不大,但可能会驱动全脑解码,从而无意中暗示了与刺激相关的差异。BCI研究也表明,当应用各种伪影校正方法时,解码性能会下降。
窄带滤波产生高性能
滤波器截止频率在解码性能中也扮演着重要角色。在所有使用时间分辨解码的实验中,使用高HPF和低LPF截止频率滤波的数据的模型排名最高。这一发现支持使用低LPF截止频率来排除alpha活动,alpha活动是试次间变异性的一个重要来源。然而,低LPF截止频率可能会夸大ERP的时间窗,从而妨碍对其时间的解释。同样的道理也应适用于解码准确率的时间解释。另一方面,LPF可以部分地减轻缺失的肌肉伪影剔除步骤,因为肌肉伪影主要分布在15赫兹以上的频谱中。
高HPF截止频率在两种解码框架中都提高了解码性能。HPF对于平整每个时段的信号非常重要,特别是在未进行基线校正时。然而,HPF截止频率高于大约0.3赫兹也伴随着代价,会在ERP前后引入极性相反的伪影,这反过来又损害了解码性能的时间解释。设计更特定的滤波器可以减少此类伪影,包括本研究中看到的一些基线伪影。特别是,使用非因果滤波器允许信号泄漏到前面的时间点,增加了基线伪影的可能性。线性去趋势也与解码性能呈正相关,尤其对于时间分辨解码。在分类器训练之前,对每个时间点和通道的电压值在试次间进行了标准化,用于时间分辨解码。某些电极和试次中的随机漂移可能会产生相对较大的值——尤其是在时段边缘——掩盖了位于相同电极和时间点的其他时段中可能具有预测性的小得多的值。只有少数其他解码研究也从时段中移除了这些剩余的漂移(例如,参考文献37)。
预处理步骤的有害组合
与先前的研究不同,我们也允许预处理选择之间存在交互作用。在不同实验和解码框架中最常见的交互作用是在平整一个时段信号的预处理步骤之间发现的。这些步骤包括HPF、去趋势和基线校正。组合这些步骤的不同版本,如果不能将信号平整到相似的范围,即没有HPF、没有去趋势和没有基线校正,则倾向于降低解码准确率。通过这些预处理步骤不平整信号也导致在使用autoreject时出现高的试次剔除率。
此外,在许多分叉路径中观察到基线期间的虚假可解码性,这得益于去趋势、低LPF、高HPF或避免基线校正。另一项研究也通过高HPF、基线校正和避免稳健去趋势的组合,证明了虚假的基线可解码性。这种效应也可能存在于EEGNet方法中,因为基线也包含在分类器的训练中。因此,我们建议在时间分辨框架中也对基线进行解码——并可视化基线可解码性——以便检测此类伪影。如果在时间分辨框架中不对基线期间进行解码,虚假的基线可解码性以及可能与之相关的待解释解码时间序列窗口的修改可能会被忽略。然而,伪影校正步骤降低了基线伪影的可能性。
‘最优’预处理对于ERP和解码是不同的
先前使用类似多重宇宙的预处理的研究主要关注于相对于ERP特性(如振幅)的’最优’预处理。由于无法直接区分神经信号与与实验条件协变的伪影,因此仅关注最大化振幅(或类似指标)与仅关注解码性能(准确率或T-sum)具有相似的局限性。来自多重宇宙研究的结果需要结合对信号来源、单个处理步骤的一般副作用以及对所研究过程的领域知识的考虑来丰富。然而,对单一结果指标进行多重宇宙分析是更好地理解预处理影响的一个有益步骤,并且除其他可能性外,还促进了不同研究结果的比较。以下是预处理对ERP相关测量与解码性能的影响有多么不同的比较:
例如,Delorme的一项研究比较了预处理流程及其对三种范式(Go/No-go任务、面部感知任务和带按键的主动听觉oddball任务)中两种条件之间显著通道数量的影响。他们的最优流程取决于用于预处理的软件,但主要包括一个HPF和坏通道插值。其他步骤要么减少要么增加了显著通道的数量,要么没有显示任何效果。虽然他们的研究测试了更广泛的伪影校正技术,但对所分析实验中显著通道数量的不同方向效应使得比较更具挑战性。在我们的实验中,伪影校正反而降低了解码性能。然而,两项研究在HPF的使用上是一致的,因为在所有数据集中,更高的HPF(高通滤波器)都增加了显著通道的数量或解码性能。
Clayson等人的一项研究采用了一个多重宇宙来比较预处理对两个成分(ERN和错误相关正波Pe)的ERP振幅的影响,使用的是Eriksen侧抑制任务。对于ERN,他们的最优处理包括一个15赫兹的LPF和使用ICA的眼动伪影校正。然而,对于Pe,他们最优的ERP振幅处理包括一个30赫兹的LPF、一个0.1赫兹的HPF和基于回归的眼动伪影校正。我们在ERN实验中解码的时间窗跨越了这两个成分的时间窗。然而,我们定义的是一个刺激锁定而非反应锁定的基线窗。在我们的搜索空间中,对于时间分辨解码,最优的LPF截止频率是6赫兹。相比之下,对于基于神经网络的框架,所有更高的LPF截止频率(≥ 20赫兹)都同样适合解码。我们发现在我们的两种解码框架中,最优的HPF截止频率都在0.5赫兹左右,而Clayson等人没有测试超过0.1赫兹的。眼动伪影校正在解码中起的作用较小,但在我们的数据中,避免这一步骤仍然导致了更高的解码性能。虽然他们发现与平均参考相比,乳突参考对ERN振幅是有益的,但我们没有发现显著的改善(表S3)。然而,我们发现Cz参考提高了解码性能(图5,表S3)。因为Cz靠近FCz,而FCz本身显示出高的ERN振幅(图2,表1),从其余电极中减去Cz很可能将这个信号注入到其他通道中,这再次限制了模型权重的潜在下游可解释性。
Šoškić等人分析了预处理对N400实验中效应大小的影响。最大的效应是在0.01赫兹到0.1赫兹之间的HPF(与1赫兹相比)和一个乳突参考(与平均参考相比)下获得的。我们在N400实验中,对于基于神经网络和时间分辨的解码,都发现了相同的最优参考。然而,我们发现,在0.1赫兹到0.5赫兹之间更高的HPF带来了更高的准确率。
多重宇宙见解的普适性
一些观察到的预处理对解码性能的影响在不同实验间是可推广的,例如LPF截止频率(时间分辨)、基线校正(EEGNet)或去趋势(时间分辨)。一些效应甚至在不同解码框架间也是可推广的,例如HPF截止频率或由伪影校正步骤引起的解码准确率下降。
未来仍需证明这些结果对不同解码框架的普适性。我们刻意使用了两种不同的解码框架,以展示在使用多重宇宙分析时,预处理影响的相似性和差异性。然而,即使改变解码模型——例如,在时间分辨框架中改为支持向量机,或使用不同于EEGNet的神经网络——也可能改变多重宇宙的结果。解码器超参数优化也可能改变最优的预处理选择,但这个主题超出了当前研究的范围。相反,我们使用了默认的超参数。解码器超参数优化可以被添加到多重宇宙中,解码模型本身的选择也可以。如果经过交叉验证并应用于独立的测试数据,甚至可以将用于预处理的多重宇宙视为一种类似网格搜索的超参数优化。
本研究中使用的实验是为ERP相关的研究问题量身定制的。ERP在定义的通道和时间窗中有显著的电压差异,这很可能在解码中也变得具有预测性。此外,如果例如实验中每个刺激类别的重复次数较少,那么分叉路径的影响可能会更大。这种效应先前已被证明,说明当分析的试次数量较少时,伪影校正步骤的影响更大。对于这里研究的被充分重复的效应,预期会有良好的解码性能。
然而,不同种类的EEG范式需要不同的解码框架。例如,对于分析不同条件之间频谱功率差异的实验,一个为频率解码量身定制的解码框架更合适。最近的实验通常基于快速序列视觉呈现(RSVP)结构,其中许多不同的对象类别以快速连续的方式呈现,以便为每个对象类别运行大量的试次。这些实验,也应用于听觉领域,并非直接设计用于寻找被充分描述的ERP。相反,文献仅为RSVP实验中可以构建的类别之间的一小部分对比描述了ERP。例如,基于N170所基于的数据,通常可以很容易地在解码中区分面孔与其他类别,但也包括来自通常不用于表征N170的其他通道的信息。然而,其他类别之间的差异(例如,计算机和汽车)则描述得不那么清楚。一个可能的解释是,这些类别的区分几乎没有进化上的相关性,导致每个参与者都有特异性的表征,而不是跨参与者的系统性和可推广的表征。更密集的电极覆盖可能有助于找到这些类别之间的细微差异。从这个角度来看,在本N170实验中显示的解码准确率,大概代表了在给定刺激重复次数下,可以从此类RSVP实验中预期的解码准确率的上限,这是由于N170成分的强大性质。其他对比可能导致分类器准确率较低。重要的是,不应将基于N170实验的多重宇宙结果关于预处理的当前建议外推到一个RSVP实验。原因是,预处理将被优化为面孔与汽车的对比,而不是类别之间的许多其他对比。事实上,在多类别解码之前的任何预处理都可能通过滤除一个类别在特定频谱中表示的预测性特征而偏向于可解码性。从这个角度来看,在特定上下文中,使用相当原始(即,未经过重度预处理)形式的数据可能是有利的,前提是分类器能很好地处理它。
最后,多重宇宙也说明了关于预处理的分析变异性的挑战。尽管一个分析师实际上只会使用所有可能的分叉路径中的一个子集,但变异性仍然是巨大的,为分析师提供了足够的自由度。预注册应是增加透明度和避免潜在不当操作的一个重要组成部分。
扩展多重宇宙
构建的多重宇宙自然只包含了一部分预处理步骤和变体。人们可以为每个分析步骤添加任意数量的额外变体。例如,人们可以更密集地采样滤波器截止频率以找到更好的最优值,而不仅仅是基于可用选择的最优值。同样,可以研究使用基于GLM而非减法的基线校正对解码性能的影响,后者已被证明可以减少ERP窗口中的伪影。此外,对于每个预处理和伪影校正步骤,已经发表了大量合理的方法,例如基于回归的眼动伪影校正方法、试次掩蔽的稳健去趋势、稳健平均或在独立成分上应用预训练的分类器,仅举几例。因此,我们为每个步骤做出了一些简单但合理的选择,这些选择在MNE包中是现成可用的,例如用于眼动伪影校正的基于阈值的ICA。这些选择是否能推广到类似的方法、其他软件和其他包版本尚待观察。对于更彻底地去除相应伪影——同时不去除感兴趣的神经信号——的伪影剔除工具,我们预计报告的效应会更强。
除了执行的确切步骤外,先前的研究在预处理步骤的顺序上也差异很大。然而,系统地改变步骤的顺序会导致组合爆炸,使计算和解释都变得复杂。此外,预处理步骤之间交互作用的解释会根据它们的顺序而改变。因此,这样的研究需要在未来进行。我们测试了一个具有略微不同步骤顺序的替代多重宇宙:即(1)重参考,(2)HPF和LPF,(3)眼动伪影校正,(4)肌肉伪影校正,(5)基线校正和去趋势,以及(6)autoreject(图S26和S27,补充文本——预处理步骤的替代顺序)。大多数效应与主手稿中呈现的质量相似。
文献和EEG社区提供了各种各样的预处理和伪影校正方法,并非所有方法都能在单一的多重宇宙分析中详尽地解决。然而,后续研究调查特定预处理步骤与合理的参考流程的影响,将允许以更计算高效的方式测试它们中的许多步骤(例如,参考文献39),并可能为其对解码性能或特征可解释性的影响提供见解。
总结
总之,本研究系统地改变了广泛的EEG预处理步骤,以评估它们对解码性能的影响。对于EEGNet解码,高的高通滤波器截止频率和基线校正提高了解码性能,而对于时间分辨解码,高的高通滤波器截止频率、低的低通滤波器截止频率和线性去趋势提高了解码性能。重要的是,所有的伪影去除步骤都降低了解码性能,这可能是由于伪影与实验条件之间的协变,有效地减少了虚假地增强解码性能的非神经特征的比例。其他预处理步骤的影响取决于实验范式。我们建议为解码仔细选择EEG预处理步骤,因为选择最大化解码性能的步骤伴随着下游特征可解释性的限制。