引言
重度抑郁症（MDD）仍然是全球主要的心理健康问题，影响着数百万人。尽管5-羟色胺再摄取抑制剂和其他抗抑郁药被广泛使用，但其有效性差异很大，导致许多患者未能获得充分缓解。这种差异性凸显了理解驱动不同治疗反应的生物学和心理学机制的迫切需求。考虑到MDD的异质性，个性化治疗策略正变得越来越重要。新兴证据表明，脑网络（或连接性）的变异可能捕捉到与治疗效果相关的关键信息。理解这些复杂的变异对于为MDD开发更有效、更个性化的治疗策略至关重要。
在神经精神病学研究中，功能性磁共振成像（fMRI）和脑电图（EEG）是研究MDD神经生物学的重要工具。通过测量对神经活动的血流动力学反应，fMRI提供了大脑功能的高空间分辨率图像，识别出与精神障碍有关的区域。相比之下，EEG记录来自神经活动的电振荡，为捕捉网络动态提供了优越的时间分辨率。这两种模态共同增进了我们对与MDD相关的复杂神经回路的理解，支持了更具针对性的治疗干预措施的发展。
多模态脑成像技术的融合在精神障碍分析中越来越受欢迎，因为它允许多维度分析，为各种成像模态之间的相互关系提供了全面的见解。这种整合技术为精准诊断和预后提供了更可靠的基础，增强了每种技术的分析能力。最近的研究已成功使用多模态融合来预测和理解各种心理健康状况。例如，利用来自MRI、PET、评估指标和人口统计学数据的互补信息，在改善阿尔茨海默病和自闭症的诊断方面显示出前景。另一项近期研究采用功能和结构数据的多模态融合，为脑模式的纵向变化提供了全面的视角。整合来自fMRI和弥散张量成像的功能和结构连接性，强调了动态的模态间依赖关系。此外，耦合张量/矩阵分解被用于从脑磁图（MEG）和fMRI数据中提取联合潜在成分，揭示了精细的时空脑动态，并增进了对青少年大脑功能和发育的理解。一项关于MDD的近期研究识别了常见和独特的结构与功能连接性耦合变化，突显了这些连接对外部压力源和不良行为的脆弱性。尽管取得了这些进展，但利用fMRI和EEG融合来预测抗抑郁药疗效的研究仍然缺乏。在脑网络层面将EEG的时间分辨率与fMRI的空间细节相结合，可能为神经回路提供全面的视角，增进我们对MDD神经生物学基础及其与抗抑郁治疗相互作用的理解。
机器学习和人工智能的最新进展在识别用于更精准心理健康干预的脑生物标志物方面显示出潜力。人脑可以被建模为一个复杂的网络，由众多空间上分布但功能上相互连接的脑区组成。图神经网络（GNNs）是一种深度学习模型，因其处理复杂节点交互的能力而特别适用于分析大脑功能结构。这一独特优势使其在通过脑网络建模研究精神障碍方面的应用日益增多。然而，很少有研究利用GNNs进行多模态脑网络分析，以利用临床试验数据预测治疗反应。
本研究利用大型神经影像学结合的随机临床试验——“确立临床护理中抗抑郁反应的调节因素和生物标志物”（EMBARC）研究的数据，提出了一个新颖的深度学习框架，该框架整合了fMRI和EEG的连接性，以建立用于预测MDD中抗抑郁药和安慰剂治疗反应的稳健生物标志物。该框架分别增强了两种模态的功能连接性，并为治疗前的fMRI和EEG数据构建了脑图。随后，它采用GNNs捕捉每种模态内的空间依赖性，从而优化空间特征。通过最大化潜在特征之间的相关性，我们的方法利用互补信息进行模态融合，以预测治疗结果。基于训练好的模型参数进行的可解释性分析，进一步从脑区和连接性的角度识别了关键的生物标志物，推动了我们对决定抗抑郁治疗反应的神经回路的理解。
方法与材料
临床试验数据集
我们的研究使用了EMBARC研究的数据，这是一项全面的、结合神经影像学的、安慰剂对照的、专注于抑郁症的随机临床试验。年龄在18至65岁之间的参与者从四个研究地点招募：马萨诸塞州总医院、德克萨斯大学西南医学中心、密歇根大学和哥伦比亚大学。在这项双盲试验中，被诊断患有MDD的个体被随机分配接受为期八周的舍曲林或安慰剂治疗。在309名被诊断为MDD的患者中，296名符合纳入标准并接受了治疗。对于同时拥有fMRI和EEG数据的受试者，经过预处理后，有130名来自舍曲林组（38名男性，92名女性），135名来自安慰剂组（50名男性，85名女性）。主要结局通过17项汉密尔顿抑郁量表（HAMD17）在多个时间点（基线、第1、2、3、4、6和8周）进行测量。第8周缺失的HAMD17分数通过贝叶斯回归进行估计，使用了基线HAMD17、第1周HAMD17、第2周HAMD17、第3周HAMD17、第4周HAMD17、第6周HAMD17、基线抑郁症状快速清单（QIDS）总分、基线情绪和症状问卷（MASQ）的焦虑唤醒、快感缺乏性抑郁和一般性痛苦子量表分数、斯奈思-汉密尔顿快乐量表（SHAPS）总分、年龄、受教育年限、性别以及韦氏简式智力量表（WASI）的词汇和矩阵推理T分数。治疗结局通过从基线到第8周HAMD17分数的减少量来衡量。
fMRI采集与预处理
静息态功能磁共振成像（rs-fMRI）扫描使用单次激发梯度回波平面脉冲序列，通过T2*加权图像进行。每次扫描持续八分钟，参数设置为：重复时间2000毫秒，回波时间28毫秒，矩阵大小64×64，体素大小3.2×3.2×3.1 mm³。更多fMRI采集细节可见于。
rs-fMRI数据使用fMRIPrep流程进行预处理。这包括校正T1加权图像的强度不均匀性并进行颅骨剥离，然后通过非线性配准到T1w参考图像进行空间标准化。脑组织，包括脑脊液、白质和灰质，使用FSL从已提取大脑的T1加权图像中分割出来。利用场图信息校正回波平面成像中的畸变，以改善与解剖参考图像的共配准。BOLD信号使用基于边界的配准（九个自由度）与T1加权图像对齐，以解决剩余的畸变。使用MCFLIRT（FSL）估计头动参数，对BOLD信号进行时间层校正、磁敏感性失真校正，并重采样到MNI152NLin2009cAsym空间。使用ICA-AROMA去除运动伪影，并在使用6mm FWHM高斯核进行空间平滑后，对数据进行头动质量控制。
EEG采集与预处理
静息态EEG（rs-EEG）数据在四个研究地点分别记录（哥伦比亚大学：72通道BioSemi系统，采样率256 Hz；麦克莱恩医院：129通道Geodesic Net系统，采样率250 Hz；密歇根大学：60通道NeuroScan Synamp系统，采样率250 Hz；德克萨斯大学西南医学中心：62通道NeuroScan Synamp系统，采样率250 Hz）。所有站点都统一进行了放大器校准。rs-EEG记录方案包括四个两分钟的片段——两个闭眼和两个睁眼，按平衡序列执行。建议参与者尽量减少眨眼和眼动，在睁眼条件下注视中央的十字。
rs-EEG数据在EEGLAB中使用全自动伪影剔除流程进行离线处理。首先，将EEG信号降采样至250 Hz，然后消除60 Hz的交流电线噪声。随后，使用截止频率为0.01 Hz的高通滤波器滤除非生理性的低频成分。接下来的阶段包括识别并移除在幅度和空间相关性上不符合特定阈值标准的片段和通道。问题通道超过20%的参与者被排除。对于信号受损的通道，使用基于相邻通道信号的球面样条插值进行重建。为进一步净化数据，应用独立成分分析去除其他伪影，如头皮肌肉、眼动和心电图引起的伪影。伪影剔除后，为每个受试者识别并提取了所有四个研究地点共有的54个EEG通道。然后将EEG信号标准化为公共平均参考。最后，将信号分为四个关键频段进行进一步分析：theta（4–7 Hz）、alpha（8–12 Hz）、beta（13–30 Hz）和低gamma（31–50 Hz）。
随后，使用Brainstorm工具箱进行源定位，采用最小范数估计将通道空间EEG转换为超过3003个顶点的源空间信号。这一转换通过一个三层边界元头模型实现，该模型包括头皮、颅骨和皮层表面，使用OpenMEEG插件计算，该插件利用FreeSurfer平均脑模板。该模型促进了3003个具有自由方向的偶极子的生成。随后，从边界元模型中导出了一个导联场矩阵，该矩阵对于将这些偶极子的活动与EEG数据联系起来至关重要。然后应用主成分分析，将每个顶点的三维估计源信号浓缩为一维的主成分时间序列。
功能连接性计算
对于rs-fMRI，首先通过将预处理后的体素级BOLD信号平均为由Schaefer分区定义的100个感兴趣区域（ROIs）的时间序列来计算区域时间序列。然后，将每对ROI时间序列之间的皮尔逊相关系数计算为功能连接性。得到的连接性值进行z-score标准化，然后进行Fisher’s r-to-z变换以改善正态性。
对于rs-EEG，优先选择功率包络连接性（PEC）进行计算，而非相干性或相位滞后指数等其他指标。因为PEC不仅在减轻由容积传导（EEG中常见的问题，可能在相邻通道间产生误导性连接模式）引起的伪相关方面显示出前景，而且在静息态分析中表现出更优的稳定性，因为功率包络比瞬时相位关系表现出更一致的时间特性。更重要的是，PEC关注功率包络波动，为与fMRI的血流动力学反应整合提供了一个更兼容的时间框架，因为它捕捉了神经振荡幅度的缓慢时间动态（通常<1 Hz）。这种时间对应关系已由多项研究通过经验验证，显示PEC衍生的网络与fMRI连接模式之间存在显著的空间重叠。PEC通过关注信号的振荡功率而非其原始相位或幅度来解决容积传导问题，后者更容易受到此类伪影的影响。具体来说，首先使用希尔伯特变换将源估计转换为分析时间序列，然后对每对脑信号的分析时间序列进行正交化，以消除零相位滞后相关。与可能丢弃真实零相位滞后连接的相位滞后指数不同，PEC的正交化方法在有效消除伪影相关性的同时，保持了对生理上有意义的同步的敏感性。然后通过对这些正交化的分析信号求平方来获得功率包络。随后应用对数变换以细化数据并增强测量的正态性。然后使用每对脑区对数转换后的功率包络之间的皮尔逊相关系数计算PEC。与fMRI类似，EEG连接性特征也基于Schaefer分区提取。得到的连接性值在进行Fisher’s r-to-z变换以改善正态性并确保跨模态可比性之前，进行了z-score标准化。
数据增强
数据增强在深度学习中被广泛用作提升性能和防止过拟合的策略。为了增加样本量以实现更稳健的多模态融合并防止过拟合，我们采用了公共正交基提取（COBE），这是一种在组成分分析中成熟的算法，用于增强fMRI和EEG的功能连接性数据。COBE擅长从多块数据集中提取公共基。通过从fMRI或EEG的原始功能连接性中移除公共成分，分离出个体化特征。这些个体化特征作为新生成的数据，保留了与其原始功能连接性相关的重要判别信息，从而构成了本研究中的增强数据。关于增强过程的更多细节在补充材料S1中提供。
多模态脑网络特征的深度学习
我们开发了一个基于GNN的深度学习模型，以整合来自fMRI和EEG的多模态脑网络，识别指示抗抑郁反应的稳健而强大的脑特征。我们的模型包括两个主要部分：1）利用并行的GNNs对fMRI和EEG的连接性特征进行编码，执行空间优化；2）训练成对的fMRI和EEG权重，以确保节点特征的线性组合最大化这两个模态间产生的潜在特征的相关性，从而实现有效的模态融合。框架的概述如图1所示。GNNs由于能够封装节点间的复杂关系，特别适用于处理图结构数据。方法和实现细节在补充材料S2和S3中提供。
图1：框架流程图。
首先基于分区获得fMRI和EEG的功能连接性（FC）特征，然后通过两个并行的GNNs进行编码。接着，最大化这些多模态表示之间的相关性，以增强它们进行模态融合的兼容性。随后，这些高度相关的潜在变量被连接起来，并输入一个多层感知器（MLP），以预测HAMD17分数的减少量。架构的更详细实现方面可在补充图S2中找到。
脑区与连接性重要性评估
除了新颖的多模态图融合策略外，我们的模型还提供了可解释的脑网络模式，增进了对治疗效果背后神经生物学机制的理解。我们在模型中使用了两个可学习的权重矩阵（见补充材料S2），作为最大化fMRI和EEG潜在特征之间相关性的映射。这些矩阵量化了不同ROI对fMRI-EEG关联的贡献，作为端到端训练期间自学习的模型参数，从而直观地反映了脑区在模态融合中的重要性。我们将这些成对的向量整合成一个单一的对，使用聚合块中的权重，然后进行绝对值计算和归一化。然后，在最优运行的十折中计算平均值，作为脑区重要性的评估。
此外，图的邻接矩阵是通过实时计算节点对之间的相似性来构建的，反映了ROI之间的内在关联。然而，它可能不代表后续模态融合和最终预测的最佳拓扑结构。为了解决这个问题，我们为fMRI和EEG引入了缩放矩阵，能够在端到端训练期间为每个模态动态估计和调整ROI对之间的连接强度。这种方法捕捉并提炼了为模态融合和最终预测量身定制的关键连接模式，而不仅仅是依赖于相似性度量。我们通过对两个治疗组中每个模态的最具预测性运行的矩阵值进行平均来评估连接的重要性。值得注意的是，可学习的权重矩阵和缩放矩阵在我们的模型中扮演着不同但互补的角色。可学习的权重矩阵用于为模态融合选择显著的脑区，而缩放矩阵则专注于解释图结构单模态数据内优化的依赖关系。
结果
治疗结果的多模态预测
我们假设不同的EEG频段包含与治疗预测相关的不同判别信息。因此，我们没有使用单一的统一模型，而是将每个频段的EEG数据与fMRI结合起来训练独立的模型。图2a显示了在四个EEG频段与fMRI结合的情况下，两个治疗组的预测结果，这些结果来自使用不同种子进行模型参数初始化的十次独立的10折交叉验证运行。将fMRI与theta、alpha和beta频段的EEG结合显示出显著的预测能力。鉴于alpha频段相对于其他频段具有更优的预测准确性（配对t检验：对于舍曲林组的theta、beta、gamma，pfdr < 0.01、pfdr < 0.001、pfdr < 0.01；对于安慰剂组的theta、beta，pfdr < 0.05、pfdr < 0.01，基于R2），本研究中所有后续分析都专门关注alpha频段。图2b分别展示了舍曲林组和安慰剂组最优预测性能运行的结果。在两个组中，实际和预测的HAMD17分数减少量之间观察到显著相关性（舍曲林组：R2 = 0.31，皮尔逊相关系数r = 0.58，p = 5.36 × 10⁻¹³；安慰剂组：R2 = 0.28，皮尔逊相关系数r = 0.56，p = 1.66 × 10⁻¹²）。预测准确性的统计显著性通过1000次随机置换检验得到进一步验证（舍曲林组和安慰剂组的Ppermutation < 0.001）。其他九次运行的结果在补充图S3中呈现。为了考虑性别的影响，我们还在评估模型性能前回归掉了性别协变量，结果在补充图S4中呈现。
图2：舍曲林（蓝色）和安慰剂（橙色）组治疗结果预测的性能
a 在我们的基于深度学习的多模态分析框架下，跨四个EEG频段的预测结果。
b 使用alpha频段EEG结合fMRI的最优预测结果运行。预测准确性的统计显著性通过1000次随机置换检验得到验证，舍曲林组和安慰剂组的Ppermutation<0.001。每个点代表测试集中的一名患者。
多模态与单模态预测的比较
为了验证多模态预测相对于单模态预测的优势，我们评估了独立使用fMRI和EEG的性能，即训练和测试都使用单模态数据。该模型保持其核心结构，仅排除了单侧GNN和模态融合组件，使其与原始模型的设计保持一致。图3显示的结果表明，多模态融合模型的性能优于使用单一模态（无论是fMRI还是EEG）训练的模型。这一发现表明，尽管在临床环境中收集EEG和fMRI数据的成本更高，但它在提高治疗结果预测的准确性和识别更多信息性生物标志物方面仍然具有实际价值。
图3：使用不同训练和测试策略对舍曲林组和安慰剂组治疗结果预测的性能比较。
考虑到在真实临床环境中收集fMRI和EEG数据的挑战和成本，我们还旨在使我们的多模态模型适用于只有单模态神经影像的患者。我们的模型最大化了相关性，表明从fMRI和EEG派生的潜在特征反映了相似的大脑模式，同时为治疗预测提供了互补信息。我们使用训练集中两种模态的潜在特征，训练了一个独立的、大小为原始多模态模型MLP一半的多层感知器（MLP）回归器。这使我们能够对只有单模态神经影像的患者，使用GNN管道一侧相应的潜在特征，将它们直接输入到缩减后的MLP中生成预测，而无需连接另一模态的特征。图3显示了使用两种模态训练并分别用fMRI或alpha EEG测试的结果。数据划分和模型参数初始化的随机种子与之前的设置保持一致，以确保公平比较并避免数据泄露。尽管使用fMRI的预测性能较低，但alpha EEG产生的结果仅略逊于多模多态预测。这表明alpha EEG在训练过程中起主导作用，fMRI提供了补充信息。换句话说，多模态融合为新患者提供了最佳的预测性能。单模态预测，例如仅使用alpha EEG，在多模态特征的指导下可以得到改善，表明其因成本低得多而具有有前景的临床应用价值。然而，值得注意的是，这种现象可能是特定案例的；不同的训练数据可能导致EEG并不总是占主导地位。
预测治疗结果的脑区
ROI的重要性通过圆形条形图在图4中呈现。Schaefer图谱将100个ROI划分为七个空间分布的功能网络，包括视觉网络（VN）、躯体运动网络（SMN）、背侧注意网络（DAN）、腹侧注意网络（VAN）、边缘网络（LN）、额顶控制网络（FPCN）和默认模式网络（DMN）。图中央的雷达图通过计算每个功能网络中ROI的平均重要性来反映网络层面的重要性。权重最高的20个最显著ROI在图5a的大脑皮层上进行了可视化。
图4：在每种条件的最优运行中，跨十折平均的ROI重要性分数
中央雷达图通过平均每个网络的ROI来反映网络的重要性分数。VN 视觉网络。SMN 躯体运动网络。DAN 背侧注意网络。VAN 腹侧注意网络。LN 边缘网络。FPCN 额顶控制网络。DMN 默认模式网络。
图5：多模态与单模态分析中显著ROI的比较
颜色反映了脑区的重要性，值越高表示越重要。a 源自多模态模型的排名前20的显著ROI。蓝色圆圈标识了在多模态分析中突出但在单模态分析中不突出的ROI。b 源自单模态模型的排名前20的显著ROI。
在舍曲林组中，fMRI主要突显了颞叶内的颞上回和颞下回，此外还有枕叶的枕中回和楔叶、扣带皮层以及包括缘上回、楔前叶和前脑岛在内的联合区。另一方面，EEG则指出了额叶的关键区域，特别是在布罗德曼8区和额下回，同时也强调了楔前叶、后扣带皮层、距状沟和中央前回区域。在安慰剂组中，fMRI主要揭示了顶叶的楔前叶、中央前回和中央后回，以及前扣带皮层、颞中回和后脑岛。同时，EEG检测到额叶的不同区域，包括辅助运动区和前扣带皮层，以及楔前叶、顶下回、颞中回和后扣带皮层。在网络层面，VAN在fMRI结果中显著突出，而FPCN在舍曲林的EEG数据中清晰可见。此外，FPCN在fMRI中显著代表，而DAN在安慰剂组的EEG中清晰可见。
为了阐明多模态方法在预测治疗结果方面相对于单模态方法的优势，我们进一步探讨了单独在fMRI和EEG上训练的模型所识别出的显著ROI的差异。图5b显示了从单一模态派生的前20个显著ROI。对此图的分析表明，虽然多模态和单模态模型通常显示出相似的大脑模式，但在特定区域存在显著差异。在舍曲林组中，多模态模型比基于fMRI的模型更强调顶下回和颞上回区域，比基于EEG的模型更强调中央前回和距状沟区域。在安慰剂组中，多模态模型比fMRI模型更强调后脑岛和中额前回区域，比EEG模型更强调中扣带皮层和枕中回区域。
关键的脑连接
20个最重要的连接在图6的边捆绑图和脑连接体图中进行了可视化。在舍曲林组中，值得注意的连接包括fMRI连接体中额中回/眶上额叶与额下回/颞极之间的强负连接，以及EEG连接体中楔前叶/顶下回之间的强正连接。在安慰剂组中，最突出的正负连接是fMRI连接体中额下回/枕中回与颞上回/额上回之间，以及EEG连接体中楔前叶/中央前回与梭状回/辅助运动区之间。
图6：具有最高平均绝对边缘缩放值的前20个连接
a 每种条件的边捆绑图。 b 每种条件的脑连接体图。红色和蓝色线条分别代表正连接和负连接。线条粗细反映连接强度。
为了进一步分析网络层面的连接模式，我们通过计算每个网络对之间绝对边缩放值的平均值来评估连接强度。每种条件的结果使用热图和弦图在图7中呈现。在舍曲林组中，LN在fMRI和EEG中都表现出显著高的网络内连接强度，而LN-DAN在fMRI中显示出显著的网络间连接强度。在安慰剂组中，VN在fMRI和EEG中都显示出高的网络内连接强度，而VN-DAN在fMRI中显示出显著的网络间连接强度。对于EEG，LN-SMN和LN-VAN表现出更强的网络间连接强度。图7中的条形图代表了每种条件下平均的网络间和网络内连接强度。网络间强度是通过对每个网络与其他六个网络的连接强度进行平均计算得出的。
图7：网络层面的连接模式
对于每种条件，每个网络对的连接强度通过左侧的热图和中间的弦图进行说明，而右侧的条形图代表每个网络的平均网络间和网络内连接强度。
脑网络特征与MDD临床症状的关联
在EMBARC数据集中，MDD患者还使用情绪和焦虑症状问卷（MASQ）和抑郁症状快速清单（QIDS）进行了评估。MASQ旨在评估情绪和焦虑症状，将状况分为“一般性痛苦”、“快感缺乏性抑郁”和“焦虑唤醒”。QIDS量化抑郁症状的严重程度，包括“QIDS总分”等指标。我们应用先前训练的多模态模型来推导测试样本的潜在表示，这些表示作为MLP回归器的输入，随后使用广义可加模型（GAMs）[48]并进行10折交叉验证来预测这些量表。如图8所示，结果显示了由GAMs预测的临床量表与实际临床量表之间的相关性。在舍曲林组中，预测结果与一般性痛苦（r = 0.23, p = 0.026）和快感缺乏性抑郁（r = 0.23, p = 0.024）的真实分数显著相关。在安慰剂组中，预测结果与焦虑唤醒（r = 0.19, p = 0.049）和QIDS总分（r = 0.26, p = 0.013）的真实分数显著相关。此外，我们检验了脑特征对基线HAMD17分数的预测能力。尽管观察到一些相关性（舍曲林组：r = 0.18, p = 0.048；安慰剂组：r = 0.28, p = 0.008），但它们显著弱于对HAMD17减少量的预测（Fisher’s z检验：舍曲林组p < 0.001，安慰剂组p = 0.003）。这意味着治疗结果的预测并非主要由基线HAMD17的变异驱动，尽管它与脑特征相关。
图8：脑特征与基线临床症状的关联
测试样本的脑特征是通过先前在10折交叉验证的最优运行中训练的多模态模型生成的。然后使用GAMs，利用这些脑特征来预测这些临床量表。P值经过错误发现率（FDR）校正。N.S.表示不显著。
已识别特征的临床意义
为了增强已识别的预测性特征在两个治疗组中的临床适用性，我们不考虑实际接受的治疗及其结果，而是根据从训练良好的舍曲林和安慰剂预测模型得出的预测反应，将所有患者分为舍曲林偏好组或安慰剂偏好组。预测分析显示，舍曲林组中有99名舍曲林偏好患者和31名安慰剂偏好患者，安慰剂组中有84名舍曲林偏好患者和51名安慰剂偏好患者。在预测偏好与分配治疗相符的患者中，反应率（定义为HAMD17分数减少超过50%）显著高于偏好与分配不符的患者（反应率的卡方检验：舍曲林组：57.6% [57/99] vs. 3.2% [1/31]，χ² = 26.1，p < 0.0001；安慰剂组：58.8% [30/51] vs. 14.3% [12/84]，χ² = 27.3，p < 0.0001）。同样，在分配治疗与偏好相符的患者中，实际HAMD17减少率也显著高于治疗与偏好不符的患者（治疗偏好的双样本t检验：舍曲林组：t = 9.5，p < 0.0001；安慰剂组：t = 6.6，p < 0.0001）。这些发现为我们的预测提供了坚实的临床背景，并强调了它们在治疗选择中的实际相关性。更多细节和可视化图表见补充图S5。
消融研究
我们研究了不同数据增强率对预测性能的影响，如补充图S6所示。此外，我们进行了一项消融研究，以评估我们提出的框架内各组件的有效性。实验结果表明，GNNs、缩放矩阵和权重矩阵对模型都至关重要。详细结果见补充表S1。
与基线方法的预测性能比较
为了证明我们基于GNN的框架的优越预测性能，我们还在补充表S2中报告了基线方法的结果，包括SVR、随机森林和弹性网络。计算复杂度总结在补充表S3中。实验结果表明，即使应用了数据增强，基线方法也难以有效预测治疗反应。
讨论
在本研究中，我们开发了一种新颖的基于GNN的深度学习框架，整合fMRI和EEG的功能连接性，以识别抗抑郁治疗结果的多模态生物标志物。我们的模型在预测对舍曲林和安慰剂的反应方面表现出显著的功效。GNNs有效地映射了ROI之间的交互，为fMRI和EEG连接性产生了空间优化的表示。通过利用动态优化连接强度的自适应边缩放矩阵，模型提高了模态融合和预测的准确性。整合GNN编码的潜在特征之间的相关性，使得模型能够提取信息丰富的多模态脑模式，揭示了来自fMRI和EEG的协同信息。重要的是，我们通过训练一个独立的MLP，使我们的模型适用于只有EEG数据的患者情况，其预测结果比仅用单一模态训练的模型更准确。这种调整极大地增强了模型在实际临床环境中的实用性。研究结果表明，多模态融合提供了最佳的预测性能，突显了尽管成本更高，但结合EEG和fMRI数据的价值。针对单模态预测的调整，即仅使用alpha EEG，通过利用多模态特征显示出前景。这种方法因成本较低而保持了临床应用价值，但重要的是要认识到EEG在预测性能中的主导地位可能是特定情况下的。不同的训练数据或预测任务可能导致EEG并非总是主导模态。未来的研究应探索这些动态，以优化单模态数据在临床环境中的使用。另一方面，预测安慰剂治疗虽然与临床护理不直接相关，但在药物开发中具有相当大的潜力。一个安慰剂预测性特征可以通过选择预测安慰剂反应率低的比较组来增强II期研究，这可能通过允许更小的样本量和更稳健的药物疗效评估来降低成本。
我们的模型不仅提供了令人印象深刻的预测性能，还通过可解释性分析提供了宝贵的见解。通过检查可学习的参数，包括用于空间模式优化的边缩放矩阵和用于模态融合的权重矩阵，我们识别了跨模态的共同脑模式以及特定于抗抑郁药舍曲林或安慰剂的生物标志物。这项分析揭示了与每种治疗相关的独特ROI和连接模式，增强了我们对相关神经回路的理解。我们的发现与先前的研究一致，表明EEG中theta、alpha和gamma频段的连接性为治疗反应提供了重要见解。我们观察到，前额叶皮层、扣带皮层以及颞叶和顶叶的特定区域提供了对预测抗抑郁反应至关重要的信号，这与先前研究报告的发现一致。值得注意的是，颞上回和后扣带皮层在fMRI和EEG两种模态中都对舍曲林反应有重大贡献（图4）。这些区域与情绪调节和社会认知有关，是抑郁症中的关键因素。对于预测安慰剂反应，前扣带皮层和中央后回在不同模态中扮演着一致的角色。该区域静息活动的升高可能预示着更好的临床结果，因为它与适应性自我参照处理和增强的认知控制有关。此外，大量研究表明，前扣带皮层参与的功能连接性变化与安慰剂反应相关。此外，与情绪调节和感觉处理相关的中央后回也被认为与多种形式的抑郁症有关。此外，与单模态方法相比，我们的多模态方法独特地识别了特定的脑区，例如fMRI上的颞上回和EEG上的后脑岛。这些发现凸显了多模态融合的优势，它揭示了通过单一模态分析无法检测到的关联。特别是后脑岛，它对情绪处理至关重要，并被广泛认为与抑郁症的病理生理学有关。
在网络层面，我们的发现（图4）表明，从多模态整合的角度来看，FPCN、VAN和DAN对于预测治疗反应至关重要。FPCN参与问题解决、工作记忆和情绪调节，在舍曲林组的EEG模态和安慰剂组的fMRI模态中都很突出。VAN负责注意力转换和整合情绪与感觉刺激，以及DAN参与目标导向的外部注意，这表明MDD患者对抗抑郁药或安慰剂的反应程度可能取决于外部导向的注意力和突显性处理。图7显示，FPCN通常表现出较弱的网络内连接，而与内部导向注意和自我参照思维相关的DMN，则比DAN表现出更强的网络内连接。FPCN和DMN之间强的网络间连接可能是MDD中观察到的认知控制缺陷的基础，例如注意力集中和情绪调节困难。尽管LN包含的脑区较少，但它具有多个高强度的网络间连接，并在舍曲林组中表现出最强的网络内连接。LN系统一直被认为与情绪和心境障碍的控制、自主神经调节和认知缺陷有关，并显示出对压力的敏感性与抑郁的严重程度相关。这些特定的网络模式可能导致认知和情感功能的核心缺陷，从而作为脑特征来预示治疗结果。我们的框架为特定脑区、功能网络和连接作为预测MDD治疗结果的生物标志物的重要性提供了额外的验证，为神经生物学机制提供了新的视角，并强调了它们在真实诊断场景中的潜在效用。
我们的结果还突显了通过GAMs预测的基线临床分数与舍曲林组和安慰剂组的实际分数之间存在显著相关性，为证实已识别的脑网络特征的临床相关性提供了补充证据。本研究中使用MASQ和QIDS量表，突显了它们在捕捉MDD复杂症状学方面的重要性。与这些量表发现的相关性为快感缺乏和焦虑等症状如何反映在脑网络功能中提供了细致的理解。这一见解可以增强诊断标准，并有助于为这些症状创建靶向干预措施。未来的研究可能会通过纵向研究和跨不同治疗组来调查这些相关性的稳定性。此外，将分析扩展到其他形式的抑郁症和焦虑症可能会揭示这些脑网络特征的更广泛应用。
局限性
本研究存在一些局限性和值得考虑的潜在扩展领域。尽管与大多数现有的抗抑郁治疗临床试验研究相比，我们的研究样本量更大，但对于训练深度学习模型而言，数据仍然有限。我们的数据增强消融分析突出了这一局限性。因此，为了验证我们的生物标志物发现，更大的样本量和使用独立队列的复制研究至关重要。目前，我们的预测模型基于基线数据；未来的研究应考虑纵向数据，以更好地理解功能连接性变化与治疗结果之间的关系。将我们的模态融合方法扩展以整合更多数据类型，也将提供更丰富的神经生理学信息。此外，随着样本量的增大，可以探索先进的深度学习技术来处理临床环境中常见的部分模态缺失问题。有前景的方法包括用于学习跨模态共享潜在表示的变分自编码器、用于灵活模态融合的自注意力机制，以及即使在数据不完整的情况下也能对齐来自不同模态表示的对比学习策略。这些方法有望在面对真实世界数据异质性时提高模型的稳健性和泛化能力。
结论
本研究旨在通过一种基于GNN的深度学习方法，整合fMRI和EEG数据，来预测MDD的治疗结果并量化脑特征。我们的方法识别了与抗抑郁反应相关的关键脑区和连接，突显了多模态方法在理解复杂脑交互中的效用。利用EMBARC临床试验的数据，结合先进的数据增强和模态融合技术，该框架提升了预测性能，并揭示了MDD的神经生物学基础。我们的可解释性分析强调了关键区域：颞下回和后扣带皮层对舍曲林反应至关重要，而楔前叶和辅助运动区对安慰剂反应至关重要。在舍曲林组中，颞上回和后扣带皮层在两种模态中都始终显著，而在安慰剂组中，前扣带皮层和中央后回显著重要，这突显了它们在预测抗抑郁药和安慰剂疗效中的基础性作用。我们的发现强调了大型脑网络，如额顶控制网络、腹侧和背侧注意网络以及边缘网络，在MDD治疗动态中的重要性。总的来说，我们的研究通过多模态神经影像学丰富了对精神病学中抗抑郁药物的理解，为心理健康治疗提供了新颖的见解。