结构和功能脑成像数据多模态融合的多变量方法

    近年来，人们对将功能磁共振成像（fMRI）从简单的扫描时长平均值分析，转向能够整合结构 MRI 测量并捕捉丰富多模态交互的方法产生了极大的兴趣。越来越清楚的是，多模态融合通过利用模态之间的协变，能够比单独分析每种模态为个体受试者提供更多的信息。多模态融合是一项更为复杂的任务，必须谨慎处理，并且应当开发有效的方法，以便从受试者数量有限的高维数据（例如精神障碍患者）中得出普遍且有效的结论。该领域已报道了大量基于各种统计模型的研究工作，包括独立成分分析（ICA）、典型相关分析（CCA）和偏最小二乘法（PLS）。在本章中，我们调查了多模态融合报告中先前展示的许多方法，这些方法在有或无先验信息的情况下执行，并讨论了它们可能的优势和局限性。为了以更全面和综合的方式检查大脑的功能-结构关联，我们还回顾了最近结合 3D/4D fMRI 和结构（sMRI 和/或 dMRI）测量的多模态研究，这不仅可以揭示通过单独分析各个模态无法完全检测到的重要大脑改变，还能使我们能够识别潜在的脑部疾病生物标志物。本文发表在fMRI Techniques and Protocols一书中。

     (可添加微信号19962074063或18983979082获取原文，另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布，另思影提供本文相关的脑影像数据分析服务与课程，感兴趣可联系，直接点击，即可浏览）:

1. 引言

     越来越多的证据表明，多模态脑成像研究不仅仅关注使用单一成像模态的生理或行为特征之间的关系，还有助于更好地理解受试者间的变异性：从大脑结构如何塑造大脑功能，到大脑功能在多大程度上反馈以改变其结构，以及生理学的哪些功能或结构方面最终驱动了认知和行为。从同一个体收集多种模态的磁共振成像（MRI）数据已成为一种常见做法，以便寻找与任务或疾病相关的变化。每种成像技术在检查大脑活动时都提供了不同的视角。例如，功能 MRI（fMRI）动态测量与大脑神经活动相关的血流动力学响应；结构 MRI（sMRI）提供有关大脑组织类型的信息 [灰质 (GM)、白质 (WM)、脑脊液 (CSF)]。扩散 MRI（dMRI）还可以额外提供有关脑网络之间结构连接的信息 。

     联合分析多模态数据的一个关键动机是利用现有数据中的交叉信息，从而可能揭示仅通过单一模态可能只能部分检测到的重要变异。多种模态测量的可用性允许通过应用多种统计方法进行联合分析，包括（但不限于）相关分析、数据整合或基于高阶统计和/或现代机器学习算法的数据融合。这些方法使得能够推断推定的结构-功能关系之间的间接或直接关联；然而，这些模态并不一定需要同时测量，也不必随后在并发融合模型中进行处理。

    脑成像中结合或融合数据的方法可以被概念化为处于一个分析谱系中，一端是元分析（高度提炼的数据）以检查趋同证据，另一端是大规模计算建模（高度详细的理论建模）。介于两者之间的是试图执行直接数据融合的方法。接下来，我们将回顾几种多变量多模态融合方法，包括它们的统计假设、可能的优势和局限性，以及多模态神经影像应用，特别是将 fMRI 与结构测量相结合的应用。我们将尽可能提及所评估生理特征的行为相关性。

2. 多模态 MRI 数据联合分析方法的总结

     在介绍统计模型之前，我们想澄清“特征（feature）”一词在大多数上述模型输入中的用法。我们注意到，“特征”的这个定义与传统机器学习算法中使用的定义略有不同。基本上，“特征”是一个提炼的数据集，代表每种模态中有趣的部分，它作为每个模态和每个受试者的输入向量。通常脑成像数据是高维的，为了减少冗余并促进模态之间关系的识别，可以对原始数据进行预处理以生成二级输出，即“特征”，它可以是通过一般线性模型（GLM）从任务相关 fMRI 计算出的对比图、由一级 ICA 产生的诸如“默认模式”的成分图像、来自 dMRI 测量的各向异性分数（FA），或来自 sMRI 数据的分割灰质（GM）。使用特征的主要原因是提供一个更简单的空间来连接数据。这种权衡是可能会丢失一些信息，例如，GM 不直接测量体积或皮层厚度，FA 不提供方向信息；然而，有大量证据表明使用特征是非常有用且有效的。图 1 直接展示了当前流行的与 fMRI 相关的多模态数据分析方法 。

     “数据整合（Data integration）”是一种替代方法，但与“数据融合（data fusion）”不同。数据整合的一个特点是它是不对称的，例如，使用一种模态的结果来约束另一种模态的模型——如 dMRI 被 fMRI 数据约束，反之亦然，或 fMRI 引导的脑电图（EEG）。虽然这些是强大的技术，但局限性在于它们可能会对受约束的数据强加潜在的不切实际的假设，而这些数据的本质与已知模态根本不同。另一个整合示例是分别分析每种数据类型并将其叠加——从而不允许数据类型之间进行任何交互。例如，数据整合方法无法检测到与远程大脑结构变化相关的 fMRI 激活图的变化。

图1 当前与 fMRI 相关的多模态数据分析方法总结

     相比之下，多模态融合是指使用神经活动的通用前向模型，对称地解释不同类型的数据，这为个体受试者和模态间的协变提供了更多视角。这是一项更复杂的任务，尤其是在研究影响许多大脑回路的复杂精神疾病时。此外，在现实世界中，结论通常需要从受试者数量有限的高维脑成像数据中得出。因此，应谨慎开发有效的方法。

    结合脑成像数据的多变量方法可分为两类：假设驱动和数据驱动。假设驱动的方法，如多元线性回归、动态因果模型（DCM）和验证性结构方程模型，其优点是：（1）允许测试关于实验范式中隐含网络的特定假设；（2）允许同时评估多个连接链路，而逐一评估协方差会损害这一点。然而，这可能会遗漏未包含在一组先验假设中的重要连接链路，并且它不提供关于体素间关系的信息。

     数据驱动的方法包括但不限于主成分分析（PCA）、独立成分分析（ICA）、典型相关分析（CCA）和偏最小二乘法（PLS）。这些方法很有吸引力，因为它们不需要关于感兴趣连接的先验假设。因此，这些方法便于探索全部数据。然而，从计算角度来看，某些方法可能要求更高。

    多模态 MRI 融合中采用的多变量方法可以根据先验要求和所用 MRI 数据的维度进一步分为四类：

    1.通常使用二级 fMRI 数据（3D 对比图像）的盲（Blind）方法，包括：联合 ICA（jICA）、多模态典型相关分析（mCCA）、链接 ICA（linked ICA）、独立向量分析（IVA） 和 mCCA+jICA。

    2.已开发用于原始 fMRI 数据（4D 数据）的盲方法，包括偏最小二乘法（PLS）、多集 CCA和分布 ICA。

    3.使用二级 fMRI 数据（3D 对比）的半盲（Semi-blind）方法，例如并行 ICA、系数约束 ICA（CC-ICA）、带参考的 PCA（PCA-R）、知情多模态 PLS 、带参考的多集 CCA（MCCAR）和 MCCAR+联合 ICA 。此外，最新的并行组 ICA+ICA 能够处理 4D fMRI 和 3D sMRI 特征。

     4.使用 4D fMRI 和 EEG 数据的其他多模态融合应用，包括多元线性回归、结构方程模型（SEM）或动态因果模型（DCM）。

    在这里，由于其灵活性和优势，我们将重点介绍数据驱动的多变量融合方法。上述九种多变量模型的优化策略显示在图 2 中。在接下来的部分中，我们将详细介绍六种盲融合模型和三种半盲模型及其在结合功能和结构 MRI 中的应用。

图2 展示了用于多模态融合的盲和半盲数据驱动方法的总结

3. 应用于 fMRI 多模态融合的多变量模型回顾

3.1 联合 ICA (Joint ICA)

     联合 ICA（jICA）是一种二级 fMRI 分析方法，它假设两个或多个特征（模态）共享相同的混合矩阵，并最大化联合成分之间的独立性。这是一种直接而有效的方法，通过在水平方向（沿体素）连接特征来执行 ICA。它适用于检查模态之间的共同连接，并要求接受一种数据类型（例如 GM）的变化与另一种数据类型（例如功能激活）相关的可能性。联合 ICA 适用于许多成对的特征组合，例如 fMRI、sMRI 和 dMRI，或三路数据融合。为了控制基于扫描仪、模板和群体差异的 MR 图像中的强度差异，通常每个特征矩阵（维度：受试者数量 × 体素数量）都会标准化为特定研究的模板。

图3 听觉 Oddball/灰质 jICA 分析。

    只有一个成分显示出患者和对照组之间的显著差异。听觉 Oddball fMRI 数据（左）和灰质（中）数据的联合源图与患者和对照组的加载参数（最右）一起呈现。

    图3显示了使用 jICA 方法从精神分裂症（SZ）患者组和健康对照组（HCs）收集的分析数据。主要发现是双侧顶叶和额叶以及后颞叶区域的 GM 差异区分了这两组。在这些双侧前颞叶区域发现较少的患者 GM 和较少的目标检测血流动力学活动，这与以前的工作一致。该发现的一个意想不到的推论是，在显示最大组间差异的区域中，患者的 GM 浓度高于对照组，这表明更多的 GM 可能与执行听觉 Oddball任务期间较少的功能连接有关。

3.2 多模态 CCA (Multimodal CCA)

     多模态 CCA 允许每个模态有不同的混合矩阵，用于找到最大化两个数据集之间受试者间协变的变换坐标系。该方法将每个数据集分解为一组成分及其相应的混合概况，称为典型变量（Canonical Variants, CVs）。CVs 对不同的受试者具有不同水平的激活，如果它们在受试者之间以相似的方式调节，则它们是相关联的。分解后，CVs 仅在相同的索引上相互关联，其相应的相关值称为典型相关系数。与限制两个特征具有相同混合矩阵的 jICA 相比，mCCA 是灵活的，因为它允许两个特征之间存在共同以及不同水平的连接，如图 4 所示，但相关的源图在空间上可能不是稀疏的，特别是当典型相关系数区分不够明显时。

    多模态 CCA 对数据类型范围的差异具有不变性，可用于联合分析非常多样化的数据类型。它还可以扩展到多集 CCA，以包含两个以上的模态 [54]。请注意，多模态 CCA 作用于二级 fMRI 特征——对比图，而多集 CCA 也可以处理 4D 原始 fMRI 数据（未在图 1 中显示），例如，最大化并发 fMRI 和 EEG 数据之间的试验到试验的协变 [35]。

3.3 偏最小二乘法 (Partial Least Squares)

     偏最小二乘法（PLS）作为多变量数据分析家族的一部分，基于因变量和预测变量之间线性关系的定义，因此目标是确定一组观察结果（例如成像数据）的哪些方面与另一组数据（例如实验设计、行为）直接相关。PLS 最早由 Martinez-Montes 等人应用于多模态融合，其中提出了多路 PLS（N-PLS）来寻找 fMRI 时间进程（因变量）与来自单个受试者的 EEG 数据的频谱成分（自变量）之间的相关性。Chen 等人进一步提出了多模态 PLS（MMPLS），以同时表征正电子发射计算机断层扫描（PET）和 GM 模式之间的联系。多模态 PLS 可以在知情于感兴趣变量（如年龄）的情况下执行，也可以对这些额外信息不可知（有或无先验）。研究人员可能希望在数据分析中预先指定使用这两种方法中的哪一种。不可知 MMPLS 用于识别 PET（相关数据块）和 sMRI（独立数据块）之间的联系，这主要面向协方差模式和相关潜在变量的提取，而不是用于分类。

    尽管 PLS 与 CCA 有一定的相似性，因为它们都最大化集合间的相关性，但 PLS 基于依赖关系的定义，特别是在数据集成分之间的依赖关系被明确评估时效果良好；而 CCA 不为任何一种模态分配自变量/因变量标签，并将两者同等对待 。因此，PLS 特别适合分析大脑活动测量与行为或实验设计之间的关系，而当识别出的效应与研究人员的先验预期不符时，PLS 的解释困难往往会出现。

3.4 mCCA+jICA

     根据许多先前结合功能和结构的大脑连接研究的发现，假设从每个模态分解出的成分在受试者之间的混合概况具有一定程度的相关性是合理的。mCCA+jICA 是一种盲数据驱动模型，针对这种情况进行了优化，并且在实现灵活的模态关联和源分离方面具有出色的性能。它利用了两种互补方法的优势：mCCA 和 jICA，从而允许高连接和弱连接以及联合独立成分。mCCA 通过相关性提供更接近的初始匹配，使 jICA 工作更加可靠；而 jICA 进一步分解相关图中的剩余混合物，并放宽了对典型相关性施加的充分区分的要求。jICA、mCCA+jICA 的代码可以通过 Fusion ICA Toolbox (FIT,http:///software/fit/) 获取。请注意，mCCA+jICA 方法不会明显增加计算负荷，也不限于双向融合，而是可以通过用多集 CCA 替换多模态 CCA，潜在地扩展到多种数据类型的三向或 N 向融合。它能够稳健地识别 N 种不同数据类型之间的对应关系，并使人们能够研究某些疾病风险因素是在多种模态中共享还是独特这一重要问题。根据这一概念，该方法已被用于融合 2 路、3 路或 4 路 MRI 特征以研究精神分裂症。如图 4 所示，当利用四种类型的 MRI 特征进行联合分析以调查大量人群中精神分裂症的多重损伤时，我们不仅在纹状体、海马体和额顶网络中发现了协变的功能和结构区域，还发现了这些改变区域在不同扫描仪之间的高度空间一致性。这表明 MCCA+jICA 的融合结果具有高度的稳健性和可复制性，同时为模态之间缺失的联系提供了独特的视角。

图4 MCCA+jICA 在使用不同扫描仪的两个队列中识别出的精神分裂症多模态改变。

4. MCCAR+jICA

    MCCAR+jICA 的主要思想很直接：在保持 MCCA+jICA 性能的同时，我们希望优化特定的受试者水平与感兴趣测量的相关性，例如认知/行为评分、疾病症状或遗传变异。因此，采用先验信息作为参考来指导多模态数据融合的监督、目标导向模型成为一种自然的选择。为此，提出了一种称为“带参考的多站点典型相关分析 + 联合独立成分分析”（MCCAR+jICA）的融合参考模型，该模型能够以更高的估计精度识别与参考相关的协变多模态成像模式。

    假设存在 n 个多模态数据集 X_k，且每个数据集都是由分量 C_k 的线性混合构成，其对应的混合矩阵为非奇异矩阵 A_k，其中 k = 1, 2, 3 表示模态。即

X_k = A_k C_k

     其中，X_k 是一个 被试 × 体素 的特征矩阵，而 A_k 的维度为 被试数 × 分量数 M。带参考信号的多集合典型相关分析（MCCA with reference，MCCAR）首先引入一个额外约束，用以最大化的不仅是各模态混合矩阵之间的协方差，同时还最大化 A_k 与参考信号之间的逐列相关性，如公式（1）所示。

    其中，ref 为一个 N × 1 向量，用以表示参考测量指标，N 为被试数量；corr(A_k, A_j) 表示 A_k 与 A_j 之间的逐列相关性，corr(A_k, ref) 表示 A_k 与参考信号 ref 之间的逐列相关性。经过 MCCAR 优化之后，可以在每一种模态中获得与参考信号 ref 相关的潜在目标分量 C_i，同时这些分量在不同模态之间、跨被试层面具有最大的相关性。

    随后，对拼接后的映射 [C₁, …, C_M] 进一步应用联合独立成分分析（joint ICA），以在保持潜在目标分量之间模态关联性的同时，最大化其空间独立性。通过线性源分解，可获得最终的独立成分（independent components，ICs）S_k，以及其对应的混合矩阵 D_k，其关系如下所示：

    在所得的 S_k 中，一个或多个与参考信号 ref 具有特异性相关的联合独立成分（ICs）将被识别为目标独立成分 IC_ref。

    因此，通过结合先验信息，MCCAR+jICA 能够识别一个联合多模态成分，该成分在参考测量内和它们之间（模态间相关性）具有稳健的相关性，这是盲 N 向多模态融合方法可能无法检测到的。这种方法已成功应用于识别与认知评分、遗传变异 、人格和症状相关的多模态 MRI 特征。

图5 认知导向的多模态融合和预测分析流程图。

     如图 5 所示，基于 MCCAR+jICA 通过监督学习策略，认知综合评分被用于指导两个独立队列（包括健康个体和精神分裂症患者）的三向多模态 MRI 融合。识别出的 MRI 特征在跨队列中高度一致，更重要的是，它们对多领域认知表现具有预测性，表明参考指导的多模态融合结果可以作为相关认知测量的有效预测因子。

4.1 并行组 ICA+ICA (Parallel Group ICA+ICA)

    目前大多数涉及 fMRI 的多模态融合方法仅限于不包含其丰富时间信息的 3D 特征摘要。因此，提出了能够结合一级 4D fMRI 数据（包含时间信息）的并行组 ICA+ICA（并行 GICA）融合方法。该方法在统一的优化框架中将组 ICA 集成到并行 ICA 中，其中定义了一个新的变异性矩阵来捕获受试者层面的功能变异性，并用于链接多个模态的混合矩阵。这种方法允许 4D fMRI 与结构 MRI 特征进行 2 路和 3 路融合，能够识别多模态时空联系，并为在统一的多模态框架中研究脑部疾病提供替代视角。

5. 基于功能和结构 MRI 测量的其他多模态应用

    上述所有数据驱动的多变量方法都侧重于检查模态间的协方差，这为发现多模态关联提供了一种自然的方式。在跨模态连接和分类的背景下，还有许多其他结合功能和结构 MRI 测量的多模态研究。

    从历史上看，结构和功能脑成像的结合一直用于分析先验定义（基于图谱）或数据驱动选择（例如，基于 ICA 成分）的脑区中的功能活动。系统神经科学的一个核心假设是，大脑的结构可以预测和/或与功能连接有关。Segall 等人的发现支持了这一假设，这通常表明源自 ICA 的每个单一结构成分通常对应于几个静息态功能成分。在 Khullar 等人的研究中，功能信息能够提高受试者间功能边界的对应性，超越了标准的结构标准化。精神病理学现象的研究也可以使用认知任务和 GM 体积发现精神分裂症或精神风险状态下结构和功能改变的空间重叠。Salgado-Pineda 等人 发现了三个区域，包括丘脑、前扣带皮层和下顶小叶，这些区域显示出与精神分裂症注意力处理相关的结构和功能损伤。同一小组的后续研究还在精神分裂症的 DMN 中发现了功能改变（面部情绪任务）和 GM 体积减少。

     另一方面，许多已进行的 fMRI-DTI 研究解决了抑郁症、精神分裂症（SZ）、阿尔茨海默病（AD）和双相情感障碍等精神疾病中出现的脑连接中断问题。例如，Skudlarski 等人评估了在同一受试者中收集的解剖和功能连接测量之间的相互作用，以研究与精神分裂症相关的全局脑连接改变。Schlosser 等人观察到精神分裂症患者额叶 FA 减少与前额叶和枕叶皮层区域的 fMRI 激活之间存在直接相关性 。这一发现突显了额颞解剖回路中的解剖变化与前额叶皮层的功能改变之间的潜在关系。Staempfli 等人还说明 DTI 和 fMRI 衍生的拓扑结构是相似的，fMRI-DTI 组合可以提供额外信息，以便选择合理的种子区域来识别功能相关的网络并验证重建的 WM 纤维。Koch 等人的研究表明，以左侧颞上回径向扩散率增加为特征的 WM 纤维完整性与外侧额叶和扣带皮层的神经激活减少有关，这表明完整的白质连接对于参与决策的神经网络的功能激活模式和强度起着重要作用。

     至于分类，越来越多的研究表明，结构和功能数据的融合潜力可能会改善脑部疾病的分类和预测 。例如，MCI（通常是 AD 的早期阶段）由于其认知障碍症状相当轻微且几乎不显著而难以诊断。在试图从健康对照组中识别 MCI 患者时，Kim 和 Lee表明，sMRI 和 fMRI 的整合可以提供互补信息，以提高 MCI 的诊断率，相对于单独使用任何一种模态（双模态错误率：6% vs 仅用 fMRI 15% 和仅用 sMRI 35%），并且结合功能和结构连接的相互多尺度三元图卷积网络（MMTGCN）也提高了多种脑部疾病分类的准确性。同样，Wee 等人通过采用多核支持向量机（SVMs）整合了来自 DTI 和静息 fMRI 的信息，与独立使用每种模态相比，使用多模态数据（96.3%）在预测 MCI 与 HC 的分类准确性方面产生了统计学上的显着提高（>7.4%）。此外，利用集成特征选择策略和先进的支持向量机，Westlye 等人 结合静息态 fMRI、EEG 和 sMRI 数据将精神分裂症从健康对照中分类出来，与每种单一模态相比取得了 91% 的最佳准确率，证实了多模态融合的有效性和优势。上述发现表明，通过先进的建模技术整合多模态数据可以提供更准确和早期的脑部异常检测 ，这可能无法通过大多数神经影像实验中通常执行的单独单模态分析来揭示。

6. 讨论

    非常清楚的是，有各种各样且不断增长的科学工具可用于非侵入性地研究人脑功能并将其与认知和行为测量联系起来。利用这些技术，在表征结构/功能脑异常及其相互作用方面取得了实质性进展。此外，整合/融合方法的一个主要目标是利用每种模态的相对优势，协同提供结果。本文回顾的所有多模态研究均已总结并分类到表 1 中的不同模态类别中。总的来说，我们回顾的大多数研究表明跨测量模态的效应是一致的，结合模态确实在多种疾病之间提供了更强的区分能力。

表1 结合功能和结构 MRI 测量的研究总结

     尽管最近的多模态成像结果很有希望，但仍有许多工作要做。由于多模态成像领域相对较新，大多数研究代表了新颖的发现；然而，需要重复研究以得出关于结构-功能关系的普遍结论。其次，多模态融合被证明对于更丰富地理解大脑活动和疾病是富有成效的，但在训练样本中融合尽可能多的模态/特征并不保证组间的最佳区分或分类，正如先前的研究所报告的那样；因此，比较单模态和多模态结果的组合将是有帮助的，正如其他研究中所做的那样。这项工作未来可以通过使用更大的数据集和各种模态来开展。多模态数据融合的一个主要挑战来自于被融合数据类型的差异性和结果解释。然而，自 2009 年出现以来，鉴于多模态数据采集的主导地位，N 向多模态融合可能成为未来神经影像研究的主要方向之一。最后，在纵向大脑研究中引入多模态分析和个性化预测将是一个趋势，因为对基线和多个时间点的变化进行建模有很多可能性。

    总之，我们才刚刚开始释放多模态成像的潜力，它为基于各种脑成像测量进一步加深我们对脑部疾病的理解提供了前所未有的机会。未来最有希望的途径可能在于开发更好的模型，这些模型可以补充和利用我们数据的丰富性。这些模型可能已经存在于其他学科中（如机器学习、机器视觉、计算神经科学和行为经济学），并可能使更广泛的神经科学能够利用神经影像技术，从而以理论为基础的方式解决关键问题。

如需原文及补充材料请添加思影科技微信：19962074063或18983979082获取,如对思影课程及服务感兴趣也可加此微信号咨询，目前全部课程均可报名且支持预存。另思影提供免费文献下载服务，如需要也可添加此微信号入群，原文也会在群里发布，如果我们的解读对您的研究有帮助，请给个转发支持以及右下角点击一下在看，是对思影科技的支持，感谢！