人脑在处理复杂任务时展现出极高的能效与灵活性,因此从生物学原理中汲取灵感,成为优化人工智能系统的重要方向。类脑算法正是在这一背景下展开,试图通过类脑机制改造现有的学习算法,以实现更高效的计算。

传统的 e‑prop 是一种基于三因子学习模型的算法,它通过可及性迹(eligibility trace)实现局部信用分配,再由全局学习信号调制权重更新。

然而,原始实现依赖时间驱动的逐步更新方式,在稀疏放电的神经网络中会造成大量无效计算。事件驱动版本则只在突触事件发生时触发更新,充分利用了神经元放电的稀疏性,大幅提升了计算效率。

在此基础上,德国尤利希研究中心等多家机构组成的研究团队进一步提出了e‑prop+,引入了更多生物学增强机制。例如,考虑神经信号传输延迟、采用连续动力学而非迭代重置、通过指数移动平均实现动态放电率正则化,以及按脉冲更新权重。这些改动不仅让算法更贴近真实神经系统的运行方式,也在实验中展现出与原始方法相当甚至更优的学习性能。

主要结论是,事件驱动策略在稀疏放电场景下能够显著降低计算开销,同时保持甚至提升学习效果。换句话说,生物学约束并非限制,而是优化的契机。通过这些改动,算法在效率与可解释性之间实现了平衡。

更为重要的是,研究团队在标准任务(如模式生成、证据累积、N‑MNIST 分类)和大规模仿真中验证了该方法的有效性。在百万级神经元的仿真实验中,事件驱动 e‑prop  e‑prop+ 均展现出良好的并行扩展性,证明其不仅在理论上可行,也能在工程实践中落地。这为未来在神经形态硬件和能效敏感的 AI 应用中推广此类算法提供了坚实的基础。

该研究由一个跨学科团队完成,成员来自德国尤利希研究中心、亚琛工业大学、科隆大学、伯尔尼大学、挪威生命科学大学以及伍珀塔尔大学等机构。团队涵盖了物理学、数学、计算神经科学、生理学与数据科学等领域。

其中,Markus DiesmannSacha J. van Albada为并列最后作者,长期致力于大规模神经网络仿真平台 NEST 的开发与脑结构功能关系的研究。Agnes Korcsak‑GorzoDavid Dahmen在高性能计算与仿真框架方面具有深厚经验,推动了事件驱动算法的工程实现。Jesús A. Espinoza ValverdeMatthias Bolten则提供了数学与数值分析支持。Jonas StapmannsHans Ekkehard Plesser带来生理学与数据科学的视角,确保模型在生物学合理性与统计验证上的严谨性。

01

背景与动机

人工智能的快速发展带来了前所未有的计算需求。随着模型规模的不断扩张,尤其是大型语言模型和复杂的深度神经网络,训练与推理的能耗呈指数级增长。这种趋势不仅在学术研究中引发关注,也在产业界带来了实际的能效挑战。如何在保证性能的同时降低能耗,成为推动可持续智能的重要课题。

与此形成鲜明对比的是人脑的运行方式。人脑在处理复杂任务时展现出极高的能效,能够以极低的能耗完成感知、决策与学习。这种天然的高效性为人工智能提供了重要的启发:如果能够借鉴生物学原理,尤其是神经系统的运行机制,或许可以在工程上实现更高效的学习算法。

在学习机制的探索中,三因子模型成为一个重要的理论框架。它结合了经典的 Hebbian 学习(前、后突触活动的相关性)与第三因子(如误差信号或奖励),形成了局部可塑性与全局反馈的结合。基于这一思想,e‑prop算法被提出,它通过可及性迹(eligibility trace)实现局部信用分配,再由全局学习信号调制权重更新,从而在一定程度上接近反向传播的效果。

原始的 e‑prop 实现依赖时间驱动的逐步更新方式,在每一个仿真步中,所有突触都会被更新,即使其中大多数并没有发生事件。这种方式在稀疏放电的神经网络中造成了大量无效计算,既浪费资源,也偏离了生物学的真实机制。

稀疏性是神经系统的基本特征。神经元的放电频率通常较低,突触事件相对稀少。如果在每个时间步都更新所有突触,计算资源将被严重浪费。事件驱动的机会在于,只在真正发生突触事件时进行更新,从而充分利用稀疏性带来的计算节省。这不仅提升了效率,也更符合生物神经网络的运行方式。

因此,事件驱动的 e‑prop 不仅是对算法效率的优化,更是对生物学合理性的回归。它在工程与科学之间架起桥梁,既解决了大规模仿真中的能效问题,又为理解和模拟大脑的学习机制提供了新的工具。

02

方法与实现

研究团队详细阐述了如何将传统的时间驱动 e‑prop 学习规则改造为事件驱动版本,并在此基础上提出更贴近生物学的 e‑prop+。这一过程涉及网络架构的设计、权重更新机制的重构、延迟与历史同步的处理,以及工程实现与数学公式的总结。

总体架构概述

事件驱动 e‑prop 的网络拓扑依然遵循输入层、递归隐藏层和输出层的基本结构。输入层将外部脉冲序列传递给递归层,递归层通过脉冲发放与膜电位动态形成复杂的时序模式,输出层则将结果转化为分类或回归信号。 在变量设计上,预突触因子代表输入脉冲,后突触因子则通过替代梯度近似膜电位对脉冲的敏感性。可及性迹(eligibility trace)是突触局部的记忆,用来记录前后突触活动的关联。

 1:事件驱动权重更新下 e‑prop 的数学基础与技术实现。

学习信号由输出层误差经反馈矩阵广播到递归层,形成三因子学习规则的全局调制。整体策略采用混合模式:神经元膜电位的积分依然是时间驱动,而突触事件与权重更新则完全转为事件驱动。

事件驱动权重更新机制

在事件驱动版本中,权重更新的核心流程是归档检索更新。神经元在每个时间步归档必要的历史信息,包括替代梯度、学习信号等;当突触接收到预突触脉冲时,立即检索对应的历史条目,计算梯度并累积更新。

 mini‑batch 或迭代边界,系统会统一应用这些更新,保证首个使用新权重的脉冲能够正确对齐。 在策略上,存在两种不同的实现方式。首脉冲聚合模式在每个样本或迭代的首个脉冲时应用聚合后的更新,数值上更接近原始时间驱动版本,适合复现性实验。而每脉冲更新模式则在每次突触事件发生时立即更新权重,更贴近生物学的 STDP 机制,适合处理变长样本与无中央时钟的场景。

传输延迟与历史同步

生物神经系统中的信号传输存在非零延迟,这在仿真器中同样需要处理。事件驱动 e‑prop 显式对齐学习信号与可及性迹,保证因果性。例如,输出层的误差反馈到递归层需要一定延迟,突触在计算梯度时必须检索延迟对齐的历史条目。

研究团队采用管线化策略,将原本瞬时的通信展开为跨多步的管线,并通过左开区间积分与历史检索补足缺失的信号,从而实现延迟补偿。

数值与工程实现要点

在工程实现上,事件驱动 e‑prop 依赖高效的历史管理与并行分配。历史清理采用访问计数机制,当所有突触都已取用某段历史后即可删除,避免内存膨胀。长时间静默期则通过截断窗口限制可及性迹的存储。

并行分配方面,突触尽量与其后突触神经元分配在同一进程,减少跨进程通信开销;线程内则利用 OpenMP 并行处理事件队列。整个实现集成在 NEST 仿真器中,扩展了归档节点与突触连接类,使事件驱动更新与仿真器内核紧密结合。

数学摘要与伪代码

在数学层面,事件驱动 e‑prop 的梯度公式保持与原始版本一致,只是更新时机改为事件触发:

在时间t生成的学习信号必须与td处的合格跟踪值配对,因为输出延迟之前的网络活动导致了相应的误差。损失函数在回归任务中为均方误差,在分类任务中可采用交叉熵或时序均方误差。

伪代码结构如下:

    For each synapse (i -> j):

    On presynaptic spike at t_spike:

    Retrieve delayed eligibility trace e_ji(t_spike – d)

    Compute gradient g_ji = L_j(t_spike) * e_ji(t_spike – d)

    Accumulate gradient

    At iteration boundary:

AI类脑算法的新路径——事件驱动 e‑prop 与可持续智能

    Apply optimizer step (SGD/Adam) with accumulated gradients

    Reset accumulators

 e‑prop+ 的每脉冲更新模式中,伪代码则改为在每次突触事件发生时立即应用更新,进一步贴近 STDP 的生物学机制。

03

基准实验与结果解读

在方法提出之后,研究团队通过一系列基准实验来验证事件驱动 e‑prop 的有效性,并进一步分析其在不同任务与规模下的表现。这些实验不仅复现了原始时间驱动 e‑prop 的结果,还揭示了事件驱动策略在效率与稳定性上的优势与挑战。

 2:时间驱动模型与事件驱动模型学习性能的比较。

复现性验证:回归与分类任务

团队在经典的模式生成(pattern generation)回归任务和证据累积(evidence accumulation)分类任务上进行了复现性测试。结果显示,事件驱动版本在损失下降曲线与预测误差上与时间驱动版本高度一致。

在初始训练阶段,两者的差异几乎仅限于浮点数精度范围。然而,随着训练迭代的推进,事件驱动模型在某些试验中出现轻微偏差。

这些偏差的来源主要是数值敏感性:在近混沌的递归网络中,单个额外脉冲或浮点误差可能触发级联效应,导致脉冲模式发生分叉。尽管如此,这些差异并未影响整体学习趋势,验证了事件驱动实现的正确性。

N‑MNIST 分类实验

在更具挑战性的 N‑MNIST 数据集上,事件驱动 e‑prop 展现出稳定的收敛过程。训练曲线表明,预测误差随着迭代逐步下降,最终达到与时间驱动版本相当的水平。进一步的统计分析显示,事件驱动 e‑prop 与改进版 e‑prop+ 在收敛速度和最终测试误差上差异不显著,甚至在部分试验中 e‑prop+ 收敛略快。

这一结果说明,引入生物学增强机制并未削弱学习性能,反而可能在某些情况下改善动态适应性。团队通过多次随机种子实验和误差条形图展示了结果的显著性,确认两种方法在性能上具有可比性。

3:事件驱动的e-rop模型的学习性能。

数值敏感性分析

研究还深入探讨了事件驱动模型的数值敏感性。在近混沌的递归网络中,单个脉冲的扰动可能引发连锁反应,导致整个脉冲序列发生显著变化。

这种现象解释了为何在某些试验中,事件驱动与时间驱动模型的损失曲线出现微小偏差。团队通过对比扰动前后的脉冲模式,揭示了这种分叉效应的放大机制。

尽管整体误差仍保持在可接受范围内,但这一分析提醒我们,事件驱动策略在高敏感度网络中需要配合正则化与滤波机制,以缓解数值不稳定性。

可扩展性与性能基准

最后,团队在大规模仿真中测试了事件驱动 e‑prop 的可扩展性。在百万级神经元的实验中,事件驱动版本展现出良好的并行效率。弱扩展测试表明,随着网络规模与计算资源同步增长,算法保持近乎理想的效率;强扩展测试则显示,在固定规模下增加计算核心数,事件驱动版本甚至出现超线性加速。

这一现象源于事件驱动策略下通信与计算的稀疏化,减少了跨进程的同步开销。尽管在极大规模下仍存在通信瓶颈,但整体性能表现证明该方法能够支持脑级规模的仿真与学习。

基准实验验证了事件驱动 e‑prop 的正确性与有效性,N‑MNIST 分类任务进一步确认其在复杂场景下的学习能力,数值敏感性分析揭示了潜在的稳定性挑战,而大规模仿真则展示了其在工程落地上的可扩展性。这些结果共同说明,事件驱动策略不仅是理论上的改进,更是面向未来类脑计算与能效优化的可行路径。

04

生物现实性增强(e‑prop+

在事件驱动 e‑prop 的基础上,研究团队进一步提出了 e‑prop+,通过引入多项生物学增强机制,使算法更贴近真实神经系统的运行方式,同时保持甚至提升学习性能。

传统的放电率正则化依赖样本时长,容易受到固定时间窗口的限制。e‑prop+ 采用指数移动平均来平滑神经元的放电率,使正则化与时间尺度解耦,更加灵活地适应动态变化。这种方式强调近期脉冲的影响,能够更快响应网络活动的波动,符合生物神经元在不同状态下的自适应特性。

在分类任务中,原始 e‑prop 使用交叉熵损失,需要输出层之间的额外通信来计算 softmax 的归一化项。e‑prop+ 改用时序均方误差(temporal MSE),避免了跨神经元的额外通信开销。这不仅简化了实现,也减少了延迟对学习信号的影响,同时在性能上与交叉熵相当。

原始算法在每次迭代后会重置神经元状态与可及性迹,以避免残余活动影响下一批样本。e‑prop+ 的实验表明,这种重置并非必要。保留连续动力学不仅更符合生物神经元的运行方式,也使模型能够自然处理变长样本和跨样本的动态关联。

在证据累积任务中,学习信号需要在特定时间窗口内开启。e‑prop+ 引入了学习窗口信号生成器,通过额外的控制信号来决定何时允许权重更新。这种机制类似于生物神经系统中的调制信号,使学习过程更具灵活性和可控性。

最具生物学启发的改动是每脉冲更新机制。与传统的按迭代或样本更新不同,e‑prop+ 在每次突触事件发生时立即更新权重。这种方式与短时程可塑性和脉冲时序依赖可塑性(STDP)高度相似,强调脉冲之间的精确时序关系。它消除了对中央时钟的依赖,使学习过程更加分布式和局部化,贴近真实神经网络的运行逻辑。

 4:使用e‑prop+  N‑MNIST 训练前后网络动态与权重分布。

05

讨论与展望

事件驱动 e‑prop  e‑prop+ 的设计充分体现了理论与工程之间的平衡。引入生物学约束不仅是为了科学合理性,也带来了工程上的效率提升。例如,延迟建模和每脉冲更新既符合神经系统的特性,又减少了计算开销。这种折衷展示了类脑算法在科学与应用之间的双重价值。

尽管实验结果令人鼓舞,但仍存在一些局限性。首先,数值敏感性在近混沌网络中可能导致训练曲线出现微小偏差,需要进一步研究稳定性机制。其次,实验主要集中在标准任务和 N‑MNIST 数据集,复杂任务的泛化能力尚待验证。此外,能耗评估仍停留在仿真层面,缺乏在真实硬件上的系统性测试。

5:e-rop模型的缩放。

事件驱动 e‑prop 的高效性和生物学合理性,使其在多个领域具有应用潜力。在神经形态硬件上,它能够充分利用事件驱动架构的优势,实现低能耗的在线学习。在边缘 AI 场景中,稀疏计算与按需更新机制有助于降低能耗,提升实时性。在神经科学研究中,e‑prop+提供了一个可实验的框架,用于探索大脑学习机制的计算模型。

研究团队提出了若干值得探索的方向。奖励型 e‑prop 的扩展将使算法能够处理更复杂的强化学习任务。复杂任务的泛化能力需要在更大规模、更高维度的数据集上验证。能耗评估则是工程落地的关键,未来应在神经形态硬件平台上进行系统测试,以量化事件驱动策略在实际应用中的能效优势。(END)

参考资料:https:///pdf/2511.21674


关于波动智能——

波动智能旨在建立一个基于人类意图与反应的真实需求洞察及满足的价值体系,融合人工智能与意识科学,构建覆盖情绪识别、建模与推荐的智能引擎,自主研发面向社交、电商等场景的多模态意图识别引擎、意图标签系统及意图智能推荐算法,形成从情绪采集、意图建模到商业转化的完整解决方案。波动智能提出意图是连接人、物与内容的新型接口,其产品广泛应用于AI社交、个性化内容推荐、虚拟陪伴、电商体验优化等领域。波动智能正在探索“EMO-as-a-Service”技术服务架构,赋能企业实现更高效的用户洞察与精准情绪交互,推动从功能驱动到意图驱动的产业范式升级。


亲爱的人工智能研究者,为了确保您不会错过*波动智能*的最新推送,请星标*波动智能*。我们倾心打造并精选每篇内容,只为为您带来启发和深思,希望能成为您理性思考路上的伙伴!

加入AI交流群请扫码加微信