2017年问世的Transformer架构(编者注:一种深度学习模型),被认为是目前人工智能大模型的技术基石。其基于简单的神经元和复杂的网络架构,在尺度定律的驱动下,通过增加网络规模、算力资源和数据量提升模型智能水平,并取得了巨大成功。
但这就是AI的未来吗?我们是继续沿着Transformer架构的道路不断扩充参数规模,还是回过头来,向这个世界上最精巧的智能系统——人类大脑,寻求启发?
当前学术界对此仍存在较大争论。支持者,如诺贝尔物理学奖得主、深度学习之父杰弗里·辛顿,图灵奖得主、纽约大学教授杨立昆等著名学者坚持神经科学是AI发展的重要灵感来源。杰弗里·辛顿曾明确表示,克服人工智能局限的关键在于建立计算机、科学和生物学之间的桥梁。反对者则认为,AI的重要成果并未受到神经科学机制的启发,将来或许也不用。
但是,单一路线的系统性风险不容忽视:其在效率、可解释性等方面的内在局限,会沿技术栈被放大并传导至所有下游应用,如Transformer架构在处理长序列时存在二次复杂度增长的问题,严重限制了其在长文本、科学计算等场景中的应用。科学家们有责任前瞻地回答这样的问题:单纯追求规模的增长是否能持续推动AI系统向更高阶段发展?我们是否应该寻求其他突破性的研究方向,来进一步优化现有系统?
在笔者看来,类脑计算,或许将成为未来AI的发展方向。
人脑作为已知最高效的智能系统,以约20瓦的功耗支撑千亿级神经元和千万亿级突触的复杂动态网络,其能效远超现有任何AI系统。这种高效的信息处理机制,尤其是事件驱动、稀疏计算、多尺度动力学等特性,为构建下一代低功耗、高性能AI模型提供了宝贵借鉴。神经科学,尤其是其对人脑工作机制的研究,正为AI未来发展提供一条全新的路径。
然而,神经科学与AI技术之间存在一个明显的鸿沟。从当前的研究来看,神经科学主要侧重于精细的结构和生理细节,强调神经元之间的复杂连接以及大脑尺度的动力学,而AI技术则更注重抽象的结构和计算的高效性,尤其是在大规模并行计算方面。例如,GPU(图形处理器)在处理大规模并行计算时,能够实现高效的计算能力,但却难以高效支持当前神经科学所关注的精细结构和神经元建模。这也就造成了神经科学和AI之间的鸿沟——当前AI模型往往难以将神经科学中的复杂结构融入进来,更遑论将其扩展到大规模的计算模型中。
尽管关于未来AI实现路径的争议仍在,尽管存在这样那样的困难,但AI研究者们给出了选择——脑科学与人工智能的结合已逐渐成为现实,各主要发达国家都把类脑计算、神经网络等的研发,列为未来重点发展的领域。
想在类脑计算领域占据领先地位,就要继续强化前沿交叉研究,加强与神经科学、心理学、数学、计算机科学、量子科学等学科的交叉,拓展深化人工智能基础理论研究范畴,推动下一代人工智能技术在基础模型架构、高效学习范式和复杂认知推理等方面的突破。
可喜的是,中国在这一方向上已经取得若干突破。以笔者所在的研究组为例,我们日前成功研发了类脑大模型“瞬悉1.0”(SpikingBrain)。经过测评,其在多个核心性能上实现了突破。首先,它在极低数据量下实现了高效训练,显著提升了长序列训练效率。其次,它的推理效率得到数量级提升,特别是在超长序列处理上展现出显著优势。这使其在“人工智能+”场景下,如法律/医学文档分析、复杂多智能体模拟、脑机接口、高能粒子物理实验等超长序列日常应用和科学任务建模场景等,具有显著的潜在效率优势。再次,它构建了国产自主可控的类脑大模型生态,支持将现有Transformer模型高效转换为类脑脉冲架构。最后,它设计了多尺度稀疏机制,为低功耗的类脑大模型运行提供了有力支撑。
沿着这个方向,我们或可找到一条融合神经元丰富动力学特性,具有生物合理性和计算高效性的神经网络新路径,构建新一代通用智能模型,从而探索脑科学与人工智能基础模型架构之间的桥梁。