为什么物理学奖给了深度学习?​​

图片
刘沐芸
细胞产业关键共性技术国家工程研究中心 主任
中国(深圳)综合开发研究院  特约研究员
《中华细胞与干细胞杂志》 副总编辑

—————————————————

一个冷门物理发现的价值:自旋玻璃

在物理学里,有个东西叫“自旋玻璃”(Spin Glasses)。听起来像玻璃,但其实它是由某些金属合金(比如金里掺点铁)做成的。它在特定低温下行为非常古怪,让物理学家们很着迷。虽然至今这玩意儿本身没啥实际大用,但研究它为啥这么古怪的理论,却意外点燃了今天人工智能(AI)的革命之火!


物理学家与AI的奇妙相遇

1982年,一位叫John Hopfield的物理学家,用研究自旋玻璃的理论,构建了一个能学习和记忆的简单网络模型。这个模型让他重新关注了当时快被AI研究者放弃的“神经网络”想法(一种模仿人脑的计算结构)。Hopfield把物理学带进了一个新领域——研究生物和机器的“智能”是怎么来的。


Hopfield的灵感来源于物理学的热力学原理:任何物理系统,都倾向于奔向能量最低的状态(就像东西总往低处滚)。他琢磨,能不能利用这个特性,用数字神经元网络来存东西、找东西?


简单说,他把“记忆”想象成能量最低点(山谷)。想“想起”这段记忆?不用到处翻找,只要把网络状态往这个“能量斜坡”一放,它自己就会“滑”到那个记忆点(山谷)停住!这个网络后来被叫做Hopfield网络,被业界成为“概念突破”。它让后来的AI研究者们能用上物理学家们为研究复杂系统(如自旋玻璃)而开发的强大数学工具。


正因为这个开创性的工作,在2024年,John Hopfield和AI先驱Geoffrey Hinton(他在Hopfield基础上做出了更关键的贡献)因为他们在“神经网络统计物理学”方面的研究,一起获得了诺贝尔物理学奖!有些人觉得奇怪:这明明是AI的胜利,为啥颁给物理学奖?但当自旋玻璃的物理原理被用来构建记忆模型和思考机器时,它已经超越了纯物理的范畴。


Hopfield的探索:从物理到记忆

Hopfield最早是研究半导体的物理学家。后来他觉得在凝聚态物理领域没啥挑战了,就转向了生物领域,想弄明白生命体内化学反应是怎么精确控制的。再后来,他迷上了神经科学:人脑的意识是怎么产生的?他认为,人脑的“联想记忆”(比如闻到花香想起童年)问题,可以用他从物理学带来的工具解决。


普通电脑存东西,像图书馆按地址找书,地址和书的内容没关系,地址错了,书就找错了。但人脑不是,闻到一点花香就能想起整个童年场景。


Hopfield花了几年时间,想把“联想记忆”变成神经网络模型。他捣鼓了很久,最终找到了那把“钥匙”。


自旋玻璃的怪特性

时间回到1950年代,研究特殊合金(如金铁合金)的科学家发现,在特定低温下,这些合金的磁性行为非常怪异:不像普通金属那样磁力随外场磁性消失而消失,也不像强磁铁那样规则排列。它们的磁矩(可以想象成小磁针)像冻住了一样,乱糟糟地固定着,形成了“崎岖不平”的能量地形(有很多高峰和低谷)。


物理学家们用一个叫“伊辛模型”(Ising Model)的简单工具来理解这种复杂行为。这个模型把原子想象成一个个小箭头(上或下代表不同磁矩状态),箭头之间的相互作用规则决定了整体行为。调整这些规则后,这个简单模型竟能很好地模拟自旋玻璃那种复杂的“能量地形”——系统启动位置不同,最终会滑落到不同的能量低谷里“冻结”住。


用物理模型构建记忆网络

Hopfield发现,描述神经元网络的思路和描述磁性原子的伊辛模型非常像:


1.神经元可以简化成开关(激活/静默),就像箭头(上/下)。

2.一个神经元能激发或抑制邻居,强度可调,就像自旋玻璃里磁矩间相互作用的强度可变。


于是,Hopfield搭建了一个人工神经元网络。每个时刻,网络的状态就是一堆0和1的组合(激活是1,静默是0)。网络本身就是信息。


怎么让网络“记住”一个图案(比如猫的图片)?


1.训练: 调整神经元间相互作用的强度,让目标图案对应的网络状态处于一个能量最低点(山谷)。Hopfield用的方法是:增强在目标状态时“同生共死”(都激活或都静默)的神经元间的连接,减弱那些状态不一致的神经元间的连接。

2.回忆: 当给网络一个不完整或模糊的输入(类似闻到一点花香),它就会沿着“能量斜坡”向下滑,最终稳定在目标图案对应的能量谷里,重建出完整的记忆!这就是“联想记忆”。


这个网络还能存多个记忆,每个记忆有自己的小能量谷。输入离哪个记忆近,网络就滑向哪个记忆。


旧模型,新生命:通向现代AI

Hopfield的工作在1980年代点燃了AI研究者的热情:


  • 1983-1985年: Geoffrey Hinton等人在Hopfield网络里加入了一点“随机性”,发明了“玻尔兹曼机”(Boltzmann Machine)。这不仅是个记忆模型,还能从数据中学习统计规律,并能生成符合这些规律的新数据——这是最早的“生成式AI”雏形。

  • 2000年代初: Hinton简化了玻尔兹曼机,最终解决了训练多层“深度”神经网络的难题。

  • 2012年后: Hinton等人的深度神经网络取得巨大成功,再也无法被忽视。今天大家熟知的ChatGPT(语言模型)、Midjourney(图像生成)等AI,都是深度神经网络的产物。它们的成功,根植于几十年前物理学家对看似“无用”的自旋玻璃的好奇探索。


老树发新芽:Hopfield网络的现代意义

Hopfield网络不仅是历史,它还在启发新的AI:


  • 2016年: Hopfield和同事发现Hopfield网络其实是一系列模型的家族,能力不同。

  • 2020年: 另一个团队揭示,现代AI核心架构“Transformer”(ChatGPT等模型的基础)的关键部分,其实就是Hopfield网络家族的扩展成员!

  • 基于此,研究者开发了“能量转换器”(Energy Transformer)新架构,希望能更有理论依据地设计AI模型。


从记忆到创造:物理学的持续启发

Hopfield网络最初是为记忆设计的,但现在研究者想让它“创造”。例如Midjourney这类图像生成器,用的是“扩散模型”(Diffusion Models)。它的工作原理也受物理学(物质扩散)启发:


1.训练时,给清晰的图片(如猫)一步步加噪音,变得模糊。

2.教模型一步步去除噪音,还原图片。

3.生成时,给模型一个随机噪音图,让它去除“非猫”特征,生成一张新猫图。


有趣的是,AI学界发现扩散模型也可以看作一种特殊的现代Hopfield网络!更有意思的是,当用海量数据训练现代Hopfield网络时,它的“能量地形”变得超级复杂,有时甚至会停留在“虚构”的记忆上,而不是真实的记忆——这也许正是AI创造力的来源?


总结:多即不同,物理学是理解AI的关键钥匙

物理学家早就明白一个道理:在复杂系统中,仅仅增加相互作用的组件数量(“量变”),就能导致全新的行为模式(“质变”)。这叫“涌现”(Emergence),就像名言说的:“多就是不同”(More is different)。


在深度神经网络和人脑中,这种“涌现”现象既神奇又令人困惑。我们还没有一个通用的理论能完全解释它。但或许,理解自旋玻璃等复杂系统而发展起来的物理学(特别是统计力学),正是我们理解、甚至驾驭正在改变世界的、神秘而强大的机器智能的关键工具。这也是为什么,对自旋玻璃这种“无用之物”的研究,最终能将物理学奖颁给深度学习革命的核心人物。


往期精选一

2021年—2025年


点击查看更多>>沐芸观点<<

往期精选二

2019年——2020


沐芸观点(1)|运动使人年轻吗?

沐芸观点(2)|从神经生理学角度看公共卫生决策难题:蚂蚁还是蚱蜢?

沐芸观点(3)|美国疫情防控窗口错失的启发: 管理中的防微杜渐

沐芸观点(4)|ASCO2020年会概要

沐芸观点(5)|改变世界的生物革命

沐芸观点(6)|新冠病毒是如何攻陷人体免疫系统的?

沐芸观点(7)|当资源不足时,可能缺的不是资源本身,而是思路

沐芸观点(8)| 细胞产业新基建——“1库1中心1平台”国家网络

沐芸观点(9)|COVID-19挑战的是免疫力 是否“召能战、战必胜”

沐芸观点(10)|美国公共卫生服务部队介绍

沐芸观点(11)|如何用大规模标准化流程实现个体化治疗

沐芸观点(12)| 疫情启示:下次疫情,我们如何应对?

沐芸观点(13)| 总书记点名的干细胞如何用于新冠肺炎治疗?

沐芸观点(14)| 紧急状态下,体恤治疗的前提条件是什么?

沐芸观点(15)| WHO认为新冠疫情还不符合大流行“蔓延国界”的特征

沐芸观点(16)| 从首例新冠患者个案看美国疫情防控启动机制

沐芸观点(17)| 关于新型冠状病毒的介绍

沐芸观点(18)| 2019年——国际再生医学产业年

沐芸观点(19)| 日本小记

沐芸观点(20)| 生物样本库在妇幼健康领域的应用展望

沐芸观点(21)| 刘沐芸:第三方细胞质量检测平台的职能和能力

沐芸观点(22)| 功成不必在我,功成必定有我

沐芸观点(23)| 刘沐芸:生命健康产业——深圳的机遇与挑战

沐芸观点(24)| 诺贝尔奖的成果转化

沐芸观点(25)| 刘沐芸:干细胞临床研究中企业的机遇与责任

沐芸观点(26)| 5问医学人工智能,是否在“裸泳”?

沐芸观点(27)| 国家采购,看看德国怎么做的:控制药价,保障供应

沐芸观点(28)| 数据标准——真实世界证据支持药物研究的基础

沐芸观点(29)| 创新科技成果构建细胞治疗有效性指标评价体系

沐芸观点(30)| 国家卫健委新规下的细胞治疗未来走向:自动化、数字化、智能化