—————————————————
在物理学里,有个东西叫“自旋玻璃”(Spin Glasses)。听起来像玻璃,但其实它是由某些金属合金(比如金里掺点铁)做成的。它在特定低温下行为非常古怪,让物理学家们很着迷。虽然至今这玩意儿本身没啥实际大用,但研究它为啥这么古怪的理论,却意外点燃了今天人工智能(AI)的革命之火!
1982年,一位叫John Hopfield的物理学家,用研究自旋玻璃的理论,构建了一个能学习和记忆的简单网络模型。这个模型让他重新关注了当时快被AI研究者放弃的“神经网络”想法(一种模仿人脑的计算结构)。Hopfield把物理学带进了一个新领域——研究生物和机器的“智能”是怎么来的。
Hopfield的灵感来源于物理学的热力学原理:任何物理系统,都倾向于奔向能量最低的状态(就像东西总往低处滚)。他琢磨,能不能利用这个特性,用数字神经元网络来存东西、找东西?
简单说,他把“记忆”想象成能量最低点(山谷)。想“想起”这段记忆?不用到处翻找,只要把网络状态往这个“能量斜坡”一放,它自己就会“滑”到那个记忆点(山谷)停住!这个网络后来被叫做Hopfield网络,被业界成为“概念突破”。它让后来的AI研究者们能用上物理学家们为研究复杂系统(如自旋玻璃)而开发的强大数学工具。
正因为这个开创性的工作,在2024年,John Hopfield和AI先驱Geoffrey Hinton(他在Hopfield基础上做出了更关键的贡献)因为他们在“神经网络统计物理学”方面的研究,一起获得了诺贝尔物理学奖!有些人觉得奇怪:这明明是AI的胜利,为啥颁给物理学奖?但当自旋玻璃的物理原理被用来构建记忆模型和思考机器时,它已经超越了纯物理的范畴。
Hopfield最早是研究半导体的物理学家。后来他觉得在凝聚态物理领域没啥挑战了,就转向了生物领域,想弄明白生命体内化学反应是怎么精确控制的。再后来,他迷上了神经科学:人脑的意识是怎么产生的?他认为,人脑的“联想记忆”(比如闻到花香想起童年)问题,可以用他从物理学带来的工具解决。
普通电脑存东西,像图书馆按地址找书,地址和书的内容没关系,地址错了,书就找错了。但人脑不是,闻到一点花香就能想起整个童年场景。
Hopfield花了几年时间,想把“联想记忆”变成神经网络模型。他捣鼓了很久,最终找到了那把“钥匙”。
时间回到1950年代,研究特殊合金(如金铁合金)的科学家发现,在特定低温下,这些合金的磁性行为非常怪异:不像普通金属那样磁力随外场磁性消失而消失,也不像强磁铁那样规则排列。它们的磁矩(可以想象成小磁针)像冻住了一样,乱糟糟地固定着,形成了“崎岖不平”的能量地形(有很多高峰和低谷)。
物理学家们用一个叫“伊辛模型”(Ising Model)的简单工具来理解这种复杂行为。这个模型把原子想象成一个个小箭头(上或下代表不同磁矩状态),箭头之间的相互作用规则决定了整体行为。调整这些规则后,这个简单模型竟能很好地模拟自旋玻璃那种复杂的“能量地形”——系统启动位置不同,最终会滑落到不同的能量低谷里“冻结”住。
Hopfield发现,描述神经元网络的思路和描述磁性原子的伊辛模型非常像:
1.神经元可以简化成开关(激活/静默),就像箭头(上/下)。
2.一个神经元能激发或抑制邻居,强度可调,就像自旋玻璃里磁矩间相互作用的强度可变。
于是,Hopfield搭建了一个人工神经元网络。每个时刻,网络的状态就是一堆0和1的组合(激活是1,静默是0)。网络本身就是信息。
怎么让网络“记住”一个图案(比如猫的图片)?
1.训练: 调整神经元间相互作用的强度,让目标图案对应的网络状态处于一个能量最低点(山谷)。Hopfield用的方法是:增强在目标状态时“同生共死”(都激活或都静默)的神经元间的连接,减弱那些状态不一致的神经元间的连接。
2.回忆: 当给网络一个不完整或模糊的输入(类似闻到一点花香),它就会沿着“能量斜坡”向下滑,最终稳定在目标图案对应的能量谷里,重建出完整的记忆!这就是“联想记忆”。
这个网络还能存多个记忆,每个记忆有自己的小能量谷。输入离哪个记忆近,网络就滑向哪个记忆。
Hopfield的工作在1980年代点燃了AI研究者的热情:
1983-1985年: Geoffrey Hinton等人在Hopfield网络里加入了一点“随机性”,发明了“玻尔兹曼机”(Boltzmann Machine)。这不仅是个记忆模型,还能从数据中学习统计规律,并能生成符合这些规律的新数据——这是最早的“生成式AI”雏形。
2000年代初: Hinton简化了玻尔兹曼机,最终解决了训练多层“深度”神经网络的难题。
2012年后: Hinton等人的深度神经网络取得巨大成功,再也无法被忽视。今天大家熟知的ChatGPT(语言模型)、Midjourney(图像生成)等AI,都是深度神经网络的产物。它们的成功,根植于几十年前物理学家对看似“无用”的自旋玻璃的好奇探索。
Hopfield网络不仅是历史,它还在启发新的AI:
2016年: Hopfield和同事发现Hopfield网络其实是一系列模型的家族,能力不同。
2020年: 另一个团队揭示,现代AI核心架构“Transformer”(ChatGPT等模型的基础)的关键部分,其实就是Hopfield网络家族的扩展成员!
基于此,研究者开发了“能量转换器”(Energy Transformer)新架构,希望能更有理论依据地设计AI模型。
Hopfield网络最初是为记忆设计的,但现在研究者想让它“创造”。例如Midjourney这类图像生成器,用的是“扩散模型”(Diffusion Models)。它的工作原理也受物理学(物质扩散)启发:
1.训练时,给清晰的图片(如猫)一步步加噪音,变得模糊。
2.教模型一步步去除噪音,还原图片。
3.生成时,给模型一个随机噪音图,让它去除“非猫”特征,生成一张新猫图。
有趣的是,AI学界发现扩散模型也可以看作一种特殊的现代Hopfield网络!更有意思的是,当用海量数据训练现代Hopfield网络时,它的“能量地形”变得超级复杂,有时甚至会停留在“虚构”的记忆上,而不是真实的记忆——这也许正是AI创造力的来源?
物理学家早就明白一个道理:在复杂系统中,仅仅增加相互作用的组件数量(“量变”),就能导致全新的行为模式(“质变”)。这叫“涌现”(Emergence),就像名言说的:“多就是不同”(More is different)。
在深度神经网络和人脑中,这种“涌现”现象既神奇又令人困惑。我们还没有一个通用的理论能完全解释它。但或许,理解自旋玻璃等复杂系统而发展起来的物理学(特别是统计力学),正是我们理解、甚至驾驭正在改变世界的、神秘而强大的机器智能的关键工具。这也是为什么,对自旋玻璃这种“无用之物”的研究,最终能将物理学奖颁给深度学习革命的核心人物。
2021年—2025年
2019年——2020
沐芸观点(2)|从神经生理学角度看公共卫生决策难题:蚂蚁还是蚱蜢?
沐芸观点(3)|美国疫情防控窗口错失的启发: 管理中的防微杜渐
沐芸观点(7)|当资源不足时,可能缺的不是资源本身,而是思路
沐芸观点(8)| 细胞产业新基建——“1库1中心1平台”国家网络
沐芸观点(9)|COVID-19挑战的是免疫力 是否“召能战、战必胜”
沐芸观点(13)| 总书记点名的干细胞如何用于新冠肺炎治疗?
沐芸观点(15)| WHO认为新冠疫情还不符合大流行“蔓延国界”的特征
沐芸观点(16)| 从首例新冠患者个案看美国疫情防控启动机制
沐芸观点(21)| 刘沐芸:第三方细胞质量检测平台的职能和能力
沐芸观点(23)| 刘沐芸:生命健康产业——深圳的机遇与挑战
沐芸观点(25)| 刘沐芸:干细胞临床研究中企业的机遇与责任
沐芸观点(27)| 国家采购,看看德国怎么做的:控制药价,保障供应
沐芸观点(28)| 数据标准——真实世界证据支持药物研究的基础