文 | Will D. Heaven
来源:DeepTech深科技
近日,《麻省理工科技评论》独家专访了 DeepMind 的 CEO 兼联合创始人戴密斯·哈萨比斯(Demis Hassabis),从他的学生时代聊到创业历程,亦从 AlphaGo 聊到了 AlphaFold。
图 | 戴密斯·哈萨比斯(Demis Hassabis)(来源:《麻省理工科技评论》)尽管 AlphaFold 在 2021 年名声大噪,但很明显这是哈萨比斯的起点,而不是终点。他对《麻省理工科技评论》说:“我们将看到一种全新的科学复兴,这些 AI 技术将继续变得更加复杂,并被应用到广泛的科学领域。随着 AI 浪潮的兴起,更多的问题将变得可以处理。”
(来源:《麻省理工科技评论》)如他所言,2 月 16 日,DeepMind “果真”公布了 AI 用于核聚变的新成果。当天,该公司与瑞士等离子体中心(Swiss Plasma Center,SPC)宣布,双方训练出一种深度强化学习算法,可用于核聚变研究中的等离子体磁控制。
相关论文以《通过深度强化学习对托卡马克等离子体进行磁控制》(Magnetic control of tokamak plasmas through deep reinforcement learning)为题发表在 Nature 上 [1]。
(来源:Nature)据悉,氢原子在极高温下产生一个旋转、搅动的等离子体,托卡马克使用强大的磁场将等离子体限制在数亿摄氏度温度下,甚至要高于太阳核心温度,从而进行核聚变发生研究。
值得一提的是,SPC 的托卡马克较为特殊,它允许各种等离子体配置,因此得名可变配置托卡马克(variable-configuration tokamak,TCV)。
图 | 包含等离子体的 TCV 3D 模型,周围是各种磁线圈(来源:DeepMind & SPC/EPFL)托卡马克通过一系列磁线圈形成并保持等离子体,这些线圈的设置,特别是电压,必须仔细控制。否则,等离子体可能与管壁碰撞并恶化。为了防止这种情况发生,SPC 的研究人员首先在模拟器上测试他们的控制系统配置,然后再实际应用到 TCV 上。
“我们的模拟器基于 20 多年的研究,并不断更新,”SPC 科学家兼该研究的合著者费德里科·费利奇(Federico Felici)说,“但即便如此,仍然需要长时间的计算来确定控制系统中每个变量的正确值。”
核聚变研究突破的一个关键就是发现控制等离子体的智能方法。这给了 DeepMind 大展身手的空间。DeepMind 的专家开发了一种 AI 算法,在模拟中尝试许多不同的控制策略。
根据收集到的经验,该算法生成了一种控制策略,以产生所需的等离子体配置。等离子体的配置与其在设备中的形状和位置有关。这意味着科学家可以用它来研究限制和控制等离子体的新方法。
据介绍,DeepMind 首先使用该算法运行许多不同的设置,并分析每个设置产生的等离子体配置。然后,该算法被要求以另一种方式工作 - 通过识别正确的设置来产生特定的等离子体配置。
经过训练后,基于 AI 的系统能够创建和维护各种等离子体形状和高级配置,包括同时在容器中维护两个独立等离子体的配置。并在 SPC 的模拟器上进行训练。
最后,研究小组直接在托卡马克上测试了他们的新系统,以下为系统在现实世界条件下的表现。
动图 | 使用强化学习控制器生成的各种不同等离子体形状(来源:DeepMind & SPC/EPFL)SPC 主任安布罗焦·法索利(Ambrogio Fasoli)说,这代表了“重要的一步”,可能会影响未来托卡马克的设计,甚至加快通往可行聚变反应堆的道路。
“从我的感受看,托卡马克模拟器很重要,一般的托卡马克实验参数都是有运行人员根据历史数据和经验给出的,很有可能因为各种原因局限在一些小的局域最优化参数上,用托卡马克模拟器+强化学习,确实有可能探索到一般人类不曾想到或者不敢尝试的参数空间,这对于挖掘现有聚变装置的潜力很有意义。”国内一位专家表示。
DeepMind 的成就虽然意义重大,但只是迈向可行的聚变能源的一步。托卡马克的状况每天都在变化,需要在物理和模拟中进行算法改进。关于核聚变能何时准备好商业化也存在不确定性。估计从 20 年到 30 年不等,这还不包括扩大规模。这可能是一个长达数十年的后续过程。
尽管如此,DeepMind 断言,人工智能可以帮助加速聚变能的上市之路。DeepMind 的乔纳斯·布赫利(Jonas Buchli)在简报中说:“我们相信人工智能是人类创造力的倍增器,开启了新的探究领域,使我们能够充分发挥潜力。人工智能系统正变得足够强大,可以应用于许多现实世界的问题,包括科学发现本身。”
这一切或许可以从 2016 年 3 月谈起,在韩国首尔,DeepMind 的 CEO 兼联合创始人戴密斯·哈萨比斯(Demis Hassabis)见证了该公司的 AI 技术所创造的历史。
许多人认为围棋是世界上最复杂的棋盘游戏,需要几年的时间才能掌握。然而,AlphaGo,一个受训练后掌握古老棋盘游戏围棋的计算机程序,与当时围棋界世界排名第二的韩国顶级职业选手李世石进行了五场比赛。
李世石赛前预测他将以“压倒性的优势”击败 DeepMind 的 AI。然而,AlphaGo 最终以 4-1 获胜,它的胜利同时震惊了围棋界和 AI 专家,改变了世界对 AI 能力的看法。
不过,当 DeepMind 团队在庆祝获胜时,哈萨比斯已经在考虑一个更大的挑战。他记得当时他与牵头开发 AlphaGo 的大卫·西尔弗(David Silver)站在庆祝现场的后台:“我对他说,‘现在是时候了。’”
预测蛋白质的结构:半个世纪的未解难题
看着 DeepMind 的 AI 下围棋,哈萨比斯意识到该公司的技术已经准备好应对生物学中最重要和最复杂的难题之一:预测蛋白质的结构,这是一个 50 年来科研人员一直试图解决的难题。
蛋白质的三维(3D)结构决定了它们在体内的行为和相互作用,然而大量重要的蛋白质仍然具有生物学家不知道的结构。蛋白质是许多药物的主要靶点,也是新疗法的关键成分,快速解锁它们的结构将加快新疗法和疫苗的开发。如能使用 AI 准确地预测它们,将为人们了解癌症和新冠肺炎等疾病提供宝贵的工具。
2020 年,Alphabet 旗下的 DeepMind 发布了 AlphaFold2,这是一种能将蛋白质的形状预测到接近原子尺度的 AI 工具。哈萨比斯说:“这是我们做过的最复杂的事情。”
(来源:DeepMind 官网)AlphaFold 的成功亦是一个更宏伟故事的一部分,其标志着 DeepMind 的发展方向已然发生改变。该公司的工作重点从游戏转向科学,以期对现实世界产生更大影响。解决科学问题是哈萨比斯想要实现的目标,他也希望借此“一朝成名天下知”。他说:“这就是我创立 DeepMind 的原因。事实上,这就是为什么我的整个职业生涯都在 AI 领域。”
25 年来,哈萨比斯一直在断断续续地“思考”蛋白质。20 世纪 90 年代,当他还是剑桥大学的一名本科生时,他就接触到了这个问题。哈萨比斯说:“我的一个朋友对这个问题很着迷,他会抓住任何机会(在酒吧里或者打台球的时候)跟我说,如果我们能破解蛋白质折叠,这将是生物学的变革。他的激情始终让我不能释怀。”
这位朋友叫蒂姆·史蒂文斯(Tim Stevens),现在是一名研究人员,在剑桥大学从事蛋白质结构研究工作。史蒂文斯说:“蛋白质是使地球生命正常工作的分子机器”
(来源:《麻省理工科技评论》)几乎我们身体做的所有事情都会用到蛋白质:它们消化食物、收缩肌肉、激发神经元、探测光线以及增强免疫反应等等。因此,理解单个蛋白质的作用,对于理解身体是如何工作的、当它们不工作时会发生什么、以及如何修复它们至关重要。
蛋白质由一串氨基酸组成,这些氨基酸通过化学力折叠成一个复杂的既扭曲、又旋转的结,所生成的 3D 形状决定了它的作用。
例如,血红蛋白是一种在体内运送氧气并使血液呈红色的蛋白质,它的形状像一个小袋子,这让它能捕获肺部的氧气分子。而 SARS-CoV-2 病毒的刺突蛋白结构,使其能附着在细胞上。
问题在于,很难从一串氨基酸中找出蛋白质的结构以及功能,一条展开的氨基酸串有 10300 种可能的形式,这是与围棋游戏中所有可能走法的规模相当。
在实验室中,使用 X 射线晶体学等技术来预测蛋白质结构是一项艰苦的工作。无数博士都在研究单一蛋白质的折叠。
CASP(Critical Assessment of Structure Prediction,结构预测关键评估)竞赛成立于 1994 年,该竞赛历时已久,其旨在通过每两年让计算机化预测方法相互竞争来加快研究速度。然而,没有任何一种技术能达到实验室工作的准确性。到 2016 年,相关工作进展已经停滞了十年。
2016 年,AlphaGo 获得成功后的几个月内,DeepMind 雇佣了一些生物学家,并成立了一个小型跨学科团队来解决蛋白质折叠问题。他们研究的技术在 2018 年首次被人所知,当时 DeepMind 以显著优势击败了其他技术,赢得了 CASP 13 竞赛的奖项。
然而在生物学世界之外,很少有人注意到。当 AlphaFold2 两年后问世时,情况发生了变化。AlphaFold2 赢得了 CASP 竞赛,标志着在预测蛋白质结构上,AI 以和实验室生产模型的精度误差范围,首次缩小到只有一个原子的宽度,生物学家对它的出色表现感到震惊。
哈萨比斯说,在首尔观看 AlphaGo 比赛时,他想起了一款名为 FoldIt 的在线游戏,这是一款华盛顿大学蛋白质研究人员大卫·贝克(David Baker)领导的团队在 2008 年发布的游戏。FoldIt 要求玩家以不同的方式折叠蛋白质结构,在屏幕上以 3D 图像的形式呈现。游戏背后的研究人员希望,随着很多人加入该游戏,一些关于某些蛋白质可能形状的数据可能会出现。是的,它奏效了,FoldIt 玩家甚至为一些新发现做出了贡献。
二十多岁时,哈萨比斯在麻省理工学院做博士后时玩过这款游戏,让他感到震惊的是,人类的基本直觉可以带来真正的突破,无论是在围棋中走一步棋,还是在 FoldIt 中找到一种新的配置。
哈萨比斯说:“我在想我们实际上对 AlphaGo 做了什么。我们模仿了令人难以置信的围棋大师的直觉。我想,如果我们可以模拟围棋中那种豁然开朗的感觉,那么为什么我们不能将其带入到蛋白质中呢?”
在某种程度上,这两个问题并没有太大不同。就像围棋一样,蛋白质折叠是一个极其复杂的组合问题,这是暴力计算方法无法比拟的。围棋和蛋白质折叠的另一个共同之处是,可以获得关于如何解决问题的大量数据。
其中,AlphaGo 使用了自己在过去积累的经验;AlphaFold 使用了蛋白质数据库中现有的蛋白质结构(蛋白质数据库是一个国际数据库,包含了生物学家几十年来不断增加的已解决的结构)。
另据悉,AlphaFold2 使用注意力网络(Attention Networks),这是一种标准的深度学习技术,可以让 AI 专注于输入数据的特定部分。这项技术支撑着像 GPT-3 这样的语言模型,它将神经网络导向句子中的相关单词。类似地,AlphaFold2 被导向序列中的相关氨基酸,例如在折叠结构中可能在一起的氨基酸对。
史蒂文斯说:“他们把生物学家几十年来一直在推动的所有东西结合在一起,然后在 AI 领域轻松击败了参与 CASP 的其他技术。”
(来源:DeepMind 官网)AlphaFold 已被用于各类研究
过去一年里,AlphaFold2 的影响力逐渐扩大。DeepMind 已经发布了该系统的详细工作原理,并发布了源代码。该公司还与欧洲生物信息学研究所(European Bioinformatics Institute)建立了一个公共数据库,该数据库正在填充 AI 预测的新的蛋白质结构,目前有大约 80 万个条目,DeepMind 表示明年将增加超过 1 亿个条目——几乎是科学已知的所有蛋白质。
英国 AI 药物研发公司 Exscientia 的首席科学家、牛津大学蛋白质信息学实验室负责人夏洛特·迪恩(Charlotte Deane)表示,许多研究人员仍未完全理解 DeepMind 的成就。迪恩也是 DeepMind 去年在科学期刊 Nature 上发表 AlphaFold 的论文的审稿人之一,她说:“它改变了你可以问的问题。”
世界各地的一些团队已经开始在抗生素耐药性、癌症和新冠病毒等研究中使用 AlphaFold。费城福克斯蔡斯癌症中心的罗兰·邓布拉克(Roland Dunbrack)是早期使用者之一,其领导的团队多年来一直在使用计算机预测蛋白质结构。
AlphaFold 为邓布拉克的工作带来了前所未有的准确性,他说:“它们足够精确,可以做出生物学判断,解释癌症基因的突变。我们之前一直尝试用电脑生成模型,但经常出错。”
邓布拉克说,现在当同事们请他为蛋白质建模时,他对他所提供的东西更有信心了。他说,“(不然)我真的很紧张,担心他们会回来找我说,‘我们的钱都打水漂了,你的模型很糟糕——它没有用。’”
邓布拉克表示,AlphaFold 仍然会出错。但当它运行良好时,很难区分它的预测和实验室产生的结构之间的区别。他在一个名为 ColabFold 的计算机平台上运行 AlphaFold 预测,该平台由哈佛大学支持并在 Google GPU 上运行。他说:“每天晚上睡觉前,我都会配置一个预测,运行它要花上几个小时。”
(来源:DeepMind 官网)即使是最好的 AI 也会出现愚蠢的错误
“这是一个非常有用的工具,我实验室里的每个人都在使用。”加州大学旧金山分校的结构生物学家克利门特·维巴(Kliment Verba)说。维巴主要研究癌症,但在 COVID-19 大流行的最初几周,他加入了一个由研究 SARS-CoV-2 病毒的研究人员组成的松散联盟,他想弄清楚 SARS-CoV-2 病毒的蛋白质是如何劫持宿主蛋白质的。
维巴和他的同事已经为他们感兴趣的病毒蛋白生成了部分结构,但仍然缺少一部分。许多蛋白质都拥有多个结构域。结构域是蛋白质中密集折叠的单元,一般每个结构域有几百个氨基酸长,而且每个结构域都有着自己单独的功能。一个结构域可能与 DNA 结合,另一个结构域可能与另一个蛋白质结合,以此类推。邓布拉克说:“它们就像是多头野兽。”
从结构上讲,域就像一根绳子上的结,由松散的、缠绕在一起的线连接起来。在维巴正在研究的蛋白质中,其团队已经弄清楚了绳子的粗略形状,但还没有弄清楚所有绳结的详细结构。没有这些细节,他们就无法解释它是如何工作的。
不过,他们意识到,这种蛋白质是 DeepMind 已经在 AlphaFold 上运行并在网上共享的蛋白质之一。AlphaFold 的预测并不完美,它卷起来的线不太对,但它具有蛋白质的四个结构域的形状,研究人员利用 AlphaFold 对这些结构域预测,并根据它们的大致形状将它们排列起来,这已经非常接近。
维巴说:“我清楚地记得我看到它的那一刻,这是惊人的。我们现在是世界上唯一拥有完整结构的公司。”他们很快发表了关于此次科学发现的相关出版物。
维巴认为 AlphaFold 的优势在于找到尚未被充分研究的蛋白质结构。他说:“许多我们关心的蛋白质已经被研究了几十年,很多人将毕生精力投入其中,所以我们对它们的样子有了相当好的了解。”但这仍然留下了许多未知领域。
例如,维巴对激酶很感兴趣,激酶是一种在调节细胞正常功能中起着关键作用的酶。如果它们停止正常工作,可能会导致癌症。人体中大约 500 种激酶,只有大约一半被充分了解过,其余的被称为黑暗激酶。
像维巴和邓布拉克这样的研究人员,对于开发针对激酶的抗癌药物很感兴趣,而这正是 AlphaFold 的局限性所在。
因为在实验室中研究蛋白质的结构成本很高,通常只有在蛋白质被选为有希望的候选者时才会进行,而这可能需要几个月的药物发现过程。迪恩表示,AlphaFold 希望能够扭转这一局面,以便加速该过程。她说:“现在我可以从结构开始,确定它的表面哪里有识别位点,以及哪里是可以结合药物分子的地方。”
然而,正如迪恩承认的那样,要完全理解药物和蛋白质之间的相互作用,不仅需要一个静态结构。蛋白质不会静止不动,它们的结构可通过微妙的重新配置进行循环。维巴说:“很多时候,这些小的转变是生物功能的关键。”
更重要的是,一种蛋白质可能在一种状态下接受药物,而在其他状态下则不接受。从研究人员目前所看到的情况来看,AlphaFold 似乎只预测了这些结构最常见的状态,而这对于药物开发来说可能并不重要。
当药物与蛋白质结合时,蛋白质也会改变形状,从而影响药物的作用。在最坏的情况下,药物与蛋白质的结合或对邻近蛋白质产生不可预测的连锁反应,甚至可能逆转药物的设计功能——例如激活而非抑制某些功能。
在阿斯利康,分子 AI 部门的负责人奥伦奎斯特(OlaEngkvist)认为 AI 生成的结构最终将有助于识别药物靶标——但现在还不是时候。他说:“为了实现变革,AlphaFold 需要有更好的计算方法来理解蛋白质动力学,并处理更大的蛋白质复合物。”
DeepMind 计划在下一个版本的程序中解决这些问题,其中一项工作是生成蛋白质形状的多种变体,试图捕捉其动态变化。蛋白质移动的方式是由复杂的化学原理和物理原理控制的,所以一个完整的移动模型可能需要向 AlphaFold 提供关于这一过程的大量额外信息。这种方法的缺点是,信息可能会变成一种约束,从而降低了工具的预测能力。
2021 年夏天,DeepMind 发布了 AlphaFold Multitimer,旨在预测蛋白质复合物的结构,也就是由多种蛋白质聚集在一起的超结构。但它的准确性远不如 AlphaFold,而且容易出现更明显的错误。
即使是最好的 AI 也会出现愚蠢的错误,哈萨比斯表示,AlphaGo 在败给李世石的一局中犯了一个基本错误。他说:“你可以认为这是一个 bug。但问题是,这个 bug 存在于它的知识体系之中——你不能直接进入其中并调试它。”
这是因为在不从根本上影响神经网络工作的情况下,你无法轻易地修补神经网络。哈萨比斯说:“硬编码的修复会损害 AI 的学习能力,因为它怎么知道何时使用它们?这与学习的意义背道而驰。”
因而,DeepMind 正在收集 AlphaFold 最严重错误的例子,并训练它正确处理这些错误。哈萨比斯希望研究人员破解 AlphaFold,找出不可行的地方,并与他的团队分享结果,这样他们就能让下一个 AlphaFold 变得更好。
“AI for Science”:DeepMind 开启新篇章
借助 AlphaFold,DeepMind 开启了新篇章。该公司正在投资一个名为“AI for Science”的团队,在过去的几个月里,它已经发表了一系列出版物,涉及从天气预报到数学、量子化学和核聚变等领域。它们都没有 AlphaFold 的影响力,但雄心的广度是显而易见的。哈萨比斯说:“我还没有一个写满了想要解决的问题的手册,但我心里已经有雏形了。”
图 | 目前 DeepMind 官网上显示的研究种类(来源:DeepMind 官网)AlphaFold 也标志着哈萨比斯的新篇章。2021 年 11 月,他宣布获得了一份新工作:他现在正兼任 DeepMind 的领导职务和初创公司 Isomorphic Labs 的 CEO。后者是 Alphabet 的一家新姊妹公司,将专注于将 AI 的力量带入生物技术和医学领域。
对于未来规划,哈萨比斯并没有详述太多,他说:“我们才刚刚开始,所以没有太多可说的。基本上,我认为还有很多东西像 AlphaFold 一样——药物研发途径的不同方面都将适应 AI,”他补充道,“我的意思是,真正地去做(研发)——而不是徒有其表的小分析工具。”
在哈萨比斯官宣 Isomorphic Labs 的博客文章中,他写道:正如数学被证明是物理学的正确描述语言一样,AI 可能会在生物学中扮演类似的角色。
将这些工作融入到自己的创业中,可以更容易地投入所需的精力和资源。他说:“在 DeepMind 雇佣大量化学家是没有意义的。”然而另一个事实是,尽管 DeepMind 迄今为止一直专注于纯研究(而不是为母公司 Alphabet 的产品做贡献),但是这家初创公司将主要寻找如何为大型制药公司带来新事物。
哈萨比斯说:“你可以把它想象成有点像 DeepMind 对谷歌做的事情。我们的研究影响到了百种谷歌产品;你现在接触的几乎所有谷歌产品都有一些 DeepMind 技术。你可以将 Isomorphic Labs 视为我们在谷歌之外的现实世界的出口。”
支持:李传福、Ren
责编:多加、LXS
参考:
1.Degrave, J., Felici, F., Buchli, J. et al. Magnetic control of tokamak plasmas through deep reinforcement learning. Nature 602, 414–419 (2022). https://doi.org/10.1038/s41586-021-04301-9