一种新型神经网络正在帮助物理学家应对数据分析的艰巨挑战 - IT思维

公众号/ ScienceAI（ID：Philosophyai）

编辑 | 绿萝

假设你有一本一千页的书，但每一页只有一行文字。你使用扫描仪提取书中包含的信息，这个特定的扫描仪系统地扫描每一页，一次扫描一平方英寸，要花很长时间才能读完整本书，而且大部分时间会浪费在扫描空白处。

这就是许多实验物理学家的生活。在粒子实验中，探测器捕获并分析大量数据，即使其中只有一小部分包含有用信息。「在一张鸟儿在天空中飞翔的照片中，每个像素都可能有意义，」SLAC 国家加速器实验室的物理学家 Kazuhiro Terao 解释道。但在物理学家看到的图像中，通常只有一小部分真正重要。在这种情况下，仔细研究每个细节会消耗不必要的时间和计算资源。

但这种情况正在开始改变。借助一种称为稀疏卷积神经网络 (Sparse Convolutional Neural Network，SCNN) 的机器学习工具，研究人员可以专注于数据的相关部分并筛选出其余部分。研究人员使用这些网络极大地加快了他们进行实时数据分析的能力。他们计划在至少三大洲的即将进行或现有的实验中使用 SCNN。这一转变标志着物理学界的历史性变化。

「在物理学中，我们习惯于开发自己的算法和计算方法，」哈佛大学物理学家 Carlos Argüelles-Delgado 说。「我们一直走在发展的最前沿，但现在，在计算端，计算机科学往往处于领先地位。」

稀疏字符

SCNN 的工作始于 2012 年，当时在华威大学(University of Warwick)工作的 Benjamin Graham 想要构建一个可以识别中文手写体的神经网络。

当时处理这类图像相关任务的首要工具是卷积神经网络（CNN）。对于中文手写任务，书写者会在数字平板电脑上描写一个字符，生成一张例如 10,000 像素的图像。然后，CNN 将在整个图像上移动一个称为内核的 3×3 网格，使内核分别以每个像素为中心。对于内核的每个位置，网络都会执行复杂的数学计算，称为卷积，以寻找区别特征。

CNN 旨在用于信息密集的图像，例如照片。但是包含汉字的图像大多是空的；研究人员将具有此属性的数据称为稀疏数据。这是自然界中任何事物的共同特征。Graham 说：「举个例子说明世界是多么稀疏」，如果埃菲尔铁塔被包裹在尽可能小的矩形中，那么该矩形将由「99.98% 的空气和仅 0.02% 的铁」组成。

南极冰立方中微子观测站。

Graham 尝试调整 CNN 方法，以便将内核仅放置在图像的 3×3 部分上，这些部分至少包含一个具有非零值（并且不仅仅是空白）的像素。就这样，他成功地制作了一个能够高效识别手写中文的系统。它以仅 2.61% 的错误率识别单个字符赢得了 2013 年的比赛。（人类平均得分为 4.81%。）接下来他将注意力转向了一个更大的问题：三维物体识别。

论文地址：https://arxiv.org/abs/1711.10275

论文地址：https://arxiv.org/abs/1706.01307

到 2017 年，Graham 转到 Facebook AI Research 并进一步完善了他的技术并发布了第一个 SCNN 的详细信息，该 SCNN 仅将内核集中在具有非零值的像素上（而不是将内核放在任何 3×3 像素上）至少有一个「非零」像素的部分）。Terao 为粒子物理世界带来的正是这种普遍的想法。

地下拍摄

Terao 在费米国家加速器实验室参与了探索中微子性质的实验，中微子是已知最难以捉摸的基本粒子之一。它们也是宇宙中质量最丰富的粒子（尽管不多），但它们很少出现在探测器内。因此，中微子实验的大部分数据都很少，Terao 一直在寻找更好的数据分析方法。他在 SCNNs 中找到了一个。

2019 年，他将 SCNN 应用于模拟深层地下中微子实验 (DUNE) 的预期数据，该实验将于 2026 年上线，届时将成为世界上最大的中微子物理实验。该项目将从芝加哥郊外的费米实验室发射中微子， 穿过 800 英里的地球到达南达科他州的一个地下实验室。在此过程中，粒子将在三种已知类型的中微子之间「振荡」，这些振荡可能会揭示中微子的详细特性。

与普通方法相比，SCNN 分析模拟数据的速度更快，并且需要的计算能力大大降低。这些有希望的结果意味着 SCNN 很可能会在实际的实验运行中使用。

SCNN 比普通方法更快地分析模拟数据，并且这样做需要的计算能力要少得多。有希望的结果意味着 SCNN 可能会在实际的实验运行中使用。

与此同时，在 2021 年，Terao 帮助将 SCNN 添加到费米实验室另一个名为 MicroBooNE 的中微子实验中。在这里，科学家们研究了中微子与氩原子核之间碰撞的后果。通过检查这些相互作用产生的轨迹，研究人员可以推断出有关原始中微子的细节。为此，他们需要一种算法，该算法可以在探测器的三维表示中查看像素（或者从技术上讲，它们的三维对应物称为体素），然后确定哪些像素与哪些粒子轨迹相关联。

由于数据非常稀疏——大型检测器（大约 170 吨液态氩）中的少量细线——SCNN 几乎是这项任务的完美选择。Terao 说，使用标准的 CNN，由于要完成所有计算，图像必须分成 50 块。「使用稀疏的 CNN，我们可以一次分析整个图像——而且速度更快。」

及时触发

从事 MicroBooNE 工作的研究人员之一是一名名叫 Felix Yu 的本科生实习生。SCNN 的强大功能和效率给他留下了深刻的印象，作为哈佛大学研究实验室的研究生，他带着这些工具来到了下一个工作场所，该实验室正式隶属于南极冰立方中微子天文台。
天文台的主要目标之一是拦截宇宙中最具活力的中微子并追踪它们的来源，其中大部分位于我们银河系之外。该探测器由埋在南极冰层中的 5,160 个光学传感器组成，在任何给定时间只有一小部分会亮起。阵列的其余部分仍然是黑暗的，并没有提供特别的信息。更糟糕的是，探测器记录的许多「事件」都是误报，对中微子搜寻没有用。只有所谓的触发级事件才能进行进一步分析，并且需要立即决定哪些事件值得指定，哪些事件将被永久忽略。

标准 CNN 对于这项任务来说太慢了，因此 IceCube 的科学家们长期以来一直依赖一种名为 LineFit 的算法来告诉他们潜在有用的检测结果。但 Yu 说，该算法并不可靠，「这意味着我们可能会错过一些有趣的事件。」 同样，它是一个非常适合 SCNN 的稀疏数据环境。

论文地址：https://arxiv.org/abs/2303.08812

Yu 与他的博士生导师 Argüelles-Delgado 以及威斯康星大学麦迪逊分校的研究生 Jeff Lazar 一起量化了这一优势，在最近的一篇论文中表明，这些网络的速度将比典型的 CNN 快 20 倍左右。Lazar 说：「这足以运行检测器发出的每个事件，」每秒大约 3,000 个。「这使我们能够更好地决定丢弃什么和保留什么。」

IceCube 有数千个传感器深埋在南极冰层中，例如左边的那个（由研究人员和工程师签名）。在任何时候，这些传感器中只有少数能为中微子猎手提供有用的数据，因此研究人员需要一种工具来帮助他们分离出不需要的数据。

作者还在使用官方 IceCube 数据的模拟中成功采用了 SCNN，下一步是在南极计算系统的副本上测试他们的系统。如果一切顺利，Argüelles-Delgado 认为他们应该在明年将他们的系统安装在南极天文台。但这项技术可能会得到更广泛的应用。「我们认为 [SCNN 可以使] 所有中微子望远镜受益，而不仅仅是 IceCube，」Argüelles-Delgado 说。

超越中微子

麻省理工学院的物理学家 Philip Harris 希望 SCNN 能够帮助最大的粒子对撞机：CERN 的大型强子对撞机 (LHC)。Harris 从麻省理工学院的同事计算机科学家宋涵那里听说了这种神经网络。「Song 是使算法快速高效的专家，」Harris 说——非常适合大型强子对撞机，那里每秒发生 4000 万次碰撞。

几年前，当他们交谈时，Song 告诉 Harris 他正在与实验室成员一起进行的一个自动驾驶汽车项目。Song 的团队使用 SCNN 分析车辆前方空间的 3D 激光地图，其中大部分是空的，以查看前方是否有任何障碍物。

Harris 和他的同事在大型强子对撞机上面临着类似的挑战。当两个质子在机器内部碰撞时，碰撞会产生一个由粒子组成的膨胀球体。当其中一个粒子撞击收集器时，会发生二次粒子雨。「如果你能绘制出这场流星雨的全部范围，」Harris 说，「你就能确定产生它的粒子的能量，」这可能是一个特别感兴趣的物体——类似于希格斯玻色子，物理学家 2012 年发现的暗物质粒子，物理学家仍在寻找。

「我们试图解决的问题归结为连接点，」Harris 说，就像自动驾驶汽车可能连接激光地图上的点以检测障碍物一样。

Harris 说，SCNN 将使大型强子对撞机的数据分析速度至少提高 50 倍。「我们的最终目标是让 [SCNN] 进入检测器」——这项任务至少需要一年的文书工作和社区的额外支持。但他和他的同事们充满希望。

总而言之，SCNNs——一个最初在计算机科学领域构想的想法——很快将在中微子物理学 (DUNE)、中微子天文学 (IceCube) 和高能物理学 (LHC) 中进行的最大实验中发挥作用。

Graham 说，当他得知 SCNN 已经进入粒子物理学领域时，他感到非常惊喜，尽管他并不完全感到震惊。「从抽象意义上说，」他说，「一个粒子在空间中运动，有点像笔尖在纸上运动。」

参考内容：https://www.quantamagazine.org/sparse-neural-networks-point-physicists-to-useful-data-20230608/