卷积神经网络和视觉转换器是计算机视觉深度学习模型的两个示例,它们通过假设平面区域来分析信号。例如,数码照片在平面上显示为像素网格。尽管如此,这种数据类型仅代表科学应用中遇到的各种数据的一小部分。
但是,通过使用平面方法处理球形信号,可以改进一些事情。首先,存在采样问题,这意味着不可能在球体上定义均匀网格,而不会产生明显的失真。其次,旋转经常混淆球体上的信号和局部模式。为了确保模型准确地学习特征,我们需要等方差到3D旋转。因此,可以更有效地使用模型参数,并且可以使用更少的数据进行训练。
直观地说,分子特性预测和气候预测问题都应该受益于球形CNN。分子的内在性质对于3D结构的旋转是不变的,因此旋转等变表示将提供一种自然的方式来编码这种对称性。
因此,研究人员在JAX中制定了一个开源库,用于球面上的深度学习。它在分子特性预测和天气预报基准上的表现优于最先进的结果,通常由变压器和图形神经网络处理。
研究人员强调,这些可以解决采样和旋转鲁棒性的问题。它通过利用球形卷积和互相关操作来实现。球形CNN在两个关键领域提供了有前途的应用:医学研究和气候分析,具有催化社会变革性进步的潜力。
球形CNN在解决与预测化学性质和理解气候状态相关的挑战方面具有理论优势。利用旋转等变表示在捕获分子结构的固有对称性方面变得特别合乎逻辑,其中属性对于 3D 旋转保持不变。
由于大气数据自然地显示在球体上,因此球形CNN非常适合这项任务。它们还可以有效地管理这些数据在不同位置和方向的重复模式。
研究人员表示,他们的模型在许多天气预报基准上超过或匹配基于传统CNN的神经天气模型。该模型提前六小时预测了几个大气变量的值,测试环境的结果如下所示。然后,在训练期间最多提前五天进一步评估模型,并提前三天进行预测。
此外,这些模型在各种天气预报场景中表现出卓越的性能,证明了球形CNN作为神经天气模型的有效性,取得了突破性的成就。本研究概述了缩放球形CNN的最佳策略,并提供真实数据以支持它们在这些特定应用中的适用性。