什么是KAN神经网络？
KAN，全称为科尔莫哥洛夫-阿诺德网络（Kolmogorov-Arnold Networks），是一种新型的人工神经网络架构，旨在解决传统多层感知机（MLP）在可解释性和某些复杂函数拟合能力上的局限性。与MLP最本质的区别在于，KAN将MLP中固定不变的激活函数替换为可学习的一维函数。
核心思想与数学基石
传统MLP的工作原理是，每个神经元首先对输入进行线性变换，然后通过一个预设的、非线性的激活函数（如ReLU、Sigmoid或Tanh）进行激活，最后将输出传递给下一层。KAN则不然，它摒弃了这种固定模式。
- 可学习的激活函数： KAN网络中的每个“边”（连接神经元）都承载着一个可学习的、非线性的激活函数。这些函数不再是简单的ReLU或Sigmoid，而是由一系列基函数（通常是B样条函数）线性组合而成，其系数在训练过程中不断调整。这意味着网络可以根据数据自动“发现”并优化最适合的激活模式，而不仅仅是应用一个通用模板。
- 科尔莫哥洛夫-阿诺德叠加定理： KAN的设计灵感来源于数学上的科尔莫哥洛夫-阿诺德叠加定理。该定理指出，任何连续的多元函数都可以表示为连续的一元函数和求和操作的有限组合。KAN正是这一深奥数学原理在神经网络架构上的具体实践，试图通过学习一系列简单的一维函数来构建复杂的多元映射。
- 类比与理解： 可以将KAN理解为一种“可微分的样条网格”，其中每个样条都是一个可学习的函数。它不是在网络层之间应用一个固定的非线性变换，而是在每个连接上学习一个局部的、灵活的非线性变换。
简而言之，如果说MLP是“固定套路”下的专家，那么KAN则是“灵活多变”的艺术家，能够根据数据的特性量身定制其内部的非线性变换。
KAN为何被提出？相较传统MLP有何优势？
KAN的出现并非偶然，它旨在弥补传统神经网络（尤其是MLP）在某些关键方面存在的不足，并带来了独特的新优势。
超越固定激活函数的限制
- 更强的函数拟合能力： 传统MLP依靠堆叠大量神经元和层级来近似复杂函数。然而，固定的激活函数可能导致在拟合某些具有特定周期性、指数性或其他特殊形态的函数时效率低下，需要非常多的参数和计算资源。KAN的可学习激活函数则能够更精确、更有效地捕捉这些复杂的非线性关系，因为它能够自适应地调整激活函数的形状。
- 参数效率： 在很多情况下，为了达到相同的拟合精度，KAN可能需要比MLP少得多的神经元和层数。这意味着更少的参数，从而降低了过拟合的风险，并可能在小型数据集上表现出更好的泛化能力。
可解释性与透明度
“黑箱”问题一直是深度学习面临的重大挑战。当模型做出预测时，我们往往不知道它“为什么”会做出这样的判断。KAN在解决这一问题上迈出了重要一步。
- 函数可视化与发现： KAN最重要的优势之一是其固有的可解释性。由于每个边缘上的激活函数都是一维的，它们可以被直接可视化。例如，如果一个函数学习到了形如
sin(x)、exp(x)或x^2的形状，这就可以为我们提供模型内部如何处理信息的直观洞察。在科学发现的场景中，这意味着KAN有潜力从数据中直接“发现”底层的数学公式或物理定律。 - 稀疏性与简化： KAN可以很容易地通过L1正则化等技术被“稀疏化”。这意味着在训练后，许多学习到的激活函数可能会趋近于零或常数，从而可以被剪枝掉，使得最终的网络结构变得非常简洁，甚至能够简化为可由人类理解的、具有少数项的数学表达式。这使得模型的决策路径更加清晰。
精度与效率的平衡
- 高精度： KAN在某些基准测试中展现出比传统MLP更高的精度，尤其是在拟合已知数学函数的任务上。这是因为其灵活的激活函数能够更精细地逼近目标函数。
- 收敛性： 尽管单步训练可能略慢，但KAN在达到相同精度时可能需要的总训练步数更少，或者在更少的参数下达到更好的性能，这从整体上提升了训练效率。
KAN神经网络可以在哪些领域发挥作用？
KAN的独特优势使其在多个领域具有广阔的应用前景，尤其是在那些对模型可解释性、精确函数拟合以及科学发现有强烈需求的场景。
科学机器学习与公式发现
这是KAN最被看好的应用方向之一。
物理学与化学
- 发现物理定律： KAN能够从实验数据中学习并提取出潜在的物理定律或化学反应机制的数学表达式。例如，通过输入观测到的运动数据，KAN可能能够“发现”能量守恒定律的某种形式，或者从分子的光谱数据中推断出其能量级别函数。
- 求解偏微分方程（PDEs）： KAN可以作为数值求解PDEs的一种新方法，通过学习PDE的解函数来逼近真实解，其可解释性有助于理解解的性质。
数学与工程
- 符号回归： KAN能够从数据中自动生成符号表达式，而不仅仅是黑箱预测。这对于数学建模、优化问题以及工程设计中的参数化建模都具有重要意义。
- 数据拟合与插值： 在需要高精度拟合复杂、非线性数据分布的场景中，KAN能够提供比传统插值方法或MLP更优越的性能，并且可能揭示数据背后的函数形式。
可解释AI与决策支持
- 金融建模： 在风险评估、信用评分等金融领域，可解释性至关重要。KAN能够揭示决策背后的数学关系，帮助分析师理解模型的判断依据。
- 医疗诊断： 在医疗图像分析、疾病预测等领域，医生需要了解模型做出诊断的理由。KAN提供的透明度可以增加对AI辅助诊断的信任度。
- 工业控制与优化： 优化生产流程、预测设备故障等任务中，了解关键参数之间的函数关系有助于工程师进行更精细的控制和调整。
潜在应用领域
- 材料科学： 预测新材料的性质，发现材料结构与性能之间的内在关系。
- 气候建模： 从复杂的地球系统数据中发现气候变化的关键驱动因素和函数关系。
- 药物发现： 预测药物分子与靶点之间的相互作用，甚至发现新的药物作用机制。
KAN的性能考量：参数、计算与数据需求
虽然KAN带来了革命性的优势，但在实际部署和使用时，对其性能方面的考量同样重要。这包括了模型的大小、所需的计算资源以及对数据的要求。
模型复杂度与参数量
- 参数效率： 在许多情况下，KAN为了达到与大型MLP相近或更高的精度，可能只需要更少的神经元和层。这是因为每个连接上的可学习函数具有强大的表达能力，能够以更“紧凑”的方式编码复杂信息。
- 参数构成： KAN的参数主要来自于其可学习的一维激活函数。这些函数通常由B样条基函数的系数来表示。参数的数量取决于每个样条的“网格大小”（grid size）和“样条度”（spline degree）。网格越大，样条的自由度越高，能够拟合更复杂的函数，但参数也越多。
- 稀疏化效果： 通过适当的正则化，KAN可以被有效地稀疏化。这意味着在训练后，许多函数的贡献可能趋于零，使得实际有效的参数数量大大减少，从而得到一个更小、更简洁的模型。
训练与推理计算成本
- 训练速度： KAN的训练过程相较于传统MLP可能更为复杂和耗时。这是因为除了更新网络权重，还需要优化每个连接上的样条函数的系数，并且可能涉及动态的网格调整（网格扩展）。每次前向/反向传播中，评估和更新这些样条函数比简单的固定激活函数（如ReLU）需要更多的计算资源。
- 收敛性： 尽管单步计算量可能较大，但KAN由于其强大的函数拟合能力，往往能以更少的总训练迭代次数或在更小的模型尺寸下达到满意的性能，从而在某些场景下实现总训练时间的优势。
- 推理速度： 一旦训练完成，KAN的推理速度与同等复杂度的MLP相近。如果学习到的函数可以被简化为简单的数学表达式或预先计算好的查找表，推理甚至可以非常快。但在一般情况下，评估样条函数仍然需要一定的计算量。
数据需求与泛化能力
- 数据量： 尽管KAN在理论上具有强大的函数拟合能力，但要充分发挥其学习复杂函数形态的潜力，仍然需要足够高质量的数据。如果数据量过小，可能会导致样条函数欠拟合或过拟合。
- 泛化能力： KAN在具有内在数学结构的数据集上可能表现出卓越的泛化能力。其可解释性和简化的潜力有助于避免过拟合噪声，从而学习到数据背后真正的、简洁的规律。通过有效的正则化和网格管理，KAN可以学习到更平滑、更鲁棒的函数，从而提高对未见数据的泛化性能。
如何构建和训练一个KAN神经网络？
构建和训练KAN神经网络涉及几个独特的步骤和超参数，这与传统的MLP有所不同。
KAN的架构组成
一个KAN网络由多个层组成，每层包含若干节点。节点之间通过“边”连接，而KAN的独特之处就在于这些边。
- 输入层： 接收原始数据特征。
- 隐藏层： 包含若干神经元。与MLP不同的是，每个隐藏层神经元接收来自上一层所有神经元的输出，并通过可学习的一维函数对其进行处理。
- 边（连接）： KAN的核心。每条连接（从神经元A到神经元B）都对应着一个可学习的一维激活函数
φ(x)。这个函数接收上一个神经元的输出作为输入，并产生一个经过非线性变换的值。 - 输出层： 产生最终的预测结果。
网络的整体结构可以表示为一系列嵌套的可学习函数，例如：
y = Σ φ_j( Σ φ_i(x_i) )
其中 φ 是可学习的一维函数。
训练流程详解
训练KAN是一个迭代优化过程，旨在调整可学习函数中的参数，使其更好地拟合训练数据。
初始化与优化
- 函数初始化： 可学习函数（B样条）的系数通常进行随机初始化，或者为了加速收敛，可以先用一个普通的MLP进行预训练，然后将MLP的权重作为KAN对应样条函数的小扰动初始值。
- 优化器： 训练KAN可以使用标准的梯度下降优化器，如Adam、SGD等。优化器会根据损失函数的梯度来更新样条函数的系数。
网格自适应与稀疏化
- 网格扩展（Grid Extension）： 这是KAN训练的一个重要特性。为了平衡计算效率和函数表达能力，KAN通常从一个相对稀疏的B样条网格开始训练。在训练过程中，根据需要（例如，在数据密度较高或函数变化剧烈的区域），可以动态地增加网格点，从而提升该区域的函数拟合精度。这类似于自适应网格细化技术。
- 稀疏化（Sparsification/Pruning）： 为了增强可解释性并简化模型，KAN通常会引入正则化项（如L1正则化）来鼓励许多可学习函数的输出趋近于零。在训练完成后，那些输出贡献微乎其微的函数可以被“剪枝”掉，从而得到一个更简洁、更易于理解的网络结构。这有助于发现数据中真正的核心关系，而不是拟合噪声。
符号拟合与公式提取
在KAN训练并稀疏化之后，最终的“后处理”步骤是其可解释性的关键。
- 函数可视化： 将学习到的一维函数
φ(x)绘制出来。 - 符号匹配： 通过观察这些函数的形状，尝试将其与已知的基本数学函数（如
sin(x),exp(x),log(x),x^n,abs(x)等）进行匹配。如果匹配成功，则可以将复杂的可学习函数替换为简洁的符号表达式，从而将整个神经网络转化为一个可读的数学公式。
关键超参数
- 网格大小（Grid Size）： 决定了每个B样条函数初始的离散点数量。更大的网格意味着更高的自由度和潜在的拟合精度，但也增加了参数量和计算成本。
- 样条度（Spline Degree）： 决定了B样条函数的平滑程度。常见的选择是3（立方样条）。更高的度数可以拟合更复杂的局部形状，但也增加了计算复杂性。
- 正则化强度（Regularization Strength）： 如L1正则化的系数，用于控制模型稀疏化的程度。
- 优化器参数： 学习率、批次大小等标准优化器参数。
- 网格扩展策略： 何时、如何以及在何处添加新的网格点。
目前，pykan 是一个主流的开源库，提供了实现和训练KAN的API，大大简化了这一过程。
KAN神经网络内部运作机制及面临的挑战
深入理解KAN的工作原理，需要触及其数学核心和工程实现细节，同时也要正视其在实际应用中可能遇到的挑战。
科尔莫哥洛夫-阿诺德定理的实践
KAN的根本在于将高维函数分解为一系列低维（一维）函数的组合。该定理指出，任何在多维欧几里得空间上的连续函数 f(x_1, ..., x_n) 都可以表示为：
f(x_1, ..., x_n) = Σ_{q=0}^{2n} φ_q ( Σ_{p=1}^n ψ_{q,p}(x_p) )
其中 φ_q 和 ψ_{q,p} 都是连续的一维函数。
KAN的架构正是对这一定理的神经网络近似：它用神经网络层来表示外层的求和，用每个连接上的可学习函数来表示内层和外层的一维函数 ψ 和 φ。通过这种分层结构，KAN试图解构并重构复杂的多元函数。
B样条函数与可学习激活
KAN中可学习的一维函数的核心实现是基于B样条（Basis Splines）。
- B样条的优势： B样条是一组在数值分析和计算机图形学中广泛使用的基函数。它们的优点包括：局部支持性（每个基函数只在有限区间非零）、平滑性、易于求导以及通过控制点（或系数）灵活调整形状的能力。
- 参数学习： 在KAN中，每个可学习的一维函数
φ(x)被表示为若干B样条基函数的线性组合：φ(x) = Σ_k c_k B_k(x)。训练过程中，网络优化的正是这些系数c_k。通过调整这些系数，可以改变函数φ(x)的形状。 - 网格动态调整： B样条的定义依赖于一系列“节点”（knots），这些节点决定了样条的定义区间和灵活性。KAN的“网格扩展”策略正是通过动态添加或调整这些节点来增强函数的局部拟合能力。当损失函数在某个区域下降缓慢时，可以增加该区域的网格点，从而提供更多的自由度来捕捉细节。
挑战与应对策略
尽管KAN具有诸多优点，但在实际应用中也面临一些挑战：
- 训练稳定性： KAN的训练可能比传统MLP更具挑战性。由于B样条系数的优化空间更复杂，以及动态网格调整的引入，模型可能会更容易陷入局部最优，或者训练过程不稳定。
- 应对： 精心选择初始化策略（如预训练MLP），使用鲁棒的优化器和学习率调度，以及设计有效的网格管理策略。
- 计算资源消耗： 在训练阶段，由于需要频繁地计算和更新B样条系数，并且可能涉及到网格点插值和调整，KAN的单步训练时间通常长于MLP。
- 应对： 利用并行计算（GPU加速），优化底层B样条计算库，以及平衡网格大小和训练时间。
- 超参数调优： KAN引入了新的超参数，如网格大小、样条度、网格扩展策略等，这些都需要仔细调优以达到最佳性能。
- 应对： 依赖于经验法则、网格搜索、随机搜索或自动化超参数优化工具。
- 可解释性的局限性： 尽管KAN提供了强大的可解释性，但其程度取决于学习到的函数是否能够被清晰地映射到已知的数学表达式。对于非常复杂的、非标准函数的组合，即使函数本身是可可视化的，其整体数学形式的“发现”仍然是挑战。
- 应对： 结合领域知识进行人工解释，开发更智能的符号匹配算法，或者接受部分解释性的结果。
- 大型模型的伸缩性： 对于参数量非常巨大的传统深度学习任务，KAN的结构是否能有效扩展并保持其计算效率和训练稳定性，仍是一个持续研究的问题。
- 应对： 探索稀疏化技术、剪枝策略以及更高效的分布式训练方法。
总而言之，KAN作为一种新兴的神经网络范式，为我们提供了一个在函数拟合能力、可解释性和参数效率之间取得更优平衡的强大工具。尽管它仍处于发展阶段，面临一些工程和理论上的挑战，但其在科学发现和可解释AI领域的潜力无疑是巨大的。