卷积Kolmogorov-Arnold网络（CKAN）

论文

所有数学解释和实验都在学术论文中进行了说明

介绍卷积KAN网络！

这个项目将Kolmogorov-Arnold网络（KAN）的创新架构理念扩展到卷积层，将经典的线性卷积变换改为每个像素的可学习非线性激活。

作者

本仓库由以下人员创建：

Alexander Bodner | abodner@udesa.edu.ar | Twitter | LinkedIn
Antonio Tepsich | atepsich@udesa.edu.ar | Twitter | LinkedIn
Jack Spolski | jspolski@udesa.edu.ar | LinkedIn
Santiago Pourteau | spourteau@udesa.edu.ar | Twitter | LinkedIn

致谢

本仓库使用了一个高效的KAN实现，可在此处获取。 KAN的原始实现可在此处获取。 KAN的原始论文可在此处获取。

什么是KAN？

KAN是多层感知机（MLP）的一个有前景的替代方案。KAN与MLP一样具有坚实的数学基础：MLP基于通用近似定理，而KAN基于Kolmogorov-Arnold表示定理。KAN和MLP是对偶的：KAN在边上有激活函数，而MLP在节点上有激活函数。KAN似乎比MLP更加参数高效，但每个KAN层的参数比MLP层多。

要了解更多关于这种新型架构的信息，请访问：

该架构的官方Pytorch实现：https://github.com/KindXiaoming/pykan
研究论文：https://arxiv.org/abs/2404.19756

什么是KAN卷积？

KAN卷积与普通卷积非常相似，但不是对核与图像中对应像素进行点积，而是对每个元素应用可学习的非线性激活函数，然后将它们相加。KAN卷积的核相当于一个4输入1输出神经元的KAN线性层。对于每个输入i，我们应用一个可学习的函数ϕ_i，该卷积步骤得到的像素是ϕ_i(x_i)的总和。这可以在下图中可视化。

KAN卷积中的参数

假设我们有一个KxK的核。在这种情况下，对于这个矩阵的每个元素，我们都有一个ϕ，其参数数量为：网格大小 + 1。出于实现问题，efficient kan定义为：

这给予激活函数b更多的表达能力。因此，线性层的参数数量为网格大小 + 2。所以总共KAN卷积有K²(网格大小 + 2)个参数，而普通卷积只有K²个。考虑到网格大小通常（在我们的实验中）在k和k²之间，但k往往是一个较小的值，在2到16之间。

初步评估

我们测试的不同架构有：

KAN卷积层连接到KAN线性层（KKAN）
KAN卷积层连接到MLP（CKAN）
卷积之间带有批量归一化的CKAN（CKAN_BN）
ConvNet（经典卷积连接到MLP）（ConvNet）
简单MLP

以下是一些结果：

模型	测试准确率	测试精确率	测试召回率	测试F1分数	参数数量	卷积层
1层MLP	0.922	0.922	0.921	0.921	7850	-
ConvNet (小)	0.976	0.976	0.976	0.976	2740	[5,1] k=[3,3]
ConvNet (中)	0.991	0.991	0.991	0.991	157 030	[5,5] k=[3,3]
ConvNet (大)	0.995	0.995	0.995	0.995	887 530	[32,1,2,1] k=[5,5,3,3]
KANConv & MLP	0.985	0.985	0.984	0.984	163 726	KanConvs[5,5] k =[3,3]
简单Conv & KAN	0.980	0.980	0.980	0.980	37 030	[5,1] k=[3,3]
KKAN	0.987	0.987	0.987	0.987	94 650	KanConvs[5,5] k =[3,3]

卷积层列表中的每个元素包含卷积的数量，然后是相应的核大小。

基于28x28的MNIST数据集，我们可以观察到KANConv & MLP模型与ConvNet（大）相比达到了可接受的准确率。然而，区别在于KANConv & MLP所需的参数数量比标准ConvNet少七倍。此外，KKAN的准确率比ConvNet中等少0.04，但参数数量几乎减半（94k vs 157k），这显示了该架构的潜力。需要在更多数据集上进行实验才能得出确定的结论。

讨论

KAN卷积的实现是一个有前景的想法，尽管它仍处于早期阶段。我们进行了一些初步实验来评估KAN卷积的性能。我们之所以说是初步的，是因为我们想尽快发布这个想法，以便社区可以开始研究它。我们意识到需要调整许多超参数并进行多项实验。在接下来的几天和几周内，我们将全面调整我们模型和用于比较的模型的超参数。我们已经尝试了一些超参数和架构的变化，但这是基于启发式方法，而非采用任何精确的方法。

我们也认识到，由于计算能力和时间的限制，我们尚未使用大型或更复杂的数据集，我们正在努力解决这个问题。

未来我们将在更复杂的数据集上进行实验，这意味着KANS的参数量将会增加，因为我们需要实现更多的Kan卷积层。

结论

目前，与传统卷积网络相比，KAN卷积网络的性能并未显示出显著提升。我们认为这是因为我们使用的是简单数据集和小型模型，而我们架构的优势在于与我们尝试过的最佳架构（ConvNet Big，这是一个不公平的比较，因为它的规模更大）相比，所需的参数显著更少。在相同的MLP连接到末端的情况下，2个相同的卷积层和KAN卷积层的比较显示，传统方法略胜一筹，准确率高出0.06，而参数数量几乎减半的KAN卷积和KAN线性层的准确率低了0.04。我们相信，随着模型和数据集复杂度的提高，KAN卷积网络的性能将会显著提升。但同时，随着输入维度的增加，我们模型的参数数量也会更快地增长。

进行中的工作

在更复杂的数据集上进行实验
使用随机搜索进行超参数调优
尝试更多架构
动态更新网格范围

安装

git clone git@github.com/AntonioTepsich/ckan.git
cd Convolutional-KANs
pip install -r requirements.txt

使用方法

只需将kan_convolutional文件复制到你的项目中并导入即可。

from kan_convolutional.KANConv import KAN_Convolutional_Layer

示例

为MNIST构建一个KANConv

import torch
from torch import nn
import torch.nn.functional as F

from kan_convolutional.KANConv import KAN_Convolutional_Layer

class KANC_MLP(nn.Module):
    def __init__(self,device: str = 'cpu'):
        super().__init__()
        self.conv1 = KAN_Convolutional_Layer(
            n_convs = 5,
            kernel_size= (3,3),
            device = device
        )

        self.conv2 = KAN_Convolutional_Layer(
            n_convs = 5,
            kernel_size = (3,3),
            device = device
        )

        self.pool1 = nn.MaxPool2d(
            kernel_size=(2, 2)
        )
        
        self.flat = nn.Flatten() 
        
        self.linear1 = nn.Linear(625, 256)
        self.linear2 = nn.Linear(256, 10)


    def forward(self, x):
        x = self.conv1(x)

        x = self.pool1(x)

        x = self.conv2(x)
        x = self.pool1(x)
        x = self.flat(x)
        x = self.linear1(x)
        x = self.linear2(x)
        x = F.log_softmax(x, dim=1)
        return x