表面缺陷检测技术发展现状与展望

表面缺陷检测技术发展现状与展望

表面缺陷检测是工业生产中保证产品质量的重要环节。随着计算机视觉和深度学习技术的rapid发展,基于机器视觉的表面缺陷检测方法在各个工业领域得到了广泛应用,相比传统的人工视觉检测具有明显优势。本文将对表面缺陷检测技术的研究现状进行全面综述,分析其中的关键问题,介绍常用的数据集和方法,并对未来发展趋势进行展望。

一、表面缺陷检测的关键问题

1. 小样本问题

在实际工业场景中,获取大量带标注的缺陷样本往往比较困难,这就导致了表面缺陷检测面临的首要挑战是小样本问题。相比于ImageNet等包含数百万样本的数据集,许多工业场景中可能只有几十甚至几个缺陷样本。针对小样本问题,目前主要有以下几种解决思路:

1. 数据增强与生成

最常用的方法是对原有缺陷样本进行镜像、旋转、平移、扭曲、滤波、对比度调整等图像处理操作,从而获得更多样本。另一种方法是数据合成,将单个缺陷融合叠加到正常(无缺陷)样本上形成缺陷样本。

2. 网络预训练与迁移学习

直接使用小样本训练深度学习网络容易导致过拟合,因此基于预训练网络或迁移学习的方法是当前解决小样本问题最常用的方法之一。

3. 合理的网络结构设计

通过设计合理的网络结构也可以大大降低对样本的需求。例如基于压缩感知理论对小样本数据进行压缩和扩展,然后用CNN直接对压缩采样数据特征进行分类。此外,基于孪生网络的表面缺陷检测方法也可以看作一种特殊的网络设计,可以大大降低对样本的需求。

4. 无监督或半监督方法

无监督模型只需要正常样本进行训练,不需要缺陷样本。半监督方法可以利用未标注样本来解决小样本情况下的网络训练问题。

2. 实时性问题

基于深度学习的缺陷检测方法在工业应用中包括数据标注、模型训练和模型推理三个主要环节。实际工业应用中更关注模型推理的实时性。目前大多数缺陷检测方法集中在分类或识别的准确性上,对模型推理效率关注较少。加速模型的方法有很多,如模型量化、模型剪枝等。此外,随着技术的发展,FPGA有望成为一种有吸引力的替代方案。

二、表面缺陷检测常用数据集

1. 钢铁表面:NEU-CLS

NEU-CLS数据集由东北大学发布,收集了热轧钢带表面的六种典型缺陷,包括轧制氧化皮(RS)、斑块(Pa)、裂纹(Cr)、麻点(PS)、夹杂(In)和划痕(Sc)。数据集包含1800张灰度图像,每种缺陷类型包含300个样本。对于缺陷检测任务,数据集提供了指示每个图像中缺陷类别和位置的标注。

2. 太阳能电池板:elpv-dataset

elpv-dataset包含从太阳能组件EL图像中提取的功能性和缺陷性太阳能电池图像。该数据集包含2,624个300x300像素的8位灰度图像样本,包括功能性和缺陷性太阳能电池,具有不同程度的退化。这些缺陷既包括内在缺陷,也包括外在缺陷,都被认为会降低太阳能组件的发电效率。

3. 金属表面:KolektorSDD

KolektorSDD数据集由Kolektor Group提供和标注,专门针对电气换向器表面的微小裂纹或裂缝。每个换向器的表面区域被捕捉在8张不重叠的图像中。该数据集包含:

• 50个物理项目(有缺陷的电气换向器)
• 每个项目8个表面
• 总共399张图像:
  • 52张有可见缺陷的图像
  • 347张无任何缺陷的图像
• 原始图像尺寸:
  • 宽度: 500 px
  • 高度: 1240 到 1270 px

4. PCB检测:DeepPCB

DeepPCB数据集专门用于印刷电路板(PCB)的缺陷检测。数据集包含测试图像和相应的模板图像,用于比对检测PCB表面的各种缺陷。

5. 织物缺陷:AITEX

AITEX数据集包含245张4096x256像素的图像,涵盖了7种不同的织物结构。数据集中有140张无缺陷图像,每种织物类型20张。此外,还有105张不同类型的织物缺陷(12种)图像,这些缺陷在纺织行业中很常见。

6. 铝型材表面缺陷数据集

该数据集来自天池比赛,包含10,000张实际生产中带有缺陷的铝型材监控图像数据,每张图像包含一个或多个缺陷。样本图像清晰标识了图像中包含的缺陷类型。

7. 弱监督工业光学检测(DAGM 2007)

DAGM 2007数据集主要针对纹理背景上的各种缺陷。该数据集包含10个数据集,前6个是训练数据集,后4个是测试数据集。每个数据集包含1000张"无缺陷"图像和150张"有缺陷"图像,以8位PNG格式保存的灰度图像。

8. 建筑表面裂缝

CrackForest数据集是一个标注的道路裂缝图像数据库,可以反映城市道路表面的一般状况。数据集包括桥梁裂缝和路面裂缝两部分。

9. 磁砖数据集

磁砖数据集包含6种常见磁砖缺陷的图像,并标注了像素级的真实标签。

10. RSDDs:轨道表面缺陷数据集

RSDDs数据集包含两类数据集:第一类是从快速车道捕获的I型RSDDs数据集,包含67个具有挑战性的图像;第二类是从普通/重载运输轨道捕获的II型RSDDs数据集,包含128个具有挑战性的图像。

三、表面缺陷检测方法研究进展

近年来,随着深度学习技术的rapid发展,基于深度学习的表面缺陷检测方法取得了显著进展。主要研究方向包括:

1. 基于CNN的缺陷分类方法

使用卷积神经网络直接对图像进行分类,判断是否存在缺陷以及缺陷类型。这类方法简单直接,但无法定位缺陷位置。

2. 基于目标检测的缺陷检测方法

将缺陷检测问题转化为目标检测问题,使用Faster R-CNN、YOLO等目标检测网络实现缺陷的检测和定位。这类方法可以同时实现缺陷分类和定位,但对小目标缺陷的检测效果不佳。

3. 基于语义分割的缺陷检测方法

使用FCN、U-Net等语义分割网络,实现像素级的缺陷分割。这类方法可以精确定位缺陷区域,但计算量较大,实时性较差。

4. 基于生成对抗网络(GAN)的缺陷检测方法

利用GAN的生成能力,学习正常样本的分布,对于不符合该分布的样本判定为缺陷。这类方法可以很好地解决小样本问题,但训练不稳定。

5. 基于自编码器的缺陷检测方法

使用自编码器重建输入图像,通过重建误差来判断是否存在缺陷。这类方法只需要正常样本即可训练,但对于复杂纹理背景效果不佳。

6. 基于孪生网络的缺陷检测方法

使用孪生网络比较测试图像与模板图像的相似度,从而检测缺陷。这类方法可以很好地解决小样本问题,但需要高质量的模板图像。

7. 基于注意力机制的缺陷检测方法

引入注意力机制,使网络更加关注可能存在缺陷的区域,提高检测准确率。

8. 基于多尺度特征融合的缺陷检测方法

融合不同尺度的特征,以同时检测不同大小的缺陷。

四、表面缺陷检测技术的未来发展趋势

1. 小样本学习

进一步研究如何在小样本情况下实现高精度的缺陷检测,包括元学习、迁移学习等方向。

2. 自监督学习

探索利用大量未标注数据进行自监督学习,减少对标注数据的依赖。

3. 多模态融合

结合视觉、热成像、超声等多种模态数据,提高检测的准确性和鲁棒性。

4. 可解释性研究

提高缺陷检测模型的可解释性,使检测结果更具说服力。

5. 边缘计算

将缺陷检测算法部署到边缘设备,实现更快速的响应。

6. 主动学习

通过主动学习策略,更有效地利用专家知识,提高标注效率。

7. 3D缺陷检测

从2D图像检测向3D点云或体素数据的缺陷检测拓展。

8. 视频序列缺陷检测

利用视频序列中的时序信息,提高检测的准确性和稳定性。

结语

表面缺陷检测技术在工业界有着广泛的应用前景,是保证产品质量的重要手段。随着计算机视觉和人工智能技术的不断发展,表面缺陷检测的准确率和效率将不断提高,为工业生产的智能化和自动化提供有力支撑。未来,该领域还将继续面临诸多挑战,如小样本学习、复杂背景下的缺陷检测、多模态数据融合等,这些都是值得研究人员深入探索的方向。相信在学术界和工业界的共同努力下,表面缺陷检测技术将取得更大的突破,为工业4.0和智能制造的实现贡献力量。

参考资料

1. Surface Defect Detection: Dataset & Papers
2. Papers with Code - Defect Detection
3. Mixed supervision for surface-defect detection: from weakly to fully supervised learning
4. Metal Surface Defect Detection - Abhimanyu Banerjee - Medium