DL图像分割

模块原理

图像分割是指利用神经网络提取图像中待测目标掩膜的方法，同一个类别的目标会被赋予相同的掩膜像素值。在工业领域，图像分割一般应用于缺陷检测、区域定位等场景。

图像分割和实例分割的区别如下：

• 图像分割会赋予同一类别物体相同像素值，但实例分割会赋予每一个物体不同的像素值。

• 从实现的角度来看，实例分割的流程是先检测，然后分割基于检测框进行，因此掩膜精度较差，且对样本量要求较高；而图像分割则是对像素点直接分类，关注局部特征，掩膜预测精度更高，对样本需求量更小。

模型性能调优

此处提供几种模型性能不佳的情况以及对应的模型性能调优方法。

表 1 模型性能调优方法

问题类型	调优思路
输出结果较差	检查数据集标注是否正确 查看模型在训练集上的性能，若效果较差，则需检查训练集标注及训练参数是否合理 检查测试集数据和训练集数据分布是否一致
误检数据较多	可考虑增加相应误检场景的数据
漏检数据较多	检查待检测目标的像素面积是否过小，若是远小于10个像素，可以适当提高图像分辨率 若是多类别标签的模型，则可以调低最小分数值；若是单类别标签的模型，则根据输出的缺陷概率图适当降低Blob分析模块的阈值和面积下限 适当增加漏检场景的数据
掩膜质量较差	需关注标签，特别是多边形的质量

使用方法

深度学习图像分割，是表面缺陷检测的一种工具，适用于被测物表面的划痕，脏污，裂纹等可标注缺陷的检测，支持多分类缺陷任务。通过深度学习图像分割模块处理后，可输出缺陷概率图及类别图，能精确地显示出缺陷位置及类别。 若打标训练的缺陷类别有多个，可输出多张概率图。

此处提供一个木棍的多分类示例，假设有4根木棍，对应的缺陷类别分别为裂纹、青斑、不饱满、黑斑。

• 类别图可呈现每个点属于哪种类别，不同类别之间只有颜色的差异，利用不同的颜色来区分不同类别。在该示例中，蓝色代表裂纹，绿色代表青斑，红色代表黑斑，黄色代表不饱满，如下图所示。

  图 2 类别图

• 概率图可呈现某个点属于某一类别的概率大小。黑色对应的像素值为0，说明属于该类别的概率为0。所以一般来说，像素值越低，则属于该类别的概率越小。下图以裂纹类别为例，其他类别同理。

  图 3 概率图

DL图像分割模块通常应用于缺陷检测、目标提取、场景分割等应用场景；尤其在一些小目标、特征不明显的场景下，该模块具有一定的优势。其中，缺陷检测是指对物体表面缺陷的检测，如斑点、凹坑、划痕、色差、缺损等；目标提取是指单幅画像或序列画像中将感兴趣的目标与背景分割开，从图像中识别出实体以及提取不同的图像特征。

使用示例

• 对于模型存在单个标签类别的情况，DL图像分割模块可与Blob分析模块搭配使用渲染显示缺陷的位置，如下图所示。

  图 4 DL图像分割示例（搭配Blob分析）

• 对于模型存在多个标签类别的情况，DL图像分割模块可与Blob标签分析模块搭配使用渲染显示缺陷的位置及缺陷类别，如下图所示。

  图 5 DL图像分割示例（搭配Blob标签分析）_青斑
  图 6 DL图像分割示例（搭配Blob标签分析）_裂纹

参数配置

以下仅介绍该模块的运行参数详情。通过配置运行参数，可定义当前模块如何处理输入的数据。

模型文件路径

加载已经训练好的图像分割模型文件。

方案存模型

使能后，将模型数据保存到方案文件或流程文件中，跨机加载方案时无需再次输入模型文件路径。

获取模型ROI

DL图像分割G模块特有参数。启用该功能后，可直接获取模型文件中图片的ROI区域，此时基本参数中的ROI区域无法设置。

按ROI裁图

DL图像分割G模块特有参数。启用该功能后，模块运行时会将ROI内区域提取出来，仅对区域内图像进行预测；不启用时，则对整张图片进行识别，但会按照ROI范围以及边缘筛选使能、最小边缘分数对检测结果进行筛选过滤。

最小分数

类别图上属于某种缺陷类别的最小概率。设置数值越小，缺陷范围越大，否则反之。

说明：

当模型存在多个标签类别时，会出现最小分数参数设置。

图 7 最小分数示意图

显示概率图

可选择在界面上显示的缺陷概率图。

输出类别

可选择后续模块可订阅的缺陷概率图。

模块结果

该模块的模块结果介绍请见DL图像分割。