精选文章||图像分割评估方法在显微图像分析中的应用

1.   图像分割的定义及其在材料显微图像分析中的应用

图像分割是将图像分成若干个特定的、具有独特性质区域的技术 ^{[ 4 ]} ，是计算机视觉的重要分支。分割结果可进一步为图像识别和图像描述等图像理解相关任务提供信息支撑。

目前，随着多学科间的深入交叉和融合，科学工作者开始尝试将以图像分割为代表的计算机视觉技术运用到表面缺陷检测、金相组织分析、神经细胞拓扑分析等材料和生物医学领域。如 图1 所示为材料显微图像分割流程图，针对原始的材料显微图像，采用图像分割方法（Image segmentation methods）提取图像中科研人员感兴趣的组织结构区域，如 图1 中的白色区域对应的材料组织（枝晶和晶粒）。通过定量分析材料内部的微观组织特征（如尺寸和形状分布等），可进一步解构材料微观组织特征与材料成分、制备工艺、宏观性能之间的内禀关系，进而辅助材料性能的优化和新材料的研发。

图  1   材料显微图像分割流程示意

随着计算机硬件以及以深度学习为代表的机器学习技术的进步，多种基于不同理论的图像分割方法如雨后春笋般涌现，如 图1 中基于阈值的分割方法（Threshold based segmentation methods）、基于梯度的分割方法（Gradient based segmentation methods）、基于形态学的分割方法（Morphology based segmentation methods）、基于区域生长的分割方法（Region growing based segmentation methods）、基于聚类的分割方法（Clustering based segmentation methods），基于图论的分割方法（Graph based segmentation methods）和基于深度学习的分割方法（Deep learning-based segmentation methods）等，上述方法被广泛应用于材料显微图像分析任务 ^{[ 19 - 21 ]} 。为了进一步理解各种图像分割方法的适用性以及改进分割质量，本文对不同方法的分割结果进行了系统地评估。虽然人的视觉判断是最直接的判断方法，但是人的主观不确定性会导致算法评估难以量化。因此，采用自动的客观的评估方法成为图像分割结果评估的主流方式。当前存在多种基于不同理论的图像分割客观评估方法（Segmentation evaluation methods），每种方法均从特定的角度评估分割结果的优劣，可应用于不同目标的图像分割任务中。

本文综述了14种基于不同理论的图像分割客观评估指标，将其分成五大类方法分别展开叙述（ 图1 ）：基于像素的评估方法（Pixel based evaluation methods）、基于类内重合度的评估方法（Intra class coincidence based evaluation methods）、基于边界的评估方法（Edge based evaluation methods）、基于聚类的评估方法（Clustering based evaluation methods）和基于实例的评估方法（Instance based evaluation methods）。并在材料显微图像分析应用中，选择两种典型材料显微图像分割任务作为分析目标，对比采用不同分割方法和不同典型噪声下各种评估指标的性能，进而对不同评估方法的适用性展开讨论。

2.   图像分割评估方法

通过现有文献整理和研究，本文将图像分割评估指标分为基于像素的评估方法、基于类内重合度的评估方法、基于边缘的评估方法、基于聚类的评估方法和基于实例的评估方法等五个类别。

2.1   基于像素的评估方法

基于像素的评估方法主要包括像素准确率（Pixel accuracy）和平均准确率（Mean accuracy）两个评估指标。

像素准确率统计了预测正确的像素占总像素的比例，其定义为：

   （1）

平均准确率（Mean accuracy）：是对像素准确率的改进，分别计算每个类内被正确分类像素数的比例，进而对所有类求平均值。该方法可缓解当分割任务中不同类别包含像素数目差异较大时，准确率被包含像素数目较多的类别所主导的问题，其定义为：

  （2）

2.2   基于类内重合度的评估方法

基于类内重合度的评估方法主要包括平均交并比（Mean intersection over union, MIoU），频权交并比（Frequency weighted intersection over union, FWIoU）和Dice系数（Dice score）三个评估指标。

平均交并比MIoU在计算每个类的交并比的基础上求均值，可反映预测结果和真值结果的重合度。IoU（或称为Jacarrd index）的计算方式如 图2（a） 所示，其中 P 代表预测结果（Predicted segmentation）， T 代表真值结果（也称目标结果，Target truth），其思路是计算真值结果和预测结果区域集合的交集和并集之比，即公式（3）所示。

图  2   评估指标示意图.（a）IoU指标示意图；（b）VI指标示意图

                   （ 3）

具体地，采用上述描述方法，MIoU可定义为 ：

     （ 4）

其中，Pji 表示真值结果为类j 而预测结果为类i 的像素点总数。

频权交并比FWIoU是对原始的MIoU的改进，即根据每一类出现的频率对各个类的IoU进行加权求和，定义为：

  （5）

Dice系数（Dice score）是图像分割结果衡量的常用指标，其计算公式为 :

                （6）

2.3   基于边界的评估方法

边界检测也称边缘检测，是指将图像分成边缘区域和非边缘区域。由于在边缘检测任务中，边缘区域往往仅占据少量像素区域，并且绘制真值边缘时容易产生误差，致使预测边缘和真实边缘在像素上通常无法一一对应，因此该类评估方法主要通过计算预测边缘像素和真实边缘像素间的距离来反映边缘检测效果。

基于边界的评估方法主要包括FoM（Figure of merit）、Completeness、Correctness和Quality 4个评估指标。

FoM（Figure of merit）计算公式为：

              （ 7）

其中，通过人工检视标注得到的真值边缘像素点个数为|T| ；通过检测算法检测的边缘像素点个数为|P|； 检测算法得到的第 i 个边缘 像 素点和离它最近的真值边缘像素点间的欧氏距离为di ； FoM值越大表明检测出的边缘越靠近人工标注的真值边缘, 即该边缘检测算法的检测精度越高。

Completeness、Correctness和Quality评估方法在基于欧氏距离的基础上重新定义了匹配的概念。其匹配的计算公式为:

                 (8)

图  3   边缘检测匹配示意图.（a）令预测边界与真值边界进行匹配；（b）令真值边界与预测边界进行匹配

在此基础上，Completeness的计算公式为：

                       (9)

其中，|P| 为预测边缘像素集合P 中的边缘像素个数。同理， 和 |T| 分别代表各自集合中的边缘像素个数。

Correctness的计算公式为：

            （10）

Quality的计算公式为：

                  （11）

2.4   基于聚类的评估方法

图像分割可以看作是一种聚类任务，将图像中的所有像素分割成 n 个分区或段，通过对比真值图和预测图中的分区结果可对图像分割任务进行评估。在基于聚类的评估方法中类的定义和图像类别中类的定义不同，聚类中每个类具体指图像中得到每个分区，在图像分割任务中，某个图像类别可以有多个分区。

基于聚类的评估方法主要包括：兰德系数（Rand index, RI）、调整兰德系数（Adjusted rand index，ARI）和信息变化量（Variation of information, VI）3个评估指标。

进一步，定义：a为SS集合中在TT中属于同一子集，在P中也属于同一子集的元素对数；b为SS集合中在TT中属于不同子集，在PP中也属于不同子集的元素对数；c为S集合中在TT中属于同一子集，但在P中属于不同子集的元素对数；d为S集合中在T中属于不同子集，但在PP中属于同一子集的元素对数；

则RI定义为：

          (12)

直观地，a+b可被认为是T和P之间一致的元素对个数，c+d可被认为是T和P之间不一致的元素对个数。

虽然RI的取值范围为[0,1]，但该指标不能保证在类别标签是随机分配的情况下其值接近0。由于RI基于像素点对数目进行评估，而在材料显微图像分割应用中，大多数像素点对不相连，即公式（12）中的b非常高，导致不同分割方法的评估结果均接近1，造成区分度较低。因此，ARI在RI的基础上进行了修正，令 来表示与之间交集的元素，基于聚类任务的列联表如表 1所示。其计算公式如式（13）所示。

表  1   基于聚类任务的列联表

         (13)

ARI的取值范围为[−1,1]，值越大，代表预测结果中的分区结果更接近与真值结果中的分区结果。

VI公式如（14）所示，将预测结果P和真值结果T看成两种数据分布，利用信息熵计算两者之间的分布变化。核心是计算预测和真实标注图之间的条件熵，如图2（b）所示。

              (14)

其中，H(P|T)代表过分割错误，过分割即错误地将一个区域分割成两个区域，也被称为拆分错误（Split error，SE）。H(T|P)代表欠分割错误，即将两个区域错误地合并成一个区域，也被称为合并错误（Merge error，ME）。VI代表总错误指标，为ME和SE的和，值越小，代表分割结果中存在的错误越少，即分割结果越准确。并且，随着误差的变化，VI呈现线性变化，而RI呈现二次方的变化，因此，VI更适用于作为距离指标反映误差的变化。

2.5   基于实例的评估方法

基于实例的评估方法主要包括平均均值精确率（Mean average precision，MAP）和基数差（Cardinality difference，CD）两个评估指标。

MAP是图像分割和物体检测任务中的经典评估指标，与基于聚类的评估方法类似，该方法首先使用联通区域方法分别将真值分割结果和预测分割结果分成多个分区，进而在每个预测分区上逐个与所有的真值分割结果的分区计算IoU，IoU的阈值范围从0.5到0.95，步长为0.05，即在阈值t为（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）情形下分别统计匹配的数目。在MAP计算过程中，匹配指某一预测结果中的分区与真值结果中的分区的IoU大于特定的阈值。其中True positive （TP）表示真实和预测结果中正确匹配的分区对数量，False positive(FP)表示预测分割结果中未正确匹配的分区数量，False negative（FN）表示真值分割结果中未正确匹配的分区数量。

在每个阈值t上，根据预测分割的分区结果与真值分割的分区结果比较产生的TP、FN、和FP的数量计算出一个精度值，并除以阈值个数获得均值精确率。在此基础上，对所有图像n计算各自均值精确率再求平均，获得最终平均均值精确率，公式如下所示：

      (15)

                               (16)

式中，NumT代表真实结果中的实例个数，NumP代表预测结果中的实例个数，如果CD是正数，表示欠分割，如果CD是负数，表示过分割。

综上，各评估指标的简要信息如表2所示，其中↑代表值越大性能越高，↓代表值越低性能越高，N代表图像中像素个数。

表  2   各指标的简要概括

3.   图像分割评估方法对比实验

本章以两种典型材料显微图像分割任务为应用背景，定量地衡量图像分割评估方法在不同分割算法和不同噪声下的性能。本文所有代码及示例图像可开源获取，详见如下网址：https://github.com/Keep-Passion/ImageSegMetrics。

3.1   不同图像分割算法下的评估结果

为了降低图像分割算法对评估方法的影响，本文选择了6种最为经典的图像分割算法进行比较：基于阈值的图像分割算法OTS，基于梯度的边缘提取算法Canny，基于形态学的图像分割算法Watershe，基于聚类的图像分割方法K–means，基于图论的图像分割算法Random Walker和基于深度学习的图像分割算法Unet。

本文选择多晶纯铁（Polycrystalline iron）晶粒组织图像和铝镧合金(Al–La alloy)枝晶组织图像作为目标数据集，数据集参数如 表3 所示。两数据集示例如 图1 所示，其中多晶纯铁晶粒的前景晶粒区域像素个数远高于背景边界区域的像素个数，属于类别不平衡的图像分割任务。铝镧合金枝晶图像的前景组织区域像素个数与背景区域的像素个数相当，属于类别平衡的图像分割任务。在实践过程中，类别不平衡的图像分割任务更加困难。

表  3   材料显微图像数据集参数

由于本文选择基于深度学习的图像分割模型Unet作为不同评估指标的基线模型，而Unet需要样本训练模型才可进一步使用。因此将数据集按照7∶1∶2的方式划分为训练集、验证集和测试集。为保证实验的公平性，所有图像分割算法均在测试集上进行评估。对于Unet模型，模型在训练集上训练，并在每轮迭代中使用验证集验证，选择验证集损失最低的网络参数在测试集上进行评估。其中，Unet网络训练参数为：Batch size为10，初始学习率为1×10 ⁻⁴ ，在Adam优化器下训练50轮。所有实验均在装备一台Nvidia Tesla V100显卡的工作站上测试。

多晶纯铁晶粒组织图像在不同分割算法下的各评估结果如 表4 所示，其可视化示例如 图4 上两行所示。铝镧合金枝晶组织图像在不同分割算法下的各评估结果如 表5 所示，其可视化示例如 图4 下两行所示。

表  4   多晶纯铁晶粒组织图像不同分割算法下评估结果

图  4   多晶纯铁晶粒组织及铝镧合金枝晶组织图像在不同分割算法结果的可视化对比

表  5   铝镧合金枝晶组织图像不同分割算法下评估结果

由于多晶纯铁晶粒组织图像分割任务的目标是提取并分离每个晶粒，因此，该任务可被解读为晶粒分割或晶界提取两种不同的描述。因此，对于后者，可采用基于边界的评估方法对晶界提取的准确性进行评估。

由于基于深度学习的机器学习算法可在训练过程中自动学习到数据中适用于目标任务的强有效特征，因此其分割性能远高于传统图像处理方法。由 图4 直观比较，基于深度学习的图像分割模型Unet在两种数据集上的可视化效果均显著超过了其余经典算法。但在多晶纯铁晶粒组织图像的客观评估中（ 表4 ），Unet和传统方法（除Unet外的其他方法）在基于像素和基于类内重合度的评估方法的数值指标上相差较小。在铝镧合金枝晶组织图像的客观评估中（ 表5 ），传统方法和Unet在基于像素的评估方法的数值指标上相差较小。基于像素的评估方法逐像素地比较预测分割结果和真值分割结果的区别，而基于类内重合度的评估方法逐类别的比较两者之前的差异，均未考虑材料显微组织的拓扑特性，因此，本文认为在材料显微图像分析及定量表征应用中，该评估方法适用于目标为统计物相组成比例等的表征任务，但不适用于需要分析单个组织特征的尺寸或形状统计等的表征任务。

基于边界的评估方法仅适用于基于边缘提取的图像分割任务，其泛用性较低。同时晶界提取的目标在于分离每个晶粒，基于边界的评估方法并未考虑晶界不闭合的情况。因此，本文认为在材料显微图像分析应用中，基于边界的评估方法可适用于缺陷（如裂纹）检测 ^{[ 25 ]} ，但不适用组织结构定量表征任务。

基于聚类和基于实例的评估方法由于在执行过程中需要先使用联通区域方法对分割结果进行分区操作，考虑了显微组织结构的拓扑特性，因此本文认为这两类方法更适用于材料显微图像分析任务中统计尺寸和形状分布等微观组织定量表征的目标。

在基于聚类的评估方法中，RI被证明在最差情况下也难以达到最低值，造成各方法间差距过小，如多晶纯铁晶粒图像分割结果（ 表4 ）中的Watershed(RI=0.9444)和Unet(RI=0.9819)。ARI是对RI指标的改进，各方法间该指标的差距较大。VI指标进一步分为合并错误（Merge Error，ME）和分离错误（Split Error，SE），可更加全面的分析算法的分割结果。

在基于实例的评估算法中，CD指标易受到噪声影响，且该指标不存在上下限，造成各方法的评估结果差距过大，难以直观评估分割结果，如在铝镧合金枝晶图像分割任务中，CD指标从−10到−10918产生变化，因此本文认为该指标不适合材料显微图像分析任务。MAP的值域范围是[0,1]，且在不同交并比阈值下综合评估分割结果，性能较为准确，但也同样容易受到微小噪声的影响。

3.2   引入不同噪声下评估方法效果

为进一步加深对图像分割评估方法的理解，本文在图像中增加固定数目的典型噪声，以展示各图像评估方法的鲁棒性。

本文从多晶纯铁晶粒图像和铝镧合金枝晶图像中分别选择500×500像素尺寸的图像，并通过控制变量，随机引入三种在材料显微图像分析任务中常见的噪声，每种噪声各具有500像素的改变量：随机斑点噪声、划痕噪声和边界模糊或消失现象。

（1）随机斑点噪声（Random noises）：在制备过程中，需要在材料表面涂抹锈蚀剂，才可在抛光过程中磨掉材料表面区域，进而获得材料的微观形貌。若采用系列截面法逐层观察材料组织形貌，则需要频繁的使用锈蚀剂，在抛光过程中，锈蚀剂不可避免地残留在微观组织表面，形成随机斑点噪声，如 图5 中黑色箭头所示。

图  5   两种图像数据引入不同种类噪声的结果.（a）多晶纯铁晶粒图像；（b）图（a）的真值结果；（c）在（b）中随机引入500像素的噪声点；（d）在（b）中引入500像素的划痕噪声；（e）在（b）中引入500像素的消失晶界噪声；（f）铝镧合金枝晶图像；（g）图（f）的真值结果；（h）在（g）中随机引入500像素的噪声点；（i）在（g）中引入500像素的划痕噪声

（2）划痕噪声（Scratch noises）：如前所述，在制备过程中，需要对材料表面进行研磨。该制备方法不可避免地将在显微组织表面留下划痕噪声。划痕噪声通常为黑色直线。由于其与多晶纯铁晶粒图像中晶界区域在像素值上相似，容易被误认为是晶界从而影响分割结果，如 图5 中红色箭头所示。

（3）边界模糊或消失现象（Blurred or missing boundaries）：在制备过程中，除锈蚀和研磨外，需使用一定比例的浸蚀液对材料表面进行处理，才可浸蚀出晶界或相界（后文以晶界为例），为防止形成双晶界或粗晶界缺陷，浸蚀时间不宜过长，因此容易出现浸蚀不完全现象。具体地表现为晶界区域没有完全浸蚀，致使出现晶界模糊或晶界消失现象。由于晶界消失后的表观特征与晶粒内部区域相似，容易被误认为是晶粒区域从而影响分割结果，如 图5 中蓝色箭头所示。

在本实验中，只有斑点噪声属于随机分布，而划痕噪声和缺失晶界噪声是根据原图的纹理信息和传统方法的错误识别结果在标注图中相应增加而形成。通过固定噪声数目，可以直观地展示不同评估方法的区别。比如对于基于像素的评估方法并不考虑分割结果的拓扑变化，相同噪声数目但不同噪声类型的评估结果基本相同。对于基于实例和基于聚类的评估方法考虑了显微组织的拓扑结构，相同噪声数目但不同噪声类型的评估结果具有很大差异。

随机斑点噪声由于面积较小且较为分散，不影响显微组织拓扑结构，并且可通过设置最小连通区域的面积阈值进而消除该噪声。虽然500个像素只占一幅500×500尺寸图像的1/500，但是划痕噪声和模糊或消失晶界噪声改变了分割结果的拓扑结构：划痕噪声会造成分割结果中的分区错误（即将一个晶粒错误地分离成两个晶粒），严重影响显微组织尺寸及形状统计。模糊或消失晶界同样会影响多晶纯铁晶粒图像中的微观组织表征（即将两个晶粒错误地合并成一个晶粒）。因此，本文期望在划痕噪声和模糊或消失晶界噪声下，评估指标出现明显的退化，以正确反映图像分割结果。

多晶纯铁晶粒图像在不同噪声下的各指标评估结果如 表6 所示，铝镧合金枝晶图像在不同噪声下的各指标评估结果如 表7 所示。两表中每个数据项括号中的数值表示变化的幅值。基于像素、基于类内重合度和基于边界的评估方法在三种噪声影响下变化较小（变化幅值均在百分位或千分位），且性能均较高，不符合本文的要求。而基于实例和基于聚类的评估指标的变化幅度在十分位以上，相较于基于像素，基于类内重合度和基于边界的评估方法更能有代表性地反映分割结果的退化情况。基于实例的评估方法中，RI的变化幅度较小，ARI虽然在模糊或消失晶界处变化较大，但在划痕噪声情况变化幅度较小。VI可通过合并错误（ME）和分离错误（SE）综合评估分割结果。在划痕噪声影响下，其分离错误出现了大幅提高；在模糊和缺失晶界噪声影响下，其合并错误出现了大幅提高；MAP在多晶纯铁晶粒图像中在上述两种噪声影响下出现大幅度变化，变化幅度与VI相当，但在铝镧合金枝晶图像中，在模糊或消失晶界噪声下其变化幅度相对VI指标较低。

表  6   多晶纯铁晶粒图像在不同噪声下各评估方法的结果

表  7   铝镧合金枝晶图像在不同噪声下各评估方法的结果

4.   讨论

本文综述了14种图像分割的评估指标，并将其分为五大类：基于像素点的评估方法、基于类内重合度的评估方法、基于边界的评估方法、基于聚类的评估方法和基于实例的评估方法。并在材料显微图像分析应用中，通过实验对比了两种数据集在不同分割方法和不同常见噪声类型下各评估指标的评估结果。

由于基于像素的评估方法逐像素地比较预测分割结果和真值分割结果的区别，而基于类内重合度的方法逐类别地比较两者之间的差异，均未考虑材料显微组织的拓扑特性，因此，本文认为在材料显微图像分析及定量表征应用中，该评估方法适用于图像分割的目标为统计物相组成比例的表征任务，但不适用于需要分析单个组织特征的尺寸或形状统计等的表征任务。

基于边界的评估方法仅适用于基于边缘提取的图像分割任务，其泛用性较低。同时针对多晶纯铁晶粒分割任务，晶界提取的目标在于分离每个晶粒，基于边界的评估方法并未考虑晶界不闭合的情况。因此，本文认为在材料显微图像分析应用中，基于边界的评估方法可适用于表面缺陷（如裂纹）检测，但不适用组织结构定量表征任务。

基于聚类和基于实例的评估方法由于在执行过程中需要先使用联通区域方法对分割结果进行分区，考虑了显微组织结构的拓扑特性，因此本文认为这两类方法更适用于材料显微图像分析任务中统计尺寸和形状分布等微观组织定量表征的目标。同时在引入典型噪声后，当组织拓扑结构发生巨大变化时，VI和MAP其变化幅度较大，本文认为上述两个指标更适合于材料显微图像分割任务。并且，VI可进一步细分为合并错误和分离错误，可更加全面地评估分割结果。

5.   总结与展望

随着硬件计算能力和计算机算法的发展，图像分割领域取得了巨大突破，大量基于不同理论的优秀的图像分割方法争相问世。因此，在应用过程中，准确地评估各种分割方法的准确性和适用性是科研工作中的必要环节，同时理解和掌握各种评估方法是改进图像分割方法的途径之一。本文首先按照不同类别（基于像素的评估方法、基于类内重合度的评估方法、基于边界的评估方法、基于聚类的评估方法和基于实例的评估方法）详细介绍了各评估方法的计算方式，并在材料显微图像分析的应用背景下，进行实验讨论了不同分割方法和不同噪声对不同评估方法的影响。最后探讨了每种方法的优势和适用性。本文认为在材料显微图像分析及定量表征应用中，基于像素和基于类内重合度的评估方法适用于图像分割的目标为统计物相组成比例的表征任务，但不适用于需要分析单个组织特征的尺寸或形状统计等的表征任务；基于边界的评估方法可适用于表面缺陷（如裂纹）检测任务；基于聚类和基于实例的评估方法更适合于材料显微图像分割任务。并且，VI可进一步细分为合并错误和分离错误，可更加全面的评估分割结果。

同时，由于材料显微图像分割任务的目标是获得微观组织的定量表征，如面积或形状分布等。在未来的研究中，可更进一步从材料学目标出发，如选择KL散度（Kullback–Leibler divergence），JS散度（Jensen–Shannon divergence）或Wassertein距离等方法评估预测结果的面积分布和真实结果的面积分布的相似性。

致谢

本文的计算工作得到了北京材料基因工程高精尖创新中心材料计算平台的支持。