精彩文章||基于深度学习的宫颈癌异常细胞快速检测方法

1.   相关工作

宫颈癌筛查主要有3种较为成熟的方法：细胞学方法，醋酸或碘染色法和HPV‒DNA检测法。细胞学检测是应用最为广泛的筛查方法，并且随着硬件技术的进步，制片方法从传统的巴氏涂片检测，过渡到目前主流的以新柏氏薄层细胞学检测(Thinprep cytologic test, TCT)为代表的膜式法，和以液基薄层制片技术(Liquid-based cytology technology, LCT)为代表的沉降式法 ^{[ 6 ]} 。

目前，中国以细胞学（包括传统巴士涂片）作为宫颈癌主要筛查手段 ^{[ 7 - 8 ]} ，可是总体筛查水平不高，究其原因，并非由于细胞学检查技术的客观缺陷，主要是由于国内有经验的细胞病理学医师及辅助人员稀缺，根据欧美发达国家经验，一名合格的细胞学家成长周期约10年 ^{[ 9 ]} ，因此造成宫颈癌筛查水平和普及程度低下，难以满足实际检测的需要。

随着计算机硬件以及计算机处理算法的进步，尤其是以深度学习 ^{[ 10 ]} 为代表的机器学习理论的突破，计算机图像处理技术 ^{[ 11 - 12 ]} 不断渗透到各个领域，尤其在临床医学的诸多领域发挥着举足轻重的作用 ^{[ 13 ]} 。依托强有效的特征提取能力，基于深度学习的卷积神经网络可以通过梯度下降 ^{[ 14 ]} 的方式自动地学习到图像中与目标任务相关的主要特征，可大幅提高目标识别的准确率，使得深度学习方法成为计算机图像处理领域中的主流方法 ^{[ 15 ]} 。因此，采用细胞学计算机辅助诊断技术，对宫颈病变细胞图像进行自动分析和处理 ^{[ 16 ]} ，能够帮助医务人员进行精确的辅助判断，从而降低医务人员的工作强度并提高诊断的准确性 ^{[ 17 - 18 ]} 。

虽然深度学习在B超、CT和PET等医疗影像中展开了广泛应用，但在病理细胞图像分析的实际应用中仍存在大量的挑战。例如，病理细胞图像相对于B超、CT和PET等医疗影像具有分辨率高、尺寸大的特点，对深度学习算法的执行效率提出了更高的要求。在宫颈癌异常细胞检测的应用中，每个患者单次检测通过膜式法 ^{[ 6 ]} 获得100000像素×100000像素尺寸的病理细胞图像，但通常需要进行定位和识别的单个细胞的像素尺寸仅为320像素×320像素，传统的深度学习方法采用滑窗 ^{[ 19 - 21 ]} 或穷举候选框 ^{[ 22 ]} 的方法进行异常细胞的定位和识别，而经过滑窗或穷举框获得的子图大部分都不含有细胞簇，当图片数量逐渐增加时，越来越多的不含细胞簇的图像作为输入会造成图像分析过程冗余耗时，在对超大尺寸病理图像分析时严重减缓了检测速度。

基于图像分析的宫颈细胞检测方法也取得了蓬勃的发展。1988年50位美国细胞病理学家在马里兰的Bethesda召开会议，提出了宫颈/阴道细胞学描述性诊断报告方式(The Belhesda system, TBS)，首次将细胞学和病理学有机结合起来，时至今日已发表了3个版本的子宫颈细胞学诊断报告图谱，进一步规范子宫颈细胞学检查的形态学标准 ^{[ 23 ]} 。20世纪90年代初研制成功了计算机辅助细胞检测系统（Computer-assisted cytological test, CCT），该系统可实现自动读片和初筛，并由细胞学专职人员做最后的诊断，可以避免因视觉疲劳而造成注意力分散及漏诊，提高细胞学诊断的准确性 ^{[ 24 ]} 。国外较为成熟的宫颈细胞自动化检测系统 ^{[ 25 ]} 包括AutoPap初期筛查系统、PapNet测试系统、TIS等。AutoPap初期筛查系统需要将异常细胞与参考玻片进行比较得出结果 ^{[ 26 ]} ，PapNet测试系统和TIS提取可疑细胞后采用交互式的方法由医学专家进行判别得到筛选结果 ^{[ 27 ]} ，以上方法均采用手工设计特征的方法进行异常细胞识别，降低了方法的泛化性能。随着机器学习理论的发展，以深度学习为代表的人工智能方法可自动地提取图像中的关键特征，开始逐步应用于宫颈癌异常检测领域，但由于基于候选框式的深度学习方法 ^{[ 22 ]} 需要穷举所有可能的位置进行判断，降低了目标检测的效率，所以大部分方法仅能采用滑窗式 ^{[ 19 - 21 ]} 方法粗步估算出大致的位置，造成定位精度低下。

针对以上问题，本文提出一种新的宫颈癌异常细胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细胞，若出现则进一步使用基于候选框的目标检测方法进行分析，能够极大缩短推理时间，提高检测速度。实验表明，本文提出的方法能够将推理时间减少54%，提高异常细胞检测效率。

2.   基于深度学习的宫颈癌异常细胞快速检测方法

2.1   方法概述

由于TCT图像通常具有超大像素，本文采用了“滑动交叠裁剪”的策略从TCT图像上裁剪出局部区域形成TCT图像子集，用来训练和测试模型，如 图1 所示，TCT全景图像尺寸是100000像素×100000像素，裁减的局部区域大小为2000像素×2000像素。此外，TCT图像上具有异常细胞较少，且细胞簇之间的分布呈稀疏排列等特点，导致TCT图像子集存在大量不包含细胞簇的背景图像，如果直接将TCT图像子集输入到目标检测网络模型，在模型推理时会产生较长的耗时。为了减少模型的推理时间，提高检测效率，本文提出了一种基于深度学习的宫颈癌异常细胞快速检测方法，即采用图像分类网络与目标检测网络结合的方式，减少背景图像在模型推理时的耗时。

图  1    本文提出的加速策略的技术路线流程图（图中红色框代表异常细胞）

基于深度学习的宫颈癌异常细胞快速检测方法，包括异常细胞图像初步筛选和异常细胞精确识别两个阶段，如 图1 所示为方法流程图。首先采用图像分类模型判断局部区域中是否包含细胞簇，再采用目标检测模型对含细胞簇图像进行异常细胞定位和识别。

2.2   滑动交叠裁剪

通过“滑动交叠裁剪”方式从TCT图像上获得TCT图像局部区域的图像，构成TCT图像子集。“滑动交叠裁剪”方式如 图2 所示，“滑动交叠裁剪”方式是以局部区域边长（本文以2000像素×2000像素尺寸作为裁剪局部区域尺寸）的一半作为步长在TCT图像上滑动裁剪，能够解决异常细胞处于图像边缘时，裁剪下的图像内异常细胞显示不完整的情况。

图  2    “滑动交叠裁剪”示例

图中红色框内是真实标注的异常细胞，从左到右黑色、蓝色及绿色框是采用1000像素为步长裁剪的3个TCT子区域图像，交叠裁剪能够让蓝色框所裁剪下的图像包含完整的异常细胞。因为最终检测结果需要映射到TCT全景图像上，即使黑色框和绿色框所裁剪下的图像切割了部分异常细胞，在模型进行推理时，经过非极大值抑制（Non-maximum suppression, NMS）后处理，蓝色框所裁图像的检测结果会覆盖黑色框和绿色框所裁图像的检测结果，这样即可解决图像边缘的异常细胞检测问题。

2.3   宫颈细胞图像异常局部区域识别

TCT图像上的细胞簇之间的呈稀疏排列分布的特点，导致TCT图像上存在大量不包含细胞簇的背景图像，这些背景图像会在目标检测模型中产生较长的模型推理耗时，影响识别效率。因为图像分类网络的推理时间要远小于目标检测网络的推理时间，所以，在输入目标检测网络之前，采用图像分类方法将背景图像筛除，只将含有细胞簇的图像输入到目标检测网络，能够极大减少整体推理时间。通过后续实验，综合准确率与模型复杂度考虑，Resnet50 ^{[ 14 ]} 模型的综合性能高，所以本文采用Resnet50 ^{[ 14 ]} 作为图像分类网络模型。

2.4   局部区域内宫颈异常细胞定位与识别

经过图像分类网络后，可获得只含有细胞簇的TCT图像，并作为目标检测模型的输入，由目标检测模型对异常细胞进行精确识别。本文采用YoloV5作为目标检测模型，模型结构如 图3 所示。

图  3    YoloV5网络结构

3.  实验

3.1   实验条件

（1）数据制备。

采用的数据集是经由专业医生进行异常细胞标注的650例患者的TCT图像。在采集数据样本时，医生首先使用专门的采样器采集宫颈脱落细胞，其次，将脱落细胞盛有保存液的小瓶中，再次，将小瓶放入ThinPrep全自动制片仪，自动完成制片，随后进行巴氏染色，最后将染色后的玻片放置显微镜上进行观测。

医生对制片完成后的异常细胞进行标注，数据标注情况如 表1 所示，本文将如下4类细胞定义为异常细胞，并在目标检测时使用二分类进行判断。

表  1    图像标注情况

通过裁剪TCT图像，得到总计8702张含有真实标注的TCT局部区域图像和部分不含真实标注的TCT局部区域图像作为数据进行图像分类模型以及目标检测模型的训练，其中训练集、验证集及测试集的划分比例为7∶2∶1。

（2）评估指标。

本文采用目标检测领域的常用评估指标AP50 ^{[ 28 ]} 作为准确率进行实验评估，该评估方法综合考虑了各阈值下的精确率和召回率，可更加全面的评估模型的预测结果。

（3）实验参数。

本文中图像分类实验训练轮次为30轮次，采用RMSProp优化器，初始学习率为10 ⁻⁶ ，批次大小为16。

本文中目标检测实验训练轮次为50轮次，初始学习率为10 ⁻² ，采用SGD梯度下降法，热身动态调整学习率策略，批次大小为32。

本文所有模型基于PyTorch框架 ^{[ 29 ]} 和OpenCV图像处理包 ^{[ 30 ]} 实现，均在装备1台Nvidia Tesla V100 显卡的工作站上测试。

3.2   图像分类阶段

本文选择了当前主流的多个图像分类模型框架（Resnet50 ^{[ 15 ]} , Resnet101 ^{[ 15 ]} , Resnet152 ^{[ 15 ]} , Densenet121 ^{[ 31 ]} ，SE-Resnext50 ^{[ 32 ]} ，SE-Resnext101 ^{[ 32 ]} ，SE-Resnet50 ^{[ 32 ]} ，SE-Resnet101 ^{[ 32 ]} ，Efficientnet-b4 ^{[ 33 ]} ，Efficientnet-b7 ^{[ 33 ]} ，Resnext50 ^{[ 34 ]} ，Resnext101 ^{[ 34 ]} ，Nasnet ^{[ 35 ]} ，Shufflenetv2 ^{[ 36 ]} ，Inceptionv4 ^{[ 37 ]} ，Xception ^{[ 38 ]} ），对局部区域是否含有细胞簇进行了分类实验，实验结果如 表2 所示

表  2    细胞簇图像分类实验

由 表2 可知，Resnet系列模型准确率明显高于其它模型，其次是Resnext系列模型，再次是其它当前主流模型。Resnet系列模型中Resnet101的准确率最高，相比较Resnet50，其模型结构复杂，模型参数多，有利于精准学习病理图像的特征。其它当前主流模型的准确率低于Resnet101，其原因可能是有些模型参数过多，模型结构过于复杂，在训练过程中产生了过拟合现象，也可能因为有些模型是专为特定数据集设计，在其他数据集上（如医学图像数据集）的泛化能力不强。由于区分局部区域是否含细胞簇任务简单，Resnet系列模型相较其它模型结构简单，不易产生过拟合。特异性(True negative rate, TNR)是衡量模型能否正确识别出不含细胞簇区域能力的指标，而敏感性(True positive rate, TPR)则是衡量模型能否正确识别出含细胞簇区域能力的指标，经过分析，绝大多数模型的特异性指标高于敏感性指标，这是因为含细胞簇图像特征复杂，难以学习。经过分析，Shufflenetv2的推理耗时最小，其原因在于它的模型参数量小，计算成本小，模型结构简单，Efficientnet-b7的推理耗时最大，因为其模型参数量和计算成本最大，模型结构复杂。综合各项评估指标考虑，从对局部区域是否含有细胞簇的分类任务来看，Resnet系列模型优于其他当前主流模型。

3.3   目标检测实验

对完整的一张TCT图像经过“滑动交叠裁剪”后获得的11550张2000像素×2000像素的病理细胞图像，输入到目标检测模型里进行推理时间对比实验。本文选取了当前主流的目标检测网络模型进行实验，对比了Faster RCNN ^{[ 22 ]} 、Cascade RCNN ^{[ 39 ]} 、Libra RCNN ^{[ 40 ]} 、Tridentnet ^{[ 41 ]} 、Foveabox ^{[ 42 ]} 、ATSS ^{[ 43 ]} 、YoloV5 ^{[ 44 ]} 的实验结果，实验结果如 表3 所示。

表  3    模型推理时间对比实验

由 表3 可知，本文提出的基于异常细胞快速检测方法的双阶段模型（Double stage models）与仅用目标检测模型的单阶段模型（Single stage model）方法相比，在一定程度上略微增加了模型参数量，但整体上模型平均推理时间减少了54%。这是因为图像分类模型的推理时间远小于目标检测模型的推理时间，所以先用图像分类模型滤除不含细胞簇的TCT图像能够极大节省异常细胞检测模型的推理时间。

同时为评估快速检测方法的识别精度性能，本文针对仅用目标检测模型和本文的快速检测方法在识别精度性能上进行了实验，结果如 表4 所示。

表  4    模型识别精度对比实验

由 表4 可知，表中7个单阶段模型的AP50平均值为68.5%，7个双阶段模型的AP50平均值为65%，本文提出的基于异常细胞快速检测方法的双阶段模型与仅用目标检测模型的单阶段模型方法相比，评估指标AP50平均下降了3.5%，分析原因得这是因为异常细胞快速检测方法在第一阶段使用图像分类网络时存在少量分类错误的情况，使得目标检测网络没有检测这些图片，出现“漏检”现象。结合 表2 ～ 4 可知，本文提出的异常细胞快速检测方法在损失少量精度，略微增加模型复杂度的情况下，能够将检测模型推理时间减少54%。

3.4   结果分析

提的基于深度学习的宫颈癌异常细胞快速检测方法的在测试集上部分的可视化结果如 图4 所示，红色框为本文方法的识别结果，绿色框为真实标注框，其中 图4（a） 和 4（b） 是正确识别结果示例， 图4（c） 和 4（d） 是错误识别结果示例。 图4（c） 错误识别的原因为存在“过检”现象，即不仅仅将异常细胞识别出，还将一些与异常细胞相似的正常细胞识别为异常细胞，分析其原因可能是训练过程中出现了过拟合现象。此外， 图4（d） 中错误识别的原因为存在“漏检”现象，这是因为该图像中存在大部分不含细胞簇区域，导致在图像分类阶段将其误分为背景图像，从而将其滤除，却没有输入到目标检测模型中。

图  4    数据集中部分细胞簇的识别示例。（a,b）正确识别结果；（c）“过检”识别结果；（d）“漏检”识别结果

4.   结论与展望

本文提出了基于深度学习的宫颈癌异常细胞快速检测方法，采用Resnet50模型作为图像分类网络，YoloV5模型作为目标检测网络。首先用Resnet50模型对含细胞簇TCT图像子集和不含细胞簇TCT图像子集进行二分类，滤除背景图像，再将含细胞簇TCT图像子集输入到YoloV5模型中完成对异常细胞的识别。实验结果表明，本文提出的基于深度学习的宫颈癌异常细胞快速检测方法能够将推理时间减少50%，提高了异常细胞检测效率。但同时本文提出的方法也有一定的缺点，即增加了模型参数量以及略微损失模型精度。本文所提的方法对于宫颈癌细胞辅助筛查领域有实际的应用意义，能促进宫颈癌细胞辅助筛查技术的应用推广。

在未来的研究中，我们将研发更高效的数据增广方法模型进一步提高模型的识别性能，并采用蒸馏学习方法降低异常细胞检测过程的计算量。

致谢

本文的计算工作得到了北京材料基因工程高精尖创新中心材料计算平台的支持。