基于频域深度学习的混凝土桥面裂缝实时检测丨Engineering
基于频域深度学习的混凝土桥面裂缝实时检测丨Engineering
engineering2015
《Engineering》是中国工程院院刊主刊，工程类综合性期刊，旨在为全球提供一个高水平的工程科技重大成果发布交流平台，报道全球工程前沿，促进工程科技进步，服务社会、造福人类。中国科技期刊卓越行动计划领军期刊。 中英文出版，全文开放获取。
本文选自中国工程院院刊《Engineering》2021年第7卷，原文出自：Real-Time Detection of Cracks on Concrete Bridge Decks Using Deep Learning in the Frequency Domain
引言
在本研究中， 美国匹兹堡大学Amir H. Alavi研究团队提出了一种基于视觉的混凝土桥面裂缝检测方法，该检测方法将一维卷积神经网络（1D-CNN）与长短期记忆（LSTM）方法集成在图像频域。1D-CNN-LSTM算法经过了数千张开裂以及非开裂的混凝土桥面图像的训练。为了提高训练效率，在预处理阶段，图像首先会被转换到频域，然后使用扁平化的频率数据对算法进行校准。LSTM则被用来提高针对长序列数据开发的网络的性能。所开发模型的训练、验证与测试数据的准确率分别为99.05%、98.9%和99.25%。随后，他们还进一步提出了一个运行框架，以便在未来将经过训练的模型应用于大尺寸图像。与现有的深度学习方法相比，本研究所提出的1D-CNN-LSTM算法在准确度与计算时间等方面均有卓越的表现。可以预见，1D-CNN-LSTM算法的快速运行使其在实时裂缝检测领域必将大有可为。
据美国土木工程师协会（American society of civil engineers, ASCE）报道，美国有超过56 000座桥梁存在“结构缺陷”。 对老化桥梁进行经济有效的管理正在成为美国国家交通部门和政府面临的一项艰巨任务 。在做出任何修复及预防决策之前，都需要对桥梁进行可靠的状态评估。尽管这种担忧会促使桥梁业主进行频繁的桥梁结构检查，但 传统的无损评价（NDE）与目测检查法的应用均需对单个元素进行逐点检查，以在结构中发现具有多个缺陷的位置 。此外，考虑到检测人员的人身安全，检测过程中需关闭桥梁。 这些方法往往耗时长、成本高、主观性强，且高度依赖于检测人员的经验 。许多研究小组一直在探索可替代的结构健康监测（SHM）方法来应对这些限制。尽管全局性的SHM技术似乎很有前景，但该方法只能对结构行为进行粗略评估，而不能提供详细信息。此外，由于噪声信号、传感器缺陷或采集系统设置的问题，对由SHM法收集到的结果进行解读也并非易事。
近年来， 基于视觉的检测方法在民用基础设施损坏检测实践中越来越受到重视 。有许多研究都旨在检测裂缝、腐蚀等设施表面的缺陷。例如，分割、滤波和基于立体视觉的方法已被用于检测结构系统中的裂缝和类似裂缝的特征。基于视觉的方法通常遵循两个步骤来检测裂缝。在第一步，研究者将使用统计滤波器对图像进行滤波，并在局部提取裂缝特征以融合图像。第二步则是清除和链接图像片段以定义裂缝。 研究者还开发了消除阴影的算法来消除此类图像中的阴影，并准确定位裂缝 。然而，桥梁的检测数据是在各种情况下收集的，因此具有很大差异。诸如由照明条件和失真引起的噪声、对先验知识的依赖以及图像数据的质量等问题对裂缝检测的可靠开展仍然具有挑战性。
为解决这些问题，一种具有可行性的方案是部署机器学习（ML）方法。基于ML的方法已广泛用于SHM和NDE领域。这些方法一般用于解释从测试系统收集的信号数据，因此，它们往往能反映出关于结构系统状况的有用信息。最近，该领域的工作重点是整合图像特征提取与ML技术来开发新型的SHM和NDE系统。然而，使用过度提取或错误提取的特征通常会使模型开发变得非常复杂。为次，本研究中， 美国匹兹堡大学的Amir H. Alavi研究团队 提出了一种用于检测桥面裂缝的实时深度学习方法 （图1），他们将一维（1D）卷积神经网络（CNN）与被称为长短期记忆（LSTM） 的人工循环神经网络（RNN）架构相结合。此外，本研究提出的1D-CNN-LSTM算法使用的是传输到频域而不是空间域的图像进行训练。采用这种策略可以有效减少计算时间、提高检测精度。
图1. 本研究所提出的检测方法框架。FFT：快速傅里叶变换。
研究结果表明， 1D-CNN-LSTM的性能要优于其余方法 。与其他研究过的CNN算法相比， 1D-CNN-LSTM 方法的一个显著优势是其训练与运行所需的时间明显更短 。这一点对于实时混凝土裂缝检测而言至关重要，特别是在无人机检测等自动化桥梁检测的应用场景中。这一成果有效地验证了频域数据预处理的效率。 未来的研究可以专注于使用更大和更多样化的数据集来开发模型 。在频域中将其他高效的深度学习方法（如Yolo）与LSTM相结合也可能成为未来研究的合适主题。
关键词： 裂缝检测; 混凝土桥面; 深度学习; 实时检测
扫二维码 | 查看原文
原文链接：http://www.engineering.org.cn/ch/10.1016/j.eng.2020.07.026
以上内容来自：Qia nyun Zhang, Kaveh Barri, Saeed K. Babanajad, Amir H. Alavi. Real-Time Detection of Cracks on Concrete Bridge Decks Using Deep Learning in the Frequency Domain [J]. Engineering, 2021, 7(12): 1786-1796.