清华大学结构工程检测中心

无人机桥检是集深度学习、计算机视觉和桥梁服役诊断于一体的交叉研究前沿。从无人机拍摄的带背景的图像中准确识别裂缝具有较高挑战。为提高工程服务的可靠性与准确度，通过逆向思维创新，开发了支持非深度学习方法的无人机桥检图像ROI与背景分割技术，理论准确率高。

研究背景

无人机在桥检飞行中处于6向自由状态，拍摄场景范围不易控制。因此，无人机桥检拍摄的图像不可避免地会包含无关背景，如管线、树木、地面、天空等，尤其当包含线状噪声时对裂缝识别影响较大，上述图片不适合直接用于裂缝识别。

同时，裂缝的可视化定位可采用运动恢复结构（Structure from Motion，SfM）技术、根据拍摄的图像建立桥梁的点云模型。为使桥梁建模成功，拍摄的图像中有地面和植被等背景信息，使得特征点更为丰富反而更好。从这个角度而言，没有必要在无人机拍摄图像的过程中排斥背景。

因此，从带背景的图像中准确识别裂缝，是无人机桥检的客观需求。从图像中单独提取出ROI，是实现该目标最好的途径。目前，已有一些学者基于深度学习的语义分割算法直接从二维桥梁图像中提取ROI，这类方法面临如下挑战：

桥梁图像中含有复杂的背景信息，且背景占比可能超过桥梁结构；
当拍摄距离和光照条件变化，同一桥梁构件的成像特征也会变化；
基于深度学习的语义分割算法的效果依赖训练数据的质量和数量；
神经网络方法无法给出百分之百准确的结果。

受上述情况启发，本研究提出了一套通过点云分割-逆向投影提取无人机桥检图像Region of Interest（ROI）的方法，可自动且准确地排除桥梁图像中的无关背景，从而提升无人机桥检裂缝识别的效果；进一步采用深度学习等智能方法分割点云可实现全流程自动化。方法的总体框架如图1所示。

具体地：在基于计算机视觉的混凝土桥梁检测场景中，检测人员采用无人机拍摄大量图像。图像既包含场景的空间构成信息，又包含混凝土表面的裂缝信息。换句话说，图像不仅用于执行SfM重建桥梁的三维点云，还用于后续的裂缝识别。

（1）首先，我们将适合大规模点云语义分割的深度学习框架RandLA-Net应用于公路桥梁场景，构建数据集来训练和测试桥梁点云语义分割网络RandLA-BridgeNet。将大规模桥梁点云直接输入RandLA-BridgeNet即可完成语义分割，进而实现从点云中提取出三维ROI。

（2）然后，根据针孔相机模型中的几何关系，执行逆向投影操作。这一步的实质为SfM三维重建的逆向过程，即计算出三维点云ROI在二维图像中的投影位置（即二维ROI）。接下来，采用边缘提取算法找出二维ROI的外轮廓，并生成掩膜。利用掩膜将二维ROI外轮廓以外的像素（即背景）去除，就完成了二维ROI的提取，得到仅含ROI的图像。

（3）最后，将ROI图像用于裂缝识别，有效避免背景对识别算法的干扰。

图1 方法框架

研究介绍

用于提取三维ROI的点云分割技术

选用Hu等提出的RandLA-Net深度学习框架[1]，来构建直接以整个桥梁点云为输入的鲁棒的三维点云语义分割网络RandLA-BridgeNet，结构如图2所示。网络遵循广泛使用的具有Residual Connections的Encoder-decoder结构。将输入点云逐步降采样后，供一个Shared Multi-Layer Perceptron提取每个点的特征。然后，采用四个Encoder layer和Decoder layer来学习点的特征。最后，采用三个Fully Connected layer和一个Dropout layer来预测每个点的语义标签。

图2 三维点云分割网络

希望直接将百万甚至千万量级的桥梁点云输入深度神经网络中进行处理，逐步降采样的同时尽量保留几何结构信息是至关重要的。RandLA-BridgeNet采用高效的随机采样，并包含了与随机采样互补的Local Feature Aggregation模块，即使随机降采样随机地丢弃某些点的特征，局部特征聚合模块也能够将输入点云的整体几何细节保留下来。

标注了一系列钢筋混凝土公路桥梁点云，作为数据集来训练RandLA-BridgeNet，网络在语义分割上取得了良好的效果。

需要说明的是，虽然采用深度学习方法分割点云可更自动化，但当不使用深度学习方法、人工分割标注点云时，采用下文逆向投影方法仍然会大大提高ROI提取效率并保证精度。

基于逆向投影的二维ROI提取技术

以图3中的桥墩1为例来说明单个构件的逆向投影原理。当前关心的构件为桥墩1，定义其对应的点云区域为三维ROI。基于三维点云语义分割结果，从标签为桥墩的点中可便捷地提取出桥墩1。

根据针孔相机模型和SfM过程中得到的相机位姿信息，可以由三维ROI的空间坐标换算其在每一张图像中的投影（即二维ROI），这一过程称为逆向投影。注意，将三维ROI中的所有点都逆向投影至图像中，得到的只是一系列离散的投影点。进一步采用alpha shape算法找出二维ROI的外轮廓，从而完整地保留图像中当前关心的构件。

图3 逆向投影原理

在Matlab中编写逆向投影和背景排除的批处理代码，可以对包含当前关心构件的所有图像进行批量处理。如图4所示，以三维ROI和原始图像作为输入，最终输出仅含ROI的图像。

图4 单张图像的背景排除

裂缝识别方法

基于数字图像法的裂缝识别可分为两步：裂缝提取和裂缝分割。采用本团队提出的名为网格分类-方框检测混合模型（Grid-based Classification and Box-based Detection Fusion Model，简称GCBD）的数据驱动深度卷积神经网络来提取裂缝[2]。GCBD模型的网络架构如图5所示。

图5 GCBD混合模型的网络架构

裂缝提取完成后，利用Otsu算法[3]对每个网格单元进行裂缝分割。裂缝分割算法可分为预处理、分割和后处理三个步骤，如图6所示。

图6 裂缝分割算法流程

方法应用

无人机采集图像+SfM三维重建

选取G7京新高速公路的一座三跨连续混凝土梁桥作为试验场景，如图7所示。采用DJI M300 RTK四旋翼无人机，通过自主开发的云台系统携带索尼Alpha 7R IV微单相机，从各种角度和距离拍摄共计约1600张图像。

图7 试验场景

采用软件Agisoft Metashape基于这些图像重建场景的三维点云模型，如图8所示。桥梁的排水管道、限高标识和桥墩表面纹理等细节都十分清晰，表明点云的重建质量良好。

图8 场景的三维点云

点云语义分割

将重建的三维点云直接输入训练好的语义分割网络RandLA-BridgeNet，得到带预测语义标签的点云。图9对比了G7桥点云语义的预测结果和真值，两者的视觉效果差异很小，Overall Accuracy高达97%，且每一类标签的F1 score都高于90%，语义分割较为成功。

图9 点云语义分割结果

二维图像ROI提取

本试验的病害识别目标为混凝土桥墩表面的裂缝。选取26张包含桥墩表面裂缝信息的图像，作为裂缝识别的数据来源。每张图像对应的三维ROI则是图中带裂缝混凝土表面所属的桥墩构件，可从完成语义分割后的G7桥点云中方便地提取出来。采用编写的逆向投影和图像背景排除算法对这26张图像进行批量处理，就得到了仅含二维ROI（关心的带裂缝混凝土表面）的图像。

图10展示了部分典型图像的ROI提取效果。这些图像很好地反映了研究背景中提到的挑战，即直接采用深度学习方法进行二维图像中的混凝土构件识别可能存在困扰。对于前三张图像，由于背景也包含其他桥墩，二维图像的深度学习方法会将所有桥墩都识别为ROI并保留下来，无法直接得到想要的结果。第四张图像因为拍摄于桥梁下方，光照条件较差，桥墩表面显得很暗，而背景中的桥台表面则较亮，二维图像的深度学习方法极易将背景中较亮的混凝土桥台表面误识别为ROI。相反，本方法从原理上规避了这样的困扰，合理排除了背景像素，同时基本完好地将关心的带裂缝混凝土表面保留下来。

图10 ROI提取效果

裂缝识别

对提取ROI前后的图像分别采用裂缝识别方法进行处理。从GCDB融合模型中提取含有裂缝的网格单元，得到裂缝识别结果如图11所示。当背景被排除后，裂缝识别的准确性得到了提高。在未排除背景的情况下，梁、树枝以及ROI与背景的交界面等线状物容易被误识别为裂缝。排除背景不仅可以消除背景线状物的干扰，而且可以使前景与背景交界面附近的裂缝识别更加准确。

图11 提取ROI前后的裂缝识别效果

图12 某混凝土桥墩的裂缝分割结果

结语

从带背景的图像中准确识别裂缝是一件有挑战性的任务。为优化该任务的执行效果，本研究提出一种基于三维点云语义分割与逆向投影的二维图像ROI提取方法。首先，采用RandLA-Net深度学习框架构建了大规模桥梁三维点云语义分割网络RandLA-BridgeNet。建立真实桥梁点云数据集，对网络进行训练和测试。RandLA-BridgeNet可以直接以整个场景的点云为输入，高效而准确地完成语义分割。然后，可便捷地从分割后的点云中提取出三维ROI（即关心的混凝土构件）。接下来，根据针孔相机模型和相机位姿信息，将三维ROI逆向投影至二维图像中。进一步采用alpha shape算法找出投影的二维ROI的边界并去除背景，从而得到仅含ROI（即混凝土表面）的图像。最后，基于深度学习模型从这些处理后的图像中识别裂缝，从而提升识别效果。

结构智能诊断

前沿研究 | 点云分割-逆向投影提取无人机桥检图像ROI