一种基于视频的智能积水检测方法与流程

本发明涉及利用道路监控摄像头采集视频数据，利用图像处理及深度学习技术，检测、定位市政道路积水区域。

背景技术：

目前，主要依靠人工的方式选择道路积水多发区域，布设道路积水检测系统，该类型的系统通常包含了水位检测模块、信息传输模块以及监控终端等要素，从而实现远程监控积水多发地段的道路积水情况。上述传统的积水检测方式优点在于能够较为精确、快速的获取积水信息，但存在基于人工主观经验选择的积水区域往往不能很好的应对环境的动态变化，需要专门为所敷设检测系统建设运行条件以及需人工对监测位置的物理设备进行持续维护等问题，这些问题决定了传统的积水检测方法具有建设维护成本高、使用不灵活的缺点。本发明是一种基于监控视频的道路积水检测方法，该方法实现了利用包含噪声、抖动等干扰因素的监控视频进行道路积水区域检测、定位。

技术实现要素：

为了提高积水检测效益，本发明提出一种新的道路积水检测方法，该方法基于公共道路上方设置的摄像头拍摄视频，对视频数据进行分析、处理，标识出存在积水的区域。

本发明的目的是通过以下技术方案来实现的：一种基于视频的智能积水检测方法，该方法包括以下步骤：

(1)数据预处理步骤：对视频帧图像进行图像空间高斯低通滤波消除图像噪声，在此基础上提取帧图像对应的纹理信息，得到三维纹理信息矩阵texwhs，w、h对应于图像横纵方向的尺度，s为检测积水的时间窗口内帧图像的数量；

(2)提取纹理信息对应的时间序列特征：基于三维纹理信息矩阵texmns提取纹理信息时间序列特征，采用图像划分方式，沿图像横纵方向将图像划分成m×n个图像子块，每个图像子块贯穿所有帧图像，计算每个图像子块对应的时间序列特征，具体如下：

(2.1)计算参考帧纹理信息矩阵roi_ref：设roi_refi,j表示第i,j个图像子块对应的参考帧纹理信息矩阵，设roii,j(t)表示第i,j个图像子块在t时刻的纹理信息矩阵，满足以下公式：

roi_refi,j＝roii,j(t＝0)(1)

(2.2)计算纹理均值时间序列特征f_1：设第i,j个图像子块对应的时间序列特征为f_1i,j，f_1i,j计算如公式2所示，其中ave()表示均值操作，f_1i,j^(t)表示t时刻第i,j个图像子块对应的纹理均值特征；

第i,j个图像子块构成的纹理均值时间序列特征如公式3所示：

t表示检测积水的时间窗口尺度；

(2.3)计算纹理2-范数时间序列特征f_2，设第i,j个图像子块对应的时间序列特征为f_2i,j，f_2i,j计算如公式4所示，其中norm2()表示2-范数操作，f_2i,j^(t)表示t时刻第i,j个图像子块对应的纹理2-范数特征；

第i,j个图像子块构成的纹理2-范数时间序列特征如公式5所示：

(2.4)计算纹理向量变化时间序列特征f_3，设第i,j个图像子块对应的时间序列特征为f_3i,j，f_3i,j计算如公式6所示，其中dot()表示点乘操作，flatten()表示图块像素值矩阵平铺操作，f_3i,j^(t)表示t时刻第i,j个图像子块对应的纹理向量变化特征；

第i,j个图像子块构成的纹理向量变化时间序列特征如公式7所示：

(2.5)基于高斯核的特征融合，融合f_1、f_2、f_3得到特征f，将特征f对应的归一化频谱面积值作为积水存在概率，记为compress()操作，设scorei,j表示第i，j个图像子块对应的积水存在概率，mscore表示所有图像子块积水概率值构成的二维矩阵，如公式8所示：

mscore＝compress(f)(8)

(2.6)采用交叠的方式进行积水检测，得到检测次数k；

(2.7)经过k次计算得到矩阵resf，且满足resf∈r^m×n×k；

其中：

式中score^tij表示第i,j个图像子块第t次检测得到积水概率值，sij为第i,j个图像子块对应的积水概率序列，即由检测时间窗滑动k次计算得到结果；

(2.8)计算综合积水概率：采用投票法得到综合积水概率矩阵probf，如公式9所示，其中probij表示第i，j图像子块对应的综合积水概率，v()表示投票法，sij为resf矩阵子项。

(3)基于混合深度学习模型的积水区域精确定位，具体如下：

(3.1)二值化综合积水概率矩阵probf，probf中每一项同二值化阈值thre2比较，大于阈值为1，反之为0，并将值为1的项对应的图像子块时间序列作为判别网络模型的输入样本，通过判别网络模型计算积水概率，采用积水区域初判矩阵mfp表示二值化综合积水概率矩阵；

(3.2)针对积水现象的时间序列特征和积水分布区域不确定的特点，采用cnn+lstm构成子判别网络模型netlstm，计算存在积水概率；

(3.3)针对积水现象的纹理、时间序列特征以及积水分布区域不确定的特点，采用空洞卷积+3dcnn方式计算时间维度特征金字塔构建子判别网络模型net3dcnn，计算存在积水概率；

(3.4)串联子判别网络模型netlstm和net3dcnn的输出结果，判别网络模型的最后一层采用sigmoid节点，将网络输出值作为积水概率。

进一步地，所述步骤(1)中，采用canny算子计算帧图像对应的纹理信息，公式如下：

texi＝canny(framei)

其中framei为视频第i帧图像，texi为canny算子提取到的视频第i帧图像纹理信息；

进一步地，所述步骤(2.1)中，采用检测时间窗口内视频第一帧图像的纹理信息作为参考信息矩阵roi_ref。

进一步地，所述步骤(2.5)中，基于高斯核的特征融合公式如下：

其中exp()表示高斯核函数，α1、α2为调节系数。

进一步地，所述步骤(2.6)中，采用交叠的方式进行积水检测具体为：检测移动步长ws设置为t/2，t为检测时间窗，即前后检测时间窗有t/2的范围重叠，设int()为取整操作，lenv为视频长度，k为检测的次数，k值计算公式如下：

进一步地，所述步骤(2.8)中，采用投票法得到综合积水概率矩阵probf具体为：

resf矩阵中每一项同投票阈值thre1比较，大于阈值为1，反之为0，大于阈值项所占比例构成综合积水概率矩阵probf，probij计算公式如下：

其中αij表示resf矩阵sij项积水概率序列中大于阈值thre1的数量，k为检测次数。

进一步地，所述步骤(3.2)中，cnn结构采用16层2维残差网络(resnet)结构，采用2层单向lstm，时间窗为wt1秒，并从时间窗中等间隔抽取wn1帧图像构成时间序列样本用于积水判别；

遍历积水区域初判矩阵mfp所有项，合并mfp中值为1的项对应的图像子块极其8邻接区域，依次对上述抽取的wn1帧图像做相同的操作得到判别样本，通过子判别网络模型netlstm计算得到合并区域的特征向量，基于此，遍历mfp所有项。

进一步地，所述步骤(3.3)中，3dcnn结构采用16层3维残差网络(resnet)结构，采用4种不同尺度时间维度空洞卷积构建卷积金字塔模块，时间窗为wt2秒，并从时间窗中等间隔抽取wn2帧图像构成时间序列样本用于积水判别；

遍历积水区域初判矩阵mfp所有项，将上述抽取的wn2帧图像作为判别样本，通过子判别网络模型net3dcnn计算得到每个子块的特征向量，基于此，遍历mfp所有项。

进一步地，为了提升判别网络模型的计算效率：对步骤(2.7)中图像子块积水概率序列所有项从大到小排列；选取排序后的积水概率序列中前三项，结合步骤(3.1)中的矩阵mfp，从时间和图像空间维度选取待检测数据，即从视频中选取高疑似积水现象的视频片段作为判别网络模型的输入样本。

进一步地，为了提升判别网络模型的识别精度，采用实际的道路监控视频作为判别网络的训练样本，在训练样本中添加泊松(poisson)噪声，提升网络判别模型对客观干扰的适应能力；采用预训练的方式分别对子判别网络模型进行训练，在此基础上合并所有子判别网络模型。

本发明的有益效果是：通过对实际场景采集视频进行测试，能够精确的定位到疑似积水区域。本发明的优点在于能够利用现有市政设施进行道路积水检测，能够在确保精度的同时，有效降低积水检测的成本，为城市应急处置积水提供精准、快速的预警手段。

附图说明

图1本发明方法流程图；

图2判别网络模型(k为卷积核尺度，d为空洞尺度，s为核移动步长)；

图3道路积水检测结果。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明提供的一种基于视频的智能积水检测方法，包括以下步骤：

(1)数据预处理步骤，对视频帧图像进行图像空间高斯低通滤波，在此基础上采用canny算子计算帧图像对应的纹理信息。

(1.1)采用3×3大小的高斯低通滤波器对视频帧图像进行滤波，消除设备噪声引起的图像质量下降问题；

(1.2)采用canny算子对视频帧图像的纹理信息进行提取，如公式1所示，其中：framei为视频第i帧图像，texi为canny算子提取到的视频第i帧图像纹理信息：

texi＝canny(framei)(1)

(1.3)计算三维纹理信息矩阵。本发明采用时间长度t(本实施例t设置为5秒)作为检测积水的时间窗口尺度(单位为秒)，视频帧率为30帧/秒，视频大小为720×404像素宽度。

设texwhs为三维纹理信息矩阵，其中w、h、s分别表示纹理信息矩阵三个方向的尺度，w、h对应于图像横纵方向的尺度，s为检测时间窗口内帧图像的数量，s量的计算如公式2所示，其中framerate表示视频帧率(帧/秒)，t表示检测时间窗口尺度(秒)。

s＝framerate×t(2)

(2)提取纹理信息对应的时间序列特征。基于三维纹理信息矩阵texmns提取纹理信息时间序列特征，本发明采用图像划分方式，沿图像横纵方向将图像划分成m×n个图像子块(即图像子块贯穿所有帧图像)，本实施例设置分块的大小为50×50像素尺度，在此基础上计算每个子块对应的时间序列特征(分别记为f_1，f_2，f_3)，时间序列长度等于s，如公式2所示。

(2.1)计算参考帧纹理信息矩阵。本发明采用检测时间窗口内视频第一帧图像的纹理信息作为参考信息矩阵，记为roi_ref。设roi_refi,j表示第i,j个图像子块对应的参考帧纹理信息矩阵，设roii,j(t)表示第i,j个图像子块在t时刻的纹理信息矩阵，满足公式3所示关系。

roi_refi,j＝roii,j(t＝0)(3)

(2.2)计算纹理均值时间序列特征，记为f_1，设第i,j个图像子块对应的时间序列特征为f_1i,j。f_1i,j计算如公式4所示，其中ave()表示均值操作，f_1i,j^(t)表示t时刻第i,j个图像子块对应的纹理均值特征。

结合公式4及上述定义，第i,j个图像子块构成的纹理均值时间序列特征如公式5所示形式。

(2.3)计算纹理2-范数时间序列特征，记为f_2，设第i,j个图像子块对应的时间序列特征为f_2i,j。f_2i,j计算如公式6所示，其中norm2()表示2-范数操作，f_2i,j^(t)表示t时刻第i,j个图像子块对应的纹理2-范数特征。

结合公式6及上述定义，第i,j个图像子块构成的纹理2-范数时间序列特征如公式7所示形式。

(2.4)计算纹理向量变化时间序列特征，记为f_3，设第i,j个图像子块对应的时间序列特征为f_3i,j。f_3i,j计算如公式8所示，其中dot()表示点乘操作，flatten()表示图块像素值矩阵平铺操作，f_3i,j^(t)表示t时刻第i,j个图像子块对应的纹理向量变化特征。

结合公式8及上述定义，第i,j个图像子块构成的纹理向量变化时间序列特征如公式9所示形式。

(2.5)基于高斯核的特征融合，形式如公式10所示，其中exp()表示高斯核函数，α1、α2为调节系数。

基于公式10，融合步骤(2.2)至(2.4)提取的纹理信息时间序列特征，本发明将特征f对应的归一化频谱面积值作为积水存在概率，记为compress()操作，设scorei,j表示第i，j个图像子块对应的积水存在概率，mscore表示所有图像子块积水概率值构成的二维矩阵，如公式11所示。

mscore＝compress(f)(11)

(2.6)实际场景中存在移动的车辆、行人等运动物体对积水区域存在无规律、一定时间范围内的遮挡。为了提高检测精度，本发明采用交叠的方式进行积水检测，其中检测时间窗为t，检测移动步长为t/2(记为ws＝t/2)，即前后检测时间窗有t/2的范围重叠，设int()为取整操作，lenv为视频长度，k为检测的次数，k值计算如公式12所示。

(2.7)由上述步骤(2.1)至(2.6)，经过k次计算得到矩阵resf，且满足resf∈r^m×n×k，其中m、n分别为帧图像在横纵方向上划分的数量，k为检测的次数。

其中：

式中score^tij表示第i,j个图像子块第t次检测得到积水概率值，sij为第i,j个图像子块对应的积水概率序列，即由检测时间窗滑动k次计算得到结果，由此可知resf实际上为帧图像的积水概率矩阵，其构成项对应于不同图像子块的积水概率序列。

(2.8)计算综合积水概率。本发明采用投票法计算综合积水概率，得到每个图像子块对应的综合积水概率值，投票阈值thre1可以采用0.5，resf矩阵中每一项同阈值thre1比较，大于阈值为1，反之为0，大于阈值项所占比例构成了综合积水概率矩阵probf，如公式13所示，其中probij的形式表示第i，j图像子块对应的综合积水概率，v()表示投票法，sij为resf矩阵子项。

v()的形式如公式14所示，式中αij表示resf矩阵sij项积水概率序列中大于阈值thre1的数量，probij为sij项对应的综合积水概率，即第i，j图像子块对应的综合积水概率，k为检测次数。

(3)基于混合深度学习模型的积水区域精确定位。步骤(2)通过纹理信息的时间序列特征计算得到了帧图像的综合积水概率，由此进一步缩小了需要判别的区域，提高计算的效率，为了精确定位积水存在区域，结合积水纹理、积水现象的时间序列特征及积水分布区域不确定特点，采用多个子判别网络模型侧重于不同的积水特征，在此基础上融合所有子模型提取特征，得到积水概率。

(3.1)二值化步骤(2)计算得到的综合积水概率矩阵probf，二值化阈值thre2可以设置为0.5，probf中每一项同thre2比较，大于阈值为1，反之为0，并将值为1的项对应的图像子块时间序列作为判别网络模型的输入样本，通过判别网络模型计算积水概率，0项则忽略，采用积水区域初判矩阵mfp表示二值化综合积水概率矩阵。

(3.2)针对积水现象的时间序列特征和积水分布区域不确定的特点，本发明采用cnn+lstm网络模型计算较大范围场景存在积水概率，该子判别网络模型记为netlstm，cnn结构采用16层2维残差网络(resnet)结构，采用2层单向lstm，时间窗为wt1秒(本实施例设置为1秒)，并从时间窗中等间隔抽取wn1帧图像(本实施例设置为6帧图像)构成时间序列样本用于积水判别，该子判别网络模型结构如附图2所示。

遍历积水区域初判矩阵mfp所有项，合并mfp中值为1的项对应的图像子块极其8邻接区域，依次对上述抽取的wn1帧图像做相同的操作得到判别样本，通过子判别网络模型netlstm计算得到该合并区域的特征向量，基于此，遍历mfp所有项。

(3.3)针对积水现象的纹理、时间序列特征以及积水分布区域不确定的特点，本发明采用空洞卷积+3dcnn方式计算时间维度特征金字塔(temporalpyramidcnn,tpcnn)计算小范围场景存在积水概率，该子判别网络模型记为net3dcnn，3dcnn结构采用16层3维残差网络(resnet)结构，采用4种不同尺度时间维度空洞卷积构建卷积金字塔模块，时间窗为wt2秒(本实施例设置为1秒)，并从时间窗中等间隔抽取wn2帧图像(本实施例设置为12帧图像)构成时间序列样本用于积水判别，该判别模型结构如附图2所示。

遍历积水区域初判矩阵mfp所有项，将上述抽取的wn2帧图像作为判别样本，通过子判别网络模型net3dcnn计算得到每个子块的特征向量，基于此，遍历mfp所有项。

(3.4)合并步骤(3.2)、(3.3)中的子判别网络模型，采用合并的方式融合子判别网络的输出结果，即串联子判别网络模型的输出结果，判别网络模型结构如附图2所示，判别网络模型的最后一层采用sigmoid节点，将网络输出值作为积水概率。

为了提升判别网络模型的计算效率：1、对步骤(2.7)所述图像子块积水概率序列所有项从大到小排列；2、选取排序后的积水概率序列中前三项，结合步骤(3.1)所述积水区域初判矩阵mfp，从时间和图像空维度选取待检测数据，即从视频中选取高疑似积水现象的视频片段作为判别网络模型的输入样本。

为了提升判别网络模型的识别精度：1、采用实际的道路监控视频作为判别网络的训练样本，增强判别网络模型对实际应用场景的适应能力，提升对水纹波动、行车尾迹以及溅水信号的识别准确度；2、在训练样本中添加泊松(poisson)噪声，提升网络判别模型对摄像头抖动、采集设备噪声等客观干扰的适应能力；3、采用预训练的方式，分别对上述子判别网络模型进行训练，在此基础上合并所有子判别网络模型，并基于预先训练权重对判别网络模型权重进行微调。

本发明的伪代码：

pseudocode:surfacepondingdetection

w：视频图像宽度，h：视频图像高度,t：视频长度，frame：视频帧图像，thref：基于纹理信息时间序列特征的初判积水区域阈值，threr：基于判别网络模型的判断积水区域阈值，ra：视频中子区域是否为积水区初判值，area：视频子区域集合，disnet：判别网络模型

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。