CN115731493A

CN115731493A - 基于视频图像识别的降水微物理特征参量提取与分析方法

Info

Publication number: CN115731493A
Application number: CN202211424231.6A
Authority: CN
Inventors: 刘显通; 胡胜; 肖辉; 夏丰; 万齐林; 赖睿泽; 冯璐; 黎慧琦; 饶晓娜; 袁锦涵
Original assignee: Guangzhou Institute Of Tropical Marine Meteorology China Meteorological Administration (guangdong Meteorology Science Institute)
Current assignee: Guangzhou Institute Of Tropical Marine Meteorology China Meteorological Administration (guangdong Meteorology Science Institute)
Priority date: 2022-11-15
Filing date: 2022-11-15
Publication date: 2023-03-03

Abstract

本发明公开了一种基于视频图像识别的降水微物理特征参量提取与分析方法，其包括步骤一、样本数据的预处理，得到二值化图片；步骤二、雨滴的智能识别，其包括：S2‑1、基于图像特征算法对二值化图片识别检测，提取雨滴特征；S2‑2、基于OCR对图像中的时间识别，且识别帧数偏移情况；其中，识别帧数偏移为：从开始分析秒数的第一帧起到变为下一秒所经过的帧数；S2‑3、根据图像的颜色特点，进行镜头类型识别；其中，镜头类型包括蓝屏镜头、大镜头、小镜头和未确定镜头；步骤三、数据统计，结果数据，关联步骤二处理后的图片，并输出降水微物理特征参量。本申请识别效率和精度高，可方便视频探空仪获取的视频图像雨滴识别、测量分析、微物理特征参量提取工作。

Description

基于视频图像识别的降水微物理特征参量提取与分析方法

技术领域

本申请涉及气象监测技术领域，尤其是涉及一种基于视频图像识别的降水微物理特征参量提取与分析方法。

背景技术

降水量的预测对于气象防灾减灾而言有着重要意义，而现阶段降水量的估测一般是通过雨量计进行测量，存在滞后性，难以实时或者提前获取降水量信息。若能实时针对雨滴进行测量，则便于实时分析当前降水情况及预测后续降水形势，进而采取更为合理的防灾减灾措施。

传统的雨滴测量方式，如基于光学原理的雨滴谱仪等设备，发明人认为：其只能在地面开展观测，难以获取地面到高空降水微物理特征变化情况。视频探空仪内含高精度摄像头，通过探空气球搭载，能获取降水***从地面到高空的降水视频图像资料。但这些视频图像信息量巨大，且无法自动识别雨滴信息，提取降水微物理特征参量，因此本申请提出一种新的技术方案。

发明内容

为了方便基于雨滴测量的降水分析预测工作推行，本申请提供一种基于视频图像识别的降水微物理特征参量提取与分析方法。

本申请提供一种基于视频图像识别的降水微物理特征参量提取与分析方法，采用如下的技术方案：

一种基于视频图像识别的降水微物理特征参量提取与分析方法，包括以下步骤：

步骤一、样本数据的预处理，其包括：

S1-1、获取探空设备采集的雨滴视频数据，并进行图像抽帧，得到图像数据集；

S1-2、将抽取的图像转为二值化图片；

步骤二、雨滴的智能识别，其包括：

S2-1、基于图像特征算法对二值化图片识别检测，提取雨滴特征；

S2-2、基于OCR对图像中的时间识别，且识别帧数偏移情况；其中，识别帧数偏移为：从开始分析秒数的第一帧起到变为下一秒所经过的帧数；

S2-3、根据图像的颜色特点，进行镜头类型识别；其中，镜头类型包括蓝屏镜头、大镜头、小镜头和未确定镜头；

步骤三、数据统计，其包括：

S3-1、根据图片中的雨滴的长宽比，判定各个雨滴的形状为圆形、正方形、椭圆形、长方形、不规则图形、六边形或None；

S3-2、统计前序步骤的结果数据，关联步骤二处理后的图片，并输出。

可选的，所述S1-2，其包括：

a1、通过加权平均法将S1-1处理后的图像进行灰度化处理；

a2、用微分法中的梯度法将a1得到的灰度图进行锐化处理，增强图像中雨滴的边缘；

a3、将a2中得到的锐化图片进行二值化处理。

可选的，所述加权平均法的公式满足：

F(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)其中，R(i,j)为R通道的值，G(i,j)为G通道的值，B(i,j)为B通道的值。

可选的，所述梯度法的公式满足：

其中，

为梯度的幅度，thresh为自定义的阈值，L_G为固定的灰度级，如L_G＝255，otherwise的理解：以L_G表示边缘，其他留原背景值。

可选的，所述S2-1，其包括：

b1、对二值化图片进行边缘切分；

b2、通过canny算子对b1边缘切分后的图片做轮廓提取。

可选的，所述S2-1，其还包括：

b3、对b2提取得到的雨滴，以预设定的长宽比例作为条件过滤掉不符合条件的噪点。

可选的，所述canny算子的提取步骤，其包括：

生成高斯滤波系数；

用生成的高斯滤波系数对原图像进行平滑；

求滤波后图像的梯度；

进行非极大抑制；

统计图像的直方图，对阈值进行判定；

利用函数寻找边界起点；

根据前一步执行的结果，从一个像素点开始搜索，搜索以该像素点为边界起点的一条边界的一条边界的所有边界点。

可选的，所述S2-2，其包括：

c1、基于用户所用的样本视频中的时间的坐标位置，对b3处理后得到的图片进行时间框定位，得到时间框；

c2、对时间框做OCR识别。

可选的，所述OCR识别，其包括：通过神经网络识别，且网络结构包括神经网络CNN、循环神经网络RNN和损失函数CTC Loss。

综上所述，本申请包括以下至少一种有益技术效果：通过图像识别技术对探空设备采集的视频资料进行分析处理，获取雨滴的面积、周长、长轴、短轴、长宽比、形状等信息，以便基于其分析降水走势等，从而减小降水分析预测工作的实施成本，利于广泛推行。

附图说明

图1是本申请的方法主流程示意图；

图2是本申请的边缘切分后效果示意图；

图3是本申请的Canny算子提取图片特征所得图；

图4为输入的图片示意；

图5为输出的视频图片示意。

具体实施方式

以下结合附图1-5对本申请作进一步详细说明。

本申请实施例公开一种基于视频图像识别的降水微物理特征参量提取与分析方法。

参照图1，基于视频图像识别的降水微物理特征参量提取与分析方法包括：

步骤一、样本数据的预处理，即对探空设备(如：探空气球)拍摄的雨滴视频预处理，得到样本图像等待做降水分析；

步骤二、雨滴的智能识别；

步骤三、数据统计，输出处理后的视频和其他雨滴(分析所得)详情(文档)。

具体地，其包括：

S1-1、获取探空设备采集的雨滴视频数据，并进行图像抽帧(提取其每一帧图像信息)，得到图像数据集；

S1-2、将抽取的图像转为二值化图片。

关于二值化图片，其包括：

a1、通过加权平均法将S1-1处理后的图像进行灰度化处理；原图是RGB三通道的图片，通过加权平均法将三个分量以不同的权值进行加权平均，可得到更合理的灰度图像。

加权平均法的公式满足：

F(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)

其中，R(i,j)为R通道的值，G(i,j)为G通道的值，B(i,j)为B通道的值。

a2、用微分法中的梯度法将a1得到的灰度图进行锐化处理，增强图像中雨滴的边缘。

梯度法的公式满足：

a3、将a2中得到的锐化图片进行二值化处理；通过二值化处理使其只有黑白两色，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。

完成上述步骤后，即可进行步骤二的内容；具体地：

S2-1、基于图像特征算法对二值化图片识别检测，提取雨滴特征。

实施的方式有：

b1、对二值化图片进行边缘切分；

可以理解的是，原始的图片中左右两边带有两条大黑边，如果不对其进行处理，会错误的将它们识别为雨滴，严重影响到雨滴识别的准确率；

边缘切分后效果如图2所示。

b2、通过canny算子对b1边缘切分后的图片做轮廓提取。

上述步骤的原因是：canny算子可以基于边缘梯度方向的非极大值抑制，同时可以进行双阈值的滞后阈值处理。

canny算子的提取步骤：

1)、生成高斯滤波系数；

2)、用生成的高斯滤波系数对原图像进行平滑；

3)、求滤波后图像的梯度；

4)、进行非极大抑制；

5)、统计图像的直方图，对阈值进行判定；

6)、利用函数寻找边界起点；

7)、根据第6)步执行的结果，从一个像素点开始搜索，搜索以该像素点为边界起点的一条边界的一条边界的所有边界点。

在上述提取过程中，应用的高斯平滑函数公式：

其中，参数σ代表高斯滤波器的宽度，σ越大，高斯滤波器的频带就越宽，平滑程度就越好。

梯度公式：

0＝atan2(G_y，G_x)

其中，G_y为图像中每个像素点沿垂直(y)方向的n阶导数，G_x为图像中每个像素点沿水平(x)方向的n阶导数。

Canny算子提取图片特征所得如图3所示。

考虑到图像中的噪点问题，在本方法的步骤S2-1中，其还包括：b3、对b2提取得到的雨滴，以预设定的长宽比例作为条件过滤掉不符合条件的噪点。

完成上述步骤后，即可执行：S2-2、基于OCR对图像中的时间识别，且识别帧数偏移情况；其中，识别帧数偏移为：从开始分析秒数的第一帧起到变为下一秒所经过的帧数。

具体地：

因为时间框位置在视频中的位置是不变的(本方法中的视频默认有时间属性)，所以可以通过坐标位置直接截取时间框。

c2、对时间框做OCR识别。

OCR识别使用了深度神经网络，网络结构主要由卷积神经网络CNN，循环神经网络RNN和CTC Loss损失函数三部分组成。

神经网络的识别过程为：图片输入-文字检测-文字识别-文字输出。

完成上述步骤后，即可执行：S2-3、根据图像的颜色特点，进行镜头类型识别；其中，镜头类型包括蓝屏镜头、大镜头、小镜头和未确定镜头。

即，对前一步骤得到的图片，根据整体颜色不同的特点进行镜头类型识别，总共分为四种镜头，分别为蓝屏镜头、大镜头、小镜头、未确定镜头。

当前述步骤执行完成，得到各项基础数据，即可执行上述步骤三、数据统计，或者说是：对雨滴分析的结果进行统计筛选，输出分析视频或详细文档。

步骤三、其包括：

结果数据包括：雨滴数量、总面积、镜头类型、当前时间信息、当前帧信息、参考帧偏移信息、实际偏移信息、相对帧信息、开始分析时间、结束分析时间、视频尺寸信息、FPS信息中的一个或多个，且关联后，在图片显示阶段，可于图片上显示。

可以理解的是，上述在通过对应的计算机程序实现后：

1)、可选择是否预览处理中的图片；

2)、可选择是否在图片上叠加分析结果，并可调整分析文字大小等样式；

3)、可设定雨滴最小与最大面积阈值，超出该阈值的雨滴将被忽略。可对雨滴大小进行分段，筛选统计不同范围内的雨滴分析情况，并可用不同的颜色对雨滴进行标记，标记厚度等样式可调节；

4)、可指定输出结果的起止时间，且可根据需要选择输出分析视频(如mp4)或详细信息(txt或Excel)，并可按时间分割输出成果；

5)、可设置长宽比阈值，超出该阈值的雨滴将被忽略；

6)、可设置最大同屏雨滴数量阈值，雨滴总数超过此阈值的帧将当做无效帧处理；

7)、可设置最小平均面积阈值，雨滴平均面积小于此阈值的帧将当做无效帧处理；

8)、可输出的文本信息包括但不限于以下举例：

参照图4和图5，图4为输入的图片示意；图5为经过上述步骤后输出的视频图片示意，由此可知，其可帮助相关工作人员做降水分析趋势预测。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims

1.一种基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于，包括以下步骤：

步骤一、样本数据的预处理，其包括：

S1-2、将抽取的图像转为二值化图片；

步骤二、雨滴的智能识别，其包括：

步骤三、数据统计，其包括：

2.根据权利要求1所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于，所述S1-2，其包括：

a1、通过加权平均法将S1-1处理后的图像进行灰度化处理；

a3、将a2中得到的锐化图片进行二值化处理。

3.根据权利要求2所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于，所述加权平均法的公式满足：F(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)，其中，R(i,j)为R通道的值，G(i,j)为G通道的值，B(i,j)为B通道的值。

4.根据权利要求2所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于，所述梯度法的公式满足：

其中，G[f(x，y)]为梯度的幅度，thresh为自定义的阈值，L_G为固定的灰度级，如L_G＝255，otherwise的理解：以L_G表示边缘，其他留原背景值。

5.根据权利要求2所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于，所述S2-1，其包括：

b1、对二值化图片进行边缘切分；

b2、通过canny算子对b1边缘切分后的图片做轮廓提取。

6.根据权利要求3所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于，所述S2-1，其还包括：

7.根据权利要求3所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于：所述canny算子的提取步骤，其包括：

生成高斯滤波系数；

用生成的高斯滤波系数对原图像进行平滑；

求滤波后图像的梯度；

进行非极大抑制；

统计图像的直方图，对阈值进行判定；

利用函数寻找边界起点；

8.根据权利要求3所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于：所述S2-2，其包括：

c2、对时间框做OCR识别。

9.根据权利要求8所述的基于视频图像识别的降水微物理特征参量提取与分析方法，其特征在于：所述OCR识别，其包括：通过神经网络识别，且网络结构包括神经网络CNN、循环神经网络RNN和损失函数CTC Loss。