CN111414807A - 一种基于yolo技术的潮水识别与危机预警方法 - Google Patents
一种基于yolo技术的潮水识别与危机预警方法 Download PDFInfo
- Publication number
- CN111414807A CN111414807A CN202010127428.8A CN202010127428A CN111414807A CN 111414807 A CN111414807 A CN 111414807A CN 202010127428 A CN202010127428 A CN 202010127428A CN 111414807 A CN111414807 A CN 111414807A
- Authority
- CN
- China
- Prior art keywords
- image
- tidal water
- representing
- value
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000009191 jumping Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 235000006506 Brasenia schreberi Nutrition 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 239000003643 water by type Substances 0.000 claims description 3
- 239000003595 mist Substances 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于YOLO技术的潮水识别与危机预警方法,该方法通过缩放、旋转、平移、对称等方面的数据增强操作建立潮水数据集,利用滤波提取出大气折射率,对图像进行色彩平衡操作,选取大气光成分A。利用暗通道去雾,对图像进行去雾,并且对图像进行白平衡操作,从而获得较清晰的图像。对处理后的图像,采用YOLO网络进行训练,获得潮水识别模型。根据模型,对输入的图像进行识别,并计算潮水的位置和高度,到设备的距离和时间,当发生危险时可以及时发出预警。本发明是目前对潮水识别和危机预警方面的有益补充,可自动监测潮水的状态,弥补人工巡逻的不足,降低因涌潮引起的人员死亡率和避免家庭悲剧的发生。
Description
技术领域:
本发明涉及深度学习技术领域,尤其涉及基于回归的目标识别方法领域, 具体是指一种基于YOLO技术的潮水识别与危机预警方法。
背景技术:
潮水伤人事件的主要原因是人们不够了解涌潮的特性,主观上不重视且 主管部门主要采用定期巡逻预警的方式提醒群众,由于人力、覆盖面有限, 预警效果较差,因此急需一种潮水识别和危机预警方法,自动识别潮水并提 前危机预警。
近些年,随着深度学习技术的快速发展,基于深度学习的方法被广泛应 用于目标识别领域。目前基于深度学习的目标识别方法主要分为两类:一是 基于候选区域的目标识别方法,其具有较高的检测准确率,但是检测速度较 慢,不适用于涌潮检测;二是基于回归的目标识别方法,其检测速度较快, 如SSD、YOLO v3、R-CNN等。其中SSD目标检测方法对于小目标的检测率 较低,并且神经网络的调试参数需要手工设置且较依赖调试经验。R-CNN方 法的准确率较高,但由于其算法复杂程度较高,因此检测所花费的时间较多。 YOLO v3方法在保证准确度的同时,其检测时间只需29毫秒,可满足涌潮检 测实时性的要求,因此选择YOLO v3方法识别潮水相对更加合适。
目前已有部分学者研究基于YOLO技术的图像识别方法,如张辉提出了 一种基于图像识别的自动跟踪算法,可识别高强度运动下的人体动作,实现 快速、精准地提取人体动作特征。裴月玲等人基于车牌识别***下,提出了 基于人工智能的车牌号与车型识别算法。廖恩红等人提出了一种基于卷积神 经网络的食品图像识别算法,实现对食物的精准分类。Kanghui Zhou等人基 于数值天气预报数据,提出了一种对短时大雨,冰雹,对流阵风和雷暴等强 对流天气的深度学习目标预测解决方案,可获得较好的预测技巧。Guoli Zhang等人为了减少森林大火给社会和经济造成的损失,提出了一种基于卷积神经 网络的森林火灾敏感性空间预测模型,扩展了CNN在森林火灾敏感性预测中 的应用。Jiangyun Li等人为了改进息肉检测方法的缺陷,通过增加不同级别 的特征图融合,提出一种基于深度神经网络的检测算法,实现了高准确的息 肉检测。
虽然上述各位学者侧重研究利用YOLO技术实现各种应用,但鲜少有用 于潮水识别及预警的应用领域研究报道,由于潮水有其特定的移动形态及运 动速度等考虑因素,上述有关YOLO技术的现有方法都并不能直接适用于潮 水的识别和预警,有鉴于此,本案由此而生。
发明内容:
本发明公开一种基于YOLO技术的潮水识别与危机预警方法,该方法考 虑了潮水形状和朝向多样性、运动速度快、容易受到雾霾天气影响等因素, 结合YOLO技术的应用可实时识别出所监控潮水的位置,并分析到达的时间 和高度,当存在危机状态时可通知周围人员,达到预警效果,从而避免涌潮 带来的安全隐患,避免人员的受伤甚至死亡。
为了实现上述发明目的,本发明所采用的技术方案为:
一种基于YOLO技术的潮水识别与危机预警方法,内容包括:
步骤1:采用爬虫技术爬取现有图片库中的潮水图像,对图像进行数据增 强处理,获得不同类型潮水形态的若干图片,共同构建成潮水训练集;
步骤2:判断网络模型当前所处状态:若当前为训练状态,则加载潮水训 练集中的潮水图像数据;若当前为识别状态,则读取摄像头采集的潮水图像 数据;
步骤3:将图像从RGB颜色空间转到LAB颜色空间,然后进行伽马校正 后转回RGB颜色空间,获得经过白平衡处理后的图像;
步骤4:从高到低排序图像的暗原色值,选取排序为第0.1%个的原像素 的最大值作为大气光成分A;
步骤5:引入暗通道模型和雾模型,对雾模型进行滤波处理,计算大气折 射率;
步骤6:根据计算的大气光成分A和大气折射率,利用暗通道模型对图 像进行去雾,得到去雾后的图像;
步骤7:将去雾后图像归一化,并送入YOLO卷积网络;
步骤8:判断当前模型所处状态,如果当前状态是识别状态,则跳到步骤 12;若当前状态为训练状态,则判断图像是否处理完成:如果每一个图像都 处理完,则跳到步骤9;若仍存在未处理完的,则读取训练集中下一个图像, 跳到步骤2;
步骤9:通过YOLO的网络卷积层,计算卷积神经网络中的三层卷积层 的每一层输出特征值,将所有的特征值组成卷积神经网络中卷积层的输出特 征值矩阵;
步骤10:计算输出预测值,计算表达预测值与真实情况之间差距程度的 损失函数值,并比较损失函数值与所设定阈值的大小:若损失函数值小于阈 值,则模型训练完成,获得训练好的网络模型以及网络模型的权重参数,并 令当前状态为识别状态,执行步骤2;若损失函数值大于阈值,则执行步骤 11;
步骤11:利用损失函数值进行反向传播,更新网络偏置项参数和权重矩 阵,跳到步骤10;
步骤12:调用之前输出的权重文件加载网络模型,送入YOLO的网络卷 积层,提取图像特征并识别目标,获得每个潮水目标的检测框及置信度分数, 输出检测框的坐标;
步骤13:寻找置信度最大的检测框,计算最大检测框与其余各框的两框 重叠比例IOU,并删除IOU值大于所设定阈值的检测框;
步骤14:判断是否完成所有检测框的判断,若仍有未完成的,则返回步 骤13;若均完成,则获得检测框并将该检测框作为识别框,获得识别框中心 点的坐标作为该目标潮水的图片坐标,计算当前潮水的位置、速度、高度、 到达时间;
步骤15:判断潮水高度、速度和到达时间是否都大于各自设定的阈值, 如果三个参数都大于各自所设定阈值,则启动报警提醒,报警后以及上述三 个参数不同时满足都大于各自阈值时,重新执行步骤2。
所述步骤1中图像增强处理方式为:利用opencv-python库的resize函数 调节图片的分辨率,增加对应标签;利用opencv-python库的 getRotationMatrix2D函数,将图像进行旋转,旋转角度为随机生成,旋转范围 为7度-15度;将图像往x轴、y轴方向上随机移动像素距离,移动范围为1-10 个像素点,实现图像的平移;给图像做中心对称,实现图像的对称数据增强。
所述步骤3中的伽马校正方式为:通过公式(1)对其L通道进行伽马校正:
所述步骤5中的大气折射率计算方法如下:令去雾系数值为0.95,然后 按照下列步骤进行:
(5.1)令暗通道模型为
其中,Jdark(a)表示图像J(a)的暗通道,J(a)表示去雾后的图像,Jc表示三 颜色通道,c表示R,G,B三个通道中的某一通道,Jc(a)表示图像a的每个通 道,a表示输入的图像;
(5.2)利用待去雾图像I(a)、大气光成分A值和大气折射率,获得雾模 型为:
I(a)=J(a)t(a)+A(1-t(a)) (3)
其中,t(a)表示大气折射率,反应了光线的穿透能力;
(5.3)对公式(3)进行变形,转化成以下模型:
(5.4)根据大气光成分A,对模型(4)进行滤波处理,得到以下模型:
(5.5)通过公式(6),计算大气折射率t(a):
其中,ω表示雾气参数,其范围是[0,1]。
所述步骤6中的图像去雾方法具体步骤如下:
(6.2)令白平衡后的雾模型表示为:
I'(a)=J'(a)t(a)+A(1-t(a)) (8)
(6.3)根据公式(8)和公式(9),可得到去雾后的图像J(a);
其中,t0表示折射率设定的最低值,一般取值为0.1。
所述步骤10中的输出预测值计算方式为:根据当前权重矩阵和网络偏置 项参数,通过公式(10)计算输出预测值:
δ=g(wβ1+wβ2+b) (10)
其中,δ表示输出预测值,g()表示激活函数,w表示当前权重矩阵,b表 示网络偏置项参数,β1和β2表示输出预测值矩阵向量。
所述步骤10中的损失函数计算方式为:根据当前权重矩阵,通过公式(11) 计算损失函数:
Loss=α1Loss中心坐标及宽高+α2Loss置信度+α3Loss分类 (11)
其中,Loss表示总损失度,Loss中心坐标及宽高表示预测的坐标与实际的坐标的误差,Loss置信度表示每个边界框预测值的置信度误差,Loss分类表示分类时的概率值误 差,α1,α2,α3表示误差损失因子。
所述步骤11中网络偏置项参数和权重矩阵更新方式为:通过公式(12)和 (13)更新网络偏置项参数和权重矩阵:
所述步骤12中先将图片resize成416*416的格式,调用图片检测函数, 对提取特征进行循环判断和识别目标,获得每一个类标签的概率,对每一个 类标签概率进行判断,选择最大概率的类型作为目标,并定位图像中每个潮 水目标的检测框和置信度分数,输出检测框的坐标。
所述步骤13中IOU通过公式(14):
其中,object_conf表示置信度(confidence score),即预测边框中包含目标的置信度,Pr(obiect)表示目标是否存在于预测边框对应的单元格中,取1表示存在, 取0表示不存在;为预测框与真实值的交并比。
所述步骤14中,根据摄像头所在的位置和像素尺寸,获得当前潮水到设 备所在位置的距离D1,计算相邻图片中潮水的距离为:
D2=f(x1-x2) (15)
其中,D2表示相邻图片中潮水位置的位移,x1表示第一个图片中识别框 中点的横坐标,x2表示第二个图片中识别框中点的横坐标;
根据检测框的宽度,获得潮水的高度,令Tin表示截图的时间间隙,计算 潮水的速度为D2/Tin,通过公式(16)计算潮水到达摄像头所在位置的时间T:
T=D1×Tin/D2 (16)。
本发明与现有技术相比,有益效果主要表现在:本发明方法通过缩放、 旋转、平移、对称等方面的数据增强操作建立潮水数据集,利用滤波提取出 大气折射率,对图像进行色彩平衡操作,选取大气光成分A。利用暗通道去 雾,对图像进行去雾,并且对图像进行白平衡操作,从而获得较清晰的图像。 对处理后的图像,采用YOLO网络进行训练,获得潮水识别模型。根据模型, 对输入的图像进行识别,并计算潮水的位置和高度,到设备的距离和时间, 当发生危险时可以及时发出预警。本发明是目前对潮水识别和危机预警方面 的有益补充,可自动监测潮水的状态,弥补人工巡逻的不足,降低因涌潮引 起的人员死亡率和避免家庭悲剧的发生。
附图说明:
图1为本发明所提供方法的流程图。
具体实施方式:
本实施例公开一种基于YOLO技术的潮水识别与危机预警方法,该方法 如图1所示,主要步骤如下:
(1)采用爬虫技术爬取百度图片中的潮水图像。利用opencv-python库 的resize函数调节图片的分辨率,增加对应标签;利用opencv-python库的getRotationMatrix2D函数,将图像进行旋转,旋转角度为随机生成,旋转范围 为7度-15度;将图像往x轴、y轴方向上随机移动像素距离,移动范围为1-10 个像素点,实现图像的平移;给图像做中心对称,实现图像的对称数据增强。 经过平移、旋转、对称和缩放的数据增强操作,获得包含横向潮水、竖向潮 水、斜向潮水、***型潮水等四类不同潮水形态的共1629张图片,并对图片 中所有潮水进行标注,建立潮水训练集。
(2)判断当前模型状态是训练状态还是识别状态,如果当前状态是训练 状态,则加载潮水训练集中的潮水图像数据;如果当前状态为识别状态,则 读取摄像头采集的潮水图像数据。
(3)将图像从RGB颜色空间转到LAB颜色空间,通过公式(1)对其L通 道进行伽马校正。将伽马校正后的图像转回RGB颜色空间,获得经过白平衡 处理后的图像。
(4)从高到低排序图像的暗原色值,选取排序为第0.1%个的原像素的最 大值作为大气光成分A。
(5)令去雾系数值为0.95,引入暗通道模型和雾模型,对雾模型进行滤 波处理,计算大气折射率。大气折射率的具体计算方法包含如下步骤:
(5.1)令暗通道模型为
其中,Jdark(a)表示图像J(a)的暗通道,J(a)表示去雾后的图像,Jc表示三 颜色通道,c表示R,G,B三个通道中的某一通道,Jc(a)表示图像a的每个通 道,a表示输入的图像。
(5.2)利用待去雾图像I(a)、大气光成分A值和大气折射率,获得雾模 型为 I(a)=J(a)t(a)+A(1-t(a)) (3)
其中,t(a)表示大气折射率,反应了光线的穿透能力。
(5.3)对公式(3)进行变形,转化成以下模型:
(5.4)根据大气光成分A,对模型(4)进行滤波处理,得到以下模型:
(5.5)通过公式(6),计算大气折射率t(a)。
其中,ω表示雾气参数(即反应去雾程度的参数),其范围是[0,1],本方 法ω值的经验值可为0.95,保留一部分雾。
(6)根据计算的大气光成分A和大气折射率,利用暗通道模型对图像进 行去雾,得到去雾后的图像;图像去雾方法的具体步骤如下:
(6.2)令白平衡后的雾模型表示为:
I'(a)=J'(a)t(a)+A(1-t(a)) (8)
(6.3)根据公式(8)和公式(9),可到去雾后的图像J(a)
其中,t0表示折射率设定的最低值,一般取值为0.1。
(7)把去雾后的图像归一化为416*416图像,并将其图像送入YOLO的 卷积网络;
(8)判断当前模型所处状态,如果当前状态是识别状态,则跳到步骤12, 若为训练状态则需判断图像是否处理完成。如果每一个图像都处理完,则跳 到步骤(9),尚有未处理完的,则读取训练集中下一个图像,跳到步骤(2)。
(9)通过YOLO的网络卷积层,计算卷积神经网络中网格大小分别为 13×13、26×26和52×52的三层卷积层的每一层输出特征值,将所有的特征 值组成卷积神经网络中卷积层的输出特征值矩阵;
(10)根据当前权重矩阵和网络偏置项参数,通过公式(10)计算输出预测 值,通过公式(11)计算表达预测值与真实情况之间差距程度的损失函数,如果 损失函数小于阈值Lossy,则训练完成,获得网络模型的权重参数,获得网络 模型,令当前状态为识别状态,读取摄像头采集的潮水图像数据,跳到步骤(3); 如果损失函数大于阈值,则跳到步骤(11)。
δ=g(wβ1+wβ2+b) (10)
其中,δ表示输出预测值,g()表示激活函数,w表示当前权重矩阵,b表 示网络偏置项参数,β1和β2表示输出预测值矩阵向量。
Loss=α1Loss中心坐标及宽高+α2Loss置信度+α3Loss分类 (11)
其中,Loss表示总损失度,Loss中心坐标及宽高表示预测的坐标与实际的坐标的误差,Loss置信度表示每个边界框预测值的置信度误差,Loss分类表示分类时的概率值误 差。α1,α2,α3表示误差损失因子。
(11)利用损失值进行反向传播,通过公式(12)和(13)更新网络偏置项参 数和权重矩阵,跳到步骤(10)。
(12)调用之前输出的权重文件加载网络模型,将图片resize成416*416 的格式,送入YOLO的网络卷积层,提取图像特征,调用图片检测函数,对 提取特征进行循环判断和识别目标,获得每一个类标签的概率。对每一个类 标签概率进行判断,选择最大概率的类型作为目标,并定位图像中每个潮水 目标的检测框和置信度分数,输出检测框的坐标。
(13)在所有的检测框中找到置信度最大的框,通过公式(14)依次计算其 与剩余框的两框重叠比例IOU,如果IOU值大于阈值,则将该框删除。
其中,object_conf表示置信度(confidence score),即预测边框中包含目标的置信度,Pr(obiect)表示目标是否存在于预测边框对应的单元格中,取1表示存在, 取0表示不存在。为预测框与真实值的交并比(intersection overunion)。
(14)判断是否完成所有检测框的判断,如果没有完成,则重新跳到步 骤(13),如果均完成则获得检测框,该检测框为识别框,获得识别框中目标为 识别的潮水目标。
(15)将识别框中心点的坐标作为该目标潮水的图片坐标。根据摄像头 所在的位置和像素尺寸,获得当前潮水到设备所在位置的距离D1,计算相邻 图片中潮水的距离为:
D2=f(x1-x2) (15)
其中,D2表示相邻图片中潮水位置的位移,x1表示第一个图片中识别框 中点的横坐标,x2表示第二个图片中识别框中点的横坐标。
(16)根据检测框的宽度,获得潮水的高度,令Tin表示截图的时间间隙, 计算潮水的速度为D2/Tin。通过公式(16)计算潮水到达摄像头所在位置的时间 T:
T=D1×Tin/D2 (16)
(17)根据潮水的位置、速度、高度和到达时间等潮水参数,并且判断 潮水高度、速度和到达时间是否都大于阈值,如果三个参数都大于所设定阈 值,则表示该潮水可能会造成一定的危险,立即通知管理人员,并通过语音 和报警灯对摄像头所在的周围人员进行危机报警,完成预警后重新跳到步骤 (2);如果三个参数不同时满足大于各自设定阈值的条件,则直接跳到步骤(2)。
本发明提供了基于YOLO技术的潮水识别与危机预警方法。该方法通过 缩放、旋转、平移、对称等方面的数据增强操作建立潮水数据集,之后利用 滤波提取出大气折射率,对图像进行色彩平衡操作,选取大气光成分A。利 用暗通道去雾,对图像进行去雾,并且对图像进行白平衡操作,从而获得较 清晰的图像。对处理后的图像,采用YOLO网络进行训练,获得潮水识别模 型。根据模型,对输入的图像进行识别,并计算潮水的位置,到设备的距离和时间,当发生危险时可以及时发出预警。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然 仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和 附图应被认为是说明性的而非限制性的。
Claims (10)
1.一种基于YOLO技术的潮水识别与危机预警方法,其特征在于:内容包括:
步骤1:采用爬虫技术爬取现有图片库中的潮水图像,对图像进行数据增强处理,获得不同类型潮水形态的若干图片,共同构建成潮水训练集;
步骤2:判断网络模型当前所处状态:若当前为训练状态,则加载潮水训练集中的潮水图像数据;若当前为识别状态,则读取摄像头采集的潮水图像数据;
步骤3:将图像从RGB颜色空间转到LAB颜色空间,然后进行伽马校正后转回RGB颜色空间,获得经过白平衡处理后的图像;
步骤4:从高到低排序图像的暗原色值,选取排序为第0.1%个的原像素的最大值作为大气光成分A;
步骤5:引入暗通道模型和雾模型,对雾模型进行滤波处理,计算大气折射率;
步骤6:根据计算的大气光成分A和大气折射率,利用暗通道模型对图像进行去雾,得到去雾后的图像;
步骤7:将去雾后图像归一化,并送入YOLO卷积网络;
步骤8:判断当前模型所处状态,如果当前状态是识别状态,则跳到步骤12;若当前状态为训练状态,则判断图像是否处理完成:如果每一个图像都处理完,则跳到步骤9;若仍存在未处理完的,则读取训练集中下一个图像,跳到步骤2;
步骤9:通过YOLO的网络卷积层,计算卷积神经网络中的三层卷积层的每一层输出特征值,将所有的特征值组成卷积神经网络中卷积层的输出特征值矩阵;
步骤10:计算输出预测值,计算表达预测值与真实情况之间差距程度的损失函数值,并比较损失函数值与所设定阈值的大小:若损失函数值小于阈值,则模型训练完成,获得训练好的网络模型以及网络模型的权重参数,并令当前状态为识别状态,执行步骤2;若损失函数值大于阈值,则执行步骤11;
步骤11:利用损失函数值进行反向传播,更新网络偏置项参数和权重矩阵,跳到步骤10;
步骤12:调用之前输出的权重文件加载网络模型,送入YOLO的网络卷积层,提取图像特征并识别目标,获得每个潮水目标的检测框及置信度分数,输出检测框的坐标;
步骤13:寻找置信度最大的检测框,计算最大检测框与其余各框的两框重叠比例IOU,并删除IOU值大于所设定阈值的检测框;
步骤14:判断是否完成所有检测框的判断,若仍有未完成的,则返回步骤13;若均完成,则获得检测框并将该检测框作为识别框,获得识别框中心点的坐标作为该目标潮水的图片坐标,计算当前潮水的位置、速度、高度、到达时间;
步骤15:判断潮水高度、速度和到达时间是否都大于各自设定的阈值,如果三个参数都大于各自所设定阈值,则启动报警提醒,报警后以及上述三个参数不同时满足都大于各自阈值时,重新执行步骤2。
2.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法,其特征在于:所述步骤1中图像增强处理方式为:利用opencv-python库的resize函数调节图片的分辨率,增加对应标签;利用opencv-python库的getRotationMatrix2D函数,将图像进行旋转,旋转角度为随机生成,旋转范围为7度-15度;将图像往x轴、y轴方向上随机移动像素距离,移动范围为1-10个像素点,实现图像的平移;给图像做中心对称,实现图像的对称数据增强。
4.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法,其特征在于:所述步骤5中的大气折射率计算方法如下:令去雾系数值为0.95,然后按照下列步骤进行:
(5.1)令暗通道模型为
其中,Jdark(a)表示图像J(a)的暗通道,J(a)表示去雾后的图像,Jc表示三颜色通道,c表示R,G,B三个通道中的某一通道,Jc(a)表示图像a的每个通道,a表示输入的图像;
(5.2)利用待去雾图像I(a)、大气光成分A值和大气折射率,获得雾模型为:
I(a)=J(a)t(a)+A(1-t(a)) (3)
其中t(a)表示大气折射率,反应了光线的穿透能力;
(5.3)对公式(3)进行变形,转化成以下模型:
(5.4)根据大气光成分A,对模型(4)进行滤波处理,得到以下模型:
(5.5)通过公式(6),计算大气折射率t(a):
其中,ω表示雾气参数,其范围是[0,1]。
6.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法,其特征在于:所述步骤10中的输出预测值计算方式为:根据当前权重矩阵和网络偏置项参数,通过公式(10)计算输出预测值:
δ=g(wβ1+wβ2+b) (10)
其中,δ表示输出预测值,g()表示激活函数,w表示当前权重矩阵,b表示网络偏置项参数,β1和β2表示输出预测值矩阵向量;
所述步骤10中的损失函数计算方式为:根据当前权重矩阵,通过公式(11)计算损失函数:
Loss=α1Loss中心坐标及宽高+α2Loss置信度+α3Loss分类 (11)
其中,Loss表示总损失度,Loss中心坐标及宽高表示预测的坐标与实际的坐标的误差,Loss置信度表示每个边界框预测值的置信度误差,Loss分类表示分类时的概率值误差,α1,α2,α3表示误差损失因子。
8.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法,其特征在于:所述步骤12中先将图片resize成416*416的格式,调用图片检测函数,对提取特征进行循环判断和识别目标,获得每一个类标签的概率,对每一个类标签概率进行判断,选择最大概率的类型作为目标,并定位图像中每个潮水目标的检测框和置信度分数,输出检测框的坐标。
10.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法,其特征在于:所述步骤14中,根据摄像头所在的位置和像素尺寸,获得当前潮水到设备所在位置的距离D1,计算相邻图片中潮水的距离为:
D2=f(x1-x2) (15)
其中,D2表示相邻图片中潮水位置的位移,x1表示第一个图片中识别框中点的横坐标,x2表示第二个图片中识别框中点的横坐标;
根据检测框的宽度,获得潮水的高度,令Tin表示截图的时间间隙,计算潮水的速度为D2/Tin,通过公式(16)计算潮水到达摄像头所在位置的时间T:
T=D1×Tin/D2 (16)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127428.8A CN111414807B (zh) | 2020-02-28 | 2020-02-28 | 一种基于yolo技术的潮水识别与危机预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010127428.8A CN111414807B (zh) | 2020-02-28 | 2020-02-28 | 一种基于yolo技术的潮水识别与危机预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111414807A true CN111414807A (zh) | 2020-07-14 |
CN111414807B CN111414807B (zh) | 2024-02-27 |
Family
ID=71492797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010127428.8A Active CN111414807B (zh) | 2020-02-28 | 2020-02-28 | 一种基于yolo技术的潮水识别与危机预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414807B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036452A (zh) * | 2020-08-13 | 2020-12-04 | 西安理工大学 | 一种基于ssd神经网络的水深自动监测方法 |
CN112287812A (zh) * | 2020-10-27 | 2021-01-29 | 广东电网有限责任公司 | 一种攀爬情况识别方法 |
CN112487947A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图像融合与目标检测网络的低照度图像目标检测方法 |
CN112949389A (zh) * | 2021-01-28 | 2021-06-11 | 西北工业大学 | 一种基于改进目标检测网络的雾霾图像目标检测方法 |
CN113609891A (zh) * | 2021-06-15 | 2021-11-05 | 北京瞭望神州科技有限公司 | 一种船只识别监测方法及*** |
CN113870870A (zh) * | 2021-12-02 | 2021-12-31 | 自然资源部第一海洋研究所 | 一种基于卷积神经网络的海洋哺乳动物发声实时识别方法 |
CN117911507A (zh) * | 2023-12-28 | 2024-04-19 | 武汉志远智能控制技术有限公司 | 铁水液面识别方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625733A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 基于神经网络的潮水水位和时间预测方法 |
CN101625732A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 江河潮水水位的预测方法 |
CN102156803A (zh) * | 2011-03-18 | 2011-08-17 | 杭州电子科技大学 | 基于视频识别的江河涌潮检测方法 |
KR101610595B1 (ko) * | 2015-07-16 | 2016-04-07 | 김승우 | 긴급 폭풍해일 예측 시스템 및 그 방법 |
CN105894090A (zh) * | 2016-04-22 | 2016-08-24 | 大连海事大学 | 一种基于自适应变异粒子群优化的潮汐智能实时预报方法 |
CN108509919A (zh) * | 2018-04-03 | 2018-09-07 | 哈尔滨哈船智控科技有限责任公司 | 一种基于深度学习对视频或图片中水线的检测和识别方法 |
CN109373981A (zh) * | 2018-09-29 | 2019-02-22 | 大连海事大学 | 一种防波堤内部水域增减水的精确预报方法 |
CN109508630A (zh) * | 2018-09-27 | 2019-03-22 | 杭州朗澈科技有限公司 | 一种基于人工智能识别水尺水位的方法 |
CN110610165A (zh) * | 2019-09-18 | 2019-12-24 | 上海海事大学 | 一种基于yolo模型的船舶行为分析方法 |
-
2020
- 2020-02-28 CN CN202010127428.8A patent/CN111414807B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625733A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 基于神经网络的潮水水位和时间预测方法 |
CN101625732A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 江河潮水水位的预测方法 |
CN102156803A (zh) * | 2011-03-18 | 2011-08-17 | 杭州电子科技大学 | 基于视频识别的江河涌潮检测方法 |
KR101610595B1 (ko) * | 2015-07-16 | 2016-04-07 | 김승우 | 긴급 폭풍해일 예측 시스템 및 그 방법 |
CN105894090A (zh) * | 2016-04-22 | 2016-08-24 | 大连海事大学 | 一种基于自适应变异粒子群优化的潮汐智能实时预报方法 |
CN108509919A (zh) * | 2018-04-03 | 2018-09-07 | 哈尔滨哈船智控科技有限责任公司 | 一种基于深度学习对视频或图片中水线的检测和识别方法 |
CN109508630A (zh) * | 2018-09-27 | 2019-03-22 | 杭州朗澈科技有限公司 | 一种基于人工智能识别水尺水位的方法 |
CN109373981A (zh) * | 2018-09-29 | 2019-02-22 | 大连海事大学 | 一种防波堤内部水域增减水的精确预报方法 |
CN110610165A (zh) * | 2019-09-18 | 2019-12-24 | 上海海事大学 | 一种基于yolo模型的船舶行为分析方法 |
Non-Patent Citations (5)
Title |
---|
KAIMING HE ET AL.: "Single Image Haze Removal Using Dark Channel Prior", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 33, no. 12, pages 2341, XP011409121, DOI: 10.1109/TPAMI.2010.168 * |
ZHANG ZEGUO ET AL.: "A Modular Real-time Tidal Prediction Model based on Grey-GMDH Neural Network", 《APPLIED ARTIFICIAL INTELLIGENCE》, vol. 32, no. 2, pages 165 - 185 * |
王瑞荣 等: "基于混沌优化BP神经网络的江河涌潮短期预报模型", 《水力发电学报》, vol. 35, no. 04, pages 80 - 88 * |
王瑞荣;薛楚;陈浩龙;: "基于混沌优化BP神经网络的江河涌潮短期预报模型", 水力发电学报, no. 04 * |
鲍枫林: "基于深度信念网络的钱塘江潮位预报研究", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》, pages 012 - 76 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036452A (zh) * | 2020-08-13 | 2020-12-04 | 西安理工大学 | 一种基于ssd神经网络的水深自动监测方法 |
CN112036452B (zh) * | 2020-08-13 | 2024-02-02 | 西安理工大学 | 一种基于ssd神经网络的水深自动监测方法 |
CN112287812A (zh) * | 2020-10-27 | 2021-01-29 | 广东电网有限责任公司 | 一种攀爬情况识别方法 |
CN112287812B (zh) * | 2020-10-27 | 2022-11-01 | 广东电网有限责任公司 | 一种攀爬情况识别方法 |
CN112487947A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图像融合与目标检测网络的低照度图像目标检测方法 |
CN112949389A (zh) * | 2021-01-28 | 2021-06-11 | 西北工业大学 | 一种基于改进目标检测网络的雾霾图像目标检测方法 |
CN113609891A (zh) * | 2021-06-15 | 2021-11-05 | 北京瞭望神州科技有限公司 | 一种船只识别监测方法及*** |
CN113870870A (zh) * | 2021-12-02 | 2021-12-31 | 自然资源部第一海洋研究所 | 一种基于卷积神经网络的海洋哺乳动物发声实时识别方法 |
CN117911507A (zh) * | 2023-12-28 | 2024-04-19 | 武汉志远智能控制技术有限公司 | 铁水液面识别方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111414807B (zh) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414807A (zh) | 一种基于yolo技术的潮水识别与危机预警方法 | |
WO2022193420A1 (zh) | 近水桥梁多类型病害智能检测方法与无人船设备 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN110378297B (zh) | 基于深度学习的遥感图像目标检测方法、装置、及存储介质 | |
CN109145747A (zh) | 一种水面全景图像语义分割方法 | |
CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
CN111222478A (zh) | 一种工地安全防护检测方法和*** | |
CN108133235A (zh) | 一种基于神经网络多尺度特征图的行人检测方法 | |
CN113011338A (zh) | 一种车道线检测方法及*** | |
CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
CN115512387A (zh) | 基于改进yolov5模型的工地安全帽佩戴检测方法 | |
CN117437201A (zh) | 一种基于改进YOLOv7的道路裂缝检测方法 | |
CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
CN115273032A (zh) | 交通标志识别方法、装置、设备及介质 | |
US20220335572A1 (en) | Semantically accurate super-resolution generative adversarial networks | |
CN115331127A (zh) | 一种基于注意力机制的无人机移动目标侦测方法 | |
CN115100741A (zh) | 一种点云行人距离风险检测方法、***、设备和介质 | |
CN114648549A (zh) | 一种融合视觉和激光雷达的交通场景目标检测及定位方法 | |
CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
CN112102241B (zh) | 一种单阶段遥感图像目标检测算法 | |
CN117649577A (zh) | 目标检测模型的训练方法、防外破监测预警方法及装置 | |
CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |