CN114966090A - 一种基于深度学习的船舶视频测速方法 - Google Patents

一种基于深度学习的船舶视频测速方法 Download PDF

Info

Publication number
CN114966090A
CN114966090A CN202210670960.3A CN202210670960A CN114966090A CN 114966090 A CN114966090 A CN 114966090A CN 202210670960 A CN202210670960 A CN 202210670960A CN 114966090 A CN114966090 A CN 114966090A
Authority
CN
China
Prior art keywords
target
ship
target detection
camera
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210670960.3A
Other languages
English (en)
Inventor
徐帆
商智高
林泽彬
吴启晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210670960.3A priority Critical patent/CN114966090A/zh
Publication of CN114966090A publication Critical patent/CN114966090A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的船舶视频测速方法，包括采集船舶视频图像数据并构建训练数据集合；基于神经网络构建目标检测模型，对目标检测模型进行训练；使用训练完成的目标检测模型对目标船舶进行检测，得到目标检测框并进行目标追踪；根据摄像头的光学内参和摄像头地理位置构建地理模型；将目标检测框信息代入地理模型中，得到目标船舶的速度。本发明通过目标检测和跟踪算法得出一段时间内移动前后船舶在图像上的像素坐标位置，并对摄像头进行地理建模，根据建模将像素转换为实际距离，最终得出船舶速度。

Description

一种基于深度学习的船舶视频测速方法
技术领域
本发明属于船舶图像处理技术领域，具体涉及一种基于深度学习的船舶视频测速方法。
背景技术
在海上交通管理***中，对于船舶的速度检测与管制是非常重要的，但是对于船舶速度检测的研究，大多需要通过借助其他的传感器，仅依靠摄像头采集的图像数据是不足以对船舶进行速度检测的。目前主流的检测方式主要有如下几种方式：
雷达测速法，雷达测速方法是基于多普勒效应，其将雷达测速装置固定在船舶经过的卡口，对着卡口发射固定频率的电脉冲信号，当有船舶驶过卡口靠近雷达时，船舶反射的电脉冲频率将高于发射的电脉冲频率；同样的，当船舶远离雷达时，船舶反射的电脉冲频率比发射的电脉冲信号频率低，根据电脉冲信号的数值变化可以计算出船舶的速度。
激光测距法，激光测距同样基于多普勒原理，采用激光测距设备对目标发射窄带脉冲激光束，根据时间差得到的距离信息，通过多次测量得到在此时间段内的船舶位置变化，从而计算出船舶的航行速度。
相比于以上基于多传感器测算方法，基于视频的测速方法有其特有优势，成本低，分辨率高，且不受电磁干扰。目前也有基于视频测速检测的方法，对视频中目标状态的变化进行位移跟踪、图像识别并进行算法处理，通过短时间内目标的移动像素转化到实际的距离。但是这种方法不适用于船舶的测速，因为不同船舶远近导致图像每个像素代表的实际距离差距较大，从而不能准确计算出船舶的速度。基于上述背景条件与技术问题，目前亟需一种基于深度学习的船舶视频测速方法。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的船舶视频测速方法。
为实现上述技术目的，本发明采取的技术方案为：
一种基于深度学习的船舶视频测速方法，包括：
S1:采集摄像头拍摄的船舶视频图像数据并构建训练数据集合；
S2:基于神经网络构建目标检测模型，采用训练数据集合对目标检测模型进行训练；
S3：使用训练完成的目标检测模型对目标船舶进行检测，得到目标检测框并进行目标追踪；
S4：根据摄像头的光学内参和摄像头地理位置构建地理模型；
S5：将目标检测框信息代入地理模型中，得到目标船舶的速度。
为优化上述技术方案，采取的具体措施还包括：
上述的S1具体为：采集摄像头拍摄到的船舶视频图像数据，并对视频图像数据进行标注，得到训练数据集合，将训练数据集合按比例分为训练集、验证集和测试集。
上述的S2具体包括：基于神经网络构建目标检测模型，采用训练数据集合对目标检测模型进行训练，训练过程中，采用优化器更新神经网络权重，同时利用训练集和验证集进行交叉验证，调整训练参数，重复以上过程，直至模型在测试集上达到预期效果。
上述的S3具体包括：将待检测的目标船舶的视频图像输入训练完成的目标检测模型中，得到目标检测框并对目标进行追踪。
上述的S3采用Deepsort算法进行目标追踪。
上述的S4具体为：
S41：测量摄像头俯仰角a；
S42：根据目标检测框计算目标在成像平面上的投影与水平中心线的夹角b；
S43：将所述俯仰角和所述夹角相加，得出所述投影与水平面的夹角c，c＝a+b；
S44：根据摄像头安装的高度和S43得出的夹角值，采用三角函数计算出目标与摄像头的距离L：
Figure BDA0003694595740000021
S45：基于根据摄像头相对海平面的安装高度H和S44得到的距离L，通过相似三角形得出目标在成像界面的像素坐标(x,y)对应的目标在实际地理模型中对摄像头的相对坐标(X,Y)。
Figure BDA0003694595740000022
Figure BDA0003694595740000023
Figure BDA0003694595740000024
上述的S5具体为：将一段时间内同个目标的前后两个目标检测框相差的像素值带入地理模型中，得出对应的地理距离，再除以相对应的时间，最终得出目标船舶的速度。
本发明具有以下有益效果：
通过目标检测和跟踪算法得出一段时间内移动前后船舶在图像上的像素坐标位置，并对摄像头进行地理建模，根据建模将像素转换为实际距离，最终得出船舶速度。
1、采集摄像头拍摄的船舶图像数据形成训练数据集合，对基于卷积神经网络的目标检测模型进行训练，并使用训练完成的目标检测模型对船舶目标进行检测和跟踪；
2、根据摄像头光学内参和地理位置构建地理模型；
3、将目标检测和跟踪的结果代入地理模型，计算出船舶速度。
附图说明
图1是本发明的方法流程图；
图2是本发明用于船舶目标检测的结果图；
图3是本发明构建的地理模型示意图；
图4是本发明构建的地理模型的侧视图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示，一种基于深度学习的船舶视频测速方法，包括以下步骤：
S1:采集摄像头拍摄的船舶视频图像数据并构建训练数据集合；
采集摄像头拍摄到的船舶视频图像数据，并对视频图像数据进行标注，得到训练数据集合，将训练数据集合按比例分为训练集、验证集和测试集。
对摄像头采集到的I船舶视频图像数据进行标记，生成标签数据label，将标签数据和图像一一对应，生成{I,label}作为训练模型的训练集、验证集和测试集。
本步骤中，使用labelimg软件人工制作标签，标记完成之后保存，会生成一个classes.txt和与图片数量相同的.txt标签文件。
S2:基于神经网络构建目标检测模型，采用训练数据集合对目标检测模型进行训练；
基于神经网络构建目标检测模型，采用训练数据集合对目标检测模型进行训练，训练过程中，采用优化器更新神经网络权重，同时利用训练集和验证集进行交叉验证，调整训练参数，重复以上过程，直至模型在测试集上达到预期效果。
本步骤中使用单阶段的神经网络YOLOv5，使用S1构建的数据集合的训练集对网络进行100个epoch的训练，并同时利用训练集和验证集进行交叉验证，调整训练参数，重复以上过程，直至模型在测试集上达到较好的效果。
S3：使用训练完成的目标检测模型对目标船舶进行检测，得到目标检测框，并用Deepsort算法对检测结果进行目标跟踪；
本步骤中使用S2得到的已训练的目标检测模型对布置于卡口的摄像头拍摄的画面进行目标检测，可以识别出经过卡口的船舶，其效果如图2所示。
S4：根据摄像头的光学内参和摄像头地理位置构建地理模型；
本步骤中，根据摄像头的光学内参和摄像头地理位置构建地理模型，其示意图如图3所示。为方便计算展示，其侧视图如图4所示，摄像头的俯仰角为a，假设船舶在像面上的投影与中心线的夹角为b，则此条投影线与地面的夹角为c，且c＝a+b。已知摄像头的地理安装位置距离海平面的高度为H，则可以得出：
Figure BDA0003694595740000041
在通过光学内参得知摄像头的焦距为f，则可以得出：
Figure BDA0003694595740000042
根据相似三角形可以得出成像平面上的距离与实际距离的比值。
由此可以根据目标在成像界面的像素坐标(x,y)求出目标在实际地理模型中对摄像头的相对坐标(X,Y)。
Figure BDA0003694595740000043
Figure BDA0003694595740000044
S5：将目标检测框信息代入地理模型中，得到目标船舶的速度。
将一段时间内同个目标的前后两个目标检测框相差的像素值带入地理模型中，得出对应的地理距离，再除以相对应的时间，最终得出目标船舶的速度。
即将目标框信息代入地理模型中，分别求得目标前后相对摄像头的相对坐标，即可求得目标前后移动距离除于时间间隔得到目标的速度。
本步骤中，根据S3的YOLOv5的目标检测框和跟踪算法得出的跟踪框，以方框底部中点为基准，根据S4的地理模型，将目标在成像平面的像素坐标转换到实际地理模型中，最终将距离除以时间可以计算出船舶的速度。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于深度学习的船舶视频测速方法，其特征在于，包括：
S1:采集摄像头拍摄的船舶视频图像数据并构建训练数据集合；
S2:基于神经网络构建目标检测模型，采用训练数据集合对目标检测模型进行训练；
S3：使用训练完成的目标检测模型对目标船舶进行检测，得到目标检测框并进行目标追踪；
S4：根据摄像头的光学内参和摄像头地理位置构建地理模型；
S5：将目标检测框信息代入地理模型中，得到目标船舶的速度。
2.根据权利要求1所述的一种基于深度学习的船舶视频测速方法，其特征在于，所述S1具体为：采集摄像头拍摄到的船舶视频图像数据，并对视频图像数据进行标注，得到训练数据集合，将训练数据集合按比例分为训练集、验证集和测试集。
3.根据权利要求2所述的一种基于深度学习的船舶视频测速方法，其特征在于，所述S2具体包括：基于神经网络构建目标检测模型，采用训练数据集合对目标检测模型进行训练，训练过程中，采用优化器更新神经网络权重，同时利用训练集和验证集进行交叉验证，调整训练参数，重复以上过程，直至模型在测试集上达到预期效果。
4.根据权利要求1所述的一种基于深度学习的船舶视频测速方法，其特征在于，所述S3具体包括：将待检测的目标船舶的视频图像输入训练完成的目标检测模型中，得到目标检测框并对目标进行追踪。
5.根据权利要求1所述的一种基于深度学习的船舶视频测速方法，其特征在于，所述S3采用Deepsort算法进行目标追踪。
6.根据权利要求1所述的一种基于深度学习的船舶视频测速方法，其特征在于，所述S4具体为：
S41：测量摄像头俯仰角a；
S42：根据目标检测框计算目标在成像平面上的投影与水平中心线的夹角b；
S43：将所述俯仰角和所述夹角相加，得出所述投影与水平面的夹角c，c＝a+b；
S44：根据摄像头安装的高度和S43得出的夹角值，采用三角函数计算出目标与摄像头的距离L：
Figure FDA0003694595730000011
S45：基于根据摄像头相对海平面的安装高度H和S44得到的距离L，通过相似三角形得出目标在成像界面的像素坐标(x,y)对应的目标在实际地理模型中对摄像头的相对坐标(X,Y)。
Figure FDA0003694595730000021
Figure FDA0003694595730000022
Figure FDA0003694595730000023
其中，f为摄像头的焦距。
7.根据权利要求1所述的一种基于深度学习的船舶视频测速方法，其特征在于，所述S5具体为：将一段时间内同个目标的前后两个目标检测框相差的像素值带入地理模型中，得出对应的地理距离，再除以相对应的时间，最终得出目标船舶的速度。
CN202210670960.3A 2022-06-15 2022-06-15 一种基于深度学习的船舶视频测速方法 Pending CN114966090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210670960.3A CN114966090A (zh) 2022-06-15 2022-06-15 一种基于深度学习的船舶视频测速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210670960.3A CN114966090A (zh) 2022-06-15 2022-06-15 一种基于深度学习的船舶视频测速方法

Publications (1)

Publication Number Publication Date
CN114966090A true CN114966090A (zh) 2022-08-30

Family

ID=82960747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210670960.3A Pending CN114966090A (zh) 2022-06-15 2022-06-15 一种基于深度学习的船舶视频测速方法

Country Status (1)

Country Link
CN (1) CN114966090A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111058A (zh) * 2013-04-16 2014-10-22 杰发科技（合肥）有限公司 车距测量方法及装置、车辆相对速度测量方法及装置
US20180157918A1 (en) * 2016-12-02 2018-06-07 Bayerische Motoren Werke Aktiengesellschaft System and Method for Estimating Vehicular Motion Based on Monocular Video Data
CN112541938A (zh) * 2020-12-17 2021-03-23 通号智慧城市研究设计院有限公司 一种行人速度测量方法、***、介质及计算设备
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法
CN114070996A (zh) * 2020-07-30 2022-02-18 北京小米移动软件有限公司 星空拍摄方法、星空拍摄装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104111058A (zh) * 2013-04-16 2014-10-22 杰发科技（合肥）有限公司 车距测量方法及装置、车辆相对速度测量方法及装置
US20180157918A1 (en) * 2016-12-02 2018-06-07 Bayerische Motoren Werke Aktiengesellschaft System and Method for Estimating Vehicular Motion Based on Monocular Video Data
CN114070996A (zh) * 2020-07-30 2022-02-18 北京小米移动软件有限公司 星空拍摄方法、星空拍摄装置及存储介质
CN112541938A (zh) * 2020-12-17 2021-03-23 通号智慧城市研究设计院有限公司 一种行人速度测量方法、***、介质及计算设备
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法

Similar Documents

Publication Publication Date Title
CN104183127B (zh) 交通监控视频检测方法和装置
US9083856B2 (en) Vehicle speed measurement method and system utilizing a single image capturing unit
US8238610B2 (en) Homography-based passive vehicle speed measuring
CN103778645B (zh) 一种基于图像的圆形目标实时跟踪方法
CN115407357B (zh) 基于大场景的低线束激光雷达-imu-rtk定位建图算法
CN113359097A (zh) 一种毫米波雷达和相机联合标定的方法
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN110796681A (zh) 一种用于船舶协同工作的视觉定位***及方法
CN112541938A (zh) 一种行人速度测量方法、***、介质及计算设备
CN107909601A (zh) 一种适用于航标的船舶防撞预警视频检测***及检测方法
CN110619328A (zh) 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN116310679A (zh) 多传感器融合目标检测方法、***、介质、设备及终端
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
CN108122244B (zh) 一种视频图像的视频测速方法及装置
CN105869108B (zh) 一种用于动平台移动目标侦测中的图像配准方法
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
CN117173215A (zh) 一种跨摄像头的内河航船全程轨迹识别方法及***
CN116736322A (zh) 融合相机图像与机载激光雷达点云数据的速度预测方法
CN113895482B (zh) 基于轨旁设备的列车测速方法及装置
CN114966090A (zh) 一种基于深度学习的船舶视频测速方法
Kuo et al. Implementation of inverse perspective mapping for camera-vision water-level measurements
US20230082656A1 (en) Method and apparatus for vehicle positioning
CN113850864B (zh) 一种面向室外移动机器人的gnss/lidar回环检测方法
CA3237725A1 (en) Systems and methods for draft calculation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220830

RJ01 Rejection of invention patent application after publication