CN113419075B - 基于双目视觉的船舶测速方法、***、装置和介质 - Google Patents
基于双目视觉的船舶测速方法、***、装置和介质 Download PDFInfo
- Publication number
- CN113419075B CN113419075B CN202110602659.4A CN202110602659A CN113419075B CN 113419075 B CN113419075 B CN 113419075B CN 202110602659 A CN202110602659 A CN 202110602659A CN 113419075 B CN113419075 B CN 113419075B
- Authority
- CN
- China
- Prior art keywords
- ship
- buoy
- distance
- speed
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 17
- 238000000691 measurement method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 101100517651 Caenorhabditis elegans num-1 gene Proteins 0.000 description 1
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于双目视觉的船舶测速方法、***、装置和介质，可广泛应用于船舶航行技术领域。本发明方法通过采用目标识别网络模型识别实时采集的船舶监控视频中的目标船舶的第一位置和第二位置，并分别计算得到第一距离和与第一距离和，当第一距离和小于第一阈值，获取第一位置对应的第一视频帧；以及当第二距离和小于第二阈值，获取第二位置对应的第二视频帧，并根据第一视频帧和第二视频帧确定时间差，然后获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离；根据第三距离、第四距离、时间差和至少两个摄像头的个数确定目标船舶的实际船速，从而无需安装激光雷达即能直观的给出具体船舶的航速信息。
Description
技术领域
本发明涉及船舶航行技术领域，尤其是一种基于双目视觉的船舶测速方法、***、装置和介质。
背景技术
随着水运、道路交通的发展，船舶、大型车辆与桥梁碰撞的风险持续升高。由于桥梁建设时间不同，建设标准不一，桥下通行船舶来源不同，存在着较大的船舶碰撞桥梁安全隐患。桥梁防撞预警预测技术中，船舶测速技术尤其关键。目前使用的技术主要以激光雷达为主，但是，激光雷达成本较高，普遍在10几万以上，安装精度要求高，检测结果不够直观，且只能测到检测范围内的船舶航速，而不能直观看到是哪个船舶对应的速度。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于双目视觉的船舶测速方法、***、装置和介质，能够直观的给出具体船舶的航速。
第一方面，本发明实施例提供了一种基于双目视觉的船舶测速方法，包括以下步骤：
获取至少两个摄像头采集的船舶监控视频；
采用目标识别网络模型识别所述船舶监控视频中的目标船舶的第一位置和第二位置，所述第一位置与所述第二位置不重叠；
计算所述第一位置与第一浮标和第二浮标的第一距离和，以及计算所述第二位置与第三浮标和第四浮标的第二距离和；
当所述第一距离和小于第一阈值，获取第一位置对应的摄像头采集视频的第一视频帧；以及当所述第二距离和小于第二阈值，获取第二位置对应的摄像头采集视频的第二视频帧；
根据所述第一视频帧和所述第二视频帧确定时间差；
获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离；
根据所述第三距离、所述第四距离、所述时间差和至少两个摄像头的个数确定所述目标船舶的实际船速。
本发明实施例提供的一种基于双目视觉的船舶测速方法，具有如下有益效果：
本实施例通过采用目标识别网络模型识别实时采集的船舶监控视频中的目标船舶的两个互不重叠的第一位置和第二位置，并计算第一位置与第一浮标和第二浮标的第一距离和，以及计算第二位置与第三浮标和第四浮标的第一距离和，接着当第一距离和小于第一阈值，获取第一位置对应的摄像头采集视频的第一视频帧；以及当第二距离和小于第二阈值，获取第二位置对应的摄像头采集视频的第二视频帧，并根据第一视频帧和第二视频帧确定时间差，然后获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离；根据第三距离、第四距离、时间差和至少两个摄像头的个数确定目标船舶的实际船速，从而无需安装激光雷达即能直观的给出具体船舶的航速信息。
可选地，所述方法还包括以下步骤：
获取船舶安全航速阈值；
当所述实际船速大于所述船舶安全航速阈值，生成船舶报警信息。
可选地，所述根据所述第一视频帧和所述第二视频帧确定时间差，包括：
获取所述摄像头的帧率；
根据所述第一视频帧和所述帧率确定第一拍摄时间；
根据所述第二视频帧和所述帧率确定第二拍摄时间；
根据所述第一拍摄时间和所述第二拍摄时间确定时间差。
可选地，所述根据所述第三距离、所述第四距离、所述时间差和至少两个摄像头的个数确定所述目标船舶的实际船速，包括：
根据所述第三距离和所述时间差确定船舶的第一速度；
根据所述第四距离和所述时间差确定船舶的第二速度；
根据所述第一速度和所述第二速度确定所述目标船舶的第一平均速度；
根据所有所述第一平均速度和至少两个摄像头的个数确定所述目标船舶的实际船速。
可选地，所述目标识别网络模型为Yolov4模型，所述Yolov4模型通过以下步骤进行训练：
获取若干训练监控视频；
标注所述训练监控视频中的船舶图像；
根据标注后的训练监控视频对Yolov4模型进行训练。
可选地，所述船舶监控视频为rtsp视频流。
第二方面，本发明实施例提供了一种基于双目视觉的船舶测速***，包括：
至少两个摄像头，所述摄像头安装于预设区域内的桥梁上，用于采集的船舶监控视频；
无线传输模块；
处理模块，所述处理模块内设有目标识别网络模型，通过所述无线传输模块与至少两个所述摄像头交互，并用于执行以下步骤：
获取至少两个摄像头采集的船舶监控视频；
采用目标识别网络模型识别所述船舶监控视频中的目标船舶的第一位置和第二位置，所述第一位置与所述第二位置不重叠；
计算所述第一位置与第一浮标和第二浮标的第一距离和，以及计算所述第二位置与第三浮标和第四浮标的第二距离和；
当所述第一距离和小于第一阈值，获取第一位置对应的摄像头采集视频的第一视频帧；以及当所述第二距离和小于第二阈值，获取第二位置对应的摄像头采集视频的第二视频帧；
根据所述第一视频帧和所述第二视频帧确定时间差；
获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离；
根据所述第三距离、所述第四距离、所述时间差和至少两个摄像头的个数确定所述目标船舶的实际船速。
可选地，所述***还包括报警模块，所述报警模块用于执行以下步骤：
获取船舶安全航速阈值；
当所述实际船速大于所述船舶安全航速阈值，生成船舶报警信息。
第三方面，本发明实施例提供了一种基于双目视觉的船舶测速装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行第一方面实施例提供的基于双目视觉的船舶测速方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行第一方面实施例提供的基于双目视觉的船舶测速方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明实施例的一种基于双目视觉的船舶测速方法的流程图；
图2为本发明实施例的一种船舶航行过程与第一浮标和第二浮标的示意图；
图3为本发明实施例的一种船舶航行过程与第三浮标和第四浮标的示意图；
图4为本发明实施例的一种浮标和浮标之间的距离示意图；
图5为本发明实施例的一种基于双目视觉的船舶测速***的模块框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
参照图1，本发明实施例提供了一种基于双目视觉的船舶测速方法，本实施例可应用于服务器，该服务器可与摄像头、船舶控制终端交互。摄像头用于采集指定水域的监控数据。船舶控制终端用于接收服务器发送的提示信息或者向服务器发送船舶控制信息。
在应用过程中，本实施例包括步骤S11至步骤S17：
S11、获取至少两个摄像头采集的船舶监控视频。
在本申请实施例中，船舶监控视频为摄像头实时采集的指定水域的视频数据，该视频数据内包含目标船舶的航行轨迹。其中，船舶监控视频为rtsp视频流，便于服务器或者其他处理终端对该视频数据进行处理。
S12、采用目标识别网络模型识别船舶监控视频中的目标船舶的第一位置和第二位置。其中，第一位置与第二位置不重叠。
在本申请实施例，具体是通过Yolov4模型组成的目标识别网络模型从视频数据中，在两个不同帧的位置分别识别船舶，第一次识别到的船舶对应的位置为第一位置，第二次识别到的船舶对应的位置为第二位置。其中，Yolov4模型在具体的识别之前，还会对Yolov4模型进行训练，其具体训练步骤包括：
获取若干训练监控视频。其中，该若干训练监控视频可以是该水域上在当前时间节点之前的监控视频。
标注训练监控视频中的船舶图像。具体地，本步骤可通过数据标注软件标注视频内的船舶，例如，用于一个长方形的框将船舶标注处理，便于模型快速识别。
根据标注后的训练监控视频对Yolov4模型进行训练。在训练过程中，当模型内的参数达到预设要求后，停止对模型的训练过程。若参数未达到预设要求，则重复上述的训练过程，直至参数达到要求。
S13、计算第一位置与第一浮标和第二浮标的第一距离和，以及计算第二位置与第三浮标和第四浮标的第二距离和。
在本申请实施例中，具体为单独计算第一位置与第一浮标的距离、第一位置与第二浮标的距离，然后对这两个距离求和，得到第一距离和。如图2所示，桥梁210上的摄像头采集的指定水域220上的视频数据。该视频数据中，船舶230从第一浮标240和第二浮标250之间通过。在船舶230通过第一浮标240和第二浮标250之间时，由于船舶是处于运动状态，因此，可实时计算船舶230与第一浮标240和第二浮标250的距离和，将此时的距离和作为第一距离和。例如，船舶230的坐标为(xc1,yc1)，第一浮标240的坐标为(xo1,yo1)，第二浮标250的坐标为(xo2,yo2)，则船舶230到第一浮标240的距离
船舶230到第二浮标250的距离
第一距离和为l12＝l1+l2。
同理，单独计算第二位置与第三浮标的距离、第二位置与第四浮标的距离，然后对这两个距离求和，得到第二距离和。如图3所示，桥梁310上的摄像头采集的指定水域320上的视频数据。该视频数据中，船舶330从第三浮标340和第四浮标350之间通过。在船舶330通过第三浮标340和第四浮标350之间时，由于船舶是处于运动状态，因此，可实时计算船舶330与第三浮标340和第四浮标350的距离和，将此时的距离和作为第二距离和。例如，船舶330的坐标为(xc2,yc2)，第三浮标340的坐标为(xo3,yo3)，第四浮标350的坐标为(xo4,yo4)，则船舶330到第三浮标340的距离
船舶330到第四浮标350的距离
第一距离和为l34＝l3+l4。
在图2和图3的计算过程中，以船舶的中心位置代替船舶位置，计算该中心位置与浮标之间的距离。
S14、当第一距离和小于第一阈值，获取第一位置对应的摄像头采集视频的第一视频帧；以及当第二距离和小于第二阈值，获取第二位置对应的摄像头采集视频的第二视频帧。
在本申请实施例中，第一阈值和第二阈值均为预设设定的数值大小。其中，第一阈值用于判断船舶是否切好通过第一浮标和第二浮标之间；第二阈值用于判断船舶是否切好通过第三浮标和第四浮标之间。当第一距离和刚好小于第一阈值时，此时船舶刚好通过第一浮标和第二浮标之间，也就是摄像头此时的视频帧刚好对应船舶刚好通过第一浮标和第二浮标之间的图像。例如，第一阈值为ym1，则当l12<ym1时，船舶刚好通过第一浮标和第二浮标之间，获取此时对应的摄像头采集视频的第一视频帧。
同理，当第二距离和刚好小于第二阈值时，此时船舶刚好通过第三浮标和第四浮标之间，也就是摄像头此时的视频帧刚好对应船舶刚好通过第三浮标和第四浮标之间的图像。例如，第二阈值为ym2，则当l34<ym2时，船舶刚好通过第三浮标和第四浮标之间，获取此时对应的摄像头采集视频的第二视频帧。
S15、根据第一视频帧和第二视频帧确定时间差。
在本申请实施例中，通过获取当前水域上采集视频数据的摄像头的拍摄帧率，接着根据第一视频帧和拍摄视频的帧率确定第一拍摄时间，以及根据第二视频帧和对应的拍摄视频的帧率确定第二拍摄时间，然后根据第一拍摄时间和第二拍摄时间确定时间差。例如，当摄像头的拍摄帧率为f，第一视频帧为frame_num1，第二视频帧为frame_num2，则第一拍摄时间t1＝frame_num1/f；第二拍摄时间t2＝frame_num2/f；时间差Δt＝t2-t1。
S16、获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离。
在本申请实施例中，由于浮标是预设设置在指定水域的指定位置上，因此，第一浮标和第三浮标之间的距离，以及第二浮标和第四浮标之间的距离均可以预先测量得到。在另一些实施例中，为了避免航行区域上风向影响浮标之间的实际距离，还可以通过实时采集的视频数据来实时测量浮标之间的距离。例如，如图4所示，安装在桥梁460上的摄像头拍摄到指定水域450上的四个浮标位置，第一浮标410的坐标为(xo1,yo1)，第二浮标420的坐标为(xo2,yo2)，第三浮标430的坐标为(xo3,yo3)，第四浮标440的坐标为(xo4,yo4)，则第一浮标410与第三浮标430的第三距离
第二浮标420到第四浮标440的第四距离
S17、根据第三距离、第四距离、时间差和至少两个摄像头的个数确定目标船舶的实际船速。
在本申请实施例中，先根据第三距离和时间差确定船舶的第一速度，以及根据第四距离和时间差确定船舶的第二速度，接着根据第一速度和第二速度确定目标船舶的第一平均速度，然后再根据所有第一平均速度和至少两个摄像头的个数确定目标船舶的实际船速。例如，第三距离为d1，第四距离为d2，时间差为Δt，则第一速度v1＝d1/Δt，第二速度v2＝d2/Δt，进一步得到第一平均速度
当有n个摄像头同时检测该指定水域时，则实际船速
其中，
为第n个摄像头的第一平均速度。其中，本实施例在完成测速后，将测量得到的实际船速的单位转换成常规单位，便于后续应用过程。
本实施例通过多个摄像头实时监控的船舶速度来确定同一个船舶的实际速度，以使计算得到的船舶速度更加接近实际速度。例如，如表1所示的本实施测量的速度与实际速度之间的关系：
表1
| 实际航速(单位：节) | 本实施例测量航速(单位：节) | 误差(％) |
| 3.5 | 3.64 | 5.1 |
| 5 | 5.16 | 3.2 |
| 8.4 | 8.22 | 2.1 |
从表1可知，本实施的测速方法，相对于真实航速，误差在5％左右，满足一般的测速要求。因此，本实施例相对目前的测速方法，成本更低，方法更简单且能达到测速要求。
在一些实施例中，上述方法还包括以下步骤：
获取船舶安全航速阈值；并当实际船速大于船舶安全航速阈值，生成船舶报警信息。其中，船舶安全航速阈值为当前水域的安全行驶范围的上限值，该阈值范围内的船速，能够保持安全航行。本实施例通过在实际船速大于船舶安全航速阈值时，生成船舶报警信息，从而使对应的工作人员提前做好准备，将风险尽量降低。
参照图5，本发明实施例提供了一种基于双目视觉的船舶测速***，包括：
至少两个摄像头，其安装于预设区域内的桥梁上，用于采集的船舶监控视频；
无线传输模块；
处理模块，其可以为设有目标识别网络模型的ARM嵌入平台，通过无线传输模块与至少两个摄像头交互，并用于执行以下步骤：
获取至少两个摄像头采集的船舶监控视频；
采用目标识别网络模型识别船舶监控视频中的目标船舶的第一位置和第二位置，其中，第一位置与第二位置不重叠；
计算第一位置与第一浮标和第二浮标的第一距离和，以及计算第二位置与第三浮标和第四浮标的第一距离和；
当第一距离和小于第一阈值，获取第一位置对应的摄像头采集视频的第一视频帧；以及当第二距离和小于第二阈值，获取第二位置对应的摄像头采集视频的第二视频帧；
根据第一视频帧和第二视频帧确定时间差；
获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离；
根据第三距离、第四距离、时间差和至少两个摄像头的个数确定目标船舶的实际船速。
可选地，所述***还包括报警模块，所述报警模块用于执行以下步骤：
获取船舶安全航速阈值；
当所述实际船速大于所述船舶安全航速阈值，生成船舶报警信息。
本发明方法实施例的内容均适用于本***实施例，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种基于双目视觉的船舶测速装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载程序以执行如图1所示的基于双目视觉的船舶测速方法。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如图1所示的基于双目视觉的船舶测速方法。
此外，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
Claims (7)
1.一种基于双目视觉的船舶测速方法，其特征在于，包括以下步骤：
获取至少两个摄像头采集的船舶监控视频；
采用目标识别网络模型识别所述船舶监控视频中的目标船舶的第一位置和第二位置，所述第一位置与所述第二位置不重叠；
计算所述第一位置与第一浮标和第二浮标的第一距离和，以及计算所述第二位置与第三浮标和第四浮标的第二距离和；
当所述第一距离和小于第一阈值，获取第一位置对应的摄像头采集视频的第一视频帧；以及当所述第二距离和小于第二阈值，获取第二位置对应的摄像头采集视频的第二视频帧；
根据所述第一视频帧和所述第二视频帧确定时间差；
获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离；
根据所述第三距离、所述第四距离、所述时间差和至少两个摄像头的个数确定所述目标船舶的实际船速；
所述根据所述第一视频帧和所述第二视频帧确定时间差，包括：
获取所述摄像头的帧率；
根据所述第一视频帧和所述帧率确定第一拍摄时间；
根据所述第二视频帧和所述帧率确定第二拍摄时间；
根据所述第一拍摄时间和所述第二拍摄时间确定时间差；
所述方法还包括以下步骤：
获取船舶安全航速阈值；
当所述实际船速大于所述船舶安全航速阈值，生成船舶报警信息。
2.根据权利要求1所述的一种基于双目视觉的船舶测速方法，其特征在于，所述根据所述第三距离、所述第四距离、所述时间差和至少两个摄像头的个数确定所述目标船舶的实际船速，包括：
根据所述第三距离和所述时间差确定船舶的第一速度；
根据所述第四距离和所述时间差确定船舶的第二速度；
根据所述第一速度和所述第二速度确定所述目标船舶的第一平均速度；
根据所有所述第一平均速度和至少两个摄像头的个数确定所述目标船舶的实际船速。
3.根据权利要求1所述的一种基于双目视觉的船舶测速方法，其特征在于，所述目标识别网络模型为Yolov4模型，所述Yolov4模型通过以下步骤进行训练：
获取若干训练监控视频；
标注所述训练监控视频中的船舶图像；
根据标注后的训练监控视频对Yolov4模型进行训练。
4.根据权利要求1所述的一种基于双目视觉的船舶测速方法，其特征在于，所述船舶监控视频为rtsp视频流。
5.一种基于双目视觉的船舶测速***，其特征在于，包括：
至少两个摄像头，所述摄像头安装于预设区域内的桥梁上，用于采集的船舶监控视频；
无线传输模块；
处理模块，所述处理模块内设有目标识别网络模型，通过所述无线传输模块与至少两个所述摄像头交互，并用于执行以下步骤：
获取至少两个摄像头采集的船舶监控视频；
采用目标识别网络模型识别所述船舶监控视频中的目标船舶的第一位置和第二位置，所述第一位置与所述第二位置不重叠；
计算所述第一位置与第一浮标和第二浮标的第一距离和，以及计算所述第二位置与第三浮标和第四浮标的第二距离和；
当所述第一距离和小于第一阈值，获取第一位置对应的摄像头采集视频的第一视频帧；以及当所述第二距离和小于第二阈值，获取第二位置对应的摄像头采集视频的第二视频帧；
根据所述第一视频帧和所述第二视频帧确定时间差；
获取第一浮标和第三浮标的第三距离，以及第二浮标和第四浮标的第四距离；
根据所述第三距离、所述第四距离、所述时间差和至少两个摄像头的个数确定所述目标船舶的实际船速；
所述根据所述第一视频帧和所述第二视频帧确定时间差，包括：
获取所述摄像头的帧率；
根据所述第一视频帧和所述帧率确定第一拍摄时间；
根据所述第二视频帧和所述帧率确定第二拍摄时间；
根据所述第一拍摄时间和所述第二拍摄时间确定时间差；
所述***还包括报警模块，所述报警模块用于执行以下步骤：
获取船舶安全航速阈值；
当所述实际船速大于所述船舶安全航速阈值，生成船舶报警信息。
6.一种基于双目视觉的船舶测速装置，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-4任一项所述的基于双目视觉的船舶测速方法。
7.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-4任一项所述的基于双目视觉的船舶测速方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110602659.4A CN113419075B (zh) | 2021-05-31 | 2021-05-31 | 基于双目视觉的船舶测速方法、***、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110602659.4A CN113419075B (zh) | 2021-05-31 | 2021-05-31 | 基于双目视觉的船舶测速方法、***、装置和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113419075A CN113419075A (zh) | 2021-09-21 |
| CN113419075B true CN113419075B (zh) | 2022-08-16 |
Family
ID=77713417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110602659.4A Active CN113419075B (zh) | 2021-05-31 | 2021-05-31 | 基于双目视觉的船舶测速方法、***、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113419075B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996022537A1 (en) * | 1995-01-18 | 1996-07-25 | Hardin Larry C | Optical range and speed detection system |
| US5896167A (en) * | 1994-10-21 | 1999-04-20 | Toyota Jidosha Kabushiki Kaisha | Apparatus for photographing moving body |
| CN203365452U (zh) * | 2013-05-02 | 2013-12-25 | 中国计量学院 | 基于双目立体视觉的车速检测*** |
| CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
| CN110414340A (zh) * | 2019-06-21 | 2019-11-05 | 武汉四创自动控制技术有限责任公司 | 一种船闸监控***中的船舶识别方法 |
| CN111798386A (zh) * | 2020-06-24 | 2020-10-20 | 武汉大学 | 一种基于边缘识别与最大序列密度估计的河道流速测量方法 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及*** |
| CN112053572A (zh) * | 2020-09-07 | 2020-12-08 | 重庆同枥信息技术有限公司 | 基于视频和距离网格标定的车辆测速方法、设备及*** |
| CN112381870A (zh) * | 2020-11-25 | 2021-02-19 | 河海大学常州校区 | 一种基于双目视觉的船舶识别与航速测量***及方法 |
-
2021
- 2021-05-31 CN CN202110602659.4A patent/CN113419075B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5896167A (en) * | 1994-10-21 | 1999-04-20 | Toyota Jidosha Kabushiki Kaisha | Apparatus for photographing moving body |
| WO1996022537A1 (en) * | 1995-01-18 | 1996-07-25 | Hardin Larry C | Optical range and speed detection system |
| CN203365452U (zh) * | 2013-05-02 | 2013-12-25 | 中国计量学院 | 基于双目立体视觉的车速检测*** |
| CN110070142A (zh) * | 2019-04-29 | 2019-07-30 | 上海大学 | 一种基于yolo神经网络的海上船只目标检测方法 |
| CN110414340A (zh) * | 2019-06-21 | 2019-11-05 | 武汉四创自动控制技术有限责任公司 | 一种船闸监控***中的船舶识别方法 |
| CN111798386A (zh) * | 2020-06-24 | 2020-10-20 | 武汉大学 | 一种基于边缘识别与最大序列密度估计的河道流速测量方法 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及*** |
| CN112053572A (zh) * | 2020-09-07 | 2020-12-08 | 重庆同枥信息技术有限公司 | 基于视频和距离网格标定的车辆测速方法、设备及*** |
| CN112381870A (zh) * | 2020-11-25 | 2021-02-19 | 河海大学常州校区 | 一种基于双目视觉的船舶识别与航速测量***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113419075A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109725310B (zh) | 一种基于yolo算法以及岸基雷达***的船舶定位监管*** | |
| CN109948684B (zh) | 激光雷达点云数据标注质量的质检方法、装置及设备 | |
| KR102661171B1 (ko) | 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템 | |
| WO2020022042A1 (ja) | 劣化診断装置、劣化診断システム、劣化診断方法、プログラムを記憶する記憶媒体 | |
| CN107609483B (zh) | 面向驾驶辅助***的危险目标检测方法、装置 | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| CN111027381A (zh) | 利用单目相机识别障碍物的方法、装置、设备及存储介质 | |
| CN112580600A (zh) | 粉尘浓度检测方法、装置、计算机设备和存储介质 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN112562406B (zh) | 一种越线行驶的识别方法及装置 | |
| CN111163290A (zh) | 一种夜间航行船舶检测并跟踪的装置和方法 | |
| CN110111018B (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
| CN111860215B (zh) | 目标对象的位置确定方法、终端设备及航行*** | |
| CN113554645A (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN113869440A (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
| CN113419075B (zh) | 基于双目视觉的船舶测速方法、***、装置和介质 | |
| CN117173215A (zh) | 一种跨摄像头的内河航船全程轨迹识别方法及*** | |
| CN112183382A (zh) | 无人驾驶交通灯检测分类方法和装置 | |
| CN115308762A (zh) | 基于激光雷达和ais的船舶识别方法及装置 | |
| CN113705503A (zh) | 一种基于多模态信息融合的异常行为检测***及方法 | |
| CN210924849U (zh) | 一种船舶人员落水监控*** | |
| CN105785990B (zh) | 基于全景环视的船只停泊***及障碍物识别方法 | |
| CN109165579A (zh) | 检测停止线的方法和装置 | |
| EP4383215A1 (en) | Method and system for determining a region of water clearance of a water surface | |
| US20220402504A1 (en) | Methods and Systems for Generating Ground Truth Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |