CN109831655B - 基于多摄像头数据融合的船舶环境感知与预警*** - Google Patents
基于多摄像头数据融合的船舶环境感知与预警*** Download PDFInfo
- Publication number
- CN109831655B CN109831655B CN201910217354.4A CN201910217354A CN109831655B CN 109831655 B CN109831655 B CN 109831655B CN 201910217354 A CN201910217354 A CN 201910217354A CN 109831655 B CN109831655 B CN 109831655B
- Authority
- CN
- China
- Prior art keywords
- early warning
- ship
- information
- video
- submodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于多摄像头数据融合的船舶环境感知与预警***。本发明一种基于多摄像头数据融合的船舶环境感知与预警***，其特征在于，包括：多个视频分析处理模块、数据中心模块和基于多摄像头数据融合的船舶监测与预警服务模块这三个模块构成。本发明的有益效果：能够对多尺度的目标进行有效识别并且能全方位多角度实时监测船身周围状况的***，并且该***还能够发出合适的预警信息，为船上的驾驶人员提供参考信息及行驶应对策略或作为无人驾驶船舶的支撑***。
Description
技术领域
本发明涉及船舶领域，具体涉及一种基于多摄像头数据融合的船舶环境感知与预警***。
背景技术
随着船舶自动化技术的不断进步和发展,船舶制造业发生了巨大的变化,船舶***的自动化程度越来越高,无人化机舱***的应用越来越广泛，高技术含量的集成***的大量应用，使得船舶各***更加高效，无人化程度也越来越高，与此同时也对船舶的安全驾驶和船舶驾驶智能化提出了更高的要求。
船舶监测和预警***主要实现对船舶所处周边环境的全局感知和监测，并根据监测信息进行合理的预警，是保证船舶安全和高效运行的重要组成部分。
传统技术存在以下技术问题：
1.远处微小型船舶的漏检问题
交通目标的识别对目标的尺度变换要求较高，微小目标的识别极限限制着预警距离的极限，在船舶监测与预警***中是安全性能的关键体现。
目前的船舶识别对远处的微小船只存在漏检问题，信息处理模块的训练样本和训练方式对此有很大的影响，除此之外建议区域位置不能准确确定和深度特征流失也是影响因素。
2.船舶监测***存在死角问题
随着水上交通运输的发展，船舶向着大型化的方向快速发展，进一步提高了对监测***全面性的要求，常规的船舶监测***通常不能满足全方位监控需求，存在监控死角。
3.预警目标的识别与测距问题
目前的船舶监测与预警***，目标识别能力还不完善，而且对目标感知还不够准确，例如对预警目标的测距不够准确。测距是船舶监测与预警***中至关重要的技术，预警目标的距离很大程度地影响着无人船舶的处理器的判决或普通船舶驾驶者的判断。
目前在船舶预警***中应用较多的测距技术为超声波、红外、激光等主动型传感技术。超声波的传播受环境因素影响大，如大气压强、风速、温度等，因此精度较低。相较于声音，光这一物理量的传播则稳定得多，因此红外和激光非常适用于复杂多变的环境，具有良好的抗干扰能力。
4.现有***实时多目标处理能力较差的问题
现有的船舶目标识别的图像处理多采用模版匹配、人工特征提取结合支持向量机、R-CNN和R-CNN后续发展的技术。模版匹配和支持向量机的目标识别对于轮廓变化小的物体识别效果较好，对于船舶这类大小和形状变化较大的物体准确度低。而基于深度学习的R-CNN算法速度较慢，难以达到船舶预警需要的实时处理速度。
5.海上环境复杂，现有技术的报警***存在误报的可能。
发明内容
本发明要解决的技术问题是提供一种基于多摄像头数据融合的船舶环境感知与预警***，能够对多尺度的目标进行有效识别并且能全方位多角度实时监测船身周围状况的***，并且该***还能够发出合适的预警信息，为船上的驾驶人员提供参考信息及行驶应对策略或作为无人驾驶船舶的支撑***。
为了解决上述技术问题，本发明提供了一种基于多摄像头数据融合的船舶环境感知与预警***，包括：多个视频分析处理模块、数据中心模块和基于多摄像头数据融合的船舶监测与预警服务模块这三个模块构成；
所述视频分析处理模块包括视频采集子模块、信息处理子模块、无线和有线通信子模块和报警子模块；信号处理子模块采用深度学习算法对视频采集子模块所采集的视频图像进行目标识别，从而实现船舶及周边的环境感知和监测，包括实现可视范围内的各类目标识别和目标距离探测；信息处理子模块根据深度学习算法追踪信息进行目标识别、距离探测和预警处理处理，即发现预警目标或者进入预警距离时，实时通知报警子***进行声光报警，同时通过有线通信接口或无线通信子模块将视频信息和预警信息通过有线或者无线通信方式发送给数据中心；
所示数据中心模块主要包括数据存储子***和通信子模块两部分组成，支持有线通信和无线通信两种方式，用于与多个视频分析处理模块和基于多摄像头数据融合的船舶监测与预警服务模块通信；数据中心模块通过通信子模块接收来自各个视频分析处理模块采集的视频信息和预警信息，存储到数据存储子***，同时转发给基于多摄像头数据融合的船舶监测与预警服务模块通信，实现将多个视频分析处理模块的视频信息和预警信息进行数据融合，进行基于多摄像头数据融合的船舶环境感知与预警处理。
在其中一个实施例中，双摄像头视频分析处理模块，应用于船舶前后两端，通过两个摄像头使用双目视觉配置，实现前方航道和后方航道视觉场景的三维重建，同时在确定质心后进行精准测距。
在其中一个实施例中，单摄像头视频分析处理模块，应用于船舶侧前方、侧方和侧后方，实现***的全方位视频实时监测。
在其中一个实施例中，所述基于多摄像头数据融合的船舶监测与预警服务模块包括信息处理子模块、通信子模块、信息配置模块、视频显示子模块和报警模块等部分构成，其中通信子模块可支持通过有线或无线通信方式与数据中心通信，接收数据中心模块转发的各个视频分析处理模块的视频数据和预警信息；信息处理子模块实现对获取的各视频分析处理模块采集的视频信息的数据融合处理，实现船舶所处环境的三维重建，通过视频显示子***进行显示，实现多个视频分析处理模块处理信息的互换和融合并进行综合处理并判决、决策，统一负责多种形式的报警；当产生预警时，信息处理子模块发送预警信息给报警子模块，由报警子模块实现多种形式的报警，包括通过视频显示子模块的屏幕显示报警，通过通信子模块的远程报警和求救，以及通过通信子模块通知指定的1个或多个视频分析处理模块进行声、光报警；基于多摄像头数据融合的船舶监测与预警服务模块并根据基于多摄像头数据融合所感知到的环境信息可以为船舶驾驶人员提供可视化数字环境，辅助驾驶；信息处理模块也可以根据基于多摄像头数据融合所感知到的环境信息进行综合预警，并提供航行决策信息给船舶驾驶人员或无人驾驶控制***。
在其中一个实施例中，用户可以通过信息配置模块对***进行配置，包括视频分析处理模块安装的个数、位置和类型，以及报警模式；通过配置视频分析处理模块的位置类型，使***根据该信息更好的实现来源于多个视频分析处理模块的视频信息融合，进而更好的实现全方位环境感知。
本发明的有益效果：
能够对多尺度的目标进行有效识别并且能全方位多角度实时监测船身周围状况的***，并且该***还能够发出合适的预警信息，为船上的驾驶人员提供参考信息及行驶应对策略或作为无人驾驶船舶的支撑***。
附图说明
图1是本发明基于多摄像头数据融合的船舶环境感知与预警***的总体架构图。
图2是本发明基于多摄像头数据融合的船舶环境感知与预警***中的双摄像头视频采集模块。
图3是本发明基于多摄像头数据融合的船舶环境感知与预警***的单摄像头视频采集模块。
图4是本发明基于多摄像头数据融合的船舶环境感知与预警***中的基于多摄像头数据融合的船舶环境感知与预警***服务模块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
基于多摄像头数据融合的船舶环境感知与预警***主要由多个视频分析处理模块、数据中心和基于多摄像头数据融合的船舶监测与预警服务模块这三个模块构成，总体结构如图1所示。
如图1所示基于多摄像头数据融合的船舶环境感知与预警***总体架构，为解决监测死角问题，在船身周围布置8个(但不局限于8个，可以根据船体大小增加或者减少)视频分析处理模块用于周围环境信息感知和采集。8个视频分析处理模块分布为：船舶头部1个，用于监测正前方航道状况；左前、右前各1个，用于辅助监测前方和侧方航道状况；左、右各1个，用于监测正测方航道状况；左后、右后、船舶尾部各1个，共同监测后方航道状况，并辅助监测测方航道状况，从而与数据中心和基于多摄像头数据融合的船舶监测与预警服务模块共同构成全方位的环境感知与预警***。实际应用中，可以根据船体大小增加或减少视频分析处理模块的分布，小型船舶可将视频分析处理模块减少为4个，分布为：船舶头部1个，用于监测正前方航道状况；左、右各1个，用于监测侧方航道航道状况；船舶尾部1个，用于监测后方航道状况。超大型船舶可在侧面增加摄像头个数，提高监测的准确度和全面性。
图1所示采用的视频分析处理模块主要包括视频采集子模块、信息处理子模块、无线和有线通信子模块和报警子模块，其中根据视频采集子模块连接1个还是2个摄像头分为双摄像头视频分析处理模块和单摄像头分析处理模块两种类型，完成船舶周边环境的视频采集工作。双摄像头视频分析处理模块如图2所示，主要应用于船舶前后两端，通过两个摄像头使用双目视觉配置，可实现前方航道和后方航道视觉场景的三维重建，同时在确定质心后进行精准测距；双摄像头视频分析处理模块所采用的双目立体视觉技术基于光学基础，具有高稳定性和强抗干扰性特点，同时相较于激光、红外技术，双目立体视觉技术具有成本低，简单易用并能确定三维信息而有其独特优势；单摄像头视频分析处理模块如图3所示，主要应用于图1所示的船舶侧前方、侧方和侧后方，实现***的全方位视频实时监测；必要情况下，可以在船舶侧前方、侧方和侧后方采用双摄像头视频分析处理模块，实现全方位环境的三维立体重建，提高***的环境感知和监测，可以输出高效精确的预警信息，提供更可靠的安全保障。图2和图3中所示的信号处理子模块主要采用YOLO技术等深度学习算法对视频采集子模块所采集的视频图像进行目标识别，，从而实现船舶及周边的环境感知和监测，包括实现可视范围内的各类目标识别和目标距离探测等；信息处理子模块根据YOLO等深度学习算法追踪信息进行目标识别、距离探测和预警处理处理，即发现预警目标或者进入预警距离时，实时通知报警子***进行声光报警，同时通过有线通信接口或无线通信子模块将视频信息和预警信息(如发生)通过有线或者无线通信方式发送给数据中心。
图1所示采用的数据中心模块主要包括数据存储子***和通信子模块两部分组成，支持有线通信和无线通信两种方式，主要用于与多个视频分析处理模块和基于多摄像头数据融合的船舶监测与预警服务模块通信。数据中心模块通过通信子模块接收来自各个视频分析处理模块采集的视频信息和预警信息，存储到数据存储子***，同时转发给基于多摄像头数据融合的船舶监测与预警服务模块通信，实现将多个视频分析处理模块的视频信息和预警信息进行数据融合，进行基于多摄像头数据融合的船舶环境感知与预警处理。
基于多摄像头数据融合的船舶监测与预警服务模块如图4所示，主要包括信息处理子模块、通信子模块、信息配置模块、视频显示子模块和报警模块等部分构成，其中通信子模块可支持通过有线或无线通信方式与数据中心通信，接收数据中心模块转发的各个视频分析处理模块的视频数据和预警信息；信息处理子模块实现对获取的各视频分析处理模块采集的视频信息的数据融合处理，实现船舶所处环境的三维重建，通过视频显示子***进行显示，可以实现多个视频分析处理模块处理信息的互换和融合并进行综合处理并判决、决策，统一负责多种形式的报警；当产生预警时，信息处理子模块发送预警信息给报警子模块，由报警子模块实现多种形式的报警，包括通过视频显示子模块的屏幕显示报警，通过通信子模块的远程报警和求救，以及通过通信子模块通知指定的1个或多个视频分析处理模块进行声、光报警；用户可以通过信息配置模块对***进行配置，包括视频分析处理模块安装的个数、位置和类型，以及报警模式；通过配置视频分析处理模块的位置类型，可以使***根据该信息更好的实现来源于多个视频分析处理模块的视频信息融合，进而更好的实现全方位环境感知；通过配置报警模式，可以有效提高用户体验，也可以提高整个监测与预警***的鲁棒性，也提供了更好的交互式服务
基于多摄像头数据融合的船舶监测与预警服务模块并根据基于多摄像头数据融合所感知到的环境信息可以为船舶驾驶人员提供可视化数字环境，辅助驾驶；信息处理模块也可以根据基于多摄像头数据融合所感知到的环境信息进行综合预警，并提供航行决策信息给船舶驾驶人员或无人驾驶控制***。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。
Claims (1)
1.一种基于多摄像头数据融合的船舶环境感知与预警***，其特征在于，包括：多个视频分析处理模块、数据中心模块和基于多摄像头数据融合的船舶监测与预警服务模块这三个模块构成；
在船身周围布置8个所述视频分析处理模块用于周围环境信息感知和采集；8个视频分析处理模块分布为：船舶头部1个，用于监测正前方航道状况；左前、右前各1个，用于辅助监测前方和侧方航道状况；左、右各1个，用于监测正侧方航道状况；左后、右后、船舶尾部各1个，共同监测后方航道状况，并辅助监测侧方航道状况，从而与数据中心和基于多摄像头数据融合的船舶监测与预警服务模块共同构成全方位的环境感知与预警***；
所述视频分析处理模块包括视频采集子模块、信息处理子模块、无线和有线通信子模块和报警子模块；信息处理子模块采用深度学习算法对视频采集子模块所采集的视频图像进行目标识别，从而实现船舶及周边的环境感知和监测，包括实现可视范围内的各类目标识别和目标距离探测；信息处理子模块根据深度学习算法追踪信息进行目标识别、距离探测和预警处理，即发现预警目标或者进入预警距离时，实时通知报警子***进行声光报警，同时通过有线通信接口或无线通信子模块将视频信息和预警信息通过有线或者无线通信方式发送给数据中心；
所述数据中心模块主要包括数据存储子***和通信子模块两部分组成，支持有线通信和无线通信两种方式，用于与多个视频分析处理模块和基于多摄像头数据融合的船舶监测与预警服务模块通信；数据中心模块通过通信子模块接收来自各个视频分析处理模块采集的视频信息和预警信息，存储到数据存储子***，同时转发给基于多摄像头数据融合的船舶监测与预警服务模块，实现将多个视频分析处理模块的视频信息和预警信息进行数据融合，进行基于多摄像头数据融合的船舶环境感知与预警处理；
其中根据视频采集子模块连接1个还是2个摄像头分为双摄像头视频分析处理模块和单摄像头分析处理模块两种类型，完成船舶周边环境的视频采集工作；
双摄像头视频分析处理模块，应用于船舶前后两端，通过两个摄像头使用双目视觉配置，实现前方航道和后方航道视觉场景的三维重建，同时在确定质心后进行精准测距；
单摄像头视频分析处理模块，应用于船舶侧前方、侧方和侧后方，实现***的全方位视频实时监测；
所述基于多摄像头数据融合的船舶监测与预警服务模块包括信息处理子模块、通信子模块、信息配置模块、视频显示子模块和报警子模块，其中通信子模块可支持通过有线或无线通信方式与数据中心通信，接收数据中心模块转发的各个视频分析处理模块的视频数据和预警信息；信息处理子模块实现对获取的各视频分析处理模块采集的视频信息的数据融合处理，实现船舶所处环境的三维重建，通过视频显示子***进行显示，实现多个视频分析处理模块处理信息的互换和融合并进行综合处理并判决、决策，统一负责多种形式的报警；当产生预警时，信息处理子模块发送预警信息给报警子模块，由报警子模块实现多种形式的报警，包括通过视频显示子模块的屏幕显示报警，通过通信子模块的远程报警和求救，以及通过通信子模块通知指定的1个或多个视频分析处理模块进行声、光报警；基于多摄像头数据融合的船舶监测与预警服务模块并根据基于多摄像头数据融合所感知到的环境信息可以为船舶驾驶人员提供可视化数字环境，辅助驾驶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910217354.4A CN109831655B (zh) | 2019-03-21 | 2019-03-21 | 基于多摄像头数据融合的船舶环境感知与预警*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910217354.4A CN109831655B (zh) | 2019-03-21 | 2019-03-21 | 基于多摄像头数据融合的船舶环境感知与预警*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109831655A CN109831655A (zh) | 2019-05-31 |
| CN109831655B true CN109831655B (zh) | 2021-02-02 |
Family
ID=66871051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910217354.4A Active CN109831655B (zh) | 2019-03-21 | 2019-03-21 | 基于多摄像头数据融合的船舶环境感知与预警*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109831655B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112261312A (zh) * | 2020-10-26 | 2021-01-22 | 武汉理工大学 | 一种基于航行眼的自适应瞭望*** |
| CN112200175B (zh) * | 2020-12-09 | 2021-02-23 | 思创数码科技股份有限公司 | 船舶密度观测方法、***、可读存储介质及计算机设备 |
| CN113705502A (zh) * | 2021-09-02 | 2021-11-26 | 浙江索思科技有限公司 | 一种融合目标检测和目标跟踪的船舶目标行为理解*** |
| CN114692700B (zh) * | 2022-05-30 | 2022-08-19 | 中天电力光缆有限公司 | 一种基于海缆的海洋环境感知检测方法、装置及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101210327B1 (ko) * | 2012-06-19 | 2012-12-11 | 대한민국(해양경찰청장) | 지능형 선박용 경보 시스템 |
| CN104071311A (zh) * | 2014-07-15 | 2014-10-01 | 无锡北斗星通信息科技有限公司 | 一种船舶预警方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101214851B (zh) * | 2008-01-10 | 2010-12-01 | 黄席樾 | 船舶行驶智能型全天候主动安全预警***及其预警方法 |
| US10706336B2 (en) * | 2017-03-17 | 2020-07-07 | Nec Corporation | Recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
| CN107886462A (zh) * | 2017-11-29 | 2018-04-06 | 湖北双可智能工程有限公司 | 一种二维三维一体化的数字航道综合管理平台 |
| CN108227606B (zh) * | 2018-01-29 | 2020-12-08 | 李颖 | 一种基于多源感知的船舶安防智能管理*** |
| CN108873799B (zh) * | 2018-06-29 | 2021-07-27 | 南京海联智能科技有限公司 | 船载智能驾驶辅助终端 |
| CN108845314A (zh) * | 2018-09-18 | 2018-11-20 | 合肥芯福传感器技术有限公司 | 一种多模式目标探测方法及*** |
-
2019
- 2019-03-21 CN CN201910217354.4A patent/CN109831655B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101210327B1 (ko) * | 2012-06-19 | 2012-12-11 | 대한민국(해양경찰청장) | 지능형 선박용 경보 시스템 |
| CN104071311A (zh) * | 2014-07-15 | 2014-10-01 | 无锡北斗星通信息科技有限公司 | 一种船舶预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109831655A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109831655B (zh) | 基于多摄像头数据融合的船舶环境感知与预警*** | |
| US11620835B2 (en) | Obstacle recognition method and apparatus, storage medium, and electronic device | |
| CN109444911B (zh) | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 | |
| CN109664301B (zh) | 巡检方法、装置、设备及计算机可读存储介质 | |
| US20210223046A1 (en) | Method and device for extracting key frames in simultaneous localization and mapping and smart device | |
| CN109931909B (zh) | 一种基于无人机的海上风机塔柱状态巡检方法和装置 | |
| CN110580044A (zh) | 基于智能感知的无人船全自动航行异构*** | |
| CN111524392B (zh) | 一种辅助智能船舶远程驾驶的综合*** | |
| CN113743391A (zh) | 应用于低速自主驾驶机器人的三维障碍物检测***与方法 | |
| CN113085896B (zh) | 一种现代有轨清洁车辅助自动驾驶***及方法 | |
| CN214520204U (zh) | 一种基于深度相机和激光雷达的港区智能巡检机器人 | |
| CN109002800A (zh) | 基于多传感器融合的三维目标实时识别机构及识别方法 | |
| CN104700385A (zh) | 基于fpga实现的双目视觉定位装置 | |
| CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
| CN105516661B (zh) | 鱼眼相机与ptz相机相结合的主从目标监控方法 | |
| CN115876198A (zh) | 基于数据融合的目标检测及预警方法、设备、***和介质 | |
| CN111640177A (zh) | 一种基于水下声呐探测的三维建模方法及无人潜水器 | |
| US20130100281A1 (en) | Method, System and Computer Program Product for Detecting an Obstacle with a Camera | |
| CN112461213B (zh) | 一种多模态波浪监测装置及监测方法 | |
| CN113255560A (zh) | 基于图像与激光数据的自动驾驶场景下的目标检测*** | |
| CN111652276B (zh) | 一种全天候便携式多功能仿生定位定姿观瞄***及方法 | |
| CN109568093A (zh) | 一种步行安全综合管理***及方法 | |
| CN109061651A (zh) | 一种水下探测器控制*** | |
| Fan et al. | Structured light vision based pipeline tracking and 3D reconstruction method for underwater vehicle | |
| CN113947141B (zh) | 一种城市路口场景的路侧灯塔感知*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |