CN111862389B - 一种智能航行感知及增强现实可视化*** - Google Patents

一种智能航行感知及增强现实可视化*** Download PDF

Info

Publication number
CN111862389B
CN111862389B CN202010702462.3A CN202010702462A CN111862389B CN 111862389 B CN111862389 B CN 111862389B CN 202010702462 A CN202010702462 A CN 202010702462A CN 111862389 B CN111862389 B CN 111862389B
Authority
CN
China
Prior art keywords
data
ship
module
environment sensing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010702462.3A
Other languages
English (en)
Other versions
CN111862389A (zh
Inventor
马勇
邱倩倩
赵玉蛟
李�昊
毛晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010702462.3A priority Critical patent/CN111862389B/zh
Publication of CN111862389A publication Critical patent/CN111862389A/zh
Application granted granted Critical
Publication of CN111862389B publication Critical patent/CN111862389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B34/00—Vessels specially adapted for water sports or leisure; Body-supporting devices specially adapted for water sports or leisure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B79/00—Monitoring properties or operating parameters of vessels in operation
    • B63B79/10—Monitoring properties or operating parameters of vessels in operation using sensors, e.g. pressure sensors, strain gauges or accelerometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0833—Indicating performance data, e.g. occurrence of a malfunction using audio means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Ocean & Marine Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种智能航行感知及增强现实可视化***，属于智能船舶领域，包括：船舶外部环境感知模块、船舶内部环境感知模块、数据处理及存储模块、数据展示模块、信息输入/输出接口。船舶外部环境感知模块用于获取水面交通情况、气象条件以及船舶航行方位，船舶内部环境感知模块用于检测船舶航行状态、船体状况以及燃油等，数据处理及存储模块可对船舶外部环境感知模块和船舶内部环境感知模块所获取的数据进行有机融合并存储，数据展示模块可以在增强现实显示模块中生动直观的展示相关内容，对船舶进行全方位监控为智能船舶控制***提供数据支持，可以实现船舶航行环境信息获取、船舶航行状态信息获取、感知数据融合及存储、辅助决策等功能。

Description

一种智能航行感知及增强现实可视化***
技术领域
本发明属于智能船舶领域，更具体地，涉及一种智能航行感知及增强现实可视化***。
背景技术
目前，游轮游客数量持续上升，游客日趋年轻化，游轮承载能力实现新突破，航行目的地多元化，导致游轮的安全隐患问题突出。
随着自动化理论和人工智能技术的发展，船舶智能化被视为未来用于改善水路运输的一项重要举措。智能船舶要求对周围态势进行全面感知，并基于感知信息及时作出相应地有效的操作保障航行安全。智能化船舶全面感知技术的发展为游轮智能化带来便利。智能航行感知及可视化***结合不同类型的传感器，全面感知船舶航行外部环境和船舶内部状态，实时提供可视化信息，为船舶驾驶及管理人员提供参考，辅助决策，为船舶航行和船载设备运行提供安全保障，有利于提高船员警戒性，保障安全效益，避免水上交通事故的发生。
因此，如何实现智能航行感知及增强现实可视化***是目前亟需解决的技术难题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种智能航行感知及增强现实可视化***，可以实现船舶航行环境信息获取、船舶航行状态信息获取、感知数据融合及存储、辅助决策等功能。
为实现上述目的，本发明提供了一种智能航行感知及增强现实可视化***，包括：船舶外部环境感知模块、船舶内部环境感知模块、数据处理及存储模块、数据展示模块和信息输入/输出接口；
所述船舶外部环境感知模块用于获取水面交通情况、气象条件以及船舶航行方位，以实时感知船舶航行环境信息；
所述船舶内部环境感知模块用于检测船舶航行状态、船体状况以及燃油，以实时获取船舶航行状态信息；
所述数据处理及存储模块用于对所述船舶外部环境感知模块及所述船舶内部环境感知模块所获取的数据进行融合并存储；
所述数据展示模块用于通过增强现实展示模块和显示屏幕展示相关数据，对船舶进行全方位监控；
所述信息输入/输出接口为通用输入/输出接口，用于数据的导出。
优选地，所述船舶外部环境感知模块包括电子海图信息与显示***、电子定位仪、电罗经、航海雷达、测深仪、风速风向仪及能见度传感器；所述船舶内部环境感知模块包括燃油电子计量装置、电子倾斜仪、船舶吃水测量设备及航速航程测量装置。
优选地，所述数据处理及存储模块包括外部数据处理模块、内部数据处理模块、数据融合模块及数据存储模块；
所述外部数据处理模块用于处理所述船舶外部环境感知模块中的传感器数据；
所述内部数据处理模块用于处理所述船舶内部环境感知模块中的传感器数据；
所述数据融合模块用于对所述外部数据处理模块及所述内部数据处理模块处理后的外部数据和内部数据进行融合；
所述数据存储模块用于存储融合后的数据。
优选地，所述外部数据处理模块用于对所述船舶外部环境感知模块中的各传感器数据分别设置阈值，并在某一数据超过其对应的阈值时，发出视觉和/或听觉报警信号；
所述内部数据处理模块用于对所述船舶内部环境感知模块中的各传感器数据分别设置阈值，并在某一数据超过其对应的阈值时，发出视觉和/或听觉报警信号。
优选地，所述数据融合模块，用于对所述船舶外部环境感知模块及所述船舶内部环境感知模块获取的数据按照预设格式进行融合，并将融合后的数据通过所述数据存储模块进行存储。
优选地，所述数据存储模块以时间-坐标-航向-水深-风速-风向-能见度-燃油量-船舶姿态-吃水-航速-航程-雷达探测范围-雷达探测目标信息的格式存储感知数据。
优选地，所述信息输入/输出接口，用于接收用户输入的数据调取指令，以时间-信息的格式从所述数据存储模块中提取所述数据调取指令指示的数据，并通过所述数据展示模块对提取出的数据进行展示。
优选地，所述数据展示模块用于在增强现实展示模块中展示船舶航行时附近障碍物信息和对船舶航行安全产生影响的信息，在显示屏幕上显示电子海图及其他暂时不重要的数据。
优选地，所述增强现实展示模块用于展示警告信息，若存在数据超过安全阈值，则展示针对性报警信息。
优选地，所述增强现实展示模块对雷达探测数据建立图形化模型，在增强现实展示模块中实时显示船舶航行时附近的障碍物信息及船舶自身的姿态信息。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
该***可以实时监测船舶航行环境信息和船舶自身状态信息，并且将多种类型的传感器数据进行融合和可视化呈现，提高船舶驾驶人员警戒性，降低水上交通事故发生率，为游轮航行安全提供支持。
附图说明
图1是本发明实施例提供的一种智能航行感知及增强现实可视化***的结构示意图；
图2是本发明实施例提供的一种增强现实显示模块正常状态及警告状态图；
图3是本发明实施例提供的一种船舶增强现实可视化效果图；
图4是本发明实施例提供的一种采用深度神经网络进行融合示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
如图1所示是本发明实施例提供的一种智能航行感知及增强现实可视化***的结构示意图，包括：船舶外部环境感知模块、船舶内部环境感知模块、数据处理及存储模块、数据展示模块和信息输入/输出接口，可以实现船舶航行环境信息获取、船舶航行状态信息获取、感知数据融合及存储、辅助决策等功能；
船舶外部环境感知模块用于获取水面交通情况、气象条件以及船舶航行方位，实时感知船舶航行环境信息，避免发生水上交通事故；
船舶内部环境感知模块用于检测船舶航行状态、船体状况以及燃油等，实时获取船舶航行状态信息，避免出现船舶运行故障，全面保障游轮航行安全；
数据处理及存储模块可对船舶外部环境感知模块和船舶内部环境感知模块所获取的数据进行融合并存储；
数据展示模块包括增强现实展示模块和显示屏幕，增强现实展示模块可以显示感知模块获取的数据，方便驾驶人员在保持瞭望的同时又可以及时了解船舶航行的各种数据，同时实时展示船舶航行时的障碍物信息和船舶自身姿态信息，有效避免因错过最佳处理时机而发生的事故，显示屏幕用于展示电子海图及显示相关内容，便于船舶驾驶及管理人员对船舶进行全方位监控，及时发现问题；
信息输入/输出接口，采用通用输入/输出接口，用于历史数据导入及数据的导出备份。
进一步地，船舶外部环境感知模块包括电子海图信息与显示***、电子定位仪、电罗经、航海雷达、测深仪、风速风向仪及能见度传感器等。
作为一种优选的实施方式，船舶外部环境感知模块可以包括2套电子海图信息与显示***、2个电子定位仪、2个电罗经、2个航海雷达、1个测深仪、1个风速风向仪、1个能见度传感器。
进一步地，船舶内部环境感知模块包括燃油电子计量装置、电子倾斜仪、船舶吃水测量设备、航速和航程测量装置等。
作为一种优选的实施方式，船舶内部环境感知模块包括1个燃油电子计量装置、2个电子倾斜仪、6个船舶吃水测量设备、1套航速和航程测量装置。
进一步地，数据处理及存储模块包括外部数据处理模块、内部数据处理模块、数据融合模块及数据存储模块；
外部数据处理模块用于处理船舶外部环境感知模块中的传感器数据；
内部数据处理模块用于处理船舶内部环境感知模块中的传感器数据；
数据融合模块用于对外部数据处理模块及内部数据处理模块处理后的外部数据和内部数据进行融合；
在本发明实施例中，采用深度神经网络用于数据融合，该网络可以整合多种不同的高维异构模态的数据信息，有效揭示数据之间的内在关系，并且利用L1、L2正则来稀疏化样本中的强噪声，得到精确的多源感知数据。
该深度神经网络基于深度自动编码机结构，由子网络、数据融合层、数据表征层、隐藏层和数据稀疏层五部分组成，每个子网络负责对传感器输入的不同模态数据提取高层抽象表征，同时考虑不同模态的复杂程度不同，设计的子神经网络结构也不同；数据融合层寻找不同数据模态之间的联系，用于融合每个子网络最上层抽取得到的一组精炼高层抽象特征。子网络和数据融合层构成根部网络，做根部网络训练时，整个训练分为两个阶段：无监督独立模态预训练阶段与有监督多模态联合感知阶段。无监督独立模态训练阶段中，训练每一个隐藏层时，对于当前的观测数据作为输入x，在隐藏层经权值矩阵W1和映射函数
Figure GDA0003822870010000061
做线性变换，将其编码映射得到隐含特征表达
Figure GDA0003822870010000062
再根据其特征表达可以重建原始数据的特点，解码阶段经权值矩阵w2和映射函数
Figure GDA0003822870010000063
得到重构输入
Figure GDA0003822870010000064
则优化目标即为原始输入与重构输入的重构误差：
Figure GDA0003822870010000065
完成独立模态的预训练之后，需要对整个网络进行多模态联合感知过程。如图4所示数据融合层与所有模态所属的子网络之间以权值连接，预测过程中与完成预训练的子网络同时进行参数调整。为了从不同模态的原始数据中抽取得到结构相同的模态无关特征，在训练过程中令权值连接共享同一个权值T。微调阶段，定义hm为第m个模态的最上层的神经元，使用反向传播算法对模型做优化训练。定义损失函数为：
Figure GDA0003822870010000066
Figure GDA0003822870010000067
其中，m表示模态的数量，N表示训练样本的数量，y(i)表示样本x(i)的状态真实值，例如：航行速度、相对距离等状态真实值，hm表示第m个模态的最上层的神经元，
Figure GDA0003822870010000068
为模型对状态的预测值。broot表示偏置向量，Ti表示权值矩阵T的第i行向量。在整体网络的微调过程中，轮流迭代调整各个子网络的参数。每次只调整一个子网络的参数，固定其他子网络的参数，权值更新完成之后调整下一个模态所属网络直至所有模态都得到调整。数据融合层仅用于根部网络的联合微调，在网络训练完成后该层就将被取消。
而数据表征层、隐藏层和数据稀疏层构成上部网络，其中数据表征层接受根部网络的输入，经隐藏层后投影到低维特征空间，之后稀疏层将无监督信息和监督信息联合用于权值W的参数优化，以去除噪声与冗余而得到相关物理量，然后，通过分类器进行分类，得到所需的准确数据，最终实现基于深度学习的多模态数据处理。在训练顶部的三层网络时，将最终损失函数定义为：
Figure GDA0003822870010000071
Figure GDA0003822870010000072
Figure GDA0003822870010000073
整个损失函数分为三个部分：有监督判别损失Ldiss，无监督生成损失Lgen和正则项，β为系数。最小化均方损失使得最后提取出的多模态融合特征具有较强的判别能力。另一方面，抽取得到的融合特征在保留较强判别能力的同时也需要有较强的生成能力。生成损失用于度量输入x'与输出
Figure GDA0003822870010000074
之间重构损失较小的重构误差意味着抽取得到的融合特征保留了较多的原始信息。重构损失
Figure GDA0003822870010000075
定义为：
Figure GDA0003822870010000076
S(·)表示sigmoid函数，b和b'为偏置项。
为了避免模型过拟合，同时平滑模型参数，引入了L1、L2两项正则项，稀疏化权值参数W。这种防止过拟合的方法可以消除传感器观测数据的噪声对状态真实值的影响。从而得到精准的场景状态数据。
数据存储模块用于存储融合后的数据。
进一步地，外部数据处理模块用于对船舶外部环境感知模块中的各传感器数据分别设置阈值，并在某一数据超过其对应的阈值时，发出视觉和/或听觉报警信号；
内部数据处理模块用于对船舶内部环境感知模块中的各传感器数据分别设置阈值，并在某一数据超过其对应的阈值时，发出视觉和/或听觉报警信号。
在本发明实施例中，阈值可以根据各传感器获取的数据类型确定。
进一步地，数据融合模块，用于对船舶外部环境感知模块及船舶内部环境感知模块获取的数据按照预设格式进行融合，并将融合后的数据通过数据存储模块进行存储。
进一步地，数据存储模块以“时间-坐标-航向-水深-风速-风向-能见度-燃油量-船舶姿态-吃水-航速-航程-雷达探测范围-雷达探测目标信息”的格式存储感知数据。
进一步地，外部数据处理模块及内部数据处理模块可以“时间-信息”的格式单独对某一变量进行分析，包括所有雷达探测目标的运动、风速风向变化、能见度变化、船舶姿态变化及燃油量变化等，进而可分析船舶操纵行为、船舶性能变化、能耗情况及气象变化等信息。
进一步地，外部数据处理模块及内部数据处理模块可对不同变量设置阈值，判断不同类型数据是否超过阈值，当船舶面临航行速度过大、气象条件恶劣、搁浅、燃油不足及存在碰撞风险等情况时，发出视觉、听觉报警信号。
进一步地，如果有数据超过安全阈值，则数据展示模块将获取该数据，并在增强现实显示模块中展示警告信息。
进一步地，输入/输出接口采用有线方式连接船舶外部环境感知模块和船舶内部环境感知模块中的传感器。
进一步地，信息输入/输出接口支持历史数据的导入/导出，以及外部数据的导入/导出。
进一步地，数据展示模块可在增强现实展示模块中展示船舶航行时附近障碍物信息和对船舶航行安全影响较大的信息，在显示屏幕上显示电子海图及其他暂时不重要的数据。
进一步地，增强现实显示模块可用于展示警告信息，如果有数据超过安全阈值，可展示针对性报警信息。
进一步地，增强现实展示模块可对雷达探测数据建立图形化模型，在增强现实展示模块中实时显示船舶航行时附近的障碍物信息及船舶自身的姿态信息。
在本发明实施例中，该***运行包括以下步骤：船舶外部环境感知模块感知船舶航行环境信息，将信息导入外部数据处理模块；船舶内部环境感知模块感知船舶航行状态信息，将信息导入内部数据处理模块；数据融合模块将数据进行融合，然后将数据存储到数据存储模块中；无用户操作时，外部数据处理模块及内部数据处理模块从数据存储模块中提取最新存入的数据，判断环境中的风速、能见度、水深、障碍物距离等数据是否超过阈值，若有数据超过阈值，则通过视觉和听觉方式发出报警信号；有用户操作时，则根据用户的需求，信息输入/输出接口从数据存储模块中提取相应的信息；将数据传输给数据展示模块，数据展示模块将按数据类型及情况紧急程度选择不同的展示方式，若情况紧急，则在通过增强现实显示模块上显示紧急报警信息，否则，将按照信息重要程度选取部分数据展示，其他数据则在显示屏上呈现。
实施例二
如图1所示，该***包括船舶外部环境感知模块、船舶内部环境感知模块、数据处理及存储模块、数据展示模块和信息输入/输出接口；
船舶外部环境感知模块包括电子海图信息与显示***、电子定位仪、电罗经、航海雷达、测深仪、风速风向仪、能见度传感器；
船舶内部环境感知模块包括燃油电子计量装置、电子倾斜仪、船舶吃水测量设备、航速和航程测量装置；
数据处理及存储模块分为外部数据处理模块和内部数据处理模块，可对船舶外部环境感知模块和船舶内部环境感知模块所获取的数据进行融合并存储；
如图2所示，数据展示模块可在增强现实展示模块中展示船舶航行时附近障碍物信息和对船舶航行安全影响较大的信息及相关警示信号，在显示屏幕上显示电子海图及其他暂时不重要的数据。
在本发明实施例中，电子海图信息与显示***和航速和航程测量装置置于船舶驾驶舱内，风速风向仪、能见度传感器、电子定位仪、电罗经、航海雷达置于甲板之上，测深仪置于船艏底部，燃油电子计量装置置于储油舱内，电子倾斜仪置于船舯，船舶吃水测量设备分别于船艏、船舯、船艉左右舷各放置一个。
数据融合模块每隔一定周期，从数据存储模块中提取最新存储的数据，判断数据量是否超出正常范围，若数据超出正常范围，则在通过视觉和听觉信号报警，警示船舶驾驶人员做出相应的防备。
如图3所示，数据展示模块中的增强现实展示设备以三维视觉形式展示船舶姿态，同时可将雷达探测到的船舶周围的障碍物一同展示出来，同时还可以显示船舶航行时的速度、风速风向、燃油量等信息，并根据数据是否超出阈值情况，显示其他报警信号。显示屏幕显示电子海图、能见度、坐标、航向、时间、水深、吃水、航程等数据。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种智能航行感知及增强现实可视化***，其特征在于，包括：船舶外部环境感知模块、船舶内部环境感知模块、数据处理及存储模块、数据展示模块和信息输入/输出接口；
所述船舶外部环境感知模块用于获取水面交通情况、气象条件以及船舶航行方位，以实时感知船舶航行环境信息；
所述船舶内部环境感知模块用于检测船舶航行状态、船体状况以及燃油，以实时获取船舶航行状态信息；
所述数据处理及存储模块用于对所述船舶外部环境感知模块及所述船舶内部环境感知模块所获取的数据进行融合并存储；
所述数据展示模块用于通过增强现实展示模块和显示屏幕展示相关数据，对船舶进行全方位监控；
所述信息输入/输出接口为通用输入/输出接口，用于数据的导出；
所述数据处理及存储模块包括外部数据处理模块、内部数据处理模块、数据融合模块及数据存储模块；
所述外部数据处理模块用于处理所述船舶外部环境感知模块中的传感器数据；所述内部数据处理模块用于处理所述船舶内部环境感知模块中的传感器数据；所述数据融合模块用于对所述外部数据处理模块及所述内部数据处理模块处理后的外部数据和内部数据进行融合；
所述数据融合模块采用深度神经网络用于数据融合，所述深度神经网络由子网络、数据融合层、数据表征层、隐藏层和数据稀疏层五部分组成，每个所述子网络负责对传感器输入的不同模态数据提取高层抽象表征；所述数据融合层寻找不同数据模态之间的联系，用于融合每个所述子网络最上层抽取得到的一组精炼高层抽象特征，子网络和数据融合层构成根部网络，数据表征层、隐藏层和数据稀疏层构成上部网络，所述数据融合层与所有模态所属的子网络之间以权值连接，所述数据表征层接受所述子网络和数据融合层的输入，经所述隐藏层后投影到低维特征空间，之后所述稀疏层将无监督信息和监督信息联合用于权值W的参数优化，以去除噪声与冗余而得到相关物理量，然后，通过分类器进行分类，得到所需的准确数据，最终实现基于深度学习的多模态数据处理，其中，在训练上部网络，将最终损失函数定义为：
Figure FDA0003835181600000021
Ldiss为有监督判别损失，Lgen为无监督生成损失，β为系数，
Figure FDA0003835181600000022
Figure FDA0003835181600000023
m表示模态的数量，N表示训练样本的数量，y(i)表示样本的状态真实值，
Figure FDA0003835181600000024
为模型对状态的预测值，
Figure FDA0003835181600000025
hm为第m个模态的最上层的神经元，Ti表示权值矩阵T的第i行向量，broot表示偏置向量，x'(i)为重构输入，
Figure FDA0003835181600000026
h为在隐藏层经权值矩阵W1和映射函数
Figure FDA0003835181600000027
做线性变换，将输入数据x编码映射得到隐含层的特征表达，
Figure FDA0003835181600000028
w2表示解码阶段的权值矩阵，
Figure FDA0003835181600000029
为解码阶段的映射函数，生成损失用于度量输入x'与输出
Figure FDA00038351816000000210
之间重构损失较小的重构误差意味着抽取得到的融合特征保留了较多的原始信息，重构损失
Figure FDA00038351816000000211
定义为：
Figure FDA00038351816000000212
s(·)表示sigmoid函数，b和b'为偏置项，W为权值参数；
所述数据存储模块将融合后的数据以时间-坐标-航向-水深-风速-风向-能见度-燃油量-船舶姿态-吃水-航速-航程-雷达探测范围-雷达探测目标信息的格式存储感知数据；
所述增强现实展示模块建立图形化模型，在增强现实展示模块中实时显示船舶航行时附近的障碍物信息及船舶自身的姿态信息。
2.根据权利要求1所述的***，其特征在于，所述船舶外部环境感知模块包括电子海图信息与显示***、电子定位仪、电罗经、航海雷达、测深仪、风速风向仪及能见度传感器；所述船舶内部环境感知模块包括燃油电子计量装置、电子倾斜仪、船舶吃水测量设备及航速航程测量装置。
3.根据权利要求2所述的***，其特征在于，所述外部数据处理模块用于对所述船舶外部环境感知模块中的各传感器数据分别设置阈值，并在某一数据超过其对应的阈值时，发出视觉和/或听觉报警信号；
所述内部数据处理模块用于对所述船舶内部环境感知模块中的各传感器数据分别设置阈值，并在某一数据超过其对应的阈值时，发出视觉和/或听觉报警信号。
4.根据权利要求3所述的***，其特征在于，所述数据融合模块，用于对所述船舶外部环境感知模块及所述船舶内部环境感知模块获取的数据按照预设格式进行融合，并将融合后的数据通过所述数据存储模块进行存储。
5.根据权利要求4所述的***，其特征在于，所述信息输入/输出接口，用于接收用户输入的数据调取指令，以时间-信息的格式从所述数据存储模块中提取所述数据调取指令指示的数据，并通过所述数据展示模块对提取出的数据进行展示。
6.根据权利要求1所述的***，其特征在于，所述数据展示模块用于在增强现实展示模块中展示船舶航行时附近障碍物信息和对船舶航行安全产生影响的信息，在显示屏幕上显示电子海图及其他暂时不重要的数据。
7.根据权利要求6所述的***，其特征在于，所述增强现实展示模块用于展示警告信息，若存在数据超过安全阈值，则展示针对性报警信息。
CN202010702462.3A 2020-07-21 2020-07-21 一种智能航行感知及增强现实可视化*** Active CN111862389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010702462.3A CN111862389B (zh) 2020-07-21 2020-07-21 一种智能航行感知及增强现实可视化***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010702462.3A CN111862389B (zh) 2020-07-21 2020-07-21 一种智能航行感知及增强现实可视化***

Publications (2)

Publication Number Publication Date
CN111862389A CN111862389A (zh) 2020-10-30
CN111862389B true CN111862389B (zh) 2022-10-21

Family

ID=73001280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010702462.3A Active CN111862389B (zh) 2020-07-21 2020-07-21 一种智能航行感知及增强现实可视化***

Country Status (1)

Country Link
CN (1) CN111862389B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113942623A (zh) * 2021-09-18 2022-01-18 武汉理工大学 一种智慧航行平台和航行方法
CN116125996B (zh) * 2023-04-04 2023-06-27 北京千种幻影科技有限公司 一种无人驾驶车辆的安全监控方法及***
CN117818851B (zh) * 2024-03-04 2024-05-24 成都锦城学院 一种船舶监测***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012277A2 (ko) * 2011-07-21 2013-01-24 한국해양연구원 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
CN106970387A (zh) * 2017-04-19 2017-07-21 武汉理工大学 一种基于ais与雷达数据融合的内河航道交通流检测方法
CN108550281A (zh) * 2018-04-13 2018-09-18 武汉理工大学 一种基于视觉ar的船舶辅助驾驶***与方法
CN109725310A (zh) * 2018-11-30 2019-05-07 中船（浙江）海洋科技有限公司 一种基于yolo算法以及岸基雷达***的船舶定位监管***
CN110673600A (zh) * 2019-10-18 2020-01-10 武汉理工大学 面向无人船舶的自动驾驶集成***
CN111025295A (zh) * 2019-11-22 2020-04-17 青岛海狮网络科技有限公司 一种基于岸基雷达的多船协同感知数据融合***及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687583B1 (en) * 1999-12-15 2004-02-03 Yacht Watchman International Vessel monitoring system
CN106327610B (zh) * 2016-08-27 2018-08-14 南通中远海运川崎船舶工程有限公司 一种极地航行智能船舶
CN106372750A (zh) * 2016-08-30 2017-02-01 深圳远航股份有限公司 一种航行管理方法及***
US11312458B2 (en) * 2017-04-25 2022-04-26 Bae Systems Plc Watercraft
CN107749093B (zh) * 2017-09-01 2020-05-05 上海海事大学 一种优化的船舶状态信息数据结构及其传输和记录方法
CN108873799B (zh) * 2018-06-29 2021-07-27 南京海联智能科技有限公司 船载智能驾驶辅助终端
CN109636921A (zh) * 2018-12-17 2019-04-16 武汉理工大学 基于云平台的智能视觉船舶感知***以及数据处理方法
CN210895576U (zh) * 2019-12-27 2020-06-30 江苏恒澄交科信息科技股份有限公司 一种面向内河航运的云端黑匣子船舶航行数据记录***
CN111339229B (zh) * 2020-02-24 2023-04-18 交通运输部水运科学研究所 一种船舶自主航行辅助决策***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012277A2 (ko) * 2011-07-21 2013-01-24 한국해양연구원 투명디스플레이를 이용한 선박용 증강 현실 시스템 및 그 구현 방법
CN106970387A (zh) * 2017-04-19 2017-07-21 武汉理工大学 一种基于ais与雷达数据融合的内河航道交通流检测方法
CN108550281A (zh) * 2018-04-13 2018-09-18 武汉理工大学 一种基于视觉ar的船舶辅助驾驶***与方法
CN109725310A (zh) * 2018-11-30 2019-05-07 中船（浙江）海洋科技有限公司 一种基于yolo算法以及岸基雷达***的船舶定位监管***
CN110673600A (zh) * 2019-10-18 2020-01-10 武汉理工大学 面向无人船舶的自动驾驶集成***
CN111025295A (zh) * 2019-11-22 2020-04-17 青岛海狮网络科技有限公司 一种基于岸基雷达的多船协同感知数据融合***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于PSO的BP神经网络-Markov船舶交通流量预测模型;范庆波，江福才，马全党，马勇;《上海海事大学学报》;20180630;全文 *

Also Published As

Publication number Publication date
CN111862389A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862389B (zh) 一种智能航行感知及增强现实可视化***
CN108873799B (zh) 船载智能驾驶辅助终端
KR102604969B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
US11915594B2 (en) Collision avoidance method and system for marine vessels
Goerlandt et al. A risk-informed ship collision alert system: Framework and application
CN115017246A (zh) 一种面向船舶智能航行的全息航行场景图***和构建方法
CN108897272A (zh) 岸端智能监管***
CN111613094A (zh) 一种港口水域船舶交通风险预警方法
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
US10895802B1 (en) Deep learning and intelligent sensing systems for port operations
Rong et al. Evaluation of near-collisions in the Tagus River Estuary using a marine traffic simulation model
CN111964678A (zh) 一种江河航道航行决策方法、装置及***
CN111240325A (zh) 一种基于航行态势本体建模的无人驾驶船舶场景理解方法
KR20170023534A (ko) 해양 내비게이션 장치 및 항로 제공 방법
CN117232520A (zh) 一种适用于海上航行的船舶智能导航***及导航方法
CN115723919A (zh) 一种船舶偏航的辅助航行方法及装置
KR20240080189A (ko) 거리 측정 방법 및 이를 이용하는 거리 측정 장치
CN115268395A (zh) 一种无人船艇编队自主航行能力测试方法及***
Vagale et al. Evaluation of path planning algorithms of autonomous surface vehicles based on safety and collision risk assessment
Wu et al. An overview of developments and challenges for unmanned surface vehicle autonomous berthing
CN112185171B (zh) 一种融合船舶驾驶员经验的船舶路径规划方法
CN116597693A (zh) 一种内河航运监控***及方法
Wang et al. Complex encounter situation modeling and prediction method for unmanned ships based on bounded rational game
CN115877843A (zh) 基于最优控制的冰区船舶路径规划方法、***和存储介质
CN117111606B (zh) 一种船舶辅助避碰方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Ma Yong

Inventor after: Qiu Qianqian

Inventor after: Zhao Yujiao

Inventor after: Li Hao

Inventor after: Mao Chen

Inventor before: Ma Yong

Inventor before: Mao Chen

Inventor before: Zhao Yujiao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant