CN108557030B - 一种船舶海上运行用监控方法及监控*** - Google Patents

一种船舶海上运行用监控方法及监控*** Download PDF

Info

Publication number
CN108557030B
CN108557030B CN201810217052.2A CN201810217052A CN108557030B CN 108557030 B CN108557030 B CN 108557030B CN 201810217052 A CN201810217052 A CN 201810217052A CN 108557030 B CN108557030 B CN 108557030B
Authority
CN
China
Prior art keywords
ship
driver
module
abnormal
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810217052.2A
Other languages
English (en)
Other versions
CN108557030A (zh
Inventor
张文刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pan Kefei
Original Assignee
Weihai Haian Yacht Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weihai Haian Yacht Manufacturing Co Ltd filed Critical Weihai Haian Yacht Manufacturing Co Ltd
Priority to CN201810217052.2A priority Critical patent/CN108557030B/zh
Publication of CN108557030A publication Critical patent/CN108557030A/zh
Application granted granted Critical
Publication of CN108557030B publication Critical patent/CN108557030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00Arrangements of nautical instruments or navigational aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B45/00Arrangements or adaptations of signalling or lighting devices
    • B63B45/08Arrangements or adaptations of signalling or lighting devices the devices being acoustic
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种船舶海上运行用监控方法,包括下列步骤,第一步,进行船内部人员图像采集、海上环境图像采集、海上风速采集;同时对船的底部离水底面的距离进行采集;第二步,对第一步中船内部采集的图像进行分析处理,判断是否有乘客偏移异常行为或者驾驶员异常行为,同时根据风速和船外部图像进行图像处理,分析出海浪强度等级;第三步,根据海浪强度等级、船的底部离水底面的距离、乘客偏移异常行为和驾驶员异常行为,来判断船体面临的相应危险,发出相应信号并报警;并综合判断是否需要对船体进行检查。监测过程简单,可移植性好,而且能够判断是否需要对船体进行检查,对航海的船体具有很好的管理措施。

Description

一种船舶海上运行用监控方法及监控***
技术领域
本发明涉及船舶安全技术领域,具体为一种船舶海上运行用监控方法及监控***。
背景技术
船舶(boats and ships),各种船只的总称。船舶是能航行或停泊于水域进行运输或作业的交通工具,按不同的使用要求而具有不同的技术性能、装备和结构型式。
船舶是一种主要在地理水中运行的人造交通工具。另外,民用船一般称为船,军用船称为舰,小型船称为艇或舟,其总称为舰船或船艇。内部主要包括容纳空间、支撑结构和排水结构,具有利用外在或自带能源的推进***。外型一般是利于克服流体阻力的流线性包络,材料随着科技进步不断更新,早期为木、竹、麻等自然材料,近代多是钢材以及铝、玻璃纤维、亚克力和各种复合材料。
船舶在海上运行的过程当中,会遇到很多的情况,比如海浪过大,船体倾斜,驾驶员疲劳等,现在出现了很多对海浪监测和船体倾斜的监测设备,能够监测船体是否倾斜或者海浪是否超过预警值,不过在船体监测的手段中,监测过程复杂,而且可移植性差;难判断是否需要对船体进行检查,让船体人员疏于对船体管理,造成难以挽回的损失。
发明内容
针对以上问题,本发明提供了一种船舶海上运行用监控方法及监控***,监测过程简单,可移植性好,而且能够判断是否需要对船体进行检查,对航海的船体具有很好的管理措施,可以有效解决背景技术中的问题。
为实现上述目的,本发明提供如下技术方案:一种船舶海上运行用监控方法,包括下列步骤:
第一步,进行船内部人员图像采集、海上环境图像采集、海上风速采集;同时对船的底部离水底面的距离进行采集;
第二步,对第一步中船内部采集的图像进行分析处理,判断是否有乘客偏移异常行为或者驾驶员异常行为,同时根据风速和船外部图像进行图像处理,分析出海浪强度等级;
第三步,根据海浪强度等级、船的底部离水底面的距离、乘客偏移异常行为和驾驶员异常行为,来判断船体面临的相应危险,发出相应信号并报警;并综合判断是否需要对船体进行检查;运行过程中实时将乘客偏移异常行为、驾驶员异常行为、海浪强度等级和船的底部离水底面的距离信息传输到驾驶室和船舶信息管理中心。
作为本发明一种优选的技术方案,船内部图像采集包括对船内的驾驶员面部状态、船内的驾驶员运动状态和乘客的运动状态进行图像采集,船外部海上环境图像采集包括对海面海浪进行拍摄。
作为本发明一种优选的技术方案,第二步中对船内部乘客运动状态的分析算法采用光流法对特征点的检测和追踪,根据相邻帧图像中特征点个数来确定人员数,同时设定时间阈值、偏移阈值、速度阈值,根据多个连续相邻帧之间的特征点运动状态和运动时间对船内乘客运动状态进行分析,当出现连续相邻帧之间超过一定比例特征点的运动位置连续向一边的偏移量大于设定偏移量,该偏移量的运行时间小于设定时间阈值,同时偏移速度超过设定速度阈值,则判断人员出现乘客偏移异常运动;
利用高斯混合模型获取当前处理帧的背景;将当前处理帧减去所述背景获得前景图像,对这些前景图像进行二值化,并利用数学形态方法对前景图像进行去噪声处理;利用膨胀和腐蚀对图像进行处理,每个相邻帧的特征点之间相隔距离除以相邻帧的图像时间即为该特征点的运动速度,图像中超过一半以上的特征点出现的运动速度均超过设定的速度阈值,且超过一半以上的特征点运动的方向持续向一边运动距离超过设定的偏移量,同时超过一半以上的特征点在该偏移量内的时间小于设定的时间阈值,则判断出现偏移异常行为,乘客偏移异常行为和驾驶员偏移异常行为判断标准均以此为基准。
驾驶员异常行为包括驾驶员疲劳行为、驾驶员偏移异常行为,利用摄像头对驾驶员面部图像采集,对摄像头拍摄的驾驶员面部图像进行分析以确定驾驶员的疲劳状态,所述驾驶员的疲劳状态包括极度疲劳、疲劳、亚清醒、清醒、极度清醒五个状态;驾驶员偏移异常行为的监测方法与上述乘客偏移异常行为的监测过程一致;
根据船外部的图像采集到的水面区域视频图像,经过直方图均衡化,对直方图均衡化处理的图像实现傅立叶变换,并计算矩形环内的功率谱能量比,采用分段线性回归的方法,提取矩形环内功率谱能量比曲线的两条特征直线斜率和截距,根据两条特征直线斜率和截距的关系,确定浪级的参数一,在专利申请号为《201210219113.1》的专利一种基于水面波浪图像的浪级监测方法当中公布了该方法,此处不做赘述;同时对风速进行测量,确定参数二,将参数一与参数二进行相加后取平均值,确定海浪等级。
作为本发明一种优选的技术方案,第三步中,当海浪等级超过预设等级阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出海浪危险信号,并发出海浪危险警报;当出现船的底部离水底面的距离小于预设距离阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出触礁危险信号,并发出触礁危险警报;当出现驾驶员疲劳行为时,发出驾驶员疲劳危险信号,并发出驾驶员疲劳危险警报;若出现驾驶员偏移异常行为或者乘客偏移异常行为且海浪等级和底部离水底面的距离均正常,判定需要对船体进行检查,并发出船体需要检查警报。当海浪等级超过预设等级阈值,发出海浪警戒信号,并发出海浪警戒警报;当出现船的底部离水底面的距离小于预设距离阈值,发出触礁警戒信号,并发出触礁警戒警报。
作为本发明一种优选的技术方案,在船内部人员和海上环境进行图像的采集过程中,保持图像采集始终位于平稳状态且对采集的位置可以进行调整。
本发明提供了一种船舶海上运行用监控***:包括
用于采集船内乘客图像信息和船内驾驶员图像信息的船舱内图像采集模块;
用于采集海上水面波浪的海浪图像采集模块;
用于对所述船舱内图像采集模块和海浪图像采集模块进行图像处理分析的图像处理模块;对船舱内图像采集模块的图像进行分析判断是否出现乘客偏移异常行为和驾驶员异常行为;
用于对所述图像处理模块内处理的船舱外图像进行海浪强度信息提取的海浪强度拟合模块;
用于测量风速的风速测量模块;
用于测量船的底部离水底面的距离的换能器组件模块;
用于从图像处理模块、风速测量模块、换能器组件模块、海浪强度拟合模块中获取信息并处理的中央处理器,所述中央处理器根据海浪强度拟合模块和风速测量模块判断海浪强度等级,再由海浪强度等级信号、乘客偏移异常行为和驾驶员异常行为、船的底部离水底面的距离信息来判定船体出现的相应危险信号并判定是否对船体进行检查;
所述中央处理器连接有无线通信模块、报警模块、语音播报模块。
作为本发明一种优选的技术方案,船舱内图像采集模块包括对船内的驾驶员面部状态、船内的驾驶员运动状态和乘客的运动状态进行图像采集,海浪图像采集模块包括对海面海浪进行拍摄。
作为本发明一种优选的技术方案,图像处理模块对船舱内图像采集模块的处理方式为采用光流法对图像中特征点的检测和追踪,根据相邻帧图像中特征点个数来确定人员数,同时设定时间阈值、偏移阈值、速度阈值,根据多个连续相邻帧之间的特征点运动状态和运动时间对船内乘客运动状态进行分析,当出现连续相邻帧之间超过一定比例特征点的运动位置连续向一边的偏移量大于设定偏移量,该偏移量的运行时间小于设定时间阈值,同时偏移速度超过设定速度阈值,则判断人员出现偏移异常运动;
图像处理模块对船舱内图像采集模块采集到的驾驶员图像进行处理分析的过程包括驾驶员疲劳行为、驾驶员偏移异常行为,利用摄像头对驾驶员面部图像采集,对摄像头拍摄的驾驶员面部图像进行分析以确定驾驶员的疲劳状态,所述驾驶员的疲劳状态包括极度疲劳、疲劳、亚清醒、清醒、极度清醒五个状态;驾驶员偏移异常行为的监测方法与上述乘客偏移异常行为的监测过程一致;
图像处理模块根据海浪图像采集模块采集到的该处水面区域的视频图像经过直方图均衡化,利用海浪强度拟合模块对直方图均衡化处理的图像实现傅立叶变换,并计算矩形环内的功率谱能量比,采用分段线性回归的方法,提取矩形环内功率谱能量比曲线的两条特征直线斜率和截距,根据两条特征直线斜率和截距的关系,确定浪级的参数一,同时风速测量模块对风速进行测量,确定参数二,利用中央处理器将参数一与参数二进行相加后取平均值,确定海浪等级。
作为本发明一种优选的技术方案,中央处理器从图像处理模块、风速测量模块、换能器组件模块、海浪强度拟合模块中获取的信息进行处理后,当海浪等级超过预设等级阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出海浪危险信号,利用语音播报模块进行语音播放海浪危险信号语音,并利用报警模块发出海浪危险警报;当船的底部离水底面的距离小于预设距离阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出触礁危险信号,利用语音播报模块进行语音播放触礁危险信号语音,并利用报警模块发出触礁危险警报;当出现驾驶员疲劳行为时,发出驾驶员疲劳危险信号,利用语音播报模块进行语音播放疲劳危险语音,并利用报警模块发出驾驶员疲劳危险警报;若出现驾驶员偏移异常行为或者乘客偏移异常行为且海浪等级和底部离水底面的距离均正常,判定需要对船体进行检查,利用报警模块发出船体需要检查警报,同时中央处理器利用无线通信模块在船体运行过程中实时将乘客偏移异常行为、驾驶员异常行为、海浪强度等级和船的底部离水底面的距离信息传输到驾驶室和船舶信息管理中心,采用定位模块对船体运行的位置进行定位,发送给驾驶室和船舶信息管理中心。
还可以利用热感应红外线检测设备的热感应效应监测驾驶员是否离开驾驶位置,当检测到驾驶舱无人超过一定时间时判定出现驾驶员缺勤行为,将该信息传输给中央处理器,可以控制语音模块进行相应播报。
作为本发明一种优选的技术方案,所述中央处理器通过接受船舶信息管理中心的信号,控制支撑旋转模块对船舱内图像采集模块、海浪图像采集模块进行一定角度的旋转,支撑旋转模块采用步进电机、支撑旋转杆与相应的图像采集模块进行连接,通过控制相应的步进电机转动实现对图像采集模块的转动,转动角度范围为180度角。
使用具有俯仰轴与方位轴的基于步进电机的二自由度船载安防云台作为稳像平台,通过微控制器采集两者的数据并使用卡尔曼滤波器,将两者的数据进行迭代融合,得到更为精确并且抗干扰的云台角度信息;将云台角度数据输入经过增益以及微分优化以后的PD控制器,将控制器输出结果输入到一种新型的非线性步进电机控制器最终得到云台俯仰角的输出信号,***更加稳定快速;通过俯仰角与翻滚角计算得出方位角的修正角度,能够进一步的抑制海浪图像采集模块和船舱内图像采集模块所采集的图像晃动。
与现有技术相比,本发明的有益效果是:
1、监测过程简单,根据图像采集信息来判断船体内和外部环境的情况,可以安装在不同吨位的船体上进行运用,可移植性好;
2、能够判断是否需要对船体进行检查,在船体运行的过程中能够实时判断船体的运行状态,在船体多种异常过程中判定对船体进行检查的情况,及时维护船体安全;
3、对航海的船体具有很好的管理措施,能够根据船体内乘客和驾驶员状态和海上运行的浪级、船底与水底面距离信息,发出相应的警报信号,方便对船体运行中遇到的各种问题进行语音播报。
附图说明
图1为本发明监测***框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
请参阅图1,本发明提供一种技术方案:一种船舶海上运行用监控方法,包括下列步骤:
第一步,进行船内部人员图像采集、海上环境图像采集、海上风速采集;同时对船的底部离水底面的距离进行采集;换能器向水底发射声波,通过测量声波从发射声波到接收水底回波之间时间间隔获得船舶船底到水底的距离值。当水下有石礁时,换能器测量值为船底与石礁距离值。
第二步,对第一步中船内部采集的图像进行分析处理,判断是否有乘客偏移异常行为或者驾驶员异常行为,同时根据风速和船外部图像进行图像处理,分析出海浪强度等级;
第三步,根据海浪强度等级、船的底部离水底面的距离、乘客偏移异常行为和驾驶员异常行为,来判断船体面临的相应危险,发出相应信号并报警;并综合判断是否需要对船体进行检查;运行过程中实时将乘客偏移异常行为、驾驶员异常行为、海浪强度等级和船的底部离水底面的距离信息传输到驾驶室和船舶信息管理中心。
优选的,船内部图像采集包括对船内的驾驶员面部状态、船内的驾驶员运动状态和乘客的运动状态进行图像采集,船外部海上环境图像采集包括对海面海浪进行拍摄。
优选的,第二步中对船内部乘客运动状态的分析算法采用光流法对特征点的检测和追踪,根据相邻帧图像中特征点个数来确定人员数,同时设定时间阈值、偏移阈值、速度阈值,根据多个连续相邻帧之间的特征点运动状态和运动时间对船内乘客运动状态进行分析,当出现连续相邻帧之间超过一定比例特征点的运动位置连续向一边的偏移量大于设定偏移量,该偏移量的运行时间小于设定时间阈值,同时偏移速度超过设定速度阈值,则判断人员出现乘客偏移异常运动;
利用高斯混合模型获取当前处理帧的背景;将当前处理帧减去所述背景获得前景图像,对这些前景图像进行二值化,并利用数学形态方法对前景图像进行去噪声处理;利用膨胀和腐蚀对图像进行处理,每个相邻帧的特征点之间相隔距离除以相邻帧的图像时间即为该特征点的运动速度,图像中超过一半以上的特征点出现的运动速度均超过设定的速度阈值,且超过一半以上的特征点运动的方向持续向一边运动距离超过设定的偏移量,同时超过一半以上的特征点在该偏移量内的时间小于设定的时间阈值,则判断出现偏移异常行为,乘客偏移异常行为和驾驶员偏移异常行为判断标准均以此为基准。
驾驶员异常行为包括驾驶员疲劳行为、驾驶员偏移异常行为,利用摄像头对驾驶员面部图像采集,对摄像头拍摄的驾驶员面部图像进行分析以确定驾驶员的疲劳状态,所述驾驶员的疲劳状态包括极度疲劳、疲劳、亚清醒、清醒、极度清醒五个状态;驾驶员偏移异常行为的监测方法与上述乘客偏移异常行为的监测过程一致;
根据船外部的图像采集到的水面区域视频图像,经过直方图均衡化,对直方图均衡化处理的图像实现傅立叶变换,并计算矩形环内的功率谱能量比,采用分段线性回归的方法,提取矩形环内功率谱能量比曲线的两条特征直线斜率和截距,根据两条特征直线斜率和截距的关系,确定浪级的参数一,在专利申请号为《201210219113.1》的专利一种基于水面波浪图像的浪级监测方法当中公布了该方法,此处不做赘述;同时对风速进行测量,确定参数二,将参数一与参数二进行相加后取平均值,确定海浪等级。
优选的,第三步中,当海浪等级超过预设等级阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出海浪危险信号,并发出海浪危险警报;当出现船的底部离水底面的距离小于预设距离阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出触礁危险信号,并发出触礁危险警报;当出现驾驶员疲劳行为时,发出驾驶员疲劳危险信号,并发出驾驶员疲劳危险警报;若出现驾驶员偏移异常行为或者乘客偏移异常行为且海浪等级和底部离水底面的距离均正常,判定需要对船体进行检查,并发出船体需要检查警报。当海浪等级超过预设等级阈值,发出海浪警戒信号,并发出海浪警戒警报;当出现船的底部离水底面的距离小于预设距离阈值,发出触礁警戒信号,并发出触礁警戒警报。根据相应的警报来反馈到船体上相应的位置,出现检查警报时,如果是船体上人员在做游戏或者有安全活动时,可以解除该警报,同时如果一段时间内反馈信号到达船上,并采取措施后警报依旧,那么无线通信模块发送请求帮助报警信号到驾驶室和船舶信息管理中心请求帮助,无线通信模块采用GPRS移动通信接口、3G移动通信接口或4G移动通信接口中的一种。
优选的,在船内部人员和海上环境进行图像的采集过程中,保持图像采集始终位于平稳状态且对采集的位置可以进行调整,采用旋转电机对图像采集的位置进行旋转,电机为步进电机,利用中央处理器进行控制驱动,中央处理器采用FPGA处理器。
本发明提供了一种船舶海上运行用监控***:包括
用于采集船内乘客图像信息和船内驾驶员图像信息的船舱内图像采集模块;
用于采集海上水面波浪的海浪图像采集模块;
用于对所述船舱内图像采集模块和海浪图像采集模块进行图像处理分析的图像处理模块;所述图像处理模块包括并行的多个DSP处理器进行图像处理,对图像进行并行分析,保证各个图像采集模块的图像分析时间迅速。对船舱内图像采集模块的图像进行分析判断是否出现乘客偏移异常行为和驾驶员异常行为;
用于对所述图像处理模块内处理的船舱外图像进行海浪强度信息提取的海浪强度拟合模块;
用于测量风速的风速测量模块;
用于测量船的底部离水底面的距离的换能器组件模块;
用于对图像处理模块、风速测量模块、换能器组件模块、海浪强度拟合模块进行信息处理的中央处理器,所述中央处理器根据海浪强度拟合模块和风速测量模块判断海浪强度等级,再由强度等级信号、乘客偏移异常行为和驾驶员异常行为、船的底部离水底面的距离信息来判定船体出现的相应危险信号并判定是否对船体进行检查;
所述中央处理器连接有无线通信模块、报警模块、语音播报模块。
优选的,船舱内图像采集模块包括对船内的驾驶员面部状态、船内的驾驶员运动状态和乘客的运动状态进行图像采集,海浪图像采集模块包括对海面海浪进行拍摄。
优选的,图像处理模块对船舱内图像采集模块的处理方式为采用光流法对图像中特征点的检测和追踪,根据相邻帧图像中特征点个数来确定人员数,同时设定时间阈值、偏移阈值、速度阈值,根据多个连续相邻帧之间的特征点运动状态和运动时间对船内乘客运动状态进行分析,当出现连续相邻帧之间超过一定比例特征点的运动位置连续向一边的偏移量大于设定偏移量,该偏移量的运行时间小于设定时间阈值,同时偏移速度超过设定速度阈值,则判断人员出现偏移异常运动;
利用船舶上供电设备对用电模块进行供电。
图像处理模块对船舱内图像采集模块采集到的驾驶员图像进行处理分析的过程包括驾驶员疲劳行为、驾驶员偏移异常行为,利用摄像头对驾驶员面部图像采集,对摄像头拍摄的驾驶员面部图像进行分析以确定驾驶员的疲劳状态,所述驾驶员的疲劳状态包括极度疲劳、疲劳、亚清醒、清醒、极度清醒五个状态;驾驶员偏移异常行为的监测方法与上述乘客偏移异常行为的监测过程一致;
图像处理模块根据海浪图像采集模块采集到的该处水面区域的视频图像经过直方图均衡化,利用海浪强度拟合模块对直方图均衡化处理的图像实现傅立叶变换,并计算矩形环内的功率谱能量比,采用分段线性回归的方法,提取矩形环内功率谱能量比曲线的两条特征直线斜率和截距,根据两条特征直线斜率和截距的关系,确定浪级的参数一,同时风速测量模块对风速进行测量,确定参数二,利用中央处理器将参数一与参数二进行相加后取平均值,确定海浪等级。
优选的,中央处理器从图像处理模块、风速测量模块、换能器组件模块、海浪强度拟合模块中获取的信息进行处理后,当海浪等级超过预设等级阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出海浪危险信号,利用语音播报模块进行语音播放海浪危险信号语音,并利用报警模块发出海浪危险警报;当船的底部离水底面的距离小于预设距离阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出触礁危险信号,利用语音播报模块进行语音播放触礁危险信号语音,并利用报警模块发出触礁危险警报;当出现驾驶员疲劳行为时,发出驾驶员疲劳危险信号,利用语音播报模块进行语音播放疲劳危险语音,并利用报警模块发出驾驶员疲劳危险警报;利用语音播报模块对各种危险信号进行播报,同时利用报警模块对各种危险信号进行报警,辨识度高,能够让船员进行快速分辨是何种危险信号。若出现驾驶员偏移异常行为或者乘客偏移异常行为且海浪等级和底部离水底面的距离均正常,判定需要对船体进行检查,利用报警模块发出船体需要检查警报,同时中央处理器利用无线通信模块在船体运行过程中实时将乘客偏移异常行为、驾驶员异常行为、海浪强度等级和船的底部离水底面的距离信息传输到驾驶室和船舶信息管理中心,采用定位模块对船体运行的位置进行地理位置信息定位,定位采用GPS***、格洛纳斯***、伽利略***或北斗卫星***。发送给驾驶室和船舶信息管理中心确定船舶的地理位置信息。
优选的,所述中央处理器通过接受船舶信息管理中心的信号,控制支撑旋转模块对船舱内图像采集模块、海浪图像采集模块进行一定角度的旋转。
使用具有俯仰轴与方位轴的基于步进电机的二自由度船载安防云台作为稳像平台,通过微控制器采集两者的数据并使用卡尔曼滤波器,将两者的数据进行迭代融合,得到更为精确并且抗干扰的云台角度信息;将云台角度数据输入经过增益以及微分优化以后的PD控制器,将控制器输出结果输入到一种新型的非线性步进电机控制器最终得到云台俯仰角的输出信号,***更加稳定快速;通过俯仰角与翻滚角计算得出方位角的修正角度,能够进一步的抑制海浪图像采集模块和船舱内图像采集模块所采集的图像晃动。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种船舶海上运行用监控方法,其特征在于,包括下列步骤:
第一步,进行船内部人员图像采集、海上环境图像采集、海上风速采集;同时对船的底部离水底面的距离进行采集;
第二步,对第一步中船内部采集的图像进行分析处理,判断是否有乘客偏移异常行为或者驾驶员异常行为,同时根据风速和船外部图像进行图像处理,分析出海浪强度等级;
第三步,根据海浪强度等级、船的底部离水底面的距离、乘客偏移异常行为和驾驶员异常行为,来判断船体面临的相应危险,发出相应信号并报警;并综合判断是否需要对船体进行检查;运行过程中实时将乘客偏移异常行为、驾驶员异常行为、海浪强度等级和船的底部离水底面的距离信息传输到驾驶室和船舶信息管理中心;
若出现驾驶员偏移异常行为或者乘客偏移异常行为且海浪等级和底部离水底面的距离均正常,判定需要对船体进行检查,并发出船体需要检查警报;并对船体进行地理位置实时定位;
在船内部人员和海上环境进行图像的采集过程中,保持图像采集始终位于平稳状态且对采集的位置可以进行调整,采用旋转电机对图像采集的位置进行旋转,电机为步进电机,利用中央处理器进行控制驱动;
每个相邻帧的特征点之间相隔距离除以相邻帧的图像时间即为该特征点的运动速度,图像中超过一半以上的特征点出现的运动速度均超过设定的速度阈值,且超过一半以上的特征点运动的方向持续向一边运动距离超过设定的偏移量,同时超过一半以上的特征点在该偏移量内的时间小于设定的时间阈值,则判断出现偏移异常行为。
2.根据权利要求1所述的一种船舶海上运行用监控方法,其特征在于:船内部图像采集包括对船内的驾驶员面部状态、船内的驾驶员运动状态和乘客的运动状态进行图像采集,船外部海上环境图像采集包括对海面海浪进行拍摄。
3.根据权利要求1或2所述的一种船舶海上运行用监控方法,其特征在于:第二步中对船内部乘客运动状态的分析算法采用光流法对特征点的检测和追踪,根据相邻帧图像中特征点个数来确定人员数,同时设定时间阈值、偏移阈值、速度阈值,根据多个连续相邻帧之间的特征点运动状态和运动时间对船内乘客运动状态进行分析,当出现连续相邻帧之间超过一定比例特征点的运动位置连续向一边的偏移量大于设定偏移量,该偏移量的运行时间小于设定时间阈值,同时偏移速度超过设定速度阈值,则判断人员出现乘客偏移异常运动;
驾驶员异常行为包括驾驶员疲劳行为、驾驶员偏移异常行为,利用摄像头对驾驶员面部图像采集,对摄像头拍摄的驾驶员面部图像进行分析以确定驾驶员的疲劳状态,所述驾驶员的疲劳状态包括极度疲劳、疲劳、亚清醒、清醒、极度清醒五个状态;驾驶员偏移异常行为与乘客偏移异常行为监测方式一致;
根据船外部的摄像头采集到的水面区域视频图像,经过直方图均衡化,对直方图均衡化处理的图像实现傅立叶变换,并计算矩形环内的功率谱能量比,采用分段线性回归的方法,提取矩形环内功率谱能量比曲线的两条特征直线斜率和截距,根据两条特征直线斜率和截距的关系,确定浪级的参数一,同时对风速进行测量,确定参数二,将参数一与参数二进行相加后取平均值,确定海浪等级。
4.根据权利要求3所述的一种船舶海上运行用监控方法,其特征在于:
第三步中,当海浪等级超过预设等级阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出海浪危险信号,并发出海浪危险警报;
当出现船的底部离水底面的距离小于预设距离阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出触礁危险信号,并发出触礁危险警报;
当出现驾驶员疲劳行为时,发出驾驶员疲劳危险信号,并发出驾驶员疲劳危险或者驾驶员缺勤危险警报;
若出现驾驶员偏移异常行为或者乘客偏移异常行为且海浪等级和底部离水底面的距离均正常,判定需要对船体进行检查,并发出船体需要检查警报;并对船体进行地理位置实时定位;
上述危险警报各不干扰,循环播报。
5.一种船舶海上运行用监控***,其特征在于:包括
用于采集船内乘客图像信息和船内驾驶员图像信息的船舱内图像采集模块;
用于采集海上水面波浪的海浪图像采集模块;
用于对所述船舱内图像采集模块和海浪图像采集模块进行图像处理分析的图像处理模块,对船舱内图像采集模块的图像进行分析判断是否出现乘客偏移异常行为和驾驶员异常行为;
用于对所述图像处理模块内处理的船舱外图像进行海浪强度信息提取的海浪强度拟合模块;
用于测量风速的风速测量模块;
用于测量船的底部离水底面的距离的换能器组件模块;
用于从图像处理模块、风速测量模块、换能器组件模块、海浪强度拟合模块中获取的信息进行处理的中央处理器,所述中央处理器根据海浪强度拟合模块和风速测量模块判断海浪强度等级,再由海浪强度等级信号、乘客偏移异常行为、驾驶员异常行为、船的底部离水底面的距离信息来判定船体出现的相应危险信号并判定是否对船体进行检查;
所述中央处理器连接有无线通信模块、报警模块、语音播报模块。
6.根据权利要求5所述的一种船舶海上运行用监控***,其特征在于:船舱内图像采集模块包括对船内的驾驶员面部状态、船内的驾驶员运动状态和乘客的运动状态进行图像采集,海浪图像采集模块包括对海面海浪进行拍摄。
7.根据权利要求6所述的一种船舶海上运行用监控***,其特征在于:图像处理模块对船舱内图像采集模块的处理方式为采用光流法对图像中特征点的检测和追踪,根据相邻帧图像中特征点个数来确定人员数,同时设定时间阈值、偏移阈值、速度阈值,根据多个连续相邻帧之间的特征点运动状态和运动时间对船内乘客运动状态进行分析,当出现连续相邻帧之间超过一定比例特征点的运动位置连续向一边的偏移量大于设定偏移量,该偏移量的运行时间小于设定时间阈值,同时偏移速度超过设定速度阈值,则判断出现乘客偏移异常运动;
图像处理模块对船舱内图像采集模块采集到的驾驶员图像进行处理分析的过程包括驾驶员疲劳行为、驾驶员偏移异常行为,利用摄像头对驾驶员面部图像采集,对摄像头拍摄的驾驶员面部图像进行分析以确定驾驶员的疲劳状态,所述驾驶员的疲劳状态包括极度疲劳、疲劳、亚清醒、清醒、极度清醒五个状态;驾驶员偏移异常行为的监测方式与乘客偏移异常运行监测方式一致;
图像处理模块根据海浪图像采集模块采集到的该处水面区域的视频图像经过直方图均衡化,利用海浪强度拟合模块对直方图均衡化处理的图像实现傅立叶变换,并计算矩形环内的功率谱能量比,采用分段线性回归的方法,提取矩形环内功率谱能量比曲线的两条特征直线斜率和截距,根据两条特征直线斜率和截距的关系,确定浪级的参数一,同时风速测量模块对风速进行测量,确定参数二,利用中央处理器将参数一与参数二进行相加后取平均值,确定海浪等级。
8.根据权利要求7所述的一种船舶海上运行用监控***,其特征在于:中央处理器从图像处理模块、风速测量模块、换能器组件模块、海浪强度拟合模块中获取的信息进行处理后,当海浪等级超过预设等级阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出海浪危险信号,利用语音播报模块进行语音播放海浪危险信号语音,并利用报警模块发出海浪危险警报;
当船的底部离水底面的距离小于预设距离阈值,出现驾驶员偏移异常行为或者乘客偏移异常行为时,发出触礁危险信号,利用语音播报模块进行语音播放触礁危险信号语音,并利用报警模块发出触礁危险警报;
当出现驾驶员疲劳行为时,发出驾驶员疲劳危险信号,利用语音播报模块进行语音播放疲劳危险信号语音,并利用报警模块发出驾驶员疲劳危险警报;
若出现驾驶员偏移异常行为或者乘客偏移异常行为且海浪等级和底部离水底面的距离均正常,判定需要对船体进行检查,利用报警模块发出船体需要检查警报,同时中央处理器利用无线通信模块在船体运行过程中实时将乘客偏移异常行为、驾驶员异常行为、海浪强度等级和船的底部离水底面的距离信息传输到驾驶室和船舶信息管理中心,采用地理位置定位模块对船体运行的地理位置进行定位,发送给驾驶室和船舶信息管理中心;
以上语音播报模块的语音信息互不干扰,循环播放。
9.根据权利要求7所述的一种船舶海上运行用监控***,其特征在于:所述中央处理器通过接受船舶信息管理中心的信号,控制支撑旋转模块对船舱内图像采集模块、海浪图像采集模块进行一定角度的旋转。
CN201810217052.2A 2018-03-16 2018-03-16 一种船舶海上运行用监控方法及监控*** Active CN108557030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810217052.2A CN108557030B (zh) 2018-03-16 2018-03-16 一种船舶海上运行用监控方法及监控***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810217052.2A CN108557030B (zh) 2018-03-16 2018-03-16 一种船舶海上运行用监控方法及监控***

Publications (2)

Publication Number Publication Date
CN108557030A CN108557030A (zh) 2018-09-21
CN108557030B true CN108557030B (zh) 2020-01-24

Family

ID=63532741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810217052.2A Active CN108557030B (zh) 2018-03-16 2018-03-16 一种船舶海上运行用监控方法及监控***

Country Status (1)

Country Link
CN (1) CN108557030B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399830A (zh) * 2019-07-24 2019-11-01 深圳市盈视讯电子科技有限公司 基于ai检测的视频监视报警方法、***、设备及介质
CN111241948B (zh) * 2020-01-02 2023-10-31 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) 全天候识别船舶的方法和***
CN112911210A (zh) * 2020-11-22 2021-06-04 泰州镭昇光电科技有限公司 应用双重检测模式的海域监控***及方法
CN112686130B (zh) * 2020-12-28 2021-07-30 广州市勤思网络科技有限公司 一种智慧渔船监管决策***
CN113291427A (zh) * 2021-06-10 2021-08-24 丁鸿雨 一种基于物联网的海洋工程船舶用防触礁***
CN113504556B (zh) * 2021-09-10 2021-11-30 浙江特勤卫星导航科技有限公司 一种船用定位信息确定方法、***及存储介质
CN113947869B (zh) * 2021-10-18 2023-09-01 广州海事科技有限公司 基于船舶驾驶状态的报警方法、***、计算机设备及介质
CN114862893A (zh) * 2022-06-01 2022-08-05 集美大学 基于风浪识别的高速全电船智能航行预警***
CN116080847B (zh) * 2022-09-27 2023-07-07 河北东来工程技术服务有限公司 一种船舶安全管理的方法、***、装置和存储介质
CN117610936B (zh) * 2023-12-15 2024-06-14 宁夏丝路风情网络科技股份有限公司 一种景区数字化监控管理方法及***
CN117818851B (zh) * 2024-03-04 2024-05-24 成都锦城学院 一种船舶监测***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721411A (zh) * 2012-06-28 2012-10-10 上海海事大学 一种基于水面波浪图像的浪级监测方法
CN104123808A (zh) * 2014-07-28 2014-10-29 无锡北斗星通信息科技有限公司 基于行驶速度和驾驶员疲劳状态的船舶报警***
CN105898239A (zh) * 2016-06-03 2016-08-24 北京中电万联科技股份有限公司 一种公交车司机行为异常监测***及监测方法
CN106156706A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 行人异常行为检测方法
CN106444574A (zh) * 2015-08-13 2017-02-22 波音公司 估计船舶意图
CN106816039A (zh) * 2017-03-30 2017-06-09 上海海洋大学 一种船舶巡航预警动态监测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721411A (zh) * 2012-06-28 2012-10-10 上海海事大学 一种基于水面波浪图像的浪级监测方法
CN104123808A (zh) * 2014-07-28 2014-10-29 无锡北斗星通信息科技有限公司 基于行驶速度和驾驶员疲劳状态的船舶报警***
CN106156706A (zh) * 2015-04-07 2016-11-23 中国科学院深圳先进技术研究院 行人异常行为检测方法
CN106444574A (zh) * 2015-08-13 2017-02-22 波音公司 估计船舶意图
CN105898239A (zh) * 2016-06-03 2016-08-24 北京中电万联科技股份有限公司 一种公交车司机行为异常监测***及监测方法
CN106816039A (zh) * 2017-03-30 2017-06-09 上海海洋大学 一种船舶巡航预警动态监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人群运动的光流场分析及异常行为检测;李娜;《信息科技辑》;20170726;正文第19页 *

Also Published As

Publication number Publication date
CN108557030A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108557030B (zh) 一种船舶海上运行用监控方法及监控***
CN107203222B (zh) 无人机实现船舶水尺图像及视频拍摄的方法
US9208673B2 (en) Monitoring system, monitoring module apparatus and method of monitoring a volume
US10746154B1 (en) Autonomous underwater beacon locator
CN107132530A (zh) 天/空/船艇/浮标/岛礁基海域多传感器一体监测***
KR102067875B1 (ko) 드론을 이용한 인명 구조 자동화 방법 및 이를 실행하는 프로그램이 기록된 기록매체
CN102730166B (zh) 内河船舶吃水自动监测***及方法
CN109285389A (zh) 一种无人船自动靠泊***及方法
CN104916166A (zh) 一种桥梁防撞预警***及实现方法
CN203158221U (zh) 子母式海洋环境检测智慧机器人
US20120158303A1 (en) Unmanned drifting substance monitoring buoy, drifting substance monitoring system, and drifting substance monitoring method
CN110231778B (zh) 一种通用的uuv水下目标探测仿真方法及***
CN109835441A (zh) 水质监测智能小船的自动驾驶方法及其***
CN209852537U (zh) 一种边海防巡逻侦察装置
CN116923665A (zh) 一种基于海上船舶安全的监控***及其监控方法
CN205656782U (zh) 一种舰船自动化锚值更装置
KR102269385B1 (ko) 선박 운항 지원 시스템 및 이를 포함하는 선박
CN207173907U (zh) 无人舰艇及无人舰艇***
CN213903521U (zh) 船舶监测***
JP6632086B1 (ja) 小型船舶運航管理システム、小型船舶用運航管理ユニットおよび小型船舶運航管理サーバ
RU39319U1 (ru) Система экологического контроля
KR102068287B1 (ko) 브로드밴드 레이더를 이용한 해적선 탐지 시스템 및 그 방법
CN112820149A (zh) 三用工作船智能辅助靠泊***
CN115113696B (zh) 黑匣子搜索设备及方法
CN217060501U (zh) 便携式水域失踪者高速搜索与定位探测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191230

Address after: 264200 no.19-1, Beihai Road, Wendeng Economic Development Zone, Weihai City, Shandong Province

Applicant after: Weihai Haian Yacht Manufacturing Co., Ltd

Address before: 467500 Yufa Building, Guangcheng Road, Ruzhou City, Pingdingshan City, Henan Province, 5th Floor

Applicant before: Ruzhou Hua Chao Amperex Technology Limited

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211029

Address after: 150060 door 1, floor 4, unit 3, No. 5, deputy Road, Jian'an Sidao street, Pingfang District, Harbin, Heilongjiang Province

Patentee after: Pan Kefei

Address before: 264200 No. 19-1, Beihai Road, Wendeng Economic Development Zone, Weihai City, Shandong Province

Patentee before: Weihai Haian Yacht Manufacturing Co.,Ltd.