CN117292111A - 一种结合北斗通信的海上目标探测定位***及方法 - Google Patents

一种结合北斗通信的海上目标探测定位***及方法 Download PDF

Info

Publication number
CN117292111A
CN117292111A CN202311230254.8A CN202311230254A CN117292111A CN 117292111 A CN117292111 A CN 117292111A CN 202311230254 A CN202311230254 A CN 202311230254A CN 117292111 A CN117292111 A CN 117292111A
Authority
CN
China
Prior art keywords
target
abnormal
module
targets
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311230254.8A
Other languages
English (en)
Inventor
吴靖
魏朋
黄峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202311230254.8A priority Critical patent/CN117292111A/zh
Publication of CN117292111A publication Critical patent/CN117292111A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)

Abstract

本发明涉及一种结合北斗通信的海上目标探测定位***及方法，终端利用探测模块获取海上周围场景图像，从中识别出所有海上目标，再从其中筛选出所有异常目标，对其中一异常目标进行跟踪，并通过基于激光测距标定的多目标位置计算方法计算其他异常目标与跟踪的异常目标的相对位置，而后根据北斗三号定位通信模块获得的当前位置信息、当前航向信息、云台模块的水平及俯仰角度信息、目标相对位置计算出所有异常目标的绝对精确位置信息，最后将包括目标图像、目标位置的目标相关数据打包发送至服务端；服务端将数据包解码整合，形成包含各类信息的异常目标位置分布可视化信息。该***及方法有利于精确识别并定位海上异常目标，进而进行可视化展示。

Description

一种结合北斗通信的海上目标探测定位***及方法
技术领域
本发明涉及海上目标检测定位技术领域，具体涉及一种结合北斗通信的海上目标探测定位***及方法。
背景技术
现有技术中，为获取目标相对位置距离，一般使用激光雷达等光电探测设备对目标进行探测，但这种目标探测方法无法获取目标及所在周围场景图像，也难以区分目标是否为所需探测的类型。一些使用视觉成像***的探测方法虽使用深度学习神经网络来识别出目标，但仅能判断目标类型，无法确定目标是否为异常目标，且需借助其他测距设备获取相对位置，而图像中目标与测距设备的信息融合也较为复杂。另一种方案则是在向服务中心上报时只发送当前位置，这种方法在目标距当前位置较远时无法准确获取目标位置。此外，现有探测设备锁定目标信息单一，上报至后台服务中心后难以分析海上现场情况。
发明内容
本发明的目的在于提供一种结合北斗通信的海上目标探测定位***及方法，该***及方法有利于精确识别并定位海上异常目标，进而进行可视化展示。
为了实现上述目的，本发明采用的技术方案是：一种结合北斗通信的海上目标探测定位***，包括终端和服务端，所述终端包括：
探测模块，安装于云台模块上，包括图像采集模块和激光测距模块，所述图像采集模块用于获取海上周围场景图像，所述激光测距模块用于测量位于图像采集模块画面中心的目标与探测模块之间的距离，所述探测模块将获得的图像及测距数据发送给计算存储模块；
云台模块，用于改变探测模块的探测视角，并向计算存储模块发送探测视角数据；
触控显示模块，用于实时显示图像采集模块获取的图像，以及通过触摸控制云台模块的水平及俯仰转动角度；
计算存储模块，用于整个终端的逻辑控制以及对接收到的图像、测距、探测视角及卫星定位数据进行处理分析，包括对图像进行目标识别、异常目标判断，控制云台模块运动以改变探测视角来对异常目标进行跟踪，对异常目标位置进行计算，以及对最终的目标数据进行压缩分包处理；以及
北斗三号定位通信模块，用于获取卫星定位数据并发送给计算存储模块和服务端，向服务端发送目标数据，以及接收服务端的反馈信息；
所述服务端包括：
数据收发模块，用于接收终端发送的目标数据，并将服务端反馈信息发送给终端；
信息处理模块，用于解码和合并数据包，恢复目标图像及其他目标数据；以及
可视化平台，用于显示异常目标的位置分布，以及目标图像、时间、目标类型、文字备注、轨迹信息。
本发明还提供了基于上述***的一种结合北斗通信的海上目标探测定位方法，终端利用探测模块实时探测海上周围情况并获取现场场景图像，然后从获取的图像中识别出所有海上目标，再从所有海上目标中筛选出所有异常目标；接着对离画面中心最近的异常目标进行跟踪，并通过基于激光测距标定的多目标位置计算方法计算其他异常目标与跟踪的异常目标的相对位置；而后根据北斗三号定位通信模块获得的当前位置信息、当前航向信息、云台模块的水平及俯仰角度信息、目标相对位置计算出所有异常目标的绝对精确位置信息；最后对当前目标图像进行压缩编码，并将包括异常目标位置、时间、目标类型、文字备注的目标数据进行打包，通过北斗三号定位通信模块将目标数据分包发送至服务端；
服务端接收到终端的数据包后，将数据包解码整合，恢复出目标图像、不同时间的异常目标位置信息；将异常目标按照空间位置关系在地图上标记，并显示包括目标经纬度、时间、周围场景图像、轨迹的多维数据，形成包含各类信息的异常目标位置分布可视化信息。
进一步地，从获取的图像中识别出所有海上目标，再结合预存异常目标标签表格和预存异常目标模板表格从所有海上目标中筛选出所有异常目标，包括海面边界线计算、第一阶段目标类型筛选和第二阶段目标个体筛选，具体实现方法为：
1)海上目标只存在于海面上，因此先分割出天空和海面区域，以缩小检测范围，提升检测时间；当图像采集模块光轴与海平面平行时，认为图像的水平中线对应于海面边界线；因此，根据图像采集模块的俯仰角度即图像采集模块光轴与海平面的夹角β计算海面边界线在图像上的位置；
其中，μ为传感器像元尺寸，f为镜头焦距，Δy为海面边界线在图像上的位置与图像水平中线的距离，海面边界线在图像上的位置H为图像的高；然后根据yb对图像进行分割，以对分割出的海面图像进行目标识别；
2)利用神经网络模型从海面图像中识别出所有海上目标；
所述神经网络模型对不同尺度的特征图分配不同的损失权重，以增强海上小目标的检测性能；
Lmax＝aLmax class+bLmax local+cLmax con
Lmid＝aLmid class+bLmid local+cLmid con
Lmin＝aLmin class+bLmin local+cLmin con
其中，Lclass、Llocal、Lcon分别为每个尺度的分类损失、定位损失和置信度损失，Lmax、Lmid、Lmin分别为每个尺度的总损失；所有尺度的总损失Loss为各个尺度总损失的加权：
Loss＝cLmax+dLmid+eLmin
其中，c、d、e为不同尺度总损失的权重；
将神经网络模型识别出的各个海上目标的类型与预存异常目标标签表格中所有目标类型逐个核对，如果预存异常目标标签表格中存在相同目标类型则判定该海上目标为异常目标类型；第一阶段目标类型筛选只能判断海上目标是否属于需要进一步判断的异常目标类型，不能判断海上目标是否为异常目标；
3)对于所有判定为异常目标类型的海上目标，使用相应的预存异常目标模板表格进行对比，筛选出异常目标；比对方法如下：
其中，Ω为模板T的像素范围，T(x',y')为(x',y')位置处预存异常目标模板表格中异常目标模板像数值，(x,y)位置为待对比目标中心像素位置，I(x+x',y+y')为待对比的海上目标所在图像像素值；当r小于设定阈值rmin时，则判定该海上目标为异常目标。
进一步地，对异常目标进行跟踪的具体方法为：
首先保存异常目标图像作为跟踪模板，然后计算云台模块需转动的水平及俯仰角度，通过云台模块的转动将异常目标置于图像采集模块的当前画面中心；若异常目标在当前画面中的坐标为(x0,y0)，通过以下公式计算云台模块需转动角度：
其中，θx为水平转动角度，向右为正，θy为俯仰转动角度，向上为正，W和H分别为图像的宽和高，μ为传感器像元尺寸，f为镜头焦距；
当异常目标处于运动状态时，通过一次转动云台模块并不能完全使异常目标运动至当前画面中心，通过以下公式判断异常目标是否已处于当前画面中心：
rT＝∑x',y'(M(x',y')-IR(x+x',y+y'))2
其中，M(x,y)为预存的跟踪模板，IR(x,y)为在画面中心按照跟踪模板大小裁剪的对比图像；当rT小于设定阈值Tmin时，则重新计算云台模块转角，直至rT大于等于设定阈值Tmin时停止跟踪。
进一步地，异常目标位置的计算方法为：
1)当跟踪的异常目标处于画面中心时，激光测距模块光轴对准该异常目标，激光测距模块获取距离为S，则画面中心目标，即跟踪的异常目标与探测模块的相对距离为lAC＝Ssinβ，β为云台模块的俯仰角度；
2)当探测范围内存在多个异常目标时，通过基于激光测距标定的多目标位置计算方法计算其他异常目标与画面中心目标的相对位置，而不需要再转动云台模块将其他异常目标逐个与探测光轴对准；
设画面中心目标在图像中坐标为(x0,y0)，其他异常目标在图像中坐标为(x1,y1)，则画面中心目标和其他异常目标与探测模块连线夹角γ为：
其他异常目标与探测模块在y轴方向上的相对距离为：
lAB＝Stan(β-γ)cosβ
其他异常目标与探测模块在x轴方向上的相对距离为：
其他异常目标与探测模块的相对距离为：
结合北斗三号定位通信模块获得的当前位置信息、当前航向信息、云台模块的水平及俯仰角度信息解算出所有异常目标的绝对精确位置信息，具体解算公式为：
其中，l为异常目标与探测模块的相对距离，对于画面中心目标即为距离lAC，对于其他异常目标即为距离l′，Δα为异常目标与探测模块连线与探测模块所在经线的夹角，逆时针为正，R为地球半径，D和L为探测模块的南纬和东经度数，D0和L0为异常目标的南纬和东经度数；北纬和西经的计算结果相反即可。
与现有技术相比，本发明具有以下有益效果：本***及方法将图像识别、激光测距和北斗通信技术相结合，能够对海上环境进行大范围探测监控，从监测图像中精确识别异常目标，解算出危险目标、遇难目标等异常目标的精确位置，并在地图上标记异常目标；同时通过服务端可视化平台查看目标分布、目标轨迹、目标所在周围场景图像，以及目标位置、时间、类型等状态信息。本发明可为监控中心提供海上异常目标总体分布情况，以及每个异常目标的多维状态数据信息，根据可视化平台对海上故障船舶、遇险人员、非法捕捞等异常事件进行综合监测和管理。
附图说明
图1是本发明实施例的***实现原理框图；
图2是本发明实施例中多目标位置计算原理图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种结合北斗通信的海上目标探测定位***，包括终端和服务端。所述终端包括探测模块、云台模块、触控显示模块、计算存储模块和北斗三号定位通信模块。
所述探测模块安装于云台模块上，包括图像采集模块和激光测距模块，所述图像采集模块用于获取海上周围场景图像，所述激光测距模块用于测量位于图像采集模块画面中心的目标与探测模块之间的距离，所述探测模块将获得的图像及测距数据发送给计算存储模块。
所述云台模块用于改变探测模块的探测视角，并向计算存储模块发送探测视角数据。
所述触控显示模块用于实时显示图像采集模块获取的图像，以及通过触摸控制云台模块的水平及俯仰转动角度。
所述计算存储模块用于整个终端的逻辑控制以及对接收到的图像、测距、探测视角及卫星定位数据进行处理分析，包括对图像进行目标识别、异常目标判断，控制云台模块运动以改变探测视角来对异常目标进行跟踪，对异常目标位置进行计算，以及对最终的目标数据进行压缩分包处理。
所述北斗三号定位通信模块用于获取卫星定位数据并发送给计算存储模块和服务端，向服务端发送目标图像、位置等目标数据，以及接收服务端的反馈信息。
所述服务端包括数据收发模块、信息处理模块和可视化平台。
所述数据收发模块用于接收终端发送的目标数据，并将服务端反馈信息发送给终端。
所述信息处理模块用于解码和合并数据包，恢复目标图像及其他目标数据。
所述可视化平台用于显示异常目标的位置分布，以及目标图像、时间、目标类型、文字备注、轨迹等信息。
本实施例还提供了基于上述***的一种结合北斗通信的海上目标探测定位方法，终端利用探测模块实时探测海上周围情况并获取现场场景图像，然后从获取的图像中识别出所有海上目标，再从所有海上目标中筛选出所有异常目标；接着对离画面中心最近的异常目标进行跟踪，并通过基于激光测距标定的多目标位置计算方法计算其他异常目标与跟踪的异常目标的相对位置；而后根据北斗三号定位通信模块获得的当前位置信息、当前航向信息、云台模块的水平及俯仰角度信息、目标相对位置计算出所有异常目标的绝对精确位置信息；最后对当前目标图像进行压缩编码，并将异常目标位置、时间、目标类型、文字备注等目标数据进行打包，通过北斗三号定位通信模块将目标数据分包发送至服务端。
服务端接收到终端的数据包后，将数据包解码整合，恢复出目标图像、不同时间的异常目标位置等信息；将异常目标按照空间位置关系在地图上标记，并显示目标经纬度、时间、周围场景图像、轨迹等多维数据，形成包含各类信息的异常目标位置分布可视化信息。
在本实施例中，终端从获取的图像中识别出所有海上目标，再结合预存异常目标标签表格和预存异常目标模板表格从所有海上目标中筛选出所有异常目标，包括海面边界线计算、第一阶段目标类型筛选和第二阶段目标个体筛选，具体实现方法为：
1)海上目标只存在于海面上，因此先分割出天空和海面区域，以缩小检测范围，提升检测时间。当图像采集模块光轴与海平面平行时，认为图像的水平中线对应于海面边界线。因此，根据图像采集模块的俯仰角度即图像采集模块光轴与海平面的夹角β计算海面边界线在图像上的位置。
其中，μ为传感器像元尺寸，f为镜头焦距，Δy为海面边界线在图像上的位置与图像水平中线的距离，海面边界线在图像上的位置H为图像的高；然后根据yb对图像进行分割，以对分割出的海面图像进行目标识别。
2)利用神经网络模型从海面图像中识别出所有海上目标。
海上危险异常目标探测的过程中，多针对远距离小目标，对于能够提取多尺度特征的网络结构来说，相同的损失函数进行训练会降低小目标预测的准确率。本方法中，所述神经网络模型对不同尺度的特征图分配不同的损失权重，以增强海上小目标的检测性能。
Lmax＝aLmax class+bLmax local+cLmax con
Lmid＝aLmid class+bLmid local+cLmid con
Lmin＝aLmin class+bLmin local+cLmin con
其中，Lclass、Llocal、Lcon分别为每个尺度的分类损失、定位损失和置信度损失，Lmax、Lmid、Lmin分别为每个尺度的总损失。所有尺度的总损失Loss为各个尺度总损失的加权：
Loss＝cLmax+dLmid+eLmin
其中，c、d、e为不同尺度总损失的权重，对于海上目标，可设c＝0.2，d＝e＝0.4。
海上目标种类相对于公开数据集也较少，因此训练时可对公开数据进行筛选，剔除海上不可能出现的目标，如汽车、树木等，或根据自定义数据标签更改目标标签；然后将神经网络头部分的1×1卷积N通道改为3×(5+Numclass)，Numclass为数据集标签的数量。
将神经网络模型识别出的各个海上目标的类型与预存异常目标标签表格中所有目标类型逐个核对，如果预存异常目标标签表格中存在相同目标类型则判定该海上目标为异常目标类型；第一阶段目标类型筛选只能判断海上目标是否属于需要进一步判断的异常目标类型，不能判断海上目标是否为异常目标。
3)对于所有判定为异常目标类型的海上目标，使用相应的预存异常目标模板表格进行对比，筛选出异常目标；比对方法如下：
其中，Ω为模板T的像素范围，T(x',y')为(x',y')位置处预存异常目标模板表格中异常目标模板像数值，(x,y)位置为待对比目标中心像素位置，I(x+x',y+y')为待对比的海上目标所在图像像素值；当r小于设定阈值rmin时，则判定该海上目标为异常目标。
在本实施例中，对异常目标进行跟踪的具体方法为：
首先保存异常目标图像作为跟踪模板，然后计算云台模块需转动的水平及俯仰角度，通过云台模块的转动将异常目标置于图像采集模块的当前画面中心；若异常目标在当前画面中的坐标为(x0,y0)，通过以下公式计算云台模块需转动角度：
其中，θx为水平转动角度，向右为正，θy为俯仰转动角度，向上为正，W和H分别为图像的宽和高，μ为传感器像元尺寸，f为镜头焦距。
当异常目标处于运动状态时，通过一次转动云台模块并不能完全使异常目标运动至当前画面中心，通过以下公式判断异常目标是否已处于当前画面中心：
rT＝∑x',y'(M(x',y')-IR(x+x',y+y'))2
其中，M(x,y)为预存的跟踪模板，IR(x,y)为在画面中心按照跟踪模板大小裁剪的对比图像；当rT小于设定阈值Tmin时，则重新计算云台模块转角，直至rT大于等于设定阈值Tmin时停止跟踪。
在本实施例中，异常目标位置的计算方法为：
1)当跟踪的异常目标处于画面中心时，激光测距模块光轴对准该异常目标，激光测距模块获取距离为S，则画面中心目标，即跟踪的异常目标与探测模块的相对距离为lAC＝Ssinβ，β为云台模块的俯仰角度。
2)当探测范围内存在多个异常目标时，本实施例通过基于激光测距标定的多目标位置计算方法计算其他异常目标与画面中心目标的相对位置，而不需要再转动云台模块将其他异常目标逐个与探测光轴对准。
基于激光测距标定的多目标位置计算原理如图2所示。图中，AC为海面水平线；C为画面中心目标；B为第二目标，即除画面中心目标之外的其他异常目标；c、b为目标对应图像中的像素位置。
设画面中心目标在图像中坐标为(x0,y0)，其他异常目标在图像中坐标为(x1,y1)，则画面中心目标和其他异常目标与探测模块连线夹角γ为：
以AC平行方向为y轴方向，与AC垂直且与海平面平行方向为x轴方向，其他异常目标与探测模块在y轴方向上的相对距离为：
lAB＝Stan(β-γ)cosβ
其他异常目标与探测模块在x轴方向上的相对距离为：
最终，其他异常目标与探测模块的相对距离为：
结合北斗三号定位通信模块获得的当前位置信息、当前航向信息、云台模块的水平及俯仰角度信息解算出所有异常目标的绝对精确位置信息，具体解算公式为：
其中，l为异常目标与探测模块的相对距离，对于画面中心目标即为距离lAC，对于其他异常目标即为距离l′，Δα为异常目标与探测模块连线与探测模块所在经线的夹角，逆时针为正，R为地球半径，D和L为探测模块的南纬和东经度数，D0和L0为异常目标的南纬和东经度数；北纬和西经的计算结果相反即可。
在本实施例中，对目标数据进行打包发送，包括目标所在图像、经纬度坐标、时间、目标类型、备注消息等目标多维数据，并通过北斗RDSS短报文发送。首先使用HEVC-MSP编码标准对目标所在图像进行压缩编码，然后根据编码后图像数据所占字节大小将图像数据分为N包，开始发送每包数据时记录总包数和当前包数，当总数等于当前包数时代表图像数据发送成功。最后，将相同类型数据分装为一个数据包依次发送，服务端在接收到最后一种数据类型时开始解码目标数据。
在本实施例中本***的工作过程为：
1)终端***上电等待程序初始化，包括北斗三号定位通信模块串口初始化和终端与服务端的连接建立。
2)终端程序初始化后可选择巡航模式和手动模式，巡航模式下，云台方向和镜头焦距按照一定的轨迹旋转探测，自动发现海上异常情况；手动模式下，用户可通多触控显示器自由控制探测方向和视场角。
3)当终端发现目标时，将目标标签与异常目标标签表进行对比，判断是否为异常目标类型。也可以手动将目标添加至异常目标标签表，下次检测到该类型目标时则直接判为异常目标类型。
4)当前目标为异常目标类型时，则进行异常目标个体筛选，判断是否为异常目标，也可以手动将该目标添加至异常目标模板表。
5)用户可通过触控显示模块软键盘添加输入文字消息，确定好异常目标***等待用户添加文字备注信息，并将文字备注和目标图像、位置等数据一并打包发送至服务端，若一定时间用户没有操作，***自动上报事件。也可设置全自动模式，不等待添加备注直接向服务端发送异常事件。
6)终端上报异常事件后，终端界面反馈栏显示进度状态，下次事件等待上次事件上报完成后进行，用户也可手动终止事件上报。
7)服务端接收到终端上报的异常事件后解码恢复出对应的目标位置、目标周围图像，根据目标的多个位置数据在地图上标记目标，绘制目标轨迹，地图上目标所在标记点显示目标的位置、时间、类型、周围场景图像和终端用户添加的备注消息。
本发明将北斗卫星定位、北斗三号RDSS短报文通信、光学监测、图像处理和图像目标测距技术有效结合，对海上异常目标、遇难目标等特殊目标进行大范围探测并精确识别，将捕捉到的目标图像、目标类型、结合北斗定位解算出的目标位置信息融合，在服务端绘制出海上各类特殊目标的分布，包括时间、目标轨迹、目标所在位置的场景图像等多类型信息，便于服务中心对海上异常情况进行监控和管理。本***及方法可应用于：
1)渔业监测：监测关键渔区，确保保护水域物种和合规渔业活动，防止非法捕捞和违规作业。
2)水上交通监控：监控国际水域和海峡，疏导船舶，监控违规行为，并对违规现场拍照取证。
3)海盗和非法活动监控：监控对海事威胁，及时发现和报告船只遭受的袭击和非法活动。
4)海上探测搜救：探测海上故障船舶和遇险人员，精确计算遇难目标位置，并向指挥中发送救援消息和现场图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种结合北斗通信的海上目标探测定位***，其特征在于，包括终端和服务端，所述终端包括：
探测模块，安装于云台模块上，包括图像采集模块和激光测距模块，所述图像采集模块用于获取海上周围场景图像，所述激光测距模块用于测量位于图像采集模块画面中心的目标与探测模块之间的距离，所述探测模块将获得的图像及测距数据发送给计算存储模块；
云台模块，用于改变探测模块的探测视角，并向计算存储模块发送探测视角数据；
触控显示模块，用于实时显示图像采集模块获取的图像，以及通过触摸控制云台模块的水平及俯仰转动角度；
计算存储模块，用于整个终端的逻辑控制以及对接收到的图像、测距、探测视角及卫星定位数据进行处理分析，包括对图像进行目标识别、异常目标判断，控制云台模块运动以改变探测视角来对异常目标进行跟踪，对异常目标位置进行计算，以及对最终的目标数据进行压缩分包处理；以及
北斗三号定位通信模块，用于获取卫星定位数据并发送给计算存储模块和服务端，向服务端发送目标数据，以及接收服务端的反馈信息；
所述服务端包括：
数据收发模块，用于接收终端发送的目标数据，并将服务端反馈信息发送给终端；
信息处理模块，用于解码和合并数据包，恢复目标图像及其他目标数据；以及
可视化平台，用于显示异常目标的位置分布，以及目标图像、时间、目标类型、文字备注、轨迹信息。
2.基于权利要求1所述***的一种结合北斗通信的海上目标探测定位方法，其特征在于，终端利用探测模块实时探测海上周围情况并获取现场场景图像，然后从获取的图像中识别出所有海上目标，再从所有海上目标中筛选出所有异常目标；接着对离画面中心最近的异常目标进行跟踪，并通过基于激光测距标定的多目标位置计算方法计算其他异常目标与跟踪的异常目标的相对位置；而后根据北斗三号定位通信模块获得的当前位置信息、当前航向信息、云台模块的水平及俯仰角度信息、目标相对位置计算出所有异常目标的绝对精确位置信息；最后对当前目标图像进行压缩编码，并将包括异常目标位置、时间、目标类型、文字备注的目标数据进行打包，通过北斗三号定位通信模块将目标数据分包发送至服务端；
服务端接收到终端的数据包后，将数据包解码整合，恢复出目标图像、不同时间的异常目标位置信息；将异常目标按照空间位置关系在地图上标记，并显示包括目标经纬度、时间、周围场景图像、轨迹的多维数据，形成包含各类信息的异常目标位置分布可视化信息。
3.根据权利要求2所述的一种结合北斗通信的海上目标探测定位方法，其特征在于，从获取的图像中识别出所有海上目标，再结合预存异常目标标签表格和预存异常目标模板表格从所有海上目标中筛选出所有异常目标，包括海面边界线计算、第一阶段目标类型筛选和第二阶段目标个体筛选，具体实现方法为：
1)海上目标只存在于海面上，因此先分割出天空和海面区域，以缩小检测范围，提升检测时间；当图像采集模块光轴与海平面平行时，认为图像的水平中线对应于海面边界线；因此，根据图像采集模块的俯仰角度即图像采集模块光轴与海平面的夹角β计算海面边界线在图像上的位置；
其中，μ为传感器像元尺寸，f为镜头焦距，Δy为海面边界线在图像上的位置与图像水平中线的距离，海面边界线在图像上的位置H为图像的高；然后根据yb对图像进行分割，以对分割出的海面图像进行目标识别；
2)利用神经网络模型从海面图像中识别出所有海上目标；
所述神经网络模型对不同尺度的特征图分配不同的损失权重，以增强海上小目标的检测性能；
Lmax＝aLmax class+bLmax local+cLmax con
Lmid＝aLmid class+bLmid local+cLmid con
Lmin＝aLmin class+bLmin local+cLmin con
其中，Lclass、Llocal、Lcon分别为每个尺度的分类损失、定位损失和置信度损失，Lmax、Lmid、Lmin分别为每个尺度的总损失；所有尺度的总损失Loss为各个尺度总损失的加权：
Loss＝cLmax+dLmid+eLmin
其中，c、d、e为不同尺度总损失的权重；
将神经网络模型识别出的各个海上目标的类型与预存异常目标标签表格中所有目标类型逐个核对，如果预存异常目标标签表格中存在相同目标类型则判定该海上目标为异常目标类型；第一阶段目标类型筛选只能判断海上目标是否属于需要进一步判断的异常目标类型，不能判断海上目标是否为异常目标；
3)对于所有判定为异常目标类型的海上目标，使用相应的预存异常目标模板表格进行对比，筛选出异常目标；比对方法如下：
其中，Ω为模板T的像素范围，T(x',y')为(x',y')位置处预存异常目标模板表格中异常目标模板像数值，(x,y)位置为待对比目标中心像素位置，I(x+x',y+y')为待对比的海上目标所在图像像素值；当r小于设定阈值rmin时，则判定该海上目标为异常目标。
4.根据权利要求2所述的一种结合北斗通信的海上目标探测定位方法，其特征在于，对异常目标进行跟踪的具体方法为：
首先保存异常目标图像作为跟踪模板，然后计算云台模块需转动的水平及俯仰角度，通过云台模块的转动将异常目标置于图像采集模块的当前画面中心；若异常目标在当前画面中的坐标为(x0,y0)，通过以下公式计算云台模块需转动角度：
其中，θx为水平转动角度，向右为正，θy为俯仰转动角度，向上为正，W和H分别为图像的宽和高，μ为传感器像元尺寸，f为镜头焦距；
当异常目标处于运动状态时，通过一次转动云台模块并不能完全使异常目标运动至当前画面中心，通过以下公式判断异常目标是否已处于当前画面中心：
rT＝∑x',y'(M(x',y')-IR(x+x',y+y'))2
其中，M(x,y)为预存的跟踪模板，IR(x,y)为在画面中心按照跟踪模板大小裁剪的对比图像；当rT小于设定阈值Tmin时，则重新计算云台模块转角，直至rT大于等于设定阈值Tmin时停止跟踪。
5.根据权利要求2所述的一种结合北斗通信的海上目标探测定位方法，其特征在于，异常目标位置的计算方法为：
1)当跟踪的异常目标处于画面中心时，激光测距模块光轴对准该异常目标，激光测距模块获取距离为S，则画面中心目标，即跟踪的异常目标与探测模块的相对距离为lAC＝Ssinβ，β为云台模块的俯仰角度；
2)当探测范围内存在多个异常目标时，通过基于激光测距标定的多目标位置计算方法计算其他异常目标与画面中心目标的相对位置，而不需要再转动云台模块将其他异常目标逐个与探测光轴对准；
设画面中心目标在图像中坐标为(x0,y0)，其他异常目标在图像中坐标为(x1,y1)，则画面中心目标和其他异常目标与探测模块连线夹角γ为：
其他异常目标与探测模块在y轴方向上的相对距离为：
lAB＝S tan(β-γ)cosβ
其他异常目标与探测模块在x轴方向上的相对距离为：
其他异常目标与探测模块的相对距离为：
结合北斗三号定位通信模块获得的当前位置信息、当前航向信息、云台模块的水平及俯仰角度信息解算出所有异常目标的绝对精确位置信息，具体解算公式为：
其中，l为异常目标与探测模块的相对距离，对于画面中心目标即为距离lAC，对于其他异常目标即为距离l′，Δα为异常目标与探测模块连线与探测模块所在经线的夹角，逆时针为正，R为地球半径，D和L为探测模块的南纬和东经度数，D0和L0为异常目标的南纬和东经度数；北纬和西经的计算结果相反即可。
CN202311230254.8A 2023-09-22 2023-09-22 一种结合北斗通信的海上目标探测定位***及方法 Pending CN117292111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311230254.8A CN117292111A (zh) 2023-09-22 2023-09-22 一种结合北斗通信的海上目标探测定位***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311230254.8A CN117292111A (zh) 2023-09-22 2023-09-22 一种结合北斗通信的海上目标探测定位***及方法

Publications (1)

Publication Number Publication Date
CN117292111A true CN117292111A (zh) 2023-12-26

Family

ID=89256476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311230254.8A Pending CN117292111A (zh) 2023-09-22 2023-09-22 一种结合北斗通信的海上目标探测定位***及方法

Country Status (1)

Country Link
CN (1) CN117292111A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118133001A (zh) * 2024-05-08 2024-06-04 山东省国土测绘院 一种基于北斗卫星信号的目标特征提取方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118133001A (zh) * 2024-05-08 2024-06-04 山东省国土测绘院 一种基于北斗卫星信号的目标特征提取方法及***

Similar Documents

Publication Publication Date Title
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN109725310B (zh) 一种基于yolo算法以及岸基雷达***的船舶定位监管***
CN104660993B (zh) 基于ais和cctv的海事智能监控方法及***
CN110348304A (zh) 一种可搭载于无人机的海事遇险人员搜索***以及目标识别方法
CN111967393A (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN101214851A (zh) 船舶行驶智能型全天候主动安全预警***及其预警方法
CN108960135A (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN117292111A (zh) 一种结合北斗通信的海上目标探测定位***及方法
CN110348303A (zh) 一种可搭载于无人艇的辅助水面巡逻***以及水面监测方法
KR101552095B1 (ko) 레이더，감시 카메라를 사용한 해안감시 시스템
CN109977840A (zh) 一种基于深度学习的机场场面监视方法
CN116453276A (zh) 一种海上风电电子围栏监控预警方法和***
CN115100477A (zh) 一种基于数字孪生的智能渔港监管***及方法
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN113780127A (zh) 一种船舶定位与监控***及方法
CN115880231A (zh) 一种基于深度学习的输电线路隐患检测方法和***
CN115240086A (zh) 基于无人机的河道船只检测方法、装置、设备及存储介质
CN114155470A (zh) 一种河道区域入侵检测方法、***及存储介质
CN116384597B (zh) 基于地理信息***的渔港船舶进出港动态预测方法及***
CN113505704A (zh) 图像识别的人员安全侦测方法、***、设备及存储介质
CN117315719A (zh) 一种基于边缘技术和深度学习的安全帽佩戴识别方法
CN113311507A (zh) 一种台风路径的识别方法及装置
CN116309732A (zh) 一种基于数字孪生的船舶运动可视化方法
KR102156338B1 (ko) 선박의 통합 모니터링 방법 및 그 장치
CN114445761A (zh) 一种基于图像识别的雷康状态远程监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination