CN114821494B - 船舶信息匹配方法及装置 - Google Patents
船舶信息匹配方法及装置 Download PDFInfo
- Publication number
- CN114821494B CN114821494B CN202210732075.3A CN202210732075A CN114821494B CN 114821494 B CN114821494 B CN 114821494B CN 202210732075 A CN202210732075 A CN 202210732075A CN 114821494 B CN114821494 B CN 114821494B
- Authority
- CN
- China
- Prior art keywords
- ship
- longitude
- point
- image
- latitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004364 calculation method Methods 0.000 claims abstract description 106
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 26
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000007689 inspection Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 16
- 230000007123 defense Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000005484 gravity Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种船舶信息匹配方法及装置,其中,该方法包括:人工识别图像中的船舶,通过像素‑经纬度的转换计算,得到画面中每个船舶的经纬度及航向。通过AIS信息计算真实船舶相应时刻的经纬度及航向,并与未匹配船舶的经纬度及航向匹配,得到图像中船舶的船名等信息。联动后台稽查数据,对所有船只在画面中显示,对稽查有问题的船只在画面中特别标注。本发明实施例通过计算监控图像中船舶状态,并将其与AIS信息中船舶状态进行匹配的方案,解决了现有技术中全景相机无法通过识别船牌获得船舶信息的问题,并通过改良的Morphing技术得到监控画面中每个像素对应的经纬度,提高识别准确率。
Description
技术领域
本发明涉及船舶检测领域,尤其涉及一种船舶信息匹配方法及装置。
背景技术
在航道AR监控***中,需要知晓监控***中经过的每个船舶的船舶名称,并将其记录在监控***中。在大尺寸的全景相机中,无法看清船牌,从而无法快速有效的识别经过航道的船舶的船舶名称,进而也就无法及时得知船舶对应的其它信息,这会影响监控***对船舶监控的准确性及效率。
针对现有技术中无法及时、准确获知监控画面中的船舶相应信息的问题,目前还没有一个有效的解决方案。
发明内容
为解决上述问题,本发明通过实时获取经过卡口的船舶图像,经过一系列计算将船舶的AIS信息与监控图像中的对应船舶联系起来,得到监控图像中每个船舶的信息,以解决现有技术中船舶匹配准确度不高、识别效率低的问题。
为达到上述目的,本发明实施例提供了一种船舶信息匹配方法,包括:S1、实时获取当前图像,预先获取当前图像对应的地图图像;S2、识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框;其中,所述关联图像为在当前图像前获取的具有同一船舶的图像;S3、根据所述关联图像判断所述目标船舶是否为匹配船舶,若否,则将所述目标船舶标记为未匹配船舶,并对所述第一目标框及第二目标框中的图像分别进行直线提取,得到每个目标框中未匹配船舶与水面交界的下缘线段,提取每个下缘线段的左端点、右端点及中点;若是,则仅计算所述当前图像中下缘线段对应的中点,将中点记录;S4、根据第一目标框及多个第二目标框对应的中点运动轨迹,计算所述未匹配船舶的估计航向;S5、将所述地图图像进行透视变换,得到标定图像,采用Morphing算法计算所述当前图像与所述标定图像的映射关系;S6、根据所述映射关系及所述标定图像,得到所述当前图像对应下缘线段的左端点的第一经纬度坐标及右端点的第二经纬度坐标;S7、根据最近时刻获取的船舶AIS信息,计算当前图像获取时刻真实船舶的实际经纬度坐标和实际航向;S8、根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向,将未匹配船舶与真实船舶进行匹配,得到所述未匹配船舶的匹配结果,并将未匹配船舶标记为匹配船舶。
进一步可选的,所述采用Morphing算法计算所述当前图像与所述标定图像的映射关系,包括:S501、预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点,分别在所述标定图像的背景中及当前图像的背景中连接多个标定点,将对应图像的背景划分为多个三角区域;其中,所述标定图像中标定点间的连线为直线段,所述当前图像中标定点间的连线为折线段,每个折线段由点集组成;S502、对于当前图像中任一像素点X,根据当前图像的背景确定其落入的三角区域EFG;S503、根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域,根据线对、、和点集、、计算标定图像中对应的点。
进一步可选的,所述在当前图像的背景中连接多个标定点,包括:S5011、提取所述标定图像的背景中所有可以构成路径的标定点,通过线对和计算间点在所述当前图像的背景上的投影,得到点集;S5012、连接所述点集中的各点,作为折线段;S5013、重复步骤S5011-S5012,计算当前图像的背景中所有连线对应的折线段及点集。
进一步可选的,所述根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向,将未匹配船舶与真实船舶进行匹配,得到所述未匹配船舶的匹配结果,包括:S801、将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴;S802、在所述经纬度坐标系中,将未匹配船舶根据估计航向投影到距离最近的航道坐标轴,得到第一经纬度坐标对应的第三经纬度坐标,第二经纬度坐标对应的第四经纬度坐标;S803、在所述经纬度坐标系中,将真实船舶根据实际航向投影到距离最近的航道坐标轴,得到实际经纬度坐标对应的第五经纬度坐标;S804、取为未匹配船舶至真实船舶的权值,采用KM算法计算最小权完备匹配,得到未匹配船舶的匹配结果。
进一步可选的,所述取为未匹配船舶至真实船舶的权值之前,包括:S805、根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围;S806、根据所述中点运动轨迹计算未匹配船舶的估计航速;根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向;根据所述未匹配船舶的第三经纬度坐标及第四经纬度坐标判断所述未匹配船舶是否位于对应航道坐标轴的最优范围内;若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向,则该未匹配船舶参与权值计算;否则,不参与权值计算;S807、根据所述船舶AIS信息确定真实船舶的实际航速;根据所述实际航向确定真实船舶在对应航道坐标轴上的行驶方向;根据所述真实船舶的第五经纬度坐标确定所述真实船舶是否位于对应航道的最优范围内;若所述真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向,则该真实船舶参与权值计算;否则,不参与权值计算。
另一方面,本发明还提供一种船舶信息匹配装置,包括:数据获取模块,用于实时获取当前图像,预先获取当前图像对应的地图图像;船舶识别模块,用于识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框;其中,所述关联图像为在当前图像前获取的具有同一船舶的图像;下缘线段提取模块,用于根据所述关联图像判断所述目标船舶是否为匹配船舶,若否,则将所述目标船舶标记为未匹配船舶,并对所述第一目标框及第二目标框中的图像分别进行直线提取,得到每个目标框中未匹配船舶与水面交界的下缘线段,提取每个下缘线段的左端点、右端点及中点;若是,则仅计算所述当前图像中下缘线段对应的中点,将中点记录;估计航向计算模块,用于根据第一目标框及多个第二目标框对应的中点运动轨迹,计算所述未匹配船舶的估计航向;映射关系计算模块,用于将所述地图图像进行透视变换,得到标定图像,采用Morphing算法计算所述当前图像与所述标定图像的映射关系;经纬度确定模块,用于根据所述映射关系及所述标定图像,得到所述当前图像对应下缘线段的左端点的第一经纬度坐标及右端点的第二经纬度坐标;真实船舶信息计算模块,用于根据最近时刻获取的船舶AIS信息,计算当前图像获取时刻真实船舶的实际经纬度坐标和实际航向;信息匹配模块,用于根据实际经纬度坐标、第一经纬度坐标、第二经纬度坐标、实际航向与估计航向,将未匹配船舶与真实船舶进行匹配,得到所述未匹配船舶的匹配结果,并将未匹配船舶标记为匹配船舶。
进一步可选的,所述映射关系计算模块包括:预标定子模块,用于预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点,分别在所述标定图像的背景中及当前图像的背景中连接多个标定点,将对应图像的背景划分为多个三角区域;其中,所述标定图像中标定点间的连线为直线段,所述当前图像中标定点间的连线为折线段,每个折线段由点集组成;区域确定子模块,用于对于当前图像中任一像素点X,根据当前图像的背景确定其落入的三角区域EFG;映射关系计算子模块,用于根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域,根据线对、、和点集、、计算标定图像中对应的点。
进一步可选的,所述预标定子模块包括:点集生成单元,用于提取所述标定图像的背景中所有可以构成路径的标定点,通过线对和计算间点在所述当前图像的背景上的投影,得到点集;连线单元,用于连接所述点集中的各点,作为折线段;循环单元,用于控制重复点集生成单元及连线单元的操作,计算当前图像的背景中所有连线对应的折线段及点集。
进一步可选的,所述信息匹配模块包括:转化子模块,用于将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴;第一投影坐标计算子模块,用于在所述经纬度坐标系中,将未匹配船舶根据估计航向投影到距离最近的航道坐标轴,得到第一经纬度坐标对应的第三经纬度坐标,第二经纬度坐标对应的第四经纬度坐标;第二投影坐标计算子模块,用于在所述经纬度坐标系中,将真实船舶根据实际航向投影到距离最近的航道坐标轴,得到实际经纬度坐标对应的第五经纬度坐标;全局匹配子模块,用于取为未匹配船舶至真实船舶的权值,采用KM算法计算最小权完备匹配,得到未匹配船舶的匹配结果。
进一步可选的,所述信息匹配模块还包括:最优范围确定子模块,用于根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围;第一过滤子模块,用于根据所述中点运动轨迹计算未匹配船舶的估计航速;根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向;根据所述未匹配船舶的第三经纬度坐标及第四经纬度坐标判断所述未匹配船舶是否位于对应航道坐标
轴的最优范围内;若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向,则该未匹配船舶参与权值计算;否则,不参与权值计算;第二过滤子模块,用于根据所述船舶AIS信息确定真实船舶的实际航速;根据所述实际航向确定真实船舶在对应航道坐标轴上的行驶方向;根据所述真实船舶的第五经纬度坐标确定所述真实船舶是否位于对应航道的最优范围内;若所述真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向,则该真实船舶参与权值计算;否则,不参与权值计算。上述技术方案具有如下有益效果:本发明通过采用改良的Morphing算法对像素与经纬度的对应关系进行确定,准确得到每个未匹配船舶对应的经纬度坐标;且本实施例仅通过AIS及相机监控图像即可得到当前画像中多个船舶的船名信息等,提高了匹配效率;采用上述匹配方法的全景相机从而可以作为江面港口、停泊区、河流交汇口等多点监控的汇总查看窗口,而不需要同时监控多取景窗口,便利监察人员;通过提取未匹配船舶的下缘线段中点信息及端点信息经过处理后与真实船舶的坐标信息进行匹配,提高了船舶匹配的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的船舶信息匹配方法的流程图;
图2是本发明实施例提供的映射关系计算方法的流程图;
图3是现有技术中提供的传统morphing算法的示意图;
图4是本发明实施例提供的标定图像中像素点与三角区域关系示意图;
图5是本发明实施例提供的当前图像中像素点与三角区域关系示意图;
图6是本发明实施例提供的当前图像中曲线段确定方法的流程图;
图7是本发明实施例提供的标定图像中线对结构示意图;
图8是本发明实施例提供的当前图像中线对结构示意图;
图9是本发明实施例提供的船舶匹配方法的流程图;
图10是本发明实施例提供的船舶筛选方法的流程图;
图11是本发明实施例提供的经纬度坐标的结构示意图;
图12是本发明实施例提供的船舶信息匹配装置结构示意图;
图13是本发明实施例提供的映射关系计算模块的结构示意图;
图14是本发明实施例提供的预标定子模块的结构示意图;
图15是本发明实施例提供的信息匹配模块的结构示意图;
图16是本发明实施例提供的信息匹配模块的其它子模块结构示意图。
附图标记:100-数据获取模块 200-船舶识别模块 300-下缘线段提取模块 400-估计航向计算模块 500-映射关系计算模块 5001-预标定子模块 50011-点集生成单元50012-连线单元 50013-循环单元 5002-区域确定子模块 5003-映射关系计算子模块600-经纬度确定模块 700-真实船舶信息计算模块 800-信息匹配模块 8001-转化子模块8002-第一投影坐标计算子模块 8003-第二投影坐标计算子模块 8004-全局匹配子模块8005-最优范围确定子模块 8006-第一过滤子模块 8007-第二过滤子模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决现有技术中船舶信息匹配准确度不高、匹配效率低的问题,本发明实施例提供了一种船舶AIS信息匹配方法,图1是本发明实施例提供的船舶信息匹配方法的流程图,如图1所示,该方法包括:
S1、实时获取当前图像,预先获取当前图像对应的地图图像;
从大尺寸全景相机中实时获取监控图像,将该图像记为当前图像。
作为一种可选的实施方式,当前图像为像素大小5520*2400,画面角度为270°。
作为一种可选的实施方式,预先在监控图像所在区域进行人工标记,得到计算区域。该计算区域为边数在10以内的多边形。例如,在岸边具有建筑物的情况下,只划定部分水上区域。计算区域可根据历史计算误差进行划定,也可根据经验人工划定,以保证驶入计算区域的船舶计算精度更高。指定船只行驶区域及计算误差允许区域,以排除较远处、岸上建筑物对计算的干扰。
由于全景相机中监控区域不变,因此可预先根据该监控区域寻找到对应的地图图像,在计算时加载该地图图像进行后续经纬度计算。
作为一种可选的实施方式,地图图像可采用goole地图数据,百度地图数据等,本实施例在此不做限制。
S2、识别当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框;其中,关联图像为在当前图像前获取的具有同一船舶的图像;
获取当前图像后,对当前图像进行人工智能识别,得到目标船舶对应的目标框。由于同一时段可能会有不止一艘船舶驶入画面,因此当前图像中可能识别出多个目标船舶,对应有多个船舶的目标框。
本实施例会在若干帧之间,对每个船舶进行追踪,得到追踪情况。具体的:对采集到的多帧图像(通常为10帧,帧率为5-10之间),进行人工智能识别,获取每一帧对应的目标框,记为。中应至少有两个点处于计算区域内,否则滤去该目标框,对于滤去部分目标框后的多帧图像,将当前帧与上一帧进行对比计算,若某目标框的重心点和前一帧中某目标框的重心点的欧式距离小于给定阈值,则认为两个目标框指向同一船舶,将指向同一船舶的图像记为该目标船舶的关联图像,关联图像中目标船舶所在的目标框为第二目标框。关联图像可以为一张也可以为多张。
采用同样的方法,判断当前图像的目标框中的目标船舶是否与第二目标框中的目标船舶为同一船舶,若是,将当前图像的目标框记为第一目标框:
作为一种可选的实施方式,为了避免人工智能在船舶重叠时产生的误报,例如偶尔会将两艘重叠的船识别为三艘,作为一种可选的实施方式,仅采用在60帧内90%(经验值,可根据航道情况不同而调整)以上帧均出现的船舶参与后续的经纬度计算。
作为一种可选的实施方式,对于任一目标船舶,取其对应的目标框中面积最大的目标框中的图像作为该船舶的摄像留证。
S3、根据关联图像判断目标船舶是否为匹配船舶,若否,则将目标船舶标记为未匹配船舶,并对第一目标框及第二目标框中的图像分别进行直线提取,得到每个目标框中未匹配船舶与水面交界的下缘线段,提取每个下缘线段的左端点、右端点及中点,转入步骤S4;若是,则仅计算当前图像中下缘线段对应的中点,将中点记录;
根据关联图像,也即船舶追踪情况判断当前图像中的目标船舶是否为匹配船舶。若该船舶并非匹配船舶,将其标记为未匹配船舶,进行下缘线段对应的端点提取后参与后续匹配。若当前图像中的目标船舶为匹配船舶,则仅提取当前图像中下缘线段对应的中点,将中点记录,作为当前图像中目标船舶的位置,且不参与后续匹配。
下缘线段提取过程如下:
由于船舶的信号发送设备可能装在船头也可能装在船尾,因此需要取该下缘线段的左端点,及右端点,和所指向的位置范围均可能对应船舶AIS中的经纬度。此外,还需提取该下缘线段的中点。其中,左端点、右端点及中点均对应有像素点坐标。
对于关联图像均采用上述方法进行下缘线段提取,并计算对应图像下缘线段的左端点、右端点及中点。
S4、根据第一目标框及多个第二目标框对应的中点运动轨迹,计算未匹配船舶的估计航向;
作为一种可选的实施方式,对于船舶航向变化巨大的、或相邻帧对应的中点欧式距离小于预设距离的,认为船舶停泊在此处,航速为0。
其中,预设距离为20个像素,可根据经验人工设定,且该值根据实际画面尺寸及画面中船舶占比的不同可随时调整。
S5、将地图图像进行透视变换,得到标定图像,采用Morphing算法计算当前图像与标定图像的映射关系;
图像融合领域中的传统Morphing技术指将图像A光滑连续地变换到目标图像D,使得过渡过程中即保留A的特征又保留D的特征(常用于三维、动画、设计等领域)。可以认为该过程实际是在计算指定阶段图像A中的像素将变换至图像D的何种位置。则,当图像A完全变化至图像D,认为此时是图像A至图像D的映射。
现在,对任一地图,由于计算区域较小,忽略地形差异;同时为了变换方便,对地图进行透视变化,以粗略地匹配实际相机图像,最终达到经纬度→像素的转变,将透视变换后的必定图像记为图像D,记透视变换为3*3的矩阵T。
将地图图像进行透视变换可记为:
透视变换后的标定图像每个像素点均对应有经纬度坐标。
将从大尺寸全景相机中获取的当前图像记为图像A。
使用Morphing技术,计算图像A至图像D的映射关系:
通过图像D的经纬度坐标→像素的逆过程,可最终获得图像A上任意像素点的经纬度,即
该过程描述为图像A像素→图像D像素→经纬度。
采用AIS基站获取指定范围内的船舶AIS信息,包括船舶的经纬度、航向、信息发送时间等信息。根据信息发送时的经纬度、航向及航速信息,可以计算指定时间的实际经纬度及实际航向,本实施例中计算获取当前图像时刻的真实船舶实际经纬度和实际航向。
当然,某一时刻获取的AIS信息可能为一条也可能为多条,本实施例获取指定范围内所有船舶AIS信息用于后续匹配操作。
根据当下至少一个真实船舶的实际经纬度坐标、实际航向、至少一个未匹配船舶对应的第一经纬度坐标、第二经纬度坐标及估计航向进行全局匹配,得到每个未匹配船舶对应的AIS信息,即本实施例中的未匹配船舶的匹配结果。
未匹配船舶匹配后标记为匹配船舶,当下一次采集到该船舶对应的图像时,当前图像作为关联图像,对应匹配船舶的标记,此时只识别该船舶在图像中的位置,并不参与后续匹配。
作为一种可选的实施方式,采用Morphing算法计算当前图像与标定图像的映射关系,包括:
S501、预先在标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点,分别在标定图像的背景中及当前图像的背景中连接多个标定点,将对应图像的背景划分为多个三角区域;其中,标定图像中标定点间的连线为直线段,当前图像中标定点间的连线为折线段,每个折线段由点集组成;
S502、对于当前图像中任一像素点X,根据当前图像的背景确定其落入的三角区域EFG;
基于线对的Morphing技术,首先对防区进行标定,即标定图像D的背景与当前图像A的背景在防区内的若干个标定点的映射关系。人工按照航道情况,连接标定点,使之尽量分割区域为三角形区域。其中,防区根据上述计算区域进行设定,可略大于计算区域的划定范围。由于全景相机监控范围固定,因此可预先在当前图像的背景画面、及标定图像的背景画面上进行若干标定点的标定,之后再将标定关系对应标定在当前图像及标定图像中,以计算任意像素点落入的三角区域。
参见图3,图中箭头左侧图像为目标图像,箭头右侧图像为源图像,传统的基于线对的Morphing算法逻辑描述为:
根据目标图像中的点X、向量P1Q1及原图像中的向量P1'Q1'计算出X1';具体的,X1'通过X相对于向量的距离v和X在向量PQ上的投影点至Q的距离u确定;
同理,根据目标图像中的点X、向量P2Q2及原图像中的向量P2'Q2'计算出X2';
然后通过加权平均的方法,求出X'。
其中,权值wn的计算方法为通过点X到线段PnQn的距离成反比的函数计算:
其中lengthn表示线段的长度,distn表示点X到线段PnQn的最短距离。a,b,p为常数,可以选择p=0,a=1,b=2。
相较于传统基于线对的图像Morphing中,后续计算将存在如下差别:
1、结果中标定点的偏移尽量小;
2、线对数远多于传统方式,但大部分线对对于点不产生太大的影响,可以不计入计算;
3、在标定图像D中某直线段如PQ,对应的当前图像A中的并非简单看做线段。因为镜头畸变的存在,更应被描述为曲线段,由于标定点距离较近,因此在本实施例中可近似为折线段,则需要额外计算的形状,以描述图像A中所表示的结构。每个折线段均由点集组成。
作为一种可选的实施方式,在当前图像的背景中连接多个标定点,包括:
S5011、提取标定图像的背景中所有可以构成路径PMnQ的标定点Mn,通过线对PMn和QMn计算PQ间点在当前图像的背景上的投影,得到点集PP'Q';
S5012、连接点集PP'Q'中的各点,作为折线段P'Q';
S5013、重复步骤S5011-S5012,计算当前图像的背景中所有连线对应的折线段及点集。
计算图像A中所有线段对应的折线段点集和折线段。
S801、将当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴;
将当前图像中的多条航道根据航道方向,例如一个四条航道交汇的区域,将航道抽象成如图11所示的检测范围内的经纬度坐标系,该经纬度坐标系中的每根坐标轴均对应一条实际的航道。其中,箭头代表驶入方向,坐标轴外的点为未匹配船舶或真实船舶,在坐标轴上的点为对应的投影点。
作为一种可选的实施方式,根据历史船舶行驶路径选择航行概率最高的路线作为经纬度坐标系中的对应航道坐标轴。
根据航道方向,抽象检测范围内的经纬度坐标系,其中部分航向为离开防区方向,另一部分则为进入防区方向。分别将未匹配船舶和真实船舶根据对应的航向及经纬度坐标就近投影到对应航道上从而获得第三经纬度坐标、第四经纬度坐标和第五经纬度坐标。
必然落在线段 上,且取最小为未匹配船舶至真实船舶的权值,使用KM算法求最小权完备匹配,从而在至少一个未匹配船舶与至少一个真实船舶中,得到每个未匹配船舶对应的真实船舶,将真实船舶对应的AIS信息与对应未匹配船舶进行联系,得到未匹配船舶的匹配结果。
S805、根据计算误差值在经纬度坐标系中确定每条航道坐标轴的最优范围;
S806、根据中点运动轨迹计算未匹配船舶的估计航速;根据估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向;根据未匹配船舶的第三经纬度坐标及第四经纬度坐标判断未匹配船舶是否位于对应航道坐标轴的最优范围内;若未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向,则该未匹配船舶参与权值计算;否则,不参与权值计算;
S807、根据船舶AIS信息确定真实船舶的实际航速;根据实际航向确定真实船舶在对应航道坐标轴上的行驶方向;根据真实船舶的第五经纬度坐标确定真实船舶是否位于对应航道的最优范围内;若真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向,则该真实船舶参与权值计算;否则,不参与权值计算。
参见图11,每条航道对应的航道坐标轴上均有一个最优范围。由于越远离镜头处由于像素的精度有限,导致计算误差越大,而越靠近镜头处由于镜头的畸变,导致计算误差越大。即船舶进入防区后,总是经历计算误差减小→计算误差增大这一过程,根据实际情况,可以在经纬度坐标系上为每个航向标定最优范围(范围内经纬度计算误差小于40米,40米为经验的船舶平均长度),则每次匹配,仅匹配所有驶入最优范围且驶向镜头的船只,从而提高匹配精度与匹配效率。其中,驶向镜头方向即为坐标轴上的驶入方向。
其中,计算误差值可根据经验确定,也可根据累积的历史计算误差确定,从而标定出计算精确度较高的每条航道的最优范围。
作为一种可选的实施方式,对于停泊区(船只停泊时可能关闭AIS),在船只停泊之前(有速度)才进行匹配,停泊之后(无速度)不进行匹配。
本发明实施例还提供了一种船舶信息匹配装置,图12是本发明实施例提供的船舶信息匹配装置结构示意图,如图12所示,该装置包括:
数据获取模块100,用于实时获取当前图像,预先获取当前图像对应的地图图像;
从大尺寸全景相机中实时获取监控图像,将该图像记为当前图像。
作为一种可选的实施方式,当前图像为像素大小5520*2400,画面角度为270°。
作为一种可选的实施方式,预先在监控图像所在区域进行人工标记,得到计算区域。该计算区域为边数在10以内的多边形。例如,在岸边具有建筑物的情况下,只划定部分水上区域。计算区域可根据历史计算误差进行划定,也可根据经验人工划定,以保证驶入计算区域的船舶计算精度更高。指定船只行驶区域及计算误差允许区域,以排除较远处、岸上建筑物对计算的干扰。
由于全景相机中监控区域不变,因此可预先根据该监控区域寻找到对应的地图图像,在计算时加载该地图图像进行后续经纬度计算。
作为一种可选的实施方式,地图图像可采用goole地图数据,百度地图数据等,本实施例在此不做限制。
船舶识别模块200,用于识别当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框;其中,关联图像为在当前图像前获取的具有同一船舶的图像;
获取当前图像后,对当前图像进行人工智能识别,得到目标船舶对应的目标框。由于同一时段可能会有不止一艘船舶驶入画面,因此当前图像中可能识别出多个目标船舶,对应有多个船舶的目标框。
本实施例会在若干帧之间,对每个船舶进行追踪,得到追踪情况。具体的:对采集到的多帧图像(通常为10帧,帧率为5-10之间),进行人工智能识别,获取每一帧对应的目标框,记为。中应至少有两个点处于计算区域内,否则滤去该目标框,对于滤去部分目标框后的多帧图像,将当前帧与上一帧进行对比计算,若某目标框的重心点和前一帧中某目标框的重心点的欧式距离小于给定阈值,则认为两个目标框指向同一船舶,将指向同一船舶的图像记为该目标船舶的关联图像,关联图像中目标船舶所在的目标框为第二目标框。关联图像可以为一张也可以为多张。
采用同样的方法,判断当前图像的目标框中的目标船舶是否与第二目标框中的目标船舶为同一船舶,若是,将当前图像的目标框记为第一目标框:
作为一种可选的实施方式,为了避免人工智能在船舶重叠时产生的误报,例如偶尔会将两艘重叠的船识别为三艘,作为一种可选的实施方式,仅采用在60帧内90%(经验值,可根据航道情况不同而调整)以上帧均出现的船舶参与后续的经纬度计算。
下缘线段提取模块300,用于根据关联图像判断目标船舶是否为匹配船舶,若否,则将目标船舶标记为未匹配船舶,并对第一目标框及第二目标框中的图像分别进行直线提取,得到每个目标框中未匹配船舶与水面交界的下缘线段,提取每个下缘线段的左端点、右端点及中点;若是,则仅计算当前图像中下缘线段对应的中点,将中点记录;
根据关联图像,也即船舶追踪情况判断当前图像中的目标船舶是否为匹配船舶。若该船舶并非匹配船舶,将其标记为未匹配船舶,进行下缘线段对应的端点提取后参与后续匹配。若当前图像中的目标船舶为匹配船舶,则仅提取当前图像中下缘线段对应的中点,将中点记录,作为当前图像中目标船舶的位置,且不参与后续匹配。
下缘线段提取过程如下:
由于船舶的信号发送设备可能装在船头也可能装在船尾,因此需要取该下缘线段的左端点,及右端点,和所指向的位置范围均可能对应船舶AIS中的经纬度。此外,还需提取该下缘线段的中点。其中,左端点、右端点及中点均对应有像素点坐标。
对于关联图像均采用上述方法进行下缘线段提取,并计算对应图像下缘线段的左端点、右端点及中点。
估计航向计算模块400,用于根据第一目标框及多个第二目标框对应的中点运动轨迹,计算未匹配船舶的估计航向;
作为一种可选的实施方式,对于船舶航向变化巨大的、或相邻帧对应的中点欧式距离小于预设距离的,认为船舶停泊在此处,航速为0。
其中,预设距离为20个像素,可根据经验人工设定,且该值根据实际画面尺寸及画面中船舶占比的不同可随时调整。
映射关系计算模块500,用于将地图图像进行透视变换,得到标定图像,采用Morphing算法计算当前图像与标定图像的映射关系;
图像融合领域中的传统Morphing技术指将图像A光滑连续地变换到目标图像D,使得过渡过程中即保留A的特征又保留D的特征(常用于三维、动画、设计等领域)。可以认为该过程实际是在计算指定阶段图像A中的像素将变换至图像D的何种位置。则,当图像A完全变化至图像D,认为此时是图像A至图像D的映射。
现在,对任一地图,由于计算区域较小,忽略地形差异;同时为了变换方便,对地图进行透视变化,以粗略地匹配实际相机图像,最终达到经纬度→像素的转变,将透视变换后的必定图像记为图像D,记透视变换为3*3的矩阵T。
将地图图像进行透视变换可记为:
透视变换后的标定图像每个像素点均对应有经纬度坐标。
将从大尺寸全景相机中获取的当前图像记为图像A。
使用Morphing技术,计算图像A至图像D的映射关系:
通过图像D的经纬度坐标→像素的逆过程,可最终获得图像A上任意像素点的经纬度,即
该过程描述为图像A像素→图像D像素→经纬度。
采用AIS基站获取指定范围内的船舶AIS信息,包括船舶的经纬度、航向、信息发送时间等信息。根据信息发送时的经纬度、航向及航速信息,可以计算指定时间的实际经纬度及实际航向,本实施例中计算获取当前图像时刻的真实船舶实际经纬度和实际航向。
当然,某一时刻获取的AIS信息可能为一条也可能为多条,本实施例获取指定范围内所有船舶AIS信息用于后续匹配操作。
根据当下至少一个真实船舶的实际经纬度坐标、实际航向、至少一个未匹配船舶对应的第一经纬度坐标、第二经纬度坐标及估计航向进行全局匹配,得到每个未匹配船舶对应的AIS信息,即本实施例中的未匹配船舶的匹配结果。
未匹配船舶匹配后标记为匹配船舶,当下一次采集到该船舶对应的图像时,当前图像作为关联图像,对应匹配船舶的标记,此时只识别该船舶在图像中的位置,并不参与后续匹配。
作为一种可选的实施方式,图13是本发明实施例提供的映射关系计算模块的结构示意图,如图13所示,映射关系计算模块500包括:
预标定子模块5001,用于预先在标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点,分别在标定图像的背景中及当前图像的背景中连接多个标定点,将对应图像的背景划分为多个三角区域;其中,标定图像中标定点间的连线为直线段,当前图像中标定点间的连线为折线段,每个折线段由点集组成;
区域确定子模块5002,用于对于当前图像中任一像素点X,根据当前图像的背景确定其落入的三角区域EFG;
基于线对的Morphing技术,首先对防区进行标定,即标定图像D的背景与当前图像A的背景在防区内的若干个标定点的映射关系。人工按照航道情况,连接标定点,使之尽量分割区域为三角形区域。其中,防区根据上述计算区域进行设定,可略大于计算区域的划定范围。由于全景相机监控范围固定,因此可预先在当前图像的背景画面、及标定图像的背景画面上进行若干标定点的标定,之后再将标定关系对应标定在当前图像及标定图像中,以计算任意像素点落入的三角区域。
参见图3,图中箭头左侧图像为目标图像,箭头右侧图像为源图像,传统的基于线对的Morphing算法逻辑描述为:
根据目标图像中的点X、向量P1Q1及原图像中的向量P1'Q1'计算出X1';具体的,X1'通过X相对于向量的距离v和X在向量PQ上的投影点至Q的距离u确定;
同理,根据目标图像中的点X、向量P2Q2及原图像中的向量P2'Q2'计算出X2';
然后通过加权平均的方法,求出X'。
其中,权值wn的计算方法为通过点X到线段PnQn的距离成反比的函数计算:
其中lengthn表示线段的长度,distn表示点X到线段PnQn的最短距离。a,b,p为常数,可以选择p=0,a=1,b=2。
相较于传统基于线对的图像Morphing中,后续计算将存在如下差别:
1、结果中标定点的偏移尽量小;
2、线对数远多于传统方式,但大部分线对对于点不产生太大的影响,可以不计入计算;
3、在标定图像D中某直线段如,对应的当前图像A中的并非简单看做线段。因为镜头畸变的存在,更应被描述为曲线段,由于标定点距离较近,因此在本实施例中可近似为折线段,则需要额外计算的形状,以描述图像A中所表示的结构。每个折线段均由点集组成。
作为一种可选的实施方式,图14是本发明实施例提供的预标定子模块的结构示意图,如图14所示,预标定子模块5001包括:
循环单元50013,用于控制重复点集生成单元及连线单元的操作,计算当前图像的背景中所有连线对应的折线段及点集。
计算图像A中所有线段对应的折线段点集和折线段。
作为一种可选的实施方式,图15是本发明实施例提供的信息匹配模块的结构示意图,如图15所示,信息匹配模块800包括:
转化子模块8001,用于将当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴;
将当前图像中的多条航道根据航道方向,例如一个四条航道交汇的区域,将航道抽象成如图11所示的检测范围内的经纬度坐标系,该经纬度坐标系中的每根坐标轴均对应一条实际的航道。其中,箭头代表驶入方向,坐标轴外的点为未匹配船舶或真实船舶,在坐标轴上的点为对应的投影点。
作为一种可选的实施方式,根据历史船舶行驶路径选择航行概率最高的路线作为经纬度坐标系中的对应航道坐标轴。
根据航道方向,抽象检测范围内的经纬度坐标系,其中部分航向为离开防区方向,另一部分则为进入防区方向。分别将未匹配船舶和真实船舶根据对应的航向及经纬度坐标就近投影到对应航道上从而获得第三经纬度坐标、第四经纬度坐标和第五经纬度坐标。
必然落在线段 上,且取最小为未匹配船舶至真实船舶的权值,使用KM算法求最小权完备匹配,从而在至少一个未匹配船舶与至少一个真实船舶中,得到每个未匹配船舶对应的真实船舶,将真实船舶对应的AIS信息与对应未匹配船舶进行联系,得到未匹配船舶的匹配结果。
作为一种可选的实施方式,图16是本发明实施例提供的信息匹配模块的其它子模块结构示意图,如图16所示,信息匹配模块800还包括:
最优范围确定子模块8005,用于根据计算误差值在经纬度坐标系中确定每条航道坐标轴的最优范围;
第一过滤子模块8006,用于根据中点运动轨迹计算未匹配船舶的估计航速;根据估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向;根据未匹配船舶的第三经纬度坐标及第四经纬度坐标判断未匹配船舶是否位于对应航道坐标轴的最优范围内;若未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向,则该未匹配船舶参与权值计算;否则,不参与权值计算;
第二过滤子模块8007,用于根据船舶AIS信息确定真实船舶的实际航速;根据实际航向确定真实船舶在对应航道坐标轴上的行驶方向;根据真实船舶的第五经纬度坐标确定真实船舶是否位于对应航道的最优范围内;若真实船舶位于对应航道坐标轴的最优范围内、实际航速不为0且行驶方向为驶入方向,则该真实船舶参与权值计算;否则,不参与权值计算。
参见图11,每条航道对应的航道坐标轴上均有一个最优范围。由于越远离镜头处由于像素的精度有限,导致计算误差越大,而越靠近镜头处由于镜头的畸变,导致计算误差越大。即船舶进入防区后,总是经历计算误差减小→计算误差增大这一过程,根据实际情况,可以在经纬度坐标系上为每个航向标定最优范围(范围内经纬度计算误差小于40米,40米为经验的船舶平均长度),则每次匹配,仅匹配所有驶入最优范围且驶向镜头的船只,从而提高匹配精度与匹配效率。其中,驶向镜头方向即为坐标轴上的驶入方向。
其中,计算误差值可根据经验确定,也可根据累积的历史计算误差确定,从而标定出计算精确度较高的每条航道的最优范围。
作为一种可选的实施方式,对于停泊区(船只停泊时可能关闭AIS),在船只停泊之前(有速度)才进行匹配,停泊之后(无速度)不进行匹配。
在大尺寸的全景相机中进行像素-经纬度的转换。该算法基于常用的图像融合领域中的传统Morphing技术,经一定改良后应用在该领域。
在过去的计算中,如道路交通的AR算法,一方面行车道路较为固定,不如船舶的四通八达难以具体指明,另一方面车道监控资源丰富,可以用大量特写监控作为补充,而航道上不具备这样的条件;Morphing用在地图领域时又常常使用于测绘地图和卫星照片的融合,更关心道路、航道的变形,无法对特定目标的畸变情况进行控制;Morphing用在图像设计领域更关心变形的平滑化处理和整体特征的保留,但在航道上局部标定的特征线往往应被视为固定的而不为整体让步。
故此,基于大尺寸的全景相机监控画面下的船舶定位,需要解决如下问题:在不进行高精度标定的情况下,描述全景相机的畸变情况,以获得相机二维画面中物体在真实世界下的经纬度坐标。一方面缩小基于线对的Morphing算法中对目标点结果发生影响的线对范围;另一方面描述特征线为曲线;同时提供了船只匹配的策略以弥补标定精度带来的无法消弭的误差。最终,在低成本(粗略标定、单全景监控相机)的同时,完成了匹配成功率较高的算法。
上述技术方案具有如下有益效果:本实施例通过采用改良的Morphing算法对像素与经纬度的对应关系进行确定,准确得到每个未匹配船舶对应的经纬度坐标;且本实施例仅通过AIS及相机监控图像即可得到当前画像中多个船舶的船名信息等,提高了匹配效率;采用上述匹配方法的全景相机从而可以作为江面港口、停泊区、河流交汇口等多点监控的汇总查看窗口,而不需要同时监控多取景窗口,便利监察人员;通过提取未匹配船舶的下缘线段中点信息及端点信息经过处理后与真实船舶的坐标信息进行匹配,提高了船舶匹配的准确度。
以上发明的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上内容仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种船舶信息匹配方法,其特征在于,包括:
S1、实时获取当前图像,预先获取当前图像对应的地图图像;
S2、识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框;其中,所述关联图像为在当前图像前获取的具有同一船舶的图像;
S3、根据所述关联图像判断所述目标船舶是否为匹配船舶,若否,则将所述目标船舶标记为未匹配船舶,并对所述第一目标框及第二目标框中的图像分别进行直线提取,得到每个目标框中未匹配船舶与水面交界的下缘线段,提取每个下缘线段的左端点、右端点及中点;若是,则仅计算所述当前图像中下缘线段对应的中点,将中点记录;
S4、根据第一目标框及多个第二目标框对应的中点运动轨迹,计算所述未匹配船舶的估计航向;
S5、将所述地图图像进行透视变换,得到标定图像,采用Morphing算法计算所述当前图像与所述标定图像的映射关系;包括:
S501、预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点,分别在所述标定图像的背景中及当前图像的背景中连接多个标定点,将对应图像的背景划分为多个三角区域;其中,所述标定图像中标定点间的连线为直线段,所述当前图像中标定点间的连线为折线段,每个折线段由点集组成;包括:
S5011、对于所述标定图像的背景中的任意标定点组成的点对,提取所述标定图像的背景中所有可以构成路径的标定点,在所述当前图像的背景中标记点对及标定点对应的点,根据点对间的点与线对和的位置关系,计算得到所述当前图像的背景上点对间的投影点,记为点集;其中,点集为点与点之间的点构成的集合;
S5013、重复步骤S5011-S5012,计算当前图像的背景中所有连线对应的折线段及点集;
S502、对于当前图像中任一像素点X,根据当前图像的背景确定其落入的三角区域EFG;
S503、根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域,根据线对、、和点集、、计算标定图像中对应的点;具体包括:分别计算点集、、中距离点X最近的点与所在折线段及点X的位置关系,分别计算与线对、、具有对应位置关系的中间点,对中间点进行加权平均得到点;其中,所述点集为点E与点F之间的点构成的集合;所述点集为点F与点G之间的点构成的集合;所述点集为点G与点E之间的点构成的集合;
S801、将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴;
S805、根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围;
S806、根据所述中点运动轨迹计算未匹配船舶的估计航速;根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向;根据所述未匹配船舶的第三经纬度坐标及第四经纬度坐标判断所述未匹配船舶是否位于对应航道坐标轴的最优范围内;若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向,则该未匹配船舶参与权值计算;否则,不参与权值计算;
4.一种船舶信息匹配装置,其特征在于,包括:
数据获取模块,用于实时获取当前图像,预先获取当前图像对应的地图图像;
船舶识别模块,用于识别所述当前图像中目标船舶对应的第一目标框及关联图像中目标船舶对应的第二目标框;其中,所述关联图像为在当前图像前获取的具有同一船舶的图像;
下缘线段提取模块,用于根据所述关联图像判断所述目标船舶是否为匹配船舶,若否,则将所述目标船舶标记为未匹配船舶,并对所述第一目标框及第二目标框中的图像分别进行直线提取,得到每个目标框中未匹配船舶与水面交界的下缘线段,提取每个下缘线段的左端点、右端点及中点;若是,则仅计算所述当前图像中下缘线段对应的中点,将中点记录;
估计航向计算模块,用于根据第一目标框及多个第二目标框对应的中点运动轨迹,计算所述未匹配船舶的估计航向;
映射关系计算模块,用于将所述地图图像进行透视变换,得到标定图像,采用Morphing算法计算所述当前图像与所述标定图像的映射关系;
所述映射关系计算模块包括:预标定子模块,用于预先在所述标定图像的背景及当前图像的背景中标定具有映射关系的多个标定点,分别在所述标定图像的背景中及当前图像的背景中连接多个标定点,将对应图像的背景划分为多个三角区域;其中,所述标定图像中标定点间的连线为直线段,所述当前图像中标定点间的连线为折线段,每个折线段由点集组成;区域确定子模块,用于对于当前图像中任一像素点X,根据当前图像的背景确定其落入的三角区域EFG;映射关系计算子模块,用于根据三角区域EFG及标定图像的背景确定标定图像中对应的三角区域,根据线对、、和点集、、计算标定图像中对应的点;具体包括:分别计算点集、、中距离点X最近的点与所在折线段及点X的位置关系,分别计算与线对、、具有对应位置关系的中间点,对中间点进行加权平均得到点;其中,所述点集为点E与点F之间的点构成的集合;所述点集为点F与点G之间的点构成的集合;所述点集为点G与点E之间的点构成的集合;
5.根据权利要求4所述的船舶信息匹配装置,其特征在于,所述信息匹配模块包括:
转化子模块,用于将所述当前图像的多条航道对应转化为经纬度坐标系中的多条航道坐标轴;
6.根据权利要求5所述的船舶信息匹配装置,其特征在于,所述信息匹配模块还包括:
最优范围确定子模块,用于根据计算误差值在所述经纬度坐标系中确定每条航道坐标轴的最优范围;
第一过滤子模块,用于根据所述中点运动轨迹计算未匹配船舶的估计航速;根据所述估计航向确定未匹配船舶在对应航道坐标轴上的行驶方向;根据所述未匹配船舶的第三经纬度坐标及第四经纬度坐标判断所述未匹配船舶是否位于对应航道坐标轴的最优范围内;若所述未匹配船舶位于对应航道坐标轴的最优范围内、估计航速不为0且行驶方向为驶入方向,则该未匹配船舶参与权值计算;否则,不参与权值计算;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210732075.3A CN114821494B (zh) | 2022-06-27 | 2022-06-27 | 船舶信息匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210732075.3A CN114821494B (zh) | 2022-06-27 | 2022-06-27 | 船舶信息匹配方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114821494A CN114821494A (zh) | 2022-07-29 |
CN114821494B true CN114821494B (zh) | 2022-10-14 |
Family
ID=82520882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210732075.3A Active CN114821494B (zh) | 2022-06-27 | 2022-06-27 | 船舶信息匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821494B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117148373B (zh) * | 2023-10-30 | 2024-01-26 | 浙江华是科技股份有限公司 | 基于激光雷达和ais全局匹配的船舶识别方法及*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235364A (ja) * | 1995-02-28 | 1996-09-13 | N T T Data Tsushin Kk | ベクトル図形の変換方法及び装置 |
US6996505B1 (en) * | 2000-06-21 | 2006-02-07 | Raindrop Geomagic, Inc. | Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms |
CN106097408A (zh) * | 2016-06-15 | 2016-11-09 | 中国地质大学(武汉) | 一种海岸线要素连续多尺度表达方法及*** |
CN106251281A (zh) * | 2016-07-11 | 2016-12-21 | 浙江工商大学 | 一种基于形状插值的图像渐变方法 |
CN108133028A (zh) * | 2017-12-28 | 2018-06-08 | 北京天睿空间科技股份有限公司 | 基于视频分析与定位信息结合的航空器挂牌方法 |
CN109460740A (zh) * | 2018-11-15 | 2019-03-12 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
CN111060877A (zh) * | 2019-12-25 | 2020-04-24 | 智慧航海(青岛)科技有限公司 | 一种面向岸基雷达的数据处理方法 |
CN111523465A (zh) * | 2020-04-23 | 2020-08-11 | 中船重工鹏力(南京)大气海洋信息***有限公司 | 基于摄像机标定及深度学习算法的船舶身份识别*** |
CN111814856A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大学 | 一种基于形态匹配的产品仿生设计融合方法及*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715760B2 (en) * | 2014-05-16 | 2017-07-25 | University Of South Florida | Analysis-suitable geometry from discrete point sets using a mesh-free method |
CN105844104A (zh) * | 2016-03-29 | 2016-08-10 | 中国海洋大学 | 基于Morphing变形技术的中尺度涡旋可视化算法 |
US10388045B2 (en) * | 2018-01-04 | 2019-08-20 | Adobe Inc. | Generating a triangle mesh for an image represented by curves |
CN110400371B (zh) * | 2019-06-24 | 2023-02-28 | 南京泛在地理信息产业研究院有限公司 | 一种水平构造地貌实体的三维模型构建方法 |
CN113569647B (zh) * | 2021-06-29 | 2024-02-20 | 广州赋安数字科技有限公司 | 一种基于ais的船舶高精度坐标映射方法 |
-
2022
- 2022-06-27 CN CN202210732075.3A patent/CN114821494B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235364A (ja) * | 1995-02-28 | 1996-09-13 | N T T Data Tsushin Kk | ベクトル図形の変換方法及び装置 |
US6996505B1 (en) * | 2000-06-21 | 2006-02-07 | Raindrop Geomagic, Inc. | Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms |
CN106097408A (zh) * | 2016-06-15 | 2016-11-09 | 中国地质大学(武汉) | 一种海岸线要素连续多尺度表达方法及*** |
CN106251281A (zh) * | 2016-07-11 | 2016-12-21 | 浙江工商大学 | 一种基于形状插值的图像渐变方法 |
CN108133028A (zh) * | 2017-12-28 | 2018-06-08 | 北京天睿空间科技股份有限公司 | 基于视频分析与定位信息结合的航空器挂牌方法 |
CN109460740A (zh) * | 2018-11-15 | 2019-03-12 | 上海埃威航空电子有限公司 | 基于ais与视频数据融合的船舶身份识别方法 |
CN111060877A (zh) * | 2019-12-25 | 2020-04-24 | 智慧航海(青岛)科技有限公司 | 一种面向岸基雷达的数据处理方法 |
CN111523465A (zh) * | 2020-04-23 | 2020-08-11 | 中船重工鹏力(南京)大气海洋信息***有限公司 | 基于摄像机标定及深度学习算法的船舶身份识别*** |
CN111814856A (zh) * | 2020-06-29 | 2020-10-23 | 浙江大学 | 一种基于形态匹配的产品仿生设计融合方法及*** |
Non-Patent Citations (3)
Title |
---|
Foldover-Free Image Warping;Kikuo Fujimura 等,;《GRAPHICAL MODELS AND IMAGE PROCESSING》;19981231;第1998年卷;第100-111页 * |
Structure preserving binary image morphing using Delaunay;AbbasCheddad;《PatternRecognitionLetters》;20161122;第2017年卷;第8-14页 * |
人脸视频深度伪造与防御技术综述;周文柏 等,;《信号处理》;20211231;第37卷(第12期);第2338-2355页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114821494A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11900627B2 (en) | Image annotation | |
Song et al. | Dynamic calibration of pan–tilt–zoom cameras for traffic monitoring | |
WO2022193420A1 (zh) | 近水桥梁多类型病害智能检测方法与无人船设备 | |
US11636686B2 (en) | Structure annotation | |
CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
Jung et al. | A lane departure warning system using lateral offset with uncalibrated camera | |
CN111563415A (zh) | 一种基于双目视觉的三维目标检测***及方法 | |
US11948344B2 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
CN112102369A (zh) | 水面漂浮目标自主巡检方法、装置、设备及存储介质 | |
CN109815831B (zh) | 一种车辆朝向获取方法及相关装置 | |
Manz et al. | A hybrid estimation approach for autonomous dirt road following using multiple clothoid segments | |
WO2022041706A1 (zh) | 一种定位方法、定位***和车辆 | |
Shunsuke et al. | GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon | |
CN109917359B (zh) | 基于车载单目视觉的鲁棒车辆距离估计方法 | |
Kim et al. | Artificial intelligence vision-based monitoring system for ship berthing | |
CN114821494B (zh) | 船舶信息匹配方法及装置 | |
Choi et al. | Methods to detect road features for video-based in-vehicle navigation systems | |
CN114898332A (zh) | 一种基于自动驾驶的车道线识别方法及*** | |
CN110667783A (zh) | 一种无人艇辅助驾驶***及其方法 | |
CN115639536B (zh) | 基于多传感器融合的无人船感知目标检测方法及装置 | |
CN115082811A (zh) | 一种依据图像数据的海上航行船舶识别与距离测量的方法 | |
Wu et al. | A method with improved accuracy and robustness for object detection in wharf scenarios | |
CN105785990B (zh) | 基于全景环视的船只停泊***及障碍物识别方法 | |
Zhao et al. | Adaptive background modeling for land and water composition scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |