CN113689492B - 一种基于单目相机的海面测距方法和*** - Google Patents

一种基于单目相机的海面测距方法和*** Download PDF

Info

Publication number
CN113689492B
CN113689492B CN202111235602.1A CN202111235602A CN113689492B CN 113689492 B CN113689492 B CN 113689492B CN 202111235602 A CN202111235602 A CN 202111235602A CN 113689492 B CN113689492 B CN 113689492B
Authority
CN
China
Prior art keywords
camera
ship
rotation matrix
angle information
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111235602.1A
Other languages
English (en)
Other versions
CN113689492A (zh
Inventor
雷富强
任海英
张巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jianmu Intelligent System Co ltd
Original Assignee
Zhejiang Jianmu Intelligent System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jianmu Intelligent System Co ltd filed Critical Zhejiang Jianmu Intelligent System Co ltd
Priority to CN202111235602.1A priority Critical patent/CN113689492B/zh
Publication of CN113689492A publication Critical patent/CN113689492A/zh
Application granted granted Critical
Publication of CN113689492B publication Critical patent/CN113689492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及一种基于单目相机的海面测距方法和***，其中，该方法包括：测量单目相机的相机位姿角度信息和船舶的船舶位姿角度信息，计算得到相机旋转矩阵和船舶旋转矩阵，根据相机的海拔高度、相机旋转矩阵和船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵，获取相机所拍摄图像的像素坐标，进一步根据单目相机的内参数和畸变参数，以及***旋转矩阵和***平移矩阵，将像素坐标转换成海面物理坐标，完成目标点与船舶之间的数据测量，通过本申请，解决了海面测距场景下测距难度高和测距误差大的问题，实现了海面测量中目标船与目标点之间的距离、目标船方位角、船体宽度等数据的测量，提高了海面测距中数据测量的精准度。

Description

一种基于单目相机的海面测距方法和***
技术领域
本申请涉及海面测距技术领域，特别是涉及一种基于单目相机的海面测距方法和***。
背景技术
现有的测距方法主要有激光测距和相机视觉测距。其中，激光测距方法具有单色性好，方向性强等特点，测距范围广，精度高，广泛应用于专业的测距场景中；而相机视觉测距能够与计算机视觉算法进行快速适配，实现目标测距与目标检测、目标追踪等功能的配合，广泛应用于智能化场景中。
但是在海面测距场景中，测距往往需要搭配舰船识别共同执行，从而无法较好地采用激光测距；海面测距具有测距范围大、视角不稳定的特点，传统的双目相机测距或单目相机测距也无法很好地应用到这一场景。同时，相机视觉测距受限于相机畸变及距离算法等因素，对远距离目标测距误差大。
目前针对相关技术中海面测距场景下测距难度高和测距误差大的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于单目相机的海面测距方法和***，以至少解决相关技术中海面测距场景下测距难度高和测距误差大的问题。
第一方面，本申请实施例提供了一种基于单目相机的海面测距方法，所述方法包括：
通过单目相机获取包含船舶和目标点的图像，处理得到所述图像中像素点的像素坐标；
根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标；
测量单目相机的相机位姿角度信息和海拔高度，根据所述相机位姿角度信息计算得到相机旋转矩阵；
实时测量获取船舶的船舶位姿角度信息，根据所述船舶位姿角度信息计算得到船舶旋转矩阵；
根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵；
根据所述像素点的相机物理坐标、所述***旋转矩阵和所述***平移矩阵，计算得到所述像素点在海面坐标系中的海面物理坐标；
根据所述海面物理坐标完成所述目标点与所述船舶之间的数据测量。
在其中一些实施例中，测量单目相机的相机位姿角度信息，根据所述相机位姿角度信息计算得到相机旋转矩阵包括：
测量单目相机的相机位姿角度信息，所述相机位姿角度信息包括偏向角μ、俯仰角
Figure 617308DEST_PATH_IMAGE001
和滚转角
Figure 126787DEST_PATH_IMAGE002
，通过公式
Figure 926247DEST_PATH_IMAGE003
计算得到 相机旋转矩阵R2。
在其中的一些实施例中，实时测量获取船舶的船舶位姿角度信息，根据所述船舶位姿角度信息计算得到船舶旋转矩阵包括：
实时测量获取船舶的船舶位姿角度信息，所述船舶位姿角度信息包括纵轴偏转角
Figure 131795DEST_PATH_IMAGE004
和横轴偏转角
Figure 291380DEST_PATH_IMAGE005
，通过公式
Figure 671677DEST_PATH_IMAGE006
计算得到船舶旋转矩 阵R3。
在其中一些实施例中，根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵包括：
根据所述相机旋转矩阵R2和所述船舶旋转矩阵R3，通过公式
Figure 501093DEST_PATH_IMAGE007
计算得到系 统旋转矩阵R；
根据所述海拔高度h和所述***旋转矩阵R，通过公式
Figure 481687DEST_PATH_IMAGE008
计算得到***平 移矩阵
Figure 320330DEST_PATH_IMAGE009
，其中，所述单目相机在海面坐标系中的平移向量
Figure 53669DEST_PATH_IMAGE010
。
在其中一些实施例中，在根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标之前，所述方法还包括：
通过所述单目相机获取包含标定板的图像，利用张正友相机标定算法计算出所述单目相机的内参数和畸变参数。
第二方面，本申请实施例提供了一种基于单目相机的海面测距***，所述***包括单目相机模块、陀螺仪模块和主机模块，其中，所述主机模块用于处理所述单目相机模块和所述陀螺仪模块提供的数据信息，运算生成海面测距结果；
所述单目相机模块获取包含船舶和目标点的图像，所述主机模块处理得到所述图像中像素点的像素坐标；
所述主机模块根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标；
所述单目相机模块测量单目相机的相机位姿角度信息和海拔高度，所述主机模块根据所述相机位姿角度信息计算得到相机旋转矩阵；
所述陀螺仪模块实时测量获取船舶的船舶位姿角度信息，所述主机模块根据所述船舶位姿角度信息计算得到船舶旋转矩阵；
所述主机模块根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵；
所述主机模块根据所述像素点的相机物理坐标、所述***旋转矩阵和所述***平移矩阵，计算得到所述像素点在海面坐标系中的海面物理坐标；
所述主机模块根据所述海面物理坐标完成所述目标点与所述船舶之间的数据测量。
在其中一些实施例中，所述单目相机模块测量单目相机的相机位姿角度信息，所述主机模块根据所述相机位姿角度信息计算得到相机旋转矩阵包括：
所述单目相机模块测量单目相机的相机位姿角度信息，所述相机位姿角度信息包 括偏向角μ、俯仰角
Figure 319565DEST_PATH_IMAGE001
和滚转角
Figure 990718DEST_PATH_IMAGE002
，所述主机模块通过公式
Figure 508418DEST_PATH_IMAGE011
计算得到相机旋转矩阵R2。
在其中一些实施例中，所述陀螺仪模块实时测量获取船舶的船舶位姿角度信息，所述主机模块根据所述船舶位姿角度信息计算得到船舶旋转矩阵包括：
所述陀螺仪模块实时测量获取船舶的船舶位姿角度信息，所述船舶位姿角度信息 包括纵轴偏转角
Figure 987941DEST_PATH_IMAGE004
和横轴偏转角
Figure 549372DEST_PATH_IMAGE005
，所述主机模块通过公式
Figure 114346DEST_PATH_IMAGE006
计算得到船舶旋转矩阵R3。
在其中一些实施例中，所述主机模块根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵包括：
所述主机模块根据所述相机旋转矩阵R2和所述船舶旋转矩阵R3，通过公式
Figure 668693DEST_PATH_IMAGE007
计算得到***旋转矩阵R；
所述主机模块根据所述海拔高度h和所述***旋转矩阵R，通过公式
Figure 2722DEST_PATH_IMAGE008
计 算得到***平移矩阵
Figure 735055DEST_PATH_IMAGE009
，其中，所述单目相机在海面坐标系中的平移向量
Figure 787324DEST_PATH_IMAGE010
。
在其中一些实施例中，在所述主机模块根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标之前还包括：
所述单目相机模块获取包含标定板的图像，所述主机模块通过张正友相机标定算法计算出所述单目相机的内参数和畸变参数。
相比于相关技术，本申请实施例提供的一种基于单目相机的海面测距方法和***，测量单目相机的相机位姿角度信息和海拔高度进而计算得到相机旋转矩阵，实时测量获取船舶的船舶位姿角度信息进而计算得到船舶旋转矩阵，根据海拔高度、相机旋转矩阵和船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵，通过单目相机获取包含船舶和目标点的图像，处理得到图像中像素点的像素坐标，进一步根据单目相机的内参数和畸变参数，以及***旋转矩阵和***平移矩阵，将像素点的像素坐标转换计算得到海面坐标系中的海面物理坐标，完成目标点与船舶之间的数据测量，解决了海面测距场景下测距难度高和测距误差大的问题，实现了海面测量中目标船与目标点之间的距离、目标船方位角、船体宽度等数据的测量，提高了海面测距中数据测量的精准度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于单目相机的海面测距方法的步骤流程图；
图2是根据本申请实施例的基于单目相机的海面测距***的结构框图；
图3是根据本实施例的处理器执行存储器中计算机程序的流程示意图；
图4是根据本申请实施例的电子设备的内部结构示意图。
附图说明：21、单目相机模块；22、陀螺仪模块；23、主机模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
实施例1
本申请实施例提供了一种基于单目相机的海面测距方法，图1是根据本申请实施例的基于单目相机的海面测距方法的步骤流程图，如图1所示，该方法包括以下步骤：
步骤S102，测量单目相机的相机位姿角度信息和海拔高度，根据相机位姿角度信息计算得到相机旋转矩阵；
具体地，调整单目相机的角度，使其拍摄视野覆盖船舶部分甲板，在单目相机视野范围内取至少4个船舶甲板上的点，使该4点不共线且不过于集中。拟定一个空间直角坐标系，该空间直角坐标系就是船舶坐标系，使其xOy平面位于甲板，得到4点的船舶物理坐标，在单目相机画面上获取4点的相机物理坐标，根据上述4点的船舶物理坐标和相机物理坐标，通过n点透视原理计算得到单目相机的相机位姿角度信息，根据相机位姿角度信息通过欧拉角计算得到相机旋转矩阵；
根据船舶参数与单目相机安装位置，计算出单目相机的海拔高度。
步骤S104，实时测量获取船舶的船舶位姿角度信息，根据船舶位姿角度信息计算得到船舶旋转矩阵；
具体地，紧贴船舶上的房间（如驾驶室）地面安装陀螺仪，使陀螺仪有一轴方向与船体前向平行，后续以x轴与船体前向平行、y轴与之垂直指向船体左侧、z轴垂直于地面向上。通过陀螺仪实时测量获取船舶的船舶位姿角度信息，根据船舶位姿角度信息通过欧拉角计算得到船舶旋转矩阵。
步骤S106，根据海拔高度、相机旋转矩阵和船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵；
步骤S108，通过单目相机获取包含船舶和目标点的图像，处理得到图像中像素点的像素坐标；
具体地，计算像素坐标系下像素点对应的坐标。像素位置是相机成像平面上像素点的坐标，其单位为像素（pixel）。
步骤S110，根据像素坐标，以及单目相机的内参数和畸变参数，计算得到像素点在相机坐标系中的相机物理坐标；
具体地，通过公式
Figure 771461DEST_PATH_IMAGE012
计算得到相机物理坐标，其中，
Figure 100942DEST_PATH_IMAGE013
为单目相机的内参数，u和v是像素坐标，xc、yc和zc是相机物理坐标，s为常数， 它使等号左端向量的第三个分量为1。
需要补充的是，为了进一步提高像素坐标和相机物理坐标间转换的精确度，可以在海面上取至少3个不共线的点（海面坐标系下z轴坐标为0的点），计算其在相机坐标系下的坐标，后通过最小二乘法进行拟合，拟合公式如下：
Figure 879542DEST_PATH_IMAGE014
其中
Figure 278163DEST_PATH_IMAGE015
，
Figure 174312DEST_PATH_IMAGE016
，T表示矩阵的转置运算，-1表示矩阵的逆运算；求得 海平面方程为
Figure 482934DEST_PATH_IMAGE017
。
将上述由像素坐标u和v转换计算得到的相机物理坐标xc、yc和zc分别设为x’c、y’c 和z’c，再联立
Figure 557069DEST_PATH_IMAGE018
、
Figure 318352DEST_PATH_IMAGE017
，求得真正的相机坐标系下坐标
Figure 519657DEST_PATH_IMAGE019
，再执行步骤S112。
步骤S112，根据像素点的相机物理坐标、***旋转矩阵和***平移矩阵，计算得到像素点在海面坐标系中的海面物理坐标；
具体地，通过公式
Figure 948364DEST_PATH_IMAGE020
计算得到海面物理坐标，其中，公式中 的rij为***旋转矩阵中第i行第j列元素，
Figure 68767DEST_PATH_IMAGE021
为***平移矩阵，xw、yw和zw是海面物 理坐标。
需要补充的是，根据步骤S108和步骤S110可以得出，像素坐标和海面物理坐标也 可以通过公式
Figure 707559DEST_PATH_IMAGE022
进行直接转换计算。
步骤S114，根据海面物理坐标完成目标点与船舶之间的数据测量。
具体地，根据海面物理坐标完成目标点与船舶之间的数据测量包括：
计算目标点与船舶间的距离，根据海面坐标系下的坐标，直接求目标点距坐标原点的欧氏距离，作为该点与船舶之间的距离，若是计算自身船舶与目标船舶间的距离，可以结合船舶检测器，将检测框底边中点作为计算目标船舶距离的基准点，检测出目标船舶位置后实现船舶间距离的计算；
计算自身船舶的偏向角，根据海面坐标系下的坐标，计算目标点与自身船舶（原点）连线和x轴之间的夹角，其绝对值为偏向角的角度，其符号代表方向：正为左偏，负为右偏；
计算目标船舶的宽度，根据海面坐标系下的坐标，结合船舶检测器，检测出目标船舶位置后，计算检测框底边两端点在海面坐标系下的间距作为目标船舶宽度。
通过本申请实施例中的步骤S102至步骤S114，解决了海面测距场景下测距难度高和测距误差大的问题，实现了海面测量中目标船与目标点之间的距离、目标船方位角、船体宽度等数据的测量，提高了海面测距中数据测量的精准度。
在其中一些实施例中，步骤S102，测量单目相机的相机位姿角度信息，根据相机位姿角度信息计算得到相机旋转矩阵包括：
测量单目相机的相机位姿角度信息，相机位姿角度信息包括偏向角μ、俯仰角
Figure 685791DEST_PATH_IMAGE001
和 滚转角
Figure 703426DEST_PATH_IMAGE002
，通过公式
Figure 119364DEST_PATH_IMAGE023
计算得到相机 旋转矩阵R2。
具体地，在单目相机视野范围内取至少4个船舶甲板上的点，拟定一个空间直角坐标系，该空间直角坐标系就是船舶坐标系，使其xOy平面位于甲板，得到4点在船舶坐标系下的船舶物理坐标，再在单目相机画面上获取4点的相机物理坐标。
在甲板坐标系下，取一平行于船舶前进方向的向量
Figure 855238DEST_PATH_IMAGE024
，一垂直甲板的法向量
Figure 398346DEST_PATH_IMAGE025
， 基于上述4点的船舶物理坐标和相机物理坐标，通过n点透视原理将向量
Figure 536067DEST_PATH_IMAGE024
和向量
Figure 275570DEST_PATH_IMAGE025
分别 转化成相机坐标系下的坐标
Figure 842949DEST_PATH_IMAGE026
和
Figure 48802DEST_PATH_IMAGE027
，进而得到单目相机的偏向角
Figure 165663DEST_PATH_IMAGE028
、 俯仰角
Figure 64349DEST_PATH_IMAGE029
和滚转角
Figure 888997DEST_PATH_IMAGE030
；
再通过公式
Figure 898541DEST_PATH_IMAGE023
计算得到相机 旋转矩阵R2。
在其中的一些实施例中，步骤S104，实时测量获取船舶的船舶位姿角度信息，根据船舶位姿角度信息计算得到船舶旋转矩阵包括：
实时测量获取船舶的船舶位姿角度信息，所述船舶位姿角度信息包括纵轴偏转角
Figure 276433DEST_PATH_IMAGE004
和横轴偏转角
Figure 205075DEST_PATH_IMAGE005
，通过公式
Figure 668417DEST_PATH_IMAGE006
计算得到船舶旋转矩 阵R3。
具体地，在紧贴船舶上的如驾驶室地面安装陀螺仪，使陀螺仪有一轴方向与船体前向平行，后续以x轴与船体前向平行、y轴与之垂直指向船体左侧、z轴垂直于地面向上，陀螺仪会实时返回y轴角度和x轴角度；
通过陀螺仪实时测量获取船舶的船舶位姿角度信息，所述船舶位姿角度信息包括 纵轴偏转角
Figure 91439DEST_PATH_IMAGE004
和横轴偏转角
Figure 58258DEST_PATH_IMAGE005
，通过公式
Figure 298747DEST_PATH_IMAGE006
计算得到 船舶旋转矩阵R3。
在其中一些实施例中，步骤S106，根据海拔高度、相机旋转矩阵和船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵包括：
根据相机旋转矩阵R2和船舶旋转矩阵R3，通过公式
Figure 108440DEST_PATH_IMAGE007
计算得到***旋转矩 阵R；
根据海拔高度h和***旋转矩阵R，通过公式
Figure 459787DEST_PATH_IMAGE008
计算得到***平移矩阵
Figure 920593DEST_PATH_IMAGE009
，其中，单目相机在海面坐标系中的平移向量
Figure 331983DEST_PATH_IMAGE010
。
在其中一些实施例中，在步骤S110，根据像素坐标，以及单目相机的内参数和畸变参数，计算得到像素点在相机坐标系中的相机物理坐标之前，方法还包括：
通过单目相机获取包含标定板的图像，利用张正友相机标定算法计算出单目相机的内参数和畸变参数。
具体地，可以求得单目相机的内参数
Figure 363393DEST_PATH_IMAGE013
，其中，fx和fy分别为相机在相机 画面水平方向和垂直方向上的焦距，cx和cy分别是相机光心在相机画面上投影的像素坐标； 相机的畸变参数
Figure 518430DEST_PATH_IMAGE031
，其中，k1、k2和k3为径向畸变参数，p1和p2为切向畸变参 数。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例2
本申请实施例提供了一种基于单目相机的海面测距***，图2是根据本申请实施例的基于单目相机的海面测距***的结构框图，该***包括单目相机模块21、陀螺仪模块22和主机模块23，其中，主机模块23用于处理单目相机模块21和陀螺仪模块22提供的数据信息，运算生成海面测距结果；
单目相机模块21获取包含船舶和目标点的图像，主机模块23处理得到图像中像素点的像素坐标；
主机模块23根据像素坐标，以及单目相机的内参数和畸变参数，计算得到像素点在相机坐标系中的相机物理坐标；
单目相机模块21测量单目相机的相机位姿角度信息和海拔高度，主机模块23根据相机位姿角度信息计算得到相机旋转矩阵；
陀螺仪模块22实时测量获取船舶的船舶位姿角度信息，主机模块23根据船舶位姿角度信息计算得到船舶旋转矩阵；
主机模块23根据海拔高度、相机旋转矩阵和船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵；
主机模块23根据像素点的相机物理坐标、***旋转矩阵和***平移矩阵，计算得到像素点在海面坐标系中的海面物理坐标；
主机模块23根据海面物理坐标完成目标点与船舶之间的数据测量。
通过本申请实施例中的单目相机模块21、陀螺仪模块22和主机模块23，解决了海面测距场景下测距难度高和测距误差大的问题，实现了海面测量中目标船与目标点之间的距离、目标船方位角、船体宽度等数据的测量，提高了海面测距中数据测量的精准度。
在其中一些实施例中，单目相机模块21测量单目相机的相机位姿角度信息，主机模块23根据相机位姿角度信息计算得到相机旋转矩阵包括：
单目相机模块21测量单目相机的相机位姿角度信息，相机位姿角度信息包括偏向 角μ、俯仰角
Figure 459842DEST_PATH_IMAGE001
和滚转角
Figure 651920DEST_PATH_IMAGE002
，主机模块23通过公式
Figure 311571DEST_PATH_IMAGE032
计算得到相机旋转矩阵R2。
在其中一些实施例中，陀螺仪模块22实时测量获取船舶的船舶位姿角度信息，主机模块23根据船舶位姿角度信息计算得到船舶旋转矩阵包括：
陀螺仪模块22实时测量获取船舶的船舶位姿角度信息，船舶位姿角度信息包括纵 轴偏转角
Figure 129354DEST_PATH_IMAGE004
和横轴偏转角
Figure 190851DEST_PATH_IMAGE005
，主机模块23通过公式
Figure 944044DEST_PATH_IMAGE006
计算得到船舶旋转矩阵R3。
在其中一些实施例中，主机模块23根据海拔高度、相机旋转矩阵和船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵包括：
主机模块23根据相机旋转矩阵R2和船舶旋转矩阵R3，通过公式
Figure 527210DEST_PATH_IMAGE007
计算得到 ***旋转矩阵R；
主机模块23根据海拔高度h和***旋转矩阵R，通过公式
Figure 758471DEST_PATH_IMAGE008
计算得到*** 平移矩阵
Figure 674474DEST_PATH_IMAGE009
，其中，单目相机在海面坐标系中的平移向量
Figure 473934DEST_PATH_IMAGE010
。
在其中一些实施例中，在主机模块23根据像素坐标，以及单目相机的内参数和畸变参数，计算得到像素点在相机坐标系中的相机物理坐标之前还包括：
单目相机模块21获取包含标定板的图像，主机模块23通过张正友相机标定算法计算出单目相机的内参数和畸变参数。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例3
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，图3是根据本实施例的处理器执行存储器中计算机程序的流程示意图，如图3所示，处理器可以被设置为通过计算机程序执行以下步骤：
S1，相机位姿角度信息测算，船舶位姿信息测算；
S2，相机坐标系与海面坐标系间转换矩阵的计算；
S3，相机内参标定；
S4，像素坐标与相机物理坐标与海面物理坐标的转换计算；
S5，船舶与目标点间的数据测算。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的基于单目相机的海面测距方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于单目相机的海面测距方法。
实施例4
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于单目相机的海面测距方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图4是根据本申请实施例的电子设备的内部结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作***、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作***和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于单目相机的海面测距方法，数据库用于存储数据。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于单目相机的海面测距方法，其特征在于，所述方法包括：
测量单目相机的相机位姿角度信息和海拔高度，根据所述相机位姿角度信息计算得到相机旋转矩阵；
实时测量获取船舶的船舶位姿角度信息，根据所述船舶位姿角度信息计算得到船舶旋转矩阵；
根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵；
通过单目相机获取包含船舶和目标点的图像，处理得到所述图像中像素点的像素坐标；
根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标；
根据所述像素点的相机物理坐标、所述***旋转矩阵和所述***平移矩阵，计算得到所述像素点在海面坐标系中的海面物理坐标；
根据所述海面物理坐标完成所述目标点与所述船舶之间的数据测量。
2.根据权利要求1所述的方法，其特征在于，测量单目相机的相机位姿角度信息，根据所述相机位姿角度信息计算得到相机旋转矩阵包括：
测量单目相机的相机位姿角度信息，所述相机位姿角度信息包括偏向角μ、俯仰角
Figure DEST_PATH_IMAGE002A
和 滚转角
Figure DEST_PATH_IMAGE004
，通过公式
Figure DEST_PATH_IMAGE006
计算得到相机 旋转矩阵R2。
3.根据权利要求1所述的方法，其特征在于，实时测量获取船舶的船舶位姿角度信息，根据所述船舶位姿角度信息计算得到船舶旋转矩阵包括：
实时测量获取船舶的船舶位姿角度信息，所述船舶位姿角度信息包括纵轴偏转角
Figure DEST_PATH_IMAGE008
和 横轴偏转角
Figure DEST_PATH_IMAGE010
，通过公式
Figure DEST_PATH_IMAGE012
计算得到船舶旋转矩阵R3。
4.根据权利要求1所述的方法，其特征在于，根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵包括：
根据所述相机旋转矩阵R2和所述船舶旋转矩阵R3，通过公式
Figure DEST_PATH_IMAGE014
计算得到***旋 转矩阵R；
根据所述海拔高度h和所述***旋转矩阵R，通过公式
Figure DEST_PATH_IMAGE016
计算得到***平移矩 阵
Figure DEST_PATH_IMAGE018
，其中，所述单目相机在海面坐标系中的平移向量
Figure DEST_PATH_IMAGE020
。
5.根据权利要求1所述的方法，其特征在于，在根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标之前，所述方法还包括：
通过所述单目相机获取包含标定板的图像，利用张正友相机标定算法计算出所述单目相机的内参数和畸变参数。
6.一种基于单目相机的海面测距***，其特征在于，所述***包括单目相机模块、陀螺仪模块和主机模块，其中，所述主机模块用于处理所述单目相机模块和所述陀螺仪模块提供的数据信息，运算生成海面测距结果；
所述单目相机模块测量单目相机的相机位姿角度信息和海拔高度，所述主机模块根据所述相机位姿角度信息计算得到相机旋转矩阵；
所述陀螺仪模块实时测量获取船舶的船舶位姿角度信息，所述主机模块根据所述船舶位姿角度信息计算得到船舶旋转矩阵；
所述主机模块根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵；
所述单目相机模块获取包含船舶和目标点的图像，所述主机模块处理得到所述图像中像素点的像素坐标；
所述主机模块根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标；
所述主机模块根据所述像素点的相机物理坐标、所述***旋转矩阵和所述***平移矩阵，计算得到所述像素点在海面坐标系中的海面物理坐标；
所述主机模块根据所述海面物理坐标完成所述目标点与所述船舶之间的数据测量。
7.根据权利要求6所述的***，其特征在于，所述单目相机模块测量单目相机的相机位姿角度信息，所述主机模块根据所述相机位姿角度信息计算得到相机旋转矩阵包括：
所述单目相机模块测量单目相机的相机位姿角度信息，所述相机位姿角度信息包括偏 向角μ、俯仰角
Figure DEST_PATH_IMAGE002AA
和滚转角
Figure DEST_PATH_IMAGE004A
，所述主机模块通过公式
Figure DEST_PATH_IMAGE021
计算得到相机旋转矩阵R2。
8.根据权利要求6所述的***，其特征在于，所述陀螺仪模块实时测量获取船舶的船舶位姿角度信息，所述主机模块根据所述船舶位姿角度信息计算得到船舶旋转矩阵包括：
所述陀螺仪模块实时测量获取船舶的船舶位姿角度信息，所述船舶位姿角度信息包括 纵轴偏转角
Figure DEST_PATH_IMAGE008A
和横轴偏转角
Figure DEST_PATH_IMAGE010A
，所述主机模块通过公式
Figure DEST_PATH_IMAGE012A
计算得到船舶旋转矩阵R3。
9.根据权利要求6所述的***，其特征在于，所述主机模块根据所述海拔高度、所述相机旋转矩阵和所述船舶旋转矩阵，计算得到***旋转矩阵和***平移矩阵包括：
所述主机模块根据所述相机旋转矩阵R2和所述船舶旋转矩阵R3，通过公式
Figure DEST_PATH_IMAGE014A
计 算得到***旋转矩阵R；
所述主机模块根据所述海拔高度h和所述***旋转矩阵R，通过公式
Figure DEST_PATH_IMAGE016A
计算得 到***平移矩阵
Figure DEST_PATH_IMAGE018A
，其中，所述单目相机在海面坐标系中的平移向量
Figure DEST_PATH_IMAGE020A
。
10.根据权利要求6所述的***，其特征在于，在所述主机模块根据所述像素坐标，以及所述单目相机的内参数和畸变参数，计算得到所述像素点在相机坐标系中的相机物理坐标之前还包括：
所述单目相机模块获取包含标定板的图像，所述主机模块通过张正友相机标定算法计算出所述单目相机的内参数和畸变参数。
CN202111235602.1A 2021-10-22 2021-10-22 一种基于单目相机的海面测距方法和*** Active CN113689492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111235602.1A CN113689492B (zh) 2021-10-22 2021-10-22 一种基于单目相机的海面测距方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111235602.1A CN113689492B (zh) 2021-10-22 2021-10-22 一种基于单目相机的海面测距方法和***

Publications (2)

Publication Number Publication Date
CN113689492A CN113689492A (zh) 2021-11-23
CN113689492B true CN113689492B (zh) 2022-02-11

Family

ID=78587748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111235602.1A Active CN113689492B (zh) 2021-10-22 2021-10-22 一种基于单目相机的海面测距方法和***

Country Status (1)

Country Link
CN (1) CN113689492B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509226A (zh) * 2018-11-27 2019-03-22 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质
CN109993798A (zh) * 2019-04-09 2019-07-09 上海肇观电子科技有限公司 多摄像头检测运动轨迹的方法、设备及存储介质
CN111429532A (zh) * 2020-04-30 2020-07-17 南京大学 一种利用多平面标定板提高相机标定精确度的方法
CN111681279A (zh) * 2020-04-17 2020-09-18 东南大学 基于改进李群非线性优化的行车吊臂空间位姿测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482410B (zh) * 2008-01-10 2010-10-13 宝山钢铁股份有限公司 一种图像测量***的标定方法
CN109523592A (zh) * 2018-10-19 2019-03-26 天津大学 一种基于摄像头的室内火焰定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509226A (zh) * 2018-11-27 2019-03-22 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质
CN109993798A (zh) * 2019-04-09 2019-07-09 上海肇观电子科技有限公司 多摄像头检测运动轨迹的方法、设备及存储介质
CN111681279A (zh) * 2020-04-17 2020-09-18 东南大学 基于改进李群非线性优化的行车吊臂空间位姿测量方法
CN111429532A (zh) * 2020-04-30 2020-07-17 南京大学 一种利用多平面标定板提高相机标定精确度的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SMT坐标平面旋转和平移的计算方法;李勇;《第十一届中国高端SMT学术会议论文集》;20171230;全文 *
野外大视场单相机空间坐标测量***的快速标定;王向军;《光学精工程》;20170730;第25卷(第7期);全文 *

Also Published As

Publication number Publication date
CN113689492A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
US10594941B2 (en) Method and device of image processing and camera
US20210227132A1 (en) Method for tracking target in panoramic video, and panoramic camera
WO2018153374A1 (zh) 相机标定
CN106846409B (zh) 鱼眼相机的标定方法及装置
US20120308126A1 (en) Corresponding image processing method for compensating colour
US8755624B2 (en) Image registration device and method thereof
WO2017076106A1 (zh) 图像的拼接方法和装置
CN104994367B (zh) 一种图像矫正方法以及摄像头
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
CN111711756A (zh) 一种图像防抖方法、电子设备及存储介质
CN113222878B (zh) 一种图像拼接方法
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN111489288B (zh) 一种图像的拼接方法和装置
CN111340737B (zh) 图像矫正方法、装置和电子***
CN112465877A (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN111429530B (zh) 一种坐标标定方法及相关装置
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
CN113689492B (zh) 一种基于单目相机的海面测距方法和***
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
CN115174878B (zh) 投影画面校正方法、装置和存储介质
JP2005275789A (ja) 三次元構造抽出方法
CN112241984A (zh) 双目视觉传感器标定方法、装置、计算机设备和存储介质
CN112254812B (zh) 相机谱段重叠区域的计算方法、装置、设备及存储介质
CN112927276B (zh) 图像配准方法、装置、电子设备及存储介质
Dunn et al. A geometric solver for calibrated stereo egomotion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A sea surface ranging method and system based on monocular camera

Effective date of registration: 20231202

Granted publication date: 20220211

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: Zhejiang Jianmu Intelligent System Co.,Ltd.

Registration number: Y2023330002915

PE01 Entry into force of the registration of the contract for pledge of patent right