CN112396662B - 一种转换矩阵修正的方法及装置 - Google Patents
一种转换矩阵修正的方法及装置 Download PDFInfo
- Publication number
- CN112396662B CN112396662B CN201910746151.4A CN201910746151A CN112396662B CN 112396662 B CN112396662 B CN 112396662B CN 201910746151 A CN201910746151 A CN 201910746151A CN 112396662 B CN112396662 B CN 112396662B
- Authority
- CN
- China
- Prior art keywords
- matrix
- coordinate system
- camera
- conversion matrix
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 362
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 title claims description 19
- 230000009466 transformation Effects 0.000 claims description 43
- 238000013519 translation Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 12
- 238000004590 computer program Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种转换矩阵修正的方法及装置,应用于摄像机中,其中所述方法包括:获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵,所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定;检测本摄像机的姿态参数的当前值与标定值是否不同;若是,依据所述姿态参数的当前值和标定值修正所述初始转换矩阵,得到修正后的目标转换矩阵。本实施例可以自动实现两个坐标系之间的较准,省去重新标定的过程,自动化程度较高。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种转换矩阵修正的方法及装置。
背景技术
目前,由于可见光摄像机的探测范围宽、信号丰富,在环境感知的过程中得到了广泛的应用,但它易受外界因素影响,存在目标缺失、模糊等问题。近些年来,随着雷达技术的逐步发展,使用雷达进行目标探测已得到广泛应用,雷达具有目标探测原理简单,精度高、速度快,不受外界光照条件的影响等优点,其提供的目标探测结果和摄像机的色彩信息具有很强的互补性,因此融合两者的信息成为当今的研究热点。这种融合方式可以应用到很多场合,例如环境感知、障碍检测、机器人导航、三维重建和纹理映射等。
通常摄像机采用相机坐标系来采集目标的位置信息,而雷达采用雷达坐标系来采集目标的位置信息,为了将相机坐标系与雷达坐标***一到同一个坐标系中,通常采用转换矩阵来进行两者的转换。
然而在某些应用场景(比如交通监控)中,摄像机的角度会发生变化,这样原有的转换矩阵就无法使用了,需要重新对摄像机及雷达进行标定以得到新的转换矩阵。
发明内容
有鉴于此,本申请提供一种转换矩阵修正的方法及装置。
具体地,本申请是通过如下技术方案实现的:
第一方面,本申请实施例提供了一种转换矩阵修正的方法,所述方法应用于摄像机中,包括:
获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵,所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定;
检测本摄像机的姿态参数的当前值与标定值是否不同;
若是,依据所述姿态参数的当前值和标定值修正所述初始转换矩阵,得到修正后的目标转换矩阵。
可选地,所述依据所述姿态参数的当前值和标定值修正所述初始转换矩阵,得到修正后的目标转换矩阵包括:
依据所述姿态参数的当前值和标定值确定旋转矩阵;
依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵。
可选地,所述姿态参数包括偏航角、俯仰角;所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵,所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵;
所述依据所述姿态参数的当前值和标定值确定旋转矩阵包括:
依据所述偏航角的当前值和标定值的差△p计算第一旋转矩阵,所述第一旋转矩阵包括所述△p的余弦值、所述△p的正弦值以及所述△p的反正弦值;
依据所述俯仰角的当前值和标定值的差△t计算第二旋转矩阵,所述第二旋转矩阵包括所述△t的余弦值、所述△t的正弦值以及所述△t的反正弦值。
可选地,所述依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵包括:
确定所述摄像机进行平移的平移向量,其中,若所述摄像机没有进行平移,则所述平移向量为1*3的0向量;
计算所述平移向量与所述第一旋转矩阵的齐次矩阵,获得第一转换矩阵;
计算所述平移向量与所述第二旋转矩阵的齐次矩阵,获得第二转换矩阵;
将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第一转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵。
可选地,所述方法还包括:
获取雷达采集的目标物体在所述雷达坐标系下的雷达坐标信息;
根据所述目标转换矩阵,将所述雷达坐标信息转换为所述摄像机坐标系下的摄像机坐标信息;
按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。
第二方面,本申请实施例提供了一种转换矩阵修正的装置,所述装置应用于摄像机中,包括:
初始转换矩阵获取模块,用于获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵,所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定;
姿态参数检测模块,用于检测本摄像机的姿态参数的当前值与标定值是否不同,若是,则调用修正模块;
修正模块,用于依据所述姿态参数的当前值和标定值修正所述初始转换矩阵,得到修正后的目标转换矩阵。
可选地,所述修正模块包括:
旋转矩阵确定子模块,用于依据所述姿态参数的当前值和标定值确定旋转矩阵;
目标转换矩阵确定子模块,用于依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵。
可选地,所述姿态参数包括偏航角、俯仰角;所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵,所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵;
所述旋转矩阵确定子模块具体用于:
依据所述偏航角的当前值和标定值的差△p计算第一旋转矩阵,所述第一旋转矩阵包括所述△p的余弦值、所述△p的正弦值以及所述△p的反正弦值;
依据所述俯仰角的当前值和标定值的差△t计算第二旋转矩阵,所述第二旋转矩阵包括所述△t的余弦值、所述△t的正弦值以及所述△t的反正弦值。
可选地,所述目标转换矩阵确定子模块具体用于:
确定所述摄像机进行平移的平移向量,其中,若所述摄像机没有进行平移,则所述平移向量为1*3的0向量;
计算所述平移向量与所述第一旋转矩阵的齐次矩阵,获得第一转换矩阵;
计算所述平移向量与所述第二旋转矩阵的齐次矩阵,获得第二转换矩阵;
将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第一转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵。
可选地,所述装置还包括:
雷达坐标信息获取模块,用于获取雷达采集的目标物体在所述雷达坐标系下的雷达坐标信息;
雷达坐标信息转换模块,用于根据所述目标转换矩阵,将所述雷达坐标信息转换为所述摄像机坐标系下的摄像机坐标信息;
图像坐标信息转换模块,用于按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。
本申请实施例具有如下有益效果:
在本实施例中,当检测到摄像机的姿态参数的当前值与预先标定的标定值不同时,可以对已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵进行修正,来实现两个坐标系之间的较准,省去重新标定的过程,自动化程度较高。
附图说明
图1是本申请一示例性实施例示出的一种转换矩阵修正的方法实施例的步骤流程图;
图2是本申请一示例性实施例示出的另一种转换矩阵修正的方法实施例的步骤流程图;
图3是本申请一示例性实施例示出的又一种转换矩阵修正的方法实施例的步骤流程图;
图4是本申请的装置所在设备的一种硬件结构图;
图5是本申请一示例性实施例示出的一种转换矩阵修正的装置实施例的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参考图1,示出了本申请一示例性实施例示出的一种转换矩阵修正的方法实施例的步骤流程图,本实施例可以应用于摄像机中,示例性地,该摄像机可以包括但不限于枪型摄像机等。
本实施例具体可以包括如下步骤:
步骤101,获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵。
在一种例子中,摄像机坐标系可以为本摄像机应用的三维坐标系,雷达坐标系可以为雷达(如毫米波雷达、激光雷达等)应用的三维坐标系。
在一种实施方式中,可以预先对摄像机坐标系以及雷达坐标系进行标定,并将标定后得到的摄像机坐标系与雷达坐标系进行坐标转换确定的初始转换矩阵等信息存储在指定存储介质中,例如,将该初始转换矩阵存储在本摄像机的内存中,以便于在需要时直接从该指定存储介质中读取该初始转换矩阵,提高初始转换矩阵的获取效率。
本实施例对摄像机坐标系以及雷达坐标系进行标定的标定方式不作限定,例如可以包括内参标定、外参标定等,本领域技术人员可以根据实际需求选取相关的标定方式。
示例性地,转换矩阵可以包括旋转矩阵R以及平移向量t,例如,转换矩阵可以表示为:
假设摄像机坐标系为(xc,yc,zc)、雷达坐标系为(xr,yr,zr),根据转换矩阵,摄像机坐标系与雷达坐标系可以进行如下转换:
步骤102,检测本摄像机的姿态参数的当前值与标定值是否不同,若是,则执行步骤103。
在一种例子中,在对摄像机坐标系以及雷达坐标系进行标定后,还可以获得本摄像机的各姿态参数的标定值以及参与标定的雷达的姿态参数的标定值。上述标定值可以连同初始转换矩阵一起存储在指定存储介质中,待需要时可以直接从该存储介质中读取相应的标定值。
在一种实施方式中,在摄像机工作的过程中,可能会因为安装角度或视角等问题需要进行角度等姿态调整,本实施例可以通过检测摄像机的姿态参数的当前值与标定值是否不同,来检测摄像机的姿态是否发生变化,即在判定摄像机的姿态参数的当前值与标定值不同时,则判定摄像机的姿态发生变化。
示例性地,姿态参数可以包括但不限于偏航角、俯仰角、横滚角等姿态角参数。俯仰角就是绕Pitch Axis(X轴)旋转的角度,一般在0-90度;偏航角就是绕Yaw Axis(Y轴)旋转的角度,一般在0-180度;滚转角就是绕Roll Axis(Z轴)旋转的角度。
在实现时,可以通过读取摄像机的电机转动程度来获取姿态参数的当前值。
步骤103,依据所述姿态参数的当前值和标定值修正所述初始转换矩阵,得到修正后的目标转换矩阵。
在该步骤中,当检测到摄像机的姿态参数的当前值与标定值不同时,即判定摄像机的姿态发生变化时,根据运动的相对性,若摄像机转动某个角度而目标对象不动,等价于目标对象按反方向转动相同角度而摄像机不动。因此,为了确保摄像机坐标系与雷达坐标系的对准,可以对初始转换矩阵进行修正,通过对初始转换矩阵的自适应调整,能够避免重新对摄像机坐标系及雷达坐标系进行标定。
在本实施例的一种可能的实施方式中,步骤103可以包括如下子步骤:
子步骤S11,依据所述姿态参数的当前值和标定值确定旋转矩阵。
在一种实施方式中,得到姿态参数的当前值以及标定值以后,可以根据该当前值以及标定值,确定姿态变化值,然后可以根据该姿态变化值对对应的旋转矩阵进行更新。
在一种例子中,若姿态参数为偏航角,则对应的旋转矩阵可以称为第一旋转矩阵,可以依据偏航角的当前值和标定值的差△p计算第一旋转矩阵。
在该实施例中,第一旋转矩阵又可以称为偏航角旋转矩阵,例如,按照设定的算法设置的3*3的初始偏航角旋转矩阵为:
在上式中,θ为偏航角。
在摄像机的偏航角发生变化时,可以计算偏航角的当前值和标定值的差△p,例如,根据设定的运算方法△p=标定值-当前值,然后根据该△p对初始偏航角旋转矩阵进行修正。
一种示例性的修正方式可以为:将△p替换初始偏航角旋转矩阵中的偏航角θ,即修正后的偏航角旋转矩阵包括△p的余弦值、△p的正弦值以及△p的反正弦值,修正后的偏航角旋转矩阵为:
在另一种例子中,若姿态参数为俯仰角,则对应的旋转矩阵可以称为第二旋转矩阵,可以依据俯仰角的当前值和标定值的差△t计算第二旋转矩阵。
在该实施例中,第二旋转矩阵又可以称为俯仰角旋转矩阵,例如,按照设定的算法设置的3*3的初始俯仰角旋转矩阵为:
在上式中,ψ为俯仰角。
在摄像机的俯仰角发生变化时,可以计算俯仰角的当前值和标定值的差△t,例如,根据设定的运算方法△t=标定值-当前值,然后根据该△t对初始俯仰角旋转矩阵进行修正。
一种示例性的修正方式可以为:将△t替换初始俯仰角旋转矩阵中的俯仰角ψ,即修正后的俯仰角旋转矩阵包括△t的余弦值、△t的正弦值以及△t的反正弦值,修正后的俯仰角旋转矩阵为:
在实际中,由于摄像机的姿态发生变化时,一般不会进行滚转角的转动,因此本实施例可以将滚转角忽略。当然,若摄像机的滚转角发生变化时,也可以参照上述偏航角以及俯仰角的旋转矩阵的更新方式,采用滚转角的标定值与当前值的差值更新滚转角旋转矩阵。
需要说明的是,上述旋转矩阵是在右手坐标系下确定的,摄像机的偏航角或俯仰角旋转的正方向由右手法则确认。如果摄像机的偏航角或俯仰角旋转的正方向和右手法则不一致,则可以取旋转的反方向,即在△p或△t前面加上一个负号“-”。
子步骤S12,依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵。
在该实施例中,在更新旋转矩阵以后,可以依据更新的旋转矩阵修正初始转换矩阵,以得到目标转换矩阵。
在本实施例的一种可能的实施方式中,子步骤S12进一步可以包括如下子步骤:
子步骤S121,确定所述摄像机进行平移的平移向量,其中,若所述摄像机没有进行平移,则所述平移向量为1*3的0向量。
平移向量描述了在摄像机坐标系下空间原点的位置。在实际中,由于摄像机通常只进行旋转,不进行平移,即平移向量是1*3的0向量。
子步骤S122,计算所述平移向量与所述第一旋转矩阵的齐次矩阵,获得第一转换矩阵。
在一种例子中,若摄像机的偏航角发生变化,则计算平移向量t与第一旋转矩阵Rp的齐次矩阵得到的第一转换矩阵可以为:
子步骤S123,计算所述平移向量与所述第二旋转矩阵的齐次矩阵,获得第二转换矩阵。
若摄像机的俯仰角发生变化,则计算平移向量t与第二旋转矩阵Rt的齐次矩阵得到的第二转换矩阵可以为:
子步骤S124,将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;或者,将所述第一转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;或者,将所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵。
需要说明的是,设定运算可以根据实际业务需求设定,本实施例对此不作限制,例如,设定运算可以包括相乘运算、相加运算、相除运算等。
在一个例子中,当设定运算为相乘运算时,则目标转换矩阵的可以为:
需要说明的是,在上式中,是在设备的偏航角以及俯仰角均发生变化的情况下得到的目标转换矩阵,若只有偏航角或俯仰角其中之一发生变化,则只需要将发生变化的姿态角对应的转换矩阵与原始转换矩阵相乘即可。
在其他例子中,目标转换矩阵还可以为上式中三者的乘积再乘以设定值,本实施例对此不作显示。
在本实施例中,当检测到摄像机的姿态参数的当前值与预先标定的标定值不同时,可以对已标定的摄像机的摄像机坐标系与雷达的雷达坐标系之间的初始转换矩阵进行修正,来实现两个坐标系之间的较准,省去重新标定的过程,自动化程度较高。
参考图2,示出了本申请一示例性实施例示出的另一种转换矩阵修正的方法实施例的步骤流程图,本实施例基于图1的实施例,描述了根据目标转换矩阵将雷达坐标系转换为图像坐标系的过程,如图2所示,在步骤103之后,本实施例还可以包括如下步骤:
步骤104,获取雷达采集的目标物体在雷达坐标系下的雷达坐标信息。
步骤105,根据所述目标转换矩阵,将所述雷达坐标信息转换为摄像机坐标系下的摄像机坐标信息。
步骤106,按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。
在本实施例中,在确定目标转换矩阵以后,在一种可能的应用场景中,当雷达采集目标物体在雷达坐标系下的雷达坐标信息以后,可以根据该目标转换矩阵,将雷达坐标信息转换为摄像机坐标系下的摄像机坐标信息。得到摄像机坐标信息以后,可以按照摄像机坐标系与图像坐标系之间的转换关系将摄像机坐标信息转换为图像坐标系下的图像坐标信息,根据修正后的目标转换坐标进行摄像机坐标系与雷达坐标系的转换,可以确保摄像机坐标系与雷达坐标系能够准确的较准在同一坐标系中,从而确保获得的图像坐标信息的准确性。
参考图3,示出了本申请一示例性实施例示出的又一种转换矩阵修正的方法实施例的步骤流程图,在本实施例中,示例性地说明了摄像机坐标系与雷达坐标系之间的转换矩阵的修正过程。
例如,在图3适用的一些示例性场景中,如智能交通、安防等场景,可以同时使用雷达及摄像机进行目标探测,利用投影变换,将雷达探测到的目标点投射到摄像机图像上,从而为目标识别提供更多的信息,提升目标检出的置信度。
在本示例中,假设摄像机的偏航角和俯仰角发生变化而雷达不变,根据运动的相对性,摄像机转动某个角度而目标物体不动,可以等价于目标物体按反方向转动相同角度而摄像机不动,在这种情况下在先标定的初始转换矩阵就无法使用了,因此当将雷达坐标采用初始转换矩阵转换之后,还需要根据偏航角和俯仰角的变化进行二次修正。
如图3所示,本示例可以包括如下步骤:
步骤301,获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵。
由于摄像机和雷达的位置以及朝向不一致,摄像机的摄像机坐标系和雷达的雷达坐标系之间需要通过转换矩阵进行转换。
在一种实施方式中,在对摄像机坐标系以及雷达坐标系标定后,可以将标定得到的摄像机坐标系与雷达坐标系之间的初始转换矩阵,以及摄像机的姿态参数的标定值存储于摄像机的内存中。在需要时,可以直接从本摄像机的内存中读取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵。
示例性地,初始转换矩阵即为初始的外参矩阵,可以包括:旋转矩阵R以及平移向量t。即初始转换矩阵可以表示为:
即,R代表3×3的旋转矩阵,而t则代表1×3的平移向量,这两个向量就构成了初始转换矩阵。
步骤302,分别检测本摄像机的偏航角及俯仰角的当前值与标定值是否不同,若是,则执行步骤303。
在摄像机工作的过程中可能会进行姿态调整,例如由于安装角度或者视角问题需要进行偏航角及俯仰角的调整。当进行角度调整时,摄像机可以检测自身的角度变化,并获取偏航角及俯仰角的当前值,然后分别判断偏航角及俯仰角的当前值与标定值是否不同。
在一种实现方式中,摄像机可以通过读取电机转动程度来获取偏航角及俯仰角的当前值。
需要说明的是,旋转矩阵R可以包括三个坐标轴的旋转矩阵,即偏航角旋转矩阵、俯仰角旋转矩阵以及滚转角旋转矩阵。但由于摄像机一般不会进行滚转角的转动,因此可以将滚转角旋转矩阵忽略。
步骤303,依据所述偏航角的当前值和标定值的差△p计算第一旋转矩阵。
在一种实现中,偏航角的标定值可以从摄像机内存中读取。
假设摄像机标定后偏航角的标定值为p,偏航角的当前值为p′,则在一种例子中,Δp=p-p′。
在本实施例中,第一旋转矩阵可以为根据△p修正后的偏航角旋转矩阵。例如,假设偏航角旋转矩阵如下:
可以将偏航角旋转矩阵中的偏航角θ采用△p替代,则得到修正后的偏航角旋转矩阵如下:
步骤304,依据所述俯仰角的当前值和标定值的差△t计算第二旋转矩阵。
在一种实现中,俯仰角的标定值可以从摄像机内存中读取。
假设摄像机标定后俯仰角的标定值为t,俯仰角的当前值为t′,则Δt=t-t′。
在本实施例中,第二旋转矩阵可以为根据△t修正后的俯仰角旋转矩阵。例如,假设俯仰角旋转矩阵如下:
可以将俯仰角旋转矩阵中的俯仰角ψ采用△t替代,则得到修正后的俯仰角旋转矩阵如下:
需要说明的是,上述旋转矩阵是在右手坐标系下计算的,偏航角和俯仰角旋转的正方向由右手法则确认。如果摄像机旋转的正方向和右手法则不一致,则可以在△p和△t前加一个负号。
步骤305,确定所述摄像机进行平移的平移向量,其中,若所述摄像机没有进行平移,则所述平移向量为1*3的0向量。
步骤306,计算所述平移向量与所述第一旋转矩阵的齐次矩阵,得到第一转换矩阵。
步骤307,计算所述平移向量与所述第二旋转矩阵的齐次矩阵,获得第二转换矩阵。
在一种例子中,根据旋转矩阵与转换矩阵的关系,由第一旋转矩阵Rp生成的第一转换矩阵可以为:由第二旋转矩阵Rt生成的第二转换矩阵可以为:/>
在一些可能的场景中,由于摄像机通常只进行旋转,不进行平移,即平移向量是零向量,则第一转换矩阵为第二转换矩阵为/>
步骤308,将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵。
在本实施例中,设定运算可以根据实际业务需求设定,例如,当设定运算为相乘运算,摄像机只进行旋转,不进行平移时,则目标转换矩阵为:
即,
步骤309,获取雷达采集的目标物体在雷达坐标系下的雷达坐标信息。
在一种实施方式中,雷达在采集到目标物体在雷达坐标系下的雷达坐标信息以后,可以将该雷达坐标信息发送至摄像机中。
需要说明的是,假设雷达坐标信息为(xr,yr,zr),由于某些雷达(如毫米波雷达)能探测的只是一个平面,而不是三维空间,因此这些雷达只能发送x和y两个方向的坐标,无法探测到z方向。这种情况下,摄像机可以将二维坐标补成三维坐标,其中一种将二维坐标补成三维坐标的示例性方式可以为:将zr补成一个常数,例如,如果目标物体在地面上,则将zr补成数值0。又如,假设目标物体是人,人的中心可以认为离地面0.85米,则常数可以是0.85。
步骤3010,根据所述目标转换矩阵,将所述雷达坐标信息转换为摄像机坐标系下的摄像机坐标信息。
例如,根据已修正的目标转换矩阵,将雷达坐标信息(xr,yr,zr)转换为摄像机坐标系下的摄像机坐标信息(xc,yc,zc)的方式可以为:
步骤311,按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。
在一种实施方式中,根据摄像机的成像原理,可以采用如下公式将摄像机坐标信息转换为图像坐标系下的图像坐标信息:
其中,(dx,dy)表示每个像素在图像平面x和y方向上的物理尺寸,(u0,v0)是图像坐标系原点在像素坐标系中的坐标,f则是摄像机的焦距。这些值是摄像机硬件的固有内参,不会随转动而变化,且可以通过标准化的标定流程确定。
在本实施例中,在摄像机的使用过程中(如交通流量监测等),需要调整偏航角或俯仰角的需求下,能够自适应调整初始转换矩阵,实现在摄像机的角度调整时自动调整相应的转换矩阵,也就是随着摄像机的偏航角或俯仰角度的变化,摄像机与雷达直接的相对位置随着变化,摄像机与雷达之间的转换矩阵也跟着变化,而无需额外的标定过程。
需要说明的是,本申请实施例中的转换矩阵修正的原理还可以适用于其他应用不同坐标系的设备之间进行坐标系较准,例如,本实施例的原理还可以适用于如下场景:雷达的角度发生变化但摄像机的角度不变的场景(根据运动的相对性,雷达顺时针转a度,相当于相机逆时针转a度),或者,使用不同坐标系的摄像机之间的较准;或者,使用不同坐标系的雷达之间的较准,等等。
与前述方法的实施例相对应,本申请还提供了一种转换矩阵修正的装置的实施例。
本申请的装置实施例可以应用在摄像机中。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本申请的装置所在设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常根据该装置的实际功能,还可以包括其他硬件,对此不再赘述。
请参考图5,示出了本申请一示例性实施例示出的一种转换矩阵修正的装置实施例的结构框图,所述装置应用于摄像机,具体可以包括如下模块:
初始转换矩阵获取模块501,用于获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵,所述初始转换矩阵基于三维的雷达坐标系与三维的摄像机坐标系进行坐标转换确定;
姿态参数检测模块502,用于检测本摄像机的姿态参数的当前值与标定值是否不同,若是,则调用修正模块;
修正模块503,用于依据所述姿态参数的当前值和标定值修正所述初始转换矩阵,得到修正后的目标转换矩阵。
在本实施例的一种可能的实施方式中,所述修正模块503包括:
旋转矩阵确定子模块,用于依据所述姿态参数的当前值和标定值确定旋转矩阵;
目标转换矩阵确定子模块,用于依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵。
在本实施例的一种可能的实施方式中,所述姿态参数包括偏航角、俯仰角;所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵,所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵;
所述旋转矩阵确定子模块具体用于:
依据所述偏航角的当前值和标定值的差△p计算第一旋转矩阵,所述第一旋转矩阵包括所述△p的余弦值、所述△p的正弦值以及所述△p的反正弦值;
依据所述俯仰角的当前值和标定值的差△t计算第二旋转矩阵,所述第二旋转矩阵包括所述△t的余弦值、所述△t的正弦值以及所述△t的反正弦值。
在本实施例的一种可能的实施方式中,所述目标转换矩阵确定子模块具体用于:
确定所述摄像机进行平移的平移向量,其中,若所述摄像机没有进行平移,则所述平移向量为1*3的0向量;
计算所述平移向量与所述第一旋转矩阵的齐次矩阵,得到第一转换矩阵;
计算所述平移向量与所述第二旋转矩阵的齐次矩阵,获得第二转换矩阵;
将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第一转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵。
在本实施例的一种可能的实施方式中,所述装置还包括:
雷达坐标信息获取模块,用于获取雷达采集的目标物体在所述雷达坐标系下的雷达坐标信息;
雷达坐标信息转换模块,用于根据所述目标转换矩阵,将所述雷达坐标信息转换为所述摄像机坐标系下的摄像机坐标信息;
图像坐标信息转换模块,用于按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法实施例的步骤。
本申请实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法实施例的步骤。
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位***(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和***通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (6)
1.一种转换矩阵修正的方法,其特征在于,所述方法应用于摄像机中,包括:
获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵,所述初始转换矩阵通过对三维的摄像机坐标系以及三维的雷达坐标系进行标定,并将标定后得到的三维的摄像机坐标系与三维的雷达坐标系进行坐标转换而确定的;所述初始转换矩阵包括初始旋转矩阵;
检测本摄像机的姿态参数的当前值与标定值是否不同;所述姿态参数包括偏航角和/或俯仰角;
若是,依据所述姿态参数的当前值和标定值,对所述姿态参数对应的初始旋转矩阵进行更新,以确定旋转矩阵,所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵,所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵;依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵;
其中,所述依据所述姿态参数的当前值和标定值,对所述姿态参数对应的初始旋转矩阵进行更新,以确定旋转矩阵包括:
依据所述偏航角的当前值和标定值的差△p,依据所述△p对所述偏航角对应的初始偏航角矩阵进行修正,以确定第一旋转矩阵,所述第一旋转矩阵包括所述△p的余弦值、所述△p的正弦值以及所述△p的反正弦值;
依据所述俯仰角的当前值和标定值的差△t,依据所述△t对所述俯仰角对应的初始俯仰角矩阵进行修正,以确定第二旋转矩阵,所述第二旋转矩阵包括所述△t的余弦值、所述△t的正弦值以及所述△t的反正弦值。
2.根据权利要求1所述的方法,其特征在于,所述依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵包括:
确定所述摄像机进行平移的平移向量,其中,若所述摄像机没有进行平移,则所述平移向量为1*3的0向量;
计算所述平移向量与所述第一旋转矩阵的齐次矩阵,获得第一转换矩阵;
计算所述平移向量与所述第二旋转矩阵的齐次矩阵,获得第二转换矩阵;
将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第一转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述方法还包括:
获取雷达采集的目标物体在所述雷达坐标系下的雷达坐标信息;
根据所述目标转换矩阵,将所述雷达坐标信息转换为所述摄像机坐标系下的摄像机坐标信息;
按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。
4.一种转换矩阵修正的装置,其特征在于,所述装置应用于摄像机中,包括:
初始转换矩阵获取模块,用于获取已标定的摄像机坐标系与雷达坐标系之间的初始转换矩阵,所述初始转换矩阵通过对三维的摄像机坐标系以及三维的雷达坐标系进行标定,并将标定后得到的三维的摄像机坐标系与三维的雷达坐标系进行坐标转换而确定的;所述初始转换矩阵包括初始旋转矩阵;
姿态参数检测模块,用于检测本摄像机的姿态参数的当前值与标定值是否不同,所述姿态参数包括偏航角和/或俯仰角;若是,则调用修正模块;
修正模块,用于依据所述姿态参数的当前值和标定值,对所述姿态参数对应的初始旋转矩阵进行更新,以确定旋转矩阵,所述旋转矩阵包括第一旋转矩阵以及第二旋转矩阵,所述第一旋转矩阵及所述第二旋转矩阵均为3*3的矩阵;依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵;
所述修正模块在执行所述依据所述姿态参数的当前值和标定值,对所述姿态参数对应的初始旋转矩阵进行更新,以确定旋转矩阵步骤时,具体用于:
依据所述偏航角的当前值和标定值的差△p,依据所述△p对所述偏航角对应的初始偏航角矩阵进行修正,以确定第一旋转矩阵,所述第一旋转矩阵包括所述△p的余弦值、所述△p的正弦值以及所述△p的反正弦值;
依据所述俯仰角的当前值和标定值的差△t,依据所述△t对所述俯仰角对应的初始俯仰角矩阵进行修正,以确定第二旋转矩阵,所述第二旋转矩阵包括所述△t的余弦值、所述△t的正弦值以及所述△t的反正弦值。
5.根据权利要求4所述的装置,其特征在于,所述修正模块在执行依据所述旋转矩阵修正所述初始转换矩阵得到修正后的目标转换矩阵步骤时,具体用于:
确定所述摄像机进行平移的平移向量,其中,若所述摄像机没有进行平移,则所述平移向量为1*3的0向量;
计算所述平移向量与所述第一旋转矩阵的齐次矩阵,获得第一转换矩阵;
计算所述平移向量与所述第二旋转矩阵的齐次矩阵,获得第二转换矩阵;
将所述第一转换矩阵以及所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第一转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵;
或者,
将所述第二转换矩阵与所述初始转换矩阵进行设定运算,得到目标转换矩阵。
6.根据权利要求4-5任一项所述的装置,其特征在于,所述装置还包括:
雷达坐标信息获取模块,用于获取雷达采集的目标物体在所述雷达坐标系下的雷达坐标信息;
雷达坐标信息转换模块,用于根据所述目标转换矩阵,将所述雷达坐标信息转换为所述摄像机坐标系下的摄像机坐标信息;
图像坐标信息转换模块,用于按照摄像机坐标系与图像坐标系之间的转换关系将所述摄像机坐标信息转换为图像坐标系下的图像坐标信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910746151.4A CN112396662B (zh) | 2019-08-13 | 2019-08-13 | 一种转换矩阵修正的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910746151.4A CN112396662B (zh) | 2019-08-13 | 2019-08-13 | 一种转换矩阵修正的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112396662A CN112396662A (zh) | 2021-02-23 |
CN112396662B true CN112396662B (zh) | 2024-05-24 |
Family
ID=74602664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910746151.4A Active CN112396662B (zh) | 2019-08-13 | 2019-08-13 | 一种转换矩阵修正的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112396662B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115793698A (zh) * | 2023-02-07 | 2023-03-14 | 北京四维远见信息技术有限公司 | 自动姿态控制***和方法 |
CN117197258B (zh) * | 2023-09-21 | 2024-04-05 | 上海祎睿图像科技有限公司 | 一种基于分离平台的映射标定方法和*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07244156A (ja) * | 1994-03-07 | 1995-09-19 | Mitsubishi Electric Corp | 追尾レーダ装置 |
JP2012114593A (ja) * | 2010-11-22 | 2012-06-14 | Nippon Hoso Kyokai <Nhk> | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
CN102609953A (zh) * | 2010-12-02 | 2012-07-25 | 通用汽车环球科技运作有限责任公司 | 摄影机和距离传感器数据的多物体外观增强融合 |
CN103196418A (zh) * | 2013-03-06 | 2013-07-10 | 山东理工大学 | 一种弯道车距测量方法 |
CN106767540A (zh) * | 2016-12-19 | 2017-05-31 | 北京控制工程研究所 | 一种交会测量相机光轴与反射镜夹角误差标定方法 |
CN107247157A (zh) * | 2017-05-10 | 2017-10-13 | 哈尔滨工程大学 | 一种面向大姿态机动的四元数全角域转换欧拉角的获取方法 |
CN107833249A (zh) * | 2017-09-29 | 2018-03-23 | 南京航空航天大学 | 一种基于视觉引导的舰载机着陆过程姿态预估方法 |
CN109035309A (zh) * | 2018-07-20 | 2018-12-18 | 清华大学苏州汽车研究院(吴江) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 |
CN109887057A (zh) * | 2019-01-30 | 2019-06-14 | 杭州飞步科技有限公司 | 生成高精度地图的方法和装置 |
CN110108984A (zh) * | 2019-05-24 | 2019-08-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 电力巡线激光雷达***多传感器的空间关系同步方法 |
CN115049795A (zh) * | 2022-05-11 | 2022-09-13 | 成都信息工程大学 | 一种基于影像外方位元素的三维结构重建装置及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008203992A (ja) * | 2007-02-16 | 2008-09-04 | Omron Corp | 検出装置および方法、並びに、プログラム |
US8355539B2 (en) * | 2007-09-07 | 2013-01-15 | Sri International | Radar guided vision system for vehicle validation and vehicle motion characterization |
WO2010088290A1 (en) * | 2009-01-27 | 2010-08-05 | Arthur Thomas D | Tight optical intergation (toi) of images with gps range measurements |
US8964045B2 (en) * | 2012-01-31 | 2015-02-24 | Microsoft Corporation | Image blur detection |
WO2017122552A1 (ja) * | 2016-01-15 | 2017-07-20 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
US10241520B2 (en) * | 2016-12-22 | 2019-03-26 | TCL Research America Inc. | System and method for vision-based flight self-stabilization by deep gated recurrent Q-networks |
-
2019
- 2019-08-13 CN CN201910746151.4A patent/CN112396662B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07244156A (ja) * | 1994-03-07 | 1995-09-19 | Mitsubishi Electric Corp | 追尾レーダ装置 |
JP2012114593A (ja) * | 2010-11-22 | 2012-06-14 | Nippon Hoso Kyokai <Nhk> | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
CN102609953A (zh) * | 2010-12-02 | 2012-07-25 | 通用汽车环球科技运作有限责任公司 | 摄影机和距离传感器数据的多物体外观增强融合 |
CN103196418A (zh) * | 2013-03-06 | 2013-07-10 | 山东理工大学 | 一种弯道车距测量方法 |
CN106767540A (zh) * | 2016-12-19 | 2017-05-31 | 北京控制工程研究所 | 一种交会测量相机光轴与反射镜夹角误差标定方法 |
CN107247157A (zh) * | 2017-05-10 | 2017-10-13 | 哈尔滨工程大学 | 一种面向大姿态机动的四元数全角域转换欧拉角的获取方法 |
CN107833249A (zh) * | 2017-09-29 | 2018-03-23 | 南京航空航天大学 | 一种基于视觉引导的舰载机着陆过程姿态预估方法 |
CN109035309A (zh) * | 2018-07-20 | 2018-12-18 | 清华大学苏州汽车研究院(吴江) | 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法 |
CN109887057A (zh) * | 2019-01-30 | 2019-06-14 | 杭州飞步科技有限公司 | 生成高精度地图的方法和装置 |
CN110108984A (zh) * | 2019-05-24 | 2019-08-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 电力巡线激光雷达***多传感器的空间关系同步方法 |
CN115049795A (zh) * | 2022-05-11 | 2022-09-13 | 成都信息工程大学 | 一种基于影像外方位元素的三维结构重建装置及方法 |
Non-Patent Citations (3)
Title |
---|
Dezhi Gao等.A method of spatial calibration for camera and radar.《IEEE》.2010,全文. * |
王帅.基于激光雷达与摄像机的车辆辅助驾驶技术研究.《中国优秀硕士学位论文电子期刊》.2018,全文. * |
陈贵宾等.车载三维激光雷达外参数的分步自动标定算法.《中国激光》.2017,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN112396662A (zh) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110927708B (zh) | 智能路侧单元的标定方法、装置及设备 | |
CN110264520B (zh) | 车载传感器与车辆位姿关系标定方法、装置、设备和介质 | |
CN109613543B (zh) | 激光点云数据的修正方法、装置、存储介质和电子设备 | |
KR100884904B1 (ko) | 평행 투영 모델을 이용한 자기위치 인식 방법 | |
CN112396662B (zh) | 一种转换矩阵修正的方法及装置 | |
CN111220126A (zh) | 一种基于点特征和单目相机的空间物***姿测量方法 | |
WO2023035301A1 (en) | A camera calibration method | |
CN114578329A (zh) | 多传感器联合标定方法、设备、存储介质及程序产品 | |
CN112308930B (zh) | 相机外参标定方法、***及装置 | |
JP2017009555A (ja) | カメラのキャリブレーション装置、カメラのキャリブレーション方法およびカメラのキャリブレーションを行うためのプログラム | |
CN114241062A (zh) | 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 | |
Martins et al. | Monocular camera calibration for autonomous driving—a comparative study | |
CN115439528A (zh) | 一种获取目标对象的图像位置信息的方法与设备 | |
CN111429529B (zh) | 一种坐标转换的标定方法、电子设备以及计算机存储介质 | |
WO2020215296A1 (zh) | 可移动平台的巡线控制方法、设备、可移动平台及*** | |
CN112288821B (zh) | 一种相机外参标定的方法及装置 | |
WO2021056503A1 (zh) | 可移动平台的定位方法、装置、可移动平台及存储介质 | |
CN113654528B (zh) | 通过无人机位置和云台角度估测目标坐标的方法和*** | |
WO2023040137A1 (zh) | 数据处理 | |
CN116246029A (zh) | 数据同步方法、装置、终端设备及计算机可读存储介质 | |
CN113240754B (zh) | 确定ptz摄像装置的内参的方法、装置、设备及存储介质 | |
WO2022037370A1 (zh) | 一种运动估计方法及装置 | |
CN115511961A (zh) | 三维空间定位方法、***及存储介质 | |
CN110738706B (zh) | 一种基于航迹推测的快速机器人视觉定位方法 | |
WO2021134715A1 (zh) | 一种控制方法、设备、无人机及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |