CN105403230B - 物体坐标融合校正方法及其校正板装置 - Google Patents
物体坐标融合校正方法及其校正板装置 Download PDFInfo
- Publication number
- CN105403230B CN105403230B CN201510851764.6A CN201510851764A CN105403230B CN 105403230 B CN105403230 B CN 105403230B CN 201510851764 A CN201510851764 A CN 201510851764A CN 105403230 B CN105403230 B CN 105403230B
- Authority
- CN
- China
- Prior art keywords
- correction
- center
- coordinate
- parameter
- panel assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种物体坐标融合校正方法及其校正板装置,提供一校正板装置,其具有多个特征点与一中心反射元件,其中央具有一中心特征点,距离传感器发出距离感测信号至中心反射元件,以取得中心真实坐标,并利用摄影机外部与内部参数建立转换方程式,将中心真实坐标转换为中心影像坐标,最后撷取校正板装置的校正影像,搜寻中心特征点并将中心影像坐标投射至校正影像上,调整校正中心影像坐标至校正影像的中心特征点上,产生校正的内部与外部参数。本发明可将不同的***的坐标融合,并直接于校正板装置设置多个特征点,避免在影片手动设定特征点。
Description
技术领域
本发明涉及一种坐标融合方法,特别是指一种可融合多种传感器所侦测物体坐标的物体坐标融合校正方法及其校正板装置。
背景技术
提升行车安全为交通运输产业发展中的重要的一环,因此使用完善的障碍物侦测算法技术于车辆四周侦测行人、脚踏车、机车与汽车等是一项相当重要的技术。
目前各种车辆的感测***中,发展最成熟的***为影像撷取***及距离撷取***,利用多种不同传感器的信息进行融合,产生互补的效果,可达到良好的侦测效果,能有效的应用在障碍物的侦测***中。然而,由于摄影机所撷取的影像为通过内部参数以及外部参数等来判断障碍物的位置或深度等,但在利用摄影机计算出内部参数以及外部参数时,皆须以人工介入判断,并做相关参数的设定。举例来说,目前取得的摄影机内部参数以及外部参数的方法为利用摄影机拍摄取得校正装置的校正影像后,运用手动方式,撷取多张校正影像中的多个特征角点,藉此估算出摄影机的内部参数,当然估算摄影机外部参数的同时,亦须人工介入判断并做相关的参数设定,流程不仅耗时且缺乏便利性。
有鉴于此,本发明遂针对上述现有技术的不便性,提出一种物体坐标融合校正方法及其校正板装置,以有效克服上述多个问题。
发明内容
本发明的主要目的在于提供一种物体坐标融合校正方法及其校正板装置,其可转换不同***的坐标,将不同的***坐标融合,以于影像中呈现距离传感器所侦测出的障碍物的坐标,精确的估算出障碍物于影像中的位置。
本发明的另一目的在于提供一种物体坐标融合校正方法及其校正板装置,其可直接于对位装置上设置多个特征点,避免后续于影像中手动设定特征点,可加快计算速度。
为了达到上述目的,本发明提供了一种物体坐标融合校正方法,步骤包括,首先,提供一校正板装置,校正板装置中央具有至少一中心反射元件,且中心反射元件的中央具有一中心特征点;至少一距离传感器发出至少一距离感测信号至中心反射元件,以取得中心反射元件的中心真实坐标;利用一摄影机的外部参数以及内部参数建立一转换方程式,将中心真实坐标转换为一中心影像坐标;接着利用摄影机撷取校正板装置的至少一校正影像,以搜寻校正影像中的该中心特征点,并将中心影像坐标投射于校正影像上;最后使用估算算法调整误差,校正中心影像坐标对准于校正影像中的中心特征点上,以产生校正的内部参数与校正的外部参数。
在本发明的一实施例中,使用估算算法调整误差的步骤为使用蒙地卡罗算法进行校正,以调整该摄影机的该内部参数以及该外部参数,产生校正的该内部参数与校正的该外部参数。
在本发明的一实施例中,该转换方程式如下所示:
PI=HI·HE·PD
其中该PI为该中心影像坐标;该PD为该中心真实坐标;该HI为该内部参数;该HE为该外部参数。
在本发明的一实施例中,该内部参数以及该外部参数为通过该摄影机撷取该校正板装置的多个校正影像,并寻找出该校正板装置的多个特征点在该校正影像中及真实空间的对应关系,以求出该摄影机的该内部参数以及该外部参数。
在本发明的一实施例中,该外部参数还包括该摄影机与该距离传感器的相对位置。
在本发明的一实施例中,该距离传感器为雷达传感器或激光传感器。
在本发明的一实施例中,该中心反射元件具有一反射凹面。
另外,本发明亦提供一种使用于物体坐标融合校正方法的校正板装置,包括一板体和一中心反射元件,板体上具有一对位图案,且对位图案上具有多个特征点,利用摄影机撷取多个校正影像,以计算摄影机的内部参数以及外部参数,中心反射元件设置于对位图案中央,该中心反射元件具有一反射凹面,且反射凹面的中央还具有一中心特征点。
在本发明的一实施例中,该多个特征点以及该中心特征点为发光二极管。
在本发明的一实施例中,校正板装置还包括:
一切换开关控制器,设置于该板体上,并电性连接该多个发光二极管,该切换开关控制器用于开启或关闭该多个发光二极管以及切换该多个发光二极管所发射的光源的颜色;以及
一储能元件,设置于该板体上,并电性连接该多个发光二极管以及该切换开关控制器,以提供电能至该多个发光二极管以及该切换开关控制器。
在本发明的一实施例中,该发光二极管发光的颜色为红色、蓝色或绿色。
在本发明的一实施例中,该中心反射元件为金属三角形中心反射元件。
在本发明的一实施例中,该板体上相对于该对位图案的另一表面还具有两个把手杆。
下面通过具体实施例详加说明,当更容易了解本发明的目的、技术内容、特点及其所达成的功效。
附图说明
图1为本发明的***方块图;
图2A为本发明提供的校正板装置的正视图;
图2B为本发明提供的校正板装置的后视图;
图2C为本发明提供的校正板装置的***方块图;
图3为本发明的***定位融合方法流程图。
附图标记说明:10-校正板装置;12-板体;14-对位图案;16-特征点;18-中心反射元件;181-反射凹面;20-中心特征点;22-切换开关控制器;24-储能元件;26-把手杆;30-处理器;32-摄影机;34-距离传感器。
具体实施方式
如图1所示为本发明提供的应用于***定位融合方法的***,包括一校正板装置10,一处理器30电性连接一摄影机32以及距离传感器34。其中,校正板装置10如图2A以及图2B所示,校正板装置10包括一板体12,板体12为塑料板体,板体12上具有一对位图案14,本实施例举例对位图案14为黑白方格相间排列的棋盘状对位图案,且对位图案14上具有多个特征点16,其可为发光二极管,可发出光线,亦或可以其他可产生特征点的方式替代,如与对位图案14的颜色不同的贴纸,本实施例举例特征点16为发光二极管,特征点16可使摄影机32撷取多个校正影像后,不须使用手动定义特征点,只需通过特征点16所产生的光,搭配特定的光源特征搜寻算法,即可直接找到特征点16,以利于计算摄影机32的内部参数以及外部参数。板体12的对位图案14中央上还具有一中心反射元件18,其上具有一反射凹面181,中心反射元件18为三角形金属中心反射元件,如不锈钢材质,且反射凹面181中央还具有一中心特征点20,中心特征点20亦为发光二极管。其中上述所有发光二极管皆可发出红色、蓝色或绿色,以根据外部光线的不同,产生与外部光线对比的光线,以明显的显示特征点。如图2B以及图2C所示,板体12上且相对于对位图案14的另一表面具有一切换开关控制器22,切换开关控制器22电性连接发光二极管的特征点16以及中心特征点20,以开关并切换特征点16以及中心特征点20所发射的光源的颜色,因此即可根据环境的状态来改变特征点16以及中心特征点20所发射的光源的颜色,如在红外光线较多的环境下,可使用发出蓝色光的特征点16以及中心特征点20,使特征点16以及中心特征点20能突出,以利摄影机32辨识;板体12上且相对于对位图案14的另一表面还具有一储能元件24,储能元件24电性连接特征点16以及中心特征点20以及切换开关控制器22,以提供电能至特征点16、中心特征点20以及切换开关控制器22;板体12上且相对于对位图案14的另一表面还具有两个把手杆26,以便于使用者通过把手杆26拿取校正板装置10。
如图1以及图2A所示,摄影机32用以拍摄校正板装置10的对位图案14的影像,以产生多个校正影像,将校正影像提供给处理器30,使处理器30寻找出校正板装置10的多个特征点16,以根据校正影像及真实空间的对应关系求出摄影机32的内部参数以及外部参数;一距离传感器34为雷达传感器或激光传感器,可发出一距离感测信号至中心反射元件18的反射凹面181上,以取得校正板装置10的反射凹面181的真实空间的坐标。
在上述说明完应用于***定位融合方法的***后,接续说明本发明的***定位融合方法步骤流程,如图1至图3所示,***定位融合方法首先进入步骤S10,提供一校正板装置10,其校正板装置10的结构如上述,故不重复叙述;接着进入步骤S12,距离传感器34发出至少一距离感测信号至校正板装置10的中心反射元件18的反射凹面181,以取得反射凹面181的中心真实坐标;接着进入步骤S14,利用摄影机32的外部参数以及内部参数建立一转换方程式,将中心真实坐标转换为可投影于影像中的一中心影像坐标,其中转换方程式(1)如下所示:
PI=HI·HE·PD (1)
其中PI为中心影像坐标;PD为中心真实坐标;HI为内部参数(IntrinsicParameter);HE为外部参数(Extrinsic Parameter)。
上述摄影机32的内部参数以及外部参数通过摄影机32撷取校正板装置10的多个校正影像后,通过参数校正软件Caltech Camera Calibration Toolbox的判断所产生,Caltech Camera Calibration Toolbox为加州理工学院所发展的摄影机校正工具,可寻找出校正板装置10上的多个特征点16后,再比对校正影像及真实空间的对应关系,取得水平的焦距尺度系数、垂直的焦距尺度系数、影像坐标中心点、旋转矩阵与平移矩阵、轴的角度参数等,藉此求出摄影机32的内部参数以及外部参数。
其中内部参数的目的是将摄影机32的坐标转换到影像坐标,即为摄影机模型的三维坐标转换至二维的影像空间坐标,其中内部参数为通过一内部参数方程式取得,内部参数方程式(2)如下所示:
其中HI为内部参数;fx为水平的焦距尺度系数;fy为垂直的焦距尺度系数;u0与v0为影像坐标中心点。
外部参数的目的为将真实的三维坐标***空间的坐标转换成三维摄影机坐标***,本发明的外部参数还包括了摄影机32与距离传感器34的相对位置,将摄影机32与距离传感器34的相对位置带入外部参数中,外部参数方程式(3)如下所示:
其中HE为外部参数;其中R与T分别表示旋转矩阵与平移矩阵;γi、αi、βi为摄影机坐标***相对于距离传感器坐标***x、y、z轴的角度参数;ti为摄影机与距离传感器安装的相对水平、垂直与深度距离。
因此,当距离传感器34取得一真实的坐标位置时,即可通过转换方程式(1),将中心真实坐标转换成中心影像坐标,以投射在影像空间中,从而了解在影像空间上实际的物***置。
在步骤S14转换完成中心影像坐标之后,进入步骤S16,利用摄影机32撷取校正板装置10的至少一校正影像,以搜寻校正影像中校正板装置10的中心特征点20,并将上述转换后的中心影像坐标投射于校正影像上,由于中心影像坐标在上述转换的过程中可能因为参数的设定,或其他不确定的因素,导致中心影像坐标转换误差,使中心影像坐标投影至校正影像时,无法准确的投影在校正影像的中心特征点20上,因此为了使中心影像坐标可准确的投影在校正影像的中心特征点20,接续进入步骤S18,本实施例使用估算算法调整误差,校正中心影像坐标对准于校正影像的中心特征点,同时产生出校正的内部参数与校正的外部参数。本实施例举例使用蒙地卡罗算法(Monte Carlo Algorithm)进行校正,例如估算出来的外部参数以及内部参数皆为产生误差值:ε16×1,假设p1为第一次估计出来的摄影机内部与外部参数,其中
并假设目前一共撷取出来n张影像,运用自动撷取特征方法可了解距离传感器34的距离感测信号打在校正板装置10上的位置Gi=(xi,yi),i=1,…,n,并已知距离传感器34所得到反射凹面181中心真实坐标为以计算中心影像坐标影为因此可得第一次结果总误差为下一步为运用蒙地卡罗算法(Monte Carlo Algorithm),从外部参数以及内部参数的误差范围任意挑参数
其中
与更新
后可从重新计算出新的影像投影点坐标可得新误差最后jout=arg min Ej,可得jout为校正的内部与
外部参数。之后产生的校正的外部参数以及校正的内部参数即可再次带入于转换方程式
(1)中,以更新内部参数以及外部参数,使坐标转换时能够更加准确。
因此通过上述方法可将距离传感器34所计算的距离准确的与影像结合,故可相当精确的判断出障碍物的位置及距离,使本发明可有效应用于自主刹车辅助***与自主驾驶车等***。
综上所述,本发明可转换不同***的坐标,将不同的***坐标融合在一***中,能有效的在影像中呈现距离传感器所侦测出的障碍物的坐标,精确的估算出障碍物于影像中的位置。除此之外,本发明还可直接于对位装置上设置多个特征点,避免后续人工在影像中手动设定特征点,因此本发明在计算参数时,可加快计算流程速度并于***中加强可信度。
以上所述仅为本发明的较佳实施例而已,并非用来限定本发明实施的范围。故凡是依本发明权利要求范围所述的特征及精神所为的均等变化或修饰,均应包括于本发明的保护范围内。
Claims (7)
1.一种物体坐标融合校正方法,其特征在于,包括下列步骤:
提供一校正板装置,该校正板装置中央具有至少一中心反射元件,该中心反射元件中央具有一中心特征点;
至少一距离传感器发出至少一距离感测信号至该中心反射元件,以取得该中心反射元件的中心真实坐标;
利用一摄影机的外部参数以及内部参数建立一转换方程式,将该中心真实坐标转换为一中心影像坐标;
利用该摄影机撷取该校正板装置的至少一校正影像,以搜寻该校正影像中的该中心特征点,并将该中心影像坐标投射于该校正影像上;以及
使用估算算法调整误差,校正该中心影像坐标对准于该校正影像中的该中心特征点上,以产生校正的该内部参数与校正的该外部参数。
2.根据权利要求1所述的物体坐标融合校正方法,其特征在于,使用估算算法调整误差的步骤为使用蒙地卡罗算法进行校正,以调整该摄影机的该内部参数以及该外部参数,产生校正的该内部参数与校正的该外部参数。
3.根据权利要求1所述的物体坐标融合校正方法,其特征在于,该转换方程式如下所示:
PI=HI·HE·PD其中该PI为该中心影像坐标;该PD为该中心真实坐标;该HI为该内部参数;该HE为该外部参数。
4.根据权利要求3所述的物体坐标融合校正方法,其特征在于,该内部参数以及该外部参数为通过该摄影机撷取该校正板装置的多个校正影像,并寻找出该校正板装置的多个特征点在该校正影像中及真实空间的对应关系,以求出该摄影机的该内部参数以及该外部参数。
5.根据权利要求4所述的物体坐标融合校正方法,其特征在于,该外部参数还包括该摄影机与该距离传感器的相对位置。
6.根据权利要求1所述的物体坐标融合校正方法,其特征在于,该距离传感器为雷达传感器或激光传感器。
7.根据权利要求1所述的物体坐标融合校正方法,其特征在于,该中心反射元件具有一反射凹面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510851764.6A CN105403230B (zh) | 2015-11-27 | 2015-11-27 | 物体坐标融合校正方法及其校正板装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510851764.6A CN105403230B (zh) | 2015-11-27 | 2015-11-27 | 物体坐标融合校正方法及其校正板装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105403230A CN105403230A (zh) | 2016-03-16 |
CN105403230B true CN105403230B (zh) | 2018-11-20 |
Family
ID=55468863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510851764.6A Active CN105403230B (zh) | 2015-11-27 | 2015-11-27 | 物体坐标融合校正方法及其校正板装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105403230B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI720447B (zh) * | 2019-03-28 | 2021-03-01 | 財團法人工業技術研究院 | 影像定位方法及其系統 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104567728A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 激光视觉轮廓测量***及测量方法、立体靶标 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7901093B2 (en) * | 2006-01-24 | 2011-03-08 | Seiko Epson Corporation | Modeling light transport in complex display systems |
CN101419061B (zh) * | 2008-12-08 | 2011-06-29 | 北京航空航天大学 | 一种镜像式结构光视觉测量***和测量方法 |
JP2010181325A (ja) * | 2009-02-06 | 2010-08-19 | Nec Corp | 3次元座標測定装置 |
US9068886B2 (en) * | 2011-07-29 | 2015-06-30 | Raytheon Company | Method and system for vicarious spatial characterization of a remote image sensor |
CN102368137B (zh) * | 2011-10-24 | 2013-07-03 | 北京理工大学 | 嵌入式标定立体视觉*** |
CN102773862B (zh) * | 2012-07-31 | 2015-01-07 | 山东大学 | 用于室内移动机器人的快速精确定位***及其工作方法 |
CN104197960B (zh) * | 2014-09-15 | 2017-08-08 | 北京航空航天大学 | 一种激光跟踪仪视觉导引摄像机的全局标定方法 |
-
2015
- 2015-11-27 CN CN201510851764.6A patent/CN105403230B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104567728A (zh) * | 2014-12-24 | 2015-04-29 | 天津大学 | 激光视觉轮廓测量***及测量方法、立体靶标 |
Non-Patent Citations (1)
Title |
---|
新穎的混合式角反射器於全極化合成孔徑雷達校正;陳憲偉;《國立中央大學圖書館博碩士論文》;20141015;第29页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105403230A (zh) | 2016-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106494395B (zh) | 一种基于数据融合的自动泊车控制方法及装置 | |
AU2020101932A4 (en) | Binocular vision–based method and system for pose measurement of cantilever tunneling equipment | |
CN105844624B (zh) | 动态标定***、动态标定***中的联合优化方法及装置 | |
CN105955259B (zh) | 基于多窗口实时测距的单目视觉agv的精确定位方法 | |
CN105674880B (zh) | 基于双目原理的接触网几何参数测量方法及*** | |
WO2017080108A1 (zh) | 飞行装置、飞行控制***及方法 | |
CN109509230A (zh) | 一种应用于多镜头组合式全景相机的slam方法 | |
WO2017080102A1 (zh) | 飞行装置、飞行控制***及方法 | |
CN109631896A (zh) | 一种基于车辆视觉和运动信息的停车场自主泊车定位方法 | |
CN108444390A (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
CN103578109A (zh) | 一种监控摄像机测距方法及装置 | |
Umeda et al. | Registration of range and color images using gradient constraints and range intensity images | |
CN105730336B (zh) | 倒车辅助装置及车辆 | |
CN109685858A (zh) | 一种单目摄像头在线标定方法 | |
JP2010136289A (ja) | 運転支援装置及び運転支援方法 | |
US7616806B2 (en) | Position detecting apparatus and method of correcting data therein | |
CN108230401A (zh) | 3d四轮定位仪相机自动标定方法及*** | |
CN109343041A (zh) | 用于高级智能辅助驾驶的单目测距方法 | |
CN109191533A (zh) | 基于装配式建筑的塔吊高空施工方法 | |
Ohashi et al. | Fisheye stereo camera using equirectangular images | |
CN111210386A (zh) | 图像拍摄拼接方法及*** | |
CN105403230B (zh) | 物体坐标融合校正方法及其校正板装置 | |
CN106846385B (zh) | 基于无人机的多传感遥感影像匹配方法、装置和*** | |
CN104858877B (zh) | 高压线路跌落开关自动更换控制***的控制方法 | |
CN108109130A (zh) | 基于激光光斑的自适应窗口立体视觉匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |