CN109029442A - 基于多视角匹配的定位装置及方法 - Google Patents
基于多视角匹配的定位装置及方法 Download PDFInfo
- Publication number
- CN109029442A CN109029442A CN201810583073.6A CN201810583073A CN109029442A CN 109029442 A CN109029442 A CN 109029442A CN 201810583073 A CN201810583073 A CN 201810583073A CN 109029442 A CN109029442 A CN 109029442A
- Authority
- CN
- China
- Prior art keywords
- node
- image
- positioning
- data
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多视角匹配的定位装置及方法,该装置包括:数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元;所述数据采集单元由GPS定位***和两个不同视角的单目摄像机组成,用于采集图像信息和相关地理位置信息。所述定位方法分为三步:第一步粗定位,在视觉地图中得到若干个候选节点;第二步图像级定位,利用从前视图像提取的整体特征进行整体特征匹配,从待定位点中找到最接近的节点;第三步度量级定位,利用从俯视图像中提取的局部特征进行局部特征匹配,找到预测节点,并利用相关算法计算出车的姿态和相对位置。与其他定位方法相比,该方法不仅成本低,数据采集简单,而且在不同路线和不同季节具有很强的鲁棒性和较高的精度。
Description
技术领域
本发明涉及定位技术,尤其涉及一种基于多视角匹配的定位装置及方法。
背景技术
随着智能汽车成为热门话题,人们对高精度定位技术这一智能汽车的关键技术的越来越重视。目前高精度定位***有差分全球定位***(DGPS)和惯性导航***,但是由于它们使用的传感器成本高昂,不利于智能汽车的快速推广和普及,因此迫切需要一种新的低成本高精度的定位方法。近年来随着计算机科学的快速发展,计算机视觉定位技术被广泛应用于智能车上。计算机视觉定位技术利用摄像机成像模型建立视觉传感器和现实环境之间的关系,然后利用这个模型关系,将视觉地图与实际环境的特征进行识别和匹配,计算出实际特征点在视觉地图中的位置姿态。目前最先进的视觉定位技术包括视觉同步定位和映射等,但由于映射技术计算过程和优化过程复杂,会积累大量误差。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于多视角匹配的定位装置及方法。
本发明解决其技术问题所采用的技术方案是:一种基于多视角匹配的定位装置,
包括数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元;
所述数据采集单元包括GPS定位***和两个单目摄像机,其中,第一单目摄像机水平安装在实验车前端,用于采集前视图像,第二单目摄像机的镜头以不低于45度角斜向下安装在实验车尾部,用于采集俯视图像;
所述数据传输单元,用于数据采集单元和数据处理单元之间的数据传输;
所述数据采集辅助单元包括用于单目摄像机固定的固定支架和实验车。
按上述方案,所述数据传输单元包括天线和数据线。
按上述方案,所述数据处理单元为工控机。
一种基于多视角匹配的定位方法,包括以下步骤:
1)采集GPS信息和单目摄像机采集的信息;
2)根据步骤1)采集的信息融合生成视觉地图;所述视觉地图中每隔固定距离设置一个节点,每个节点存储该节点所在位置对应的GPS位置信息、前视图像和俯视图像;
3)粗定位待测点
当待定位车开至已经绘制好视觉地图的路段,任意选择某一点设置为起点,记录起点的位置信息(在拓扑模型里面是从起始点开始定位计算的),在待定位车行进过程中,数据处理单元利用预设的定位拓扑模型,通过前一时刻的位置估算下一时刻的位置,以此获得待定位车的粗定位结果;并获得粗定位结果对应的视觉地图中的节点集合;
4)图像级定位
将待定位车在定位指令前后一段时间内第一单目摄像机采集到的15帧图像图像信息截取出来,利用描述符提取前视图像的全局特征,将前视图像的全局特征与步骤3)中节点集合对应的前视图像进行全局特征匹配,特征匹配通过计算汉明距离实现,公式如下:
其中,X1和X2表示两个不同的整体特征。是Xj(j=1,2)的第i位,选择与前端视图的整体特征有最小汉明距离的节点作为的预测节点;
5)计算待测点的位置信息
将待定位车在接收定位指令前后第二单目摄像机采集到的15帧图像信息截取出来,提取俯视图像的局部特征,再次计算汉明距离用于局部特征匹配,把具有良好匹配特征的节点作为定位的最终图像,根据节点的局部特征和节点的 2D数据,其中,所述局部特征是指预测节点在摄像机中对应的像素坐标;所述节点的2D数据指预测节点在世界坐标系下的坐标;在视觉图中利用张氏方法建立单应性模型计算实验车的位置信息,模型公式如下:
其中,H=K·[r1 r2 r3],K是向下摄像机的固有参数,r1,r2是旋转矩阵R的前两列,t代表平移向量,(u,v,1)为像素坐标,(X,Y,1)为预测节点在世界坐标系下的坐标;
其中,
H=[h(1) h(2) h(3)]。
本发明产生的有益效果是:
1、提出了一种新的多视角匹配定位方法。在这种方法中,不仅收集了前视图像,而且还收集了俯视图像,以描述道路环境中每个位置的信息。这两个视角的融合充分体现了道路环境中每个位置的唯一性,可以保证定位精度。
2、提出了一种新的度量级定位方法。我们利用单应性模型计算车辆的位姿。在这种方法中,提出了运用路面的2D(2dimensional二维)数据替代场景中的3D数据的方法,而且该方法仅需要使用单目摄像机,避免了双目视觉3D 重建的不稳定性问题。
3、提出了一种新的结果提炼方法。在度量级定位中,我们采用局部特征将查询图像与候选点进行匹配。如果候选点是离群值,则称没有匹配的特征。这种方法可以进一步提高定位精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的结构示意图;
图2是本发明实施例的实验装置示意图;
图3是本发明实施例的方法流程图;
图2中:1-实验车平台;2-单目摄像机;3-GPS和INS***;4-固定支架; 5-单目摄像机;6-数据线;7-天线;8-工控机。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1和图2所示,一种基于多视角匹配的定位装置,
包括数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元;
所述数据采集单元包括GPS定位***3和两个单目摄像机2和5,其中,第一单目摄像机2水平安装在实验车前端,用于采集前视图像,第二单目摄像机5 的镜头以不低于45度角斜向下安装在实验车尾部,用于采集俯视图像;
所述数据传输单元,用于数据采集单元和数据处理单元之间的数据传输;
所述数据采集辅助单元包括用于单目摄像机固定的固定支架4和实验车1。
数据传输单元包括天线7和数据线6,数据处理单元为工控机8。
如图3,一种基于多视角匹配的定位方法,包括以下步骤:
1)采集GPS信息和单目摄像机采集的信息;
2)根据步骤1)采集的信息融合生成视觉地图;所述视觉地图中每隔固定距离设置一个节点,每个节点存储该节点所在位置对应的GPS位置信息、前视图像和俯视图像;
3)粗定位待测点
当待定位车开至已经绘制好视觉地图的路段,任意选择某一点设置为起点,记录起点的位置信息(在拓扑模型里面是从起始点开始定位计算的),在待定位车行进过程中,数据处理单元利用预设的定位拓扑模型,通过前一时刻的位置估算下一时刻的位置,以此获得待定位车的粗定位结果;并获得粗定位结果对应的视觉地图中的节点集合;
4)图像级定位
将待定位车在定位指令前后一段时间内单目摄像机2采集到的15帧图像图像信息截取出来,利用描述符提取前视图像的全局特征,将前视图像的全局特征与步骤3)中节点集合对应的前视图像进行全局特征匹配,特征匹配通过计算汉明距离实现,公式如下:
其中,X1和X2表示两个不同的整体特征。是Xj(j=1,2)的第i位,选择与前端视图的整体特征有最小汉明距离的节点作为的预测节点;
5)计算待测点的位置信息
将待定位车在接收定位指令前后第二单目摄像机采集到的15帧图像信息截取出来,提取俯视图像的局部特征,再次计算汉明距离用于局部特征匹配,把具有良好匹配特征的节点作为定位的最终图像,根据节点的局部特征和节点的 2D数据,其中,所述局部特征是指预测节点在摄像机中对应的像素坐标;所述节点的2D数据指预测节点在世界坐标系下的坐标;在视觉图中利用张氏方法建立单应性模型计算实验车的位置信息,模型公式如下:
其中,H=K·[r1 r2 r3],K是向下摄像机的固有参数,r1,r2是旋转矩阵R的前两列,t代表平移向量,(u,v,1)列为像素坐标,(X,Y,1)为预测节点在世界坐标系下的坐标;
其中,
H=[h(1) h(2) h(3)]。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种基于多视角匹配的定位装置,其特征在于,该定位装置包括数据采集单元、数据传输单元、数据处理单元、数据采集辅助单元;
所述数据采集单元包括GPS定位***和两个单目摄像机,其中,第一单目摄像机水平安装在实验车前端,用于采集前视图像,第二单目摄像机的镜头以不低于45度角斜向下安装在实验车尾部,用于采集俯视图像;
所述数据传输单元,用于数据采集单元和数据处理单元之间的数据传输;
所述数据采集辅助单元包括用于单目摄像机固定的固定支架和实验车。
2.根据权利要求1所述的基于多视角匹配的定位装置,其特征在于,所述数据传输单元包括天线和数据线。
3.根据权利要求1所述的基于多视角匹配的定位装置,其特征在于,所述数据处理单元为工控机。
4.根据权利要求1至3任一所述的基于多视角匹配的定位装置的基于多视角匹配的定位方法,其特征在于,包括以下步骤:
1)采集GPS信息和单目摄像机获取的信息;
2)根据步骤1)采集的信息融合生成视觉地图;所述视觉地图中每隔固定距离设置一个节点,每个节点存储该节点所在位置对应的GPS位置信息、前视图像和俯视图像;
3)粗定位待测点;
当待定位车开至已经绘制好视觉地图的路段,任意选择某一点设置为起点,记录起点的位置信息,在待定位车行进过程中,数据处理单元利用预设的定位拓扑模型,通过前一时刻的位置估算下一时刻的位置,以此获得待定位车的粗定位结果;并获得粗定位结果对应的视觉地图中的节点集合;
4)图像级定位;
将待定位车在定位指令前后一段时间内第一单目摄像机采集到的15帧图像图像信息截取出来,利用描述符提取前视图像的全局特征,将前视图像的全局特征与步骤3)中节点集合对应的前视图像进行全局特征匹配,特征匹配通过计算汉明距离实现,公式如下:
其中,X1和X2表示两个不同的整体特征。是Xj的第i位,选择与前端视图的整体特征有最小汉明距离的节点作为的预测节点;
5)计算待测点的位置信息
将待定位车在接收定位指令前后第二单目摄像机采集到的15帧图像信息截取出来,提取俯视图像的局部特征,再次计算汉明距离用于局部特征匹配,把具有良好匹配特征的节点作为定位的最终图像,根据节点的局部特征和节点的2D数据,其中,所述局部特征是指预测节点在摄像机中对应的像素坐标;所述节点的2D数据指预测节点在世界坐标系下的坐标;在视觉图中利用张氏方法建立单应性模型计算实验车的位置信息,模型公式如下:
其中,H=K·[r1 r2 r3],K是向下摄像机的固有参数,r1,r2是旋转矩阵R的前两列,t代表平移向量,(u,v,1)为像素坐标,(X,Y,1)为预测节点在世界坐标系下的坐标;
其中,对于H=K·[r1 r2 r3],
H=[h(1) h(2) h(3)]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810583073.6A CN109029442A (zh) | 2018-06-07 | 2018-06-07 | 基于多视角匹配的定位装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810583073.6A CN109029442A (zh) | 2018-06-07 | 2018-06-07 | 基于多视角匹配的定位装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109029442A true CN109029442A (zh) | 2018-12-18 |
Family
ID=64612234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810583073.6A Pending CN109029442A (zh) | 2018-06-07 | 2018-06-07 | 基于多视角匹配的定位装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109029442A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109727269A (zh) * | 2019-03-29 | 2019-05-07 | 中国人民解放军国防科技大学 | 一种基于单目视觉和道路地图的匹配定位方法 |
CN109871020A (zh) * | 2019-03-18 | 2019-06-11 | 爱驰汽车有限公司 | 车载自动驾驶***、方法、设备及存储介质 |
CN110954933A (zh) * | 2019-12-09 | 2020-04-03 | 王相龙 | 一种基于场景dna的移动平台定位装置及方法 |
CN111142145A (zh) * | 2019-12-31 | 2020-05-12 | 武汉中海庭数据技术有限公司 | 一种车辆定位方法及装置 |
CN111928852A (zh) * | 2020-07-23 | 2020-11-13 | 武汉理工大学 | 一种基于led位置编码的室内机器人定位方法及*** |
CN117308967A (zh) * | 2023-11-30 | 2023-12-29 | 中船(北京)智能装备科技有限公司 | 一种目标对象位置信息的确定方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
US20170185823A1 (en) * | 2014-04-07 | 2017-06-29 | Eyeways Systems Ltd. | Apparatus And Method For Image-Based Positioning, Orientation And Situational Awareness |
CN107084727A (zh) * | 2017-04-12 | 2017-08-22 | 武汉理工大学 | 一种基于高精度三维地图的视觉定位***及方法 |
CN107505644A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成***及方法 |
-
2018
- 2018-06-07 CN CN201810583073.6A patent/CN109029442A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
US20170185823A1 (en) * | 2014-04-07 | 2017-06-29 | Eyeways Systems Ltd. | Apparatus And Method For Image-Based Positioning, Orientation And Situational Awareness |
CN107084727A (zh) * | 2017-04-12 | 2017-08-22 | 武汉理工大学 | 一种基于高精度三维地图的视觉定位***及方法 |
CN107505644A (zh) * | 2017-07-28 | 2017-12-22 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成***及方法 |
Non-Patent Citations (1)
Title |
---|
李承等: "基于GPS与图像融合的智能车辆高精度定位算法", 《交通运输***工程与信息》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871020A (zh) * | 2019-03-18 | 2019-06-11 | 爱驰汽车有限公司 | 车载自动驾驶***、方法、设备及存储介质 |
CN109871020B (zh) * | 2019-03-18 | 2022-06-17 | 爱驰汽车(上海)有限公司 | 车载自动驾驶***、方法、设备及存储介质 |
CN109727269A (zh) * | 2019-03-29 | 2019-05-07 | 中国人民解放军国防科技大学 | 一种基于单目视觉和道路地图的匹配定位方法 |
CN110954933A (zh) * | 2019-12-09 | 2020-04-03 | 王相龙 | 一种基于场景dna的移动平台定位装置及方法 |
CN111142145A (zh) * | 2019-12-31 | 2020-05-12 | 武汉中海庭数据技术有限公司 | 一种车辆定位方法及装置 |
CN111928852A (zh) * | 2020-07-23 | 2020-11-13 | 武汉理工大学 | 一种基于led位置编码的室内机器人定位方法及*** |
CN111928852B (zh) * | 2020-07-23 | 2022-08-23 | 武汉理工大学 | 一种基于led位置编码的室内机器人定位方法及*** |
CN117308967A (zh) * | 2023-11-30 | 2023-12-29 | 中船(北京)智能装备科技有限公司 | 一种目标对象位置信息的确定方法、装置及设备 |
CN117308967B (zh) * | 2023-11-30 | 2024-02-02 | 中船(北京)智能装备科技有限公司 | 一种目标对象位置信息的确定方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109029442A (zh) | 基于多视角匹配的定位装置及方法 | |
CN108534782B (zh) | 一种基于双目视觉***的地标地图车辆即时定位方法 | |
CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
CN110617821B (zh) | 定位方法、装置及存储介质 | |
EP2820618B1 (en) | Scene structure-based self-pose estimation | |
CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
WO2014011346A1 (en) | Sensor-aided wide-area localization on mobile devices | |
CN103994755B (zh) | 一种基于模型的空间非合作目标位姿测量方法 | |
CN111830953A (zh) | 车辆自定位方法、装置及*** | |
US20190073542A1 (en) | Vehicle lane detection system | |
CN110794828A (zh) | 一种融合语义信息的路标定位方法 | |
CN114359476A (zh) | 一种用于城市峡谷环境导航的动态3d城市模型构建方法 | |
CN109596121A (zh) | 一种机动站自动目标检测与空间定位方法 | |
CN112767546B (zh) | 移动机器人基于双目图像的视觉地图生成方法 | |
CN113012197A (zh) | 一种适用于动态交通场景的双目视觉里程计定位方法 | |
CN116448100A (zh) | 一种多传感器融合的近岸无人船slam方法 | |
Laflamme et al. | Driving datasets literature review | |
KR102463698B1 (ko) | 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법 | |
CN111462241A (zh) | 一种基于单目视觉的目标定位方法 | |
CN112731503B (zh) | 一种基于前端紧耦合的位姿估计方法及*** | |
CN113137973A (zh) | 一种图像语义特征点真值确定方法及装置 | |
CN113450334A (zh) | 一种水上目标检测方法、电子设备及存储介质 | |
CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及*** | |
CN116147618A (zh) | 一种适用动态环境的实时状态感知方法及*** | |
CN111862146A (zh) | 一种目标对象的定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181218 |
|
WD01 | Invention patent application deemed withdrawn after publication |