CN113433566A - 地图建构***以及地图建构方法 - Google Patents
地图建构***以及地图建构方法 Download PDFInfo
- Publication number
- CN113433566A CN113433566A CN202010144862.7A CN202010144862A CN113433566A CN 113433566 A CN113433566 A CN 113433566A CN 202010144862 A CN202010144862 A CN 202010144862A CN 113433566 A CN113433566 A CN 113433566A
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- coordinates
- reference points
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种地图建构***及其方法,所述方法包括:周期性地检测移动载具的基准世界坐标;周期性地获取移动载具外的环境的第一影像;周期性地获得移动载具外的环境的光达数据;识别所述第一影像中的多个目标物件,并且根据所述光达数据将多个光达数据点投影至所述第一影像以获得第二影像;识别所选的目标物件内被投影的多个目标光达数据点各自的影像坐标;根据多个影像坐标、光达信息以及所述基准世界坐标来获得所述多个目标光达数据点各自的物件世界坐标;以及根据所述多个物件世界坐标,将对应的所选的目标物件配置在高精地图中。
Description
技术领域
本发明涉及一种地图建构方法,尤其涉及一种被配置在移动载具上的地图建构***以及所述地图建构***所使用的地图建构方法。
背景技术
在自动驾驶领域中,“地图”一词已经失去了其传统路线图的含意。目前多数车载地图的分辨率仅够用于一般导航,想要实现自动驾驶,就必须使用精度更高、道路信息更丰富的高精度地图(也称,高精地图,High definition map)。一般来说,传统的电子地图主要用于人们日常出行,其精准度处在米级的水平,即便存在十余米的误差,也并不会给用户带来多大的影响;而高精地图对于车道线、路肩等位置,其精度可以达到厘米级。
发明内容
本发明提供一种地图建构***以及地图建构***所使用的地图建构方法,可识别所获取的影像中的目标物件及产生所述目标物件的世界坐标,以根据所述目标物件的所述世界坐标来将所述目标物件设置在高精地图中。
本发明的一实施例提供被配置在移动载具上的一种地图建构***,其中所述移动载具在真实世界中移动。所述***包括定位***、影像获取装置、光学雷达以及处理器。所述定位***用以周期性地检测所述移动载具的世界坐标。所述影像获取装置用以周期性地获取所述移动载具外的环境的第一影像。所述光学雷达用以周期性地获得所述移动载具外的所述环境的光达数据。所述处理器电性连接至所述定位***、所述影像获取装置以及所述光学雷达。所述处理器用以识别所述第一影像中的多个目标物件,并且根据所述光达数据将多个光达数据点投影至所述第一影像以获得第二影像。所述处理器更用以从所述一或多个尚未被选择的目标物件中选择一个目标物件,识别所选的目标物件内被投影的多个目标光达数据点为所选的目标物件的多个目标物件基准点,并且识别所述多个目标物件基准点各自的影像坐标。此外,所述处理器更用以根据所述多个目标物件基准点各自的所述影像坐标、光达信息以及所述移动载具的所述世界坐标来获得所述多个目标物件基准点各自的世界坐标,并且根据所述多个目标物件基准点各自的所述世界坐标,将对应的所选的目标物件配置在高精地图中。
本发明的一实施例提供一种地图建构方法,所述方法包括:周期性地检测所述移动载具的世界坐标;周期性地获取所述移动载具外的环境的第一影像;周期性地获得所述移动载具外的所述环境的光达数据;识别所述第一影像中的多个目标物件,并且根据所述光达数据将多个光达数据点投影至所述第一影像以获得第二影像;从所述一或多个尚未被选择的目标物件中选择一个目标物件;识别所选的目标物件内被投影的多个目标光达数据点为所选的目标物件的多个目标物件基准点,并且识别所述多个目标物件基准点各自的影像坐标;根据所述多个目标物件基准点各自的所述影像坐标、光达信息以及所述移动载具的所述世界坐标来获得所述多个目标物件基准点各自的世界坐标;以及根据所述多个目标物件基准点各自的所述世界坐标,将对应的所选的目标物件配置在高精地图中。
在本发明的一实施例中,所述方法还包括:反应于判定所述多个目标物件不具有所述一或多个尚未被选择的目标物件,再次执行根据所述光达数据将所述多个光达数据点投影至所述第一影像以获得所述第二影像,并且识别所述第二影像中的所述多个目标物件的步骤。
在本发明的一实施例中,其中所述识别所述第一影像中的所述多个目标物件的步骤包括:对所述第一影像执行影像识别操作,以从所述第一影像中的多个影像物件中识别出符合多种预设态样的所述多个目标物件。
在本发明的一实施例中,其中所述根据所述多个目标物件基准点各自的所述影像坐标、所述光达信息以及所述移动载具的所述世界坐标来获得所述多个目标物件基准点各自的所述世界坐标的步骤包括:判断所选的目标物件为第一类型目标物件或第二类型目标物件,其中反应于判定所选的目标物件为所述第一类型目标物件,根据多个默认参数以及所述第一类型目标物件的多个第一类型目标物件基准点的多个影像坐标,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第一类型目标物件基准点相对于影像获取装置的位置;以及根据所述移动载具的所述世界坐标与所述多个第一类型目标物件基准点的所述多个相对坐标,将所述多个第一类型目标物件基准点的所述多个相对坐标转换为所述多个第一类型目标物件基准点的多个世界坐标。此外,反应于判定所选的目标物件为所述第二类型目标物件,根据多个默认参数、所述第二类型目标物件的多个第二类型目标物件基准点的多个影像坐标以及所述光达信息中对应所述多个第二类型目标物件基准点的多笔深度信息,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第二类型目标物件基准点相对于影像获取装置的位置;以及根据所述移动载具的所述世界坐标与所述多个第二类型目标物件基准点的所述多个相对坐标,将所述多个第二类型目标物件基准点的所述多个相对坐标转换为所述多个第二类型目标物件基准点的多个世界坐标。
在本发明的一实施例中,其中所述第一类型目标物件包括下列物件的其中之一:道路、交通标线以及地面交通标志。此外,所述第二类型目标物件包括下列物件的其中之一:交通号志、招牌以及建筑物。
基于上述,本发明的实施例所提供的地图建构***与地图建构方法,可自动地根据所获得的光达数据将多个光达数据点投影至所获取的第一影像以获得第二影像,并且识别所述第二影像中的目标物件,根据所述目标物件的多个基准点的影像坐标、光达信息以及所获得的移动载具的世界坐标来获得所述多个基准点各自的世界坐标,以根据所述多个基准点的所述多个世界坐标将对应的目标物件配置在高精地图中,进而可精确地绘制所述高精地图中,并且可使地图建构***在建构高精地图时更有效率。
附图说明
包含附图以便进一步理解本发明,且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例,并与描述一起用于解释本发明的原理。
图1是根据本发明的一实施例所示出的配置在移动载具的地图建构***的示意图。
图2是根据本发明的一实施例所示出的地图建构***的方块示意图。
图3A是根据本发明的一实施例所示出的地图建构方法的流程图。
图3B是根据本发明的一实施例所示出的图3A中的步骤S360的流程图。
图4是根据本发明的一实施例所示出的光学雷达点云图的示意图。
图5A是根据本发明的一实施例所示出的所获取的第一影像的示意图。
图5B是根据本发明的一实施例所示出的包含被投影的光达数据点的第二影像的示意图。
图6A是根据本发明的一实施例所示出的获得第一类型目标物件的世界坐标的示意图。
图6B是根据本发明的一实施例所示出的获得第二类型目标物件的世界坐标的示意图。
具体实施方式
现将详细地参考本发明的示范性实施例,示范性实施例的实例说明于附图中。只要有可能,相同组件符号在附图和描述中用来表示相同或相似部分。
图1是根据本发明的一实施例所示出的配置在移动载具的地图建构***的示意图。请参照图1,在本实施例中,所述移动载具10例如是车辆、机车、无人机等移动于真实世界的交通工具。
地图建构***11被配置在移动载具10上。在此例子中,地图建构***11的光学雷达(也称,光达)130以及影像获取装置140(如,相机)被配置在移动载具10上,以感知移动载具10外的真实世界。此外,耦接(电性连接)至定位***120的实时动态(Real TimeKinematic,RTK)天线RTK1、RTK2。所述定位***120应用了实时动态定位技术。所述RTK天线RTK1、RTK2接收全球定位***(Global Positioning System,GPS)信号,并且将所接收的GPS信号传送至定位***120,以使定位***120可计算出所述移动载具10/地图建构***11的世界坐标(包含经纬坐标与高度坐标)。所述影像获取装置140用以获取移动载具10外的真实世界的影像(也称,第一影像),并且已安装的所述影像获取装置10距离地面GND的高度H是预先设定的/已知的。
图4是根据本发明的一实施例所示出的光学雷达点云图的示意图。请同时参照图1与图4,在图1的例子中,在车辆10往前移动的过程中(如箭头A41),影像获取装置140持续对车辆10外的真实世界获取影像(如,对车辆10前方的景象拍照),光学雷达130持续地发出激光光,以通过反射光来获得反射点(也称,光达数据点)相对于光学雷达130的三维坐标(也称,三维光达坐标),进而获得包含所有光达数据点的点云图(如图4所示)。应注意的是,图4的光学雷达点云图为俯瞰视角。光学雷达130例如以10赫兹的频率对外界进行360度的脉冲激光扫描。本发明并不限于光学雷达130所发射的激光强度、激光波长、激光数量、发射角度、发射频率等技术细节。此外,应注意的是,光学雷达10其他的技术特征并不属于本发明的精神,不赘述于此。
为了便于说明,在以下的实施例中,移动载具10是以车辆来做例子。
图2是根据本发明的一实施例所示出的地图建构***的方块示意图。请参照图2,更详细来说,配置在车辆10的地图建构***11包括处理器110、以及耦接(电性连接)至所述处理器110的定位***120、光学雷达130、影像获取装置140、惯性导航***150、储存装置160、主存储器170以及通讯电路单元180。此外,处理器110更耦接至移动载具10的驾驶单元190。
所述处理器110为具备运算能力的硬件(例如芯片组、处理器等),用以管理车辆10的整体运作(如,控制车辆10中其他硬件组件的运作)。在本实施例中,处理器110例如是一核心或多核心的中央处理单元(Central Processing Unit,CPU)、微处理器(micro-processor)、或是其他可编程的处理单元(Programmable Processing Unit)、数字信号处理器(Digital Signal Processor,DSP)、可编程控制器、特殊应用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、可编程逻辑设备(Programmable Logic Device,PLD)或其他类似装置。
定位***120包括微控制器MCU以及天线RTK1、RTK2。天线RTK1、RTK2用以接收来自全球定位***的信号(GPS信号),并且将所接收的GPS信号传送至微控制器MCU。微控制器MCU用以根据所接收的GPS信号来计算车辆10当前的世界坐标(也称,基准世界坐标)。
光学雷达130用以获得车辆10外的真实世界的光学雷达数据(也称,光达数据)。
影像获取装置140用以获取车辆10外的真实世界的影像。影像获取装置140例如是相机或摄影机。在本实施例中,影像获取装置周期性(如,每六十分之一秒拍摄一次)地拍摄车辆10前方的真实世界的影像。所获取的影像(也称,第一影像)的分辨率、大小/范围是根据相机的硬件规格而被预先设定的,本发明不限于此。
惯性导航***150是一个使用加速计和陀螺仪来测量物体(如,车辆10)的加速度和角速度,并持续计算运动物***置、姿态和速度的辅助导航***。惯性导航***150不需要一个外部参考系。在本实施例中,定位***120(或处理器110)可提供惯性导航***的车辆10的初始的定位信息及速度,以让惯性导航***通过对运动传感器(如,加速计和陀螺仪)的信息进行整合计算,不断更新当前位置及速度。所更新的当前位置及速度也可整合为辅助定位信息回传给定位***120。定位***120的MCU可通过所接收的辅助定位信息来校正当前的定位信息,以增强所发送至处理器110的定位信息的精准度。此外,校正过后的定位信息也可发送回惯性导航***150,以修正惯性导航***150因持续运算辅助定位信息所导致的误差,进而提升辅助定位信息的精准度。也就是说,整合定位***120以及惯性导航***150后,处理器110可精确地获得车辆10当前的世界坐标。
储存装置160经由处理器110的指示来暂存数据,所述数据包括用以管理车辆10的***数据,如,所获得的定位信息、光达数据、惯性信息、影像数据,来自其他电子装置的数据,本揭露不限于此。除此之外,储存装置160还可以经由处理器110的指示来记录一些需要长时间储存的数据。例如,高精地图数据库、预定态样影像数据库、相关于地图建构***11所执行的地图建构程序的一或多个预设参数、光达点云图、以及用以管理车辆10的固件或是软件。储存装置160可以是任何型态的硬盘机(hard disk drive,HDD)或非挥发性内存存储装置(如,固态硬盘)。在一实施例中,储存装置160也可是例如包含闪存模块的硬件。在一实施例中,处理器110可存取地图建构程序于主存储器170中,执行地图建构程序以实现本发明的实施例所提供的地图建构方法。
主存储器170分别用以接收处理器110的指示来暂存各种形式的数据。主存储器170例如是任意形式的固定式或可移动式随机存取存储器(random access memory,RAM)或其他类似装置、集成电路及其组合。由于主存储器170所具有的高速存取特性,在本实施例中所进行的各种运算与操作皆可经由存取被暂存在主存储器170中的相关数据而被加速。
通讯电路单元180用以经由无线方式来接收通讯信号。在本实施例中,通讯电路单元180例如是支持WiFi通讯协议、蓝牙(Bluetooth)、近场通讯(Near FieldCommunication;NFC)、第三代通讯***合作伙伴项目(3rd Generation PartnershipProject;3GPP)标准、***通讯***合作伙伴项目(4th Generation PartnershipProject;4GPP)标准、第五代通讯***合作伙伴项目(5th Generation PartnershipProject;5GPP)标准等无线通信电路单元。在本实施例中,通讯电路单元180可通过无线通信的方式,以联机至定位参考装置20(如,通过联机C1),进而从定位参考装置20获取定位参考数据D1。
应注意的是,在一实施例中,定位***120应用实时动态定位技术(Real TimeKinematic,RTK),以根据所接收的定位参考数据D1与GPS信号来计算车辆10的世界坐标(也称,基准世界坐标),进而提升所获得的所述基准世界坐标的准确性。
此外,在一实施例中,所建构的高精地图也可通过无线通信的方式,发送至地图服务器(未示出),以使地图服务器可整合且分享所实时更新的世界性的高精地图。也就是说,地图服务器可整合从多个车辆所接收的实时的高精地图,并且将之整合至地图服务器所管理的高精世界地图中,所述高精世界地图可通过网络联机而被分享至其他电子装置。
驾驶单元190用以控制车辆10的移动。在一实施例中,驾驶单元190用以根据处理器110的指示来控制车辆10的移动。更详细来说,驾驶单元130可通过控制车辆10的机械***与动力***来控制车辆10的移动方向、速度与加速度。本发明并不限定于驾驶单元190的实施方式,关于驾驶单元190的细节不赘述于此。
图3A是根据本发明的一实施例所示出的地图建构方法的流程图。请参照图3A,在步骤S311中,定位***120周期性地检测对应移动载具的基准世界坐标(如,对应于车辆10的定位信息)。在步骤S312中,影像获取装置140周期性地获取所述移动载具外的真实世界的第一影像。在步骤S313中,光学雷达130周期性地获得所述移动载具外的所述环境的光达数据。所述基准世界坐标、所述第一影像及所述光达数据会被传送至处理器110。
接着,在步骤S320中,处理器110根据所述光达数据将多个光达数据点投影至所述第一影像以获得第二影像,并且识别所述第二影像中的多个目标物件。
图4是根据本发明的一实施例所示出的光学雷达点云图的示意图。具体来说,如图4所示,经由高频率地360度地向车辆10四周发射激光光,可获取反射点的位置,而形成点云图形式的光达数据。在车辆10如箭头A41所示向前移动时,光学雷达点云图也会对应地更新。在光学雷达点云图中的多个亮点中的每一个(也称,光达数据点或反射点)都包含了自身的三维坐标信息(也称,三维光达坐标)。一个光达数据点的所述三维坐标信息记录了所述光达数据点相对于所述车辆10的三维坐标。
更详细来说,在根据所述光达数据将所述多个光达数据点投影至所述第一影像以获得所述第二影像的运作中,所述处理器110根据所述第一影像相对于所述影像获取装置的角度范围(例如,从影像获取装置140所获取的第一影像的视野V1可得知对应所述角度范围AR1)以及所述多个光达信息中对应至所述角度范围的多个三维光达坐标,对所述多个三维光达坐标进行坐标转换操作,以获得对应所述多个三维光达坐标的多个二维光达坐标,其中所述处理器根据所述多个二维光达坐标将对应的所述多个光达数据点投影至所述第一影像以形成所述第二影像。
图5A是根据本发明的一实施例所示出的所获取的第一影像的示意图。图5B是根据本发明的一实施例所示出的包含被投影的光达数据点的第二影像的示意图。举例来说,请参照图5A,假设影像获取装置140获取的第一影像IMG1的分辨率为1280x720。在本实施例中,处理器110对所述第一影像执行影像识别操作,以从所述第一影像IMG1中的多个影像物件中识别出符合多种预设态样的所述多个目标物件。更详细来说,处理器110可从储存装置160中的预定态样影像数据库来识别所述多种预设态样,并且比对所述第一影像IMG1中的所述多个影像物件与所述预定态样影像数据库所记录的多个默认态样影像,以识别出相似度大于比对门坎值的多个目标物件(也称,目标影像物件)。举例来说,处理器110可识别出第一影像IMG1的区域R1中的目标物件TO1(道路标线);区域R2中的目标物件TO2(交通号志)。
更详细来说,在本实施例中,所述目标物件可被区分为第一类型目标物件以及第二类型目标物件。在本实施例中,所述第一类型目标物件用以表示应被配置在高精地图中的高度与道路相等的物件,并且所述第二类型目标物件用以表示应被配置在高精地图中的高度与道路不相等的物件。
所述第一类型目标物件包括下列物件的其中之一:道路;交通标线以及地面交通标志。所述第二类型目标物件包括下列物件的其中之一:交通号志;招牌以及建筑物。在一实施例中,处理器110也识别出区域R3中的目标物件(如,交通号志);以及区域R4中的目标物件(如,招牌)。值得一提的是,上述的多个预设态样包括了所述道路、所述交通标线、所述地面交通标志、所述交通号志、所述招牌以及所述建筑物的多个默认影像。
请参照图5B,在本实施例中,处理器110可将所获得的对应第一影像的视野(角度范围)的多个光达数据点进行坐标转换,以使所述多个光达数据点的多个三维光达坐标转换成二维光达坐标(所述二维光达坐标不具有深度信息,即,光达数据点至车辆的深度值)。接着,处理器110可根据对应所述多个光达数据点的所述多个二维光达坐标,将所述多个光达数据点投影至第一影像内IMG1,以获得具有多个已投影光达数据点的第二影像IMG2。
请再回到图3A,接着,在步骤S330中,处理器110判断所述多个目标物件中是否具有一或多个尚未被选择的目标物件。反应于判定所述多个目标物件中具有所述一或多个尚未被选择的目标物件,处理器110执行步骤S340,即,从所述一或多个尚未被选择的目标物件中选择一个目标物件;反应于判定所述多个目标物件中不具有所述一或多个尚未被选择的目标物件,处理器110执行步骤S320。
在步骤S340中,处理器110从所述一或多个尚未被选择的目标物件中选择一个目标物件。接着,在步骤S350中,处理器110识别所选的目标物件内被投影的多个目标光达数据点为所选的目标物件的多个目标物件基准点,并且识别所述多个目标物件基准点各自的影像坐标。
举例来说,如图5B所示,假设在所选的目标物件TO1上被投影一或多个目标光达数据点(如,点TP1~TP4),处理器110会识别所述光达数据点TP1~TP4为多个目标物件基准点。处理器110可进一步识别出所述多个目标物件基准点TP1~TP4于第一影像中的影像坐标(基于所述第一影像的分辨率)。例如,目标物件基准点TP1的影像坐标被识别为“910,610”。
请再回到图3A,在步骤S360中,处理器110根据所述多个目标物件基准点各自的所述影像坐标、光达信息以及所述基准世界坐标来获得分别对应所述多个目标物件基准点的多个物件世界坐标。
图3B是根据本发明的一实施例所示出的图3A中的步骤S360的流程图。更详细来说,步骤S360包括步骤S361~S365。在步骤S361中,处理器110判断所选的目标物件为第一类型目标物件或第二类型目标物件。反应于判定所选的目标物件为所述第一类型目标物件(如图6A所示的第一类型目标物件TO1),在步骤S362中,处理器110根据多个预设参数以及所述第一类型目标物件的多个第一类型目标物件基准点的多个影像坐标,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第一类型目标物件基准点相对于所述地图建构***的影像获取装置的位置;以及在步骤S363中,处理器110根据所述基准世界坐标与所述多个第一类型目标物件基准点的所述多个相对坐标,将所述多个第一类型目标物件基准点的所述多个相对坐标转换为分别对应所述多个第一类型目标物件基准点的所述多个物件世界坐标。
另一方面,反应于判定所选的目标物件为所述第二类型目标物件(如图6B所示的第一类型目标物件TO2),在步骤S364中,处理器110根据多个预设参数、所述第二类型目标物件的多个第二类型目标物件基准点的多个影像坐标以及所述光达信息中对应所述多个第二类型目标物件基准点的多笔深度信息,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第二类型目标物件基准点相对于所述地图建构***的所述影像获取装置的位置;以及在步骤S365中,处理器110根据所述基准世界坐标与所述多个第二类型目标物件基准点的所述多个相对坐标,将所述多个第二类型目标物件基准点的所述多个相对坐标转换为分别对应所述多个第二类型目标物件基准点的所述多个物件世界坐标。
图6A是根据本发明的一实施例所示出的获得第一类型目标物件的世界坐标的示意图。请参照图6A,假设处理器110已经识别所选的目标物件TO1为第一类型目标物件,并且已识别第一类型目标物件TO1上的第一类型目标物件基准点TP1~TP4各自的影像坐标CRDI为CRDI1“u1,v1”、CRDI2“u2,v2”、CRDI3“u3,v3”、CRDI4“u4,v4”。在此例子中,处理器110根据多个预设参数以及多个第一类型目标物件基准点TP1~TP4的多个影像坐标CRDI1~CRDI4,经由下方所列的坐标转换公式(F1),将所述多个影像坐标CRDI1~CRDI4转换为多个相对坐标CRDR1~CRDR4。
其中,u为第一类型目标基准点的影像坐标CRDI中的横坐标;v为第一类型目标基准点的影像坐标CRDI中的纵坐标;fx为x轴焦距;fy为y轴焦距;cx为第一影像的中心的x轴坐标;cy为第一影像的中心的y轴坐标;x为相对坐标CRDR的x轴坐标;y为相对坐标CRDR的y轴坐标;z为相对坐标CRDR的z轴坐标。所述多个预设参数为fx、fy、cx、cy。在此例子中,第一类型目标基准点的y轴坐标是已知的,即,y的数值为相机距离地面的高度H。此外,所述多个预设参数fx、fy、cx、cy也皆为已知。基此,处理器110可经由坐标转换公式(F1)计算出相对坐标CRDR的z轴坐标z为:
接着,可更计算出相对坐标CRDR的x轴坐标x为:
也就是说,通过影像坐标CRDI(u,v)、多个预设参数fx、fy、cx、cy以及高度H,处理器110可计算出相对坐标CRDR(x,y,z)为
如箭头A61所示,在计算出分别对应第一类型目标物件基准点TP1~TP4的相对坐标CRDR1~CRDR4后,如箭头A62所示,处理器110可通过基准世界坐标与第一类型目标物件基准点TP1~TP4的相对坐标CRDR1~CRDR4来计算出第一类型目标物件基准点TP1~TP4的物件世界坐标CRDW1~CRDW4。例如,处理器110可将第一类型目标物件基准点TP1的相对坐标CRDR1加上基准世界坐标,以获得第一类型目标物件基准点TP1的物件世界坐标CRDW1。
图6B是根据本发明的一实施例所示出的获得第二类型目标物件的世界坐标的示意图。请参照图6B,假设处理器110已经识别所选的目标物件TO2为第二类型目标物件,并且已识别第二类型目标物件TO2上的第二类型目标物件基准点TP5~TP7各自的影像坐标CRDI为CRDI5“u5,v5”、CRDI6“u6,v6”、CRDI7“u7,v7”。在此例子中,处理器110根据多个预设参数、所述第二类型目标物件的多个第二类型目标物件基准点TP5~TP7的多个影像坐标CRDI5~CRDI7以及所述光达信息中对应所述多个第二类型目标物件基准点的多笔深度信息(即,第二类型目标物件基准点TP5~TP7各自的三维光达坐标中的已知的深度坐标值,其可作为第二类型目标物件基准点TP5~TP7各自的相对坐标中的z轴坐标),经由上方所列的坐标转换公式(F1),将所述多个影像坐标CRDI5~CRDI7转换为多个相对坐标CRDR5~CRDR7。
在此例子中,第二类型目标基准点的z轴坐标是已知的,即,z的数值为三维光达坐标中的深度坐标值(如,对应相对坐标“x,y,z”的三维光达坐标值“(yL,-zL,xL)”中的“xL”)。此外,所述多个预设参数fx、fy、cx、cy也皆为已知。基此,处理器110可经由坐标转换公式(F1)计算出相对坐标CRDR的x轴坐标x为:
接着,可更计算出相对坐标CRDR的y轴坐标y为:
也就是说,通过影像坐标CRDI(u,v)、多个预设参数fx、fy、cx、cy以及深度信息z,处理器110可计算出相对坐标CRDR(x,y,z)为
如箭头A64所示,在计算出分别对应第二类型目标物件基准点TP5~TP7的相对坐标CRDR5~CRDR7后,如箭头A65所示,处理器110可通过基准世界坐标与第二类型目标物件基准点TP5~TP7的相对坐标CRDR5~CRDR7来计算出第二类型目标物件基准点TP5~TP7的物件世界坐标CRDW5~CRDW7。例如,处理器110可将第二类型目标物件基准点TP5的相对坐标CRDR5加上基准世界坐标,以获得第二类型目标物件基准点TP5的物件世界坐标CRDW5。
请在回到图3A,在步骤S370中,处理器110根据所述多个物件世界坐标,将对应的所选的目标物件配置在高精地图中。
具体来说,如箭头A63所示,处理器110获得了第一类型目标物件TO1的多个物件世界坐标CRDW1~CRDW4,接着,处理器可根据所述多个物件世界坐标CRDW1~CRDW4,将第一类型目标物件TO1配置/绘制于高精地图中。又例如,如箭头A66所示,处理器110获得了第二类型目标物件TO2的多个物件世界坐标CRDW5~CRDW7,接着,处理器可根据所述多个物件世界坐标CRDW5~CRDW7,将第二类型目标物件TO2配置/绘制于高精地图中。高精地图中的第二类型目标物件TO2的主要版面的面对方向可进一步地根据所拍摄到的第二类型目标物件TO2的影像而被识别。
如此一来,通过上述的地图建构方法与***,在移动载具10于真实世界中移动的期间,地图建构***11可自动地将所识别到的目标物件根据对应的物件世界坐标配置在高精地图中。减少了传统上建构高精地图所需要的人力,进而增进了建构高精地图的效能。
综上所述,本发明的实施例所提供的地图建构***与地图建构方法,可自动地根据所获得的光达数据将多个光达数据点投影至所获取的第一影像以获得第二影像,并且识别所述第二影像中的目标物件,根据所述目标物件的多个基准点的影像坐标、光达信息以及所获得的移动载具的世界坐标来获得所述多个基准点各自的世界坐标,以根据所述多个基准点的所述多个世界坐标将对应的目标物件配置在高精地图中,进而可精确地绘制所述高精地图中,并且可使地图建构***在建构高精地图时更有效率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种地图建构***,被配置在移动载具上,其中所述移动载具在真实世界中移动,其特征在于,所述***包括:
定位***,用以周期性地检测对应所述移动载具的基准世界坐标;
影像获取装置,用以周期性地获取所述移动载具外的所述真实世界的第一影像;
光学雷达,用以周期性地获得所述移动载具外的环境的光达数据;以及
处理器,电性连接至所述定位***、所述影像获取装置以及所述光学雷达,
其中所述处理器用以识别所述第一影像中的多个目标物件,并且根据所述光达数据将多个光达数据点投影至所述第一影像以获得第二影像,
其中所述处理器更用以从一或多个尚未被选择的目标物件中选择一个目标物件,
其中所述处理器更用以识别所选的目标物件内被投影的多个目标光达数据点为所选的目标物件的多个目标物件基准点,并且识别所述多个目标物件基准点各自的影像坐标,
其中所述处理器更用以根据所述多个目标物件基准点各自的所述影像坐标、光达信息以及所述基准世界坐标来获得分别对应所述多个目标物件基准点的多个物件世界坐标,
其中所述处理器更用以根据所述多个物件世界坐标,将对应的所选的目标物件配置在高精地图中。
2.根据权利要求1所述的地图建构***,其特征在于,所述光达数据包括对应所述多个光达数据点的多个光达信息,其中在根据所述光达数据将所述多个光达数据点投影至所述第一影像以获得所述第二影像的运作中,
所述处理器根据所述第一影像相对于所述影像获取装置的角度范围以及所述多个光达信息中对应至所述角度范围的多个三维光达坐标,对所述多个三维光达坐标进行坐标转换操作,以获得对应所述多个三维光达坐标的多个二维光达坐标,
其中所述处理器根据所述多个二维光达坐标将对应的所述多个光达数据点投影至所述第一影像以形成所述第二影像。
3.根据权利要求2所述的地图建构***,其特征在于,在所述识别所述第一影像中的所述多个目标物件的运作中,
所述处理器对所述第一影像执行影像识别操作,以从所述第一影像中的多个影像物件中识别出符合多种预设态样的所述多个目标物件。
4.根据权利要求1所述的地图建构***,其特征在于,在根据所述多个目标物件基准点各自的所述影像坐标、所述光达信息以及所述移动载具的所述世界坐标来获得所述多个目标物件基准点各自的所述世界坐标的运作中,
所述处理器判断所选的目标物件为第一类型目标物件或第二类型目标物件,
其中反应于判定所选的目标物件为所述第一类型目标物件,
所述处理器根据多个预设参数以及所述第一类型目标物件的多个第一类型目标物件基准点的多个影像坐标,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第一类型目标物件基准点相对于所述影像获取装置的位置,以及
根据所述基准世界坐标与所述多个第一类型目标物件基准点的所述多个相对坐标,将所述多个第一类型目标物件基准点的所述多个相对坐标转换为分别对应所述多个第一类型目标物件基准点的所述多个物件世界坐标,
其中反应于判定所选的目标物件为所述第二类型目标物件,
所述处理器根据多个预设参数、所述第二类型目标物件的多个第二类型目标物件基准点的多个影像坐标以及所述光达信息中对应所述多个第二类型目标物件基准点的多笔深度信息,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第二类型目标物件基准点相对于所述影像获取装置的位置,以及
根据所述基准世界坐标与所述多个第二类型目标物件基准点的所述多个相对坐标,将所述多个第二类型目标物件基准点的所述多个相对坐标转换为分别对应所述多个第二类型目标物件基准点的所述多个物件世界坐标。
5.根据权利要求4所述的地图建构***,其特征在于,所述第一类型目标物件包括下列物件的其中之一:
道路;
交通标线;以及
地面交通标志;
其中所述第二类型目标物件包括下列物件的其中之一:
交通号志;
招牌;以及
建筑物。
6.一种地图建构方法,适用于配置在移动载具的地图建构***,其特征在于,所述方法包括:
周期性地检测对应所述移动载具的基准世界坐标;
周期性地获取所述移动载具外的真实世界的第一影像;
周期性地获得所述移动载具外的环境的光达数据;
识别所述第一影像中的多个目标物件,并且根据所述光达数据将多个光达数据点投影至所述第一影像以获得第二影像;
从一或多个尚未被选择的目标物件中选择一个目标物件;
识别所选的目标物件内被投影的多个目标光达数据点为所选的目标物件的多个目标物件基准点,并且识别所述多个目标物件基准点各自的影像坐标;
根据所述多个目标物件基准点各自的所述影像坐标、光达信息以及所述基准世界坐标来获得分别对应所述多个目标物件基准点的多个物件世界坐标;以及
根据所述多个物件世界坐标,将对应的所选的目标物件配置在高精地图中。
7.根据权利要求6所述的地图建构方法,其特征在于,所述光达数据包括对应所述多个光达数据点的多个光达信息,其中所述根据所述光达数据将所述多个光达数据点投影至所述第一影像以获得所述第二影像的步骤包括:
根据所述第一影像相对于所述影像获取装置的角度范围以及所述多个光达信息中对应至所述角度范围的多个三维光达坐标,对所述多个三维光达坐标进行坐标转换操作,以获得对应所述多个三维光达坐标的多个二维光达坐标;以及
根据所述多个二维光达坐标将对应的所述多个光达数据点投影至所述第一影像以形成所述第二影像。
8.根据权利要求7所述的地图建构方法,其特征在于,所述识别所述第一影像中的所述多个目标物件的步骤包括:
对所述第一影像执行影像识别操作,以从所述第一影像中的多个影像物件中识别出符合多种预设态样的所述多个目标物件。
9.根据权利要求6所述的地图建构方法,其特征在于,所述根据所述多个目标物件基准点各自的所述影像坐标、所述光达信息以及所述移动载具的所述世界坐标来获得所述多个目标物件基准点各自的所述世界坐标的步骤包括:
判断所选的目标物件为第一类型目标物件或第二类型目标物件,
其中反应于判定所选的目标物件为所述第一类型目标物件,
根据多个预设参数以及所述第一类型目标物件的多个第一类型目标物件基准点的多个影像坐标,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第一类型目标物件基准点相对于所述地图建构***的影像获取装置的位置;以及
根据所述基准世界坐标与所述多个第一类型目标物件基准点的所述多个相对坐标,将所述多个第一类型目标物件基准点的所述多个相对坐标转换为分别对应所述多个第一类型目标物件基准点的所述多个物件世界坐标,
其中反应于判定所选的目标物件为所述第二类型目标物件,
根据多个预设参数、所述第二类型目标物件的多个第二类型目标物件基准点的多个影像坐标以及所述光达信息中对应所述多个第二类型目标物件基准点的多笔深度信息,将所述多个影像坐标转换为多个相对坐标,其中所述多个相对坐标用以表示所述多个第二类型目标物件基准点相对于所述地图建构***的所述影像获取装置的位置;以及
根据所述基准世界坐标与所述多个第二类型目标物件基准点的所述多个相对坐标,将所述多个第二类型目标物件基准点的所述多个相对坐标转换为分别对应所述多个第二类型目标物件基准点的所述多个物件世界坐标。
10.根据权利要求9所述的地图建构方法,其特征在于,所述第一类型目标物件包括下列物件的其中之一:
道路;
交通标线;以及
地面交通标志;
其中所述第二类型目标物件包括下列物件的其中之一:
交通号志;
招牌;以及
建筑物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010144862.7A CN113433566B (zh) | 2020-03-04 | 2020-03-04 | 地图建构***以及地图建构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010144862.7A CN113433566B (zh) | 2020-03-04 | 2020-03-04 | 地图建构***以及地图建构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113433566A true CN113433566A (zh) | 2021-09-24 |
CN113433566B CN113433566B (zh) | 2023-07-25 |
Family
ID=77752369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010144862.7A Active CN113433566B (zh) | 2020-03-04 | 2020-03-04 | 地图建构***以及地图建构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113433566B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI788177B (zh) * | 2021-11-17 | 2022-12-21 | 財團法人資訊工業策進會 | 地圖掃描系統及地圖掃描方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201118794A (en) * | 2009-11-24 | 2011-06-01 | Ind Tech Res Inst | Method and device of mapping and localization method using the same |
CN106950952A (zh) * | 2017-03-10 | 2017-07-14 | 无锡卡尔曼导航技术有限公司 | 用于农机无人驾驶的农田环境感知方法 |
CN107131877A (zh) * | 2016-02-29 | 2017-09-05 | 星克跃尔株式会社 | 无人飞行器航线构建方法及*** |
US20180336697A1 (en) * | 2017-05-22 | 2018-11-22 | Honda Motor Co., Ltd. | Monocular localization in urban environments using road markings |
US20190066329A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | System and method for centimeter precision localization using camera-based submap and lidar-based global map |
WO2019079211A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS |
TW201937399A (zh) * | 2017-12-11 | 2019-09-16 | 大陸商北京嘀嘀無限科技發展有限公司 | 用於識別和定位運輸工具周圍的物體的系統和方法 |
CN110275181A (zh) * | 2019-07-08 | 2019-09-24 | 武汉中海庭数据技术有限公司 | 一种车载移动测量***及其数据处理方法 |
US20190384295A1 (en) * | 2015-02-10 | 2019-12-19 | Mobileye Vision Technologies Ltd. | Systems and methods for identifying landmarks |
TW202006395A (zh) * | 2018-07-02 | 2020-02-01 | 大陸商北京嘀嘀無限科技發展有限公司 | 基於點雲利用姿態預估的運輸工具導航系統 |
CN110859043A (zh) * | 2018-06-22 | 2020-03-03 | 北京嘀嘀无限科技发展有限公司 | 一种更新高度自动化驾驶地图的***和方法 |
-
2020
- 2020-03-04 CN CN202010144862.7A patent/CN113433566B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201118794A (en) * | 2009-11-24 | 2011-06-01 | Ind Tech Res Inst | Method and device of mapping and localization method using the same |
US20190384295A1 (en) * | 2015-02-10 | 2019-12-19 | Mobileye Vision Technologies Ltd. | Systems and methods for identifying landmarks |
CN107131877A (zh) * | 2016-02-29 | 2017-09-05 | 星克跃尔株式会社 | 无人飞行器航线构建方法及*** |
CN106950952A (zh) * | 2017-03-10 | 2017-07-14 | 无锡卡尔曼导航技术有限公司 | 用于农机无人驾驶的农田环境感知方法 |
US20180336697A1 (en) * | 2017-05-22 | 2018-11-22 | Honda Motor Co., Ltd. | Monocular localization in urban environments using road markings |
US20190066329A1 (en) * | 2017-08-23 | 2019-02-28 | TuSimple | System and method for centimeter precision localization using camera-based submap and lidar-based global map |
WO2019079211A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS |
TW201937399A (zh) * | 2017-12-11 | 2019-09-16 | 大陸商北京嘀嘀無限科技發展有限公司 | 用於識別和定位運輸工具周圍的物體的系統和方法 |
CN110859043A (zh) * | 2018-06-22 | 2020-03-03 | 北京嘀嘀无限科技发展有限公司 | 一种更新高度自动化驾驶地图的***和方法 |
TW202006395A (zh) * | 2018-07-02 | 2020-02-01 | 大陸商北京嘀嘀無限科技發展有限公司 | 基於點雲利用姿態預估的運輸工具導航系統 |
CN110275181A (zh) * | 2019-07-08 | 2019-09-24 | 武汉中海庭数据技术有限公司 | 一种车载移动测量***及其数据处理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI788177B (zh) * | 2021-11-17 | 2022-12-21 | 財團法人資訊工業策進會 | 地圖掃描系統及地圖掃描方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113433566B (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
CN108419446B (zh) | 用于激光深度图取样的***及方法 | |
EP3506212A1 (en) | Method and apparatus for generating raster map | |
JP2019215853A (ja) | 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体 | |
CN110617821B (zh) | 定位方法、装置及存储介质 | |
CN110073362A (zh) | 用于车道标记检测的***及方法 | |
CN111936821A (zh) | 用于定位的***和方法 | |
US11227395B2 (en) | Method and apparatus for determining motion vector field, device, storage medium and vehicle | |
JP2020021326A (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP6950832B2 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
EP3574450A1 (en) | Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory | |
CN113160327A (zh) | 一种点云补全的实现方法和*** | |
KR20220166779A (ko) | 고정밀 지도의 생산 방법, 장치, 설비 및 컴퓨터 저장 매체 | |
CN113240813A (zh) | 三维点云信息确定方法及装置 | |
CN114612348A (zh) | 激光点云运动畸变校正方法、装置、电子设备及存储介质 | |
CN114485698A (zh) | 一种交叉路口引导线生成方法及*** | |
TWI726630B (zh) | 地圖建構系統以及地圖建構方法 | |
CN112381873B (zh) | 一种数据标注方法及装置 | |
CN113433566B (zh) | 地图建构***以及地图建构方法 | |
CN109658507A (zh) | 信息处理方法及装置、电子设备 | |
KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
CN114119465B (zh) | 一种点云数据处理方法及装置 | |
KR20220062709A (ko) | 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법 | |
JP2021047744A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |