CN112348993A - 可提供环境信息的动态图资建立方法及*** - Google Patents

可提供环境信息的动态图资建立方法及*** Download PDF

Info

Publication number
CN112348993A
CN112348993A CN201910725303.2A CN201910725303A CN112348993A CN 112348993 A CN112348993 A CN 112348993A CN 201910725303 A CN201910725303 A CN 201910725303A CN 112348993 A CN112348993 A CN 112348993A
Authority
CN
China
Prior art keywords
vehicle
point cloud
data
cloud data
end device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910725303.2A
Other languages
English (en)
Inventor
林轩达
王正楷
施淳耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automotive Research and Testing Center
Original Assignee
Automotive Research and Testing Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automotive Research and Testing Center filed Critical Automotive Research and Testing Center
Priority to CN201910725303.2A priority Critical patent/CN112348993A/zh
Publication of CN112348993A publication Critical patent/CN112348993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明为一种可提供环境信息的动态图资建立方法及***，该***包含有一云端伺服主机、多个架设在环境周围的中继主机、以及分别装设在不同车辆上的多台车端装置，各个车端装置包含有一光达(LiDAR)感测器及一摄影机，以感测车辆周围环境而产生点云(point cloud)数据及图像数据；相异车辆的点云数据传送至邻近的中继主机，由该中继主机执行一多车整合演算合并各车辆的点云数据，获得车辆周围环境物件的三维坐标信息，该云端伺服主机根据所述三维坐标信息建立动态图资信息，并回传予各车辆；通过共享不同车辆的感测数据，可提高车辆对周围的感知范围，减少感测遮蔽区(dark zone)或盲区(blind zone)。

Description

可提供环境信息的动态图资建立方法及***
技术领域
本发明为一种自动识别环境信息的方法，尤指一种结合光达信息及图像信息以识别障碍物的方法。
背景技术
由于当代人工智能(Artificial Intelligence，AI)与机械学习的发展进度相较于过去可说是一日千里，已有许多国际大厂利用此日新月异的学习技术投入自驾车研发。搭载在车辆上的自驾车***，通过多元感测融合技术检测出车辆周围环境的情境，并根据感测结果执行决策判断，最终以决策结果控制车辆作出反应。
在感测部分，若感测信息全部是由车辆本身的感测器对环境周围进行感测后而获得，也就是说仅由单一车辆感测周围环境，当环境中存在多个障碍物且障碍物之间有相连或相互遮蔽的情形下，则受限于车辆本身的视角及行进方向，会存在无法感知的遮蔽区或盲区。举例来说，请参考图10所示，对A车本身而言，若在其前方存在有一第一障碍物O1及一第二障碍物O2，因为第二障碍物O2被该第一障碍物O1遮蔽，因此A车仅能感知该第一障碍物O1，于该第一障碍物O1的后方即相当于一遮蔽区Z而无法得知有第二障碍物O2存在。
光达(LiDAR)是自驾车***中广泛采用的感测设备，通过光达可以快速地对周围环境进行感测，从而建立代表周围环境的点云数据，根据该点云数据即可得知环璄的三维几何信息；但光达感测存在有前段所述的问题，当物件被遮蔽或相连时，将无法完整获取该物件的几何信息，不利用于后续判断该物件是否为一障碍物。
发明内容
本发明的目的是提供一种“可提供环境信息的动态图资建立***”，以提高车辆对位于遮蔽区或盲区中的物件的辨识能力。
为达成前述目的，该可提供环境信息的动态图资建立***包含有：
多个车端装置，供分别装设于不同车辆，各车端装置包含有：
一光达感测器，用于感知车辆周围的环境以产生点云数据；
一摄影机，用于拍摄车辆周围的环境以产生图像数据；
一车载控制器，连接该光达感测器、该摄影机以及一数据传输单元，控制该点云数据及该图像数据通过该数据传输单元对外传送；
一人机界面；
多个中继主机，其中，各中继主机接收到在其周围的多个该车端装置所传送出来的点云数据及图像数据，并执行一多车整合演算以合并各车端装置的点云数据而获得车辆周围环境中的物件的三维坐标信息；
一云端伺服主机，与各车端装置及各中继主机连线通讯传输，接收各中继主机的多车整合演算的演算结果，并将各物件的三维坐标信息与一底图图资相互整合而建立动态图资信息；
其中，该云端伺服主机将该动态图资信息传输回车辆的人机界面。
本发明的另一目的是提供一种“可提供环境信息的动态图资建立方法”，该方法包含：
a.由设于车辆内部的一车端装置向一云端伺服主机发出一确认请求；
b.该云端伺服主机根据该确认请求，参照该车辆的所在位置选定邻近该车辆的一中继主机，并将该选定的中继主机回复予该车端装置；
c.该车端装置将本车的点云数据及图像数据传送至选定的该中继主机，其中该点云数据是由光达感测器感知车辆所在周围环境而产生，该图像数据是由摄影机拍摄车辆所在周围环境而产生；
d.当该中继主机接收到多个车端装置提供的点云数据及图像数据，该中继主机执行一多车整合演算以合并各车端装置的点云数据，获得车辆周围环境中的物件的三维坐标信息；
e.该云端伺服主机接收该中继主机执行多车整合演算后的演算结果，并将各物件的三维坐标信息与一底图图资相互整合而建立动态图资信息；
f.由云端伺服主机将该动态图资信息回传至各车端装置，其中，该动态图资信息包含有车辆周围环境中的物件的三维坐标信息。
本发明通过整合道路上不同车辆的光达感测信息，以提高车辆对周围物件的感知范围以辨识四周的物件，并将周围物件的坐标信息结合于环境图资以产生动态图资信息。此动态图资信息回传至不同车辆，达成资源共享。
当本发明应用于自驾车领域时，该动态图资信息可以是高精地图(HighDefinition Map,HD MAP)，供自驾车上的控制***根据该高精地图(HD MAP)上呈现的讯息自动规划出安全的行驶路径，避开道路上所辨识出的障碍物。
附图说明
图1：本发明***示意图。
图2：本发明***电路方块图。
图3：本发明车端装置、中继主机及云端伺服主机的协作流程图。
图4：本发明利用两光达感测器所测得的两组点云数据PA、PB示意图。
图5：本发明采用的迭代最近点演算法(Iterative Closest Point,ICP)的流程图。
图6：图4中两组点云数据PA、PB利用迭代最近点演算法(ICP)计算后的叠合示意图。
图7A：本发明以光达感测器检测环境后所得到的点云数据示意图。
图7B：本发明以摄影机检测环境后所得到的图像数据示意图。
图8：本发明单车数据演算的流程图。
图9：本发明根据多车感测数据辨识出遮蔽区的示意图。
图10：车辆的感测盲区或遮蔽区的示意图。
附图说明
10车端装置 11光达感测器
12摄影机 13车载控制器
14数据传输单元 15人机界面
20中继主机 30云端伺服主机
31图资数据库
O1第一障碍物 O2第二障碍物
Z遮蔽区
具体实施方式
请参考图1及图2所示，为本发明的***示意图，包含有装设各车辆上的一车端装置10、分散在道路环境中的中继主机20以及一云端伺服主机30。
每台车辆上的各个车端装置10包含有一光达感测器11、一摄影机12、一车载控制器13、一数据传输单元14及一人机界面15。该光达感测器11连接该车载控制器13，用于感知车辆周围的环境以产生点云数据。该摄影机12连接该车载控制器13，用于拍摄车辆周围的环境而产生图像数据。该车载控制器13将该点云数据及图像数据，通过该数据传输单元14对外发送，在该车载控制器13中预设有该车辆独有的车辆识别码(Identity,ID)，用以在多台车辆中识别该车辆。该数据传输单元14为无线通讯单元，具有移动通讯的功能，负责双向传输车端装置10的数据至中继主机20及云端伺服主机30。
该中继主机20建置在环境四周，与在其周围的车辆中的车端装置10建立车辆对建筑物间通讯(Vehicle-to-Infrastructure,V2I)，其中，该中继主机20具有一独有的主机识别码(Identity,ID)。该中继主机20亦与该云端伺服主机30通讯连线。
该云端伺服主机30中可向一图资数据库31进行存取，该图资数据库31中存储可作为底图的基础环境信息。该云端伺服主机30用于将中继主机20运算后的数据结合图资数据库31中的底图，以产生动态图资信息，并将该动态图资信息传送至各车端装置10的人机界面15。
请参考图3所示，前述车端装置10、中继主机20及云端伺服主机30的协作流程，步骤如下：
S31：由车辆的车端装置10向云端伺服主机30发出一确认请求，以询问在其周围是否有中继主机20。
S32：云端伺服主机30根据该车辆的所在位置，选定邻近该车辆的中继主机20，并将中继主机20的主机识别码(ID)提供给该车辆，该云端伺服主机30可根据车辆上的GPS定位信息，获知该车辆的所在位置。
S33：车端装置10接收该云端伺服主机30的回复后，将本车感测到的该点云数据、图像数据以及本车的车辆识别码(ID)，通过该数据传输单元14上传至云端伺服主机30选定的该中继主机20。
S34：该中继主机20根据从车端装置10接收到的各项数据，决定应执行一“单车数据演算”或是执行一“多车整合演算”，并将运算结果及中继主机20本身的主机识别码(ID)传送至该云端伺服主机30。当该中继主机20四周附近仅存在单一台车辆，则中继主机20仅会接收到该单一台车辆发送出来的数据，该中继主机20即执行该单车数据演算；若是该中继主机20四周存在有两台以上的车辆，则可分别接收到两台车辆发送出的数据，则选择执行该多车整合演算。关于该单车数据演算及该多车整合演算的流程，将于后文详细说明。
S35：云端伺服主机30接收该中继主机20送出的运算结果，并将该运算结果与图资整合以建立动态图资信息时。因为该运算结果包含有物件的三维坐标信息，当云端伺服主机30建立动态图资信息时，该动态图资信息中即具有车辆周围环境的物件的坐标信息。
S36：云端伺服主机30将该动态图资信息回传至车辆的人机界面15，在传输该动态图资信息时，可根据车辆的识别码(ID)而判断应将动态图资信息传送的车辆。
关于步骤S34中的“多车整合演算”，当该中继主机20接收到两台以上车辆的感测数据时，因为每台车辆的位置不完全相同，各车辆的光达感测器11针对同一物件所测得的点云数据的位置也会不一样。请参考图4所示，图上示意表现第一组点云数据PA及第二组点云数据PB，该第一组/第二组点云数据PA、PB是由两个位置不同的光达感测器11朝同一个物件检测而得到，可以看出两组点云数据的位置略有不同，每一组点云数据中存在有多个数据点；本发明利用迭代最近点演算法(ICP)，通过反复迭代方式，缩小两组点云数据中各数据点的距离，也就是将两群的数据点尽可能地对齐叠合。
请参考图5所示，该迭代最近点演算法(ICP)的演算流程并非本发明所独创，故其演算步骤简述如下：
S51：读取第一组点云数据PA及第二组点云数据PB；
S52：寻找该两组点云数据PA、PB中的对应点；
S53：根据对应关系计算出一转换矩阵；
S54：利用该转换矩阵更换第一组点云数据PA中各数据点的坐标；
S55：计算本次均方根值误差，并与前一次计算出的均方根值误差比较以得到一误差变化值；
S56：判断该误差变化值是否小于一预设阀值，若是，则代表该第一组点云数据PA与第二组点云数据PB已对齐完成而结束演算，若否，则回执行步骤S52。
请参考图6所示，前述第一组点云数据PA及第二组点云数据PB经过迭代最近点演算法(ICP)计算后，两组点云数据中的数据点可相互对齐。换言之，两台车辆上的光达感测器11所测得的数据若存在共同的感知区域便可相互合并，彼此之间的坐标位置误差也能缩减。因为不同车辆的感知范围有差异，当各车的感知区域合并后即能得到一更加广泛的感知范围，减少单一车辆的盲区或遮蔽区；当中继主机20完成多车整合演算后，合并后的点云数据可传送给该云端伺服主机30进行后续的图资运算，因为点云数据中的各数据点代表的是三维信息，因此合并后点云数据可表示物件的三维坐标信息。
另一方面，关于步骤S34中的“单车数据演算”，当该中继主机20接收到单一车辆的感测数据时，该中继主机20根据该车辆提供的点云数据及图像数据进行计算。请参考图7A、图7B所示，车辆上的光达感测器11与摄影机12针对相同环境感测后可分别得到环境的点云数据及图像数据，根据图像数据中可以看出在车辆后方有行人存在，但因为行人受到车辆部分遮蔽，导致不易直接由点云数据中判读行人是否存在，因此，为了能够正确判断出受到遮蔽的物件，该中继主机20执行如图8所示的单车数据演算，该演算的流程步骤如下：
S81：在图像数据中辨识出物件的定界框(bonding box)，举例而言，在图像数据中可以利用现有的图像辨识技术识别出车辆、行人、类行人(如机车及脚踏车骑士)等物件，进而框选出该等物件的位置。
S82：于点云数据中检测障碍物，获取物件定界框，并将定界框投影至图像上，整合点云数据及图像数据。
S83：判断点云数据中的定界框物件是否存在于图像数据中，若判断存在且为同一个物件，该物件属于明区物件，因为该点云数据中的各数据点代表的是三维信息，故可得到该明区物件的三维坐标信息。例如图像数据及点云数据中均存在有车辆，车辆属于明区物件，经判断为同一物件后，即可以从点云数据中得到该车辆的三维坐标信息。
S84：判断图像中是否存在点云数据中未检测到的定界框物件，若存在则此定界框物件为点云数据中的暗区物件，例如车辆后方的行人在点云数据中即属于暗区物件，若图像数据中在对应的位置确实辨识出有行人存在，即可确定该暗区物件为行人。
S85：将步骤S84取得的暗区物件的定界框投影至点云数据，取得该暗区物件的三维坐标信息。因为在步骤S84中可以确定有行人存在并取得其定界框位置，故参照图像数据中的定界框位置，投影至点云数据中的对应位置，从而确定该暗区物件在点云数据中的位置。
该中继主机20完成单车数据演算后，无论是明区物件或暗区物件，都可以从点云数据得到各物件的三维坐标信息，该些物件的三维坐标信息同样传送给该云端伺服主机30进行后续的图资运算。
该云端伺服主机30接收到该中继主机20运算出的物件三维坐标信息后，可将该三维坐标信息与基础图资相结合以得到动态图资信息，该动态图资信息传送回各车辆的人机界面15，以供该车辆应用。在一较佳实施例中，所产生的动态图资信息为供自驾车执行自动控制的高精地图(HD MAP)。在另一较佳实施例中，所产生的动态图资信息也可以是供驾驶者观看参考的地图。
综上所述，本发明通过整合多车的感测信息或单一车辆的感测信息，具有下列特点及较佳应用：
一、遮蔽区或盲区感知优化：请参考图9所示，对A车而言原本只能辨识第一障碍物O1，但无法辨识位在遮蔽区Z的第二障碍物O2，而通过本发明可进一步将多台车辆的光达点云数据相互整合，例如B车可以感知到该第二障碍物O2，当两车的点云数据相互整合后，可扩增原单一车辆的感知范围，此整合后的数据于提供至各车后，A车亦可顺利得知遮蔽区Z的第二障碍物O2，优化自驾车的感知能力，以利自驾车规划可行驶路线。
二、扩增HD MAP上的动态信息：通过车辆对建筑物间通讯(V2I)，各中继主机20可接收到不同车辆提供的即时动态信息(如盲区、障碍物辨识、可行驶的路线空间等)，令整合产生的动态图资信息具有即时性，可供自驾车***参考以规划路径。而不同车辆皆可共享该动态图资信息，获得环境信息。
三、分散式运算：本发明以各地的中继主机20进行前端运算，借此可以降低云端伺服主机30的运算负担，使各车辆能快速获得更即时性的道路环境信息。

Claims (14)

1.一种可提供环境信息的动态图资建立***，其特征在于，包含有：
多个车端装置，供分别装设于不同车辆，各车端装置包含有：
一光达感测器，用于感知车辆周围的环境以产生点云数据；
一摄影机，用于拍摄车辆周围的环境以产生图像数据；
一车载控制器，连接该光达感测器、该摄影机以及一数据传输单元，控制该点云数据及该图像数据通过该数据传输单元对外传送；
一人机界面；
多个中继主机，其中，各中继主机接收到在其周围的多个该车端装置所传送出来的点云数据及图像数据，并执行一多车整合演算以合并各车端装置的点云数据而获得车辆周围环境中的物件的三维坐标信息；
一云端伺服主机，与各车端装置及各中继主机连线通讯传输，接收各中继主机的多车整合演算的演算结果，并将各物件的三维坐标信息与具基础环境信息的一底图图资相互整合而建立动态图资信息；
其中，该云端伺服主机将该动态图资信息传输回车辆的人机界面。
2.如权利要求1所述的可提供环境信息的动态图资建立***，其特征在于，当该中继主机判断只接收单一车端装置所提供的点云数据及图像数据时，该中继主机执行一单车数据演算，以根据该车端装置提供的点云数据及图像数据辨识出车辆周围环境中的物件的三维坐标信息，该三维坐标信息提供给该云端伺服主机。
3.如权利要求1或2所述的可提供环境信息的动态图资建立***，其特征在于，该云端伺服主机所建立的动态图信息为高精地图图资信息。
4.如权利要求1或2所述的可提供环境信息的动态图资建立***，其特征在于，该多车整合演算使用迭代最近点演算法以合并各车端装置的点云数据。
5.如权利要求4所述的可提供环境信息的动态图资建立***，其特征在于，该中继主机接收一第一车辆提供的第一组点云数据及一第二车辆提供的第二组点云数据，其中第一组点云数据及第二组点云数据中分别包含有多个数据点，该迭代最近点演算法包含：
读取第一组点云数据及第二组点云数据；
寻找该第一组点云数据及第二组点云数据中的对应点；
根据对应关系计算出一转换矩阵；
利用该转换矩阵更换第一组点云数据中各数据点的坐标；
计算本次均方根值误差，并与前一次计算出的均方根值误差比较以得到一误差变化值；
判断该误差变化值是否小于一预设阀值，若是，则代表该第一组点云数据与第二组点云数据已对齐完成而结束演算，若否，重复执行该寻找该第一组点云数据及第二组点云数据中的对应点的步骤。
6.如权利要求1或2所述的可提供环境信息的动态图资建立***，其特征在于，该云端伺服主机向一图资数据库进行存取，该图资数据库中存储该底图图资。
7.一种可提供环境信息的动态图资建立方法，其特征在于，包含：
a.由设于车辆内部的一车端装置向一云端伺服主机发出一确认请求；
b.该云端伺服主机根据该确认请求，参照该车辆的所在位置选定邻近该车辆的一中继主机，并将该选定的中继主机回复予该车端装置；
c.该车端装置将本车的点云数据及图像数据传送至选定的该中继主机，其中该点云数据是由光达感测器感知车辆所在周围环境而产生，该图像数据是由摄影机拍摄车辆所在周围环境而产生；
d.当该中继主机接收到多个车端装置提供的点云数据及图像数据，该中继主机执行一多车整合演算以合并各车端装置的点云数据，获得车辆周围环境中的物件的三维坐标信息；
e.该云端伺服主机接收该中继主机执行多车整合演算后的演算结果，并将各物件的三维坐标信息与一底图图资相互整合而建立动态图资信息；
f.由云端伺服主机将该动态图资信息回传至各车端装置，其中，该动态图资信息包含有车辆周围环境中的物件的三维坐标信息。
8.如权利要求7所述的可提供环境信息的动态图资建立方法，其特征在于，进一步包含有：
当该中继主机接收到单一车端装置提供的点云数据及图像数据，该中继主机执行一单车数据演算，根据该车端装置提供的点云数据及图像数据辨识出车辆周围环境中的物件的三维坐标信息，该三维坐标信息提供给该云端伺服主机。
9.如权利要求7或8所述的可提供环境信息的动态图资建立方法，其特征在于，该云端伺服主机将该选定的中继主机回复予该车端装置时，该云端伺服主机传送该中继主机的一主机识别码予该车端装置；
该车端装置根据该主机识别码，将本车的点云数据及图像数据传送至选定的该中继主机，且进一步传送该车端装置的一车辆识别码至该中继主机。
10.如权利要求7所述的可提供环境信息的动态图资建立方法，其特征在于，该中继主机于执行多车整合演算时，使用迭代最近点演算法以合并各车端装置的点云数据。
11.如权利要求10所述的可提供环境信息的动态图资建立方法，其特征在于，该中继主机接收一第一车辆提供的第一组点云数据及一第二车辆提供的第二组点云数据，其中第一组点云数据及第二组点云数据中分别包含有多个数据点，该迭代最近点演算法包含：
读取第一组点云数据及第二组点云数据；
寻找该第一组点云数据及第二组点云数据中的对应点；
根据对应关系计算出一转换矩阵；
利用该转换矩阵更换第一组点云数据中各数据点的坐标；
计算本次均方根值误差，并与前一次计算出的均方根值误差比较以得到一误差变化值；
判断该误差变化值是否小于一预设阀值，若是，则代表该第一组点云数据与第二组点云数据已对齐完成而结束演算，若否，重复执行该寻找该第一组点云数据及第二组点云数据中的对应点的步骤。
12.如权利要求8所述的可提供环境信息的动态图资建立方法，其特征在于，该中继主机于执行单车数据演算时，执行以下步骤：
在图像数据中辨识出物件的定界框，以框选出各物件的位置；
于点云数据中检测障碍物，获取物件的定界框；
判断点云数据中的定界框是否存在于图像数据中，若判断存在于该图像数据中且为同一个物件，该物件属于明区物件，通过点云数据取得该明区物件的三维坐标信息；
判断图像中是否存在点云数据中未检测到的定界框，若存在则此定界框对应的物件为点云数据中的暗区物件；
将取得的暗区物件的定界框投影至点云数据，以取得该暗区物件的三维坐标信息。
13.如权利要求12所述的可提供环境信息的动态图资建立方法，其特征在于，该图像数据中可供辨识出的物件种类包含有车辆、行人及类行人。
14.如权利要求7或8所述的可提供环境信息的动态图资建立方法，其特征在于，该云端伺服主机所建立的动态图信息为高精地图图资信息。
CN201910725303.2A 2019-08-07 2019-08-07 可提供环境信息的动态图资建立方法及*** Pending CN112348993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910725303.2A CN112348993A (zh) 2019-08-07 2019-08-07 可提供环境信息的动态图资建立方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910725303.2A CN112348993A (zh) 2019-08-07 2019-08-07 可提供环境信息的动态图资建立方法及***

Publications (1)

Publication Number Publication Date
CN112348993A true CN112348993A (zh) 2021-02-09

Family

ID=74366575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910725303.2A Pending CN112348993A (zh) 2019-08-07 2019-08-07 可提供环境信息的动态图资建立方法及***

Country Status (1)

Country Link
CN (1) CN112348993A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12018959B2 (en) 2022-01-06 2024-06-25 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods of cooperative depth completion with sensor data sharing

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103770705A (zh) * 2012-10-17 2014-05-07 现代摩比斯株式会社 基于v2i通信的图像提供***及利用该***的图像提供方法
US20140277939A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh Time and Environment Aware Graphical Displays for Driver Information and Driver Assistance Systems
CN104809900A (zh) * 2014-01-29 2015-07-29 泓格科技股份有限公司 双向式车辆信息整合发布***
CN106896393A (zh) * 2015-12-21 2017-06-27 财团法人车辆研究测试中心 车辆协同式物体定位优化方法及车辆协同定位装置
KR20180040759A (ko) * 2016-10-12 2018-04-23 한국전자통신연구원 자율주행 차량의 판단 지능 향상을 위한 주행상황 데이터 공유 및 학습 장치 및 그 동작 방법
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108458745A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于智能检测设备的环境感知方法
CN109085608A (zh) * 2018-09-12 2018-12-25 奇瑞汽车股份有限公司 车辆周围障碍物检测方法及装置
CN109100730A (zh) * 2018-05-18 2018-12-28 北京师范大学-香港浸会大学***际学院 一种多车协同快速建图方法
US20190068943A1 (en) * 2017-08-28 2019-02-28 Denso International America, Inc. Environment Perception System for Autonomous Vehicle
CN109901193A (zh) * 2018-12-03 2019-06-18 财团法人车辆研究测试中心 近距离障碍物的光达侦测装置及其方法
CN109902542A (zh) * 2017-12-11 2019-06-18 财团法人车辆研究测试中心 三维感测器的动态地面侦测方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103770705A (zh) * 2012-10-17 2014-05-07 现代摩比斯株式会社 基于v2i通信的图像提供***及利用该***的图像提供方法
US20140277939A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh Time and Environment Aware Graphical Displays for Driver Information and Driver Assistance Systems
CN104809900A (zh) * 2014-01-29 2015-07-29 泓格科技股份有限公司 双向式车辆信息整合发布***
CN106896393A (zh) * 2015-12-21 2017-06-27 财团法人车辆研究测试中心 车辆协同式物体定位优化方法及车辆协同定位装置
KR20180040759A (ko) * 2016-10-12 2018-04-23 한국전자통신연구원 자율주행 차량의 판단 지능 향상을 위한 주행상황 데이터 공유 및 학습 장치 및 그 동작 방법
US20190068943A1 (en) * 2017-08-28 2019-02-28 Denso International America, Inc. Environment Perception System for Autonomous Vehicle
CN109902542A (zh) * 2017-12-11 2019-06-18 财团法人车辆研究测试中心 三维感测器的动态地面侦测方法
CN108458745A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于智能检测设备的环境感知方法
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN109100730A (zh) * 2018-05-18 2018-12-28 北京师范大学-香港浸会大学***际学院 一种多车协同快速建图方法
CN109085608A (zh) * 2018-09-12 2018-12-25 奇瑞汽车股份有限公司 车辆周围障碍物检测方法及装置
CN109901193A (zh) * 2018-12-03 2019-06-18 财团法人车辆研究测试中心 近距离障碍物的光达侦测装置及其方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12018959B2 (en) 2022-01-06 2024-06-25 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods of cooperative depth completion with sensor data sharing

Similar Documents

Publication Publication Date Title
CN108572663B (zh) 目标跟踪
US10318822B2 (en) Object tracking
CN110979321B (zh) 一种用于无人驾驶车辆的障碍物躲避方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN109949594B (zh) 实时的交通灯识别方法
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US11010927B2 (en) Method and system for generating dynamic map information capable of providing environment information
US8699754B2 (en) Clear path detection through road modeling
WO2018020954A1 (ja) 機械学習用データベース作成システム
KR102604453B1 (ko) 레이더 데이터의 자동 라벨링 방법 및 시스템
KR20200001471A (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
US20210231460A1 (en) Change point detection device and map information distribution system
US20210364321A1 (en) Driving information providing method, and vehicle map providing server and method
US20230237783A1 (en) Sensor fusion
CN112666535A (zh) 一种基于多雷达数据融合的环境感知方法及***
JP6613999B2 (ja) 運転支援システム
KR20210122101A (ko) 객체를 분류하는 레이더 장치 및 방법
CN112348993A (zh) 可提供环境信息的动态图资建立方法及***
CN113459951A (zh) 车外环境显示方法和装置、车辆、设备和存储介质
US11435191B2 (en) Method and device for determining a highly precise position and for operating an automated vehicle
CN111650604A (zh) 利用精确定位实现自我车辆和周边障碍物精确探知的方法
CN212044739U (zh) 一种基于惯性数据和视觉特征的定位装置及机器人
TWI747016B (zh) 可提供環境資訊的動態圖資建立方法及系統
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
JP7326429B2 (ja) センサの画像区間の選択方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination