CN109782766B - 用于控制车辆行驶的方法和装置 - Google Patents

用于控制车辆行驶的方法和装置 Download PDF

Info

Publication number
CN109782766B
CN109782766B CN201910075036.9A CN201910075036A CN109782766B CN 109782766 B CN109782766 B CN 109782766B CN 201910075036 A CN201910075036 A CN 201910075036A CN 109782766 B CN109782766 B CN 109782766B
Authority
CN
China
Prior art keywords
vehicle
path
global
local
global path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910075036.9A
Other languages
English (en)
Other versions
CN109782766A (zh
Inventor
程新景
杨睿刚
杨雅珏
卢飞翔
徐昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910075036.9A priority Critical patent/CN109782766B/zh
Publication of CN109782766A publication Critical patent/CN109782766A/zh
Priority to JP2019202058A priority patent/JP7013434B2/ja
Priority to US16/677,321 priority patent/US11378957B1/en
Priority to KR1020190141606A priority patent/KR102288844B1/ko
Application granted granted Critical
Publication of CN109782766B publication Critical patent/CN109782766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例公开了用于控制车辆行驶的方法和装置。该方法的一具体实施方式包括生成车辆的行驶场地的全局路径；执行以下控制步骤：基于全局路径，生成车辆的当前位置的前方场地的局部路径，其中，局部路径跟随全局路径的方向，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点，若车辆到达全局路径的终点，则结束控制步骤；响应于确定车辆未到达全局路径的终点，继续执行控制步骤。该实施方式结合粗粒度的全局路径和细粒度的局部路径对车辆的行驶过程进行控制，实现了对车辆的自主行驶过程的精细控制。

Description

用于控制车辆行驶的方法和装置
技术领域
本申请实施例涉及自动驾驶技术领域，具体涉及用于控制车辆行驶的方法和装置。
背景技术
无人驾驶车辆是一种新型的智能车辆，主要通过控制装置(即，车载智能大脑)对车辆中各个部分进行精准的控制与计算分析，并最终通过ECU(Electronic Control Unit，电子控制单元)发出指令来分别控制无人驾驶车辆中的不同设备，从而实现车辆的全自动运行，达到车辆无人驾驶的目的。
为了达到车辆无人驾驶的目的，需要预先规划行驶路径，以控制无人驾驶车辆沿行驶路径自主行驶。目前，常用的车辆行驶控制方式是在无人驾驶车辆上安装激光传感器，利用激光传感器感知到的大范围粗粒度感知信息规划行驶路径，并控制车辆沿行驶路径自主行驶。
发明内容
本申请实施例提出了用于控制车辆行驶的方法和装置。
第一方面，本申请实施例提供了一种用于控制车辆行驶的方法，包括：生成车辆的行驶场地的全局路径；执行以下控制步骤：基于全局路径，生成车辆的当前位置的前方场地的局部路径，其中，局部路径跟随全局路径的方向，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点，若车辆到达全局路径的终点，则结束控制步骤；响应于确定车辆未到达全局路径的终点，继续执行控制步骤。
在一些实施例中，生成车辆的行驶场地的全局路径，包括：获取行驶场地的二维图像；基于行驶场地的二维图像生成全局地图；基于全局地图进行路径规划，生成全局路径。
在一些实施例中，基于全局路径，生成车辆的当前位置的前方场地的局部路径，包括：获取车辆的当前位置的前方场地的二维图像；基于前方场地的二维图像生成局部地图；基于全局路径和局部地图进行路径规划，生成局部路径。
在一些实施例中，行驶场地的二维图像是安装在无人机上的摄像头对行驶场地进行航拍所得到的图像，前方场地的二维图像是安装在车辆上的摄像头对前方场地进行拍摄所得到的图像。
在一些实施例中，控制车辆沿局部路径行驶，直至到达局部路径的终点，包括：确定车辆的底盘沿局部路径行驶时的速度序列；基于速度序列，控制底盘的转向和位移，以及从车辆的底盘里程计实时获取底盘的当前行驶里程，基于速度序列中的当前速度对应的行驶里程和当前行驶里程进行闭环控制，以使底盘沿局部路径进行行驶。
在一些实施例中，确定车辆是否到达全局路径的终点，包括：获取底盘的当前行驶里程和车辆的当前位置的前方场地的二维图像；融合当前行驶里程和前方场地的二维图像确定车辆的当前位置；确定当前位置与全局路径的终点的位置是否相同；若相同，则确定车辆到达全局路径的终点；若不相同，则确定车辆未到达全局路径的终点。
在一些实施例中，局部路径满足以下至少一项约束条件：车辆在局部路径上的朝向与车辆在全局路径的朝向之间的偏差在预设偏差范围内、局部路径偏离全局路径的距离在预设距离范围内、车辆沿局部路径行驶过程中不与障碍物碰撞。
在一些实施例中，车辆是无人自主工程车辆。
第二方面，本申请实施例提供了一种用于控制车辆行驶的装置，包括：生成单元，被配置成生成车辆的行驶场地的全局路径；控制单元，被配置成执行以下控制步骤：基于全局路径，生成车辆的当前位置的前方场地的局部路径，其中，局部路径跟随全局路径的方向，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点，若车辆到达全局路径的终点，则结束控制步骤；循环单元，被配置成响应于确定车辆未到达全局路径的终点，继续执行控制步骤。
在一些实施例中，生成单元包括：第一获取子单元，被配置成获取行驶场地的二维图像；第一生成子单元，被配置成基于行驶场地的二维图像生成全局地图；第二生成子单元，被配置成基于全局地图进行路径规划，生成全局路径。
在一些实施例中，控制单元包括：第二获取子单元，被配置成获取车辆的当前位置的前方场地的二维图像；第三生成子单元，被配置成基于前方场地的二维图像生成局部地图；第四生成子单元，被配置成基于全局路径和局部地图进行路径规划，生成局部路径。
在一些实施例中，行驶场地的二维图像是安装在无人机上的摄像头对行驶场地进行航拍所得到的图像，前方场地的二维图像是安装在车辆上的摄像头对前方场地进行拍摄所得到的图像。
在一些实施例中，控制单元还包括：第一确定子单元，被配置成确定车辆的底盘沿局部路径行驶时的速度序列；控制子单元，被配置成基于速度序列，控制底盘的转向和位移，以及从车辆的底盘里程计实时获取底盘的当前行驶里程，基于速度序列中的当前速度对应的行驶里程和当前行驶里程进行闭环控制，以使底盘沿局部路径进行行驶。
在一些实施例中，控制单元还包括：第三获取子单元，被配置成获取底盘的当前行驶里程和车辆的当前位置的前方场地的二维图像；融合子单元，被配置成融合当前行驶里程和前方场地的二维图像确定车辆的当前位置；第二确定子单元，被配置成确定当前位置与全局路径的终点的位置是否相同；若相同，则确定车辆到达全局路径的终点；若不相同，则确定车辆未到达全局路径的终点。
在一些实施例中，局部路径满足以下至少一项约束条件：车辆在局部路径上的朝向与车辆在全局路径的朝向之间的偏差在预设偏差范围内、局部路径偏离全局路径的距离在预设距离范围内、车辆沿局部路径行驶过程中不与障碍物碰撞。
在一些实施例中，车辆是无人自主工程车辆。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于控制车辆行驶的方法和装置，首先生成车辆的行驶场地的全局路径；然后执行以下控制步骤：基于全局路径，生成车辆的当前位置的前方场地的局部路径，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点。若车辆到达全局路径的终点，说明车辆已经自主行驶至目的地，此时可以结束控制步骤。若车辆未到达全局路径的终点，说明车辆尚未自主行驶至目的地，此时可以返回继续执行上述控制步骤，如此循环往复，直至车辆自主行驶至目的地。结合粗粒度的全局路径和细粒度的局部路径对车辆的行驶过程进行控制，实现了对车辆的自主行驶过程的精细控制。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构；
图2是根据本申请的用于控制车辆行驶的方法的一个实施例的流程图；
图3是根据本申请的用于控制车辆行驶的方法的又一个实施例的流程图；
图4是图3所提供的用于控制车辆行驶的方法的一个应用场景的示意图；
图5是根据本申请的用于控制车辆行驶的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于控制车辆行驶的方法或用于控制车辆行驶的装置的实施例的示例性***架构100。
如图1所示，***架构100中可以包括无人机101、车辆102、服务器103和网络104。网络104用以在无人机101、车辆102和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
无人机101上可以安装有摄像头，用于航拍车辆102的行驶场地的二维图像。通常，安装在无人机101上的摄像头可以是单目摄像头，用于航拍行驶场地的单目图像。
车辆102上可以安装有摄像头，用于拍摄车辆102的前方场地的二维图像。通常，安装在车辆102上的摄像头可以是双目摄像头，其安装在车辆102的前方，用于拍摄前方场地的双目图像。
服务器103可以是提供各种服务的服务器，例如，车辆102的后台服务器。车辆102的后台服务器可以从安装在无人机101上的摄像头获取其航拍的行驶场地的二维图像，并对其进行分析等处理，以生成全局路径。随后，车辆102的后台服务器可以执行以下控制步骤：从安装在车辆102上的摄像头获取其拍摄的前方场地的二维图像，并对其进行分析等处理，以生成局部路径，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点。若车辆到达全局路径的终点，则结束控制步骤。若车辆未到达全局路径的终点，继续执行上述控制步骤，如此循环往复，直至车辆到达全局路径的终点。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的用于控制车辆行驶的方法一般由服务器103执行，相应地，用于控制车辆行驶的装置一般设置于服务器103中。
应该理解，图1中的无人机、车辆、服务器和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的无人机、车辆、服务器和网络。
继续参考图2，其示出了根据本申请的用于控制车辆行驶的方法的一个实施例的流程200。该用于控制车辆行驶的方法，包括以下步骤：
步骤201，生成车辆的行驶场地的全局路径。
在本实施例中，用于控制车辆行驶的方法的执行主体(例如图1所示的服务器103)可以生成车辆的行驶场地的全局路径。通常，上述执行主体可以对行驶场地的全局地图进行全局路径规划，以生成全局路径。其中，行驶场地可以是车辆在其中进行行驶的场地，包括车辆的起始地和目的地。全局路径可以是以车辆的起始地为起点，以车辆的目的地为终点的无碰撞路径。
步骤202，基于全局路径，生成车辆的当前位置的前方场地的局部路径。
在本实施例中，上述执行主体可以对全局路径进行分析，以生成车辆的当前位置的前方场地的局部路径。通常，上述执行主体可以基于采样的方式生成局部路径。具体地，上述执行主体可以在全局路径上采样预设数目(例如n)个点，如A1、A2…Ai…An。其中，i为正整数，且1≤i≤n，Ai是第i个采样点，A1是全局路径的起点，An是全局路径的终点，任意的相邻两个采样点之间的路径是一段局部路径。车辆的当前位置可以是任意一个采样点的位置。车辆的当前位置的前方场地的局部路径可以是以车辆的当前位置对应的采样点为起点，以与车辆的当前位置对应的采样点相邻的采样点为终点的一段局部路径。其中，前方场地可以是车辆的当前位置的前方区域所在的场地，属于行驶场地中的部分场地。通常，车辆的当前位置在前方场地的边缘。局部路径可以以车辆的当前位置为起点，且局部路径跟随全局路径的方向的无碰撞路径。
需要说明的是，上述执行主体可以利用各种路径规划算法(例如SLAM(simultaneous localization and mapping，同步定位与建图)、VSLAM(visualsimultaneous localization and mapping，基于视觉的同步定位与建图))生成全局路径和局部路径，也可以利用预先训练的各种用于生成行驶路径的深度神经网络(例如多层卷积神经网络)生成全局路径和局部路径。以上各种路径规划算法和各种用于生成行驶路径的深度神经网络是目前广泛研究和应用的公知技术，在此不再赘述。
步骤203，控制车辆沿局部路径行驶，直至到达局部路径的终点。
在本实施例中，上述执行主体可以基于局部路径向车辆的多个设备(如底盘)发送控制指令，以使车辆沿局部路径自主行驶，直至行驶到局部路径的终点为止。
步骤204，确定车辆是否到达全局路径的终点，若是，则结束控制步骤，若否，则继续执行控制步骤。
在本实施例中，上述执行主体可以确定车辆是否到达全局路径的终点。若车辆到达全局路径的终点，说明车辆已经自主行驶至目的地，此时可以结束流程。若车辆未到达全局路径的终点，说明车辆尚未自主行驶至目的地，此时可以返回继续执行步骤202，如此循环往复，直至车辆自主行驶至目的地。其中，控制步骤包括步骤202-204。
在本实施例的一些可选的实现方式中，车辆上可以安装有GPS(GlobalPositioning System，全球定位***)***。上述执行主体可以首先利用过GPS***对车辆进行定位，以获取车辆的当前位置；然后确定当前位置与全局路径的终点的位置是否相同；若相同，则确定车辆到达全局路径的终点；若不相同，则确定车辆未到达全局路径的终点。
在本实施例的一些可选的实现方式中，车辆上可以安装有摄像头。通常，摄像头可以安装在车辆的前方，这样，安装在车辆上的摄像头可以对车辆的当前位置的前方场地进行拍摄。车辆上还可以安装有底盘里程计。这样，安装在车辆上的底盘里程计可以获取底盘的当前行驶里程。随后，上述执行主体可以获取底盘的当前行驶里程和车辆的当前位置的前方场地的二维图像；融合当前行驶里程和前方场地的二维图像确定车辆的当前位置；确定当前位置与全局路径的终点的位置是否相同；若相同，则确定车辆到达全局路径的终点；若不相同，则确定车辆未到达全局路径的终点。融合当前行驶里程和前方场地的二维图像来确定车辆的当前位置，可以提高所确定出的车辆的当前位置的精度。
本申请实施例提供的用于控制车辆行驶的方法，首先生成车辆的行驶场地的全局路径；然后执行以下控制步骤：基于全局路径，生成车辆的当前位置的前方场地的局部路径，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点。若车辆到达全局路径的终点，说明车辆已经自主行驶至目的地，此时可以结束控制步骤。若车辆未到达全局路径的终点，说明车辆尚未自主行驶至目的地，此时可以返回继续执行上述控制步骤，如此循环往复，直至车辆自主行驶至目的地。结合粗粒度的全局路径和细粒度的局部路径对车辆的行驶过程进行控制，实现了对车辆的自主行驶过程的精细控制。
进一步参考图3，其示出了根据本申请的用于控制车辆行驶的方法的又一个实施例的流程300。该用于控制车辆行驶的方法，包括以下步骤：
步骤301，获取行驶场地的二维图像。
在本实施例中，用于控制车辆行驶的方法的执行主体(例如图1所示的服务器103)可以通过有线连接方式或者无线连接方式获取行驶场地的二维图像。其中，行驶场地可以是车辆在其中进行行驶的场地，包括车辆的起始地和目的地。
在本实施例的一些可选的实现方式中，行驶场地的二维图像可以是安装在无人机上的摄像头对行驶场地进行航拍所得到的图像。实践中，无人机上可以安装有摄像头，当无人机在行驶场地上方飞行时，可以开启其上安装的摄像头，对行驶场地进行航拍。通常，安装在无人机上的摄像头可以是单目摄像头，行驶场地的二维图像可以是单目图像。
步骤302，基于行驶场地的二维图像生成全局地图。
在本实施例中，上述执行主体可以对行驶场地的二维图像进行分析，并基于行驶场地的二维图像的分析结果生成行驶场地的地图，作为全局地图。其中，全局地图可以是行驶场地的三维模型，其上可以包括车辆的起始地和目的地。
在本实施例的一些可选的实现方式中，安装在无人机上的摄像头可以拍摄行驶场地的多个角度的二维图像。这样，上述执行主体可以利用行驶场地的多个角度的二维图像进行三维重建，以得到全局地图。
在本实施例的一些可选的实现方式中，安装在无人机上的摄像头可以是单目摄像头。当无人机在行驶场地上方飞行时，可以开启其上安装的单目摄像头，对行驶场地进行航拍，以得到行驶场地的单目图像。这样，上述执行主体可以对无人机的单目摄像头航拍的单目图像进行三维重建，以得到行驶场地的三维模型；随后，确定车辆和目的地在行驶场地的三维模型中的位置，并基于所确定出的位置对行驶场地的三维模型进行标注，以生成全局地图。其中，对单目图像进行三维重建的方法可以是大尺度运动恢复结构算法。运动恢复结构(Structure-From-Motion，SFM)是一种能够从多张图像或视频序列中自动地恢复出相机的参数以及场景三维结构的技术，具有广泛的应用，例如可以应用于增强现实、机器人和自动驾驶等领域。大尺度运动恢复结构(large scale structure from motion)是对于大尺度场景的运动恢复结构。
步骤303，基于全局地图进行路径规划，生成全局路径。
在本实施例中，上述执行主体可以基于全局地图进行全局路径规划，以生成全局路径。其中，全局路径可以是以车辆的起始地为起点，以车辆的目的地为终点的无碰撞路径。
步骤304，获取车辆的当前位置的前方场地的二维图像。
在本实施例中，上述执行主体可以通过有线连接方式或者无线连接方式获取车辆的当前位置的前方场地的二维图像。其中，前方场地可以是车辆的当前位置的前方区域所在的场地，属于行驶场地中的部分场地。通常，车辆的当前位置在前方场地的边缘。
在本实施例的一些可选的实现方式中，前方场地的二维图像可以是安装在车辆上的摄像头对前方场地进行拍摄所得到的图像。实践中，车辆上可以安装有摄像头。通常，摄像头可以安装在车辆的前方，这样，安装在车辆上的摄像头可以对车辆的前方场地进行拍摄。通常，安装在车辆上的摄像头可以是双目摄像头，前方场地的二维图像可以是双目图像。
步骤305，基于前方场地的二维图像生成局部地图。
在本实施例中，上述执行主体可以对前方场地的二维图像进行分析，并基于对前方场地的二维图像的分析结果生成前方场地的地图，作为行驶场地的局部地图。其中，局部地图可以是前方场地的三维模型。
在本实施例的一些可选的实现方式中，安装在车辆上的摄像头可以拍摄前方场地的多个角度的二维图像。这样，上述执行主体可以利用前方场地的多个角度的二维图像进行三维重建，以得到局部地图。
在本实施例的一些可选的实现方式中，安装在车辆上的摄像头可以双目摄像头。通常，双目摄像头可以安装在车辆的前方，这样，安装在车辆上的双目摄像头可以对车辆的当前位置的前方场地进行拍摄，以得到前方场地的双目图像。这样，上述执行主体可以首先对双目图像进行图像匹配，以得到双目图像的视差图；然后基于视差图，以生成前方场地的深度图；最后，对深度图进行三维重建，以得到局部地图。通常，由于双目图像是双目摄像头通过模仿动物双眼的工作机制而拍摄的，每组双目图像之间存在一定程度的水平视差。因此，上述执行主体可以根据水平视差确定前方场地到双目摄像头之间的距离，即得到前方场地的深度图。随后，上述执行主体可以利用例如Kinect Fusion算法对深度图进行三维重建，以得到局部地图。
步骤306，基于全局路径和局部地图进行路径规划，生成局部路径。
在本实施例中，上述执行主体可以基于全局路径和局部地图进行局部路径规划，以生成局部路径。其中，局部路径可以是以车辆的当前位置为起点，且局部路径跟随全局路径的方向的无碰撞路径。
实践中，由于全局路径是基于安装在无人机上的摄像头航拍的粗粒度信息生成的，属于粗粒度路径，其准确度较低。并且全局地图上不仅会存在静态物体(树木、物料堆等等)，还会存在动态物体(其他车辆、人等等)。而全局地图上的动态物体的位置是无人机航拍行驶场地的时刻的位置。随着时间的推移，动态物体的位置会不断发生变化。基于全局路径的上述两种特点，若车辆沿全局路径自主行驶，不能完全保证车辆不与障碍物发生碰撞。因此，上述执行主体还需要基于局部地图和全局路径生成跟随全局路径的方向的局部路径。由于局部路径是基于安装在车辆上的摄像头拍摄的细粒度信息生成的，属于细粒度路径，其准确度较高。同时，由于前方场地是行驶场地中的小范围区域，从安装在车辆上的摄像头拍摄前方场地的二维图像，到车辆沿局部路径行驶到局部路径的终点仅需要很短的时间。在此期间，动态物体的位置变化较小。基于局部路径的上述两种特点，若车辆沿局部路径自主行驶，通常不会与障碍物发生碰撞。
在本实施例的一些可选的实现方式中，局部路径通常可以满足以下至少一项约束条件：车辆在局部路径上的朝向与车辆在全局路径的朝向之间的偏差在预设偏差范围内、局部路径偏离全局路径的距离在预设距离范围内、车辆沿局部路径行驶过程中不与障碍物碰撞等等。
步骤307，确定车辆的底盘沿局部路径行驶时的速度序列。
在本实施例中，上述执行主体可以对局部路径进行分析，以确定车辆的底盘沿局部路径行驶时的速度序列。其中，速度序列中可以包括底盘在局部路径上的各个采样点处的速度。
步骤308，基于速度序列，控制底盘的转向和位移，以及从车辆的底盘里程计实时获取底盘的当前行驶里程，基于速度序列中的当前速度对应的行驶里程和当前行驶里程进行闭环控制，以使底盘沿局部路径进行行驶。
在本实施例中，对于速度序列中的当前速度，上述执行主体可以按照当前速度控制底盘的转向和位移。同时，上述执行主体还可以从底盘里程计实时获取底盘的当前行驶里程。通常，若底盘的当前行驶里程等于速度序列中的当前速度对应的行驶里程，说明底座没有偏离局部路径。然而，在实际过程中，受路面摩擦力和空气阻力的影响，底座不可避免地会偏离局部路径。此时，上述执行主体可以基于速度序列中的当前速度对应的行驶里程和当前行驶里程进行闭环控制，以使底盘平滑地重新行驶到局部路径上。随后，当前速度的下一个速度成为当前速度，继续执行以上步骤。如此循环往复，直至上述执行主体按照速度序列中的最后一个速度完成闭环控制为止。此时，底盘沿局部路径行驶至局部路径的终点。
通常，车辆的底盘上可以安装有至少两个驱动轮。以左右双驱动轮车辆为例，当左驱动轮和右驱动轮以相同的速度和相同的转动方向转动时，底盘直线行驶；当左驱动轮和右驱动轮以相同的速度和相反的转动方向转动时，底盘原地旋转；当左驱动轮和右驱动轮以不同的速度和/或不同的转动方向转动时，底盘转弯行驶。
需要说明的是，当底盘偏离局部路径时，上述执行主体可以通过多种方式控制底盘重新行驶到局部路径上。例如，上述执行主体可以根据车辆的当前位姿和当前速度对应的位姿构造平滑曲线，控制车辆沿平滑曲线行驶，直至重新回到局部路径上。上述执行主体还可以通过其他方式控制底盘重新行驶到局部路径上，这里对控制方式不进行限定。
步骤309，确定车辆是否到达全局路径的终点，若是，则结束控制步骤，若否，则继续执行控制步骤。
在本实施例中，上述执行主体可以确定车辆是否到达全局路径的终点。若车辆到达全局路径的终点，说明车辆已经自主行驶至目的地，此时可以结束流程。若车辆未到达全局路径的终点，说明车辆尚未自主行驶至目的地，此时可以返回继续执行步骤304，如此循环往复，直至车辆自主行驶至目的地。其中，控制步骤包括步骤304-309。
在本实施例的一些可选的实现方式中，车辆可以是无人自主工程车辆。例如，无人自主工程车辆可以是无人自主挖掘机。此时，行驶场地可以是无人自主挖掘机的工作场地。无人自主挖掘机的起始地可以是无人自主挖掘机的当前所在地。无人自主挖掘机的目的地可以是无人自主挖掘机将要挖掘的物料堆的所在地。其中，物料堆可以是物料堆放在一起形成的。物料主要是土壤、煤、泥沙以及经过预松后的土壤和岩石等等。
继续参见图4，图4是图3所提供的用于控制车辆行驶的方法的一个应用场景的示意图。在图4所示的应用场景中，无人自主挖掘机需要对工作场地上的土堆进行挖掘。首先，操纵无人机在工作场地的上方飞行，开启其上安装的单目摄像头航拍工作场地的单目图像，并发送至无人自主挖掘机的后台服务器。这样，后台服务器可以利用大尺度场景三维重建算法对单目图像进行三维重建，以得到工作场地三维模型。利用图像识别技术识别出工作场地的三维模型中的无人自主挖掘机位置和土堆位置，并对基于识别出的位置对工作场地的三维模型中的无人自主挖掘机和土堆进行标注，以生成全局地图。基于全局地图进行全局路径规划，以生成全局路径。随后，开启安装在无人自主挖掘机的车身的前方的双目摄像头拍摄前方场地的双目图像，并发送至无人自主挖掘机的后台服务器。这样，后台服务器可以利用局部地形重建算法对双目图像进行三维重建，以得到局部地图。基于局部地图和全局路径进行局部路径规划，以生成跟随全局路径的方向的局部路径。此时，后台服务器可以基于局部路径控制无人自主挖掘机的底盘的速度，以使无人自主挖掘机沿局部路径自主行驶。当行驶到局部路径的终点时，再次开启双目摄像头对当前的前方场地进行拍摄，并继续执行上述局部路径生成步骤生成新的局部路径，基于新的局部路径控制无人自主挖掘机的底盘的速度，以使无人自主挖掘机沿新的局部路径自主行驶。如此循环往复，直至无人自主挖掘机行驶到土堆附近为止。
从图3中可以看出，与图2对应的实施例相比，本实施例中的用于控制车辆行驶的方法的流程300突出了生成全局路径和局部路径的步骤。由此，对行驶场地的二维图像进行三维重建，以生成全局地图。同时，对前方场地的二维图像进行三维重建，以生成局部地图，从而提高了生成全局地图和局部地图的效率和准确度。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于控制车辆行驶的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于控制车辆行驶的装置500可以包括：生成单元501、控制单元502和循环单元503。其中，生成单元501，被配置成生成车辆的行驶场地的全局路径；控制单元502，被配置成执行以下控制步骤：基于全局路径，生成车辆的当前位置的前方场地的局部路径，其中，局部路径跟随全局路径的方向，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点，若车辆到达全局路径的终点，则结束控制步骤；循环单元503，被配置成响应于确定车辆未到达全局路径的终点，继续执行控制步骤。
在本实施例中，用于控制车辆行驶的装置500中：生成单元501、控制单元502和循环单元503的具体处理及其所带来的技术效果可参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，生成单元501包括：第一获取子单元(图中未示出)，被配置成获取行驶场地的二维图像；第一生成子单元(图中未示出)，被配置成基于行驶场地的二维图像生成全局地图；第二生成子单元(图中未示出)，被配置成基于全局地图进行路径规划，生成全局路径。
在本实施例的一些可选的实现方式中，控制单元502包括：第二获取子单元(图中未示出)，被配置成获取车辆的当前位置的前方场地的二维图像；第三生成子单元(图中未示出)，被配置成基于前方场地的二维图像生成局部地图；第四生成子单元(图中未示出)，被配置成基于全局路径和局部地图进行路径规划，生成局部路径。
在本实施例的一些可选的实现方式中，行驶场地的二维图像是安装在无人机上的摄像头对行驶场地进行航拍所得到的图像，前方场地的二维图像是安装在车辆上的摄像头对前方场地进行拍摄所得到的图像。
在本实施例的一些可选的实现方式中，控制单元502还包括：第一确定子单元(图中未示出)，被配置成确定车辆的底盘沿局部路径行驶时的速度序列；控制子单元(图中未示出)，被配置成基于速度序列，控制底盘的转向和位移，以及从车辆的底盘里程计实时获取底盘的当前行驶里程，基于速度序列中的当前速度对应的行驶里程和当前行驶里程进行闭环控制，以使底盘沿局部路径进行行驶。
在本实施例的一些可选的实现方式中，控制单元502还包括：第三获取子单元(图中未示出)，被配置成获取底盘的当前行驶里程和车辆的当前位置的前方场地的二维图像；融合子单元(图中未示出)，被配置成融合当前行驶里程和前方场地的二维图像确定车辆的当前位置；第二确定子单元(图中未示出)，被配置成确定当前位置与全局路径的终点的位置是否相同；若相同，则确定车辆到达全局路径的终点；若不相同，则确定车辆未到达全局路径的终点。
在本实施例的一些可选的实现方式中，局部路径满足以下至少一项约束条件：车辆在局部路径上的朝向与车辆在全局路径的朝向之间的偏差在预设偏差范围内、局部路径偏离全局路径的距离在预设距离范围内、车辆沿局部路径行驶过程中不与障碍物碰撞。
在本实施例的一些可选的实现方式中，车辆是无人自主工程车辆。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器103)的计算机***600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括生成单元、控制单元和循环单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，生成单元还可以被描述为“生成车辆的行驶场地的全局路径的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：生成车辆的行驶场地的全局路径；执行以下控制步骤：基于全局路径，生成车辆的当前位置的前方场地的局部路径，其中，局部路径跟随全局路径的方向，控制车辆沿局部路径行驶，直至到达局部路径的终点，确定车辆是否到达全局路径的终点，若车辆到达全局路径的终点，则结束控制步骤；响应于确定车辆未到达全局路径的终点，继续执行控制步骤。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于控制车辆行驶的方法，包括：
生成车辆的行驶场地的全局路径；
执行以下控制步骤：基于所述全局路径，生成所述车辆的当前位置的前方场地的局部路径，其中，局部路径跟随所述全局路径的方向，控制所述车辆沿局部路径行驶，直至到达局部路径的终点，确定所述车辆是否到达所述全局路径的终点，若所述车辆到达所述全局路径的终点，则结束所述控制步骤；
响应于确定所述车辆未到达所述全局路径的终点，继续执行所述控制步骤；
其中，所述全局路径是基于无人机上的摄像头获取航拍的行驶场地的二维图像生成的，局部路径是基于所述车辆上的摄像头获取拍摄的前方场地的二维图像生成的；
其中，所述基于所述全局路径，生成所述车辆的当前位置的前方场地的局部路径，包括：
获取所述车辆的当前位置的前方场地的二维图像；
基于前方场地的二维图像生成局部地图，其中，所述二维图像是双目图像，对所述双目图像进行图像匹配，得到所述双目图像的视差图，基于所述视差图，生成所述前方场地的深度图，对所述深度图进行三维重建，得到所述局部地图；
基于所述全局路径和局部地图进行路径规划，生成局部路径；
其中，所述确定所述车辆是否到达所述全局路径的终点，包括：
获取所述车辆的底盘的当前行驶里程和所述车辆的当前位置的前方场地的二维图像；
融合当前行驶里程和前方场地的二维图像确定所述车辆的当前位置；
确定当前位置与所述全局路径的终点的位置是否相同；
若相同，则确定所述车辆到达所述全局路径的终点；
若不相同，则确定所述车辆未到达所述全局路径的终点。
2.根据权利要求1所述的方法，其中，所述生成车辆的行驶场地的全局路径，包括：
获取所述行驶场地的二维图像；
基于所述行驶场地的二维图像生成全局地图；
基于所述全局地图进行路径规划，生成所述全局路径。
3.根据权利要求2所述的方法，其中，所述控制所述车辆沿局部路径行驶，直至到达局部路径的终点，包括：
确定所述车辆的底盘沿局部路径行驶时的速度序列；
基于速度序列，控制所述底盘的转向和位移，以及从所述车辆的底盘里程计实时获取所述底盘的当前行驶里程，基于所述速度序列中的当前速度对应的行驶里程和所述当前行驶里程进行闭环控制，以使所述底盘沿局部路径进行行驶。
4.根据权利要求1-3之一所述的方法，其中，局部路径满足以下至少一项约束条件：所述车辆在局部路径上的朝向与所述车辆在所述全局路径的朝向之间的偏差在预设偏差范围内、局部路径偏离所述全局路径的距离在预设距离范围内、所述车辆沿局部路径行驶过程中不与障碍物碰撞。
5.根据权利要求1-3之一的方法，其中，所述车辆是无人自主工程车辆。
6.一种用于控制车辆行驶的装置，包括：
生成单元，被配置成生成车辆的行驶场地的全局路径；
控制单元，被配置成执行以下控制步骤：基于所述全局路径，生成所述车辆的当前位置的前方场地的局部路径，其中，局部路径跟随所述全局路径的方向，控制所述车辆沿局部路径行驶，直至到达局部路径的终点，确定所述车辆是否到达所述全局路径的终点，若所述车辆到达所述全局路径的终点，则结束所述控制步骤；
循环单元，被配置成响应于确定所述车辆未到达所述全局路径的终点，继续执行所述控制步骤；
其中，所述全局路径是基于无人机上的摄像头获取航拍的行驶场地的二维图像生成的，局部路径是基于所述车辆上的摄像头获取拍摄的前方场地的二维图像生成的；
其中，所述控制单元包括：
第二获取子单元，被配置成获取所述车辆的当前位置的前方场地的二维图像；
第三生成子单元，被配置成基于前方场地的二维图像生成局部地图，其中，所述二维图像是双目图像，对所述双目图像进行图像匹配，得到所述双目图像的视差图，基于所述视差图，生成所述前方场地的深度图，对所述深度图进行三维重建，得到所述局部地图；
第四生成子单元，被配置成基于所述全局路径和局部地图进行路径规划，生成局部路径；
其中，所述控制单元还包括：
第三获取子单元，被配置成获取所述车辆的底盘的当前行驶里程和所述车辆的当前位置的前方场地的二维图像；
融合子单元，被配置成融合当前行驶里程和前方场地的二维图像确定所述车辆的当前位置；
第二确定子单元，被配置成确定当前位置与所述全局路径的终点的位置是否相同；若相同，则确定所述车辆到达所述全局路径的终点；若不相同，则确定所述车辆未到达所述全局路径的终点。
7.根据权利要求6所述的装置，其中，所述生成单元包括：
第一获取子单元，被配置成获取所述行驶场地的二维图像；
第一生成子单元，被配置成基于所述行驶场地的二维图像生成全局地图；
第二生成子单元，被配置成基于所述全局地图进行路径规划，生成所述全局路径。
8.根据权利要求7所述的装置，其中，所述控制单元还包括：
第一确定子单元，被配置成确定所述车辆的底盘沿局部路径行驶时的速度序列；
控制子单元，被配置成基于速度序列，控制所述底盘的转向和位移，以及从所述车辆的底盘里程计实时获取所述底盘的当前行驶里程，基于所述速度序列中的当前速度对应的行驶里程和所述当前行驶里程进行闭环控制，以使所述底盘沿局部路径进行行驶。
9.根据权利要求6-8之一所述的装置，其中，局部路径满足以下至少一项约束条件：所述车辆在局部路径上的朝向与所述车辆在所述全局路径的朝向之间的偏差在预设偏差范围内、局部路径偏离所述全局路径的距离在预设距离范围内、所述车辆沿局部路径行驶过程中不与障碍物碰撞。
10.根据权利要求6-8之一所述的装置，其中，所述车辆是无人自主工程车辆。
11.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如权利要求1-5中任一的方法。
12.一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如权利要求1-5中任一的方法。
CN201910075036.9A 2019-01-25 2019-01-25 用于控制车辆行驶的方法和装置 Active CN109782766B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910075036.9A CN109782766B (zh) 2019-01-25 2019-01-25 用于控制车辆行驶的方法和装置
JP2019202058A JP7013434B2 (ja) 2019-01-25 2019-11-07 車両の走行を制御するための方法及び装置
US16/677,321 US11378957B1 (en) 2019-01-25 2019-11-07 Method and apparatus for controlling vehicle driving
KR1020190141606A KR102288844B1 (ko) 2019-01-25 2019-11-07 차량 주행 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910075036.9A CN109782766B (zh) 2019-01-25 2019-01-25 用于控制车辆行驶的方法和装置

Publications (2)

Publication Number Publication Date
CN109782766A CN109782766A (zh) 2019-05-21
CN109782766B true CN109782766B (zh) 2023-01-03

Family

ID=66502490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910075036.9A Active CN109782766B (zh) 2019-01-25 2019-01-25 用于控制车辆行驶的方法和装置

Country Status (4)

Country Link
US (1) US11378957B1 (zh)
JP (1) JP7013434B2 (zh)
KR (1) KR102288844B1 (zh)
CN (1) CN109782766B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7226545B2 (ja) * 2019-06-14 2023-02-21 日産自動車株式会社 走行支援方法および走行支援装置
KR20220109458A (ko) 2020-03-04 2022-08-04 데쿠세리아루즈 가부시키가이샤 광학 적층체의 제조 방법
CN111523409B (zh) * 2020-04-09 2023-08-29 北京百度网讯科技有限公司 用于生成位置信息的方法和装置
CN111829535B (zh) * 2020-06-05 2022-05-03 阿波罗智能技术(北京)有限公司 生成离线地图的方法、装置、电子设备和存储介质
WO2022003838A1 (en) * 2020-06-30 2022-01-06 Volvo Truck Corporation Method for mapping, mapping device, computer program, computer readable medium, and vehicle
CN111791887B (zh) * 2020-07-03 2021-06-04 北京理工大学 一种基于分层式车速规划的车辆节能驾驶方法
CN115812032A (zh) 2020-07-17 2023-03-17 迪睿合株式会社 光学层叠体的制造方法
KR102525191B1 (ko) 2020-08-07 2023-04-26 한국전자통신연구원 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법
CN114527737A (zh) * 2020-11-06 2022-05-24 百度在线网络技术（北京）有限公司 用于自动驾驶的速度规划方法、装置、设备、介质和车辆
CN112817307B (zh) * 2020-12-30 2022-08-02 广州大学 一种基于无人机道路感知的车辆辅助驾驶***及方法
CN116101303B (zh) * 2023-04-07 2023-07-07 成都理工大学工程技术学院 一种车辆辅助驾驶方法、***、装置和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130065126A (ko) * 2011-12-09 2013-06-19 한국전자통신연구원 이동체의 경로 설정 장치 및 방법
JP6572020B2 (ja) * 2015-07-01 2019-09-04 株式会社Ｉｈｉエアロスペース 飛行体搭載車両
CN105318888B (zh) * 2015-12-07 2018-08-14 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
KR20170083233A (ko) 2016-01-08 2017-07-18 서울대학교산학협력단 지도 기반 이동체 움직임 의도 판단을 활용한 주행 지원 시스템
WO2018027210A1 (en) * 2016-08-05 2018-02-08 Neu Robotics, Inc, Mobile platform eg drone / uav performing localization and mapping using video
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建***及其方法
US10584971B1 (en) * 2016-10-28 2020-03-10 Zoox, Inc. Verification and updating of map data
US10921816B2 (en) * 2017-04-21 2021-02-16 Korea Advanced Institute Of Science And Technology Method and apparatus for producing map based on hierarchical structure using 2D laser scanner
CN110799804A (zh) * 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成***和方法
US11130630B2 (en) * 2017-11-27 2021-09-28 Amazon Technologies, Inc. Collision prevention for autonomous vehicles
CN108375976A (zh) * 2018-01-22 2018-08-07 中国民用航空飞行学院 一种服务机器人导航方法及***
CN108931971A (zh) * 2018-05-24 2018-12-04 奇瑞汽车股份有限公司 用于无人驾驶的移动终端、车辆、服务器及无人驾驶***
US10218708B1 (en) * 2018-06-21 2019-02-26 Capital One Services, Llc Systems for providing electronic items having customizable locking mechanism
CN108873908B (zh) * 2018-07-12 2020-01-24 重庆大学 基于视觉slam和网络地图结合的机器人城市导航***
US20200117201A1 (en) * 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle
US11520331B2 (en) * 2018-12-28 2022-12-06 Intel Corporation Methods and apparatus to update autonomous vehicle perspectives

Also Published As

Publication number Publication date
US20220185271A1 (en) 2022-06-16
KR102288844B1 (ko) 2021-08-13
JP2020123317A (ja) 2020-08-13
US11378957B1 (en) 2022-07-05
CN109782766A (zh) 2019-05-21
KR20200093412A (ko) 2020-08-05
JP7013434B2 (ja) 2022-01-31

Similar Documents

Publication Publication Date Title
CN109782766B (zh) 用于控制车辆行驶的方法和装置
CN109737983B (zh) 用于生成行驶路径的方法和装置
US11340632B2 (en) Georeferenced trajectory estimation system
CN110497901A (zh) 一种基于机器人vslam技术的泊车位自动搜索方法和***
Meyer et al. The MADMAX data set for visual‐inertial rover navigation on Mars
EP3623761A1 (en) Localization method and apparatus of displaying virtual object in augmented reality
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
US11282164B2 (en) Depth-guided video inpainting for autonomous driving
CN111627054A (zh) 用于预测高置信度密集点云的深度补全误差地图的方法和装置
CN111105695B (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
CN109345015B (zh) 用于选取路线的方法和装置
CN116762094A (zh) 数据处理方法和设备
Kannan Development of a reference software platform for the Velodyne VLP-16 LiDARS
CN109901589A (zh) 移动机器人控制方法和装置
Enright Visual SLAM and Localization–The Hard Cases
Sanfourche et al. 3DSCAN: Online ego-localization and environment mapping for micro aerial vehicles
KR102342945B1 (ko) 서라운드 이미지를 이용한 자율주행 이동체의 위치 추정 장치 및 방법
Capito Ruiz Optical flow-based artificial potential field generation for gradient tracking sliding mode control for autonomous vehicle navigation
CN111461982B (zh) 用于拼接点云的方法和装置
KR102682524B1 (ko) 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
Ponomarev et al. ORDSLAM dataset for comparison of outdoor RGB-D SLAM algorithms
Mann et al. Extension of Direct Sparse Odometry with Stereo Camera and Inertial Sensor
Ahmadi Visual-LiDAR Simultaneous Localization and Mapping
CN117372632A (zh) 二维图像的标注方法、装置、计算机设备及存储介质
Zhang et al. An Earth Rover dataset recorded at the ICRA@ 40 party

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant