CN109415065B - 用于虚拟化驾驶环境的装置和方法以及车辆 - Google Patents

用于虚拟化驾驶环境的装置和方法以及车辆 Download PDF

Info

Publication number
CN109415065B
CN109415065B CN201680087334.4A CN201680087334A CN109415065B CN 109415065 B CN109415065 B CN 109415065B CN 201680087334 A CN201680087334 A CN 201680087334A CN 109415065 B CN109415065 B CN 109415065B
Authority
CN
China
Prior art keywords
node
data
driving environment
scene
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680087334.4A
Other languages
English (en)
Other versions
CN109415065A (zh
Inventor
张国霞
张青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN109415065A publication Critical patent/CN109415065A/zh
Application granted granted Critical
Publication of CN109415065B publication Critical patent/CN109415065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种用于虚拟化第一节点周围的驾驶环境的装置(1010)，所述装置包括：数据采集装置(201)，所述数据采集装置被配置成获取所述第一节点的位置数据、至少一个第二节点的位置数据和感测数据，其中所述至少一个第二节点和所述第一节点位于第一通信网络中；以及场景构建装置(203)，所述场景构建装置被配置成基于所述第一节点和所述至少一个第二节点的所述位置数据，以及基于所述至少一个第二节点的所述感测数据，构建虚拟化所述第一节点周围的所述驾驶环境的场景。因此，通过利用节点的位置数据和传感器数据，可以为驾驶员实时构建用于虚拟化驾驶环境的场景，从而提高驾驶安全性。

Description

用于虚拟化驾驶环境的装置和方法以及车辆
技术领域
本发明总体上涉及驾驶员辅助，并且更具体地，涉及用于虚拟化驾驶环境的装置和方法，以及包括用于虚拟化驾驶环境的装置的车辆。
背景技术
对驾驶环境的了解有利于驾驶员和自动驾驶。通过车载传感器(例如，雷达、激光雷达、相机等)，车辆可以获取与车辆相邻的物体的知识。但是，感测数据可能不完整或不准确。例如，车载传感器可能错过被阻挡的物体，或者车载传感器可能产生重影物体。目前，为了解决这一问题，通过车辆间通信网络在车辆之间交换感测数据，以共享驾驶环境的知识，例如静止或移动物体的位置、移动物体的速率等。然而，驾驶环境的共享知识是抽象且有限的。因此，需要一种了解驾驶环境的方法和装置。
发明内容
本发明的实施方案提供一种用于虚拟化第一节点周围的驾驶环境的装置，所述装置可以包括：数据采集装置，所述数据采集装置被配置成获取所述第一节点的位置数据、至少一个第二节点的位置数据和感测数据，其中所述至少一个第二节点和所述第一节点位于第一通信网络中；以及场景构建装置，所述场景构建装置被配置成基于所述第一节点和所述至少一个第二节点的所述位置数据，以及基于所述至少一个第二节点的所述感测数据，构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，所述装置还可以包括：解压缩装置，所述解压缩装置被配置成解压缩所述至少一个第二节点的所述感测数据。
在一些实施方案中，所述场景构建装置可以包括：拓扑构建装置，所述拓扑构建装置被配置成基于所述第一节点和所述至少一个第二节点的所述位置数据来构建拓扑，所述拓扑包括所述至少一个第二节点相对于所述第一节点的位置坐标的位置坐标；以及图像构建装置，所述图像构建装置被配置成基于所述至少一个第二节点的所述感测数据和所述拓扑识别所述驾驶环境中的物体的感测数据，并且融合所述识别的感测数据以构建所述物体并基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，所述数据采集装置还可以被配置成获取所述第一节点的感测数据，所述感测数据包含与所述第一节点相邻的物体的信息，并且所述图像构建装置还被配置成基于所述第一节点和所述至少一个第二节点的所述感测数据识别所述驾驶环境中的物体的感测数据，并且融合所述识别的感测数据以构建所述物体并基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，所述数据采集装置还可以被配置成获取至少一个第三节点的位置数据，所述至少一个第三节点不在所述第一通信网络内，但与所述至少一个第二节点的一部分一起在第二通信网络内，并且所述拓扑构建装置还被配置成构建拓扑，所述拓扑包括所述至少一个第二节点和所述至少一个第三节点相对于所述第一节点的所述位置坐标的位置坐标，其中从所述至少一个第二节点的所述一部分获得所述至少一个第三节点的所述位置数据。
在一些实施方案中，所述数据采集装置还可以被配置成获取所述至少一个第三节点的感测数据，并且所述图像构建装置还被配置成基于所述至少一个第二节点和所述至少一个第三节点的所述感测数据识别所述驾驶环境中的物体的感测数据，并且融合所述识别的感测数据以构建所述物体并基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，所述感测数据可以被压缩并且包括节点标识和数据集，所述数据集包括检测到的物体的位置数据、速率数据、尺寸数据或形状数据。
在一些实施方案中，所述感测数据可以被压缩并且包括多个数据集，每个数据集包括：两组坐标，所述两组坐标表示检测到的物体的边缘的两端；以及层的索引。在一些实施方案中，所述多个数据集中的每一个还可以包括强度数据或速度数据。
在一些实施方案中，可以响应于请求或通过广播获取所述感测数据。
在一些实施方案中，可以基于使用基本安全消息或协作感知消息传输的GPS数据来获取所述位置数据。
在一些实施方案中，用于构建虚拟化所述驾驶环境的场景的所述装置可以被配置成至少每1毫秒刷新一次。
本发明的实施方案还提供一种用于虚拟化第一节点周围的驾驶环境的方法，所述方法可以包括：获取所述第一节点的位置数据、至少一个第二节点的位置数据和感测数据，其中所述至少一个第二节点和所述第一节点位于第一通信网络中；以及基于所述第一节点和所述至少一个第二节点的所述位置数据，以及基于所述至少一个第二节点的所述感测数据，构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，可以压缩所述至少一个第二节点的所述感测数据，并且在构建虚拟化所述驾驶环境的所述场景之前，所述方法还可以包括：解压缩所述至少一个第二节点的所述感测数据。
在一些实施方案中，构建虚拟化所述驾驶环境的场景可以包括：基于所述第一节点和所述至少一个第二节点的所述位置数据来构建拓扑，所述拓扑包括所述至少一个第二节点相对于所述第一节点的位置坐标的位置坐标；基于所述至少一个第二节点的所述感测数据和所述拓扑识别所述驾驶环境中的物体的感测数据；融合所述识别的感测数据以构建所述物体；以及基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，所述方法还可以包括：获取所述第一节点的感测数据，所述感测数据包含与所述第一节点相邻的物体的信息。在一些实施方案中，构建虚拟化所述驾驶环境的场景可以包括：基于所述第一节点和所述至少一个第二节点的所述位置数据来构建拓扑，所述拓扑包括所述至少一个第二节点相对于所述第一节点的位置坐标的位置坐标；基于所述第一节点和所述至少一个第二节点的所述感测数据识别所述驾驶环境中的物体的感测数据；融合所述识别的感测数据以构建所述物体；以及基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，所述方法还可以包括：获取至少一个第三节点的位置数据，所述至少一个第三节点不在所述第一通信网络内，但与所述至少一个第二节点的一部分一起在第二通信网络内，其中从所述至少一个第二节点的所述一部分获得所述至少一个第三节点的所述位置数据。
在一些实施方案中，构建虚拟化所述驾驶环境的场景可以包括：基于所述至少一个第二节点和至少一个第三节点的所述位置数据来构建拓扑，所述拓扑包括所述至少一个第二节点和所述至少一个第三节点相对于所述第一节点的位置坐标的位置坐标。
在一些实施方案中，所述方法还可以包括：获取所述至少一个第三节点的感测数据。
在一些实施方案中，构建虚拟化所述驾驶环境的场景还可以包括：基于所述至少一个第二节点和所述至少一个第三节点的所述感测数据识别所述驾驶环境中的物体的感测数据；融合所述识别的感测数据以构建所述物体；以及基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
在一些实施方案中，所述感测数据可以被压缩并且包括节点标识和数据集，所述数据集包括检测到的物体的位置数据、速率数据、尺寸数据或形状数据。
在一些实施方案中，所述感测数据可以被压缩并且包括多个数据集，每个数据集包括：两组坐标，所述两组坐标表示检测到的物体的边缘的两端；以及层的索引。在一些实施方案中，所述多个数据集中的每一个还可以包括强度数据或速度数据。
在一些实施方案中，可以响应于请求或通过广播获取所述感测数据。
在一些实施方案中，可以基于通过基本安全消息或协作感知消息传输的GPS数据来获取所述位置数据。
在一些实施方案中，可以至少每1毫秒刷新一次虚拟化所述驾驶环境的场景。
本发明的实施方案还提供一种用于从车辆传输感测数据的方法，所述方法可以包括：获得由安装在所述车辆上的传感器检测到的物体的感测数据；压缩物体的所述感测数据；以及传输所述压缩的感测数据。在一些实施方案中，所述传感器可以是激光雷达。
本发明的实施方案还提供一种车辆，所述车辆可以包括：GPS；传感器，所述传感器适于检测与所述车辆相邻的至少一个物体以获得感测数据；以及上文描述的用于虚拟化所述驾驶环境的装置。在一些实施方案中，所述GPS可以是实时动态***。在一些实施方案中，所述传感器可以是激光雷达。
在一些实施方案中，所述车辆还可以包括：压缩器，所述压缩器适于压缩所述感测数据。
在一些实施方案中，所述车辆还可以包括：传输器，所述传输器适于传输压缩的感测数据。
通过利用节点的位置数据和传感器数据，可以为驾驶员实时构建用于虚拟化驾驶环境的场景，从而提高驾驶安全性。
附图说明
本发明的前述和其它特征将从结合附图的以下描述和所附权利要求中变得更加显而易见。应理解，这些附图仅描绘根据本发明的若干实施方案，且因此不应被视为限制本发明的范围，将通过使用附图以额外特征和细节描述本发明。
图1示意性地示出了示例性实际驾驶环境；
图2示意性地示出了根据本发明中的实施方案的用于虚拟化如图1所示的驾驶环境的装置的结构图；
图3示意性地示出了根据本发明中的实施方案的感测数据的数据结构的结构图；
图4示意性地示出了根据本发明中的另一实施方案的用于感测数据的数据空间的图式；
图5示意性地示出了对应于如图1所示的多个汽车的拓扑；
图6示意性地示出了根据本发明中的实施方案的用于虚拟化驾驶环境的方法的流程图；
图7示意性地示出了根据本发明中的另一实施方案的用于虚拟化驾驶环境的方法的流程图；以及
图8示意性地示出了根据本发明中的实施方案的车辆的结构图。
具体实施方式
在以下具体实施方式中，参考形成本发明的一部分的附图。在附图中，除非上下文另外指明，否则相似符号通常表示相似组件。在具体实施方式、附图和权利要求书中描述的说明性实施方案并不意图为限制性的。在不脱离本文所呈现的主题的精神或范围的情况下，可以利用其它实施方案并且可以作出其它改变。应容易地理解，如本文大体上描述和图中所示出的本发明的各方面可以用各种不同配置布置、替换、组合和设计，所有这些都是明确预期的并且形成本发明的一部分。
通常，在实际驾驶环境中可能存在多个节点。多个节点可以包括车辆、移动通信装置、固定通信装置等，并且多个节点的至少一部分包括GPS和传感器(例如，激光雷达)。
图1示意性地示出了示例性实际驾驶环境100。环境100包括第一汽车101；第二汽车102；第三汽车103；第四汽车104；两个静止物体1101和1102，每个可以是树、行人岛、站立的人等；两辆摩托车1201和1202；以及两个移动的人1401和1402。第一汽车101、第二汽车102、第三汽车103和第四汽车104各自安装有GPS和激光雷达。
第一汽车101可以与第二汽车102和第三汽车103通信，因此第一汽车101、第二汽车102和第三汽车103属于车辆间通信网络110，例如专用短程通信(DSRC)网络。第四汽车104可以与第二汽车102通信但是不能与第一汽车101通信，因此第四汽车104不属于车辆间通信网络110，而是属于包括第二汽车102和第四汽车104的车辆间通信网络120。作为实例，第一汽车101携带用于虚拟化驾驶环境的装置1010。
图2示意性地示出了根据本发明中的实施方案的用于虚拟化如图1所示的驾驶环境的装置1010的结构图。用于虚拟化驾驶环境的装置1010至少包括数据采集装置201，所述数据采集装置包括位置数据装置2011、车辆到X(V2X)数据接收装置2012、感测数据装置2013。用于虚拟化驾驶环境的装置1010还包括场景构建装置203，其中场景构建装置203包括拓扑构建装置2031和图像构建装置2032。
参考图1，位置数据装置2011被配置成获取第一汽车101的位置数据。V2X数据接收装置2012被配置成从同一通信网络中的汽车获取位置数据，即从第二汽车102和第三汽车103两者获取位置数据。感测数据装置2013被配置成从安装在汽车上的感测装置获取感测数据。在一些实施方案中，感测装置可以是激光雷达。
在一些实施方案中，可以基于GPS或例如实时动态(RTK)***的高精度GPS的数据来获取第一汽车101的位置数据以及来自第二汽车102和第三汽车103两者的位置数据。GPS-RTK可以精确定位汽车的准确位置。在一些实施方案中，第一汽车101的位置数据可以是GPS数据或高精度GPS数据。
在一些实施方案中，第一汽车101的位置数据以及来自第二汽车102和第三汽车103两者的位置数据可以包含携带GPS或高精度GPS的汽车的身份信息。
在一些实施方案中，GPS数据可以经由基本安全消息(BSM)或协作感知消息(CAM)在通信网络内传输，并且除了GPS数据之外，BSM或CAM还可以包括速度数据和前进方向数据。
在一些实施方案中，通信网络中的汽车可以广播汽车的位置数据并且还广播与汽车通信的另一辆汽车的位置数据，例如来自第二汽车102的位置数据可以包括第二汽车102的位置数据，并且还可以包括第一汽车101和第四汽车104的位置数据。
来自第二汽车102和第三汽车103的感测数据可以是压缩数据。在一些实施方案中，来自第二汽车102的感测数据可以包括第二汽车102的感测数据，并且还可以包括从第四汽车104接收的感测数据。
在一些实施方案中，响应于第一汽车101的请求，来自第二汽车102和第三汽车103的感测数据都可以被传输到第一汽车101。在一些实施方案中，来自第二汽车102和第三汽车103的感测数据可以分别由第二汽车102和第三汽车103广播。
图3示意性地示出了根据本发明中的实施方案的感测数据的数据结构的结构图。参考图3，来自汽车的感测数据可以包括车辆标识301以及包括物体的位置数据303、速率数据305、尺寸数据307和形状数据309的数据集。具体地，车辆标识301是检测物体的车辆的标识。例如，参考图1，第三汽车103检测到摩托车1201，因此在这种情况下车辆标识301是“103”。位置数据303表示物体与检测到物体的车辆的相对位置。例如，进一步参考图1，摩托车1201位于第三汽车103的东北方向，因此位置数据303表示位于第三汽车103的西北方向的位置。速率数据305表示物体的速度和前进方向。尺寸数据307表示物体的长度或宽度。并且，形状数据309表示物体的形状。在一些实施方案中，数字“1”表示汽车，数字“2”表示摩托车，且数字“3”表示移动的人，因此对于如图1所示的摩托车1201，形状数据309是2。
图4示意性地示出了根据本发明中的另一实施方案的用于感测数据的数据空间的结构图。参考图4，立方体400表示具有原点410的三维坐标系。立方体400可以用三维尺度虚拟地表示驾驶环境，并且驾驶环境中的多个节点共享立方体400和原点410。参考图1，驾驶环境100中的多个物体虚拟地包括在立方体400中，并且多个节点同意静止物体1101的位置是原点410。因此，其它物体的位置，例如静止物体1102、摩托车1202、移动的人1402等的位置是从立方体400中的原点410起的相对位置。
进一步参考图4，立方体400可以递归地分成八个子立方体。具体地，立方体400被分成八个第一层子立方体，例如子立方体4011和4012，然后第一层子立方体可以被分成八个第二层子立方体，例如子立方体4021和4022，然后，第二层子立方体可以被分成八个第三层子立方体，例如子立方体4031和4032。在一些实施方案中，对于物体，层数可以与用于成功识别物体所需的分辨率相关联。对于例如建筑物的具有大尺寸和简单形状的物体的实例，需要较低的分辨率来识别物体，因此需要较少数量的层。对于例如自行车的具有小尺寸和复杂形状的物体的实例，需要较高的分辨率来识别物体，因此需要较多数量的层。在一些实施方案中，多个物体的层数可以与多个物体中所需的最高分辨率相关。在一些实施方案中，可以通过用户定制动作来设置物体或多个物体的层数，其中可以将层数设置成特定值。
进一步参考图4，对于驾驶环境中的物体，物体边缘的两端可以由子立方体中的两组坐标表示，因此由子立方体中的两组坐标形成的线段表示物体的边缘。如果边缘的长度太长而不能包括在下层子立方体中，则需要更高层子立方体以包括表示边缘的两端的两组坐标。例如，如图4所示，具有与子立方体4031或4032相同尺寸和层的索引的子立方体太小而不包括线段420，所以更高层的子立方体，即子立方体4021用于包括线段420。因此，除了表示物体的边缘的两端的两组坐标之外，边缘可以进一步由层的索引表示，因此两组坐标和层的索引形成表示边缘的数据集。在这种情况下，在网络中交换的感测数据包括多个数据集。在一些实施方案中，数据集还可包括强度数据或速度数据。因此，由于使用较少的3D坐标来表示物体的边缘，因此在网络中传输的感测数据较少，这使网络的开销减少。
在一些实施方案中，参考图2，用于虚拟化驾驶环境的装置1010还可以包括解压缩装置205，所述解压缩装置适于解压缩从汽车获取的感测数据。
场景构建装置203被配置成基于第一汽车101的位置数据、来自第二汽车102和第三汽车103的位置数据和感测数据来构建虚拟化驾驶环境100的场景。
具体地，拓扑构建装置2031被配置成构建拓扑，所述拓扑包括第二汽车102相对于第一汽车101的位置坐标的位置坐标和第三汽车103相对于第一汽车101的位置坐标的位置坐标，这可以基于第一汽车101的位置数据和来自第二汽车102和第三汽车103的位置数据来计算。在一些实施方案中，所述拓扑还可以包括第四汽车104相对于第一汽车101的位置坐标的位置坐标。
图5示意性地示出了对应于如图1所示的多个汽车的拓扑100'。参考图5并结合图1，对应于第一汽车101的位置坐标的第一节点101'分开连接到对应于第二汽车102的位置坐标的第二节点102'和对应于第三汽车103的位置坐标的第三节点103'，并且此外，第二节点102'连接到对应于第四汽车104的位置坐标的第四节点104'。
图像构建装置2012被配置成分析来自第二汽车102和第三汽车103的感测数据。以移动的人1401为例，来自第二汽车102和第三汽车103的感测数据均包括移动的人1401的感测数据，并且图像构建装置2012基于单独或组合地分析位置数据、速度数据、前进方向数据、尺寸数据或形状数据，从来自第二汽车102和第三汽车103的感测数据识别移动的人1401的感测数据。例如，图像构建装置2012从第二汽车102获取第一移动的人位于东南方的第一数据，并且还从第三汽车103获取第二移动的人位于北方的第二数据，因此图像构建装置2012基于第一数据、第二数据以及第二汽车102和第三汽车103的位置坐标确定第一移动的人和第二移动的人相同。又例如，图像构建装置2012从第二汽车102获取第一物体的第一形状数据，并且还从第三汽车103获取第二物体的第二形状数据，因此图像构建装置2012使用普通技术人员众所周知的方法基于分析第一形状数据和第二形状数据确定第一物体和第二物体相同。在分析来自第二汽车102和第三汽车103的感测数据之后，图像构建装置2012融合识别的感测数据以获取多个虚拟化物体的多个图像，以基于拓扑和多个图像构建场景。
在一些实施方案中，虚拟化驾驶环境100的场景包括与第一汽车101对应的虚拟化第一汽车、与第二汽车102对应的虚拟化第二汽车、与第三汽车103对应的虚拟化第三汽车、与第四汽车104对应的虚拟化第四汽车、分别与两个静止物体1101和1102对应的两个虚拟化静止物体、分别与两辆摩托车1201和1202对应的两辆虚拟化摩托车，以及分别与两个移动的人1401和1402对应的两个虚拟化移动的人。因此，多个虚拟化物体对应于驾驶环境100中的多个物体。
在一些实施方案中，可以频繁刷新虚拟化场景。在一些实施方案中，可以至少每1ms刷新一次场景。
在一些实施方案中，场景构建装置203基于第二汽车102和第三汽车103的感测数据构建虚拟化驾驶环境100的场景。在一些实施方案中，场景构建装置203基于第一汽车101、第二汽车102和第三汽车103的感测数据构建虚拟化驾驶环境100的场景。在一些实施方案中，场景构建装置203基于第二汽车102、第三汽车103和第四汽车104的感测数据构建虚拟化驾驶环境100的场景。
本发明的实施方案还提供了一种用于虚拟化驾驶环境的方法。图6示意性地示出了根据本发明中的实施方案的用于虚拟化驾驶环境600的方法的流程图。
在S601中，第二汽车102将位置数据传输到第一汽车101。在一些实施方案中，可以基于例如GPS-RTK数据的高精度GPS数据来获取位置数据。在一些实施方案中，位置数据可以包括第二汽车102的位置数据。在一些实施方案中，位置数据可以包括第二汽车102和第四汽车104的位置数据。
在一些实施方案中，GPS数据可以经由BSM或CAM在通信网络内传输，并且除了GPS数据之外，BSM或CAM还可以包括速度数据和前进方向数据。
在S602中，第二汽车102压缩第二汽车102的感测数据。在一些实施方案中，可以通过安装在第二汽车102上的激光雷达获取第二汽车102的感测数据。
在S603中，第二汽车102将第二汽车102的压缩感测数据传输到第一汽车101。在一些实施方案中，第二汽车102可以响应于第一汽车101的请求将第二汽车102的压缩感测数据传输到第一汽车101。在一些实施方案中，第二汽车102可以广播第二汽车102的压缩感测数据。
在一些实施方案中，参考图3，由第二汽车102传输的感测数据可以包括车辆标识301以及包括物体的位置数据303、速率数据305、尺寸数据307和形状数据309的数据集。
在一些实施方案中，对于驾驶环境中的物体，物体边缘的两端可以由子立方体中的两组坐标表示，因此由子立方体中的两组坐标形成的线段表示物体的边缘。除了表示物体边缘的两端的两组坐标之外，边缘可以进一步由层的索引表示，因此两组坐标和层的索引形成表示边缘的数据集。在这种情况下，由第二汽车102传输的感测数据包括多个数据集。在一些实施方案中，数据集还可以包括强度数据或速度数据。
在S604中，用于虚拟化安装在第一汽车101上的驾驶环境的装置1010获取第一汽车101的位置数据，由第二汽车102传输的位置数据和感测数据。在一些实施方案中，可以基于GPS数据或高精度GPS数据来获取第一汽车101的位置数据。在一些实施方案中，第一汽车101的位置数据可以是GPS数据或高精度GPS数据。
在一些实施方案中，方法600还可以包括S606，并且在S606中，用于虚拟化驾驶环境的装置1010解压缩由第二汽车102传输的感测数据。
在S605中，用于虚拟化驾驶环境的装置1010基于第一汽车101的位置数据、由第二汽车102传输的位置数据和感测数据来构建虚拟化驾驶环境100的场景。其中，场景包括与驾驶环境100中的多个物体对应的多个虚拟化物体。在一些实施方案中，用于虚拟化驾驶环境的装置1010还基于第一汽车101的感测数据来构建虚拟化驾驶环境100的场景。
在一些实施方案中，可以频繁刷新场景。在一些实施方案中，可以至少每1ms刷新一次场景。
在一些实施方案中，S605可以包括S6051，其中用于虚拟化驾驶环境的装置1010构建拓扑，所述拓扑至少包括第二汽车102相对于第一汽车101的位置坐标的位置坐标。在一些实施方案中，拓扑还可以包括第四汽车104相对于第一汽车101的位置坐标的位置坐标。
在一些实施方案中，在S6051之后，S605还可以包括S6052。在S6052中，用于虚拟化驾驶环境的装置1010分析由第二汽车102传输的感测数据以及基于拓扑由其它汽车传输的感测数据，以识别驾驶环境100中的物体的感测数据。在一些实施方案中，其它汽车可以包括第一汽车101。
在一些实施方案中，在S6052之后，S605还可以包括S6053。在S6053中，用于虚拟化驾驶环境的装置1010融合识别的感测数据，以便获取多个虚拟化物体的多个图像，从而基于多个图像和拓扑构建场景。
图7示意性地示出了根据本发明中的另一实施方案的用于虚拟化驾驶环境的方法600'的流程图。
在S601'中，第二汽车102将位置数据传输到第一汽车101。具体地，所述位置数据包括第二汽车102和第四汽车104的位置数据。
S602'相当于S602。
在S607'中，第四汽车104将第四汽车104的压缩感测数据传输到第二汽车102。
在S603'中，第二汽车102将第二汽车102和第四汽车104的压缩感测数据传输到第一汽车101。
在S604'中，用于虚拟化安装在第一汽车101上的驾驶环境1010的装置获取第一汽车101的位置数据、由第二汽车102传输的位置数据和感测数据。
在一些实施方案中，方法600还可以包括S606'，并且在S606'中，用于虚拟化驾驶环境的装置1010解压缩由第二汽车102传输的感测数据。
在S605'中，用于虚拟化驾驶环境的装置1010基于第一汽车101的位置数据、由第二汽车102传输的位置数据和感测数据来构建虚拟化驾驶环境100的场景。
在一些实施方案中，S605'可以包括S6051'，其中用于虚拟化驾驶环境的装置1010构建拓扑，所述拓扑至少包括第二汽车102相对于第一汽车101的位置坐标的位置坐标，以及第四汽车104相对于第一汽车101的位置坐标的位置坐标。
在一些实施方案中，在S6051'之后，S605'还可以包括S6052'。在S6052'中，用于虚拟化驾驶环境的装置1010分析由第二汽车102传输的感测数据以及基于拓扑由其它汽车传输的感测数据，以识别驾驶环境100中的物体的感测数据。
在一些实施方案中，在S6052'之后，S605'还可以包括S6053'。在S6053'中，用于虚拟化驾驶环境的装置1010融合识别的感测数据，以便获取多个虚拟化物体的多个图像，从而基于多个图像和拓扑构建场景。
本发明的实施方案还提供了一种车辆。图8示意性地示出了根据本发明中的实施方案的车辆700的结构图。车辆700至少包括GPS701、传感器703和用于虚拟化驾驶环境的装置705。
在一些实施方案中，传感器703可以是激光雷达，所述激光雷达检测与车辆700相邻的至少一个物体以获取至少一个物体的感测数据。
在一些实施方案中，用于虚拟化驾驶环境的装置705基于获取的数据构建虚拟化车辆700周围的驾驶环境的场景。在一些实施方案中，用于虚拟化驾驶环境的装置705可以是用于虚拟化先前实施方案中描述的驾驶环境的装置中的任何一个装置。
在一些实施方案中，车辆700还可以包括接收器707。在一些实施方案中，接收器707可以从与车辆700通信的至少一个节点接收位置数据或感测数据。
在一些实施方案中，车辆700还可以包括压缩器709和传输器711。
在一些实施方案中，压缩器709压缩至少一个物体的获取的感测数据。因此，通过将数据压缩应用于感测数据来实现减少的网络开销。
在一些实施方案中，传输器711响应于来自至少一个节点的请求将压缩的感测数据传输到至少一个节点。在一些实施方案中，传输器711广播压缩的感测数据。
尽管本文已公开各个方面和实施方案，但是其它方面和实施方案将对本领域技术人员显而易见。本文所公开的各个方面和实施方案出于说明的目的且并不意图为限制性的，其中真正的范围和精神由所附权利要求书指示。

Claims (22)

1.一种用于虚拟化第一节点周围的驾驶环境的装置，其特征在于，所述装置包括：
数据采集装置，所述数据采集装置被配置成获取所述第一节点的位置数据、至少一个第二节点的位置数据和感测数据，至少一个第三节点的位置数据和感测数据，其中所述至少一个第二节点和所述第一节点位于第一通信网络中，所述至少一个第三节点不在所述第一通信网络内，但与所述至少一个第二节点的一部分一起在第二通信网络内；以及
场景构建装置，所述场景构建装置被配置成基于所述第一节点的位置数据、所述至少一个第二节点的位置数据和感测数据以及所述至少一个第三节点的位置数据和感测数据，构建虚拟化所述第一节点周围的所述驾驶环境的场景；
其中，所述场景构建装置包括：
拓扑构建装置，所述拓扑构建装置被配置成基于所述第一节点、所述至少一个第二节点和所述至少一个第三节点的所述位置数据来构建拓扑，所述拓扑包括所述至少一个第二节点相对于所述第一节点的位置坐标的位置坐标和所述至少一个第三节点相对于所述第一节点的位置坐标的位置坐标，其中从所述至少一个第二节点的所述一部分获得所述至少一个第三节点的所述位置数据；以及
图像构建装置，所述图像构建装置被配置成基于所述至少一个第二节点和所述至少一个第三节点的所述感测数据和所述拓扑识别所述驾驶环境中的物体的感测数据，并且融合识别的感测数据以构建所述物体并基于构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景；
其中，所述感测数据包括多个数据集，每个数据集包括：两组坐标，所述两组坐标表示检测到的物体的边缘的两端；以及层的索引。
2.根据权利要求1所述的装置，其特征在于，所述装置还包括：解压缩装置，所述解压缩装置被配置成解压缩所述至少一个第二节点的所述感测数据。
3.根据权利要求1所述的装置，其特征在于，所述数据采集装置还被配置成获取所述第一节点的感测数据，所述感测数据包含与所述第一节点相邻的物体的信息，并且所述图像构建装置还被配置成基于所述第一节点、所述至少一个第二节点和所述至少一个第三节点的所述感测数据识别所述驾驶环境中的物体的感测数据，并且融合所述识别的感测数据以构建所述物体并基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
4.根据权利要求1所述的装置，其特征在于，所述感测数据被压缩。
5.根据权利要求4所述的装置，其特征在于，所述多个数据集中的每一个还包括强度数据或速度数据。
6.根据权利要求1所述的装置，其特征在于，所述感测数据通过响应于请求或通过广播获取。
7.根据权利要求1所述的装置，其特征在于，基于使用基本安全消息或协作感知消息传输的GPS数据来获取所述位置数据。
8.根据权利要求1所述的装置，其特征在于，所述场景构建装置被配置成至少每1毫秒刷新一次。
9.一种用于虚拟化第一节点周围的驾驶环境的方法，其特征在于，所述方法包括：
获取所述第一节点的位置数据、至少一个第二节点的位置数据和感测数据，至少一个第三节点的位置数据和感测数据，其中所述至少一个第二节点和所述第一节点位于第一通信网络中，所述至少一个第三节点不在所述第一通信网络内，但与所述至少一个第二节点的一部分一起在第二通信网络内；以及
基于所述第一节点的位置数据、所述至少一个第二节点的位置数据和感测数据以及所述至少一个第三节点的位置数据和感测数据，构建虚拟化所述第一节点周围的所述驾驶环境的场景；
其中，构建虚拟化所述驾驶环境的场景包括：
基于所述第一节点、所述至少一个第二节点和所述至少一个第三节点的所述位置数据来构建拓扑，所述拓扑包括所述至少一个第二节点相对于所述第一节点的位置坐标的位置坐标和所述至少一个第三节点相对于所述第一节点的位置坐标的位置坐标，其中从所述至少一个第二节点的所述一部分获得所述至少一个第三节点的所述位置数据；
基于所述至少一个第二节点和所述至少一个第三节点的所述感测数据和所述拓扑识别所述驾驶环境中的物体的感测数据；
融合识别的感测数据以构建所述物体；以及
基于构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景；
其中，所述感测数据包括多个数据集，每个数据集包括：两组坐标，所述两组坐标表示检测到的物体的边缘的两端；以及层的索引。
10.根据权利要求9所述的方法，其特征在于，压缩所述至少一个第二节点的所述感测数据，并且在构建虚拟化所述驾驶环境的所述场景之前，所述方法还包括：解压缩所述至少一个第二节点的所述感测数据。
11.根据权利要求9所述的方法，其特征在于，所述方法还包括：获取所述第一节点的感测数据，所述感测数据包含与所述第一节点相邻的物体的信息。
12.根据权利要求11所述的方法，其特征在于，构建虚拟化所述驾驶环境的场景包括：
基于所述第一节点、所述至少一个第二节点和所述至少一个第三节点的所述感测数据识别所述驾驶环境中的物体的感测数据；
融合所述识别的感测数据以构建所述物体；以及
基于所述构建的物体和所述拓扑构建虚拟化所述第一节点周围的所述驾驶环境的场景。
13.根据权利要求9所述的方法，其特征在于，所述感测数据被压缩。
14.根据权利要求13所述的方法，其特征在于，所述多个数据集中的每一个还包括强度数据或速度数据。
15.根据权利要求9所述的方法，其特征在于，所述感测数据通过响应于请求或通过广播获取。
16.根据权利要求9所述的方法，其特征在于，基于通过基本安全消息或协作感知消息传输的GPS数据来获取所述位置数据。
17.根据权利要求9所述的方法，其特征在于，至少每1毫秒刷新一次虚拟化所述驾驶环境的场景。
18.一种车辆，其特征在于，所述车辆包括：
GPS；
传感器，所述传感器适于检测与所述车辆相邻的至少一个物体以获得感测数据；以及
根据权利要求1至8中任一项所述的用于虚拟化所述驾驶环境的装置。
19.根据权利要求18所述的车辆，其特征在于，所述GPS是实时动态***。
20.根据权利要求18所述的车辆，其特征在于，所述传感器是激光雷达。
21.根据权利要求18所述的车辆，其特征在于，所述车辆还包括：压缩器，所述压缩器适于压缩所述感测数据。
22.根据权利要求21所述的车辆，其特征在于，所述车辆还包括：传输器，所述传输器适于传输压缩的感测数据。
CN201680087334.4A 2016-07-15 2016-07-15 用于虚拟化驾驶环境的装置和方法以及车辆 Active CN109415065B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/090189 WO2018010169A1 (en) 2016-07-15 2016-07-15 Device and method for virtualizing driving environment, and vehicle

Publications (2)

Publication Number Publication Date
CN109415065A CN109415065A (zh) 2019-03-01
CN109415065B true CN109415065B (zh) 2022-11-01

Family

ID=60952737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087334.4A Active CN109415065B (zh) 2016-07-15 2016-07-15 用于虚拟化驾驶环境的装置和方法以及车辆

Country Status (4)

Country Link
US (1) US11511768B2 (zh)
EP (1) EP3490861A4 (zh)
CN (1) CN109415065B (zh)
WO (1) WO2018010169A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11350239B2 (en) * 2019-07-17 2022-05-31 Ford Global Technologies, Llc Smart mmWave c-V2X antenna

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319302A (ja) * 1996-05-29 1997-12-12 Fujitsu Ten Ltd ナビゲーション装置
CN103891201A (zh) * 2011-09-19 2014-06-25 塔塔咨询服务有限公司 用于基于传感器数据的应用和服务的开发以及部署的计算平台
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
CN104843001A (zh) * 2014-02-14 2015-08-19 福特全球技术公司 密集车辆环境中的自主控制
CN105358399A (zh) * 2013-06-24 2016-02-24 谷歌公司 使用环境信息辅助用于自主车辆的图像处理

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947219B2 (en) 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
CN103359013B (zh) * 2012-04-01 2016-08-17 同济大学 一种基于车车通信的换道超车辅助方法及***
US9558667B2 (en) 2012-07-09 2017-01-31 Elwha Llc Systems and methods for cooperative collision detection
KR102136402B1 (ko) * 2014-02-26 2020-07-21 한국전자통신연구원 차량 정보 공유 장치 및 방법
CN103802729A (zh) 2014-03-04 2014-05-21 石春 一种电动汽车的辅助驾驶***
US20160205656A1 (en) * 2015-01-13 2016-07-14 GM Global Technology Operations LLC Determination of object-to-object position using data fusion techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09319302A (ja) * 1996-05-29 1997-12-12 Fujitsu Ten Ltd ナビゲーション装置
CN103891201A (zh) * 2011-09-19 2014-06-25 塔塔咨询服务有限公司 用于基于传感器数据的应用和服务的开发以及部署的计算平台
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
CN105358399A (zh) * 2013-06-24 2016-02-24 谷歌公司 使用环境信息辅助用于自主车辆的图像处理
CN104843001A (zh) * 2014-02-14 2015-08-19 福特全球技术公司 密集车辆环境中的自主控制

Also Published As

Publication number Publication date
US20210229696A1 (en) 2021-07-29
CN109415065A (zh) 2019-03-01
EP3490861A4 (en) 2020-01-08
EP3490861A1 (en) 2019-06-05
US11511768B2 (en) 2022-11-29
WO2018010169A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
CN109920246B (zh) 一种基于v2x通信与双目视觉的协同局部路径规划方法
EP3791376B1 (en) Method and system for vehicle-to-pedestrian collision avoidance
US20190294966A1 (en) Systems and methods for automatically training neural networks
CN110208739B (zh) 基于路侧设备利用v2x的辅助车辆定位的方法、装置、设备
Balzano et al. DiG-Park: a smart parking availability searching method using V2V/V2I and DGP-class problem
US10089877B2 (en) Method and device for warning other road users in response to a vehicle traveling in the wrong direction
JP2019045892A (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20200286382A1 (en) Data-to-camera (d2c) based filters for improved object detection in images based on vehicle-to-everything communication
CN111497853B (zh) 用于传感器诊断的***和方法
CN113330495A (zh) 对用于车辆导航的事件信息进行聚类
CN112884892B (zh) 基于路侧装置的无人矿车位置信息处理***和方法
JP2019034721A (ja) 車両のタイヤと車道の間の接触に対する摩擦値の決定方法および車両の車両機能の制御方法
CN109564095B (zh) 出于路径选择或导航目的使用虚拟探测点的方法和设备
Ortiz et al. Applications and services using vehicular exteroceptive sensors: A survey
CN106918341A (zh) 用于构建地图的方法和设备
JP6903598B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、および移動体
WO2016208115A1 (ja) 注意喚起出力装置
CN103797333A (zh) 用于确定车辆的位置的设备和方法
CN109415065B (zh) 用于虚拟化驾驶环境的装置和方法以及车辆
CN111406226A (zh) 移动物体、定位***、定位程序和定位方法
CN112816974A (zh) 基于图形的用于整体融合测量数据的方法
CN109286785B (zh) 一种环境信息共享***及方法
CN114631130B (zh) 在用于与其他交通参与者通信的通信网络中提供关于周围环境对象的对象消息的方法
US20220094435A1 (en) Visible light communication apparatus, visible light communication method, and visible light communication program
CN110832277B (zh) 一种车辆的定位方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant