CN110494866B - 用于对象识别的多个传感器的数据的融合 - Google Patents

用于对象识别的多个传感器的数据的融合 Download PDF

Info

Publication number
CN110494866B
CN110494866B CN201880024245.4A CN201880024245A CN110494866B CN 110494866 B CN110494866 B CN 110494866B CN 201880024245 A CN201880024245 A CN 201880024245A CN 110494866 B CN110494866 B CN 110494866B
Authority
CN
China
Prior art keywords
feature
sensor
detected
identification
checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880024245.4A
Other languages
English (en)
Other versions
CN110494866A (zh
Inventor
Z·余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110494866A publication Critical patent/CN110494866A/zh
Application granted granted Critical
Publication of CN110494866B publication Critical patent/CN110494866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B60L3/0092—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption with use of redundant elements for safety purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2637—Vehicle, car, auto, wheelchair

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Sustainable Energy (AREA)
  • Sustainable Development (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种在对象识别的范围内融合车辆的不同的传感器(402，404，406)的数据的方法(600)。在此，接收(610)由第一传感器(402)检测的至少一个识别特征(F1，F2)和由第二传感器(404)检测的至少一个识别特征(F3，F4)，用于识别所述车辆的周围环境中的至少一个对象。此外，在相同的方法步骤中接收(610)由所述第二传感器(404)检测的至少一个检查特征(P1，P6)用于检查所述对象识别，其中，由所述第一传感器(402)检测的识别特征(F1，F2)和由所述第二传感器(404)检测的检查特征(P1，P6)分别表示一个第一测量参量，而由所述第二传感器(404)检测的识别特征(F3，F4)表示独立于所述第一测量参量的第二测量参量。在另一方法步骤中，将由所述第一传感器(402)检测的识别特征(F1，F2)与由所述第二传感器(404)检测的识别特征(F3，F4)相关联(620)，以便产生特征关联(416)。最后在第三方法步骤中，在使用由所述第二传感器(404)检测的检查特征(P1，P6)的情况下，对所述特征关联(416)进行可信度检验(630)。

Description

用于对象识别的多个传感器的数据的融合
技术领域
本发明从一种根据独立权利要求的类型所述的一种设备或一种方法出发。一种计算机程序也是本发明的主题。
背景技术
现代车辆可以配备有驾驶员辅助***。在此，可以借助合适的周围环境传感机构来检测和识别车辆周围环境中的对象。根据要求，周围环境传感机构的和对象识别装置的部件可以相应于不同的ASIL安全标准。
汽车领域中的许多新的应用的要求难以通过单个传感器***来满足。这涉及例如驾驶员辅助***和用于自动驾驶的***。传感器数据的融合尤其对于传感器支持的识别和对象的跟踪起着重要作用。
发明内容
在此背景下，借助在此提出的方案提出根据主权利要求的一种用于在对象识别的范围内融合车辆的不同传感器的数据的方法、一种使用所述方法的设备以及一种相应的计算机程序。通过在从属权利要求中列举的措施能够实现在独立权利要求中说明的设备的有利的扩展方案和改进方案。
提出一种用于在对象识别的范围内融合车辆的不同的传感器的数据的方法，其中，所述方法包括以下步骤：
接收由第一传感器检测的至少一个识别特征和由第二传感器检测的至少一个识别特征，用于识别所述车辆的周围环境中的至少一个对象；
接收由所述第二传感器检测的至少一个检查特征，用于检查所述对象识别，其中，由所述第一传感器检测的识别特征和由所述第二传感器检测的检查特征分别表示一个第一测量参量，而由所述第二传感器检测的识别特征表示独立于所述第一测量参量的第二测量参量；
将由所述第一传感器检测的识别特征与由所述第二传感器检测的识别特征相关联，以便产生特征关联；
在使用由所述第二传感器检测的检查特征的情况下，对所述特征关联进行可信度检验。
“传感器”例如可以理解为用于检测车辆的周围环境的例如以雷达传感器或激光雷达传感器或摄像机形式的周围环境传感器或加速度传感器或合适的用于检测安全相关的参数的其他传感器。第一传感器和第二传感器可以是分离的、彼此独立的用于对象识别的传感器子***。“识别特征”可以理解为基于物理测量参量的用于辨识对象的特征。识别特征例如可以涉及对象的基于速度、加速度、运动方向、形状、颜色或尺寸检测的特征。“检查特征”同样也可以理解为基于物理测量参量的用于辨识对象的特征。与识别特征不同，检查特征可以例如涉及对象的相比识别特征以更小的精度检测的特征。“彼此独立的两个测量参量”可以理解为以下测量参量：所述测量参量在物理上或数学上看彼此不关联或仅仅在非常有限的范围内彼此相关联。因此，例如第一测量参量可以是速度而第二测量参量可以是对象的形状。
在此提出的方案基于以下认识：在对象识别的范围内在车辆中可以如此执行在更低的层面、也即在信号层面或特征层面的数据融合，使得可以基于ASIL分解来执行对象识别。在此，例如可以将不同传感器路径根据ASIL B如此彼此相关联并且进行可信度检验，使得可以根据ASIL D产生识别信息。为此，除了由传感器检测的功能特征外，确定的在某些情况下以较低的精度同样由传感器检测的检查特征可以用作冗余，以便对基于功能特征执行的数据融合进行可信度检验。由此，在相对低的***成本的情况下也可以确保不仅***功能的性能而且***功能的安全性。
传感器数据融合可以在不同的层面上执行，所述层面分别具有其优点和缺点。为了在低层面执行数据融合，需要创建和构型合适的安全性方案。如果数据已经在信号和特征层面融合和聚集，则难以实现部件的独立性。在这种情况下，通常不再能够执行ASIL等级的和ASIL要求的分解。这意味着，每个单个***的ASIL等级可能更高。借助在此提出的方案可以解决该问题。
根据一种实施方式，在接收的步骤中可以接收由所述第一传感器检测的至少一个检查特征，用于检查所述对象识别。由所述第一传感器检测的检查特征可以表示所述第二测量参量。在关联的步骤中，可以将由所述第一传感器检测的检查特征与由所述第二传感器检测的检查特征相关联，以便产生冗余的特征关联。在可信度检验的步骤中，可以在使用所述冗余的特征关联的情况下对所述特征关联进行可信度检验。由此，可以在相对低的成本的情况下显著地提高对象识别的可靠性。
在此，在识别的步骤中可以在使用所述可信度检验的结果的情况下识别所述对象。由此能够实现根据已经经可信度检验的信息来识别对象，因此可以提高对象识别的稳健性。
根据另一实施方式，在识别的步骤中，可以在使用所述特征关联的情况下识别所述对象。在此，可以在使用所述冗余的特征关联的情况下识别至少一个检查对象。相应地，在可信度检验的步骤中，可以通过所述对象与所述检查对象的比较来对所述特征关联进行可信度检验。通过该实施方式也可以确保对象的特别可靠而且稳健的识别。
有利的是，在接收的步骤中接收由第三传感器检测的识别特征用于识别所述对象以及接收由第一传感器或——附加地或替代地——由第二传感器检测的另外的检查特征用于检查所述对象识别。由第三传感器检测的识别特征和另外的检查特征可以分别表示相同的测量参量。相应地，在关联的步骤中，可以在使用由所述第三传感器检测的识别特征的情况下产生所述特征关联。在可信度检验的步骤中，可以在使用所述另外的检查特征的情况下对所述特征关联进行可信度检验。由此，在使用多于两个彼此独立的传感器的情况下也可以有效地执行对象识别。
例如由第三传感器检测的识别特征尤其可以表示独立于第一测量参量或第二测量参量的测量参量。由此可以实现：所述方法符合高的ASIL安全要求。
根据另一实施方式，在接收的步骤中接收由第一传感器或——附加地或替代地——由第二传感器检测的至少一个另外的识别特征用于识别所述对象以及接收由第三传感器检测的至少一个检查特征用于检查所述对象识别。在此，另外的识别特征和由第三传感器检测的检查特征可以分别表示相同的测量参量。在关联的步骤中，可以在使用所述另外的识别特征的情况下产生所述特征关联。在可信度检验的步骤中，可以在使用由所述第三传感器检测的检查特征的情况下对所述特征关联进行可信度检验。由此，多个不同的并且由不同传感器检测的特征可以用于对象识别，由此可以进一步提高所述方法的可靠性。
所述方法可以例如按软件或硬件或按由软件和硬件组成的混合形式例如在控制设备中实施。
在此提出的方案还实现一种设备，所述设备被构造用于在相应的装置中实施、控制或者实现在此提出的方法的变型方案的步骤。通过本发明的以设备形式的实施变型方案可以快速和高效地解决本发明所基于的任务。
为此，所述设备可以具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元、用于从传感器读取传感器信号或用于输出数据信号或控制信号到执行器的与传感器或执行器的至少一个接口和/或用于读取或输出数据的至少一个通信接口，其嵌入到通信协议中。计算单元可以是例如信号处理器、微控制器等等，其中，存储单元可以是闪存、EPROM或磁性存储单元。通信接口可以构造用于无线地或有线地读取或输出数据，其中，可以读取或输出有线的数据的通信接口可以例如以电的方式或以光学的方式从相应的数据传输线路读取数据或将数据输出到相应的数据传输线路中。
设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有可以按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的***ASIC的包括所述设备的最不同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
在一种有利的构型中，通过所述设备实现车辆控制。为此，所述设备例如可以访问传感器信号，例如加速度信号、压力信号、转向角信号或周围环境传感器信号。控制通过执行器——例如制动执行器或转向执行器——或车辆的发动机控制设备来实现。
具有程序代码的计算机程序产品或计算机程序也是有利的，其可以存储在机器可读的载体或存储介质——例如半导体存储器、硬盘存储器或光学存储器——上并且用于尤其当程序产品或程序在计算机或设备上执行时执行、实现和/或控制根据上述实施方式中的一种所述的方法的步骤。
附图说明
在附图中示出本发明的实施例并且在以下描述中更详细地阐述本发明的实施例。附图示出：
图1示出具有相应的ASIL分解的中间层的安全性方案的示意图；
图2示出根据ASIL D的安全性方案的示意图；
图3示出可能的ASIL分解的示意图；
图4示出根据一个实施例的用于在对象识别的范围内融合车辆的不同传感器的数据的***的示意图；
图5示出根据一个实施例的用于在对象识别的范围内融合车辆的不同传感器的数据的***的示意图；
图6示出根据一个实施例的方法的流程图；
图7示出图4中的***中的ASIL分解的示意图。
在本发明的有利的实施方式的以下描述中，对于在不同的附图中示出的且作用相似的元件使用相同的或相似的附图标记，其中，省略对这些元件的重复描述。
具体实施方式
图1示出具有相应的ASIL分解的中间层面的安全性方案的示意图。示出由用于识别各一个对象108的三个车辆传感器102、104、106构成的***100。控制设备110构造用于在使用由三个传感器识别到的对象108的情况下在第一单元112中执行对象融合并且基于此在第二单元114中执行状况分析。第一车辆传感器102例如提供根据ASIL B的信号，而两个车辆传感器104、106提供根据ASIL A的信号。在此，借助控制设备110执行的对象识别相应于ASIL D。
图2示出根据ASIL D的安全性方案的示意图。示出图1中的***100，区别在于，控制设备110在使用由三个车辆传感器102、104、106提供的信号的情况下在另一单元200中首先执行特征融合并且基于此执行对象识别和状况分析。在此，各个传感器路径以及在控制设备110内的信号处理分别相应于ASIL D。
图3示出可能的ASIL分解的示意图。分解前的状态以附图标记300表示。分解后的状态以附图标记302表示。以下列举不同的分解可能性：
ASIL D分解成ASIL C(D)和ASIL A(D)；
替代地：ASIL D分解成ASIL B(D)和ASIL B(D)；
替代地：ASIL D分解成ASIL D(D)和QM(D)。
图4示出根据一个实施例的用于在对象识别的范围内融合车辆的不同的传感器402、404、406的数据的***400的示意图。根据该实施例，***400包括用于检测识别特征F1、F2的第一传感器402，用于检测识别特征F3、F4的第二传感器404和用于检测识别特征F5、F6的第三传感器406。识别特征F1至F6——也称为功能特征——用于识别车辆周围环境中的至少一个对象。识别特征尤其涉及可以由相应的传感器以特别高的精度检测的特征。为了提取相应的识别特征，传感器402、404、406分别与相应的处理单元408连接。
根据该实施例，第一传感器402构造用于除了两个识别特征F1、F2之外还检测并且提供两个检查特征P3、P5。与此类似地，第二传感器404构造用于除了两个识别特征F3、F4之外还检测并且提供两个检查特征P1、P6。第三传感器406构造用于除了两个识别特征F5、F6之外还检测并且提供检查特征P2。检查特征例如涉及以下特征：所述特征由相应的传感器以相比于相应的识别特征更低的准确性程度来检测，然而该准确性程度足以在对象识别的可信度检验检查的范围内使用。
根据图4，识别特征F1和检查特征P1示例性地表示用于检测对象的第一测量参量，而识别特征F3和检查特征P3表示用于检测对象的第二测量参量，而识别特征F5和检查特征P5表示用于检测对象的第三测量参量。所有三个测量参量尤其涉及彼此独立的测量参量，从而通过检查特征能够基于彼此独立的子***进行附加的、冗余的特征融合。
类似地，识别特征F2和检查特征P2例如也分别表示相同的测量参量，正如识别特征F6和检查特征P6也可以分别表示相同的测量参量一样。
根据该实施例，要么所有识别特征分别表示一个不同的测量参量，要么识别特征在其所基于的测量参量方面分别仅仅逐个传感器地不同。重要的是，识别特征和分别配属于所述识别特征的检查特征分别表示相同的测量参量，其中，用于检测检查特征的相应的传感器独立于用于检测所述识别特征的相应的传感器。
***400包括设备410，所述设备具有接收单元412以及关联单元414的，所述接收单元用于接收三个传感器402、404、406的识别和检查特征。根据在图4中示出的实施例，关联单元414构造用于一方面将识别特征在相应的特征融合中彼此相关联成特征关联416并且另一面将检查特征在相应的检查融合中彼此相关联成冗余的特征关联418。关联单元414将特征关联416、418转发到可信度检验单元420，其用于根据冗余的特征关联418对特征关联416执行可信度检验检查。识别单元422构造用于在使用由可信度检验单元420提供的可信度检验结果424的情况下明确唯一地识别车辆的周围环境中的一个或多个对象并且例如将相应的对象信息426转发到分析单元428以执行关于车辆的当前状况的状况分析。状况分析能够实现例如相应于ASIL D地跟踪所识别的对象。
根据图4，仅仅在执行可信度检验检查后才进行对象识别。替代地，如由图5可看出的那样，紧接着对象识别地执行可信度检验检查。
图5示出在根据一个实施例的对象识别的范围内用于融合车辆的不同传感器402、404、406的数据的***400的示意图。***400基本上相应于以上根据图4描述的***，区别在于，识别单元422根据该实施例连接在可信度检验单元420之前。在此，识别单元422构造用于从关联单元414接收两个特征关联416、418。特征关联416由识别单元422用于识别对象并且将表示所识别的对象的识别结果500传送给可信度检验单元420。类似地，识别单元422使用冗余的特征关联418来识别检查对象并且将表示检查对象的冗余的识别结果502传送给可信度检验单元420。所述可信度检验单元例如使用两个识别结果500、502，用于例如基于所识别的对象与检查对象之间的特征偏差根据检查对象来对所识别到的对象进行可信度检验。在此，将可信度检验结果424直接传送给分析单元428。分析单元428例如构造用于只要所识别的对象与检查对象之间的特征偏差低于预给定的偏差阈值就基于所识别的一个或多个对象来分析车辆的状况。
图6示出根据一个实施例的方法600的流程图。用于在对象识别的范围内融合车辆的不同传感器的数据的方法600可以例如由以上根据图4和图5描述的那样的设备来执行。在此，在步骤610中，通过与车辆的传感器的合适的接口来接收识别特征以及检查特征。在步骤620中，将识别特征彼此相关联，以便产生特征关联。最后，在步骤630中在使用至少一个检查特征的情况下执行特征关联的可信度检验。
图7示出图4的***400中的ASIL分解的示意图。特征融合相应于ASIL B。每个输入信号的最高等级相应于ASIL B。每个特征的最高安全要求相应于ASIL B。传感器信号相应于ASIL B。传感器安全要求相应于ASIL B。
以下换种说法再次总结在此提出的方案的不同实施例。
在对象识别的范围内融合传感器数据的情况下，可以粗略地区分低层面、中间层面和高层面。低层面相应于信号和特征或其状态的早期融合。在此，数据表示模式或采样值。在中间层面上，在对象层面与实体发生融合。在此，对象由每个单个的传感器***彼此独立地进行辨识。高层面表示用于借助完整的状况估计进行对象跟踪的融合。在此，每个传感器在融合前附加地确定对象的彼此的关系和运动。融合层面越低，就越难确保ASIL分解所需的独立性。
在图1中所示的***设计例如应在其整体上满足根据ASIL D的安全要求。根据该设计，单个传感器***的ASIL等级是ASIL A或ASIL B。
为了改善***性能并且最大可能地使用各个传感器***的相应的强度，现在根据在此提出的方案选择在低层面上的融合。
然而，如果选择并且融合每个***的最佳特征以便确定对象，则在***中不存在真正的冗余，从而必须相应于最高等级ASIL D地研发所有传感器路径。然而，传感器经常也能够检测其他特征。对象的距离例如不仅可以通过视频而且通过雷达来确定，其中，雷达具有明显更高的精度。通过在此提出的方案可以避免在ASIL分配时所谈及的问题或不足。有利地，在此提出的方案能够实现在数据融合期间的真正冗余。在此，可以避免高的***研发成本，例如由于用于所有硬件和软件部件的高ASIL等级。
ASIL等级与分配包括例如以下步骤。首先，执行危险与风险分析，即根据***对车辆的影响的安全风险分析，因为***干预通常会影响车辆的安全性。此外，以ASIL等级来限定安全目标。然后借助对于***开发的安全要求的说明进行安全风险评估，在这种情况下例如是根据ASIL D的最高等级和要求。接下来，为了实现安全目标，研发具有ASIL分配的相应的安全性方案。应对每个***部件执行ASIL分配。如果每个部件现在例如必须满足根据ASIL D的要求，则产生用于确保安全并且稳健的***的高成本和高开销。
相比之下，ASIL分解表示一种用于提高***稳健性并且降低对于每个部件——尤其对于例如传感器或控制设备等的硬件部件——的安全要求的可能途径。图3示出根据ISO26262-9:2011(E)的分解方案。然而，仅仅当两个子***彼此独立时，才能够使用分解。
在此提出的方案现在使得可能的是，在已经存在的融合方案中实现冗余并且在融合方案中应用相应的分解。在此，如此执行ASIL分配，使得每个子***配属于相比整个***更低的ASIL，因此可以降低安全风险、安全要求和成本。
例如借助检查特征P3和P5执行冗余的数据融合，其中，所述检查特征不应用在来自识别特征F1和F2的原始的特征融合中。原始融合包括例如基于更高的精度而仅仅借助雷达信号求取的距离。根据一个实施例，附加地使用通过视频提供的距离信号，用以创建冗余。即使在此不涉及相应的传感器***的最合适的特征或强度，这些特征通常足以用于检查融合。在此应确保功能特征与检查特征之间的独立性。在速度和加速度之间例如存在强烈的相关性，从而不应将这两个特征作为独立的特征来处理。反之，速度和形状例如可以作为独立的特征来处理。
原始融合如先前的那样作为用于产生对象的功能融合来使用。然而，在此借助具有预给定的公差的第二冗余检查融合来监测功能融合。这意味着：只要功能融合和检查融合之间的偏差足够小，就可以确认并且允许功能融合。
因为两个融合是彼此独立的，所以现在可以进行分解。在图4中示出ASIL D能够分解为ASIL B(D)+ASIL B(D)。在此，用于产生特征关联416和冗余的特征关联418的融合分别相应于ASIL B(D)。其他组合同样是可能的，例如ASIL A(D)+ASIL C(D)或QM(D)+ASIL D(D)。
根据设计，也可以在稍后的时刻执行可信度检验检查或两个路径的比较，例如在识别对象或实体后或在识别到状况或运动过程后。图5示出可能的***设计，其中，在对象识别后执行可信度检验检查。
如果实施例包括第一特征与第二特征之间的“和/或”关联，则应该解读如下：所述实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。

Claims (7)

1.一种用于在对象识别的范围内融合车辆的不同的传感器(402，404，406)的数据的方法(600)，其中，所述方法(600)包括以下步骤：
接收(610)由第一传感器(402)检测的至少一个识别特征(F1，F2)和由第二传感器(404)检测的至少一个识别特征(F3，F4)，用于识别所述车辆的周围环境中的至少一个对象；
接收(610)由所述第二传感器(404)检测的至少一个检查特征(P1，P6)，用于检查所述对象识别，其中，由所述第一传感器(402)检测的识别特征(F1，F2)和由所述第二传感器(404)检测的检查特征(P1，P6)分别表示一个第一测量参量，而由所述第二传感器(404)检测的识别特征(F3，F4)表示独立于所述第一测量参量的第二测量参量；
将由所述第一传感器(402)检测的识别特征(F1，F2)与由所述第二传感器(404)检测的识别特征(F3，F4)相关联(620)，以便产生特征关联(416)；
在使用由所述第二传感器(404)检测的检查特征(P1，P6)的情况下，对所述特征关联(416)进行可信度检验(630)，
其中，在所述接收(610)的步骤中，接收由第三传感器(406)检测的至少一个识别特征(F5，F6)用于识别所述对象以及接收由所述第一传感器(402)和/或所述第二传感器(404)检测的至少一个另外的检查特征(P5，P6)用于检查所述对象识别，其中，由所述第三传感器(406)检测的识别特征(F5，F6)和所述另外的检查特征(P5，P6)分别表示相同的测量参量，其中，在所述关联(620)的步骤中，在使用由所述第三传感器(406)检测的识别特征(F5，F6)的情况下产生所述特征关联(416)，其中，在所述可信度检验(630)的步骤中在使用所述另外的检查特征(P5，P6)的情况下对所述特征关联(416)进行可信度检验，
其中，由所述第三传感器(406)检测的识别特征(F5，F6)表示独立于所述第一测量参量和/或所述第二测量参量的测量参量。
2.根据权利要求1所述的方法(600)，其中，在所述接收(610)的步骤中，接收由所述第一传感器(402)检测的至少一个检查特征(P3，P5)，用于检查所述对象识别，其中，由所述第一传感器(402)检测的检查特征(P3，P5)表示所述第二测量参量，其中，在所述关联(620)的步骤中将由所述第一传感器(402)检测的检查特征(P3，P5)与由所述第二传感器(404)检测的检查特征(P1，P6)相关联，以便产生冗余的特征关联(418)，其中，在所述可信度检验(630)的步骤中在使用所述冗余的特征关联(418)的情况下对所述特征关联(416)进行可信度检验。
3.根据权利要求2所述的方法(600)，所述方法具有以下步骤：在使用所述可信度检验(630)的结果(424)的情况下识别所述对象。
4.根据权利要求2所述的方法(600)，所述方法具有以下步骤：在使用所述特征关联(416)的情况下识别所述对象，其中，在使用所述冗余的特征关联(418)的情况下识别至少一个检查对象，其中，在所述可信度检验(630)的步骤中，通过所述对象与所述检查对象的比较来对所述特征关联(416)进行可信度检验。
5.根据权利要求1至4中任一项所述的方法(600)，其中，在所述接收(610)的步骤中，接收由所述第一传感器(402)和/或所述第二传感器(404)检测的至少一个另外的识别特征(F2)用于识别所述对象以及接收由所述第三传感器(406)检测的至少一个检查特征(P2)用于检查所述对象识别，其中，所述另外的识别特征(F2)和由所述第三传感器(406)检测的检查特征(P2)分别表示相同的测量参量，其中，在所述关联(620)的步骤中，在使用所述另外的识别特征(F2)的情况下产生所述特征关联(416)，其中，在所述可信度检验(630)的步骤中，在使用由所述第三传感器(406)检测的检查特征(F2)的情况下对所述特征关联(416)进行可信度检验。
6.一种设备，所述设备具有单元(412，414，420，422，428)，所述单元构造用于实施和/或控制根据权利要求1至5中任一项所述的方法(600)。
7.一种机器可读取的存储介质，在其上存储有计算机程序，其构造用于实施和/或控制根据权利要求1至5中任一项所述的方法(600)。
CN201880024245.4A 2017-04-10 2018-03-14 用于对象识别的多个传感器的数据的融合 Active CN110494866B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017206123.5 2017-04-10
DE102017206123.5A DE102017206123A1 (de) 2017-04-10 2017-04-10 Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
PCT/EP2018/056358 WO2018188877A1 (de) 2017-04-10 2018-03-14 Fusion von daten mehrerer sensoren zur objekterkennung

Publications (2)

Publication Number Publication Date
CN110494866A CN110494866A (zh) 2019-11-22
CN110494866B true CN110494866B (zh) 2024-02-09

Family

ID=61691479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024245.4A Active CN110494866B (zh) 2017-04-10 2018-03-14 用于对象识别的多个传感器的数据的融合

Country Status (5)

Country Link
US (1) US11639112B2 (zh)
JP (1) JP7064572B2 (zh)
CN (1) CN110494866B (zh)
DE (1) DE102017206123A1 (zh)
WO (1) WO2018188877A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009060A1 (ja) * 2018-07-02 2020-01-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置
DE102019107443A1 (de) * 2019-03-22 2020-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betrieb eines Roboters mit verbesserter Objektdetektion
DE102019219927A1 (de) * 2019-12-17 2021-06-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen einer Entfremdung einer Sensordatendomäne von einer Referenzdatendomäne
DE102019219923A1 (de) * 2019-12-17 2021-06-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Robustifizieren von Sensordaten gegen adversariale Störungen
US11634123B2 (en) 2020-07-09 2023-04-25 Toyota Research Institute, Inc. Methods and systems for prioritizing computing methods for autonomous vehicles
DE102021104418A1 (de) 2021-02-24 2022-08-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Fusion von Messdaten, die mit unterschiedlichen Messmodalitäten erfasst wurden
CN113221852B (zh) * 2021-06-09 2021-12-31 中国人民解放军91977部队 一种目标识别方法及装置
DE102021209817A1 (de) 2021-09-06 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur mehrstufigen Fusion von Messdaten
DE102021213077A1 (de) 2021-11-22 2023-05-25 Zf Friedrichshafen Ag Verfahren zur Überwachung einer Signalverarbeitung für ein automatisiertes Fahrsystems und Steuergerät für ein automatisiertes Fahrsystems
DE102022000184A1 (de) 2022-01-18 2022-03-03 Daimler Ag Verfahren zur Sensordatenfusion
DE102022202174A1 (de) 2022-03-03 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Fusion von mit einem aktiven Messprinzip gewonnenen Roh-Messdaten und Bildern zu einer Repräsentation mit Tiefen- und/oder Abstandsinformation
CN117032188A (zh) * 2023-09-01 2023-11-10 深圳市怡亚通供应链股份有限公司 一种汽车安全监控***、方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009006113A1 (de) * 2008-03-03 2009-09-10 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
CN101663594A (zh) * 2007-04-19 2010-03-03 罗伯特.博世有限公司 司机助手***和物体似真性的检验方法
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
DE102012009703A1 (de) * 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
CN104662592A (zh) * 2012-09-14 2015-05-27 罗伯特·博世有限公司 用于运行车辆的驾驶员辅助***的方法
DE102015107392A1 (de) * 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
JP4595833B2 (ja) 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP4771890B2 (ja) 2006-08-17 2011-09-14 富士通株式会社 追跡信頼度判定プログラム
DE102014215570B4 (de) * 2014-08-06 2021-12-30 Elektrobit Automotive Gmbh Fahrzeugnavigationssystem
DE102014222900A1 (de) * 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem
US9852554B2 (en) * 2016-03-31 2017-12-26 Harman International Industries, Incorporated Systems and methods for vehicle-to-vehicle communication
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101663594A (zh) * 2007-04-19 2010-03-03 罗伯特.博世有限公司 司机助手***和物体似真性的检验方法
DE102009006113A1 (de) * 2008-03-03 2009-09-10 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
DE102012009703A1 (de) * 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
CN104662592A (zh) * 2012-09-14 2015-05-27 罗伯特·博世有限公司 用于运行车辆的驾驶员辅助***的方法
DE102015107392A1 (de) * 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Also Published As

Publication number Publication date
JP2020517037A (ja) 2020-06-11
JP7064572B2 (ja) 2022-05-10
DE102017206123A1 (de) 2018-10-11
US20210133486A1 (en) 2021-05-06
US11639112B2 (en) 2023-05-02
WO2018188877A1 (de) 2018-10-18
CN110494866A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110494866B (zh) 用于对象识别的多个传感器的数据的融合
KR101967339B1 (ko) 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶***
US9702742B2 (en) Circuit assembly and method for plausibility checking of sensor signals
US9630625B2 (en) Apparatus and method for identifying surrounding vehicles
CN110967064B (zh) 用于车辆的环境检测的方法、设备和传感器***
US9592764B2 (en) Redundant object detection for driver assistance systems
US10752256B2 (en) Method and device for controlling at least one driver interaction system
US10438492B2 (en) Method for evaluating a hazardous situation which is sensed by at least one sensor of a vehicle, method for controlling reproduction of a hazard warning and method for reproducing a hazard warning
US20130271607A1 (en) Positioning apparatus and positioning method
US20210070321A1 (en) Abnormality diagnosis system and abnormality diagnosis method
US20140336866A1 (en) Method for Determining Input Data of a Driver Assistance Unit
CN113412506A (zh) 车辆控制装置及电子控制***
US20210342631A1 (en) Information processing method and information processing system
JP2017194949A (ja) 対象物検出システム及び対象物検出方法
EP3764339A1 (en) Object detection device, object detection method, and recording medium
KR101565030B1 (ko) 데이터 분석을 이용한 자동차의 오류 판단 시스템 및 그 방법
CN112009467A (zh) 用于自动驾驶***的冗余环境感知跟踪
US20200317211A1 (en) Method and control unit for detecting drowsiness of a driver for a driver assistance system for a vehicle
CN111947669A (zh) 用于将基于特征的定位地图用于车辆的方法
CN109715465B (zh) 用于运行第一车辆的方法和设备
EP3584129B1 (en) Vehicle-mounted control apparatus
CN109691063B (zh) 用于接收、处理和传输数据的方法和设备
CN110733498B (zh) 用于车辆前向防撞的控制装置和方法
CN114902071A (zh) 用于抑制环境传感器的不确定性测量数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant