CN110843792B - 用于输出信息的方法和装置 - Google Patents

用于输出信息的方法和装置 Download PDF

Info

Publication number
CN110843792B
CN110843792B CN201911198018.6A CN201911198018A CN110843792B CN 110843792 B CN110843792 B CN 110843792B CN 201911198018 A CN201911198018 A CN 201911198018A CN 110843792 B CN110843792 B CN 110843792B
Authority
CN
China
Prior art keywords
speed
speed information
current
information
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911198018.6A
Other languages
English (en)
Other versions
CN110843792A (zh
Inventor
林坚
张晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201911198018.6A priority Critical patent/CN110843792B/zh
Publication of CN110843792A publication Critical patent/CN110843792A/zh
Application granted granted Critical
Publication of CN110843792B publication Critical patent/CN110843792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/55External transmission of data to or from the vehicle using telemetry

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开的实施例公开了用于输出信息的方法和装置,可用于自动驾驶领域。该方法的一具体实施方式包括:响应于接收到传感器观测的障碍物的当前速度信息,为当前速度信息的质量打分,得到当前质量分数;获取缓存队列中保存的过去预定时间内来自不同的传感器的所述障碍物的速度信息和质量分数;若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息;根据当前速度信息进行滤波,得到障碍物的融合速度信息并输出。该实施方式能够实现单传感器的时序校验和不同传感器之间的交叉验证,做到对噪声鲁棒和传感器之间的优势互补。

Description

用于输出信息的方法和装置
技术领域
本公开的实施例涉及计算机技术领域,具体涉及用于输出信息的方法和装置。
背景技术
在自动驾驶的感知模块中,多传感器融合往往作为感知的最后一个模块,接收来自各路传感器的结果并对这些结果进行融合输出,起到了不同传感器之间优势互补的作用。而障碍物的速度属性则直接影响着下游的决策,是障碍物重要的属性之一。充分利用不同传感器在不同场景下的速度估计优势,才能为下游输出准确稳定的速度属性估计。
现有的多传感器速度融合通常是在单一滤波框架下进行,通过对噪声方差进行建模实现不同来源的传感器的速度融合;或者在类似GMM(Gaussian mixture model,混合高斯模型)的算法框架下,以多高斯模型对不同传感器的速度进行建模,以混合模型的方式实现速度融合输出。
在滤波框架下,由于多传感器融合的输入源来自不同的传感器,异源时序输入意味着马尔可夫假设并不成立,即状态和上一帧的状态之间并不存在依赖关系,运动模型难以准确刻画时序关系。同时,异源观测也为观测模型的建模带来困难,不同传感器给出的观测噪声量纲并不一致,并且不同传感器在不同场景下的运动表达能力并不相同,通过观测噪声变化来表达场景的差异显得不够自然,难以数值化地显式建模。此外,在数据关联质量不稳定的情况下,滤波框架很容易引入噪声,使用滤波框架难以捕获由于数据关联质量不稳定带来的异常观测。
在传感器能力互补方面,虽然混合模型框架能够对不同传感器的运动输出进行建模,但是这样的建模没有充分利用不同传感器之间的优势互补能力,依然是割裂地看待每个传感器的输出,而不是将多传感器的观测视为同一个物体在不同角度下的运动表达。
综上所述,当前的技术难以对各传感器的运动表达能力进行场景化精细建模,对噪声的容忍性存在不足,难以充分利用不同传感器的能力进行优势互补。
发明内容
本公开的实施例提出了用于输出信息的方法和装置。
第一方面,本公开的实施例提供了一种用于输出信息的方法,包括:响应于接收到传感器观测的障碍物的当前速度信息,为当前速度信息的质量打分,得到当前质量分数;获取缓存队列中保存的过去预定时间内来自不同的传感器的所述障碍物的速度信息和质量分数;若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息;根据当前速度信息进行滤波,得到所述障碍物的融合速度信息并输出。
在一些实施例中,根据当前速度信息进行滤波,得到障碍物的融合速度信息,包括:根据当前速度信息计算最终质量分数;根据当前速度信息和最终质量分数进行滤波和噪声方差建模,得到障碍物的融合速度信息。
在一些实施例中,该方法还包括:将所述当前速度信息和当前速度信息的状态存入所述缓存队列,其中,状态包括:收敛、不收敛、异常;或者将所述当前速度信息和当前质量分数存入所述缓存队列。
在一些实施例中,当前速度信息包括:动静状态、速度大小、速度方向;以及为当前速度信息的质量打分,得到当前质量分数,包括:获取传感器观测的场景信息;确定当前速度信息的状态;根据场景信息和状态获取传感器的质量分数模板;根据质量分数模板查出动静状态、速度大小、速度方向分别对应的质量分数。
在一些实施例中,确定当前速度信息的状态,包括:确定速度大小的稳定性和速度方向的稳定性;若速度大小和速度方向都稳定,则速度信息的状态为收敛;若速度大小和速度方向二者中只有一种稳定,则速度信息的状态为不收敛;若速度大小和速度方向都不稳定,则速度信息的状态为异常。
在一些实施例中,若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息,包括:遍历缓存队列里不同传感器观测的质量分数,并与当前质量分数进行比较;如果在缓存队列找到分数更高的动态状态、速度大小或速度方向且满足预定条件,则用其替换当前质量分数的速度信息中的相应值,其中,预定条件为替换双方速度信息中的速度方向的速度夹角要在一定范围内,且替换后的速度大小变化方向与当前速度大小的变化方向一致。
在一些实施例中,根据当前速度信息计算最终质量分数,包括:为动静状态、速度大小、速度方向分别设置权重,其中,动静状态的权重比速度大小的权重和速度方向的权重都大,速度大小的权重和速度方向的权重相等;计算动静状态的分数、速度大小的分数、速度方向的分数的加权和并归一化后作为最终质量分数。
在一些实施例中,根据更新后的当前速度信息和最终质量分数进行滤波和噪声方差建模,包括:根据最终质量分数设置滤波器的噪声方差;根据传感器观测的场景信息选择滤波器的滤波策略;将更新后的当前速度信息输入滤波器得到障碍物的融合速度信息。
第二方面,本公开的实施例提供了一种用于输出信息的装置,包括:打分单元,被配置成响应于接收到传感器观测的障碍物的当前速度信息,为当前速度信息的质量打分,得到当前质量分数;获取单元,被配置成获取缓存队列中保存的过去预定时间内来自不同的传感器的速度信息和质量分数;细化单元,被配置成若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息;滤波单元,被配置成根据当前速度信息进行滤波,得到所述障碍物的融合速度信息并输出。
在一些实施例中,滤波单元进一步被配置成:根据当前速度信息计算最终质量分数;根据当前速度信息和所述最终质量分数进行滤波和噪声方差建模,得到所述障碍物的融合速度信息。
在一些实施例中,该装置还包括存储单元,被配置成:将所述当前速度信息和当前速度信息的状态存入所述缓存队列,其中,状态包括:收敛、不收敛、异常;或者将所述当前速度信息和当前质量分数存入所述缓存队列。
在一些实施例中,当前速度信息包括:动静状态、速度大小、速度方向;以及打分单元进一步被配置成:获取传感器观测的场景信息;确定当前速度信息的状态;根据场景信息和状态获取传感器的质量分数模板;根据质量分数模板查出动静状态、速度大小、速度方向分别对应的质量分数。
在一些实施例中,打分单元进一步被配置成:确定速度大小的稳定性和速度方向的稳定性;若速度大小和速度方向都稳定,则速度信息的状态为收敛;若速度大小和速度方向二者中只有一种稳定,则速度信息的状态为不收敛;若速度大小和速度方向都不稳定,则速度信息的状态为异常。
在一些实施例中,细化单元进一步被配置成:遍历缓存队列里不同传感器观测的质量分数,并与当前质量分数进行比较;如果在缓存队列找到分数更高的动态状态、速度大小或速度方向且满足预定条件,则用其替换当前质量分数的速度信息中的相应值,其中,预定条件为替换双方速度信息中的速度方向的速度夹角要在一定范围内,且替换后的速度大小变化方向与当前速度大小的变化方向一致。
在一些实施例中,计算单元进一步被配置成:为动静状态、速度大小、速度方向分别设置权重,其中,动静状态的权重比速度大小的权重和速度方向的权重都大,速度大小的权重和速度方向的权重相等;计算动静状态的分数、速度大小的分数、速度方向的分数的加权和并归一化后作为最终质量分数。
在一些实施例中,滤波单元进一步被配置成:根据最终质量分数设置滤波器的噪声方差;根据传感器观测的场景信息选择滤波器的滤波策略;将更新后的当前速度信息输入滤波器得到障碍物的融合速度信息。
第三方面,本公开的实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一的方法。
第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一的方法。
本公开的实施例提供的用于输出信息的方法和装置,提出一个多传感器速度估计框架,具备高度可扩展性,能够灵活地嵌入不同的传感器;并且能够实现单传感器的时序校验和不同传感器之间的交叉验证,做到对噪声鲁棒和传感器之间的优势互补。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开的一个实施例可以应用于其中的示例性***架构图;
图2是根据本公开的用于输出信息的方法的一个实施例的流程图;
图3是根据本公开的用于输出信息的方法的一个应用场景的示意图;
图4是根据本公开的用于输出信息的方法的又一个实施例的流程图;
图5是根据本公开的用于输出信息的装置的一个实施例的结构示意图;
图6是适于用来实现本公开的实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本申请的用于输出信息的方法或用于输出信息的装置的实施例的示例性***架构100。
如图1所示,***架构100可以包括无人驾驶车辆101。
无人驾驶车辆101中可以安装有驾驶控制设备1011、网络1012、激光雷达1013、毫米波雷达1014和相机1015。网络1012用以在驾驶控制设备1011、激光雷达1013、毫米波雷达1014和相机1015之间提供通信链路的介质。网络1012可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
驾驶控制设备(又称为车载大脑)1011负责无人驾驶车辆101的智能控制。驾驶控制设备1011可以是单独设置的控制器,例如可编程逻辑控制器(Programmable LogicController,PLC)、单片机、工业控制机等;也可以是由其他具有输入/输出端口,并具有运算控制功能的电子器件组成的设备;还可以是安装有车辆驾驶控制类应用的计算机设备。
需要说明的是,实践中无人驾驶车辆101中还可以安装有至少一个传感器,例如,摄像机、重力传感器、轮速传感器等。某些情况下,无人驾驶车辆101中还可以安装有GNSS(Global Navigation Satellite System,全球导航卫星***)设备和SINS(Strap-downInertial Navigation System,捷联惯性导航***)等等。
需要说明的是,本申请实施例所提供的用于输出信息的方法一般由驾驶控制设备1011执行,相应地,用于输出信息的装置一般设置于驾驶控制设备1011中。
应该理解,图1中的驾驶控制设备、网络、激光雷达、毫米波雷达和相机的数目仅仅是示意性的。根据实现需要,可以具有任意数目的驾驶控制设备、网络、激光雷达、毫米波雷达和相机。
继续参考图2,示出了根据本公开的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法,包括以下步骤:
步骤201,响应于接收到传感器观测的障碍物的当前速度信息,为当前速度信息的质量打分,得到当前质量分数。
在本实施例中,用于输出信息的方法的执行主体(例如图1所示的驾驶控制设备)可以接收各种传感器采集分析出来的障碍物的当前速度信息。传感器可以包括以下至少一种:激光雷达、毫米波雷达、相机。相机用于视觉的运动观测。速度信息可包括:动静状态、速度大小、速度方向等。可根据当前速度信息的质量打分,得到当前质量分数。质量可通过稳定性来评估,例如,预定时间内动静状态是否变化,速度大小的均值、方差否在预定范围内。速度方向变化程度等。可按稳定程度为质量打分,例如,根据经验测试出速度信息变化区间,变化程度小于5%的可打最高分5分,变化程度超过50%的打0分。
在本实施例的一些可选的实现方式中,可通过判断速度信息的状态是否收敛来为质量打分。确定速度大小的稳定性和速度方向的稳定性;若速度大小和速度方向都稳定,则速度信息的状态为收敛;若速度大小和速度方向二者中只有一种稳定,则速度信息的状态为不收敛;若速度大小和速度方向都不稳定,则速度信息的状态为异常。我们将观测质量分成3个离散状态:收敛,不收敛,异常。
每个状态都会有一套对应的观测score map(质量分数),实现对动静状态、速度大小、速度方向的打分。例如,同一场景下,3种传感器*3种速度状态,一共9个质量分数模板(score模板),只需要用一个c++的map结构存储,查询的时候基于传感器类型+速度状态作为key查相应的质量分数。在同一个传感器下不同状态之间的score map满足收敛>不收敛>异常的关系。例如,对于激光雷达,近距离观测时,检测出速度在收敛状态下动静状态的质量分数为5,速度大小的质量分数为5,速度方向的质量分数为5。在异常状态下各项质量分数全都为0。在不同传感器的同一个速度状态下,score map的关系会以经验方式得到(经验数值来源于benchmark,我们对各个传感器在不同场景下的运动误差进行评估,能够得到不同场景下各传感器之间的运动表达能力的关系)。我们把各个传感器不同状态下的score_map写成配置形式,如果上游传感器的运动估计能力发生了改变,我们也能只通过修改score map完成适配。
可选地,稳定性还可通过track_id判断,track_id为检测到的障碍物的标识,如果连续检测到,则track_id不会变化。在一般情况下,我们希望速度大小不要发生特别大的跳变,速度朝向不要有剧烈的抖动,track id能够稳定(意味着数据关联质量较高),平稳的速度趋势和稳定的关联质量往往意味着速度的收敛。
可选地,稳定性还可通过无人驾驶车辆的轨迹和障碍物的轨迹相似度来判断,如果相似度大于预定相似度阈值,可稳定性高,否则,稳定性低。
在本实施例的一些可选的实现方式中,还可结合场景信息(例如,转弯、掉头、换车道等)来为质量打分。获取传感器观测的场景信息;确定当前速度信息的状态;根据场景信息和状态获取传感器的质量分数模板;根据质量分数模板查出动静状态、速度大小、速度方向分别对应的质量分数。各个传感器的速度状态的判断有通用的判断方法,也有场景细分的判定依据。在一般情况下,我们希望速度大小不要发生特别大的跳变,速度朝向不要有剧烈的抖动,track id能够稳定(意味着数据关联质量较高),平稳的速度趋势和稳定的关联质量往往意味着速度的收敛。此外,各传感器在不同场景下的能力不同,比如激光雷达在点云稀疏(常见于中远距离)的场景下速度朝向往往不够稳定;毫米波雷达在主车低速场景下速度会有阶梯状的特征,大小不够稳定且精度也不如主车在常速下的速度估计;视觉在密集遮挡场景下对运动估计的能力比较差。通过这些场景信息我们就能够在单传感器验证过比较鲁棒的场景下将速度状态设为收敛,而在运动估计能力比较差的场景下将速度状态设为其他状态,降低了单传感器速度噪声的同时,也能极大限度地挖掘单传感器的运动估计能力。
步骤202,获取缓存队列中保存的过去预定时间内来自不同的传感器的所述障碍物的速度信息和质量分数。
在本实施例中,不同传感器可以是同一类型的不同传感器,也可以是不同类型的传感器。不同传感器针对同一障碍物进行观测。无人驾驶车辆维护一个cache(缓存)队列,缓存队列中可保存过去预定时间(例如0.5秒)内各个单传感器的运动观测到的速度信息的状态(收敛、不收敛、异常),然后在进行遍历比较时计算出质量分数,这种保存方式可节约内存开销。缓存队列还可保存过去预定时间(例如0.5秒)内各个单传感器的运动观测到的速度信息和对应的质量分数。第二种方式可以减少计算量。
步骤203,若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息。
在本实施例中,当前帧的运动观测经过打分后得到当前质量分数,紧接着遍历cache队列里不同传感器观测(相同传感器观测已经通过收敛性判断完成质量评估)的质量分数,并与当前质量分数进行比较,如果在cache队列找到更好的观测(表现在当前质量分数大于当前帧的当前质量分数,比如速度大小的质量分数大于当前帧预测到的速度大小的质量分数),则会尝试使用更好观测的速度大小对当前观测进行refine(细化)。refine是满足一定条件约束的,比如两者的速度夹角要在一定范围内,且refine的方向与当前速度的变化方向一致),比如当前的运动趋势是加速,那么refine的速度大小只能比当前的速度大,否则会有抖动。如果完成了refine,则会将当前观测的速度信息中动静状态、速度大小、速度方向中的一种或多个替换成更好观测的速度信息。遍历完cache队列后,如果完成了refine,当前观测的速度信息的质量分数会相应发生改变。
可选地,如果缓存队列中存在满足预定条件且质量分数高于所述当前质量分数的速度信息,则不替换当前速度信息。保留原有的速度信息进入步骤204。
可选地,遍历完缓存队列之后,可将当前速度信息和状态存入缓存。或者可将当前速度信息和质量分数存入缓存。
步骤204,根据当前速度信息进行滤波,得到障碍物的融合速度信息并输出。
在本实施例中,可通过kalman(卡尔曼)滤波器等滤波器进行滤波。多传感器信息融合kalman滤波器是现有技术的常用手段,因此不再赘述。
继续参见图3,图3是根据本实施例的用于输出信息的方法的应用场景的一个示意图。在图3的应用场景中,每个传感器的时间戳实际上是不一样的,也就是各个传感器的观测并不是并行进入驾驶控制设备,而是串行进入。举个例子:
1、当前为t时刻,有传感器A观测的速度信息到来,记为At,而在缓存队列里有[Ct-5,At-4,Bt-3,Bt-2,Ct-1]的速度信息以及他们的预测状态(收敛、不收敛、异常);
2、At进来之后,会先进行质量评估(预先存储了A传感器观测的历史信息队列,包括track id,速度大小,方向,动静,场景等),得到At的观测状态(收敛,未收敛,异常);
3、At获得观测状态后,便进行refine,令refine state等于At观测值,refinescore map等于At的score map(通过At观测状态可得),遍历1中提到的[Ct-5,At-4,Bt-3,Bt-2,Ct-1](不和At-4做refine);比如第一次对比,Ct-1和At,已经知道Ct-1和At的观测状态,就可以在score map模板里查询到一套score map,然后比较Ct-1和At的动静状态,速度大小,速度方向的score,如果Ct-1的速度大小的score>At的速度大小的score,就会去判断是否满足refine条件(通过方向,速度变化),如果满足的话,则把refine state的速度大小改成Ct-1的速度大小,把refine score map的速度score改成Ct-1的速度score;如果不满足,则不改;
4、依次遍历Ct-1,Bt-2,Bt-3,Ct-5后,就能得到refine state和refine scoremap,通过对refine score map进行加权,得到最后的belief_score(最终质量分数);
5、如果At在refine model里没有完成refine(不满足refine条件),则refinestate和refine score就是At自己的state和score。
6、将当前速度信息和最终质量分数进行滤波和噪声方差建模,得到所述障碍物的融合速度信息。
本公开的上述实施例提供的方法通过单传感器自身的时序信息和场景信息进行质量建模。再利用运动的短时一致性实现补偿传感器的不足。比如当前观测的速度大小和速度朝向都很差,但是在短时内有比较好的其他观测源,一个比较理想的做法是不使用当前观测更新运动模型,除非能对当前观测噪声有较好建模,否则运动模型就会被当前观测带偏。而本公开的方法则会把当前较差的观测的速度大小和角度都替换成自己的速度大小和角度,在一定程度上等价于不对当前观测进行滤波。同时,本公开的方法给出来的观测质量分数也能反映观测的靠谱程度,质量分数越高,则观测越靠谱。
进一步参考图4,其示出了用于输出信息的方法的又一个实施例的流程400。该用于输出信息的方法的流程400,包括以下步骤:
步骤401,响应于接收到传感器观测的障碍物的当前速度信息,为当前速度信息的质量打分,得到当前质量分数。
步骤402,获取缓存队列中保存的过去预定时间内来自不同的传感器的所述障碍物的速度信息和质量分数。
步骤403,若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息。
步骤401-403与步骤201-203基本相同,因此不再赘述。
步骤404,根据当前速度信息计算最终质量分数。
在本实施例中,我们通过对质量分数各个分量(动静状态,速度大小,速度方向等)进行加权归一化得到最终质量分数。其中,动静状态的权重比速度大小的权重和速度方向的权重都大。速度大小的权重和速度方向的权重还可以相等。例如,可将动静状态,速度大小,速度方向的权重分别设置为0.5,0.25,0.25。如果动静状态都判断错误的话,速度大小和速度方向的判断结果正确的可能性也不高。
步骤405,根据当前速度信息和最终质量分数进行滤波和噪声方差建模,得到障碍物的融合速度信息。
在本实施例中,根据最终质量分数设置滤波器的噪声方差;根据传感器观测的场景信息选择滤波器的滤波策略;将更新后的当前速度信息输入滤波器得到障碍物的融合速度信息。噪声方差建模和质量分数相关,质量分数越高,则意味着噪声方差越小。
同时,为了提升速度的平稳性,我们对障碍物的运动场景也进行了分类。在高速直行时,由于运动的惯性,我们使用更加平滑的滤波策略;而低速(常见于转弯、掉头等)场景下,我们则采用更加灵敏的滤波策略。通过对场景的分类,我们能够对不同场景下的速度变换进行更精细的建模,使得运动估计更加准确。
从图4中可以看出,与图2对应的实施例相比,本实施例中的用于输出信息的方法的流程400体现了对滤波器的功能进行扩展的步骤。由此,本实施例描述的方案可以引入更多的噪声方差相关数据,从而实现对噪声的鲁棒性。
本实施例描述的方案可解决如下问题:
1、对场景的精细化建模
单传感器的运动估计能力依赖于场景,没有一种传感器能在所有场景下都完美,因此,对场景的精细化建模并以数值形式反映出来对单传感器的运动表达十分重要。本发明采用质量观测模型,将速度状态离散化成收敛、不收敛和异常三个状态,每个状态有对应的质量分数模板从多个维度描述观测的质量。通过将场景与速度状态进行匹配,能够建模场景对于观测质量的影响,并通过质量分数影响下游模块。
2、对噪声的容忍能力
通过对数据关联质量的时序分析,以及对速度时序状态的分析,来完成观测质量的建模;而质量很差的观测(可以视为噪点)有机会被短时缓存队列里的较好的观测所细化,从而参与滤波;或者是依然以很低的观测分数进入滤波,以很高的观测噪声参与滤波甚至不参与滤波,来实现对噪声的鲁棒性。
3、多传感器能力互补
基于细化过程,能够找到当前观测在短时窗口内的其他异源观测,以质量分数模式刻画不同观测之间的能力差异,并通过大质量分数观测细化小质量分数观测的方式实现不同传感器之间的优势互补。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于输出信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于输出信息的装置500包括:打分单元501、获取单元502、细化单元503和滤波单元504。其中,打分单元501,被配置成响应于接收到传感器观测的障碍物的当前速度信息,为当前速度信息的质量打分,得到当前质量分数;获取单元502,被配置成获取缓存队列中保存的过去预定时间内来自不同的传感器的速度信息和质量分数;细化单元503,被配置成若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息;滤波单元504,被配置成根据当前速度信息进行滤波,得到障碍物的融合速度信息并输出。
在本实施例中,用于输出信息的装置500的打分单元501、获取单元502、细化单元503和滤波单元504的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204。
在本实施例的一些可选的实现方式中,滤波单元504进一步被配置成:根据当前速度信息计算最终质量分数;根据当前速度信息和最终质量分数进行滤波和噪声方差建模,得到障碍物的融合速度信息。
在本实施例的一些可选的实现方式中,装置500还包括存储单元(附图中未示出),被配置成:将当前速度信息和当前速度信息的状态存入缓存队列,其中,状态包括:收敛、不收敛、异常;或者将当前速度信息和当前质量分数存入缓存队列。
在本实施例的一些可选的实现方式中,当前速度信息包括:动静状态、速度大小、速度方向;以及打分单元501进一步被配置成:获取传感器观测的场景信息;确定当前速度信息的状态;根据场景信息和状态获取传感器的质量分数模板;根据质量分数模板查出动静状态、速度大小、速度方向分别对应的质量分数。
在本实施例的一些可选的实现方式中,打分单元501进一步被配置成:确定速度大小的稳定性和速度方向的稳定性;若速度大小和速度方向都稳定,则速度信息的状态为收敛;速度大小和速度方向二者中只有一种稳定,则速度信息的状态为不收敛;若速度大小和速度方向都不稳定,则速度信息的状态为异常。
在本实施例的一些可选的实现方式中,细化单元503进一步被配置成:遍历缓存队列里不同传感器观测的质量分数,并与当前质量分数进行比较;如果在缓存队列找到分数更高的动态状态、速度大小或速度方向且满足预定条件,则用其替换当前质量分数的速度信息中的相应值,其中,预定条件为替换双方速度信息中的速度方向的速度夹角要在一定范围内,且替换后的速度大小变化方向与当前速度大小的变化方向一致。
在本实施例的一些可选的实现方式中,滤波单元504进一步被配置成:为动静状态、速度大小、速度方向分别设置权重,其中,动静状态的权重比速度大小的权重和速度方向的权重都大,速度大小的权重和速度方向的权重相等;计算动静状态的分数、速度大小的分数、速度方向的分数的加权和并归一化后作为最终质量分数。
在本实施例的一些可选的实现方式中,滤波单元504进一步被配置成:根据最终质量分数设置滤波器的噪声方差;根据传感器观测的场景信息选择滤波器的滤波策略;将更新后的当前速度信息输入滤波器得到障碍物的融合速度信息。
下面参考图6,其示出了适于用来实现本公开的实施例的电子设备(例如图1中的驾驶控制设备)600的结构示意图。图6示出的驾驶控制设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于接收到传感器观测的障碍物的当前速度信息,为当前速度信息的质量打分,得到当前质量分数;获取缓存队列中保存的过去预定时间内来自不同的传感器的速度信息和质量分数;若缓存队列中存在满足预定条件且质量分数高于当前质量分数的速度信息,则使用该速度信息替换掉当前速度信息;根据当前速度信息进行滤波,得到障碍物的融合速度信息并输出。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括打分单元、获取单元、细化单元和滤波单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取缓存队列中保存的过去预定时间内来自不同的传感器的所述障碍物的速度信息和质量分数的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种用于输出信息的方法,包括:
响应于接收到传感器观测的障碍物的当前速度信息,为所述当前速度信息的质量打分,得到当前质量分数;
获取缓存队列中保存的过去预定时间内来自不同的传感器的所述障碍物的速度信息和质量分数;
若所述缓存队列中存在满足预定条件且质量分数高于所述当前质量分数的速度信息,则使用该速度信息替换掉所述当前速度信息;
根据当前速度信息进行滤波,得到所述障碍物的融合速度信息并输出。
2.根据权利要求1所述的方法,其中,所述根据当前速度信息进行滤波,得到所述障碍物的融合速度信息,包括:
根据当前速度信息计算最终质量分数;
根据当前速度信息和所述最终质量分数进行滤波和噪声方差建模,得到所述障碍物的融合速度信息。
3.根据权利要求1或2所述的方法,其中,所述方法还包括:
将所述当前速度信息和当前速度信息的状态存入所述缓存队列,其中,状态包括:收敛、不收敛、异常;或者
将所述当前速度信息和当前质量分数存入所述缓存队列。
4.根据权利要求1或2所述的方法,其中,当前速度信息包括:动静状态、速度大小、速度方向;以及
所述为所述当前速度信息的质量打分,得到当前质量分数,包括:
获取所述传感器观测的场景信息;
确定所述当前速度信息的状态;
根据所述场景信息和所述状态获取所述传感器的质量分数模板;
根据所述质量分数模板查出动静状态、速度大小、速度方向分别对应的质量分数。
5.根据权利要求4所述的方法,其中,所述确定所述当前速度信息的状态,包括:
确定速度大小的稳定性和速度方向的稳定性;
若速度大小和速度方向都稳定,则速度信息的状态为收敛;
若速度大小和速度方向二者中只有一种稳定,则速度信息的状态为不收敛;
若速度大小和速度方向都不稳定,则速度信息的状态为异常。
6.根据权利要求4所述的方法,其中,所述若所述缓存队列中存在满足预定条件且质量分数高于所述当前质量分数的速度信息,则使用该速度信息替换掉所述当前速度信息,包括:
遍历缓存队列里不同传感器观测的质量分数,并与当前质量分数进行比较;
如果在缓存队列找到分数更高的动态状态、速度大小或速度方向且满足预定条件,则用其替换当前质量分数的速度信息中的相应值,其中,预定条件为替换双方速度信息中的速度方向的速度夹角要在一定范围内,且替换后的速度大小变化方向与当前速度大小的变化方向一致。
7.根据权利要求2所述的方法,其中,所述根据当前速度信息计算最终质量分数,包括:
为动静状态、速度大小、速度方向分别设置权重,其中,动静状态的权重比速度大小的权重和速度方向的权重都大;
计算动静状态的分数、速度大小的分数、速度方向的分数的加权和,并且归一化后作为最终质量分数。
8.根据权利要求2所述的方法,其中,所述根据当前速度信息和所述最终质量分数进行滤波和噪声方差建模,得到所述障碍物的融合速度信息,包括:
根据所述最终质量分数设置滤波器的噪声方差;
根据所述传感器观测的场景信息选择滤波器的滤波策略;
将所述当前速度信息输入所述滤波器得到所述障碍物的融合速度信息。
9.一种用于输出信息的装置,包括:
打分单元,被配置成响应于接收到传感器观测的障碍物的当前速度信息,为所述当前速度信息的质量打分,得到当前质量分数;
获取单元,被配置成获取缓存队列中保存的过去预定时间内来自不同的传感器的所述障碍物的速度信息和质量分数;
细化单元,被配置成若所述缓存队列中存在满足预定条件且质量分数高于所述当前质量分数的速度信息,则使用该速度信息替换掉所述当前速度信息;
滤波单元,被配置成根据当前速度信息进行滤波,得到所述障碍物的融合速度信息并输出。
10.根据权利要求9所述的装置,其中,所述滤波单元进一步被配置成:
根据当前速度信息计算最终质量分数;
根据当前速度信息和所述最终质量分数进行滤波和噪声方差建模,得到所述障碍物的融合速度信息。
11.根据权利要求9或10所述的装置,其中,所述装置还包括存储单元,被配置成:
将所述当前速度信息和当前速度信息的状态存入所述缓存队列,其中,状态包括:收敛、不收敛、异常;或者
将所述当前速度信息和当前质量分数存入所述缓存队列。
12.根据权利要求9或10所述的装置,其中,当前速度信息包括:动静状态、速度大小、速度方向;以及
所述打分单元进一步被配置成:
获取所述传感器观测的场景信息;
确定所述当前速度信息的状态;
根据所述场景信息和所述状态获取所述传感器的质量分数模板;
根据所述质量分数模板查出动静状态、速度大小、速度方向分别对应的质量分数。
13.根据权利要求12所述的装置,其中,所述打分单元进一步被配置成:
确定速度大小的稳定性和速度方向的稳定性;
若速度大小和速度方向都稳定,则速度信息的状态为收敛;
若速度大小和速度方向二者中只有一种稳定,则速度信息的状态为不收敛;
若速度大小和速度方向都不稳定,则速度信息的状态为异常。
14.根据权利要求12所述的装置,其中,所述细化单元进一步被配置成:
遍历缓存队列里不同传感器观测的质量分数,并与当前质量分数进行比较;
如果在缓存队列找到分数更高的动态状态、速度大小或速度方向且满足预定条件,则用其替换当前质量分数的速度信息中的相应值,其中,预定条件为替换双方速度信息中的速度方向的速度夹角要在一定范围内,且替换后的速度大小变化方向与当前速度大小的变化方向一致。
15.根据权利要求10所述的装置,其中,所述滤波单元进一步被配置成:
为动静状态、速度大小、速度方向分别设置权重,其中,动静状态的权重比速度大小的权重和速度方向的权重都大;
计算动静状态的分数、速度大小的分数、速度方向的分数的加权和,并且归一化后作为最终质量分数。
16.根据权利要求10所述的装置,其中,所述滤波单元进一步被配置成:
根据所述最终质量分数设置滤波器的噪声方差;
根据所述传感器观测的场景信息选择滤波器的滤波策略;
将所述当前速度信息输入所述滤波器得到所述障碍物的融合速度信息。
17.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201911198018.6A 2019-11-29 2019-11-29 用于输出信息的方法和装置 Active CN110843792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911198018.6A CN110843792B (zh) 2019-11-29 2019-11-29 用于输出信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911198018.6A CN110843792B (zh) 2019-11-29 2019-11-29 用于输出信息的方法和装置

Publications (2)

Publication Number Publication Date
CN110843792A CN110843792A (zh) 2020-02-28
CN110843792B true CN110843792B (zh) 2021-05-25

Family

ID=69606144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911198018.6A Active CN110843792B (zh) 2019-11-29 2019-11-29 用于输出信息的方法和装置

Country Status (1)

Country Link
CN (1) CN110843792B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427037B (zh) * 2020-03-18 2022-06-03 北京百度网讯科技有限公司 障碍物的检测方法和装置、电子设备和车端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015559A (zh) * 2015-10-19 2017-08-04 福特全球技术公司 使用散列加权积分和求和的目标跟踪的概率推理
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车***及汽车
CN108983213A (zh) * 2018-09-07 2018-12-11 百度在线网络技术(北京)有限公司 障碍物静止状态的确定方法、装置、设备及存储介质
CN109635868A (zh) * 2018-12-10 2019-04-16 百度在线网络技术(北京)有限公司 障碍物类别的确定方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015559A (zh) * 2015-10-19 2017-08-04 福特全球技术公司 使用散列加权积分和求和的目标跟踪的概率推理
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车***及汽车
CN108983213A (zh) * 2018-09-07 2018-12-11 百度在线网络技术(北京)有限公司 障碍物静止状态的确定方法、装置、设备及存储介质
CN109635868A (zh) * 2018-12-10 2019-04-16 百度在线网络技术(北京)有限公司 障碍物类别的确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110843792A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
US12017663B2 (en) Sensor aggregation framework for autonomous driving vehicles
CN108921200B (zh) 用于对驾驶场景数据进行分类的方法、装置、设备和介质
CN109937343B (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN111919225B (zh) 使用模拟环境对自主机器进行培训、测试和验证
US10671068B1 (en) Shared sensor data across sensor processing pipelines
CN111240312B (zh) 用于自动驾驶车辆的基于学习的动态建模方法
US11704554B2 (en) Automated training data extraction method for dynamic models for autonomous driving vehicles
US11269329B2 (en) Dynamic model with learning based localization correction system
JP2021514885A (ja) 自動運転車のlidar測位に用いられるディープラーニングに基づく特徴抽出方法
KR20180049029A (ko) 자율 주행 차량의 운행을 위한 제어 오류 보정 계획 방법
CN112896191B (zh) 轨迹处理方法、装置、电子设备和计算机可读介质
US10909377B2 (en) Tracking objects with multiple cues
CN112415558B (zh) 行进轨迹的处理方法及相关设备
CN114179832B (zh) 用于自动驾驶车辆的变道方法
CN114758502A (zh) 双车联合轨迹预测方法及装置、电子设备和自动驾驶车辆
CN110843792B (zh) 用于输出信息的方法和装置
CN113119999A (zh) 自动驾驶特征的确定方法、装置、设备、介质及程序产品
Liu et al. Precise Positioning and Prediction System for Autonomous Driving Based on Generative Artificial Intelligence
CN114970112B (zh) 用于自动驾驶仿真的方法、装置、电子设备及存储介质
US11036225B2 (en) Method for evaluating localization system of autonomous driving vehicles
CN114394111B (zh) 用于自动驾驶车辆的变道方法
CN115675528A (zh) 基于相似场景挖掘的自动驾驶方法和车辆
CN113327456A (zh) 一种车道结构检测方法及装置
CN115583243B (zh) 确定车道线信息的方法、车辆控制方法、装置和设备
WO2022198590A1 (zh) 一种标定方法、装置、智能驾驶***和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant