CN110745135A - 用于补偿航向角的装置和方法 - Google Patents

用于补偿航向角的装置和方法 Download PDF

Info

Publication number
CN110745135A
CN110745135A CN201910605914.3A CN201910605914A CN110745135A CN 110745135 A CN110745135 A CN 110745135A CN 201910605914 A CN201910605914 A CN 201910605914A CN 110745135 A CN110745135 A CN 110745135A
Authority
CN
China
Prior art keywords
heading angle
camera
lane line
compensation condition
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910605914.3A
Other languages
English (en)
Other versions
CN110745135B (zh
Inventor
柳庆珍
金男秀
吴准珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN110745135A publication Critical patent/CN110745135A/zh
Application granted granted Critical
Publication of CN110745135B publication Critical patent/CN110745135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W20/00Control systems specially adapted for hybrid vehicles
    • B60W20/10Controlling the power contribution of each of the prime movers to meet required power demand
    • B60W20/12Controlling the power contribution of each of the prime movers to meet required power demand using control strategies taking into account route information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/103Side slip angle of vehicle body
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/30Road curve radius
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/801Lateral distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)

Abstract

本文公开了一种用于补偿航向角的装置和方法。用于补偿航向角的装置包括:补偿条件确定单元,配置为确定是否满足预定补偿条件,以补偿相机的航向角;和航向角处理单元,配置为当由所述补偿条件确定单元确定满足所述补偿条件时,使用从所述相机输入的车道线距离补偿所述相机的航向角。

Description

用于补偿航向角的装置和方法
相关申请的交叉引用
本申请基于35 U.S.C.§119(a)要求2018年7月6日提交至韩国知识产权局的,申请号为10-2018-0078679的韩国申请的优先权,其以全文参考的方式引入本文。
技术领域
本公开的实施方式涉及用于补偿航向角的装置和方法,更具体地,涉及用于补偿航向角的装置和方法,其通过凭借车道线距离对相机的航向角进行补偿来辅助车辆的车道线保持。
背景技术
近年来随着驾驶辅助***(driving assistance system,DAS)的发展和对自主驾驶的需求,除了已开发辅助驾驶员的转向力的基本功能之外,还开发了自主转向控制或主动转向控制,其自主操作电动转向***而不管驾驶员的意图如何。
根据这种自主转向控制或主动转向控制,有各种与转向相关的控制***,其影响车辆的电动转向***。
用于车辆的转向相关的控制***的示例包括车道线保持辅助***(lane keepingassistance system,LKAS),当担心车道线偏离时,其在检测车道线之后控制车辆在固定车道线中行驶并且通过操作转向***来控制车道线保持,而不管驾驶员的操作如何。
车道线保持辅助***检测车道线并检测车辆的行驶状态以补偿航向角或车道线偏离警告,使得车辆不驶出检测到的车道线之外。
传统的车道线保持辅助***通过分析由相机获取的图像来识别车道线。特别地,用于使用相机执行横向控制的车道线保持辅助***的控制性能被相机的车道线信号精确度显著影响。该***的问题在于,当在影响精确度的像机校准中发生错误时,它控制车辆从车道线的中心向一侧偏离。
在公开号为10-2018-0015018(2018年2月12日)、名称为“估算车道线信息的方法”的韩国专利申请中公开了上述内容。
发明内容
各实施方式涉及一种用于补偿航向角的装置和方法,其能够通过凭借车道线距离对相机的航向角进行补偿来辅助车辆的车道线保持。
在一个实施例中,提供了一种用于补偿航向角的装置,其包括补偿条件确定单元,配置为确定是否满足预定补偿条件,以补偿相机的航向角;航向角处理单元,配置为当由所述补偿条件确定单元确定满足所述补偿条件时,使用从所述相机输入的车道线距离补偿所述相机的航向角。
所述补偿条件确定单元可以确定车辆是否正前行驶。
所述补偿条件确定单元可以使用车辆偏航率、车速、车道线曲率、相机可视区域、相机可靠性、车道线类型和车道线宽度变化中的至少一个确定所述车辆是否正前行驶。
所述补偿条件确定单元可以使用所述车辆的转向角确定所述车辆是否正前行驶。
所述补偿条件确定单元可以使用GPS信号和地图信息检测所述车辆的轨迹,并使用所检测的轨迹确定所述车辆是否正前行驶。
所述补偿条件确定单元可以确定车道线是否是直线车道线。
所述补偿条件确定单元可以使用所述车道线的曲率和所述相机的航向角确定所述车道线是否是直线车道线。
所述航向角处理单元可包括:航向角偏移量处理单元,配置为使用所述相机的航向角和相机距车道线距离检测航向角偏移量;和航向角补偿单元,配置为通过从所述相机的航向角减去由所述航向角偏移量处理单元检测的航向角偏移量补偿所述相机的航向角。
所述航向角偏移量处理单元可包括:参考航向角计算器,配置为使用车道线距离从所述相机的航向角计算参考航向角;差值检测器,配置为按时间顺序检测由所述参考航向角计算器计算的参考航向角与所述相机的航向角之间的差值;以及航向角偏移量检测器,配置为通过对每个时区的由所述差值检测器检测的差值求平均来检测所述航向角偏移量。
在一个实施例中,提供了一种用于补偿航向角的装置,包括:航向角偏移量处理单元,配置为使用相机的航向角和相机距车道线距离检测航向角偏移量;和航向角补偿单元,配置为使用所述相机的航向角和由所述航向角偏移量处理单元检测的航向角偏移量补偿所述相机的航向角。
所述航向角补偿单元可以通过从所述相机的航向角减去由所述航向角偏移量处理单元检测的航向角偏移量补偿所述相机的航向角。
所述航向角偏移量处理单元可包括:参考航向角计算器,配置为使用车道线距离计算参考航向角;差值检测器,配置为按时间顺序检测由所述参考航向角计算器计算的参考航向角与所述相机的航向角之间的差值;和航向角偏移量检测器,配置为通过对每个时区的由所述差值检测器检测的差值求平均来检测所述航向角偏移量。
在一个实施例中,提供了一种补偿航向角的方法,其包括通过补偿条件确定单元确定是否满足预定补偿条件,以补偿相机的航向角,和当由所述补偿条件确定单元确定满足补偿条件时,通过航向角处理单元使用从所述相机输入的车道线距离补偿所述相机的航向角。
在确定是否满足预定补偿条件时,所述补偿条件确定单元可以确定车辆是否正前行驶。
在确定是否满足预定补偿条件时,所述补偿条件确定单元可以使用车辆偏航率、车速、车道线曲率、相机可视区域、相机可靠性、车道线类型和车道线宽度变化中的至少一个确定车辆是否正前行驶。
在确定是否满足预定补偿条件时,所述补偿条件确定单元可以使用所述车辆的转向角确定所述车辆是否正前行驶。
在确定是否满足预定补偿条件时,所述补偿条件确定单元可以使用GPS信号和地图信息检测所述车辆的轨迹,并使用所检测的轨迹确定所述车辆是否正前行驶。
在确定是否满足预定补偿条件时,所述补偿条件确定单元可以确定车道线是否是直线车道线。
在确定是否满足预定补偿条件时,所述补偿条件确定单元可以使用所述车道线的曲率和所述相机的航向角确定所述车道线是否是直线车道线。
在补偿相机的航向角时,所述航向角处理单元可以使用所述相机的航向角和相机距车道线距离检测航向角偏移量,并通过从所述相机的航向角减去检测的航向角偏移量来补偿所述相机的航向角。
在补偿所述相机的航向角时,所述航向角处理单元可以使用车道线距离从所述相机的航向角计算参考航向角,按时间顺序检测所计算的参考航向角和所述相机的航向角之间的差值,然后通过对每个时区的检测到的差值求平均来检测所述航向角偏移量。
从以上描述显而易见的是,根据本发明的示例性实施方式的用于补偿航向角的装置和方法可以通过凭借车道线距离对相机的航向角进行补偿来改善在车道线保持辅助***中的车辆偏差,以辅助车辆的车道线保持。
此外,根据本发明的示例性实施方式的用于补偿航向角的装置和方法可以当车辆倾斜时,通过车道线保持辅助***辅助车辆的车道线保持,而不执行诸如售后服务(afterservice,AS)和自主修复的相机校正操作。
附图说明
图1是示出根据本发明的实施例的用于补偿航向角的装置的框图。
图2是示出根据本发明的实施例的直行驾驶确定的示例的概念图。
图3是示出根据本发明的实施例的直行驾驶确定的另一示例的概念图。
图4是示出根据本发明的实施例的直行驾驶确定的另一示例的概念图。
图5是示出根据本发明的实施例的直线车道线确定的示例的概念图。
图6是示出根据本发明的实施例的航向角处理单元的框图。
图7是示出根据本发明的实施例的补偿航向角的方法的流程图。
具体实施方式
在下文中参考附图更全面地描述了本发明,附图中示出了本发明的实施方式。然而,本发明可以以许多不同的形式呈现,并且不应该被解释为限于本文阐述的实施方式。相反,提供这些实施方式是为了使本公开彻底,并且将本发明的范围完全传达给本领域技术人员。附图中相同的附图标记表示相同的元件。
通过以下参考附图对实施方式的描述,本发明的各种优点和特征以及实现其的方法将变得显而易见。然而,本发明不限于本文阐述的实施方式,而是可以以许多不同的形式实现。可以提供本发明的实施方式以使本发明的公开内容完整,并且将本发明的范围完全传达给本领域技术人员,因此本发明将在权利要求的范围内进行限定。贯穿说明书中相同的附图标记表示相同的元件。
除非另外定义,否则应理解,说明书中使用的所有术语(包括技术和科学术语)具有与本领域技术人员理解的术语相同的含义。此外,除非明确定义,否则通常由字典所定义的术语不应理想地或过于正式地定义。应当理解,出于本公开的目的,“X,Y和Z中的至少一个”可以被解释为仅X,仅Y,仅Z,或者X,Y和Z中两个或更多项的任意组合(例如,XYZ,XYY,YZ,ZZ)。除非特别相反地描述,否则本文所述的术语“包括”,“配置”,“具有”等将被理解为暗示包含所述部件,因此应被解释为包括其他部件,并不是排除任何其他元素。
除非另外定义,否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。诸如在常用词典中定义的那些术语应当被解释为具有与其在相关领域的上下文中的含义一致的含义,并且将不以理想化或过于正式的含义来解释,除非本文明确地如此定义。
如在相应领域中的传统,一些示例性实施方式可以在功能块、单元和/或模块方面在附图中示出。本领域普通技术人员将理解,这些块、单元和/或模块通过电子(或光学)电路诸如逻辑电路、分立元件、处理器、硬连线电路、存储元件、布线连接等等物理地实现。当所述块、单元和/或模块由处理器或类似硬件实现时,可以使用软件(例如,代码)对它们进行编程和控制,以执行本文所讨论的各种功能。或者,每个块、单元和/或模块可以由专用硬件实现,或者作为执行某些功能的专用硬件和处理器(例如,一个或多个编程处理器和相关电路)的组合来执行其他功能。在不脱离本发明构思的范围的情况下,一些示例性实施方式的每个块、单元和/或模块可以物理地分成两个或更多个交互和离散的块、单元和/或模块。此外,在不脱离本发明构思的范围的情况下,一些示例性实施方式的块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。
在下文中,下面将通过实施方式的各种示例参考附图详细描述根据本发明示例性实施方式的用于补偿航向角的装置和方法。应当注意,附图不一定按比例绘制,并且为了清楚和方便描述,可能夸大线的粗细或部件的尺寸。此外,本文使用的术语是考虑到本发明的功能而定义的术语,并且可以根据用户或操作者的意图或实践而改变。因此,这些术语应基于本文所述的总体公开内容来定义。
图1是根据本发明的实施例的用于补偿航向角的装置的框图。图2是根据本发明的实施例的直行驾驶确定的示例的概念图。图3是根据本发明的实施例的直行驾驶确定的另一示例的概念图。图4是根据本发明的实施例的直行驾驶确定的另一示例的概念图。图5是根据本发明的实施例的直线车道线确定的示例的概念图。图6是根据本发明的实施例的航向角处理单元的框图。
参考图1,根据本发明的实施例的用于补偿航向角的装置包括相机10、补偿条件确定单元20和航向角处理单元30。
相机10捕获车辆的前面以生成前方图像,并从所生成的前方图像获取用于补偿相机10的航向角的相机信息。这里,可以采用多功能相机(multi-function camera,MFC)作为用于获取前方图像和相机信息的相机10。
由相机10获取的相机信息可以包括相机的航向角、车道线曲率、相机10的可靠性、可视区域、车道线类型和车道线宽度变化。
航向角是指车辆行驶方向和车道线前进方向之间由消失点与图像中心点的偏移量形成的角度。可以通过比较消失点的位置和图像中心点的位置来检测航向角。也就是说,当行驶道路上的两个车道线的消失点与由相机捕获的图像的中心点一致时,车辆的航向角为零(0)。
车道线曲率是使用前方道路上的两个车道线的信息获得的前向曲率信息。
可视区域是通过相机10从图像获得的前向距离。
相机可靠性是关于从相机10输入的曲率的可靠性信息。例如,相机可靠性可以表示为高、中和低,或者数值,在这种情况下,相机可靠性可以用于在其为高或者中等,或者数值为2时补偿航向角。
车道线类型是关于车道线是否是双车道线、虚线车道线、实线车道线等的信息。在这种情况下,尽管不是车道线,但是关于道路的末端或护栏或未知的信息可以包括在车道线中。关于道路的末端或护栏或未知的信息可以用作车道线类型之一。
车道线宽度是左右车道线之间的距离。例如,当从相机到左车道线的距离是2米并且从相机到右车道线的距离是2.5米时,车道线宽度是4.5米。车道线宽度变化是车道线宽度的变化。
补偿条件确定单元20确定是否满足预定补偿条件,以补偿相机10的航向角。
换句话说,补偿条件确定单元20收集用于补偿航向角的信息,并使用所收集的信息确定在补偿条件下车辆是否正前行驶或者车道线是否是直线车道线。在这种情况下,补偿条件确定单元20确定当车辆正前行驶或车道线是直线车道线时满足补偿条件。
参考图2,补偿条件确定单元20使用偏航率、车速、曲率、可视区域、相机可靠性、车道线类型和车道线宽度变化来确定车辆是否正前行驶。
偏航率是偏航角的速率的变化,该偏航角是围绕通过车辆中心的垂直线旋转的角度,并且车速是车辆的速度。
由于本领域技术人员能够容易地实现偏航率和车速,因此本文将省略其的详细描述。
当偏航率等于或大于设定的偏航率值时,当车速等于或大于设定的车速值50KPH时,当曲率等于或大于设定的曲率值时,当可视区域等于或大于设定的可视区域值时,当相机可靠性为2或更大时,当车道线类型被识别为车道线时,或当车道线宽度变化等于或大于设定的车道线宽度变化值时,补偿条件确定单元20确定车辆正前行驶。
例如,偏航率值可以设为0.0052Rad,车速可以设为50KPH,曲率可以设为0.00012Rad,可视区域可以设为30m,相机可靠性可以设为2,并且可以不确定车道线类型,或者可以将车道线类型设为道路边缘或障碍物。
另外,如图3所示,补偿条件确定单元20还可以使用全球定位***(globalpositioning system,GPS)信号或地图信息确定车辆是否正前行驶。
GPS信号包括车辆的位置信息,并且可以通过车辆中提供的导航***等获得。
在这种情况下,补偿条件确定单元20收集GPS信号以检测车辆的行驶轨迹并将检测到的行驶轨迹与地图信息相匹配,从而通过车辆的行驶轨迹确定车辆是否正前行驶。
此外,如图4所示,补偿条件确定单元20还可以使用方向盘的转向角确定车辆是否正前行驶。
方向盘的转向角是驾驶员的方向盘向左或向右旋转的角度,并且可以通过电动机驱动的动力转向***(motor-driven power steering,MDPS)、转向角传感器等获得。
在这种情况下,补偿条件确定单元20确定方向盘的转向角是否小于或等于设定的转向角值,并且当方向盘的转向角小于或等于设定的转向角值时确定车辆正前行驶。
同时,如图5中所示,补偿条件确定单元20使用车道线曲率和航向角确定车道线是否是直线车道线。
当左右车道线的曲率和从左右车道线的曲率得到的值是“0”并且左车道线和右车道线的航向角彼此相等时,补偿条件确定单元20确定车道线是直线车道线。
可以将车道线建模为Y=C3X3+C2X2+C1X+C0。这里,C0表示横向偏移量,C1表示航向角,C2表示曲率,C3表示曲率微分值(derivative value),Y表示车道线。
也就是说,左车道线被建模并且右车道线被建模,在这种情况下,当车道线Y是“0”时,补偿条件确定单元20确定车道线是直线车道线。
当由补偿条件确定单元20确定车道线是直线车道线时,航向角处理单元30使用从相机10输入的车道线距离来补偿相机10的航向角。
参考图6,航向角处理单元30包括航向角偏移量处理单元31和航向角补偿单元32。
航向角偏移量处理单元31使用相机10的航向角和相机10距车道线距离来检测航向角偏移量。航向角偏移量处理单元31包括参考航向角计算器311、差值检测器312和航向角偏移量检测器313。
参考航向角计算器311使用车道线距离从相机10的航向角计算参考航向角。也就是说,参考航向角计算器311从相机10接收车道线距离和航向角,并使用车道线距离计算参考航向角,以确保相机10的航向角的可靠性。
差值检测器312按时间顺序检测由参考航向角计算器311计算的参考航向角与相机10的航向角之间的差值。
航向角偏移量检测器313通过对按时间顺序的由差值检测器312检测的差值求平均来检测航向角偏移量。也就是说,当由差值检测器312计算的差值被输入到航向角偏移量检测器313时,航向角偏移量检测器313通过对每个时区的相机10的航向角处的差值求平均来检测所述航向角偏移量。
航向角补偿单元32使用相机10的航向角和航向角偏移量检测器313检测的航向角偏移量来补偿相机10的航向角。在这种情况下,航向角补偿单元32通过从相机10的航向角减去由航向角偏移量检测器313检测的航向角偏移量来补偿相机10的航向角。
在下文中,将参照图7详细描述根据本发明的实施例的补偿航向角的方法。
图7是根据本发明的实施例的补偿航向角的方法的流程图。
参考图7,补偿条件确定单元20收集用于确定补偿条件的信息以补偿相机10的航向角(S10)。
用于确定补偿条件的信息可包括相机信息、偏航率、车速、GPS信号、地图信息和转向角。相机信息可包括相机10的航向角、车道线曲率、可视区域、相机可靠性、车道线类型和车道线宽度变化。
当收集用于确定补偿条件的信息时,补偿条件确定单元20确定是否满足预定补偿条件,即车道线是否是直线车道线或车辆是否正前行驶,以便补偿相机10的航向角(S20)。
例如,当偏航率等于或大于设定的偏航率值时,当车速等于或大于设定的车速值时,当曲率等于或大于设定的曲率值时,当可视区域等于或大于设定的可视区域值时,当相机可靠性是高的或中等的时,当车道线类型被识别为车道线时,或车道线宽度变化等于或大于设定的车道线宽度变化值时,补偿条件确定单元20确定车辆正前行驶。
此外,补偿条件确定单元20使用GPS信号来检测车辆的行驶轨迹,并将检测到的行驶轨迹与地图信息相匹配,从而通过车辆的行驶轨迹确定车辆是否在地图上正前行驶。
此外,补偿条件确定单元20确定方向盘的转向角是否小于或等于预设的转向角值,当方向盘的转向角小于或等于设定的转向角值时,确定车辆正前行驶。
同时,补偿条件确定单元20可以使用车道线曲率和航向角来确定车道线是否是直线车道线。
在这种情况下,补偿条件确定单元20对左右车道线中的每一条进行建模。当左右车道线的曲率和从左右车道线的曲率得到的值是“0”并且左右车道线的航向角彼此相等时,补偿条件确定单元20确定车道线是直线车道线。
如上所述,当由补偿条件确定单元20确定满足补偿条件时,参考航向角计算器311使用车道线距离计算参考航向角(S30)。
接下来,差值检测器312按时间顺序检测由参考航向角计算器311计算的参考航向角与相机10的航向角之间的差值。航向角偏移量检测器313通过对每个时区的由差值检测器312检测的差值求平均来检测航向角偏移量(S40)。
当航向角度偏移量检测器313检测到航向角度偏移量时,航向角度补偿单元32使用相机10的航向角度和航向角度偏移量检测器313测到的航向角度偏移量来补偿相机10的航向角(S50)。在这种情况下,通过从相机10的航向角减去由航向角偏移量检测器313检测到的航向角偏移量来补偿相机10的航向角。
如上所述,根据本发明的示例性实施方式的用于补偿航向角的装置和方法可以通过凭借车道线距离对相机的航向角进行补偿来改善车道线保持辅助***中的车辆的偏差,以协助车辆的车道线保持。
此外,根据本发明的示例性实施方式的用于补偿航向角的装置和方法可以当车辆倾斜时,通过车道线保持辅助***,辅助车辆的车道线保持,而不执行诸如售后服务(afterservice,AS)和自主修复的相机校正操作。
虽然上文已经描述了各种实施方式,但是本领域技术人员将理解,所描述的实施方式仅是示例性的。对于本领域技术人员显而易见的是,在不脱离本公开的精神和范围的情况下,可以进行各种修改和其他等同实施方式。因此,本发明的真正技术保护范围应由所附权利要求限定。

Claims (20)

1.一种用于补偿航向角的装置,包括:
补偿条件确定单元,配置为确定是否满足预定补偿条件,以补偿相机的航向角;和
航向角处理单元,配置为当由所述补偿条件确定单元确定满足所述补偿条件时,使用从所述相机输入的车道线距离补偿所述相机的航向角。
2.根据权利要求1所述的装置,其中所述补偿条件确定单元确定车辆是否正前行驶。
3.根据权利要求2所述的装置,其中所述补偿条件确定单元使用车辆偏航率、车速、车道线曲率、相机可视区域、相机可靠性、车道线类型和车道线宽度变化中的至少一个确定所述车辆是否正前行驶。
4.根据权利要求2所述的装置,其中所述补偿条件确定单元使用所述车辆的转向角确定所述车辆是否正前行驶。
5.根据权利要求2所述的装置,其中所述补偿条件确定单元使用GPS信号和地图信息检测所述车辆的轨迹,并使用所检测的轨迹确定所述车辆是否正前行驶。
6.根据权利要求1所述的装置,其中所述补偿条件确定单元确定车道线是否是直线车道线。
7.根据权利要求6所述的装置,其中所述补偿条件确定单元使用所述车道线的曲率和所述相机的航向角确定所述车道线是否是直线车道线。
8.根据权利要求1所述的装置,其中所述航向角处理单元包括:
航向角偏移量处理单元,配置为使用所述相机的航向角和相机距车道线距离检测航向角偏移量;和
航向角补偿单元,配置为通过从所述相机的航向角减去由所述航向角偏移量处理单元检测的航向角偏移量补偿所述相机的航向角。
9.根据权利要求8所述的装置,其中所述航向角偏移量处理单元包括:
参考航向角计算器,配置为使用车道线距离从所述相机的航向角计算参考航向角;
差值检测器,配置为按时间顺序检测由所述参考航向角计算器计算的参考航向角与所述相机的航向角之间的差值;和
航向角偏移量检测器,配置为通过对每个时区的由所述差值检测器检测的差值求平均来检测所述航向角偏移量。
10.一种用于补偿航向角的装置,包括:
航向角偏移量处理单元,配置为使用相机的航向角和相机距车道线距离检测航向角偏移量;和
航向角补偿单元,配置为使用所述相机的航向角和由所述航向角偏移量处理单元检测的航向角偏移量补偿所述相机的航向角。
11.根据权利要求10所述的装置,其中所述航向角补偿单元通过从所述相机的航向角减去由所述航向角偏移量处理单元检测的航向角偏移量补偿所述相机的航向角。
12.根据权利要求10所述的装置,其中所述航向角偏移量处理单元包括:
参考航向角计算器,配置为使用所述车道线距离计算参考航向角;
差值检测器,配置为按时间顺序检测由所述参考航向角计算器计算的参考航向角与所述相机的航向角之间的差值;和
航向角偏移量检测器,配置为通过对每个时区的由所述差值检测器检测的差值求平均来检测所述航向角偏移量。
13.一种补偿航向角的方法,包括:
通过补偿条件确定单元确定是否满足预定补偿条件,以补偿相机的航向角;和
当由所述补偿条件确定单元确定满足补偿条件时,通过航向角处理单元使用从所述相机输入的车道线距离补偿所述相机的航向角。
14.根据权利要求13所述的方法,其中在确定是否满足预定补偿条件时,所述补偿条件确定单元确定车辆是否正前行驶。
15.根据权利要求14所述的方法,其中在确定是否满足预定补偿条件时,所述补偿条件确定单元使用车辆偏航率、车速、车道线曲率、相机可视区域、相机可靠性、车道线类型和车道线宽度变化中的至少一个确定车辆是否正前行驶。
16.根据权利要求14所述的方法,其中在确定是否满足预定补偿条件时,所述补偿条件确定单元使用所述车辆的转向角确定所述车辆是否正前行驶。
17.根据权利要求14所述的方法,其中在确定是否满足预定补偿条件时,所述补偿条件确定单元使用GPS信号和地图信息检测所述车辆的轨迹,并使用所检测的轨迹确定所述车辆是否正前行驶。
18.根据权利要求13所述的方法,其中:
在确定是否满足预定补偿条件时,所述补偿条件确定单元确定车道线是否是直线车道线;和
在确定是否满足预定补偿条件时,所述补偿条件确定单元使用所述车道线的曲率和所述相机的航向角确定所述车道线是否是直线车道线。
19.根据权利要求13所述的方法,其中,在补偿所述相机的航向角时,所述航向角处理单元使用所述相机的航向角和相机距车道线距离检测航向角偏移量,并通过从所述相机的航向角减去检测的航向角偏移量来补偿所述相机的航向角。
20.根据权利要求19所述的方法,其中在补偿所述相机的航向角时,所述航向角处理单元使用车道线距离从所述相机的航向角计算参考航向角,按时间顺序检测所计算的参考航向角和所述相机的航向角之间的差值,然后通过对每个时区的检测到的差值求平均来检测所述航向角偏移量。
CN201910605914.3A 2018-07-06 2019-07-05 用于补偿航向角的装置和方法 Active CN110745135B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180078679A KR102496290B1 (ko) 2018-07-06 2018-07-06 헤딩각 보상 장치 및 방법
KR10-2018-0078679 2018-07-06

Publications (2)

Publication Number Publication Date
CN110745135A true CN110745135A (zh) 2020-02-04
CN110745135B CN110745135B (zh) 2022-10-14

Family

ID=68943840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910605914.3A Active CN110745135B (zh) 2018-07-06 2019-07-05 用于补偿航向角的装置和方法

Country Status (4)

Country Link
US (2) US11091143B2 (zh)
KR (1) KR102496290B1 (zh)
CN (1) CN110745135B (zh)
DE (1) DE102019118210A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360795A (zh) * 2021-08-11 2021-09-07 智道网联科技(北京)有限公司 车辆航向角的修正方法、装置及电子设备、存储介质
CN114919589A (zh) * 2022-05-31 2022-08-19 重庆长安汽车股份有限公司 自动驾驶横向控制中的目标航向角确定方法、***及车辆
CN115503759A (zh) * 2022-10-27 2022-12-23 重庆长安汽车股份有限公司 车道线航向角补偿方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3705384B1 (en) * 2019-03-04 2021-12-22 Aptiv Technologies Limited Side collision risk estimation system for a vehicle
US11891073B2 (en) * 2019-10-25 2024-02-06 GM Global Technology Operations LLC Systems and methods for detecting and compensating camera yaw angle offset for autonomous vehicles
US20210231439A1 (en) * 2020-01-24 2021-07-29 Aptiv Technologies Limited Vehicle heading information based on single satellite detection
KR20220116703A (ko) * 2021-02-15 2022-08-23 현대모비스 주식회사 차량의 전방 차선 곡률 예측 방법 및 이를 이용한 차선 추종 제어 시스템
JP2022125932A (ja) * 2021-02-17 2022-08-29 本田技研工業株式会社 ヨーレート推定装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103287436A (zh) * 2012-03-02 2013-09-11 现代摩比斯株式会社 车辆传感器的偏移量校正***及其方法
US20140088830A1 (en) * 2012-09-27 2014-03-27 Electronics And Telecommunications Research Institute Lane tracking apparatus and method using camera direction control
CN104512462A (zh) * 2013-09-26 2015-04-15 现代摩比斯株式会社 车道维持控制装置及方法
CN104943694A (zh) * 2014-03-28 2015-09-30 通用汽车环球科技运作有限责任公司 用于确定和补偿传感器的未对准的***和方法
CN105835890A (zh) * 2015-02-04 2016-08-10 通用汽车环球科技运作有限责任公司 车辆传感器补偿
WO2017037354A1 (fr) * 2015-09-01 2017-03-09 Renault S.A.S Dispositif et procédé de commande d'un système d'aide a la conduite pour la correction de trajectoire d'un véhicule automobile

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141467A (ja) * 1999-11-15 2001-05-25 Equos Research Co Ltd データベース修正装置及びデータベース修正方法
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
KR101271639B1 (ko) * 2011-12-13 2013-06-17 (주)팜비젼 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템
JP2013220729A (ja) * 2012-04-16 2013-10-28 Alpine Electronics Inc 車載カメラの取付角度補正装置および取付角度補正方法
KR101502510B1 (ko) * 2013-11-26 2015-03-13 현대모비스 주식회사 차량의 차선 유지 제어 장치 및 방법
KR101502511B1 (ko) * 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
KR101950175B1 (ko) 2016-08-02 2019-02-20 국민대학교산학협력단 차선정보 추정 방법
KR102395283B1 (ko) * 2016-12-14 2022-05-09 현대자동차주식회사 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
KR20180078679A (ko) 2016-12-30 2018-07-10 (주) 유노믹 제조 공정 관리 시스템
WO2018135869A1 (ko) * 2017-01-19 2018-07-26 주식회사 만도 지능형 운전자 보조 시스템을 위한 카메라 시스템, 및 운전자 보조 시스템 및 방법
KR20180106417A (ko) * 2017-03-20 2018-10-01 현대자동차주식회사 차량의 위치 인식 시스템 및 방법
KR20190015018A (ko) 2017-08-05 2019-02-13 김기훈 휴대용 복습알림시계
US10737693B2 (en) * 2018-01-04 2020-08-11 Ford Global Technologies, Llc Autonomous steering control
KR102463722B1 (ko) * 2018-02-20 2022-11-07 현대자동차주식회사 차량의 속도 설정 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103287436A (zh) * 2012-03-02 2013-09-11 现代摩比斯株式会社 车辆传感器的偏移量校正***及其方法
US20140088830A1 (en) * 2012-09-27 2014-03-27 Electronics And Telecommunications Research Institute Lane tracking apparatus and method using camera direction control
CN104512462A (zh) * 2013-09-26 2015-04-15 现代摩比斯株式会社 车道维持控制装置及方法
CN104943694A (zh) * 2014-03-28 2015-09-30 通用汽车环球科技运作有限责任公司 用于确定和补偿传感器的未对准的***和方法
CN105835890A (zh) * 2015-02-04 2016-08-10 通用汽车环球科技运作有限责任公司 车辆传感器补偿
WO2017037354A1 (fr) * 2015-09-01 2017-03-09 Renault S.A.S Dispositif et procédé de commande d'un système d'aide a la conduite pour la correction de trajectoire d'un véhicule automobile

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONGWOO LEE等: "Development of an Integrated Driving Path Estimation Algorithm for ACC and AEBS Using Multi-Sensor Fusion", 《2012 IEEE 75TH VEHICULAR TECHNOLOGY CONFERENCE (VTC SPRING)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360795A (zh) * 2021-08-11 2021-09-07 智道网联科技(北京)有限公司 车辆航向角的修正方法、装置及电子设备、存储介质
CN114919589A (zh) * 2022-05-31 2022-08-19 重庆长安汽车股份有限公司 自动驾驶横向控制中的目标航向角确定方法、***及车辆
CN114919589B (zh) * 2022-05-31 2024-06-04 重庆长安汽车股份有限公司 自动驾驶横向控制中的目标航向角确定方法、***及车辆
CN115503759A (zh) * 2022-10-27 2022-12-23 重庆长安汽车股份有限公司 车道线航向角补偿方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210339731A1 (en) 2021-11-04
US11091143B2 (en) 2021-08-17
CN110745135B (zh) 2022-10-14
KR102496290B1 (ko) 2023-02-06
DE102019118210A1 (de) 2020-01-09
US20200010073A1 (en) 2020-01-09
KR20200005224A (ko) 2020-01-15
US11721109B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110745135B (zh) 用于补偿航向角的装置和方法
US10988139B2 (en) Vehicle position control method and device vehicle position control device for correcting position in drive-assisted vehicle
US20190061808A1 (en) Vehicle drive assist apparatus
CN102975716B (zh) 用于在自动化车道对中过程中的速度自适应转向超驰检测的***和方法
JP5747787B2 (ja) 車線認識装置
CN105774801B (zh) 用于引导车道上的车辆的方法和设备
US20170088168A1 (en) Vehicle steering control apparatus
WO2015122121A1 (ja) ホスト車走行位置特定装置及びホスト車走行位置特定プログラム製品
US11560145B2 (en) Travel path recognition apparatus and travel path recognition method
US9896127B2 (en) Vehicle steering control apparatus and method for lane keeping
US20190120631A1 (en) Apparatus of compensating for a sensing value of a gyroscope sensor, a system having the same, and a method thereof
JP2010078387A (ja) 車線判定装置
JP2020032828A (ja) 車両用操舵装置
US11299107B2 (en) Camera signal monitoring apparatus and method
CN112912293B (zh) 目标轨迹生成装置、车辆控制装置、目标轨迹生成方法和车辆控制方法
KR102303230B1 (ko) 차량의 곡률 반경 추정장치 및 그 방법
JP6675354B2 (ja) 車両用操舵制御装置
JP2005088806A (ja) 操舵制御装置
JP5189316B2 (ja) ヨーレートセンサの出力判定装置および追従先行車判定装置
JP2019194037A (ja) 区画線認識装置
JP2017165358A (ja) 車両制御情報生成装置および車両制御情報生成方法
KR102287312B1 (ko) 차량의 lkas 제어 장치 및 그 방법
KR101315488B1 (ko) 자동 주차를 위한 조향 제어방법
US20220379878A1 (en) Parking Assist System and Parking Assist Method
JP2018203156A (ja) 車両用操舵装置および車両操舵制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant