CN107798895A - 停止的车辆交通恢复警报 - Google Patents

停止的车辆交通恢复警报 Download PDF

Info

Publication number
CN107798895A
CN107798895A CN201710749398.2A CN201710749398A CN107798895A CN 107798895 A CN107798895 A CN 107798895A CN 201710749398 A CN201710749398 A CN 201710749398A CN 107798895 A CN107798895 A CN 107798895A
Authority
CN
China
Prior art keywords
vehicle
driver
speed
video camera
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710749398.2A
Other languages
English (en)
Other versions
CN107798895B (zh
Inventor
查克·埃弗雷特·巴杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107798895A publication Critical patent/CN107798895A/zh
Application granted granted Critical
Publication of CN107798895B publication Critical patent/CN107798895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18054—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

公开了用于停止的车辆交通恢复警报的装置和方法。所公开的示例的车辆包括碰撞检测单元和交通监控器。示例碰撞检测单元检测车辆的前方的物体。当车辆的变速器处于驱动挡并且车辆的速度为零时，示例交通监控器使用摄像机追踪驾驶员的视线。此外，响应于检测到物体从静止到移动的转变并且驾驶员的视线不是向前的，交通监控器向驾驶员提供警报。

Description

停止的车辆交通恢复警报
技术领域
本公开大体上涉及当行驶时辅助驾驶员的***和方法，并且更具体地，涉及停止的车辆交通恢复警报***。
背景技术
许多人将在交通灯处或在走走停停的交通中的停止的时间用于例如检查数据屏幕或检查移动装置。因此，他们将注意力转移到其他地方，直到交通再次移动。对于在注意交通灯的变化并且等待他们前方的车辆中的驾驶员意识到交通灯已经改变并且他们应该开车的其他驾驶者来说，这种行为变得令人沮丧。除了向其他驾驶员增加压力外，对于停止的驾驶员来说这可能是危险的。如果他们没有足够快地恢复驾驶，后面的驾驶员可能会对他们按喇叭。这往往会吓倒不注意的驾驶员。出于反射，不注意的驾驶员可以释放制动器并且比正常情况更激进地加速，以缩小他们自己和他们前方的车辆之间的差距。
发明内容
所附权利要求限定了该应用。本公开总结了实施例的各方面，并且不应用于限制权利要求。根据本文所描述的技术，可预期其他实施方式，这对于本领域普通技术人员通过检查以下附图和详细描述将是显而易见的，并且这些实施方式旨在在本申请的范围内。
公开了一种用于停止的车辆交通恢复警报的示例性实施例。所公开的示例车辆包括碰撞检测单元和交通监控器。示例碰撞检测单元检测车辆的前方的物体。当车辆的变速器处于驱动挡并且车辆的速度为零时，示例交通监控器使用摄像机追踪驾驶员的视线。此外，响应于检测到物体从静止转变到移动，并且驾驶员的视线不是向前的，则交通监控器向驾驶员提供警报。
一种提醒驾驶员的示例方法包括检测车辆前方的物体。该示例方法还包括当车辆的变速器处于驱动挡并且车辆的速度为零时，使用摄像机追踪驾驶员的视线。此外，示例方法包括响应于检测到物体从静止到移动的转变并且驾驶员的视线不是向前的，则向驾驶员提供警报。
一种有形计算机可读介质包括在被执行时使车辆检测车辆的前方的物体的指令。此外，该指令使车辆当车辆的变速器处于驱动挡并且车辆的速度为零时使用摄像机追踪驾驶员的视线。该指令使得车辆响应于检测到物体从静止到移动的转变并且驾驶员的视线不是向前的，则向驾驶员提供警报。
根据本发明，提供一种车辆，包括：
用于检测车辆的前方的物体的碰撞检测单元；和
交通监控器，所述交通监控器用于：
当车辆的变速器处于驱动挡并且车辆的速度为零时，使用摄像机追踪驾驶员的视线；并且
响应于检测到物体从静止到移动的转变并且驾驶员的视线不是向前的，则向驾驶员提供警报。
根据本发明的一个实施例，其中交通监控器用于：
监视物体的速度；和
当物体的速度满足速度阈值时，确定物体从静止到移动的转变。
根据本发明的另一个实施例，其中交通监控器用于当车辆的速度满足速度阈值时，创建驾驶员的面部的基线，所述基线用于检测驾驶员何时不向前看。
根据本发明的另一个实施例，其中摄像机是多光谱摄像机。
根据本发明的另一个实施例，其中摄像机包括透镜和红外光谱滤光片。
根据本发明的另一个实施例，其中警报是声音、视觉指示符或触觉响应中的至少一个。
根据本发明的另一个实施例，其中警报振动座椅、踏板或方向盘中的至少一个。
根据本发明，提供一种提醒车辆中的驾驶员的方法，包括：
用距离检测传感器检测车辆的前方的物体；
用变速器控制单元监控变速器的状态；
当车辆的变速器处于驱动挡并且车辆的速度为零时，用驾驶员面部摄像机追踪驾驶员的视线；并且
响应于检测到物体从静止到移动的转变并且驾驶员的视线不是向前的，则向驾驶员提供警报。
根据本发明的另一个实施例，该方法包括：
监控物体的速度；和
当物体的速度满足速度阈值时，确定物体从静止到移动的转变。
根据本发明的另一个实施例，该方法包括当车辆的速度满足速度阈值时，创建驾驶员的面部的基线，所述基线用于检测驾驶员何时不向前看。
根据本发明的另一个实施例，其中摄像机是多光谱摄像机。
根据本发明的另一个实施例，其中摄像机包括透镜和红外光谱滤光片。
根据本发明的另一个实施例，其中警报是声音、视觉指示符或触觉响应中的至少一个。
根据本发明的另一个实施例，其中警报振动座椅、踏板或方向盘中的至少一个。
根据本发明，提供一种有形计算机可读介质，包括指令，指令在执行时使得车辆：
检测车辆的前方的物体；
当车辆的变速器处于驱动挡并且车辆的速度为零时，使用摄像机追踪驾驶员的视线；并且
响应于检测到物体从静止到移动的转变并且驾驶员的视线不是向前的，则向驾驶员提供警报。
附图说明
为了更好地理解本发明，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在某些情况下可能会夸大其中的比例，以便强调并清楚地说明本文所描述的新颖特征。此外，如本领域已知的，***部件可以进行各种布置。进一步地，在附图中，在几个视图中相同的附图标记表示相应的部分。
图1示出了具有根据本公开的教导操作的交通恢复警报***的车辆；
图2A和2B示出了图1的车辆的驾驶员；
图3是图1的车辆的电子部件的框图；
图4是用于在停止的交通恢复时提醒驾驶员的方法的流程图，其可以用图3的电子部件来实现。
具体实施方式
虽然本发明可以以各种形式实施，但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例，同时应理解本公开被认为是本发明的示例，并且不旨在将本发明限制于所示的具体实施例。
当停在交通信号灯处或在走走停停的交通中时，驾驶员可能通过观看移动装置或调节车辆设置(例如，温度和/或鼓风机速度设置、无线电设置、声音***设置等等)而分心，特别是如果驾驶员预期将等待一段较长的时间。如下所述，示例车辆包括用于确定何时向驾驶员提供警报的交通监控器。该车辆包括用于追踪车辆的驾驶员的视线的视线追踪器。基于驾驶员的视线，视线追踪器确定驾驶员是否正在看路(例如，看向车辆前方)。此外，该车辆包括使用距离检测传感器(例如，超声波***、雷达、激光雷达、摄像机和/或红外传感器)来检测附近车辆的相对位置的碰撞检测单元。当车辆前方的交通向前移动并且驾驶员的视线不向前时，交通监控器向驾驶员提供音频、视觉和/或触觉警报。例如，交通监控器可以使驾驶员座椅、方向盘和/或一个或多个踏板振动。以这种方式，车辆提供通知，使得驾驶员将他们的注意力返回到道路。
图1示出了具有根据本公开的教导操作的交通恢复警报***的车辆100。车辆100(例如小汽车、卡车、厢式货车、摩托车等)可以是标准汽油动力车辆、混合动力车辆、电动车辆、燃料电池车辆和/或任何其他移动性工具类型的车辆。车辆100包括与移动性相关的部件，例如具有发动机、变速器、悬架、驱动轴和/或车轮等的动力传动***。车辆100可以是非自主的、半自主的(例如，一些常规的运动功能由车辆100控制)或自主的(例如，由车辆100控制运动功能，而不需要驾驶员直接输入)。在所示示例中，车辆100包括摄像机102、视线追踪器104、距离检测传感器106、速度传感器108、电子控制单元(ECU)110和交通监控器112。
摄像机102被定位以追踪驾驶员的脸部。在一些示例中，摄像机102位于后视镜(例如，下面的图2A和2B的后视镜202)中。或者，在一些示例中，摄像机位于仪表板上(例如，靠近中央控制台显示器)。摄像机102捕获可见光谱中的图像。在一些示例中，摄像机102是包括多个透镜和/或滤光片以捕获多个光谱范围的光的多光谱摄像机。在一些这样的示例中，摄像机102包括透镜和/或滤光片以捕获可见光谱和/或红外光谱中的光。此外，在一些这样的示例中，摄像机102包括产生红外光的发光二极管(LED)(未示出)以提供红外光源。在这样的示例中，视线追踪器104能够在夜间和/或当驾驶员佩戴太阳镜时追踪驾驶员的视线。
视线追踪器104通信地联接到摄像机102。视线追踪器104基于在驾驶员的脸部上检测到的特征点来表明驾驶员何时向前看，以及驾驶员何时不向前看。特征点限定驾驶员的脸部上的位置，其表明驾驶员正在看向什么方向。例如，视线追踪器104可以检测眼睛的边界、瞳孔的位置、鼻尖的位置和/或嘴的边界。如图2A和2B中所示，视线追踪器104基于特征点的关系确定驾驶员正在看的方向。在一些示例中，视线追踪器104捕获作为车辆100的设置或驾驶员配置文件的一部分的驾驶员正在向前看的参考图像。在这样的示例中，视线追踪器104将参考图像与驾驶员的配置文件相关联。或者，在一些示例中，视线追踪器104在驾驶员驾驶车辆100时确定特征点的参考。例如，当车辆在阈值速度(例如，每小时二十英里)以上向前运动时，视线追踪器104可以认为驾驶员正在向前看。
距离检测传感器106检测车辆100前方的物体。另外，距离检测传感器106检测物体的运动。距离检测传感器106包括超声波传感器、雷达、激光雷达、红外传感器和/或一个或多个摄像机等。速度传感器108测量车辆100的速度。在一些示例中，速度传感器108是车轮速度传感器，其测量车辆100的一个车轮的旋转。或者，速度传感器108测量车辆100的曲轴的旋转。
ECU 110监控并且控制车辆100的子***。ECU 110通过车辆数据总线(例如，下面的图3的车辆数据总线306)来通信和交换信息。此外，ECU 110可以向其他ECU 110传送属性(例如，ECU 110的状态、传感器读数、控制状态、错误和诊断代码等)和/或从其他ECU 110接收请求。一些车辆100可以具有位于车辆100周围的各种位置、通过车辆数据总线通信地联接的七十个或更多个ECU 110。ECU 110是包括它们自己的电路(例如集成电路、微处理器、存储器、储存器等)和固件、传感器、致动器和/或安装硬件的离散电子器件组。在示出的示例中，ECU 110包括变速器控制单元114和碰撞检测单元116。变速器控制单元114监控和控制车辆100的变速器。当变速器控制杆(未示出)处于驱动挡设置中时，变速器控制单元114基于来自其它ECU 110的信息将车辆100转换成不同挡位。此外，变速器控制单元114向其他ECU 110通知当前齿轮比(例如第一挡、第二挡等)和/或变速器的当前设定(例如停车挡、驱动挡、倒车挡等)。碰撞检测单元116使用距离检测传感器106来检测车辆100的前方的物体(例如车辆、行人等)和物体的运动。碰撞检测单元116可以例如响应于检测到物体，预加载制动并且向驾驶员提供音频和/或视觉警告。在所示的示例中，碰撞检测单元116向车辆数据总线上的其他部件(例如，交通监控器112等)提供关于检测到的物体的信息。
当(a)车辆100的变速器处于驱动挡，(b)车辆100停止，(c)车辆100前方的物体(例如，另一车辆)从停止转变到移动，并且(d)驾驶员的是视线不是向前朝向道路时，交通监控器112向车辆100的乘客提供音频、视觉和/或触觉警报。在一些示例中，交通监控器112监控被检测物体的加速度和/或速度。在这样的示例中，当物体的速度或加速度满足(例如，大于或等于)移动阈值时，交通监控器112确定车辆100前方的物体从停止到移动的转变。例如，移动阈值可以是每小时五英里。或者或另外，在一些示例中，当物体移动远离车辆100达阈值距离时，交通监控器112确定物体正在移动。例如，当物体缓慢地(例如，不满足移动阈值)向前移动时，当物体距离车辆100五英尺远时，交通监控器112可以确定物体正在移动。在一些这样的示例中，基于提供警报的频率来校准阈值距离。例如，当阈值距离为5英尺，并且交通监控器112在车辆100的每个连续停止之后提供警报(例如，表示走走停停的交通等)时，交通监控器112可以将阈值距离增加一英尺。交通监控器112通信地联接(例如，通过车辆数据总线)到视线追踪器104、速度传感器108、变速器控制单元114和碰撞检测单元116。在示出的示例中，交通监控器112接收(i)来自视线追踪器104的驾驶员是否正在向前看，(ii)来自速度传感器108的车辆速度，(iii)来自变速器控制单元114的变速器的设定，以及(iv)来自碰撞检测单元116的车辆100的前方的物体是否从停止开始移动。
图2A和2B示出了图1的车辆100的驾驶员200。图2A示出了向前朝向道路看的驾驶员200。图2B示出了远离道路正在向下看的驾驶员200。在示出的示例中，视线追踪器104被嵌入或附接到后视镜总成202。视线追踪器104监控车辆100的内部，使得驾驶员200的头部206在摄像机102的视野内。视线追踪器104使用面部识别算法来确定表明驾驶员200的眼睛的边界、瞳孔的位置、鼻子的位置和/或嘴唇的边界的特征点。基于特征点，视线追踪器104确定驾驶员200的头部206的角度和/或描述眼睛(有时被称为“眼睛向量”)相对于头部206正在看的方向的向量。例如，头部206可以是倾斜的，使得驾驶员200的视线指向道路，并且眼睛的向量可以向下。在这样的示例中，视线追踪器104表明驾驶员200不是向前看的。
在一些示例中，当驾驶员向前看时，视线追踪器104监控头部206的角度和/或眼睛向量以建立基线。在一些这样的示例中，当车辆100高于一定速度向前移动时，视线追踪器104产生基线。例如，当车辆以100每小时20英里行驶时，视线追踪器104可以产生基线。在这样的示例中，基线可以包括头部206的多个角度和/或视线追踪器104认为是向前看的眼睛向量。或者或另外，在一些示例中，在设置过程期间，当向前看以建立基线时，视线追踪器104记录驾驶员200的头部206的角度和/或眼睛向量，并且将该基线与驾驶员200的配置文件相关联。
在图2A和2B的所示示例中，车辆100包括触觉反馈装置208。触觉反馈装置208振动以警告驾驶员200。在所示示例中，触觉反馈装置208位于车辆100的驾驶员座椅210中、方向盘212中、以及在踏板214(例如制动踏板)上。触觉反馈装置208可以在其他位置向驾驶员200提供振动。触觉反馈装置208可以包括马达上的不平衡重量以提供振动。触觉反馈装置208通信地联接到交通监控器112。
图3是图1的车辆100的电子部件300的框图。在所示示例中，电子部件300包括摄像机102、视线追踪器104、距离检测传感器106、速度传感器108、ECU 110、触觉反馈装置208、车载计算平台302、信息娱乐主机单元304、第一车辆数据总线306和第二车辆数据总线308。
车载计算平台302包括处理器或控制器310和存储器312。处理器或控制器310可以是任何合适的处理装置或一组处理装置，例如但不限于：微处理器、基于微控制器平台、合适的集成电路、一个或多个现场可编程门阵列(FPGA)和/或一个或多个专用集成电路(ASIC)。在所示示例中，处理器或控制器310被构造为包括交通监控器112。或者，在一些示例中，交通监控器112可以是单独的ECU 110或不同的ECU 110(诸如碰撞检测单元116)的一部分。存储器312可以是易失性存储器(例如，RAM(随机存取存储器)，其可以包括非易失性RAM、磁性RAM、铁电RAM和任何其它合适的形式)、非易失性存储器(例如，磁盘存储器、闪速存储器、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、基于忆阻器的非易失性固态存储器等)、不可变存储器(例如，EPROM)、只读存储器和/或大容量存储装置(例如，硬盘驱动器、固态驱动器等)。在一些示例中，存储器312包括多种存储器，特别是易失性存储器和非易失性存储器。
存储器312是其上可以嵌入一组或多组指令的计算机可读介质，诸如用于操作本公开的方法的软件。指令可以体现本文所描述的一种或多种方法或逻辑。在特定实施例中，指令可以在执行指令期间完全或至少部分地驻留在存储器312、计算机可读介质中的任何一个或多个中，和/或在处理器310内。
术语“非暂时计算机可读介质”和“计算机可读介质”应被理解为包括单个介质或多个介质，例如集中式或分布式数据库、和/或存储的一组或多组指令的相关联的高速缓存和服务器。术语“非暂时性计算机可读介质”和“计算机可读介质”还包括能够存储、编码或携带用于由处理器执行的指令集或使***执行本文公开的任何一种或多种的方法或操作的任何有形介质。如本文所使用的，术语“计算机可读介质”被明确地定义为包括任何类型的计算机可读存储装置和/或存储盘并且排除传播信号。
信息娱乐主机单元304提供车辆100和用户(例如，驾驶员200等)之间的界面。信息娱乐主机单元304包括用于从用户接收输入和显示信息的数字和/或模拟接口(例如，输入装置和输出装置)。输入装置可以包括例如控制手柄、仪表板、用于图像捕获和/或视觉命令识别的数字摄像机、触摸屏、音频输入装置(例如，客舱麦克风)、按钮或触摸板。输出装置可以包括仪表板输出(例如拨号盘、照明装置)、致动器、抬头显示器、中央控制台显示器(例如，液晶显示器(“LCD”)、有机发光二极管(“OLED”)显示器、平板显示器、固态显示器等)和/或扬声器。在所示示例中，信息娱乐主机单元304包括用于信息娱乐***(例如福特公司的福特同步***()和福特触摸***(MyFord)、丰田公司的多媒体***()、通用汽车公司的智能连接***()等)的硬件(例如，处理器或控制器、存储器、存储装置等)和软件(例如，操作***等)。此外，信息娱乐主机单元304在例如中央控制台显示器上显示信息娱乐***。交通监控器112通过信息娱乐主机单元304提供音频和/或视觉警报。例如，交通监控器112可以通过仪表板显示器和/或信息娱乐***提供视觉警报。
第一车辆数据总线306通信地联接速度传感器108、ECU 110、触觉反馈装置208、车载计算平台302、信息娱乐主机单元304和连接到第一车辆数据总线的其他装置。在一些示例中，第一车辆数据总线306根据由国际标准组织(ISO)11898-1定义的控制器局域网(CAN)总线协议来实现。或者，在一些示例中，第一车辆数据总线306可以是面向媒体的***传输(MOST)总线或CAN灵活数据(CAN-FD)总线(ISO 11898-7)。第二车辆数据总线308通信地联接车载计算平台302和视线追踪器104。第二车辆数据总线308可以是MOST总线、CAN-FD总线或以太网总线。在一些示例中，车载计算平台302通信地隔离第一车辆数据总线306和第二车辆数据总线308(例如，通过防火墙、消息代理等)。或者，在一些示例中，第一车辆数据总线306和第二车辆数据总线308是相同的数据总线。
图4是一旦恢复停止的交通时提醒驾驶员200的方法的流程图，其可以用图3的电子部件300来实现。图4的方法在例如当车辆100的点火开关被设定在接通位置时开始。最初，在框402处，交通监控器112通过视线追踪器104校准视线检测。在一些示例中，为了校准视线检测，视线追踪器104建立驾驶员200的头部角度和/或眼睛向量的基线。在框404处，交通监控器112等待直到车辆100停止。在框406处，交通监控器112确定车辆100的变速器是否处于驱动挡。如果车辆100的变速器处于驱动挡，则方法在框408处继续。否则，如果车辆100的变速器不处于驱动挡，则该方法返回到框404。
在框408处，交通监控器112通过视线追踪器104监控驾驶员200的视线。在方框410，交通监控器112通过视线追踪器104确定驾驶员200是否朝向道路看。如果驾驶员200朝向道路看，则该方法返回到框404。否则，如果驾驶员不朝向道路看，则该方法继续到框412。在框412处，交通监控器112通过碰撞检测单元116监控车辆100的前方的物体(例如，另一车辆等)。在框414处，交通监控器112确定在框412处检测到的物体是否停止。如果该物体停止，则该方法返回到框404。否则，如果该物体没有停止，则该方法在框416处继续。在框416处，交通监控器112向驾驶员提供音频、视觉和/或触觉响应。在一些示例中，交通监控器112通过信息娱乐主机单元304提供音频和/或视觉响应，和/或通过触觉反馈装置208提供触觉响应。例如，交通监控器112可以使驾驶员的座椅210震动。在框418处，交通监控器112通过视线***104来监视驾驶员200的视线。在框420处，交通监控器112通过视线追踪器104来确定驾驶员200是否朝向道路看。如果驾驶员200朝向道路看，则该方法返回到框404。否则，如果驾驶员不朝向道路看，则该方法返回到框416。
图4的流程图是包括一个或多个程序的机器可读指令的典型，该程序当由处理器(例如图3的处理器310)执行时使得车辆100实现图1和图2A、2B的示例***通监视器112。进一步地，虽然参考图4中所示的流程图描述了示例程序，但是可以替代地使用实现示例***通监控器112的许多其他方法。例如，可以改变框的执行顺序、和/或可以改变、消除或组合所描述的框中的某些。
在本申请中，反义连接词的使用旨在包括连接词。使用确定或不定冠词不旨在表示基数。特别地，对“该”或“一个(a)”和“一个(an)”物品的引用也旨在表示可能的多个这样的物品中的一个。进一步地，连接词“或”可以用于传达同时存在的特征而不是相互排斥的替代。换句话说，连接词“或”应该被理解为包括“和/或”。术语“包括(includes)”、“包括(including)”和“包括(include)”是包容性的，并且分别与“包含(comprises)”、“包含(comprising)”和“包含(comprise)”具有相同范围。
上述实施例，特别是任何“优选”实施例是实施方式的可能示例，并且仅为了清楚地理解本发明的原理而提出。可以在不脱离本文所描述的技术的精神和原理的情况下对上述实施例进行许多变化和修改。所有修改旨在被包括在本公开的范围内并且由所附权利要求保护。

Claims (15)

1.一种车辆，包括：
用于检测所述车辆的前方的物体的碰撞检测单元；和
交通监控器，所述交通监控器用于：
当所述车辆的变速器处于驱动挡并且所述车辆的速度为零时，使用摄像机追踪驾驶员的视线；并且
响应于检测到所述物体从静止到移动的转变并且所述驾驶员的所述视线不是向前的，则向所述驾驶员提供警报。
2.根据权利要求1所述的车辆，其中所述交通监控器用于：
监控所述物体的速度；和
当所述物体的所述速度满足运动阈值时，确定所述物体从静止到移动的所述转变。
3.根据权利要求1所述的车辆，其中所述交通监控器用于当所述车辆的所述速度满足速度阈值时，创建所述驾驶员的面部的基线，所述基线用于检测所述驾驶员何时未在向前看。
4.根据权利要求1所述的车辆，其中所述摄像机是多光谱摄像机。
5.根据权利要求4所述的车辆，其中所述摄像机包括透镜和红外光谱滤光片。
6.根据权利要求1所述的车辆，其中所述警报是声音、视觉指示符或触觉响应中的至少一个。
7.根据权利要求1所述的车辆，其中所述警报振动座椅、踏板或方向盘中的至少一个。
8.一种提醒驾驶员的方法，包括：
检测车辆的前方的物体；
当所述车辆的变速器处于驱动挡并且所述车辆的速度为零时，使用摄像机追踪所述驾驶员的视线；并且
响应于检测到所述物体从静止到移动的转变，并且所述驾驶员的所述视线不是向前的，则向所述驾驶员提供警报。
9.根据权利要求8所述的方法，包括：
监控所述物体的所述速度；和
当所述物体的所述速度满足速度阈值时，确定所述物体从静止到移动的所述转变。
10.根据权利要求8所述的方法，包括当所述车辆的速度满足速度阈值时，创建所述驾驶员的面部的基线，所述基线用于检测所述驾驶员何时未在向前看。
11.根据权利要求8所述的方法，其中所述摄像机是多光谱摄像机。
12.根据权利要求11所述的方法，其中所述摄像机包括透镜和红外光谱滤光片。
13.根据权利要求8所述的方法，其中所述警报是声音、视觉指示符或触觉响应中的至少一个。
14.根据权利要求8所述的方法，其中所述警报振动座椅、踏板或方向盘中的至少一个。
15.一种有形计算机可读介质，包括指令，所述指令在执行时使得车辆：
检测所述车辆的前方的物体；
当所述车辆的变速器处于驱动挡并且所述车辆的速度为零时，使用摄像机追踪驾驶员的视线；并且
响应于检测到所述物体从静止到移动的转变并且所述驾驶员的所述视线不是向前的，则向所述驾驶员提供警报。
CN201710749398.2A 2016-08-29 2017-08-28 停止的车辆交通恢复警报 Active CN107798895B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/250,250 US9809167B1 (en) 2016-08-29 2016-08-29 Stopped vehicle traffic resumption alert
US15/250,250 2016-08-29

Publications (2)

Publication Number Publication Date
CN107798895A true CN107798895A (zh) 2018-03-13
CN107798895B CN107798895B (zh) 2021-11-26

Family

ID=59996738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710749398.2A Active CN107798895B (zh) 2016-08-29 2017-08-28 停止的车辆交通恢复警报

Country Status (6)

Country Link
US (2) US9809167B1 (zh)
CN (1) CN107798895B (zh)
DE (1) DE102017119556A1 (zh)
GB (1) GB2554540A (zh)
MX (1) MX2017011050A (zh)
RU (1) RU2017130275A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109466446A (zh) * 2018-11-30 2019-03-15 南昌与德软件技术有限公司 一种驾驶提示方法、装置、汽车及存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9809167B1 (en) * 2016-08-29 2017-11-07 Ford Global Technologies, Llc Stopped vehicle traffic resumption alert
US10137893B2 (en) * 2016-09-26 2018-11-27 Keith J. Hanna Combining driver alertness with advanced driver assistance systems (ADAS)
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
US10166996B2 (en) * 2017-02-09 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adaptively communicating notices in a vehicle
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
CN107197123B (zh) * 2017-05-05 2019-12-20 北京空间机电研究所 一种凝视型空间相机分时多光谱成像控制的相机***及控制方法
JP7294793B2 (ja) 2017-11-06 2023-06-20 ハーレー－ダビッドソン・モーター・カンパニー・グループ・エルエルシー モータサイクル用の加熱ハンドグリップ
US11292542B2 (en) 2017-11-06 2022-04-05 Harley-Davidson Motor Company Group, LLC Independently heated handgrips for a motorcycle
KR102506871B1 (ko) * 2018-02-19 2023-03-08 현대자동차주식회사 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
CN110322714B (zh) * 2018-03-30 2023-11-14 比亚迪股份有限公司 基于车载显示终端的智能提醒***、方法和车辆
CN108819848B (zh) * 2018-06-14 2021-07-20 苏州途驰安电子科技有限公司 基于监听模式的里程数据获取方法及装置
DE102018214935B4 (de) * 2018-09-03 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges
US10699122B2 (en) * 2018-09-27 2020-06-30 International Busines Machines Corporation Alerting a hyper focused device user to engage audience
US11198386B2 (en) 2019-07-08 2021-12-14 Lear Corporation System and method for controlling operation of headlights in a host vehicle
US10916131B1 (en) * 2019-10-01 2021-02-09 Paul Schottland Intersection and road monitoring for distracted or unsafe drivers
EP3852079A1 (en) * 2020-01-16 2021-07-21 Toyota Jidosha Kabushiki Kaisha Driver attention system
US11485197B2 (en) 2020-03-13 2022-11-01 Lear Corporation System and method for providing an air quality alert to an occupant of a host vehicle
JP7327279B2 (ja) * 2020-05-29 2023-08-16 トヨタ自動車株式会社 情報処理装置、プログラム、および情報処理方法
US11315429B1 (en) 2020-10-27 2022-04-26 Lear Corporation System and method for providing an alert to a driver of a host vehicle
GB2609914A (en) * 2021-08-12 2023-02-22 Continental Automotive Gmbh A monitoring system and method for identifying objects

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW506361U (en) * 2001-10-19 2002-10-11 Yau-Dang Chen Device for reminding buckling of seat belt of vehicle
CN1460235A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 用于监控驾驶员驾驶注意力的***
DE102011056714A1 (de) * 2011-01-05 2012-07-05 Visteon Global Technologies, Inc. Systembereitschaftsschalter für ein Mensch-Maschine-Interaktionssteuerungssystem mit Augenverfolgung
US20120271484A1 (en) * 2009-12-18 2012-10-25 Honda Motor Co., Ltd. Predictive Human-Machine Interface Using Eye Gaze Technology, Blind Spot Indicators and Driver Experience
CN102834734A (zh) * 2009-08-05 2012-12-19 福特全球技术公司 用于在车辆中控制私人模式操作的***和方法
CN202887278U (zh) * 2012-04-30 2013-04-17 同致电子企业股份有限公司 行车监控***
CN103264693A (zh) * 2013-05-31 2013-08-28 浙江吉利汽车研究院有限公司杭州分公司 一种提醒未启用驻车制动的方法和装置
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN103942919A (zh) * 2014-04-10 2014-07-23 邱燕雯 安全驾驶状态监测报警干预控制***与方法
CN104455383A (zh) * 2014-09-30 2015-03-25 浙江吉利控股集团有限公司 一种汽车自动变速器空挡控制方法
CN104724126A (zh) * 2013-12-20 2015-06-24 北汽福田汽车股份有限公司 车辆操纵提醒控制方法
US20150332590A1 (en) * 2013-02-04 2015-11-19 Magna Electronics Inc. Vehicular vision system
TW201600376A (zh) * 2014-06-27 2016-01-01 歐特明電子股份有限公司 新竹市東區中央路318號6樓之1 A室 結合感測器的車用智能影像安全系統
CN105575048A (zh) * 2016-02-25 2016-05-11 京东方科技集团股份有限公司 低头转头提醒装置及其控制方法、头盔
CN105730425A (zh) * 2016-02-19 2016-07-06 安徽机电职业技术学院 一种汽车自动驻车用控制装置及方法
CN205720719U (zh) * 2016-04-11 2016-11-23 山东建筑大学 一种汽车主动安全装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788008B2 (en) * 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
JPH10166895A (ja) * 1996-12-09 1998-06-23 Mitsubishi Electric Corp 車両用追従走行制御装置
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US7676324B2 (en) 2006-05-25 2010-03-09 Gm Global Technology Operations, Inc. Alerting a vehicle operator to traffic movement
US7363135B2 (en) 2006-06-27 2008-04-22 Gm Global Technology Operations, Inc. Steering haptic feedback system for vehicle active safety
JP2009101822A (ja) * 2007-10-23 2009-05-14 Mazda Motor Corp 車両の追従走行制御装置
WO2009074663A1 (de) 2007-12-11 2009-06-18 Continental Teves Ag & Co. Ohg Routenführungsassistenz durch momentunterstützung am lenkrad
JP5305090B2 (ja) * 2009-03-02 2013-10-02 オムロン株式会社 安全監視装置および方法、並びに、プログラム
JP2014515847A (ja) 2011-03-25 2014-07-03 ティーケー ホールディングス インク． 運転者覚醒度判定システム及び方法
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
KR20130050666A (ko) * 2011-11-08 2013-05-16 현대자동차주식회사 악셀 페달 연동 기능을 구비하는 운전자 상태 감지 시스템 및 그 방법
US9165463B2 (en) 2012-06-26 2015-10-20 Microsoft Technology Licensing, Llc Ambient vehicle and pedestrian state detection for device notification
KR20140029834A (ko) 2012-08-30 2014-03-11 한국전자통신연구원 차량용 햅틱 피드백 장치 및 이를 이용한 방법
US9230180B2 (en) * 2013-01-18 2016-01-05 GM Global Technology Operations LLC Eyes-off-the-road classification with glasses classifier
US9349292B2 (en) * 2014-01-17 2016-05-24 Ford Global Technologies, Llc Vehicle with traffic flow reminder
US9809167B1 (en) * 2016-08-29 2017-11-07 Ford Global Technologies, Llc Stopped vehicle traffic resumption alert

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460235A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 用于监控驾驶员驾驶注意力的***
TW506361U (en) * 2001-10-19 2002-10-11 Yau-Dang Chen Device for reminding buckling of seat belt of vehicle
CN102834734A (zh) * 2009-08-05 2012-12-19 福特全球技术公司 用于在车辆中控制私人模式操作的***和方法
US20120271484A1 (en) * 2009-12-18 2012-10-25 Honda Motor Co., Ltd. Predictive Human-Machine Interface Using Eye Gaze Technology, Blind Spot Indicators and Driver Experience
DE102011056714A1 (de) * 2011-01-05 2012-07-05 Visteon Global Technologies, Inc. Systembereitschaftsschalter für ein Mensch-Maschine-Interaktionssteuerungssystem mit Augenverfolgung
CN202887278U (zh) * 2012-04-30 2013-04-17 同致电子企业股份有限公司 行车监控***
US20150332590A1 (en) * 2013-02-04 2015-11-19 Magna Electronics Inc. Vehicular vision system
CN103264693A (zh) * 2013-05-31 2013-08-28 浙江吉利汽车研究院有限公司杭州分公司 一种提醒未启用驻车制动的方法和装置
CN104724126A (zh) * 2013-12-20 2015-06-24 北汽福田汽车股份有限公司 车辆操纵提醒控制方法
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN103942919A (zh) * 2014-04-10 2014-07-23 邱燕雯 安全驾驶状态监测报警干预控制***与方法
TW201600376A (zh) * 2014-06-27 2016-01-01 歐特明電子股份有限公司 新竹市東區中央路318號6樓之1 A室 結合感測器的車用智能影像安全系統
CN104455383A (zh) * 2014-09-30 2015-03-25 浙江吉利控股集团有限公司 一种汽车自动变速器空挡控制方法
CN105730425A (zh) * 2016-02-19 2016-07-06 安徽机电职业技术学院 一种汽车自动驻车用控制装置及方法
CN105575048A (zh) * 2016-02-25 2016-05-11 京东方科技集团股份有限公司 低头转头提醒装置及其控制方法、头盔
CN205720719U (zh) * 2016-04-11 2016-11-23 山东建筑大学 一种汽车主动安全装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109466446A (zh) * 2018-11-30 2019-03-15 南昌与德软件技术有限公司 一种驾驶提示方法、装置、汽车及存储介质

Also Published As

Publication number Publication date
US20180065553A1 (en) 2018-03-08
US10099613B2 (en) 2018-10-16
US9809167B1 (en) 2017-11-07
RU2017130275A (ru) 2019-02-28
GB201713423D0 (en) 2017-10-04
GB2554540A (en) 2018-04-04
CN107798895B (zh) 2021-11-26
MX2017011050A (es) 2018-09-20
DE102017119556A1 (de) 2018-03-29

Similar Documents

Publication Publication Date Title
CN107798895A (zh) 停止的车辆交通恢复警报
US10691391B2 (en) Display control apparatus and method
US9701258B2 (en) Vehicle vision system
CN107074246B (zh) 动态控制装置及相关方法
EP2974909A1 (en) Periphery surveillance apparatus and program
US9620009B2 (en) Vehicle surroundings monitoring device
US10474009B2 (en) Filter adjustment of vehicle cameras
JP7222216B2 (ja) 運転支援装置
US10629081B2 (en) Accelerometer-based external sound monitoring for backup assistance in a vehicle
CN109314765B (zh) 车辆用显示控制装置、显示***、显示控制方法以及程序
CN1815144A (zh) 倒车助理
CN102596643A (zh) 车辆夜间视野支持***及其控制方法
US20180257565A1 (en) Drive assist apparatus
US10366541B2 (en) Vehicle backup safety mapping
WO2018150642A1 (ja) 周辺監視装置
US20200242374A1 (en) Vehicle display control device, vehicle display system, vehicle display control method, non-transitory storage medium
US20230012629A1 (en) Electronic device for displaying image by using camera monitoring system (cms) side display mounted in vehicle, and operation method thereof
US20200238911A1 (en) Ar assist glasses for driing
CN107635847B (zh) 根据对驾驶员的至少一个整体警觉等级的估算辅助驾驶运输工具的装置
JP7234614B2 (ja) 異常検出装置、異常検出システム及び異常検出プログラム
GB2566611B (en) Display control apparatus and method
US20190389385A1 (en) Overlay interfaces for rearview mirror displays
US10445598B1 (en) Garage door detection for a vehicle
JP2019110390A (ja) 車両周辺監視装置
EP4382365A1 (en) Virtual mirror system with a field of view activation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant