CN115352450A - 车辆的辅助驾驶方法、装置、车辆及存储介质 - Google Patents
车辆的辅助驾驶方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN115352450A CN115352450A CN202210970461.6A CN202210970461A CN115352450A CN 115352450 A CN115352450 A CN 115352450A CN 202210970461 A CN202210970461 A CN 202210970461A CN 115352450 A CN115352450 A CN 115352450A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- driver
- incapability
- preset
- controlling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000009471 action Effects 0.000 claims abstract description 97
- 230000008921 facial expression Effects 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012806 monitoring device Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18109—Braking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/06—Combustion engines, Gas turbines
- B60W2510/0657—Engine torque
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/08—Electric propulsion units
- B60W2510/083—Torque
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/24—Energy storage means
- B60W2510/242—Energy storage means for electrical energy
- B60W2510/244—Charge state
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/12—Brake pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2756/00—Output or target parameters relating to data
- B60W2756/10—Involving external transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及智能汽车技术领域,特别涉及一种车辆的辅助驾驶方法、装置、车辆及存储介质,其中,方法包括:获取驾驶员的生理数据、面部表情和/或手势动作;基于生理数据匹配驾驶员的第一失能等级,并基于面部表情和/或手势动作匹配驾驶员的第二失能等级;通过判断第一失能等级和第二失能等级与失能阈值的大小关系以及车辆是否处于预设紊乱行驶状态,确定驾驶员是否处于预设失能状态,在处于失能状态时,控制车辆执行安全停车动作的同时,发送救援信息至预设终端。由此,解决了相关技术中仅通过手环对驾驶员状态进行监控,准确性较差,且仅仅可以实现提醒功能,无法有效保证驾驶安全等问题。
Description
技术领域
本申请涉及智能汽车技术领域,特别涉及一种车辆的辅助驾驶方法、装置、车辆及存储介质。
背景技术
目前,随着汽车的普及程度越来越高,由汽车驾驶因素而带来的安全隐患也越来越多。驾驶人员在驾车过程中,因自身疲劳或者突发疾病而引发交通意外事故的情况时有发生,因此,当驾驶员无法进行驾驶行为时,需要对驾驶员进行相应的安全辅助,提升驾驶的安全性。
相关技术中为解决上述问题,通常通过给驾驶员佩戴智能手环的方式实现驾驶员失能救援,保证驾驶员的生命安全。然而,相关技术中仅通过手环对驾驶员状态进行监控,准确性较差,且仅仅可以实现提醒功能,无法有效保证驾驶安全。
发明内容
本申请提供一种车辆的辅助驾驶方法、装置、车辆及存储介质,以解决相关技术中仅通过手环对驾驶员状态进行监控,准确性较差,且仅仅可以实现提醒功能,无法有效保证驾驶安全等问题。
本申请第一方面实施例提供一种车辆的辅助驾驶方法,包括以下步骤:获取驾驶员的生理数据、面部表情和/或手势动作;基于所述生理数据匹配所述驾驶员的第一失能等级,并基于所述面部表情和/或手势动作匹配所述驾驶员的第二失能等级;在所述第一失能等级和所述第二失能等级均大于失能阈值,或者,在所述第一失能等级大于所述失能阈值,且所述第二失能等级小于或等于所述失能阈值,且基于车辆行驶数据识别所述车辆处于预设紊乱行驶状态时,判定所述驾驶员处于预设失能状态,控制所述车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定所述驾驶员未处于所述预设失能状态。
根据上述技术手段,本申请实施例可以根据驶员的生理数据和面部表情和/或手势动作匹配对应的失能等级,通过判断失能等级与失能阈值的大小关系以及车辆是否处于预设紊乱行驶状态,确定驾驶员是否失去正常操控车辆的能力,在无法正常操控车辆时,控制车辆执行安全停车动作并发送救援信息至相应的救助终端,从而达到当驾驶员无法再进行驾驶行为时,进行相应的安全辅助,保证了驾驶的安全性,同时能够多方面确定驾驶员是否处于失能状态,准确度高,提高了用户的驾驶体验。
可选的,在本申请的一个实施例中,在控制所述车辆执行安全停车动作之前,包括:控制车辆保持本车道行驶的同时,控制所述车辆执行预设唤醒动作,并识别所述驾驶员的实际唤醒状态;在所述实际唤醒状态为预设唤醒状态时,控制所述车辆停止预设唤醒工作,否则统计所述预设唤醒动作的持续执行时长,在所述持续执行时长大于预设值时,控制所述车辆执行安全停车动作。
根据上述技术手段,本申请实施例可以在驾驶员处于失能状态时,控制车辆保持本车道行驶的同时,对驾驶员进行唤醒动作,使得驾驶员能够自救,在一定时间内未能成功唤醒驾驶员,此时,控制车辆安全停车,可靠性和准确性更高,提高用户体验和驾驶安全性。
可选的,在本申请的一个实施例中,在控制所述车辆执行安全停车动作之后,包括:检测所述车辆停车是否完成;在检测到所述车辆停车完成之后,控制所述车辆进行声学提醒动作和/或光学提醒动作的同时,控制所述车辆的车门解锁。
根据上述技术手段,本申请实施例在车辆进行安全停车后,控制车辆进行报警提醒的同时解锁车门,使得驾驶员能够在短时间内得到救助,避免错过最佳抢救时间,进一步保证了驾驶员的安全性。
可选的,在本申请的一个实施例中,所述获取驾驶员的生理数据、面部表情和/或手势动作,包括:获取智能手环检测到的驾驶员生理数据车内监控设备拍摄的驾驶员图像;识别所述驾驶员图像得到所述驾驶员的面部表情和/或手势动作。
根据上述技术手段,本申请实施例可以通过智能手环监测驾驶员的身体数据,通过车内的监控设备实时查看驾驶员的面部表情,手势动作,为判断驾驶员是否处于失能状态提供依据。
本申请第二方面实施例提供一种车辆的辅助驾驶装置,包括:获取模块,用于获取驾驶员的生理数据、面部表情和/或手势动作;匹配模块,用于基于所述生理数据匹配所述驾驶员的第一失能等级,并基于所述面部表情和/或手势动作匹配所述驾驶员的第二失能等级;辅助模块,用于在所述第一失能等级和所述第二失能等级均大于失能阈值,或者,在所述第一失能等级大于所述失能阈值,且所述第二失能等级小于或等于所述失能阈值,且基于车辆行驶数据识别所述车辆处于预设紊乱行驶状态时,判定所述驾驶员处于预设失能状态,控制所述车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定所述驾驶员未处于所述预设失能状态。
可选的,在本申请的一个实施例中,在控制所述车辆执行安全停车动作之前,包括:第一控制模块,用于控制车辆保持本车道行驶的同时,控制所述车辆执行预设唤醒动作,并识别所述驾驶员的实际唤醒状态;第二控制模块,用于在所述实际唤醒状态为预设唤醒状态时,控制所述车辆停止预设唤醒工作,否则统计所述预设唤醒动作的持续执行时长,在所述持续执行时长大于预设值时,控制所述车辆执行安全停车动作。
可选的,在本申请的一个实施例中,在控制所述车辆执行安全停车动作之后,包括:检测模块,用于检测所述车辆停车是否完成;第三控制模块,用于在检测到所述车辆停车完成之后,控制所述车辆进行声学提醒动作和/或光学提醒动作的同时,控制所述车辆的车门解锁。
可选的,在本申请的一个实施例中,所述获取模块,进一步用于获取智能手环检测到的驾驶员生理数据车内监控设备拍摄的驾驶员图像,识别所述驾驶员图像得到所述驾驶员的面部表情和/或手势动作。
本申请第三方面实施例提供一种车辆,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的车辆的辅助驾驶方法。
本申请第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以用于实现如上述实施例所述的车辆的辅助驾驶方法。
由此,本申请至少具有如下有益效果:
1、可以根据驶员的生理数据和面部表情和/或手势动作匹配对应的失能等级,通过判断失能等级与失能阈值的大小关系以及车辆是否处于预设紊乱行驶状态,确定驾驶员是否失去正常操控车辆的能力,在无法正常操控车辆时,控制车辆执行安全停车动作并发送救援信息至相应的救助终端,从而达到当驾驶员无法再进行驾驶行为时,进行相应的安全辅助,保证了驾驶的安全性,同时能够多方面确定驾驶员是否处于失能状态,准确度高,提高了用户的驾驶体验。
2、可以在驾驶员处于失能状态时,控制车辆保持本车道行驶的同时,对驾驶员进行唤醒动作,使得驾驶员能够自救,在一定时间内未能成功唤醒驾驶员,此时,控制车辆安全停车,可靠性和准确性更高,提高用户体验和驾驶安全性。
3、在车辆进行安全停车后,控制车辆进行报警提醒的同时解锁车门,使得驾驶员能够在短时间内得到救助,避免错过最佳抢救时间,进一步保证了驾驶员的安全性。
4、可以通过智能手环监测驾驶员的身体数据,通过车内的监控设备实时查看驾驶员的面部表情,手势动作,为判断驾驶员是否处于失能状态提供依据。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的一种车辆的辅助驾驶方法的流程图;
图2为根据本申请实施例的车辆的辅助驾驶方法示意图;
图3为根据本申请实施例的驾驶员失能判断逻辑示意图;
图4为根据本申请实施例的救援方案示意图;
图5为根据本申请实施例提供的一种车辆的辅助驾驶装置的方框示意图;
图6为根据本申请实施例的车辆的结构示意图。
附图标记说明:获取模块-100、匹配模块-200、辅助模块-300、存储器-601、处理器-602、通信接口-603。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车辆的辅助驾驶方法、装置、车辆及存储介质。针对上述背景技术中提到的问题,本申请提供了一种车辆的辅助驾驶方法,在该方法中,通过获取驾驶员的生理数据、面部表情和/或手势动作;基于生理数据匹配驾驶员的第一失能等级,并基于面部表情和/或手势动作匹配驾驶员的第二失能等级;在第一失能等级和第二失能等级均大于失能阈值,或者,在第一失能等级大于失能阈值,且第二失能等级小于或等于失能阈值,且基于车辆行驶数据识别车辆处于预设紊乱行驶状态时,判定驾驶员处于预设失能状态,控制车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定驾驶员未处于预设失能状态。由此,解决了相关技术中仅通过手环对驾驶员状态进行监控,准确性较差,且仅仅可以实现提醒功能,无法有效保证驾驶安全等问题。
具体而言,图1为本申请实施例所提供的一种车辆的辅助驾驶方法的流程示意图。
如图1所示,该车辆的辅助驾驶方法包括以下步骤:
在步骤S101中,获取驾驶员的生理数据、面部表情和/或手势动作。
本申请可以在车辆行驶过程中,且驾驶员无法正常操控汽车时,控制车辆执行相应的安全辅助动作,提高驾驶的安全性,为了能够准确判断驾驶员是否无法再进行驾驶行为,本申请实施例首先可以获取驾驶员的生理数据、面部表情和/或手势动作。
在本申请的一个实施例中,获取驾驶员的生理数据、面部表情和/或手势动作,包括:获取智能手环检测到的驾驶员生理数据车内监控设备拍摄的驾驶员图像;识别驾驶员图像得到驾驶员的面部表情和/或手势动作。
可以理解的是,如图2所示,本申请实施例可以通过智能手环监测驾驶员的心率、监测血液流速等生理数据,测算驾驶员的身体状态,发出驾驶员身体状态情况数据,通过蓝牙传输至车端(驾驶座舱控制器),转换成CAN数据发出至车辆总线;可以通过车内监控设备,如摄像头,获取驾驶员的人体图像,利用人像识别技术等方法识别驾驶员的面部表情(眨眼动作的频率和眼睑的开合等),手势动作(手握方向盘)等,同时车内监控设备可以将这些状态发出到车辆总线,从而判断驾驶员是否处于疲劳,晕厥等状态,在驾驶员处于异常状态下,控制车辆执行相应的安全措施。
在步骤S102中,基于生理数据匹配驾驶员的第一失能等级,并基于面部表情和/或手势动作匹配驾驶员的第二失能等级。
其中,第一失能等级和第二失能等级可以分为轻度疲劳、中度疲劳、重度疲劳等。为了能够准确判断驾驶员的失能状态,保护驾驶员的人身安全,本申请实施例根据获取到的驾驶员的生理数据、面部表情和/或手势动作做失能等级划分。
在步骤S103中,在第一失能等级和第二失能等级均大于失能阈值,或者,在第一失能等级大于失能阈值,且第二失能等级小于或等于失能阈值,且基于车辆行驶数据识别车辆处于预设紊乱行驶状态时,判定驾驶员处于预设失能状态,控制车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定述驾驶员未处于预设失能状态。
其中,失能阈值可以是驾驶员失去正常操控汽车能力的最大限度,预设紊乱行驶状态可以是车辆非正常行驶,例如,车辆走S,驾驶员未踩刹车,预设终端可以是车企客服、120急救等。
本申请实施例中的车辆行驶数据可以是车辆行驶状态、驾驶员的操纵信息和行驶信息。其中,车辆行驶状态包括行驶速度、发动机扭矩、电机扭矩、电储能单元的荷电状态,驾驶员操作信息包括加速踏板操作量、制动踏板操作量。
可以理解的是,当驾驶员生理数据的第一失能等级和面部表情和/或手势动作的第二失能等级都大于失能阈值,可以判定驾驶员处于预设失能状态;或者是驾驶员生理数据的第一失能等级大于失能阈值,面部表情和/或手势动作的第二失能等级小于或等于失能阈值且车辆的状态信息车辆处于预设紊乱行驶状态时,可以判定驾驶员处于预设失能状态;在驾驶员处于失能状态时,控制车辆执行安全停车动作的同时,发送救援信息至预设终端,等待救援。
在本申请实施例中,在驾驶员生理数据的第一失能等级大于失能阈值时,智能手环输出驾驶员状态为失能。在驾驶员的面部表情和/或手势动作的第二失能等级大于失能阈值时,车内监设备控制器输出驾驶员状态为失能。
具体而言,本申请实施例对驾驶员失能判断逻辑进行详细说明,如图3所示,当智能手环输出驾驶员状态为未失能时,驾驶员失能安全辅助***不执行相应安全措施;当智能手环输出驾驶员状态为失能,车内监控摄像头控制器输出为失能,驾驶状态为紊乱,驾驶员失能安全辅助***执行安全措施;当智能手环输出驾驶员状态为失能,车内监控摄像头控制器输出为失能,驾驶状态为不紊乱,驾驶员失能安全辅助***执行安全措施;当智能手环输出驾驶员状态为失能,车内监控摄像头控制器输出为未失能,驾驶状态为紊乱,驾驶员失能安全辅助***执行安全措施;当智能手环输出驾驶员状态为失能,车内监控摄像头控制器输出为未失能,驾驶状态为不紊乱,驾驶员失能安全辅助***不执行相应安全措施。
在本申请的一个实施例中,在控制车辆执行安全停车动作之前,包括:控制车辆保持本车道行驶的同时,控制车辆执行预设唤醒动作,并识别驾驶员的实际唤醒状态;在实际唤醒状态为预设唤醒状态时,控制车辆停止预设唤醒工作,否则统计预设唤醒动作的持续执行时长,在持续执行时长大于预设值时,控制车辆执行安全停车动作。
其中,预设唤醒动作可以根据实际情况具体设置,比如语音唤醒,方向盘振动和/或座椅振动等唤醒方式;预设值可以具体设置或标定,比如可以设置为10s或者20S等,通常设置为较小值,用于标识驾驶员是否恢复行为能力,保证驾驶的安全性。
可以理解的是,在驾驶员的身体处于失能状态,控制车辆执行安全停车动作之前,如图4所示,本申请实施例可以控制车辆保持本车道行驶的同时,对驾驶员进行听觉或视觉方面的唤醒动作,使得驾驶员能够自救,在一定时间未能成功唤醒驾驶员,此时,可以控制车辆进行减速操作,在有能力且无危险时,安全停车,可靠性和准确性更高,提高了用户体验和驾驶安全性。
作为一种可能实现的方式,本申请实施例可以在车辆驾驶状态处于紊乱时,检测车辆是否存在碰撞风险,若存在碰撞风险,则控制车辆执行安全停车动作。其中,碰撞风险可以为纵向减速度超过90%CDD阈值或横向距离车道线距离小于0.1m,护栏、旁边车辆距离小于0.2m(随车速、曲率标定),且偏离速度大于0。
在本申请的一个实施例中,在控制车辆执行安全停车动作之后,包括:检测车辆停车是否完成;在检测到车辆停车完成之后,控制车辆进行声学提醒动作和/或光学提醒动作的同时,控制车辆的车门解锁。
本申请的提醒动作可以是声学提醒装置发出警报声,如车载音响的语音提醒,或者车辆自带装置的滴滴声。还可以是光学提醒装置进行提醒,如车辆指示灯闪烁等。
具体而言,为了让驾驶员能够在短时间内得到救助,避免错过最佳抢救时间,本申请的实施例在检测到车辆停车完成之后,控制车辆的光学提醒装置或声学提醒装置进行提醒的同时解锁车门。作为一种可能实现的方式,本申请实施例在驾驶员处于预设失能状态,控制车辆执行安全停车动作的同时,第一时间发送救援信息给车企客服,如车辆定位,客服在第一时间拨打驾驶员紧急联系人的电话进行相关处理,车辆同步打开双闪,并发出喇叭声,解锁车门,以便其他人员对驾驶员进行施救。
在实际执行过程中,检测车辆停车是否完成的方式可以有多种,例如,本申请的实施例可以通过车速判断是否停车完成,当车辆的车速等于0时,可以判定车辆停车完成。或者是通过地图导航***和定位技术来判断,当车辆的定位在地图导航***中处于静止状态时,可以判定车辆停车完成。对此,本领域技术人员可以根据实际情况进行设置,不作具体限定。
根据本申请实施例提出的车辆的辅助驾驶方法,通过获取驾驶员的生理数据、面部表情和/或手势动作;基于生理数据匹配驾驶员的第一失能等级,并基于面部表情和/或手势动作匹配驾驶员的第二失能等级;在第一失能等级和第二失能等级均大于失能阈值,或者,在第一失能等级大于失能阈值,且第二失能等级小于或等于失能阈值,且基于车辆行驶数据识别车辆处于预设紊乱行驶状态时,判定驾驶员处于预设失能状态,控制车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定驾驶员未处于预设失能状态。由此,解决了相关技术中仅通过手环对驾驶员状态进行监控,准确性较差,且仅仅可以实现提醒功能,无法有效保证驾驶安全等问题。
其次参照附图描述根据本申请实施例提出的一种车辆的辅助驾驶装置。
图5是本申请实施例的一种车辆的辅助驾驶装置的方框示意图。
如图5所示,该车辆的辅助驾驶装置10包括:获取模块100、匹配模块200和辅助模块300。
其中,获取模块100,用于获取驾驶员的生理数据、面部表情和/或手势动作;匹配模块200,用于基于生理数据匹配驾驶员的第一失能等级,并基于面部表情和/或手势动作匹配驾驶员的第二失能等级;辅助模块300,用于在第一失能等级和第二失能等级均大于失能阈值,或者,在第一失能等级大于失能阈值,且第二失能等级小于或等于失能阈值,且基于车辆行驶数据识别车辆处于预设紊乱行驶状态时,判定驾驶员处于预设失能状态,控制车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定驾驶员未处于预设失能状态。
可选的,在本申请的一个实施例中,在控制车辆执行安全停车动作之前,包括:第一控制模块,用于控制车辆保持本车道行驶的同时,控制车辆执行预设唤醒动作,并识别驾驶员的实际唤醒状态;第二控制模块,用于在实际唤醒状态为预设唤醒状态时,控制车辆停止预设唤醒工作,否则统计预设唤醒动作的持续执行时长,在持续执行时长大于预设值时,控制车辆执行安全停车动作。
可选的,在本申请的一个实施例中,在控制车辆执行安全停车动作之后,包括:检测模块,用于检测车辆停车是否完成;第三控制模块,用于在检测到车辆停车完成之后,控制车辆进行声学提醒动作和/或光学提醒动作的同时,控制车辆的车门解锁。
可选的,在本申请的一个实施例中,获取模块100,进一步用于获取智能手环检测到的驾驶员生理数据车内监控设备拍摄的驾驶员图像,识别驾驶员图像得到驾驶员的面部表情和/或手势动作。
需要说明的是,前述对车辆的辅助驾驶方法实施例的解释说明也适用于该实施例的车辆的辅助驾驶装置,此处不再赘述。
根据本申请实施例提出的车辆的辅助驾驶装置,通过获取驾驶员的生理数据、面部表情和/或手势动作;基于生理数据匹配驾驶员的第一失能等级,并基于面部表情和/或手势动作匹配驾驶员的第二失能等级;在第一失能等级和第二失能等级均大于失能阈值,或者,在第一失能等级大于失能阈值,且第二失能等级小于或等于失能阈值,且基于车辆行驶数据识别车辆处于预设紊乱行驶状态时,判定驾驶员处于预设失能状态,控制车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定驾驶员未处于预设失能状态。由此,解决了相关技术中仅通过手环对驾驶员状态进行监控,准确性较差,且仅仅可以实现提醒功能,无法有效保证驾驶安全等问题。
图6为本申请实施例提供的车辆的结构示意图。该车辆可以包括:
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的车辆的辅助驾驶方法。
进一步地,车辆还包括:
通信接口603,用于存储器601和处理器602之间的通信。
存储器601,用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM(Random Access Memory,随机存取存储器)存储器,也可能还包括非易失性存储器,例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现,则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral Component,外部设备互连)总线或EISA(Extended Industry Standard Architecture,扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器601、处理器602及通信接口603,集成在一块芯片上实现,则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个CPU(Central Processing Unit,中央处理器),或者是ASIC(Application Specific Integrated Circuit,特定集成电路),或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的车辆的辅助驾驶方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列,现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种车辆的辅助驾驶方法,其特征在于,包括以下步骤:
获取驾驶员的生理数据、面部表情和/或手势动作;
基于所述生理数据匹配所述驾驶员的第一失能等级,并基于所述面部表情和/或手势动作匹配所述驾驶员的第二失能等级;
在所述第一失能等级和所述第二失能等级均大于失能阈值,或者,在所述第一失能等级大于所述失能阈值,且所述第二失能等级小于或等于所述失能阈值,且基于车辆行驶数据识别所述车辆处于预设紊乱行驶状态时,判定所述驾驶员处于预设失能状态,控制所述车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定所述驾驶员未处于所述预设失能状态。
2.根据权利要求1所述的方法,其特征在于,在控制所述车辆执行安全停车动作之前,包括:
控制车辆保持本车道行驶的同时,控制所述车辆执行预设唤醒动作,并识别所述驾驶员的实际唤醒状态;
在所述实际唤醒状态为预设唤醒状态时,控制所述车辆停止预设唤醒工作,否则统计所述预设唤醒动作的持续执行时长,在所述持续执行时长大于预设值时,控制所述车辆执行安全停车动作。
3.根据权利要求1或2所述的方法,其特征在于,在控制所述车辆执行安全停车动作之后,包括:
检测所述车辆停车是否完成;
在检测到所述车辆停车完成之后,控制所述车辆进行声学提醒动作和/或光学提醒动作的同时,控制所述车辆的车门解锁。
4.根据权利要求1所述的方法,其特征在于,所述获取驾驶员的生理数据、面部表情和/或手势动作,包括:
获取智能手环检测到的驾驶员生理数据车内监控设备拍摄的驾驶员图像;
识别所述驾驶员图像得到所述驾驶员的面部表情和/或手势动作。
5.一种车辆的辅助驾驶装置,其特征在于,包括:
获取模块,用于获取驾驶员的生理数据、面部表情和/或手势动作;
匹配模块,用于基于所述生理数据匹配所述驾驶员的第一失能等级,并基于所述面部表情和/或手势动作匹配所述驾驶员的第二失能等级;
辅助模块,用于在所述第一失能等级和所述第二失能等级均大于失能阈值,或者,在所述第一失能等级大于所述失能阈值,且所述第二失能等级小于或等于所述失能阈值,且基于车辆行驶数据识别所述车辆处于预设紊乱行驶状态时,判定所述驾驶员处于预设失能状态,控制所述车辆执行安全停车动作的同时,发送救援信息至预设终端,否则,判定所述驾驶员未处于所述预设失能状态。
6.根据权利要求5所述的装置,其特征在于,在控制所述车辆执行安全停车动作之前,包括:
第一控制模块,用于控制车辆保持本车道行驶的同时,控制所述车辆执行预设唤醒动作,并识别所述驾驶员的实际唤醒状态;
第二控制模块,用于在所述实际唤醒状态为预设唤醒状态时,控制所述车辆停止预设唤醒工作,否则统计所述预设唤醒动作的持续执行时长,在所述持续执行时长大于预设值时,控制所述车辆执行安全停车动作。
7.根据权利要求5或6所述的装置,其特征在于,在控制所述车辆执行安全停车动作之后,包括:
检测模块,用于检测所述车辆停车是否完成;
第三控制模块,用于在检测到所述车辆停车完成之后,控制所述车辆进行声学提醒动作和/或光学提醒动作的同时,控制所述车辆的车门解锁。
8.根据权利要求5所述的装置,其特征在于,所述获取模块,进一步用于获取智能手环检测到的驾驶员生理数据车内监控设备拍摄的驾驶员图像,识别所述驾驶员图像得到所述驾驶员的面部表情和/或手势动作。
9.一种车辆,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-4任一项所述的车辆的辅助驾驶方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-4任一项所述的车辆的辅助驾驶方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210970461.6A CN115352450A (zh) | 2022-08-12 | 2022-08-12 | 车辆的辅助驾驶方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210970461.6A CN115352450A (zh) | 2022-08-12 | 2022-08-12 | 车辆的辅助驾驶方法、装置、车辆及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115352450A true CN115352450A (zh) | 2022-11-18 |
Family
ID=84033759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210970461.6A Pending CN115352450A (zh) | 2022-08-12 | 2022-08-12 | 车辆的辅助驾驶方法、装置、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115352450A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115966056A (zh) * | 2022-11-29 | 2023-04-14 | 合众新能源汽车股份有限公司 | 一种车辆内人身安全预警的方法、装置、设备及存储介质 |
-
2022
- 2022-08-12 CN CN202210970461.6A patent/CN115352450A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115966056A (zh) * | 2022-11-29 | 2023-04-14 | 合众新能源汽车股份有限公司 | 一种车辆内人身安全预警的方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113345204B (zh) | 一种车载远程疲劳唤醒方法及其唤醒*** | |
US8085139B2 (en) | Biometric vehicular emergency management system | |
US8954238B2 (en) | Vehicle emergency evacuation device | |
US20140121927A1 (en) | Vehicle emergency evacuation device | |
CN109849925B (zh) | 以生理监测结合车辆控制的方法 | |
CN112428952A (zh) | 一种基于物联网的车辆安全预警*** | |
JP4973551B2 (ja) | 運転者状態判定装置 | |
CN106585624A (zh) | 驾驶员状态监控方法及装置 | |
CN107757541B (zh) | 事故监控方法及装置 | |
CN106828501A (zh) | 一种车辆辅助驾驶方法、装置及车辆 | |
JP2014044707A (ja) | 運転者異常時支援装置及び運転者異常時支援方法 | |
US20210188322A1 (en) | Vehicle device and drive assist program product | |
JP2017131445A (ja) | 生体情報計測装置、車載器、及び生体情報計測システム | |
CN203832484U (zh) | 一种保障安全行车的控制装置 | |
CN105678961A (zh) | 一种防疲劳驾驶的汽车安全警示***及警示方法 | |
CN114987502B (zh) | 一种驾驶状态监测方法、装置、计算机设备以及存储介质 | |
CN111369705A (zh) | 求救方法、求救***、求救终端及计算机可读存储介质 | |
CN115352450A (zh) | 车辆的辅助驾驶方法、装置、车辆及存储介质 | |
CN110182211B (zh) | 基于驾驶员状态监测***的车辆智能避险控制方法 | |
CN116552542A (zh) | 车辆控制方法、装置、电子设备和存储介质 | |
CN113968241A (zh) | 危险驾驶行为的控制方法、装置、车辆及存储介质 | |
CN113147393A (zh) | 一种汽车油门踏板误踩识别方法及装置 | |
CN112793522A (zh) | 一种方向盘脱手监测预警方法、***和汽车 | |
CN111002989A (zh) | 驾驶安全监测方法、车载终端及计算机可读存储介质 | |
CN110626352A (zh) | 车辆及其司乘人员焦虑情况的检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |