CN112238869B - 车辆控制装置 - Google Patents
车辆控制装置 Download PDFInfo
- Publication number
- CN112238869B CN112238869B CN202010646193.3A CN202010646193A CN112238869B CN 112238869 B CN112238869 B CN 112238869B CN 202010646193 A CN202010646193 A CN 202010646193A CN 112238869 B CN112238869 B CN 112238869B
- Authority
- CN
- China
- Prior art keywords
- state
- vehicle
- information
- occupant
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 claims abstract description 106
- 230000005856 abnormality Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims description 26
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Selective Calling Equipment (AREA)
Abstract
本发明提供一种车辆控制装置,具备:行驶控制部,其对自动驾驶和远程驾驶进行控制;生物体信息取得部,其取得乘员的生物体信息;状态判断部,其根据由所述生物体信息取得部所取得的所述生物体信息,来判断是否处于被预测为由乘员的操作而实施的手动驾驶会变得困难的异常预测状态、以及是否处于手动驾驶有困难的异常状态;通知部,其在判断出所述异常预测状态或所述异常状态的情况下,将被判断出的状态通知给所述操作装置;受理部,其能够针对于所述通知而从所述操作装置受理可操作信息,所述可操作信息为表示能够进行由所述远程驾驶人实施的操作的信息。
Description
技术领域
本发明涉及能够实施自动驾驶以及远程驾驶的车辆控制装置。
背景技术
在日本特开2016-045714号公报中,公开了如下的技术,即,在车辆的行驶中,在驾驶员的行为变得异常并且该状况持续了预定的判断时间以上的情况下,判断为驾驶员成为了会对车辆驾驶带来障碍的异常状态。
在日本特开2016-045714号公报所公开的车辆中,在判断为驾驶员成为了异常状态的情况下,进行减速或停止,并使车辆避让至路肩。
然而,在能够实施自动驾驶以及远程驾驶的车辆中,在判断为驾驶员成为了异常状态的情况下,能够向远程驾驶进行切换以避免危险。
发明内容
发明所要解决的课题
本发明的目的在于提供一种车辆控制装置,其能够在成为由乘员的操作而实施的手动驾驶有困难的异常状态之前、以及已成为了异常状态时中的至少一方之际,确保远程驾驶员。
用于解决课题的方法
本发明的第一方式所涉及的车辆控制装置具备:通信部,其被配置在车辆的外部,并且从通过远程驾驶人而***作的操作装置接收用于使所述车辆进行操作的操作信息;取得部,其从周边信息检测部取得所述车辆的周边的周边信息;行驶计划生成部,其根据所述车辆的所述周边信息而生成所述车辆的行驶计划;行驶控制部,其对自动驾驶和远程驾驶进行控制,其中,所述自动驾驶为,基于由所述行驶计划生成部生成的所述行驶计划而进行的所述车辆的行驶,所述远程驾驶为,基于在所述通信部中接收到的所述操作信息而进行的所述车辆的行驶;生物体信息取得部,其取得乘员的生物体信息;状态判断部,其根据由所述生物体信息取得部取得的所述生物体信息,来判断是否处于被预测为由乘员的操作而实施的手动驾驶会变得困难的异常预测状态、以及是否处于手动驾驶有困难的异常状态;通知部,在通过所述状态判断部而判断出所述异常预测状态或所述异常状态的情况下,将被判断出的状态通知给所述操作装置;受理部,其能够针对于所述通知而从所述操作装置受理可操作信息,所述可操作信息为表示能够进行由所述远程驾驶人而实施的操作的信息。
在本发明的第一方式所涉及的车辆控制装置中,设为能够执行自主地行驶的自动驾驶、和由操作装置而实施的远程驾驶。此外,车辆控制装置在根据生物体信息而判断出被预测为乘员的手动驾驶会变得困难的异常预测状态或手动驾驶有困难的异常状态的情况下,将被判断出的状态通知给操作装置。此外,车辆控制装置能够针对于该通知而从操作装置受理表示能够进行由远程驾驶人而实施的车辆的远程驾驶的可操作信息。由此,车辆能够在乘员成为异常状态之前、以及已成为异常状态时中的至少一方之际,确保远程驾驶人。
本发明的第二方式所涉及的车辆控制装置为,在第一方式所记载的结构中,在针对于所述通知而由所述受理部受理到所述可操作信息之后通过所述状态判断部而判断出乘员处于异常状态的情况下,所述行驶控制部从所述手动驾驶向所述远程驾驶进行切换。
在本发明的第二方式所涉及的车辆控制装置中,向远程操作装置实施告知乘员处于异常预测状态或处于异常状态的通知,并在确认到确保了远程驾驶人之后判断出乘员处于异常状态的情况下,自动地从手动驾驶向远程驾驶进行切换。由此,能够在乘员的异常时顺畅地实施向远程驾驶的切换。
本发明的第三方式所涉及的车辆控制装置为,在第一方式所记载的结构中,在针对于所述通知而由所述受理部受理到所述可操作信息之前通过所述状态判断部而判断出乘员处于异常状态的情况下,所述行驶控制部从所述手动驾驶向所述自动驾驶进行切换。
在本发明的第三方式所涉及的车辆控制装置中,向远程操作装置实施告知乘员处于异常预测状态或处于异常状态的通知,并在确认到确保了远程驾驶人之前判断出乘员处于异常状态的情况下,自动地从手动驾驶向自动驾驶进行切换。由此,在乘员的异常时无法立即向远程操作进行切换的情况下,通过代替性地向自动驾驶进行切换,从而能够安全地使车辆的行驶继续进行。
本发明的第四方式所涉及的车辆控制装置为,在第三方式所记载的结构中,在所述自动驾驶中由所述受理部受理到所述可操作信息的情况下,所述行驶控制部从所述自动驾驶向所述远程驾驶进行切换。
在本发明的第四方式所涉及的车辆控制装置中,当判断出乘员处于异常状态时,通过自动驾驶而行驶,直到受理到可操作信息为止,当受理到可操作信息时,从自动驾驶向远程驾驶进行切换。由此,能够在乘员的异常时,在对车辆的安全的行驶进行维持的同时,顺畅地向远程操作进行切换。
本发明的第五方式所涉及的车辆控制装置为,在第一方式至第四方式中的任意一个方式所记载的结构中,还具备信息提供受理部,所述信息提供受理部从行驶于所述车辆的附近的其他车辆受理表示行驶方式有危险的危险信息,所述状态判断部根据所述生物体信息和受理到的所述危险信息中的至少一方,来对是否处于所述异常预测状态进行判断,所述通知部将通过所述状态判断部而被判断出的状态通知给所述操作装置。
在本发明的第五方式所涉及的车辆控制装置中,根据乘员的生物体信息和从行驶于车辆的附近的其他车辆提供来的危险信息中的至少一方来对异常预测状态进行判断,并通知给操作装置。由此,除了根据乘员的生物体信息之外,还能够根据从其他车辆被提供来的信息而对异常预测状态进行判断。即,能够多方面地实施异常预测状态的判断,从而能够在乘员成为异常状态之前确保远程驾驶员。
根据本发明,能够在成为由乘员的操作实施的手动驾驶有困难的异常状态之前、和已成为异常状态时中的至少一方之际,确保远程驾驶员。
附图说明
根据以下附图详细说明本发明的示例性实施例,其中:
图1为表示第一实施方式所涉及的车辆控制***的概要结构的图。
图2为表示第一实施方式的车辆的硬件结构的框图。
图3为表示第一实施方式的车辆控制装置的功能结构的示例的框图。
图4为表示第一实施方式的远程操作装置的硬件结构的框图。
图5为表示第一实施方式的远程控制装置的功能结构的示例的框图。
图6为对第一实施方式的状态通知处理的流程进行说明的流程图。
图7为对第一实施方式的交接处理的流程进行说明的流程图。
图8为对第一实施方式的受理处理的流程进行说明的流程图。
具体实施方式
图1为,表示第一实施方式所涉及的车辆控制***10的概要结构的框图。
(概要)
如图1所示的那样,第一实施方式所涉及的车辆控制***10以包括自动驾驶车辆11和作为操作装置的远程操作装置16的方式而被构成。在本实施方式中,自动驾驶车辆11包括作为车辆的本车辆12、和作为其他车辆的其他车辆14。
本实施方式的本车辆12以及其他车辆14分别具备车辆控制装置20,远程操作装置16具备远程控制装置40。而且,在车辆控制***10中,本车辆12的车辆控制装置20、其他车辆14的车辆控制装置20、远程操作装置16的远程控制装置40通过网络N1而被相互连接。此外,各车辆控制装置20以相互间能够通过车车间通信N2而直接通信的方式被构成。
另外,虽然图1的车辆控制***10由2台自动驾驶车辆11(本车辆12,其他车辆14)和1台远程操作装置16而构成,但是台数并不限定于此。车辆控制***10可以包括3台以上的自动驾驶车辆11,也可以分别包括2台以上的远程操作装置16。
本车辆12被构成为,能够通过车辆控制装置20而执行自动驾驶、远程驾驶和手动驾驶,其中,自动驾驶为根据被预先生成的行驶计划来实施自主行驶的驾驶,远程驾驶为基于远程操作装置16的远程驾驶人的操作而进行的驾驶,手动驾驶为基于本车辆12的乘员(也就是说,驾驶员)的操作而进行的驾驶。另外,其他车辆14也与本车辆12同样地能够通过车辆控制装置20而执行自动驾驶、远程驾驶以及手动驾驶。
(自动驾驶车辆)
图2为,表示被搭载于本实施方式的自动驾驶车辆11上的设备的硬件结构的框图。另外,由于本实施方式的自动驾驶车辆11在本车辆12以及其他车辆14中具有相同的结构,因此只对本车辆12进行说明。本车辆12除了包括上述的车辆控制装置20之外,还包括GPS(Global Positioning System:全球定位***)装置22、外部传感器24、内部传感器26、输入装置28、作动器30、生物体传感器32。
车辆控制装置20以包括CPU(Central Processing Unit:中央处理器)20A,ROM(Read Only Memory:只读存储器)20B,RAM(Random Access Memory:随机存取存储器)20C、存储器20D、通信I/F(Inter Face:接口)20E以及输入输出I/F20F的方式而被构成。CPU20A、ROM20B、RAM20C、存储器20D、通信I/F20E以及输入输出I/F20F通过总线20G而以能够相互通信的方式被连接。CPU20A为处理器的一个示例,RAM20C为存储器的一个示例。
CPU20A为中央运算处理单元,其执行各种程序、或对各部分进行控制。即,CPU20A从ROM20B读取程序,并将RAM20C作为工作区域而执行程序。在本实施方式中,在ROM20B中存储有执行程序。通过由CPU20A来执行该执行程序,从而车辆控制装置20作为图3所示的位置取得部200、周边信息取得部210、车辆信息取得部220、行驶计划生成部230、操作受理部240、行驶控制部250、生物体信息取得部260、状态判断部270、通知部280、信息提供部290、信息提供受理部300而发挥功能。
如图2所示的那样,ROM20B对各种程序以及各种数据进行存储。RAM20C作为工作区域而临时性地对程序或数据进行存储。
作为存储部的存储器20D由HDD(Hard Disk Drive:硬盘驱动器)或SSD(SolidState Drive:固态驱动器)而被构成,并对包括操作***在内的各种程序、以及各种数据进行存储。此外,后述的异常状态和异常预测状态所涉及的信息、以及生物体信息、危险信息在被建立关联的状态下被存储于存储器20D中。
作为通信部的通信I/F20E为了与其他车辆控制装置20、远程控制装置40以及未图示的信息服务器等进行通信,而包括用于与网络N1连接的接口。该接口例如使用LTE(LongTerm Evolution),Wi-Fi(注册商标)等的通信规格。此外,通信I/F20E包括用于通过车车间通信N2而与其他车辆控制装置20进行直接通信的无线装置。
本实施方式的通信I/F20E经由网络N1而朝向本车辆12的外部的远程操作装置16发送由摄像机24A拍摄到的拍摄图像,并从远程操作装置16接收用于使本车辆12进行操作的操作信息、即远程操作信息。此外,通信I/F20E通过利用了DSRC(Desicated Short RangeCommunications:专用短程通信)等的车车间通信N2,从而向作为其他车辆的其他车辆14发送后述的危险信息。另外,通信I/F20E也可以经由网络N1而从外部的信息服务器接收气象信息或地震信息、拥堵、事故、道路施工等的交通信息。
输入输出I/F20F为,用于与搭载在本车辆12上的各装置进行通信的接口。本实施方式的车辆控制装置20经由输入输出I/F20F而连接有GPS装置22、外部传感器24、内部传感器26、输入装置28、作动器30以及生物体传感器32。另外,GPS装置22、外部传感器24、内部传感器26、输入装置28、作动器30以及生物体传感器32也可以相对于总线20G而直接连接。
GPS装置22为对本车辆12的当前位置进行测定的装置。GPS装置22包括接收来自GPS卫星的信号的天线(省略图示)。
作为周边信息检测部的外部传感器24为,对本车辆12的周围的周边信息进行检测的传感器组。外部传感器24包括对预定范围进行拍摄的摄像机24A、在预定范围内发送探测波并接收反射波的毫米波雷达24B、和对预定范围进行扫描的激光雷达(Laser ImagingDetection and Ranging)24C。
内部传感器26为对本车辆12的行驶状态进行检测的传感器组。内部传感器26包括车速传感器、加速度传感器以及横摆率传感器中的至少一个。
输入装置28为用于乘坐于本车辆12中的乘员进行操作的开关组。输入装置28包括:作为使本车辆12的转向轮转向的开关的转向盘28A、作为使本车辆12加速的开关的加速踏板28B、以及作为使本车辆12减速的开关的制动踏板28C。
作动器30包括:使本车辆12的转向轮驱动的转向盘作动器、对本车辆12的加速进行控制的加速器作动器、以及对本车辆12的减速进行控制的制动器作动器。
生物体传感器32包括对用于推断车辆的乘员的后述的生物体信息的信息进行检测的各种传感器。作为一个示例,生物体传感器32包括对乘员的头部进行拍摄的车载摄像机、对乘员的体温进行检测的热成像摄像机、对车厢内产生的声音进行收音的收音话筒、对落座乘员相对于座椅的载荷进行检测的体压传感器、对织带的拉出量进行检测的织带传感器、以及对乘员的生命活动进行检测的各种传感器中的至少一个。
图3为,表示车辆控制装置20的功能结构的示例的框图。如图3所示的那样,车辆控制装置20具有位置取得部200、周边信息取得部210、车辆信息取得部220、行驶计划生成部230、操作受理部240、行驶控制部250、生物体信息取得部260、状态判断部270、通知部280、信息提供部290、以及信息提供受理部300。各功能结构通过CPU20A读取存储于ROM20B中的执行程序并执行,从而被实现。
位置取得部200具有取得本车辆12的当前位置的功能。位置取得部200经由输入输出I/F20F而从GPS装置22取得位置信息。
作为取得部的周边信息取得部210具有取得本车辆12的周边的周边信息的功能。周边信息取得部210经由输入输出I/F20F而从外部传感器24取得本车辆12的周边信息。在“周边信息”中,并不限于本车辆12的周围的车辆、行人,还包括天气、亮度、行驶道路的宽度、障碍物等。
车辆信息取得部220具有取得本车辆12的车速、加速度、横摆率等的车辆信息的功能。车辆信息取得部220通过输入输出I/F20F而从内部传感器26取得本车辆12的车辆信息。
行驶计划生成部230具有如下的功能,即,根据由位置取得部200取得的位置信息、由周边信息取得部210取得的周边信息、以及由车辆信息取得部220取得的车辆信息,来生成用于使本车辆12行驶的行驶计划。在行驶计划中,不仅包含到被预先设定的目的地为止的行驶路线,还包含用于避开本车辆12前方的障碍物的前进路线、本车辆12的速度等的信息。
操作受理部240具有如下的功能,即,在实施基于本车辆12的乘员的操作而进行的手动驾驶的情况下,受理从各输入装置28被输出的信号。操作受理部240生成车辆操作信息,该车辆操作信息为,以从各输入装置28受理到的信号为基础而对作动器30进行控制的操作信息。
行驶控制部250具有如下的功能,即,对基于由行驶计划生成部230生成的行驶计划而进行的自动驾驶、基于从远程操作装置16接收到的远程操作信息而进行的远程驾驶、以及基于从操作受理部240受理到的车辆操作信息而进行的手动驾驶进行控制的功能。
生物体信息取得部260具有取得乘员的生物体信息的功能。生物体信息取得部260经由输入输出I/F20F而从生物体传感器32以及输入装置28取得乘员的生物体信息。另外,能够从生物体传感器32取得的生物体信息为,乘员的视线方向、脸的位置、表情、姿势、呼吸声、体温、心率、血压。此外,能够从输入装置28取得的生物体信息为,转向盘28A的转向力、对于加速踏板28B以及制动踏板28C的踏板踩踏力。生物体信息取得部260取得这些生物体信息中的至少一个。
状态判断部270根据由生物体信息取得部260所取得的生物体信息,来对由乘员的操作而实施的手动驾驶有困难的异常状态、以及被预测为手动驾驶会变得困难的异常预测状态进行判断。在根据生物体信息来对异常状态以及异常预测状态进行判断的情况下,例如通过对上述的各种生物体信息的参数设定两个阶段的阈值来实施。即,状态判断部270在关于各种生物体信息而以预定的判断时间以上的期间而检测出大于等于异常预测状态的阈值、且小于异常状态的阈值的检测值时,判断为乘员处于困难预测状态。此外,状态判断部270在关于各种生物体信息而以预定的判断时间以上的期间而检测出大于等于异常状态的阈值的检测值时,判断为乘员处于异常状态。
此外,状态判断部270根据从其他车辆被提供的危险信息,来对乘员的异常预测状态进行判断。在根据危险信息来对异常预测状态进行判断的情况下,例如,对后述的危险信息的参数设定阈值,并在检测出大于等于阈值的检测值的情况下,判断为处于异常预测状态。此外,状态判断部270也可以在危险信息被提供的次数超过了预定的值的情况下,判断为处于异常预测状态。
此外,在根据从周边车辆受理的危险信息来对异常状态以及异常预测状态进行判断的情况下,例如,对危险信息的受理次数或提供信息的车辆的台数等设定两个阶段的阈值,从而对异常状态或异常预测状态进行判断。
通知部280具有如下的功能,即,在状态判断部270中判断出异常状态或异常预测状态的情况下,将这些状态通知给远程操作装置16。
信息提供部290向搭载车辆控制装置20的其他车辆提供表示该其他车辆的行驶方式有危险的危险信息。具体而言,信息提供部290经由通信I/F20E而向其他车辆发送危险信息。在此,其他车辆的行驶方式是否有危险是根据由外部传感器24检测到的周边信息而被判断的。其他车辆的行驶方式有危险的主要原因例如有:在其他车辆中存在蜿蜒行驶或脱离车道、紧急加速、紧急减速、相对于先行车辆的异常接近。另外,行驶方式是否有危险也可以通过乘员的目视来进行判断。在该情况下,乘员也可以对操作部进行操作并发送危险信息。
信息提供受理部300具有如下的功能,即,经由通信I/F20E而受理从搭载车辆控制装置20的其他车辆被发送的危险信息。
(远程操作装置)
图4为,表示搭载于本实施方式的远程操作装置16上的设备的硬件结构的框图。远程操作装置16除了包括上述的远程控制装置40之外,还包括显示装置42、扬声器44、以及输入装置48。
远程控制装置40以包括CPU40A、ROM40B、RAM40C、存储器40D、通信I/F40E、以及输入输出I/F40F的方式而被构成。CPU40A、ROM40B、RAM40C、存储器40D、通信I/F40E以及输入输出I/F40F经由总线40G而以能够相互通信的方式被连接。CPU40A、ROM40B、RAM40C、存储器40D、通信I/F40E以及输入输出I/F40F的功能与上述的车辆控制装置20的CPU20A、ROM20B、RAM20C、存储器20D、通信I/F20E以及输入输出I/F20F相同。
CPU40A从ROM40B读取程序,并将RAM40C作为工作区域而执行程序。在本实施方式中,在ROM40B中存储有处理程序。通过由CPU40A执行处理程序,从而远程控制装置40作为图5所示的行驶信息取得部400、操作信息生成部410、驾驶人决定部420以及操作切换部430而发挥功能。
在本实施方式的远程控制装置40上,经由输入输出I/F40F而连接有显示装置42、扬声器44以及输入装置48。另外,显示装置42、扬声器44以及输入装置48也可以相对于总线40G而被直接连接。
显示装置42为,用于使通过本车辆12的摄像机24A而被拍摄到的图像、或本车辆12所涉及的各种信息进行显示的液晶监视器。
扬声器44通过附属于本车辆12的摄像机24A的话筒(省略图示)而对与拍摄图像一起被收录的声音进行播放。
输入装置48为,用于作为利用远程操作装置16的远程驾驶员的远程驾驶人进行操作的控制器。输入装置48包括作为使本车辆12的转向轮转向的开关的转向盘48A、作为使本车辆12加速的开关的加速踏板48B、作为使本车辆12减速的开关的制动踏板48C。另外,各输入装置48的方式并不限于此。例如,也可以设置杠杆开关以取代转向盘48A。此外,例如也可以设置按钮开关或杠杆开关,以取代加速踏板48B及制动踏板48C的踏板开关。
图5为,表示远程控制装置40的功能结构的示例的框图。如图5所示的那样,远程控制装置40具有行驶信息取得部400、操作信息生成部410、驾驶人决定部420、操作切换部430、以及状态取得部440。
行驶信息取得部400具有取得从车辆控制装置20被发送的摄像机24A的拍摄图像和声音、以及车速等的车辆信息的功能。所取得的拍摄图像及车辆信息被显示在显示装置42上,声音信息从扬声器44被输出。
操作信息生成部410具有如下的功能,即,在实施基于远程驾驶人的操作而进行的远程驾驶的情况下,受理从各输入装置48被输出的信号。此外,操作信息生成部410以从各输入装置48受理到的信号为基础而生成向车辆控制装置20进行发送的远程操作信息。
驾驶人决定部420具有对操作远程操作装置16的远程驾驶人进行决定的功能。例如,在远程驾驶人存在多人的情况下,将一个远程驾驶人决定为实施操作的远程驾驶人。
操作切换部430具有针对车辆控制装置20而执行向远程驾驶的切换的功能。在远程操作装置16中,在实施远程驾驶的远程驾驶人对未图示的操作部进行了操作的情况下,朝向车辆控制装置20而输出作为可操作信息的切换准备信号。例如,在已经从本车辆12的车辆控制装置20接收到涉及向远程驾驶的切换的信息的情况下,通过由操作切换部430将切换准备信号向车辆控制装置20输出,从而在本车辆12中实施从自动驾驶或手动驾驶向远程驾驶的切换。此外,例如在操作切换部430将切换准备信号先发送到了车辆控制装置20中的情况下,在从车辆控制装置20接收到涉及向远程驾驶的切换的信息的阶段,在本车辆12中实施从自动驾驶或手动驾驶向远程驾驶的切换。
状态取得部440具有如下的功能,即,通过通信I/F40E而取得从车辆控制装置20被发送的与乘员的状态相关的信息。具体而言,取得乘员处于异常状态的信息以及乘员处于异常预测状态的信息。
(控制的流程)
在本实施方式的车辆控制装置20中,执行状态通知处理,并对远程操作装置16通知本车辆12的乘员的异常状态以及异常预测状态。以下,利用图6的流程图来对状态通知处理的流程进行说明。
在图6的步骤S100中,CPU20A从输入装置28以及生物体传感器32取得生物体信息。此外,在步骤S101中,CPU20A经由车车间通信N2而尝试与其他车辆14的车辆控制装置20之间的通信交流。而且,CPU20A在从其他车辆14的车辆控制装置20发送来危险信息的情况下,取得该危险信息。
在步骤S102中,CPU20A根据所取得的生物体信息以及危险信息,来对乘员的状态进行判断。具体而言,对乘员处于表示能够进行由乘员而实施的手动驾驶的正常状态、上述异常状态、以及上述异常预测状态中的哪一个状态进行判断。
在步骤S103中,CPU20A在判断为乘员处于异常状态或异常预测状态的情况下,进入步骤S104。另一方面,CPU20A在判断为不处于异常状态或异常预测状态的情况下,返回到步骤S100。
在步骤S104中,CPU20A将被判断出的乘员的状态通知给远程操作装置16,并返回到步骤S100而重复实施处理。
此外,在本实施方式的车辆控制装置20中,在手动驾驶中判断为乘员处于异常状态或异常预测状态的情况下,执行将操作交接给远程操作装置16的远程驾驶人的交接处理。以下,利用图7的流程图来对交接处理的流程进行说明。
在图7的步骤S110中,CPU20A取得根据生物体信息以及危险信息而被判断出的乘员的状态。
在步骤S111中,CPU20A判断是否从远程操作装置16受理到表示能够进行由远程驾驶人实施的操作的可操作信息。CPU20A在判断为受理到可操作信息的情况下,进入步骤S112。另一方面,CPU20A在判断为未受理到可操作信息的情况下,进入步骤S114。
在步骤S112中,CPU20A根据生物体信息以及危险信息来实施乘员是否处于异常状态的判断。CPU20A在判断为处于异常状态的情况下,进入步骤S113。另一方面,在判断为未处于异常状态的情况下,返回到步骤S110。
在步骤S113中,CPU20A执行从手动驾驶向远程驾驶进行切换的切换处理。此外,CPU20A对远程驾驶人通知远程驾驶已被开始实施的情况,并结束处理。
另一方面,在步骤S111中判断为从远程驾驶人未受理到可操作信息,并进入了步骤S114的情况下,CPU20A根据生物体信息以及危险信息来实施乘员是否处于异常状态的判断。CPU20A在判断为处于异常状态的情况下,进入步骤S115。另一方面,在判断为未处于异常状态的情况下,返回到步骤S111。
在步骤S115中,CPU20A执行从手动驾驶向自动驾驶进行切换的切换处理。也就是说,在确保远程驾驶人之前判断为了乘员处于异常状态的情况下,通过实施自动驾驶从而使本车辆12继续行驶。
在步骤S116中,CPU20A对是否从远程驾驶人受理到可操作信息进行判断。在判断为受理到可操作信息的情况下,进入步骤S117。另一方面,在判断出未受理到可操作状态的情况下,重复实施步骤S116的处理。在此期间,本车辆12被继续实施自动驾驶。
在步骤S117中,CPU20A执行从自动驾驶向远程驾驶进行切换的切换处理。此外,CPU20A对远程驾驶人通知远程驾驶已被开始实施的情况,并结束处理。
接下来,利用图8的流程图来对在远程操作装置16中被执行的受理处理的流程进行说明。
在图7的步骤S120中,CPU40A取得从车辆控制装置20被通知的乘员的状态通知。
在步骤S121中,CPU40A根据所取得的状态通知来对乘员是否处于异常预测状态进行判断,并在判断为处于异常预测状态的情况下,进入步骤S122。另一方面,在判断为未处于异常预测状态的情况下,进入步骤S125。
在步骤S122中,CPU40A从多个远程驾驶人中选定能够进行驾驶的交接的远程驾驶人。
在步骤S123中,CPU40A实施是否已决定了远程驾驶人的判断。CPU40A在判断为已决定了远程驾驶人的情况下,进入步骤S124。另一方面,在判断出未能决定远程驾驶人的情况下,返回到步骤S120。
在步骤S124中,CPU40A将可操作信息通知给车辆控制装置20,并返回到步骤S120。
另一方面,在步骤S121中判断为乘员未处于异常预测状态的情况下,CPU40A进入步骤S125,并对乘员是否处于异常状态进行判断。CPU40A在判断为处于异常状态的情况下,进入步骤S126。另一方面,在判断为未处于异常状态的情况下,返回到步骤S120。
在步骤S126中,CPU40A实施是否对车辆控制装置20通知了可操作信息的判断。在可操作信息已被通知了的情况下,成为远程驾驶人已经被决定的状况。CPU40A在判断为可操作信息已被通知了的情况下,进入步骤S127。另一方面,在判断为可操作信息未被通知的情况下,进入步骤S128。
在步骤S127中,CPU40A开始实施远程驾驶,并结束处理。
另一方面,在步骤S126中判断为可操作信息还未被通知,并进入了步骤S128的情况下,CPU40A从多个远程驾驶人中选定能够进行驾驶的交接的远程驾驶人。
在步骤S129中,CPU40A实施是否已经决定了远程驾驶人的判断。CPU40A在判断为远程驾驶人已被决定了的情况下,进入步骤S130。另一方面,在判断为未能决定远程驾驶人的情况下,返回到步骤S120。
(作用以及効果)
以上,根据本实施方式,在根据乘员的生物体信息而判断出被预测为本车辆12的手动驾驶会变得困难的异常预测状态、或手动驾驶有困难的异常状态的情况下,将被判断出的状态通知给远程操作装置16。此外,车辆控制装置20设为,能够针对于该通知而从远程操作装置16受理表示能够进行由远程驾驶人而实施的车辆的远程驾驶的可操作信息。由此,本车辆12能够在判断出乘员成为了异常状态之前确保远程驾驶人,并且在判断出异常状态时迅速地向远程驾驶进行切换。即,本车辆12能够在乘员成为异常状态之前、以及成为了异常状态时中的至少一方之际,确保远程驾驶人。
此外,在本实施方式的车辆控制装置20中,向远程操作装置16实施告知乘员的异常预测状态或异常状态的通知,并在确认到已确保了远程驾驶人的情况之后判断出乘员处于异常状态的情况下,自动地从手动驾驶向远程驾驶进行切换。由此,能够在乘员的异常时顺畅地实施向远程驾驶的切换。
此外,在本实施方式的车辆控制装置20中,向远程操作装置16实施告知乘员的异常预测状态或异常状态的通知,并在确认到已确保了远程驾驶人的情况之前判断出乘员处于异常状态的情况下,从手动驾驶向自动驾驶进行切换。由此,在乘员的异常时难以立即向远程驾驶进行切换的情况下,通过代替性地向自动驾驶进行切换,从而能够使车辆安全地行驶。
此外,根据本实施方式,如上所述,在确保远程驾驶人之前被切换到了自动驾驶的情况下,在之后受理到可操作信息时,将会从自动驾驶向远程驾驶进行切换。由此,在乘员的异常时,能够在对本车辆12的安全的行驶进行维持的同时,顺畅地向远程操作进行切换。
此外,根据本实施方式,根据乘员的生物体信息以及从行驶于本车辆12的付近的其他车辆14被提供来的危险信息中的至少一方,来对是否处于异常预测状态进行判断,并通知给远程操作装置16。由此,除了乘员的生物体信息之外,还能够根据从其他车辆14被提供来的信息而对异常预测状态进行判断。即,能够多方面地实施异常预测状态的判断,并且在乘员成为异常状态之前确保远程驾驶人。
[补充说明]
虽然在上述实施方式中,采用了接受到异常状态的通知的远程驾驶人接管本车辆12的驾驶、即远程操作装置16取得操作权限的结构,但是并不限定于此。也可以被构成为,在判断出异常状态的情况下,车辆控制装置20对远程驾驶人授予操作权限。
虽然在上述实施方式的交接处理中,正常状态、异常状态、异常预测状态的判断在车辆控制装置20中被执行,但是也可以在经由网络N1而与本车辆12相互连接的外部的信息服务器中被执行。
此外,也可以采用如下的结构,即,正常状态、异常状态、异常预测状态的判断中所使用的生物体信息的阈值根据存储于车辆控制装置20的存储器20D或外部服务器中的各个乘员的个人数据而被分别设定。而且,也可以采用如下的结构,即,该个人数据通过在过去的乘车时被取得的生物体信息的积累而被形成。
另外,在上述实施方式中,被检测生物体信息的乘员并不限于驾驶员座的乘员,也可以是副驾驶座或后排座位的乘员。
另外,在上述实施方式中,也可以由CPU以外的各种处理器来执行CPU20A读取软件(程序)而执行的交接处理、以及CPU40A读取软件(程序)而执行的接管处理。作为该情况下的处理器,例示了FPGA(Field-Programmable Gate Array,现场可编程逻辑门阵列)等的制造后能够改变电路结构的PLD(Programmable Logic Device,可编程逻辑器件)、以及ASIC(Application Specific Integrated Circuit,特殊应用集成电路)等的具有为了执行特别指定的处理而被专门设计的电路结构的处理器即专用电路等。此外,也可以由这些各种处理器中的一个来执行交接处理以及接管处理,还可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA、以及CPU和FPGA的组合等)来执行交接处理以及接管处理。此外,更具体而言,这些各种处理器的硬件性结构为,对半导体元件等的电路元件进行组合而成的电路。
此外,在上述实施方式中,以程序被预先存储(安装)于计算机能够读取的非临时性的存储介质中的方式进行了说明。例如,在自动驾驶车辆11的车辆控制装置20中,执行程序被预先存储于ROM20B中。此外,在远程操作装置16的远程控制装置40中,处理程序被预先存储于ROM40B中。但是并不限定于此,各程序也可以以被存储于CD-ROM(Compact DiscRead Only Memory,只读光盘存储器)、DVD-ROM(Digital Versatile Disc Read OnlyMemory,数字通用光盘只读存储器)、以及USB(Universal Serial Bus,通用串行总线)存储器等的非临时性的存储介质中的方式而被提供。此外,也可以采用各程序经由网络而从外部装置被下载的方式。
上述实施方式中说明的处理的流程也为一个示例,可以在不脱离主旨的范围内删除不必要的步骤、或追加新的步骤、或替换处理顺序。
Claims (4)
1.一种车辆控制装置,具备:
通信部,其被配置在车辆的外部,并且从通过远程驾驶人而***作的操作装置接收用于使所述车辆进行操作的操作信息;
取得部,其从外部传感器取得所述车辆的周边的周边信息,所述外部传感器包括摄像机、毫米波雷达、激光雷达中的至少一个;
行驶计划生成部,其根据所述车辆的所述周边信息而生成所述车辆的行驶计划;
行驶控制部,其对自动驾驶和远程驾驶进行控制,其中,所述自动驾驶为,基于由所述行驶计划生成部生成的所述行驶计划而进行的所述车辆的行驶,所述远程驾驶为,基于在所述通信部中接收到的所述操作信息而进行的所述车辆的行驶;
生物体信息取得部,其取得乘员的生物体信息;
状态判断部,其根据由所述生物体信息取得部所取得的所述生物体信息,来判断是否处于被预测为由乘员的操作而进行的手动驾驶会变得困难的异常预测状态、以及是否处于手动驾驶有困难的异常状态;
通知部,其在通过所述状态判断部而判断出所述异常预测状态或所述异常状态的情况下,将被判断出的状态通知给所述操作装置;
受理部,其能够针对所述通知而从所述操作装置受理可操作信息,所述可操作信息为表示能够进行由所述远程驾驶人实施的操作的信息,
所述状态判断部在根据所述生物体信息来对所述异常状态以及所述异常预测状态进行判断的情况下,对所述生物体信息设定两个阶段的阈值,并且在所取得的所述生物体信息大于等于异常预测状态的阈值、且小于异常状态的阈值时,判断为乘员处于异常预测状态,并在所取得的所述生物体信息大于等于异常状态的阈值时,判断为乘员处于异常状态,
所述行驶控制部在将被判断出的状态通知给所述操作装置之后、且针对于所述通知而由所述受理部受理到所述可操作信息之前,对乘员是否处于异常状态进行判断,并在通过所述状态判断部而判断出乘员处于异常状态的情况下,从所述手动驾驶向所述自动驾驶进行切换。
2.如权利要求1所述的车辆控制装置,其中,
所述行驶控制部在针对于所述通知而由所述受理部受理到所述可操作信息之后通过所述状态判断部而判断出乘员处于异常状态的情况下,从所述手动驾驶向所述远程驾驶进行切换。
3.如权利要求1所述的车辆控制装置,其中,
所述行驶控制部在所述自动驾驶过程中由所述受理部受理到所述可操作信息的情况下,从所述自动驾驶向所述远程驾驶进行切换。
4.如权利要求1至权利要求3中的任意一项所述的车辆控制装置,其中,
还具备信息提供受理部,所述信息提供受理部从行驶于所述车辆的附近的其他车辆受理表示行驶方式有危险的危险信息,
所述状态判断部根据所述生物体信息和受理到的所述危险信息中的至少一方来对是否处于所述异常预测状态进行判断,所述通知部将通过所述状态判断部而被判断出的状态通知给所述操作装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019131267A JP7124801B2 (ja) | 2019-07-16 | 2019-07-16 | 車両制御装置 |
JP2019-131267 | 2019-07-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112238869A CN112238869A (zh) | 2021-01-19 |
CN112238869B true CN112238869B (zh) | 2024-06-21 |
Family
ID=74170586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010646193.3A Active CN112238869B (zh) | 2019-07-16 | 2020-07-07 | 车辆控制装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11360473B2 (zh) |
JP (1) | JP7124801B2 (zh) |
CN (1) | CN112238869B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021025252A1 (ko) * | 2019-08-05 | 2021-02-11 | 엘지전자 주식회사 | 이상 운행 정보 전송 방법 및 장치 |
CN115410374A (zh) * | 2022-11-01 | 2022-11-29 | 中国第一汽车股份有限公司 | 一种远程控制自动驾驶车辆管理***及管理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846901A (zh) * | 2015-12-03 | 2017-06-13 | 财团法人资讯工业策进会 | 回避异常车辆的***与方法 |
CN109689466A (zh) * | 2016-10-12 | 2019-04-26 | 矢崎总业株式会社 | 车辆*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006301963A (ja) * | 2005-04-20 | 2006-11-02 | Toyota Motor Corp | 遠隔操作システム |
JP2016045714A (ja) | 2014-08-22 | 2016-04-04 | 株式会社デンソー | 車載制御装置 |
JP6662080B2 (ja) * | 2016-02-16 | 2020-03-11 | 株式会社デンソー | ドライバ状態判定装置 |
JP6520974B2 (ja) * | 2017-03-14 | 2019-05-29 | オムロン株式会社 | 運転切り替え判定装置、及び運転切り替え判定のためのプログラム |
KR20190048085A (ko) * | 2017-10-30 | 2019-05-09 | 한국철도기술연구원 | 차량 간 통신을 이용한 자율주행차량 제어 장치 및 그 방법 |
CN207924505U (zh) * | 2017-12-13 | 2018-09-28 | 多伦科技股份有限公司 | 一种机器人智能自动驾驶装置 |
-
2019
- 2019-07-16 JP JP2019131267A patent/JP7124801B2/ja active Active
-
2020
- 2020-05-27 US US16/884,732 patent/US11360473B2/en active Active
- 2020-07-07 CN CN202010646193.3A patent/CN112238869B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106846901A (zh) * | 2015-12-03 | 2017-06-13 | 财团法人资讯工业策进会 | 回避异常车辆的***与方法 |
CN109689466A (zh) * | 2016-10-12 | 2019-04-26 | 矢崎总业株式会社 | 车辆*** |
Also Published As
Publication number | Publication date |
---|---|
CN112238869A (zh) | 2021-01-19 |
JP7124801B2 (ja) | 2022-08-24 |
US20210018913A1 (en) | 2021-01-21 |
US11360473B2 (en) | 2022-06-14 |
JP2021015561A (ja) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106660560B (zh) | 用于车辆的自主的导引的车辆控制*** | |
CN112238868B (zh) | 车辆控制装置以及车辆控制*** | |
CN112238869B (zh) | 车辆控制装置 | |
CN110539747A (zh) | 车辆控制*** | |
CN110606077A (zh) | 车辆控制*** | |
CN112238866A (zh) | 车辆控制装置以及车辆控制*** | |
CN112660041B (zh) | 车辆以及远程操作*** | |
CN110461674B (zh) | 车辆控制***、车辆控制方法、车辆控制装置及存储介质 | |
JP7188322B2 (ja) | 車両走行システム | |
US11565724B2 (en) | Operation device and vehicle control system | |
CN112238870B (zh) | 车辆控制装置以及车辆控制*** | |
CN114981853A (zh) | 信息处理方法以及信息处理*** | |
CN113581098A (zh) | 车辆用控制*** | |
JP2021060764A (ja) | 運転制御装置 | |
CN112242066A (zh) | 车辆控制装置 | |
US11505214B2 (en) | Driving operation handover system and vehicle | |
CN112238867B (zh) | 车辆控制装置以及车辆控制*** | |
JP7163880B2 (ja) | 誘導制御装置、誘導システム、および誘導制御プログラム | |
JP7221834B2 (ja) | 車両及び遠隔操作システム | |
US12049242B2 (en) | Driving handover control device and driving handover control method | |
US20220355828A1 (en) | Driving handover control device and driving handover control method | |
CN112379665A (zh) | 紧急车辆行驶***、服务器装置以及记录介质 | |
JP2021068118A (ja) | 遠隔運転システム | |
CN116101302A (zh) | 车辆控制***、车辆控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |