JP2016045713A - 車載制御装置 - Google Patents
車載制御装置 Download PDFInfo
- Publication number
- JP2016045713A JP2016045713A JP2014169541A JP2014169541A JP2016045713A JP 2016045713 A JP2016045713 A JP 2016045713A JP 2014169541 A JP2014169541 A JP 2014169541A JP 2014169541 A JP2014169541 A JP 2014169541A JP 2016045713 A JP2016045713 A JP 2016045713A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- alarm
- state
- warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 68
- 230000008569 process Effects 0.000 claims description 64
- 230000004044 response Effects 0.000 claims description 38
- 230000004397 blinking Effects 0.000 claims description 26
- 230000005856 abnormality Effects 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 12
- 210000003128 head Anatomy 0.000 description 54
- 241001469893 Oxyzygonectes dovii Species 0.000 description 28
- 238000001514 detection method Methods 0.000 description 26
- 238000012806 monitoring device Methods 0.000 description 9
- 235000002673 Dioscorea communis Nutrition 0.000 description 8
- 241000544230 Dioscorea communis Species 0.000 description 8
- 208000035753 Periorbital contusion Diseases 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 8
- 241001504424 Zosteropidae Species 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000002111 Eye Abnormalities Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
- B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
- B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
- B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
- B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
- B60N2/0027—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part
- B60N2/0028—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part of a body part, e.g. of an arm or a leg
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
- B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
- B60N2/003—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat
- B60N2/0034—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat in, under or on the seat cover
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
- B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
- G08B5/38—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources using flashing light
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
- B60N2210/10—Field detection presence sensors
- B60N2210/16—Electromagnetic waves
- B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
- B60N2210/24—Cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
- B60N2210/40—Force or pressure sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
- B60R2022/4808—Sensing means arrangements therefor
- B60R2022/4825—Sensing means arrangements therefor for sensing amount of belt winded on retractor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Combustion & Propulsion (AREA)
- Emergency Management (AREA)
- Chemical & Material Sciences (AREA)
- Business, Economics & Management (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
以下、本発明を具体化した実施形態について図面を参照しつつ説明する。まず、本実施形態に係る車載システムの構成について、図1〜図3を参照して説明する。本システムは、ドライバ監視装置50、ドライバ状態認識装置20、車両情報認識装置30、走行環境認識装置40、HMI(Human Machine Interface)80、車両制御装置90を備えている。概要として、ドライバ監視装置50は、各認識装置20,30,40からの情報に基づいて、ドライバが運転不能状態であるか否かを判定し、運転不能状態であると判定した場合にその旨をHMI80や車両制御装置90に通知する。車両制御装置90は、ドライバが運転不能状態である場合に、自車両の内外に対する警報を実施するとともに、車両を安全に停止させる等の危険回避処理を実施する。
・黒目領域の縦方向の長さ、
・黒目領域の面積、
・目の輪郭で囲まれた領域の縦方向の長さと黒目領域の縦方向の長さとの比、
・黒目領域の偏平率、
等のいずれかに基づいて白目度合を算出する。
(1)フレームアウト判定、
(2)姿勢崩れ判定、
(3)向き崩れ判定、
(4)揺れ判定、
(5)白目判定、
を実施し、これらのいずれかにより、ドライバが運転不能状態になったことの判定を実施する。状態判定手段70は、フレームアウト判定手段71、姿勢崩れ判定手段72、向き崩れ判定手段73、揺れ判定手段74、及び白目判定手段75を含んでおり、以下これらを順に説明する。
フレームアウト判定手段71は、車両10の走行中に、ドライバ頭部のフレームアウトを判定して、フレームアウトしている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、フレームアウト判定手段71は、頭部検出手段61により検出されたドライバの頭部が画像の範囲FA(図2参照)から外れており、その状態が所定の時間T1以上継続する場合に、ドライバが運転不能状態になっていると判定する。ここで、範囲FAは、ドライバカメラ21により撮像された画像における所定の範囲である。通常の運転時には、ドライバの頭部が範囲FAから外れることはない。範囲FAを、撮像された画像の全体としてもよい。範囲FAは、車両前方から見てフロントガラスを通じて認識される範囲に定められているとよい。
姿勢崩れ判定手段72は、車両10の走行中に、ドライバの姿勢崩れの判定をして、姿勢崩れしている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、姿勢崩れ判定手段72は、傾き検出手段62により検出された頭部の傾きθが閾値Th1(相対傾き閾値)よりも大きくなっており、その状態が所定の時間T2以上継続する場合に、ドライバが運転不能状態になっていると判定する。
向き崩れ判定手段73は、車両10の走行中に、ドライバの顔向きの崩れの判定をして、顔向きが崩れている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、向き崩れ判定手段73は、顔向き検出手段63により検出された車両10の前方に対する顔の向きが閾値Th2(顔向き閾値)よりも大きくなっており、その状態が所定の時間T3以上継続する場合に、ドライバが運転不能状態になっていると判定する。
・顔向き検出手段63により検出された車両10の前方に対する顔の向きが、閾値Th2よりも大きく、且つドライバがハンドル15を放している場合、
・顔向き検出手段63により検出された顔の向きが閾値Th2よりも大きく、且つアクセル開度が所定開度よりも大きい場合、
・顔向き検出手段63により検出された顔の向きが閾値Th2よりも大きく、且つ所定時間よりも長い時間アクセル操作及びブレーキ操作が行われていない場合、
のいずれかにおいて、ドライバが運転不能状態になっていると判定してもよい。
揺れ判定手段74は、車両10の走行中において、外力に伴うドライバの頭部の揺れ状態を判定して、頭部が通常と異なる揺れをしている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、揺れ判定手段74は、車両10に外力が加わった際において頭部検出手段61により検出された頭部の揺れの振幅が、振幅Am1(第1振幅)よりも小さいか、又は振幅Am2(第2振幅)よりも大きくなっており、その状態が所定の時間T4以上継続する場合に、ドライバが運転不能状態になっていると判定する。振幅Am2は振幅Am1よりも大きい値である。
白目判定手段75は、車両10の走行中に、白目の判定をして、白目検出手段64により白目をむいた状態が検出された場合に、ドライバが運転不能状態になっていると判定する。詳しくは、白目判定手段75は、白目度合算出手段66により算出された白目度合が閾値Th3(白目閾値)よりも大きくなっており、その状態が所定の時間T5以上継続する場合に、ドライバが運転不能状態になっていると判定する。
・運転席の画像から検出したドライバの頭部及び胴体部の情報、
・ドライバの胴体部に対する頭部の傾きθの情報、
・車両の前方に対するドライバの顔の向きの情報、
・ドライバの白目検出の情報、
等を取得する。
本実施形態では、ドライバが運転不能状態になったと判定された場合に、直ちにハザードランプ95による車外への第1警報を実施するとともに、その第1警報の開始から所定時間、ドライバ応答が無いことを確認した上で、第1警報よりも自車両周辺の認知度の高い態様でハザードランプ95による車外への第2警報を実施する。
本実施形態では、ドライバが運転不能状態になったと判定された場合に、直ちにハザードランプ95を点滅させて車外警報を実施するか、所定時間、ドライバ応答が無いことを確認した上でハザードランプ95を点滅させて車外警報を実施するかを切り替える構成としている。具体的には、ドライバが運転不能状態になったと判定された場合に、それが複数の判定処理のうちどの判定処理の結果に基づくものかを判定し、危険度の比較的高いものであれば、直ちにハザードランプ95を点滅させて車外警報を実施し、危険度の比較的低いものであれば、所定の応答確認期間の経過を待ってハザードランプ95を点滅させて車外警報を実施する。
・ドライバが運転不能状態になったと判定された場合に、直ちにハザードランプ95を点滅させるか、ドライバ応答を確認した上でハザードランプ95を点滅させるかを切り替える条件は、以下であってもよい。
上記実施形態を例えば次のように変更してもよい。
Claims (7)
- 自車両(10)のドライバの状態を監視し、その監視結果に基づいて、自車両の挙動を制御して危険回避処理を実施する車載制御装置(50,90)であって、
自車両の走行中において、ドライバ監視情報に基づいて、ドライバが車両運転が不能な運転不能状態になったことを判定する異常判定手段と、
前記異常判定手段によりドライバが運転不能状態になったと判定された場合に、警報手段(95)の駆動により車外への警報を実施する警報制御手段と、
前記警報手段による車外への警報開始後において、ドライバの操作により当該警報が停止された場合に前記危険回避処理を実施せず、当該警報が停止されない場合に前記警報の開始から所定時間の経過後に前記危険回避処理を実施する危険回避制御手段と、
を備えることを特徴とする車載制御装置。 - 前記警報手段は、車両外側に設けられた非常点滅表示灯(95)を含み、
前記警報制御手段は、前記異常判定手段によりドライバが運転不能状態になったと判定された場合に、前記非常点滅表示灯を点滅表示させる請求項1に記載の車載制御装置。 - 前記警報制御手段は、前記異常判定手段によりドライバが運転不能状態になったと判定された場合に、直ちに前記警報手段による車外への第1警報を実施するとともに、その第1警報の開始から所定時間、ドライバの応答が無いことを確認した上で、前記第1警報よりも自車両周辺の認知度の高い態様で前記警報手段による車外への第2警報を実施する請求項1又は2に記載の車載制御装置。
- 前記警報制御手段は、
前記異常判定手段によりドライバが運転不能状態になったと判定された場合に、直ちに前記警報手段による車外への警報を実施する第1制御手段と、
前記異常判定手段によりドライバが運転不能状態になったと判定された場合に、所定時間、ドライバの応答が無いことを確認した上で前記警報手段による車外への警報を実施する第2制御手段と、
前記第1制御手段により警報を実施するか前記第2制御手段により警報を実施するかを切り替える切替手段と、
を有する請求項1又は2に記載の車載制御装置。 - 前記異常判定手段は、ドライバの状態及び挙動に基づいて各々異なる判定基準によりドライバが運転不能状態になったことを判定する複数の判定手段を有しており、
前記切替手段は、前記複数の判定手段のいずれでドライバの運転不能状態が判定されたかに応じて、前記第1制御手段により警報を実施するか前記第2制御手段により警報を実施するかの切り替えを実施する請求項4に記載の車載制御装置。 - 前記複数の判定手段は、ドライバが自車両の前方に対する視認不可の状態であることを判定するものを含み、
前記切替手段は、前記複数の判定手段のうち前記視認不可の状態であることに基づいて前記運転不能状態が判定された場合に、前記第1制御手段により警報を実施する状態とする請求項5に記載の車載制御装置。 - 前記切替手段は、自車両の車速に基づいて、前記第1制御手段により警報を実施するか前記第2制御手段により警報を実施するかの切り替えを実施する請求項4乃至6のいずれか1項に記載の車載制御装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014169541A JP6331875B2 (ja) | 2014-08-22 | 2014-08-22 | 車載制御装置 |
US15/325,749 US10569649B2 (en) | 2014-08-22 | 2015-07-16 | In-vehicle control apparatus |
DE112015003856.6T DE112015003856T5 (de) | 2014-08-22 | 2015-07-16 | Fahrzeuggebundene Steuervorrichtung |
PCT/JP2015/003600 WO2016027411A1 (ja) | 2014-08-22 | 2015-07-16 | 車載制御装置 |
US16/433,262 US20190283579A1 (en) | 2014-08-22 | 2019-06-06 | In-Vehicle Control Apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014169541A JP6331875B2 (ja) | 2014-08-22 | 2014-08-22 | 車載制御装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018086897A Division JP6593486B2 (ja) | 2018-04-27 | 2018-04-27 | 車載制御装置及び車載システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016045713A true JP2016045713A (ja) | 2016-04-04 |
JP6331875B2 JP6331875B2 (ja) | 2018-05-30 |
Family
ID=55350384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014169541A Active JP6331875B2 (ja) | 2014-08-22 | 2014-08-22 | 車載制御装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10569649B2 (ja) |
JP (1) | JP6331875B2 (ja) |
DE (1) | DE112015003856T5 (ja) |
WO (1) | WO2016027411A1 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180105168A1 (en) | 2016-10-14 | 2018-04-19 | Toyota Jidosha Kabushiki Kaisha | Driving Control Device of Vehicle |
JP2018063467A (ja) * | 2016-10-11 | 2018-04-19 | 株式会社東海理化電機製作所 | 運転者状態推定装置 |
WO2018167996A1 (ja) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | 運転者状態推定装置、及び運転者状態推定方法 |
WO2018167997A1 (ja) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | 運転者状態推定装置、及び運転者状態推定方法 |
JP2018155807A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社Subaru | 車両の表示システム及び車両の表示システムの制御方法 |
JP2019073104A (ja) * | 2017-10-13 | 2019-05-16 | いすゞ自動車株式会社 | 車両制御装置及び車両制御方法 |
JP2019099145A (ja) * | 2017-11-29 | 2019-06-24 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 生命徴候モニタリングを車両制御に組み込むための方法 |
WO2019181380A1 (ja) * | 2018-03-23 | 2019-09-26 | 株式会社デンソー | 状態判定装置、状態判定プログラム、およびコンピュータ読み出し可能持続的有形記録媒体 |
US10479355B2 (en) | 2016-07-27 | 2019-11-19 | Toyota Jidosha Kabushiki Kaisha | Driving control system for vehicle |
CN112238843A (zh) * | 2019-07-16 | 2021-01-19 | 丰田自动车株式会社 | 车辆行驶控制装置 |
KR20210012918A (ko) * | 2019-07-24 | 2021-02-03 | 폭스바겐 악티엔게젤샤프트 | 외부 음향 경고 기능을 갖는 비상 보조 시스템 |
JP2023069282A (ja) * | 2021-11-05 | 2023-05-18 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106663377B (zh) | 2014-06-23 | 2019-04-09 | 株式会社电装 | 驾驶员的驾驶不能状态检测装置 |
JP6372388B2 (ja) | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
JP6520859B2 (ja) * | 2016-08-08 | 2019-05-29 | トヨタ自動車株式会社 | 車両走行制御装置 |
EP3372465B1 (en) * | 2017-03-10 | 2022-08-24 | The Hi-Tech Robotic Systemz Ltd | Method and system for vehicle status based advanced driver assistance |
US10268903B2 (en) * | 2017-06-11 | 2019-04-23 | Jungo Connectivity Ltd. | Method and system for automatic calibration of an operator monitor |
JP6926957B2 (ja) * | 2017-11-02 | 2021-08-25 | トヨタ自動車株式会社 | 車線変更支援装置 |
KR20190050633A (ko) * | 2017-11-03 | 2019-05-13 | 주식회사 만도 | 운전자 상태 기반 차량 제어 시스템 및 방법 |
US10275670B1 (en) | 2018-03-07 | 2019-04-30 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for identifying abnormal vehicle conditions |
US10776644B1 (en) * | 2018-03-07 | 2020-09-15 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for assessing safety of vehicle operation |
JP7102850B2 (ja) * | 2018-03-28 | 2022-07-20 | マツダ株式会社 | ドライバ状態判定装置 |
JP7133337B2 (ja) * | 2018-04-10 | 2022-09-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
US11254270B1 (en) | 2018-05-02 | 2022-02-22 | State Farm Mutual Automobile Insurance Company | Technologies for using image analysis to facilitate adjustments of vehicle components |
GB2577484B (en) * | 2018-09-19 | 2021-08-11 | Jaguar Land Rover Ltd | A control system for a vehicle |
DE102018218154A1 (de) * | 2018-10-24 | 2020-04-30 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ändern einer Route und/oder Fahrweise eines Fahrzeugs in Abhängigkeit von einer Innenraumsituation |
DE102019006122A1 (de) * | 2019-08-30 | 2021-03-04 | Daimler Ag | Verfahren zum Betrieb eines Fahrzeuges |
CN110696824A (zh) * | 2019-10-25 | 2020-01-17 | 北京海纳川汽车部件股份有限公司 | 车辆及其控制方法 |
JP7470510B2 (ja) * | 2019-12-02 | 2024-04-18 | ダイムラー トラック エージー | 車両制御装置、車両制御方法、及び車両制御プログラム |
US11851080B2 (en) * | 2021-02-03 | 2023-12-26 | Magna Mirrors Of America, Inc. | Vehicular driver monitoring system with posture detection and alert |
CN112906515A (zh) * | 2021-02-03 | 2021-06-04 | 珠海研果科技有限公司 | 车内异常行为识别方法、***、电子设备及存储介质 |
US20240034332A1 (en) * | 2022-07-29 | 2024-02-01 | Motorola Mobility Llc | Driving condition detection and indication to a remote device during a communication session |
DE102022211510A1 (de) | 2022-10-31 | 2024-05-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln eines Zustandes eines Fahrzeuginsassen |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005190082A (ja) * | 2003-12-25 | 2005-07-14 | Fuji Photo Film Co Ltd | 居眠り運転警告装置及びカーナビゲーション装置 |
JP2010066817A (ja) * | 2008-09-08 | 2010-03-25 | Nissan Motor Co Ltd | 覚醒度低下車両報知装置および車車間通信システム |
WO2014016911A1 (ja) * | 2012-07-24 | 2014-01-30 | トヨタ自動車株式会社 | 運転支援装置 |
JP2014021767A (ja) * | 2012-07-19 | 2014-02-03 | Toyota Motor Corp | 緊急退避装置 |
JP2014044707A (ja) * | 2012-08-01 | 2014-03-13 | Nissan Motor Co Ltd | 運転者異常時支援装置及び運転者異常時支援方法 |
JP2014091380A (ja) * | 2012-11-01 | 2014-05-19 | Toyota Motor Corp | 運転走行支援装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7164117B2 (en) * | 1992-05-05 | 2007-01-16 | Automotive Technologies International, Inc. | Vehicular restraint system control system and method using multiple optical imagers |
JP3372810B2 (ja) | 1997-01-31 | 2003-02-04 | 本田技研工業株式会社 | 車両用運転状況監視装置 |
JP2003081038A (ja) | 2001-09-12 | 2003-03-19 | Nissan Motor Co Ltd | 車両用警報装置 |
JP4075345B2 (ja) | 2001-10-11 | 2008-04-16 | 日産自動車株式会社 | 自動巡航制御装置 |
JP2004017889A (ja) * | 2002-06-19 | 2004-01-22 | Advics:Kk | 自動ブレーキ装置 |
US8068036B2 (en) * | 2002-07-22 | 2011-11-29 | Ohanes Ghazarian | Intersection vehicle collision avoidance system |
JP3997142B2 (ja) * | 2002-10-23 | 2007-10-24 | 富士重工業株式会社 | 車両用の覚醒度推定装置および覚醒度推定方法 |
US20100295707A1 (en) * | 2009-05-19 | 2010-11-25 | Brian Bennie | System and method for lane departure warning |
US9292471B2 (en) | 2011-02-18 | 2016-03-22 | Honda Motor Co., Ltd. | Coordinated vehicle response system and method for driver behavior |
US8698639B2 (en) | 2011-02-18 | 2014-04-15 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
US20120286957A1 (en) * | 2011-05-13 | 2012-11-15 | Stephen Frechette | Mobile Sleep Detection Method and System |
JP5644684B2 (ja) | 2011-06-09 | 2014-12-24 | トヨタ自動車株式会社 | 異常時対応運転制御の要否判定方法および異常時対応運転制御の要否判定に基づく運転制御装置 |
KR20130061901A (ko) | 2011-12-02 | 2013-06-12 | 현대자동차주식회사 | 운전자의 생체 신호를 이용한 가변형 운전자-차량 인터페이스 제공방법 |
-
2014
- 2014-08-22 JP JP2014169541A patent/JP6331875B2/ja active Active
-
2015
- 2015-07-16 DE DE112015003856.6T patent/DE112015003856T5/de active Pending
- 2015-07-16 WO PCT/JP2015/003600 patent/WO2016027411A1/ja active Application Filing
- 2015-07-16 US US15/325,749 patent/US10569649B2/en active Active
-
2019
- 2019-06-06 US US16/433,262 patent/US20190283579A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005190082A (ja) * | 2003-12-25 | 2005-07-14 | Fuji Photo Film Co Ltd | 居眠り運転警告装置及びカーナビゲーション装置 |
JP2010066817A (ja) * | 2008-09-08 | 2010-03-25 | Nissan Motor Co Ltd | 覚醒度低下車両報知装置および車車間通信システム |
JP2014021767A (ja) * | 2012-07-19 | 2014-02-03 | Toyota Motor Corp | 緊急退避装置 |
WO2014016911A1 (ja) * | 2012-07-24 | 2014-01-30 | トヨタ自動車株式会社 | 運転支援装置 |
JP2014044707A (ja) * | 2012-08-01 | 2014-03-13 | Nissan Motor Co Ltd | 運転者異常時支援装置及び運転者異常時支援方法 |
JP2014091380A (ja) * | 2012-11-01 | 2014-05-19 | Toyota Motor Corp | 運転走行支援装置 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10479355B2 (en) | 2016-07-27 | 2019-11-19 | Toyota Jidosha Kabushiki Kaisha | Driving control system for vehicle |
JP2018063467A (ja) * | 2016-10-11 | 2018-04-19 | 株式会社東海理化電機製作所 | 運転者状態推定装置 |
WO2018070321A1 (ja) * | 2016-10-11 | 2018-04-19 | 株式会社東海理化電機製作所 | 運転者状態推定装置 |
US10800407B2 (en) | 2016-10-14 | 2020-10-13 | Toyota Jidosha Kabushiki Kaisha | Driving control device of vehicle |
US20180105168A1 (en) | 2016-10-14 | 2018-04-19 | Toyota Jidosha Kabushiki Kaisha | Driving Control Device of Vehicle |
JP2018151932A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 運転者状態推定装置、及び運転者状態推定方法 |
JP2018151931A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 運転者状態推定装置、及び運転者状態推定方法 |
CN110199318A (zh) * | 2017-03-14 | 2019-09-03 | 欧姆龙株式会社 | 驾驶员状态推定装置以及驾驶员状态推定方法 |
CN110199318B (zh) * | 2017-03-14 | 2023-03-07 | 欧姆龙株式会社 | 驾驶员状态推定装置以及驾驶员状态推定方法 |
WO2018167997A1 (ja) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | 運転者状態推定装置、及び運転者状態推定方法 |
WO2018167996A1 (ja) * | 2017-03-14 | 2018-09-20 | オムロン株式会社 | 運転者状態推定装置、及び運転者状態推定方法 |
JP2018155807A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社Subaru | 車両の表示システム及び車両の表示システムの制御方法 |
JP2019073104A (ja) * | 2017-10-13 | 2019-05-16 | いすゞ自動車株式会社 | 車両制御装置及び車両制御方法 |
JP2019099145A (ja) * | 2017-11-29 | 2019-06-24 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 生命徴候モニタリングを車両制御に組み込むための方法 |
JP2019166968A (ja) * | 2018-03-23 | 2019-10-03 | 株式会社デンソー | 状態判定装置、及び状態判定プログラム |
US11077859B2 (en) | 2018-03-23 | 2021-08-03 | Denso Corporation | State determination device, state determination program, and computer-readable non-transitory tangible storage medium |
WO2019181380A1 (ja) * | 2018-03-23 | 2019-09-26 | 株式会社デンソー | 状態判定装置、状態判定プログラム、およびコンピュータ読み出し可能持続的有形記録媒体 |
US11760359B2 (en) | 2018-03-23 | 2023-09-19 | Denso Corporation | State determination device, state determination program, and computer-readable non-transitory tangible storage medium |
CN112238843A (zh) * | 2019-07-16 | 2021-01-19 | 丰田自动车株式会社 | 车辆行驶控制装置 |
US11679777B2 (en) | 2019-07-16 | 2023-06-20 | Toyota Jidosha Kabushiki Kaisha | Vehicle travel control apparatus |
KR20210012918A (ko) * | 2019-07-24 | 2021-02-03 | 폭스바겐 악티엔게젤샤프트 | 외부 음향 경고 기능을 갖는 비상 보조 시스템 |
KR102419764B1 (ko) | 2019-07-24 | 2022-07-13 | 폭스바겐 악티엔게젤샤프트 | 외부 음향 경고 기능을 갖는 비상 보조 시스템 |
JP2023069282A (ja) * | 2021-11-05 | 2023-05-18 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP7381545B2 (ja) | 2021-11-05 | 2023-11-15 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2016027411A1 (ja) | 2016-02-25 |
US10569649B2 (en) | 2020-02-25 |
US20170158054A1 (en) | 2017-06-08 |
US20190283579A1 (en) | 2019-09-19 |
DE112015003856T5 (de) | 2017-05-04 |
JP6331875B2 (ja) | 2018-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6331875B2 (ja) | 車載制御装置 | |
JP6341055B2 (ja) | 車載制御装置 | |
WO2016027412A1 (ja) | 車載制御装置 | |
JP6540663B2 (ja) | 車両システム | |
WO2015198540A1 (ja) | ドライバの運転不能状態検出装置 | |
US11787408B2 (en) | System and method for controlling vehicle based on condition of driver | |
EP3330148B1 (en) | Automatic driving system for vehicles | |
US20140121927A1 (en) | Vehicle emergency evacuation device | |
JP6372388B2 (ja) | ドライバの運転不能状態検出装置 | |
WO2015198542A1 (ja) | ドライバの運転不能状態検出装置 | |
JP6593486B2 (ja) | 車載制御装置及び車載システム | |
JP6379720B2 (ja) | ドライバの運転不能状態検出装置 | |
JP6364997B2 (ja) | ドライバの運転不能状態検出装置 | |
US8954238B2 (en) | Vehicle emergency evacuation device | |
JP5803832B2 (ja) | 緊急退避支援装置 | |
JP6361312B2 (ja) | ドライバの運転不能状態検出装置 | |
JP6331751B2 (ja) | ドライバの運転不能状態検出装置 | |
US20200062246A1 (en) | Emergency braking device for vehicle | |
JP2009018625A (ja) | 走行制御装置 | |
JP2008305190A (ja) | 居眠り警告装置及び自動車 | |
JP6614286B2 (ja) | ドライバの運転不能状態検出装置 | |
JP6607287B2 (ja) | ドライバの運転不能状態検出装置 | |
JP2023072270A (ja) | 運転者状態判定方法及びその装置 | |
JP2023072272A (ja) | 車両の乗員支援方法及びその装置 | |
JP2023072271A (ja) | 運転者状態判定方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170316 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180416 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6331875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |