JP2012084108A - 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両 - Google Patents

運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両 Download PDF

Info

Publication number
JP2012084108A
JP2012084108A JP2010264864A JP2010264864A JP2012084108A JP 2012084108 A JP2012084108 A JP 2012084108A JP 2010264864 A JP2010264864 A JP 2010264864A JP 2010264864 A JP2010264864 A JP 2010264864A JP 2012084108 A JP2012084108 A JP 2012084108A
Authority
JP
Japan
Prior art keywords
driver
face
center
obstacle
gaze direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010264864A
Other languages
English (en)
Other versions
JP5863233B2 (ja
Inventor
Ho-Choul Jung
鎬 鐵 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of JP2012084108A publication Critical patent/JP2012084108A/ja
Application granted granted Critical
Publication of JP5863233B2 publication Critical patent/JP5863233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085—Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18158—Approaching intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ナビゲーションと連動して交差点進入時に運転者が注視する方向の反対方向、即ち、運転者が注視できなかった方向の障害物を感知し、運転者の交差点進入を安全にする運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両を提供する。
【解決手段】 本発明は、運転者の注視方向を認識する運転者注視方向認識部と、運転者が注視しない方向の障害物を感知する障害物感知部と、交差点進入時に前記運転者注視方向認識部から運転者の顔面方向データを受信及び分析して前記運転者が注視する方向を把握し、前記障害物感知部へ前記運転者が注視する方向の反対方向に対する障害物の感知を要請し、障害物感知の結果を分析するエンジン制御ユニットとを含むことを特徴とする。
本発明によれば、交差点へ進入時、運転者に障害物の有無に従い警告することにより、運転者の不注意による交通事故を予め防止することができる効果がある。
【選択図】図２

Description

本発明は、運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両に係り、より詳しくは、ナビゲーションと連動して交差点情報が入力され、交差点進入時に運転者が自車の進行方向の反対方向から車両が来るかを確認する間、自車の進行方向の障害物を感知して衝突を警報する運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両に関する。
最近、社会及び経済の規模が拡大し高度化されるに伴い、車両及び交通需要が爆発的に増加し、大都市は深刻な交通問題に直面することになった。
特に、多数の車両と歩行者が順次交差して通過する交差点に進入する場合、運転者は自車が走行しようとする方向に障害物があるのかを確認するとともに、自車が走行しようとする方向の反対方向から車が来ているかを確認しながら注意深く徐々に進入しなければならない。
しかし、運転者が自車の走行方向（左）と自車の走行方向の反対方向（右）に頭を巡らして同時に確認することは難しく、おおよそ確認されるとしても不意に進入した障害物（信号違反車両又は信号違反歩行者など）等を確認できなかった場合、交通事故が発生して人命被害と物理的被害が発生する恐れがある。
特開２００２−０４９９９８号公報
本発明は、前記のような問題点を解決するためなされたものであって、ナビゲーションと連動して交差点進入時に運転者が注視する方向の反対方向、即ち、運転者が注視できなかった方向の障害物を感知し、運転者の交差点進入を安全にする運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両の提供を目的とする。
前記のような目的を達成するための本発明に係る運転者注視方向連動の前方衝突危険警報システムは、運転者の注視方向を認識する運転者注視方向認識部と、運転者が注視しない方向の障害物を感知する障害物感知部と、交差点へ進入時、前記運転者注視方向認識部から運転者の顔面方向データを受信及び分析して前記運転者が注視する方向を把握し、前記障害物感知部へ前記運転者が注視する方向の反対方向に対する障害物感知を要請し、障害物感知の結果を分析するエンジン制御ユニットとを含むことを特徴とする。
前記交差点に対する情報及び車両の進行方向情報を前記エンジン制御ユニットへ提供するナビゲーションをさらに含むことを特徴とする。
前記エンジン制御ユニットの制御に従い警告音を出力する警告音出力部をさらに含むことを特徴とする。
前記エンジン制御ユニットは、前記顔面方向データから両眼が検出されたのかを判断し、両眼が検出された場合、両眼基盤の顔面方向角を算出し、前記両眼が検出されないか片眼のみ検出された場合、顔面輪郭基盤の顔面方向角を算出することを特徴とする。
前記エンジン制御ユニットは、前記顔面方向データで左眼の中心、右眼の中心及び鼻の中心を基準に三角形を作った後、前記左眼の中心と前記右眼の中心の中間地点と前記鼻の中心を繋ぎ、前記左眼の中心と前記右眼の中心の中間地点で直角になる垂直線を引いた地点を前記鼻の中心と繋いで二等辺直角三角形になるようにし、前記二等辺直角三角形の前記左眼の中心と前記右眼の中心の中間地点を向く角を算出することにより、前記両眼基盤の方向角を算出することを特徴とする。
前記エンジン制御ユニットは、前記顔面方向データで、前記運転者の顔面の右端位置と前記運転者の顔面の左端位置との間の距離、前記運転者の顔面の右端位置と鼻の中心位置との間の距離、及び前記運転者の顔面の左端位置と前記鼻の中心位置との間の距離を利用し、前記顔面輪郭基盤の方向角を算出することを特徴とする。
前記エンジン制御ユニットは、前記運転者の顔面の右端位置と前記運転者の顔面の左端位置との間の距離、前記運転者の顔面の右端位置と鼻の中心位置との間の距離、及び前記運転者の顔面の左端位置と前記鼻の中心位置との間の距離を利用し、前記顔面輪郭基盤の方向角を予め算出してルックアップテーブルを作って格納しておき、前記運転者注視方向認識部から前記顔面データを受信するとき、前記ルックアップテーブルを利用して前記運転者の注視方向を判断することを特徴とする。
前記運転者注視方向認識部はカメラであり、前記障害物感知部はレーダー、カメラ、レーザー又は超音波センサの何れか１つであり、前記障害物感知部は、前記運転者が注視する方向と連動してモーターにより方向が変動されることを特徴とする。
また、本発明に係る運転者注視方向連動の前方衝突危険警報方法は、交差点進入時に交差点情報及び自車の進行方向情報を受信する過程と、運転者の注視方向を判断する過程と、前記運転者が注視しない方向に対する障害物を感知する過程と、前記障害物感知の結果、前記障害物の有無に従い前記自車の進行方向に進入するか否かを判断する過程とを含むことを特徴とする。
前記運転者の注視方向を判断する過程は、前記運転者の顔面を撮影する過程と、前記運転者の顔面を撮影したデータから両眼が検出されたのかを判断する過程と、前記両眼が検出された場合、両眼基盤の顔面方向角を算出する過程と、前記両眼が検出されないか片眼のみ検出された場合、顔面輪郭基盤の顔面方向角を算出する過程とを含むことを特徴とする。
前記両眼基盤の顔面方向角を算出する過程は、前記運転者の顔面を撮影したデータで、左眼の中心、右眼の中心及び鼻の中心を基準に三角形を作った後、前記左眼の中心と前記右眼の中心の中間地点と前記鼻の中心を繋ぎ、前記左眼の中心と前記右眼の中心の中間地点で直角になる垂直線を引いた地点を前記鼻の中心と繋いで二等辺直角三角形になるようにし、前記二等辺直角三角形の前記左眼の中心と前記右眼の中心の中間地点を向く角を算出することにより、前記両眼基盤の方向角を算出することを特徴とする。
前記顔面輪郭基盤の顔面方向角を算出する過程は、前記運転者の顔面を撮影したデータで、前記運転者の顔面の右側端位置と前記運転者の顔面の左側端位置との間の距離、前記運転者の顔面の右側端位置と鼻の中心位置との間の距離、及び前記運転者の顔面の左側端位置と前記鼻の中心位置との間の距離を利用し、前記顔面輪郭基盤の方向角を算出することを特徴とする。
前記障害物を感知する過程は、前記運転者の注視方向と連動してレーダー、カメラ、レーザー又は超音波センサの何れか１つの方向をモーターで制御し、前記運転者が注視しない方向の障害物を感知し、障害物の速度を算出して衝突時期を判断することを特徴とする。
前記障害物が存在する場合、警告音を出力して車両が交差点に進入しないように警告する過程をさらに含み、前記障害物が存在しない場合、アラーム音を出力して車両が交差点に進入するように報知する過程をさらに含むことを特徴とする。
本発明によれば、交差点へ進入時、運転者に障害物の有無に伴い警告することにより、運転者の不注意による交通事故を予め防止することができる。
本発明の実施形態に係る交差点での車両進行の例を示す図である。 本発明の実施形態に係る運転者注視方向連動の前方衝突危険警報システムの構成を示す図である。 本発明の実施形態に係る運転者注視方向連動の前方衝突危険警報方法を示すフローチャートである。 図３の運転者注視方向の分析方法を具体的に示すフローチャートである。 図２の運転者注視方向認識部３００の顔面撮影データを示す例示図である。 図５の顔面撮影データを利用した両眼基盤の顔面方向角の計算を説明するための図である。 図５の顔面撮影データを利用した顔面輪郭基盤の顔面方向角の計算を説明するための図である。
以下、本発明に係る運転者注視方向連動の前方衝突危険警報システムを、図１〜図７を参照しながら詳しく説明する。
図１は、本発明の実施形態に係る交差点での車両進行の例を示す図である。
交差点で運転者が自車の進行方向の反対方向を注視し車両が来るかを確認する間、本発明に係る運転者注視方向連動の前方衝突危険警報システムが自車の進行方向、即ち前方の障害物を感知して障害物が存在する場合、警報音を発生させる。
このため、本発明に係る運転者注視方向連動の前方衝突危険警報システムは、図２のような構成を有する。
図２に示す通り、本発明の実施形態に係る運転者注視方向連動の前方衝突危険警報システムは、ナビゲーション１００、エンジン制御ユニット２００、運転者注視方向認識部３００、障害物感知部４００及び警報音出力部５００を備える。
ナビゲーション１００は、運転者が目的地を登録すれば目的地までの道路を案内し、交差点が現れたとき、交差点情報及び運転者の進行方向情報をエンジン制御ユニット２００へ伝送する。
エンジン制御ユニット２００は、ナビゲーション１００から交差点情報及び運転者の進行方向情報を受信すると、運転者注視方向認識部３００へ運転者注視方向データを要請する。ここに、エンジン制御ユニット２００は、運転者注視方向認識部３００から運転者注視方向データを受信すると、運転者注視方向を分析し運転者注視方向の反対方向（運転者が注視しない方向）に障害物があるのかを判断するため、障害物感知部４００へ運転者注視方向の反対方向の障害物有無の確認を要請する。エンジン制御ユニット２００は、障害物感知部４００から障害物感知の結果を受信すると、車両が進入しようとする方向の障害物の有無、又は車両の進入しようとする方向の反対方向からの車両の接近速度などを考慮し、自車が交差点に進入しても良いのか否かなどを分析し、自車が交差点に進入してはならない場合は警告音を発生する。このとき、自車の交差点への進入が可能な場合にのみアラーム音を発生するように制御することもできる。
運転者注視方向認識部３００はカメラ（図示省略）を備え、エンジン制御ユニット２００から運転者注視方向認識を要請されると、運転者の顔面を撮影して撮影したデータをエンジン制御ユニット２００へ伝送する。
障害物感知部４００は、エンジン制御ユニット２００から特定方向に対する障害物の感知を要請されると、特定方向に対するレーダー、レーザー、超音波センサ感知又はカメラ撮影を行い、その結果をエンジン制御ユニット２００へ伝送する。このため、障害物感知部４００はレーダー（図示省略）、カメラ（図示省略）、レーザー（図示省略）、超音波センサ（図示省略）を備える。このとき、レーダー（図示省略）、カメラ（図示省略）、レーザー（図示省略）、超音波センサ（図示省略）はモーターを介しその方向が制御され、運転者の注視方向の反対方向の障害物を感知する。
警報音出力部５００は、エンジン制御ユニット２００から警報音出力の要請を受信すると、警報音を出力し運転者をして衝突危険が分かるようにする。
以下、図３を参照しながら、本発明の実施形態に係る運転者注視方向連動の前方衝突危険警報方法を具体的に説明する。
先ず、エンジン制御ユニット２００がナビゲーション１００から交差点情報及び進行方向情報を受信すると（Ｓ１０１）、運転者注視方向認識部３００へ運転者注視方向認識を要請する（Ｓ１０２）。
ここに、運転者注視方向認識部３００は運転者の顔面を撮影し（Ｓ１０３）、その撮影したデータをエンジン制御ユニット２００へ伝送する（Ｓ１０４）。
その後、エンジン制御ユニット２００は運転者の顔面の方向を分析し、運転者の注視方向の反対方向（運転者が注視しない方向）に障害物が存在するのかを確認するため、障害物感知部４００へ運転者注視方向の反対方向の障害物の感知を要請する（Ｓ１０６）。
ここに、障害物感知部４００は運転者注視方向の反対方向の障害物の感知を行い（Ｓ１０７）、その障害物感知データをエンジン制御ユニット２００へ伝送する（Ｓ１０８）。このとき、障害物感知部４００はレーダー、カメラ、レーザー、超音波センサなどを利用して障害物の感知を行い、障害物の速度及び移動距離を感知する。
その後、エンジン制御ユニット２００は、障害物感知部４００から受信した障害物感知データを分析して障害物の有無を判断する（Ｓ１０９）。このとき、エンジン制御ユニット２００は、障害物感知部４００から受信した障害物の速度及び移動距離情報を利用し、自車の進行方向に進入しても構わないのかを判断する。特に、運転者が自車の進行方向を注視していて自車の進行方向の反対方向の障害物を感知した場合、即ち、自車の進行方向の反対方向から車両が来る場合、その車両の速度に応じて衝突時期を計算し、衝突時期を避けて自車が進行方向に進めるように誘導するのが好ましい。
次に、エンジン制御ユニット２００は、障害物感知データの分析結果に従って警報音の出力を要請する（Ｓ１１０）。即ち、エンジン制御ユニット２００は、運転者注視方向の反対方向に障害物が存在する場合、運転者に警報音を出力するようにして交差点に進入できないようにすることにより、事故を予め防止ができるようにする。一方、エンジン制御ユニット２００は、運転者注視方向の反対方向に障害物が存在しない場合にのみ警報音出力部５００を介しアラーム音を発生させ、アラーム音の発生時に交差点に進入するように制御することもできる。
以下、図４〜図７及び（数１）、（数２）により、図３に示した運転者注視方向の分析方法を具体的に説明する。
エンジン制御ユニット２００は、運転者注視方向認識部３００から図５に示したような顔面撮影データを受信すると（Ｓ２０１）、運転者の両眼が全て検出されたのかを判断する（Ｓ２０２）。
ここに、顔面撮影データで運転者の両眼が全て検出された場合、エンジン制御ユニット２００は下記の（数１）により両眼基盤の顔面方向角を算出する（Ｓ２０３）。
Figure 2012084108
ここで、∠ＮＭＶはベクトルの内角、ＮＭ，ＭＶは図６のＮＭ、ＭＶの線分を示し、分母はスカラー量、分子はベクトルを示す。
図６に示す通り、左眼の中心、右眼の中心及び鼻の中心（Ｎ）を基準に三角形を作った後、左眼の中心と右眼の中心の中間地点（Ｍ）と鼻の中心（Ｎ）を繋ぐ。このとき、左眼の中心と右眼の中心の中間地点（Ｍ）で直角になる垂直線を引いた地点（Ｖ）を鼻の中心（Ｎ）と繋いで二等辺直角三角形になるようにすれば、二等辺直角三角形の∠ＮＭＶが両眼基盤の顔面方向角になる。
このような両眼基盤の顔面方向角（∠ＮＭＶ）は、（数１）により算出することができる。
一方、顔面撮影データで運転者の両眼が全て検出されないか片眼のみ検出された場合、エンジン制御ユニット２００は下記の（数２）により顔面輪郭基盤の顔面方向角を算出する（Ｓ２０４）。
Figure 2012084108
 （２）
図７に示す通り、ＦＲｘはＸ軸基準顔面の右端位置で、ＦＬｘはＸ軸基準顔面の左端位置であり、ＮｘはＸ軸基準鼻の中心位置を表す。
ここに、エンジン制御ユニット２００は、右端位置（ＦＲｘ）と顔面の左端位置（ＦＬｘ）との間の鼻の中心位置（Ｎｘ）に従って顔面輪郭基盤の方向角（Ｆａｃｅ＿Ａｎｇｌｅ（ＲＬ））を算出する。即ち、鼻の中心位置（Ｎｘ）から右端位置（ＦＲｘ）を差し引いた値（Ｎｘ−ＦＲｘ）を、左端位置（ＦＲｘ）から顔面の右端位置（ＦＬｘ）を差し引いた値（ＦＬｘ−ＦＲｘ）で分けて２倍をした値から１を引いた後サインの逆関数とすることにより、顔面輪郭基盤の方向角（Ｆａｃｅ＿Ａｎｇｌｅ（ＲＬ））を算出することができる。
本発明では、エンジン制御ユニット２００が（数２）により顔面輪郭基盤の方向角（Ｆａｃｅ＿Ａｎｇｌｅ（ＲＬ））を必要の度ごとに算出する例を開示しているが、右端位置（ＦＲｘ）、顔面の左端位置（ＦＬｘ）及び鼻の中心位置（Ｎｘ）別に予め算出してルックアップテーブル形態で格納しておき、必要の度ごとに利用することもできる。即ち、右端位置（ＦＲｘ）、顔面の左端位置（ＦＬｘ）及び鼻の中心位置（Ｎｘ）別の顔面輪郭基盤の方向角を予め格納しておき毎度計算せずに確認することができるようにする。
このように、本発明によれば、ナビゲーションの交差点情報が入力されて、交差点進入時に運転者の注視方向（左／右）を認識し、運転者の注視方向の反対方向（運転者が注視しない方向）の障害物の有無を判断し、障害物のない場合、又は障害物があるとしても衝突しない時点に自車を進入させることにより、交差点での安全事故の発生率を減少させることができる。
以上、本発明に関する好ましい実施形態を説明したが、本発明は前記実施形態に限定されず、本発明の属する技術範囲を逸脱しない範囲での全ての変更が含まれる。
１００ ナビゲーション
２００ エンジン制御ユニット
３００ 運転者注視方向認識部
４００ 障害物感知部
５００ 警報音出力部

Claims (20)

  1. 運転者の注視方向を認識する運転者注視方向認識部と、
    運転者が注視しない方向の障害物を感知する障害物感知部と、
    交差点へ進入時、前記運転者注視方向認識部から運転者の顔面方向データを受信及び分析して前記運転者が注視する方向を把握し、前記障害物感知部へ前記運転者が注視する方向と反対方向の障害物感知を要請し、障害物感知の結果を分析するエンジン制御ユニットと、
    を含むことを特徴とする運転者注視方向連動の前方衝突危険警報システム。
  2. 前記交差点に関する情報及び車両の進行方向情報を前記エンジン制御ユニットへ提供するナビゲーションをさらに含むことを特徴とする請求項１に記載の運転者注視方向連動の前方衝突危険警報システム。
  3. 前記エンジン制御ユニットの制御に従い警告音を出力する警告音出力部をさらに含むことを特徴とする請求項１に記載の運転者注視方向連動の前方衝突危険警報システム。
  4. 前記エンジン制御ユニットは、
    前記顔面方向データから両眼が検出されたかを判断し、両眼が検出された場合、両眼基盤の顔面方向角を算出し、前記両眼が検出されないか片眼のみ検出された場合、顔面輪郭基盤の顔面方向角を算出することを特徴とする請求項１に記載の運転者注視方向連動の前方衝突危険警報システム。
  5. 前記エンジン制御ユニットは、
    前記顔面方向データで左眼の中心、右眼の中心及び鼻の中心を基準に三角形を作った後、前記左眼の中心と前記右眼の中心の中間地点と前記鼻の中心を繋ぎ、前記左眼の中心と前記右眼の中心の中間地点で直角になる垂直線を引いた地点を前記鼻の中心と繋いで二等辺直角三角形になるようにし、前記二等辺直角三角形の前記左眼の中心と前記右眼の中心の中間地点を向く角を算出することにより、前記両眼基盤の方向角を算出することを特徴とする、請求項４に記載の運転者注視方向連動の前方衝突危険警報システム。
  6. 前記エンジン制御ユニットは、
    前記顔面方向データで、前記運転者の顔面の右側端位置と前記運転者の顔面の左側端位置との間の距離、前記運転者の顔面の右側端位置と鼻の中心位置との間の距離、及び前記運転者の顔面の左側端位置と前記鼻の中心位置との間の距離を利用し、前記顔面輪郭基盤の方向角を算出することを特徴とする、請求項４に記載の運転者注視方向連動の前方衝突危険警報システム。
  7. 前記エンジン制御ユニットは、
    前記運転者の顔面の右端位置と前記運転者の顔面の左端位置との間の距離、前記運転者の顔面の右端位置と鼻の中心位置との間の距離、及び前記運転者の顔面の左端位置と前記鼻の中心位置との間の距離を利用し、前記顔面輪郭基盤の方向角を予め算出してルックアップテーブルを作って格納しておき、前記運転者注視方向認識部から前記顔面データを受信するとき、前記ルックアップテーブルを利用して前記運転者の注視方向を判断することを特徴とする請求項６に記載の運転者注視方向連動の前方衝突危険警報システム。
  8. 前記運転者注視方向認識部はカメラであることを特徴とする請求項１に記載の運転者注視方向連動の前方衝突危険警報システム。
  9. 前記障害物感知部はレーダー、カメラ、レーザー又は超音波センサの何れか１つであり、
    前記障害物感知部は、前記運転者が注視する方向と連動してモーターにより方向が変動されることを特徴とする請求項１に記載の運転者注視方向連動の前方衝突危険警報システム。
  10. 交差点進入時に交差点情報及び自車の進行方向情報を受信する過程と、
    運転者の注視方向を判断する過程と、
    前記運転者が注視しない方向に対する障害物を感知する過程と、
    前記障害物感知の結果、前記障害物の有無に従い前記自車の進行方向に進入するか否かを判断する過程と
    を含むことを特徴とする運転者注視方向連動の前方衝突危険警報方法。
  11. 前記運転者の注視方向を判断する過程は、
    前記運転者の顔面を撮影する過程と、
    前記運転者の顔面を撮影したデータから両眼が検出されたのかを判断する過程と、
    前記両眼が検出された場合、両眼基盤の顔面方向角を算出する過程と、
    前記両眼が検出されないか片眼のみ検出された場合、顔面輪郭基盤の顔面方向角を算出する過程と、
    を含むことを特徴とする請求項１０に記載の運転者注視方向連動の前方衝突危険警報方法。
  12. 前記両眼基盤の顔面方向角を算出する過程は、
    前記運転者の顔面を撮影したデータで、左眼の中心、右眼の中心及び鼻の中心を基準に三角形を作った後、前記左眼の中心と前記右眼の中心の中間地点と前記鼻の中心を繋ぎ、前記左眼の中心と前記右眼の中心の中間地点で直角になる垂直線を引いた地点を前記鼻の中心と繋いで二等辺直角三角形になるようにし、前記二等辺直角三角形の前記左眼の中心と前記右眼の中心の中間地点を向く角を算出することにより、前記両眼基盤の方向角を算出することを特徴とする請求項１１に記載の運転者注視方向連動の前方衝突危険警報方法。
  13. 前記顔面輪郭基盤の顔面方向角を算出する過程は、
    前記運転者の顔面を撮影したデータで、前記運転者の顔面の右端位置と前記運転者の顔面の左端位置との間の距離、前記運転者の顔面の右端位置と鼻の中心位置との間の距離、及び前記運転者の顔面の左端位置と前記鼻の中心位置との間の距離を利用し、前記顔面輪郭基盤の方向角を算出することを特徴とする請求項１１に記載の運転者注視方向連動の前方衝突危険警報方法。
  14. 前記障害物を感知する過程は、
    前記運転者の注視方向と連動してレーダー、カメラ、レーザー又は超音波センサの何れか１つの方向をモーターで制御し、前記運転者が注視しない方向の障害物を感知し、障害物の速度を算出して衝突時期を判断することを特徴とする請求項１０に記載の運転者注視方向連動の前方衝突危険警報方法。
  15. 前記障害物が存在する場合、警告音を出力して車両が交差点に進入しないように警告する過程をさらに含むことを特徴とする請求項１０に記載の運転者注視方向連動の前方衝突危険警報方法。
  16. 前記障害物が存在しない場合、アラーム音を出力して車両が交差点に進入するように報知する過程をさらに含むことを特徴とする請求項１０に記載の運転者注視方向連動の前方衝突危険警報方法。
  17. 運転者の注視方向を認識する運転者注視方向認識部と、
    運転者が注視しない方向の障害物を感知する障害物感知部と、
    交差点進入時に前記運転者注視方向認識部から運転者の顔面方向データを受信及び分析して前記運転者が注視する方向を把握し、前記障害物感知部へ前記運転者が注視する方向の反対方向に対する障害物感知を要請し、障害物感知の結果を分析するエンジン制御ユニットと、
    を含むことを特徴とする運転者注視方向連動の前方衝突危険警報システムを用いた車両。
  18. 前記交差点に対する情報及び車両の進行方向情報を前記エンジン制御ユニットへ提供するナビゲーションをさらに含むことを特徴とする請求項１７に記載の運転者注視方向連動の前方衝突危険警報システムを用いた車両。
  19. 前記エンジン制御ユニットは、
    前記顔面方向データから両眼が検出されたかを判断し、両眼が検出された場合、両眼基盤の顔面方向角を算出し、前記両眼が検出されないか片眼のみ検出された場合、顔面輪郭基盤の顔面方向角を算出することを特徴とする請求項１７に記載の運転者注視方向連動の前方衝突危険警報システムを用いた車両。
  20. 前記障害物感知部はレーダー、カメラ、レーザー又は超音波センサの何れか１つであることを特徴とする請求項１７に記載の運転者注視方向連動の前方衝突危険警報システムを用いた車両。
JP2010264864A 2010-10-11 2010-11-29 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両 Active JP5863233B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100098894A KR101231510B1 (ko) 2010-10-11 2010-10-11 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
KR10-2010-0098894 2010-10-11

Publications (2)

Publication Number Publication Date
JP2012084108A true JP2012084108A (ja) 2012-04-26
JP5863233B2 JP5863233B2 (ja) 2016-02-16

Family

ID=45872467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010264864A Active JP5863233B2 (ja) 2010-10-11 2010-11-29 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両

Country Status (5)

Country Link
US (1) US8862380B2 (ja)
JP (1) JP5863233B2 (ja)
KR (1) KR101231510B1 (ja)
CN (1) CN102442248B (ja)
DE (1) DE102010061922B4 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016049890A (ja) * 2014-09-01 2016-04-11 三菱電機株式会社 車両用照射制御システムおよび画像照射の制御方法
CN107215335A (zh) * 2017-06-01 2017-09-29 北京交通大学 基于微观驾驶的交通安全风险反馈预警***及预警方法
US10137893B2 (en) * 2016-09-26 2018-11-27 Keith J. Hanna Combining driver alertness with advanced driver assistance systems (ADAS)
CN110015234A (zh) * 2017-12-01 2019-07-16 斯特拉德视觉公司 驾驶辅助方法和使用其的驾驶辅助装置
CN111210661A (zh) * 2020-01-16 2020-05-29 北京汽车集团有限公司 交叉路口车辆防碰撞方法及装置
WO2020238850A1 (en) * 2019-05-29 2020-12-03 Ningbo Geely Automobile Research & Development Co., Ltd. A system and method for providing a desired view for a vehicle occupant

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9649972B2 (en) 2011-04-07 2017-05-16 Pioneer Corporation System for detecting surrounding conditions of moving body
US9043133B2 (en) * 2011-12-29 2015-05-26 Intel Corporation Navigation systems and associated methods
DE102012214852B4 (de) * 2012-08-21 2024-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
EP2752349A1 (en) * 2013-01-04 2014-07-09 Continental Automotive Systems, Inc. Driver assistance system and method
US9064420B2 (en) * 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
DE202013006467U1 (de) * 2013-07-18 2014-10-22 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrzeugumfeld-Überwachungssystem
DE102013216994A1 (de) * 2013-08-27 2015-03-05 Robert Bosch Gmbh Geschwindigkeitsassistent für ein Kraftfahrzeug
US20150371517A1 (en) * 2014-06-18 2015-12-24 Lynn Daniels System and method that facilitates disseminating proximity based alert signals
US9558666B2 (en) 2014-12-02 2017-01-31 Robert Bosch Gmbh Collision avoidance in traffic crossings using radar sensors
CN105711492A (zh) * 2014-12-02 2016-06-29 财团法人金属工业研究发展中心 障碍物警示***及其运作方法
DE202014009919U1 (de) * 2014-12-15 2016-03-16 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrerassistenzsystem
CN105774809B (zh) * 2014-12-26 2019-01-08 ***通信集团公司 一种行车盲区提示的方法和装置
KR102239992B1 (ko) * 2014-12-26 2021-04-14 주식회사 만도 차량 충돌 경고 방법 및 장치
CN104715235A (zh) * 2015-02-10 2015-06-17 锦州铁道勘察设计院有限公司 列车司机状态识别报警方法
DE102015206200A1 (de) * 2015-04-08 2016-10-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aufmerksamkeitserkennung eines Fahrzeugführers
CN104760537A (zh) * 2015-04-21 2015-07-08 重庆大学 一种新型车载安全驾驶辅助***
US9443426B1 (en) 2015-11-13 2016-09-13 Byron Paul Formwalt Method and device for sensing traffic flow and notifying motor vehicle drivers of the same
JP6310899B2 (ja) 2015-11-25 2018-04-11 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6200481B2 (ja) * 2015-11-25 2017-09-20 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US9964642B2 (en) 2016-02-04 2018-05-08 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle with system for detecting arrival at cross road and automatically displaying side-front camera image
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
US20180217671A1 (en) * 2016-02-23 2018-08-02 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
US10115025B2 (en) * 2016-06-13 2018-10-30 Ford Global Technologies, Llc Detecting visibility of a vehicle to driver of other vehicles
CN110167823B (zh) * 2016-07-01 2022-08-12 视力移动技术有限公司 用于驾驶员监测的***和方法
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3513265A4 (en) 2016-09-14 2020-04-22 Nauto Global Limited SYSTEMS AND METHODS FOR DETERMINING ALMOST COLLISIONS
CN106274693A (zh) * 2016-09-26 2017-01-04 惠州Tcl移动通信有限公司 一种驾车行驶中进行提醒的方法、***及电子设备
JP7290567B2 (ja) 2016-11-07 2023-06-13 ナウト，インコーポレイテッド 運転者の注意散漫決定のためのシステム及び方法
KR20180060860A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 객체들 간의 충돌을 방지하는 충돌 방지 장치 및 방법
JP6551384B2 (ja) * 2016-12-26 2019-07-31 トヨタ自動車株式会社 車両用注意喚起装置
DE102017207960A1 (de) * 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
TWI653170B (zh) 2017-11-01 2019-03-11 宏碁股份有限公司 駕駛提示方法與系統
DE102017221202B3 (de) 2017-11-27 2018-12-27 Audi Ag Fahrzeugsteuersystem für autonom fahrendes Kraftfahrzeug
US10458787B2 (en) * 2017-12-14 2019-10-29 Hyundai Motor Company System and method for measuring direction of face of driver in vehicle
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
CN109326096B (zh) * 2018-09-14 2020-12-15 住友富士电梯有限公司 一种电梯安全语音提示***及其控制方法
CN109515316A (zh) * 2018-10-17 2019-03-26 上海工程技术大学 一种交叉路口智能驾驶辅助***及方法
KR20200084473A (ko) * 2019-01-02 2020-07-13 현대모비스 주식회사 교차로 검출 장치 및 그 방법
US11505181B2 (en) * 2019-01-04 2022-11-22 Toyota Motor Engineering & Manufacturing North America, Inc. System, method, and computer-readable storage medium for vehicle collision avoidance on the highway
JP7180421B2 (ja) * 2019-02-04 2022-11-30 トヨタ自動車株式会社 車両制御装置
US10755571B1 (en) * 2019-03-01 2020-08-25 Amazon Technologies, Inc. Identifying parking location using single camera reverse projection
DE102019208663B4 (de) * 2019-06-14 2021-01-14 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
WO2022011517A1 (zh) * 2020-07-13 2022-01-20 深圳盈天下视觉科技有限公司 红外定位方法、红外定位装置及红外定位***
KR102597068B1 (ko) * 2021-11-16 2023-10-31 전남대학교 산학협력단 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법
WO2023158126A1 (ko) * 2022-02-16 2023-08-24 주식회사 엘지유플러스 원격주행 지원 시스템 및 이를 활용한 방법
CN116811720B (zh) * 2023-08-28 2024-01-23 常州星宇车灯股份有限公司 一种基于追踪眼球动态的灯具控制***及灯具控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243398A (ja) * 1993-02-15 1994-09-02 Mitsubishi Electric Corp 車両予防安全装置
US20040239509A1 (en) * 2003-06-02 2004-12-02 Branislav Kisacanin Target awareness determination system and method
JP2006215728A (ja) * 2005-02-02 2006-08-17 Matsushita Electric Ind Co Ltd 運転情報提供装置
JP2009279186A (ja) * 2008-05-22 2009-12-03 Toyota Motor Corp 顔検出装置及び顔検出方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689792B2 (ja) * 1991-10-30 1997-12-10 日産自動車株式会社 立体音場警報装置
JPH05290299A (ja) 1992-04-09 1993-11-05 Mazda Motor Corp 車両の障害物検知装置
EP0678731B1 (en) * 1994-04-15 1999-06-30 Nissan Motor Co., Ltd. Vehicle navigation system
US6370475B1 (en) * 1997-10-22 2002-04-09 Intelligent Technologies International Inc. Accident avoidance system
AU705003B2 (en) * 1995-06-12 1999-05-13 Toyoda Gosei Co. Ltd. Information indicator for vehicle
KR19980011972U (ko) * 1996-08-23 1998-05-25 김영귀 차량용 미러제어장치
JPH1153686A (ja) * 1997-07-31 1999-02-26 Toyota Motor Corp 交差点警報装置
JPH11139229A (ja) 1997-11-11 1999-05-25 Mitsubishi Electric Corp 走行環境監視警報装置
US6606027B1 (en) * 1998-09-14 2003-08-12 Michael J. Reeves Vehicle safety sensor system
US6516273B1 (en) * 1999-11-04 2003-02-04 Veridian Engineering, Inc. Method and apparatus for determination and warning of potential violation of intersection traffic control devices
US6617981B2 (en) * 2001-06-06 2003-09-09 John Basinger Traffic control method for multiple intersections
JP2002367100A (ja) 2001-06-12 2002-12-20 Nissan Motor Co Ltd 運転者状態検出装置
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
US8068036B2 (en) * 2002-07-22 2011-11-29 Ohanes Ghazarian Intersection vehicle collision avoidance system
DE10254403A1 (de) * 2002-11-21 2004-06-03 Lucas Automotive Gmbh System zur Beeinflussung der Geschwindigkeit eines Kraftfahrzeuges
JP3736520B2 (ja) * 2002-12-19 2006-01-18 株式会社デンソー 車両用障害物認識装置
JP4118773B2 (ja) * 2003-09-11 2008-07-16 日産ディーゼル工業株式会社 視線方向検出装置及び視線方向検出方法
KR20050042399A (ko) * 2003-11-03 2005-05-09 삼성전자주식회사 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법
JP2005153660A (ja) 2003-11-25 2005-06-16 Fujitsu Ten Ltd 運転支援装置
US7347479B2 (en) * 2004-04-21 2008-03-25 Asmo Co., Ltd. Sunvisor device for a vehicle
JP4604691B2 (ja) 2004-12-07 2011-01-05 日産自動車株式会社 車両用警報装置、車両周囲状況の警報方法
JP2006227905A (ja) * 2005-02-17 2006-08-31 Toyota Motor Corp 車両用情報報知装置
JP4852941B2 (ja) 2005-09-05 2012-01-11 トヨタ自動車株式会社 車載警報装置
KR100870782B1 (ko) 2005-10-27 2008-11-26 옥윤선 사각지대용 반사경 및 이를 이용한 교통안전 시스템
CN101356078B (zh) * 2005-12-12 2012-07-18 松下电器产业株式会社 安全行驶辅助装置
US7953253B2 (en) * 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
JP2007249757A (ja) 2006-03-17 2007-09-27 Denso It Laboratory Inc 警報装置
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
US7692551B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
JP4961934B2 (ja) 2006-10-11 2012-06-27 株式会社デンソー 運転支援装置
CN101173859A (zh) * 2006-10-31 2008-05-07 佛山市顺德区顺达电脑厂有限公司 感应导航装置和方法
JP4824627B2 (ja) * 2007-05-18 2011-11-30 富士フイルム株式会社 自動焦点調節装置及び自動焦点調節方法並びに撮像装置及び撮像方法
US8174555B2 (en) * 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
JP2009014560A (ja) * 2007-07-05 2009-01-22 Denso Corp 障害物検出装置
JP4506790B2 (ja) * 2007-07-05 2010-07-21 アイシン・エィ・ダブリュ株式会社 道路情報生成装置、道路情報生成方法および道路情報生成プログラム
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP5121506B2 (ja) * 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5071162B2 (ja) * 2008-03-05 2012-11-14 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
KR100941236B1 (ko) * 2008-03-31 2010-02-10 현대자동차주식회사 전방 미주시 운전 검출 경보 시스템
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
KR100892518B1 (ko) 2008-05-07 2009-04-10 현대자동차주식회사 후측방 경보시스템
JP2009278325A (ja) * 2008-05-14 2009-11-26 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
KR20110132437A (ko) * 2009-03-04 2011-12-07 콘티넨탈 테베스 아게 운트 코. 오하게 차량의 주행 거동을 자동으로 인식하기 위한 방법 및 이러한 방법을 구현한 운전자 지원 시스템
EP2485118A4 (en) * 2009-09-29 2014-05-14 Alcatel Lucent METHOD FOR DETECTING VISUALIZATION POINTS AND CORRESPONDING APPARATUS
JP5613398B2 (ja) * 2009-10-29 2014-10-22 富士重工業株式会社 交差点運転支援装置
US8576065B2 (en) * 2009-12-03 2013-11-05 Bi Incorporated Systems and methods for variable collision avoidance
US8395530B2 (en) * 2010-03-11 2013-03-12 Khaled Jafar Al-Hasan Traffic control system
JP5033902B2 (ja) * 2010-07-01 2012-09-26 本田技研工業株式会社 脇見判定装置
US8688365B2 (en) * 2012-01-18 2014-04-01 International Business Machines Corporation Method and system for detection of motor vehicle movement to avoid collisions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243398A (ja) * 1993-02-15 1994-09-02 Mitsubishi Electric Corp 車両予防安全装置
US20040239509A1 (en) * 2003-06-02 2004-12-02 Branislav Kisacanin Target awareness determination system and method
JP2006215728A (ja) * 2005-02-02 2006-08-17 Matsushita Electric Ind Co Ltd 運転情報提供装置
JP2009279186A (ja) * 2008-05-22 2009-12-03 Toyota Motor Corp 顔検出装置及び顔検出方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016049890A (ja) * 2014-09-01 2016-04-11 三菱電機株式会社 車両用照射制御システムおよび画像照射の制御方法
US10137893B2 (en) * 2016-09-26 2018-11-27 Keith J. Hanna Combining driver alertness with advanced driver assistance systems (ADAS)
CN107215335A (zh) * 2017-06-01 2017-09-29 北京交通大学 基于微观驾驶的交通安全风险反馈预警***及预警方法
CN110015234A (zh) * 2017-12-01 2019-07-16 斯特拉德视觉公司 驾驶辅助方法和使用其的驾驶辅助装置
CN110015234B (zh) * 2017-12-01 2022-08-19 斯特拉德视觉公司 驾驶辅助方法和使用其的驾驶辅助装置
WO2020238850A1 (en) * 2019-05-29 2020-12-03 Ningbo Geely Automobile Research & Development Co., Ltd. A system and method for providing a desired view for a vehicle occupant
CN111210661A (zh) * 2020-01-16 2020-05-29 北京汽车集团有限公司 交叉路口车辆防碰撞方法及装置

Also Published As

Publication number Publication date
KR101231510B1 (ko) 2013-02-07
CN102442248B (zh) 2016-03-16
DE102010061922B4 (de) 2023-02-23
US20120089321A1 (en) 2012-04-12
DE102010061922A1 (de) 2012-04-12
KR20120037253A (ko) 2012-04-19
US8862380B2 (en) 2014-10-14
CN102442248A (zh) 2012-05-09
JP5863233B2 (ja) 2016-02-16

Similar Documents

Publication Publication Date Title
JP5863233B2 (ja) 運転者注視方向連動の前方衝突危険警報システム、その方法及びそれを利用した車両
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
US10086757B2 (en) Display device
US20210064030A1 (en) Driver assistance for a vehicle and method for operating the same
JP5345350B2 (ja) 車両の運転支援装置
JP5179686B2 (ja) 運転行動危険度演算装置
JP4683192B2 (ja) 車両用死角監視装置及び車両用運転支援システム
JP2004362586A (ja) 車両用画像処理システム
JP2006227811A (ja) 運転支援装置
US11238739B2 (en) Method and apparatus to prevent VRU accidents
CN105830131A (zh) 用于检测行人相对于车辆轨迹的侧向位置的装置
JP4502844B2 (ja) 警告装置及び警告方法
JP6296684B2 (ja) 運転支援装置
KR20180126224A (ko) 차량 주행 중 장애물 정보 제공 장치 및 방법
KR102621245B1 (ko) 차량 및 그 제어방법
JP2004210213A (ja) 情報提供装置
US20230182722A1 (en) Collision avoidance method and apparatus
JP5459002B2 (ja) 車両制御装置
KR20230116122A (ko) 차량, 차량 충돌방지 시스템 및 충돌방지 방지 방법
KR101763389B1 (ko) 운전 부주의 경고 방법 및 시스템
US20240075960A1 (en) Device and method for notifying vehicle arrival to respond to transportation vulnerable
US20240173179A1 (en) Apparatus and method for guiding the transportation vulnerable
CN114207685B (en) Autonomous vehicle interaction system
KR20230071575A (ko) 차량 충돌 방지 시스템 및 이를 구비한 차량 및 충돌 방지 방법
KR20230129076A (ko) 과적 차량 충돌 방지 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151222

R150 Certificate of patent or registration of utility model

Ref document number: 5863233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250