JP2010132053A - 前照灯制御装置 - Google Patents

前照灯制御装置 Download PDF

Info

Publication number
JP2010132053A
JP2010132053A JP2008308148A JP2008308148A JP2010132053A JP 2010132053 A JP2010132053 A JP 2010132053A JP 2008308148 A JP2008308148 A JP 2008308148A JP 2008308148 A JP2008308148 A JP 2008308148A JP 2010132053 A JP2010132053 A JP 2010132053A
Authority
JP
Japan
Prior art keywords
optical flow
bright spot
road
vehicle
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008308148A
Other languages
English (en)
Other versions
JP5363085B2 (ja
Inventor
Masaji Kobayashi
正自 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to JP2008308148A priority Critical patent/JP5363085B2/ja
Priority to US12/628,617 priority patent/US8115394B2/en
Publication of JP2010132053A publication Critical patent/JP2010132053A/ja
Application granted granted Critical
Publication of JP5363085B2 publication Critical patent/JP5363085B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/12Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to steering position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05Special features for controlling or switching of the light beam
    • B60Q2300/056Special anti-blinding beams, e.g. a standard beam is chopped or moved in order not to blind
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10Indexing codes relating to particular vehicle conditions
    • B60Q2300/11Linear movements of the vehicle
    • B60Q2300/112Vehicle speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10Indexing codes relating to particular vehicle conditions
    • B60Q2300/12Steering parameters
    • B60Q2300/122Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/32Road surface or travel path
    • B60Q2300/322Road curvature
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/33Driving situation
    • B60Q2300/332Driving situation on city roads
    • B60Q2300/3321Detection of streetlights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/41Indexing codes relating to other road users or special conditions preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/42Indexing codes relating to other road users or special conditions oncoming vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 車両において撮像した自車の前方領域の画像における輝点オプティカルフローの属性を高い信頼度で推定して適切な前照灯の制御を可能にする。
【解決手段】 車両に設けられて配光が制御可能なヘッドランプLHL,RHLと、自車の少なくとも前方を撮像する撮像カメラ5と、撮像カメラ5で撮像した撮像画像に基づいて所要の演算を行ってヘッドランプの配光を制御する配光ECU1と画像処理ECU2を備える。撮像画像に基づいて道路形状を検出する道路形状検出部22と、検出した道路情報に基づいて少なくとも1つの属性についての基準オプティカルフローを生成する基準オプティカルフロー生成部23と、撮像画像中の対象となる輝点についてのオプティカルフローを計測する輝点オプティカルフロー計測部24と、基準オプティカルフローと輝点オプティカルフローとを比較し、この比較に基づいて対象となる輝点オプティカルフローの属性を推定する属性推定部25とを備える。
【選択図】 図1

Description

本発明は自動車等の車両の前照灯(ヘッドランプ)の照射方向を車両の操舵角変化に追従して偏向制御するAFS(適応型照明システム:Adaptive Front-lighting System) を適用した前照灯制御装置に関し、特に自車の前方に存在する他車への眩惑を防止する等、前照灯の配光を好適に制御することが可能な前照灯制御装置に関するものである。
自動車の運転走行の安全性を高めるためにステアリングホイールの操舵角の変化に追従してヘッドランプの照射方向を左右方向に偏向制御するAFSが提案されている。このシステムによれば、ヘッドランプの照射方向を直進方向のみではなく、運転者が操舵する方向、すなわち自動車が走行しようとする方向に向けることができ運転の安全性を高める上で有効である。しかし、単に操舵角に基づいてヘッドランプの照射方向を制御するのみでは、自車の前方に存在する対向車や先行車に対して眩惑を生じるおれそがあるため、対向車や先行車を検出できるようにし、対向車や先行車を検出したときにはヘッドランプの照射方向を路肩方向あるいは下方に制御することが好ましい。
対向車や先行車を検出する技術として自車の前方領域を撮像カメラにより撮像し、撮像した画像を画像解析する手法がある。この撮像した画像を解析する技術では昼間時には対向車や先行車を例えばSOBEL演算等によって輪郭を求めることで画像認識できるが、夜間ではこの技術が用いることが難しい。そのため、対向車のヘッドランプ光や先行車のテールランプ光等の撮像した画像中の明るい点(輝点)を利用して認識する技術が考えられる。例えば、撮影した画像中の起点の色相を検出することで白色又はこれに近い色相の光を対向車のヘッドランプ光であるとし、赤色の光を先行車のテールランプ光であると認識する。しかし、道路には自発光する照明灯や、自車のヘッドランプ光を反射して路肩を表示するデリニエータが存在するため、これらの光を区別する必要がある。このような技術として、オプティカルフローを利用した技術が提案されている。例えば、特許文献1ではオプティカルフローを利用して移動物体や静止物体の検出を可能にした技術が提案されており、これから静止物体を除いた移動物体のみを検出することで対向車や先行車等を検出することが可能とされている。
特開2007−334859号公報
特許文献1のようにオプティカルフローを利用して照明灯やデリニエータを検出する場合、オプティカルフローを得るための輝点が画像中の1点から特定の点に向けて移動しながら消失する際の消失点を認識することが有効である。例えば、図8は対向二車線の直線道路を走行する自車の前方を撮像した画像の概略図であり、センターラインCLの左側に自車線ラインL1と自車線側路肩ラインL2とで自車線が形成され、対向車線ラインL3と対向車線側路肩ラインL4とで対向車線が形成され、両路肩ラインL2,L4に沿って高所に照明灯LLが配列され、低所にデリニエータDLが配列されている。自車の撮像カメラよりも高所に配設されている照明灯LLは画像の水平線Hよりも高い位置に撮像され、自車の撮像装置よりも低所に配設されているデリニエータは反対に水平線Hよりも低い位置に撮像される。直線路を走行している場合には照明灯LLやデリニエータDLの各基点の移動軌跡として表される各オプティカルフローの消失点は自車の直進方向、すなわち撮像した画像の水平線と垂直線の交点の中心位置になるので、このことから照明灯やデリニエータの各オプティカルフローを推定することは可能である。しかし、後述するように道路が右又は左に曲がっている曲路の場合や、上り坂又は下り坂の場合には消失点は画像の中心位置にならないため、消失点からのみでオプティカルフローの属性、すなわち照明灯やデリニエータ等を推定することは困難である。
このように、消失点が直進方向に向けられている場合にはオプティカルフローが照明灯やデリニエータ等であることの属性を推定することができ、しかもその確率も高い。しかし、消失点が直進方向以外の場合にはそれだけではオプティカルフローの属性を推測することは難しい。この場合には道路が曲路であるか、若しくは上り坂あるいは下り坂であるかの道路情報を取得し、得られた道路情報を勘案して輝点の属性を推定することになる。道路情報としてナビゲータ装置の道路情報を利用することが考えられるが、ナビゲータ装置の道路情報は精度が低く、特に曲路のような道路ではナビゲータ装置から得られる道路情報では曲路の曲率半径に高い精度を得ることは困難であり、結果として当該オプティカルフローが道路に沿って配設されたものであるのか否かの判定が困難となり、オプティカルフローの属性を高い信頼度で推定することが難しい。そのため、曲路や坂道等を走行する対向車や先行車を高い信頼度で検出することは困難であり、前照灯の適切な制御が困難になる。
本発明の目的は、撮像した画像におけるオプティカルフローの属性を高い信頼度で推定し、対向車や先行車等に対する眩惑を防止する等の好適な前照灯の制御を可能にした前照灯制御装置を提供するものである。
本発明の前照灯制御装置は、車両に設けられて配光が制御可能な前照灯(ヘッドランプ)と、自車の少なくとも前方を撮像する撮像手段と、撮像手段で撮像した撮像画像に基づいて所要の演算を行って前照灯の配光を制御する配光制御手段とを備え、制御手段は、撮像画像に基づいて道路形状を検出する道路形状検出手段と、検出した道路情報に基づいて少なくとも1つの属性についての基準オプティカルフローを生成する基準オプティカルフロー生成手段と、撮像画像中の対象となる輝点についてのオプティカルフローを計測する輝点オプティカルフロー計測手段と、基準オプティカルフローと輝点オプティカルフローとを比較し、この比較に基づいて対象となる輝点オプティカルフローの属性を推定する属性推定手段とを備えることを特徴とする。
本発明によれば、撮像画像から道路形状を検出し、検出した道路形状に基づいて基準オプティカルフローを生成し、さらに撮像画像から計測される輝点オプティカルフローを基準オプティカルフローと比較することで当該輝点オプティカルフローの属性を推定しているので、極めて高い信頼度で輝点オプティカルフローの属性を推定することができる。これにより、撮像画像において対向車や先行車を高い信頼度で検出することが可能になり、対向車や先行車を眩惑することがない好適なヘッドランプの配光制御が実現できる。
本発明において、属性推定手段は、比較した基準オプティカルフローと輝点オプティカルフローとの誤差が所定の範囲内のときに当該輝点オプティカルフローが当該基準オプティカルフローの属性であると推定する。検出した道路形状において誤差が生じている場合や、道路形状に基づいて得られる基準オプティカルフローにおいて誤差が生じている場合でも、輝点オプティカルフローの属性を高い信頼度で推定することが可能になる。
また、本発明において、道路形状検出手段は、撮像画像のレーンマークや路肩を検出し、検出したレーンマークや路肩に基づいて曲路の曲率半径を演算する手段を備える。特に、道路形状検出手段は曲路に進入する前に当該曲路の曲率半径を演算することを特徴とする。曲路の曲率半径を高い信頼度で検出することができるので、曲路に配設される照明灯やデリニエータ等の静止体の属性に基づく基準オプティカルフローを正確に得ることができ、結果として輝点オプティカルフローの属性を高い信頼度で推定することができる。
次に、本発明の実施例1を説明する。図1は本発明を適用した実施例1の構成を示す概念図である。左右のヘッドランプLHL,RHLはスイブル装置LSV,RSVにより左右に偏向動作が可能とされている。前記スイブル装置LSV,RSVは配光ECU1により制御される。配光ECU1は車内LAN7に接続されており、この車内LAN7には自車の車速を検出する車速センサ3と、自車の操舵角を検出する操舵角センサ4が接続される。また、自車の前方領域を撮像する撮像カメラ5が自車の前部、例えばフロントガラスの上辺の一部に配設されており、前記車内LAN7に接続される。さらに、撮像カメラ5で撮像して得られる画像データを処理することで、自車が走行する道路の両側に配設されている照明灯やデリニエータ等の静止体や、当該道路を走行している対向車や先行車等の移動体を検出するための画像処理ECU2が前記車内LANに接続される。また、実施例1では自車に搭載しているナビゲータ装置6も車内LAN7に接続されている。
前記配光ECU1は、操舵角センサ4で検出した操舵角と車速センサ3で検出した車速に基づいて自車における適切なスイブル角を演算するスイブル角演算部11と、演算されたスイブル角に基づいて左右のヘッドランプLHL,RHLが演算したスイブル角となるように各スイブル装置LSV,RSVを制御するスイブル制御部12とを備えており、検出した操舵角や車速に基づいて両ヘッドランプLHL,RHLの光軸を偏向制御する。また、この配光ECU1は、後述するように画像処理ECU2において対向車や先行車を検出したときには、スイブル装置LSV,RSVを制御してヘッドランプLHL,RHLの照射方向を変化させ、あるいはその明るさ(光度)を制御する等して対向車や先行車を眩惑することがないような制御を行う眩惑回避部13を備えている。
画像処理ECU2は、前記撮像カメラ5で撮像した自車の前方の画像から得られる画像データを格納する画像データ格納部21を備える。また、この画像データ格納部21に格納された画像データ、換言すれば画像データで構成される撮像画像に基づいて自車の前方に存在する静止体と移動体を検出するために、撮像画像中の道路に描かれたレーンマークや道路の路肩を検出して道路形状を検出する道路形状検出部22を備える。さらに、検出した道路形状に基づいて静止体の属性についての基準オプティカルフローを生成する基準オプティカルフロー生成部23を備える。また、撮像画像の検出対象となる輝点についてのオプティカルフローを計測する輝点オプティカルフロー計測部24を備える。さらに、生成された基準オプティカルフローと計測された輝点オプティカルフローとを比較し、この比較に基づいて対象となる輝点オプティカルフローの属性を推定する属性推定部25とを備える。この属性推定部25では、輝点オプティカルフローの属性として静止体を推定することができ、特に静止体としては照明灯やデリニエータであるかを推定する。また、静止体ではない輝点あるいは輝点オプティカルフローに基づいて移動体としての対向車や先行車であるかを推定する。
ここで、先に実施例1の前照灯制御装置の全体動作を図2の全体フローを参照して説明する。自車の走行に際し、配光ECU1はスイブル角演算部11において自車の車速センサ3から得られる車速や操舵角センサ4から得られる操舵角に基づいて適切なスイブル角を演算し、スイブル制御部12はこの演算されたスイブル角に基づいて左右のヘッドランプLHL,RHLの各スイブル装置LSV,RSVをスイブル制御する(S10)。これと同時に画像処理ECU2は撮像カメラ5で撮像した自車の前方領域の画像の画像データを得て画像データ格納部21に格納する(S11)。道路形状検出部22は撮像されかつ格納された画像データから、換言すれば撮像画像から撮像されているレーンマークや道路の路肩を検出し、これらのレーンマークや路肩の検出情報に基づいて自車の前方の道路形状(直線路、上り坂、下り坂、曲路等)を検出する(S12)。
次いで、基準オプティカルフロー生成部23は検出した道路形状に基づいて照明灯やデリニエータ等のオプティカルフローを基準オプティカルフローとして生成する(S13)。この基準オプティカルフーは照明灯やデリニエータの各々について生成されるので複数の基準オプティカルフローが得られることがある。輝点オプティカルフロー計測部24は、撮像画像から輝点を検出し、これら輝点のオプティカルフローを計測する(S14)。そして、属性推定部25は、生成された基準オプティカルフローと計測された少なくとも1つの輝点オプティカルフローを比較し、比較した結果、計測した1つ以上の輝点オプティカルフローのうち、基準オプティカルフローと一致し、あるいは所定の誤差範囲内で一致する輝点オプティカルフローを検出したときには、当該輝点オプティカルフローは当該基準オプティカルフローに相当する属性であると推定する(S15)。すなわち、道路形状に基づいて一義的に決まる静止体であると属性が推定される。静止体であると属性が推定された以外の輝点オプティカルフローは移動体であると推定される。その上で、移動体であると推定された輝点又は輝点オプティカルフローから対向車と先行車を推定する。配光ECU1は眩惑回避部13において推定した対向車や先行車に基づいてこれらを眩惑することがないようにスイブル角を補正し、あるいは光度を低下する等して眩惑回避制御を実行する(S16)。
前記道路形状検出部22は、撮像された画像の画像データに対して例えばSOBEL演算等を行って画像の輪郭を抽出し、この輪郭に基づいて道路に引かれたレーンマークや路肩等の道路形状と密接のある情報(ここでは道路形状情報と称する)を検出する。そして、この道路形状情報から自車の前方の道路が直線路であるか曲路であるかを検出する。図3及び図4は画像データを撮像カメラでの撮像面に対応させて模式的に示す図であり、対向二車線道路においてセンターラインCL、自車線ラインL1と路肩ラインL2,対向車線ラインL3と路肩ラインL4を示している。図3(a)に示すように、道路形状情報が水平線Hと垂直線Vの交点O(以下、中心点と称する)に向けて収束しかつ消失しているときには直線路であると検出する。図3(b)のように道路形状情報が画像の右辺又は左辺、ここでは右辺に向けて収束しながら消失しているときには右曲路又は左曲路、ここでは右曲路であると検出する。図4(a)のように道路形状情報が画像の上方に向けて収束して行くが水平線よりも上側の領域又は上辺において収束が完了せず途中で消失しているときには走行先が上り坂であると検出する。図4(b)のように道路形状情報が画像の上方に向けて収束して行くが画像の水平線よりも下側の領域又は水平線の近傍で収束が完了せず消失しているときには走行先が下り坂であると検出する。さらに、上り坂曲路や下り坂曲路の場合についても検出可能であるが、ここでは説明は省略する。
曲路の検出に際しては、自車が曲路に進入しているときにはそのときの操舵角から求めることが可能であるが、自車が曲路に進入する時点、あるいは進入直後では操舵角は直進方向に向けられているため操舵角から曲率半径を求めることはできない。この場合、ナビゲータ装置の情報に基づいて曲路の曲率半径を得ることも不可能ではないが精度に問題がある。ここでは、撮像された画像に基づいて曲率半径を得ている。得られた道路形状情報のうち、検出した路肩やレーンマークが左側又は右側に凸状をしている頂点をCP(クリッピングポイント)とする。このCPは図3(b)の例では対向車線側の路肩ラインL4に相当する。自車が曲路に進入する直前においては、図5(a)に示すように、点Aに自車が存在し、その右に曲率半径Rの曲路が存在し、自車の中心(カメラ位置)と曲路との間の距離をdとする。CPは点Aと半径Rの接点Dである。半径Rの縁と点Aの接点はAOの二等分点Cを中心に半径rの縁を描く。この半径rの縁と半径Rの縁の交点D,Eが点Aと半径Rの縁の接点となる。ここで、CPの偏角θは例えば図3(b)の場合には同図に示すθと同じである。
θ=acos〔R/(d+R)〕
の関係がある。これから、
R=d・cosθ/(1−cosθ)
が得られる。
一方、自車が曲路に進入する手前の所定距離の位置に存在するときには、図5(b)に自車と前方の曲路の平面図を示すように、自車の前方における自車と道路の点CPとを結ぶ変位角θが演算でき、この変位角θに基づいて点CPが含まれる曲路の曲率半径Rを演算することができる。すなわち、点Aに自車が存在し、その右前方の距離yの位置に半径Rの曲路が存在し、自車中心(撮像カメラ位置)と曲路の距離をdとすると、自車の位置A(xa,ya)から点CP(a,b)に接線を引いたときの角度が変位角θとなる。右側路肩までの距離をd、曲路の曲率半径をRとすると、曲路の回転中心Oを原点とした座標を考えると、接線の方程式から、
ax+by=R2…(1)が得られる。
AからCPまでのx方向の距離a’と、y方向の距離b’を画像から検出する。
そして、
xa=a−a’ …(2)
ya=b−b’ …(3)
xa=−(d+R) …(4)
の関係がなりたつので、
(4)式を(2)式に代入し、未知数aについて整理すると、
a=a’−d−R …(5)
このaと(3)式から得られるbを(1)式に代入して整理すると、
〔(d−a’)+R〕・(d+R)+(ya+b’)・ya=R2
これから、
(d−a’)・d+d・R+(d−a’)・R+R2+(ya+b’)・ya=R2
さらに、
(d−a’)・d+(ya+b’)・ya+R〔d+(d−a’)〕=0
故に、
R=〔(d−a’)・d+(ya+b’)・ya〕/(a’−2d)…(6)
となる。ここで、撮像された画像データから、点Aから曲路の開始点までのy方向の距離yaと、自車から路肩までのx方向の距離dを幾何計算し、同時に点Aから点CPまでのx,y方向の距離a’,b’を幾何計算して求めることができるので、これらを(6)式に代入すればRを求めることができる。
基準オプティカルフロー生成部23は、道路形状検出部22において検出した道路形状に基づいて静止体の各属性についての基準オプティカルフローを生成する。例えば、図3(a)に示した直線道路の場合において照明灯の基準オプティカルフローを生成する場合には、図6に二点鎖線で示すように検出した直線道路形状の自車線と対向車線の各路肩ラインL2,L4に沿った位置で道路面(地面)よりも所要の高さ(通常の照明灯が設置される高さ)位置に沿ってほぼ直線状に延長される照明灯基準オプティカルフローLBOFを生成する。デリニエータの場合も同様に検出した道路形状の両側に沿った位置で道路面よりも所要の高さ(通常のデリニエータが設置される高さ)位置に沿ってほぼ直線状に延長されるデリニエータ基準オプティカルフローDBOF(図6の三点鎖線)を生成する。これらの基準オプティカルフローLBOFやDBOFは検出した道路が図3(b)のような曲路の場合にはその道路形状に従って曲線ないし曲線を含む直線状に生成されることは言うまでもない。その他の静止体のオプティカルフローについても同様にして求めることができるが、ここでは説明は省略する。したがって、検出された道路形状に基づき、通常の道路に配設される照明灯やデリニエータ等に対応させて1つ又は複数の基準オプティカルフローを生成することになる。
輝点オプティカルフロー計測部24は、撮像画像に実際に存在する輝点のオプティカルフローを計測する。例えば、図7では照明灯オプティカルフローに相当する未知の輝点オプティカルフローLOFとデリニエータオプティカルフローに相当する未知の輝点オプティカルフローDOFを計測した例を示している。この輝点オプティカルフローについての技術は特許文献1で代表されるように既に提案されている技術であるのでここでは詳細な説明は省略するが、照明灯やデリニエータによる輝点の場合には撮像画像において所定の間隔で配列される複数の輝点が当該配列方向に沿ってしかも自車の車速に対応する速度で位置変化する輝点オプティカルフローとして計測される。一方、対向車や先行車による輝点の場合には撮像画像において1対又は複数対の輝点がそれぞれ独立した状態でしかも自車の車速とは関連の少なく速度で位置変化する輝点オプティカルフローであるとして計測される。図7には先行車の輝点オプティカルフローFOFと対向車の輝点オプティカルフローOOFを合わせて示している。
属性推定部25は、輝点オプティカルフロー計測部24で計測した1つまたは複数の輝点オプティカルフローLOF,DOF,FOF,OOFを基準オプティカルフロー生成部23で生成した基準オプティカルフローLBOF,DBOFと比較し、この比較に基づいて対象となる輝点オプティカルフローの属性を推定する。この属性推定に際しては、輝点オプティカルフローの属性として静止体と移動体とを推定しており、静止体としては輝点が照明灯やデリニエータであるかを推定する。静止体でないと推定した輝点は移動体として推定し、その上でこの移動体が対向車や先行車であるかを推定する。図6及び図7の例では、輝点オプティカルフローLOFとDOFがそれぞれ基準オプティカルフローLBOFとDBOFにほぼ一致するので、前者が照明灯オプティカルフローで、後者がデリニエータオプティカルフローであることが推定できる。また、輝点オプティカルフローFOFとOOFは一致する基準オプティカルフローが存在しないので移動体であると推定できる。
ここで、属性推定部25での推定動作において採用している誤差範囲について次の(1)〜(3)の例について説明する。
(1)道路形状検出部22で演算した曲路は理想的な円弧形状に基づくものであるが、実際の曲路は楕円弧状曲路、放物線状曲路、直線と曲線が複合した曲路等、理想的な円弧形状であることが少ないため、検出した道路形状と、理想的な円弧形状に基づいて生成される基準オプティカルフローとでは誤差が生じることが避けられない。この誤差が属性推定に際しての誤差となる。
(2)自動車の車種等によって撮像カメラの配設位置や高さが異なるため、撮像カメラ5で撮像した撮像画像に基づいて演算される道路形状に違いが生じる。また、同時に撮像した照明灯やデリニエータの撮像画像中における位置にも違いが生じる。さらに、撮像した先行車や対向車のヘッドランプやテールランプの高さ位置も車種によって相違しているため、撮像画像中における位置にも違いが生じる。この違いが属性推定に際しての誤差となる。
(3)自動車のロービームにより照明され、撮像カメラ5で撮像されて認識できるレーンマークや路肩は自車の前方50m程度の範囲であるので、それよりも前方の道路形状を検出することは難しい。この場合には、ナビゲータ装置6から得られる道路情報を加味して道路形状を検出することになるので、ナビゲータ装置6の道路情報に含まれる誤差がそのまま属性推定に際しての誤差となる。
このように、予め誤差を想定しておくことで、基準オプティカルフローと輝点オプティカルフローとを比較したときに誤差が生じていても、この誤差が前記(1)〜(3)において設定される誤差の範囲内であれば両オプティカルフローが一致していると見做し、推定対象となる輝点オプティカルフローが比較対象である基準オプティカルフローの属性であると推定しても、この推定が正しい確率は極めて高いものになる。
また、属性推定部25での移動体の推定について説明する。基準オプティカルフローと輝点オプティカルフローとの比較により対象とする輝点オプティカルフローが静止体であると推定したとき、それ以外の輝点、あるいは輝点オプティカルフローは移動体であると推定する。移動体であると推定した輝点については輝点の色を検出する。輝点の色は輝点を分光分析することで容易に検出でき、赤色であると検出した場合には先行車であると推定し、白色又は所定のヘッドランプ光であると検出した場合には対向車であると推定する。また、同時に自車の車速と撮像画像中での輝点の移動速度とから移動体の速度、移動方向を演算し、当該移動体が自車に接近している場合には対向車、又は自車よりも低速の先行車であると判定する。また、静止体と推定した場合でも輝点に周期性が存在しない場合には停車中の他車、あるいは道路に固定的に設置された標識灯等であると推定する。
このようにして撮像した画像における輝点の属性の推定を行うことで、自車の前方に存在する対向車と先行車を高い精度で検出することができる。 特に、撮像画像における輝点オプティカルフローの消失点が直進方向とは異なる方向に向けられていたり、途中で消失しているような場合においても、撮像画像から道路形状を検出し、検出した道路形状に対して蓋然性の高い基準オプティカルフローを生成しておくことにより、当該消失した輝点オプティカルフローを基準オプティカルフローに対応させることでその属性を高い信頼度で推定することが可能になり、結果として対向車と先行車を高い精度で検出することが可能になる。そして、前述のように配光ECU1は推定した対向車や先行車に基づいてこれらを眩惑することがないようにスイブル角を路肩方向に偏向制御し、あるいはヘッドランプの光度を低下する等の配光制御を実行し、対向車や先行車の眩惑を防止する。
ここで、実施例1では道路の基本的な形状の場合について説明したが、実際には交差点、上り坂や下り坂の曲路、上り坂と下り坂の連続路等のように複雑な道路形状が存在する。この場合においても、これらの複雑な道路形状も実施例1の基本的な道路形状の組み合わせであるので、本発明の技術思想を適用することで本発明を実施することは可能である。また、ナビゲーション装置から得られる道路情報を積極的に利用することでより高い精度の道路形状の検出、ならびに基準オプティカルフローの生成が可能になり、結果として高い信頼度で対向車や先行車の検出が可能になる。
また、以上の説明は本発明において対向車や先行車に対する眩惑を防止するために対向車や先行車を検出する例について説明したが、単に自車が走行する道路に存在する照明灯やデリニエータ、あるいは道路に存在する各種の発光体のみを検出するために本発明を適用することも可能である。
実施例1の構成を示す概念構成図である。 実施例1の全体動作を説明するためのフローチャートである。 道路形状(直線路,曲路)の検出手法を説明するための図である。 道路形状(上り坂,下り坂)の検出手法を説明するための図である。 曲路の曲率半径を検出するための演算方法を説明するための図である。 基準オプティカルフローの一例の図である。 輝点オプティカルフローの一例の図である。 オプティカルフローを得るための直線路の撮像画像の一例である。
符号の説明
1 配光ECU
2 画像処理ECU
3 車速センサ
4 操舵角センサ
5 撮像カメラ
6 ナビゲーション装置
11 スイブル角演算部
12 スイブル制御部
13 眩惑回避部
21 画像データ格納部
22 道路形状検出部
23 基準オプティカルフロー生成部
24 輝点オプティカルフロー計測部
25 属性推定部
LBOF,DBOF 基準オプティカルフロー
LOF,DOF,FOF,OOF 輝点オプティカルフロー

Claims (4)

  1. 車両に設けられて配光が制御可能な前照灯と、自車の少なくとも前方を撮像する撮像手段と、前記撮像手段で撮像した撮像画像に基づいて所要の演算を行って前照灯の配光を制御する配光制御手段とを備え、前記制御手段は、撮像画像に基づいて道路形状を検出する道路形状検出手段と、検出した道路情報に基づいて少なくとも1つの属性についての基準オプティカルフローを生成する基準オプティカルフロー生成手段と、撮像画像中の対象となる輝点についてのオプティカルフローを計測する輝点オプティカルフロー計測手段と、前記基準オプティカルフローと輝点オプティカルフローとを比較し、この比較に基づいて対象となる輝点オプティカルフローの属性を推定する属性推定手段とを備えることを特徴とする前照灯制御装置。
  2. 前記属性推定手段は、比較した基準オプティカルフローと輝点オプティカルフローとの誤差が所定の範囲内のときに当該輝点オプティカルフローが当該基準オプティカルフローの属性であると推定することを特徴とする請求項1に記載の前照灯制御装置。
  3. 前記道路形状検出手段は、撮像画像のレーンマークや路肩を検出し、検出したレーンマークや路肩に基づいて曲路の曲率半径を演算する手段を備えることを特徴とする請求項1又は2に記載の前照灯制御装置。
  4. 前記道路形状検出手段は曲路に進入する前に当該曲路の曲率半径を演算することを特徴とする請求項3に記載の前照灯制御装置。

JP2008308148A 2008-12-03 2008-12-03 前照灯制御装置 Expired - Fee Related JP5363085B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008308148A JP5363085B2 (ja) 2008-12-03 2008-12-03 前照灯制御装置
US12/628,617 US8115394B2 (en) 2008-12-03 2009-12-01 Headlamp controller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008308148A JP5363085B2 (ja) 2008-12-03 2008-12-03 前照灯制御装置

Publications (2)

Publication Number Publication Date
JP2010132053A true JP2010132053A (ja) 2010-06-17
JP5363085B2 JP5363085B2 (ja) 2013-12-11

Family

ID=42222173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008308148A Expired - Fee Related JP5363085B2 (ja) 2008-12-03 2008-12-03 前照灯制御装置

Country Status (2)

Country Link
US (1) US8115394B2 (ja)
JP (1) JP5363085B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003604A (ja) * 2010-06-18 2012-01-05 Toshiba Alpine Automotive Technology Corp 移動体検出装置及び移動体検出方法
JP2013047058A (ja) * 2011-08-29 2013-03-07 Denso Corp 車両前照灯制御装置
WO2013172324A1 (ja) * 2012-05-18 2013-11-21 株式会社デンソー 走行環境検出装置、及び、走行環境検出プログラム
KR101354351B1 (ko) 2011-12-14 2014-01-23 현대자동차주식회사 교통표지판 인식을 통한 차량 전조등의 빔 패턴 제어장치
JP2016501155A (ja) * 2012-12-04 2016-01-18 ジェンテックス コーポレイション 屈曲路を検出するための画像化システムおよび方法
WO2017094296A1 (ja) * 2015-11-30 2017-06-08 株式会社Jvcケンウッド ヘッドライト装置、ヘッドライト制御方法およびヘッドライト制御プログラム
JP2019219816A (ja) * 2018-06-18 2019-12-26 株式会社小糸製作所 画像処理装置および車両用灯具

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
US11208029B2 (en) 2002-07-12 2021-12-28 Yechezkal Evan Spero Adaptive headlight system
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
JP5809785B2 (ja) * 2010-07-30 2015-11-11 日立オートモティブシステムズ株式会社 車両用外界認識装置およびそれを用いた配光制御システム
BR112013018164A2 (ja) * 2011-01-24 2018-09-11 Honda Motor Co., Ltd. A light distribution control device of a headlight for vehicles
KR101356151B1 (ko) * 2011-05-23 2014-01-24 에스엘 주식회사 차량용 헤드램프 및 그 제어 방법
JP5760884B2 (ja) * 2011-09-09 2015-08-12 株式会社デンソー 車両の旋回予測装置
JP5768756B2 (ja) * 2012-04-17 2015-08-26 株式会社デンソー 車両のヘッドランプの配光制御装置
JP5692180B2 (ja) * 2012-07-25 2015-04-01 株式会社デンソー 車両光源検出装置、ライト制御装置、および車両光源検出プログラム
JP5941800B2 (ja) * 2012-09-07 2016-06-29 株式会社デンソー 車両用前照灯装置
JP6125975B2 (ja) * 2013-11-15 2017-05-10 本田技研工業株式会社 ピッチ角検出装置及びピッチ角検出方法
JP6374695B2 (ja) * 2014-04-28 2018-08-15 日立建機株式会社 路肩検出システムおよび鉱山用運搬車両
DE102014209771A1 (de) * 2014-05-22 2015-11-26 Hella Kgaa Hueck & Co. Verfahren zur Steuerung eines Kurvenlichts und Beleuchtungsvorrichtung
JP6587450B2 (ja) * 2015-08-07 2019-10-09 株式会社小糸製作所 車両用灯具
JP2019048524A (ja) * 2017-09-08 2019-03-28 スタンレー電気株式会社 車両の前照灯の制御装置
US20190322210A1 (en) * 2018-04-24 2019-10-24 WeRide Corp. Apparatus and method for notifying expected motion of vehicle
EP3605383A1 (en) * 2018-07-30 2020-02-05 Aptiv Technologies Limited A device and a method for controlling a headlight of a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000344006A (ja) * 1999-06-08 2000-12-12 Niles Parts Co Ltd 車両用道路照明装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2006036048A (ja) * 2004-07-28 2006-02-09 Aisin Seiki Co Ltd 車両ライト制御装置
JP2006347352A (ja) * 2005-06-15 2006-12-28 Denso Corp 配光制御装置
JP2007334859A (ja) * 2006-05-17 2007-12-27 Denso It Laboratory Inc 物体検出装置
JP2008067086A (ja) * 2006-09-07 2008-03-21 Denso Corp 車両検出装置、およびライト制御装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JPH11321440A (ja) * 1998-05-18 1999-11-24 Koito Mfg Co Ltd 車輌用灯具装置
CA2494723C (en) * 2002-08-21 2011-11-08 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
JP2004098970A (ja) * 2002-09-12 2004-04-02 Koito Mfg Co Ltd 車輌用前照灯装置
JP4784452B2 (ja) * 2006-09-12 2011-10-05 株式会社デンソー 車載霧判定装置
JP4995748B2 (ja) * 2008-01-29 2012-08-08 株式会社小糸製作所 車両用前照灯装置及び車両用前照灯装置の制御方法
JP5097648B2 (ja) * 2008-08-28 2012-12-12 株式会社小糸製作所 前照灯制御装置および車両用前照灯装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000344006A (ja) * 1999-06-08 2000-12-12 Niles Parts Co Ltd 車両用道路照明装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2006036048A (ja) * 2004-07-28 2006-02-09 Aisin Seiki Co Ltd 車両ライト制御装置
JP2006347352A (ja) * 2005-06-15 2006-12-28 Denso Corp 配光制御装置
JP2007334859A (ja) * 2006-05-17 2007-12-27 Denso It Laboratory Inc 物体検出装置
JP2008067086A (ja) * 2006-09-07 2008-03-21 Denso Corp 車両検出装置、およびライト制御装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003604A (ja) * 2010-06-18 2012-01-05 Toshiba Alpine Automotive Technology Corp 移動体検出装置及び移動体検出方法
JP2013047058A (ja) * 2011-08-29 2013-03-07 Denso Corp 車両前照灯制御装置
WO2013031404A1 (ja) * 2011-08-29 2013-03-07 株式会社デンソー 車両前照灯制御装置
KR101354351B1 (ko) 2011-12-14 2014-01-23 현대자동차주식회사 교통표지판 인식을 통한 차량 전조등의 빔 패턴 제어장치
WO2013172324A1 (ja) * 2012-05-18 2013-11-21 株式会社デンソー 走行環境検出装置、及び、走行環境検出プログラム
JP2013241065A (ja) * 2012-05-18 2013-12-05 Denso Corp 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
US9372112B2 (en) 2012-05-18 2016-06-21 Denso Corporation Traveling environment detection device
JP2016501155A (ja) * 2012-12-04 2016-01-18 ジェンテックス コーポレイション 屈曲路を検出するための画像化システムおよび方法
WO2017094296A1 (ja) * 2015-11-30 2017-06-08 株式会社Jvcケンウッド ヘッドライト装置、ヘッドライト制御方法およびヘッドライト制御プログラム
US10364956B2 (en) 2015-11-30 2019-07-30 JVC Kenwood Corporation Headlight device, headlight controlling method, and headlight controlling program
JP2019219816A (ja) * 2018-06-18 2019-12-26 株式会社小糸製作所 画像処理装置および車両用灯具
JP7084223B2 (ja) 2018-06-18 2022-06-14 株式会社小糸製作所 画像処理装置および車両用灯具

Also Published As

Publication number Publication date
JP5363085B2 (ja) 2013-12-11
US8115394B2 (en) 2012-02-14
US20100134011A1 (en) 2010-06-03

Similar Documents

Publication Publication Date Title
JP5363085B2 (ja) 前照灯制御装置
JP5809785B2 (ja) 車両用外界認識装置およびそれを用いた配光制御システム
US6960005B2 (en) Vehicle headlamp apparatus
US9415718B2 (en) Vehicular headlight apparatus
JP4415996B2 (ja) 車載用画像認識装置及び配光制御装置、並びに配光制御方法
US10364956B2 (en) Headlight device, headlight controlling method, and headlight controlling program
CN108027971B (zh) 用于识别围绕机动车辆的区域中的对象的方法、驾驶员辅助***和机动车辆
US9037343B2 (en) Light distribution control apparatus and light distribution control method
US20120275172A1 (en) Vehicular headlight apparatus
CN104640742A (zh) 车辆用前照灯装置
US8866387B2 (en) Vehicular headlight apparatus
US9534758B2 (en) Method and device for setting a pivot angle of a headlamp when negotiating a bend
JP2006248246A (ja) 車両用照明装置
CN106232425A (zh) 车辆用前照灯的控制装置
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
JP4999651B2 (ja) 車両用ランプ制御システム
US11794636B2 (en) Headlamp and headlamp control system
CN111712854B (zh) 图像处理装置及车辆用灯具
US11390208B2 (en) System and method for controlling a headlamp for a vehicle using a captured image of a forward vehicle and centering a shadow zone thereon
WO2023166696A1 (ja) ヘッドライト制御装置およびヘッドライト制御方法
WO2024047777A1 (ja) ヘッドライト制御装置、および、ヘッドライト制御方法
JP2018200593A (ja) ブレーキ判定方法及びブレーキ判定装置
WO2022244085A1 (ja) 前照灯制御装置、前照灯制御システム、及び前照灯制御方法
KR20180110990A (ko) 대향하는 차량 운전자의 눈부심을 줄일 수 있는 전조등의 제어방법
JP2024014291A (ja) 路面描画システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130905

R150 Certificate of patent or registration of utility model

Ref document number: 5363085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees