JP4258385B2 - 路面反射検出装置 - Google Patents

路面反射検出装置 Download PDF

Info

Publication number
JP4258385B2
JP4258385B2 JP2004007338A JP2004007338A JP4258385B2 JP 4258385 B2 JP4258385 B2 JP 4258385B2 JP 2004007338 A JP2004007338 A JP 2004007338A JP 2004007338 A JP2004007338 A JP 2004007338A JP 4258385 B2 JP4258385 B2 JP 4258385B2
Authority
JP
Japan
Prior art keywords
road surface
image
surface reflection
luminance
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004007338A
Other languages
English (en)
Other versions
JP2005201741A (ja
Inventor
健太 保木
玉津　　幸政
健二 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004007338A priority Critical patent/JP4258385B2/ja
Priority to US11/032,893 priority patent/US7676094B2/en
Priority to DE200510001455 priority patent/DE102005001455A1/de
Publication of JP2005201741A publication Critical patent/JP2005201741A/ja
Application granted granted Critical
Publication of JP4258385B2 publication Critical patent/JP4258385B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/054—Variable non-standard intensity, i.e. emission of various beam intensities different from standard intensities, e.g. continuous or stepped transitions of intensity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/11—Linear movements of the vehicle
    • B60Q2300/112—Vehicle speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/12—Steering parameters
    • B60Q2300/122—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/13—Attitude of the vehicle body
    • B60Q2300/134—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/14—Other vehicle conditions
    • B60Q2300/142—Turn signal actuation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/31—Atmospheric conditions
    • B60Q2300/312—Adverse weather
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は、路面反射検出装置に関するものである。
従来、路面が光沢状態かどうかを検出する路面状態検出装置が提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている路面状態検出装置によれば、例えば、光源が照射する路面上の照射位置をカメラで撮影し、撮影される画像の切り出し範囲を予め設定し、切り出し範囲内に含まれる画像について、予め設定した閾値以上の高輝度の部分を正反射光に基づく部分画像として抽出し、部分画像の面積や縦横比の基準値との比較により、路面に光沢があると判断する。さらに、画像を撮影するカメラを車両に搭載する場合は、自車両の発光体が照射する路側上の反射板からの路面への反射光を用いて、路面の光沢があるかの判断する。
特開２０００−１８０３７８号公報
上述した、従来の路面状態検出装置は、予め設定された切り出し範囲内の画像に基づいて高輝度の部分を抽出するものであるが、画像を撮影するカメラを車両に搭載した場合、車両前方の道路は、直線路であったりカーブ路であったりするため、予め設定された切り出し範囲では、撮影された画像から適確に路面内の画像を切り出すことができない。
例えば、直線路の走行状態に基づいて切り出し範囲を予め設定した場合には、カーブ路の走行状態において、切り出し範囲内の画像にガードレール等の路側物が写ることがあり、この場合、例えば、自車両のヘッドライトなどがガードレールに反射し高輝度の領域が出来てしまうため、ガードレールの反射を路面の光沢として誤検出することになる。
本発明は、かかる問題を鑑みてなされたもので、自車両前方の道路環境の変化に対応可能な路面反射検出装置を提供することを目的とする。
上記課題を解決するためになされた請求項１に記載の路面反射検出装置は、自車両前方の走行区画を含む画像を撮影する撮像手段と、撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
路面反射検出手段は、
画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の大きさを算出するものであって、複数の高輝度領域が存在する場合、各々の高輝度領域毎の離れ度合いを算出し、この算出した離れ度合いが予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として高輝度領域の大きさを算出する路面反射算出手段と、
路面反射算出手段の算出する高輝度領域の大きさが予め設定された高輝度領域の大きさを示す閾値以上であるか否かを判定する判定手段とを備え、
判定手段の判定結果から前記路面の反射度合いを検出することを特徴とする。
このように、本発明の路面反射検出装置は、自車両前方を撮影した画像内における走行区画を認識する走行区画認識手段を備え、この走行区画認識手段によって認識された走行区画内の画像を抽出し、この抽出した走行区画内の画像から路面の反射度合いを検出する。
これにより、自車両前方の道路が直線路であったりカーブ路であったりしたとしても、ガードレール等の路側物を含むことのない走行区画内の画像から路面の反射度合いを検出することができる。その結果、自車両前方の道路環境の変化に対応可能となる。
例えば、路面が乾燥状態にある場合、路面には光沢がないため、路面に向けて照射される光の反射光の反射度合いは低い（路面からの反射が無い）のに対し、路面が湿潤状態にある場合、路面には光沢があるため、その反射光の反射度合いは高くなる（路面からの反射が有る）。
従って、例えば、乾燥状態の路面に向けて光を照射したときの路面を撮影し、その撮影画像の輝度値を輝度閾値として予め設定しておくことで、この輝度閾値を用いて路面の反射度合いを検出することができる。これにより、輝度閾値以上の平均輝度値である場合には、路面からの反射度合いは高いとする（路面からの反射が有る）検出結果を得ることができる。
また、例えば、自車両のヘッドライトからの光が照射される走行区画内の画像から路面の反射度合いを検出する場合、路面が湿潤状態にあるときには高い輝度値を示す画素の領域（高輝度領域）が大きく、一方、路面が乾燥状態にあるときは高輝度領域が小さくなる。従って、高輝度領域の大きさに基づいて路面の反射度合いを検出することができる。
なお、例えば、１つの光源からの反射光であっても、路面の凹凸が大きい場合、高輝度領域が複数に分割することがある。このような場合、高輝度領域の大きさは、路面の凹凸の影響により小さい領域を示すことにより、その結果、路面の反射度合いを正確に検出できなくなる。
そこで、複数の高輝度領域が存在する場合には、各々の高輝度領域毎の離れ度合い（例えば、２つの高輝度領域が算出される場合には、各高輝度領域の境界を構成する画素位置のうち、最も距離の近い画素間の画素数）が予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として算出する。これにより、路面の凹凸による影響を防ぐことができる。
上記課題を解決するためになされた請求項２に記載の路面反射検出装置は、自車両前方の走行区画を含む画像を撮影する撮像手段と、撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
路面反射検出手段は、
画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域が複数存在する場合、各々の高輝度領域毎の離れ度合いを算出し、この算出した離れ度合いが予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として算出し、離れ度合いが閾値以下となる複数の高輝度領域を１つの高輝度領域としても複数の高輝度領域が存在する場合、画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出する路面反射算出手段と、
路面反射算出手段の算出する高輝度領域の境界線の平滑度合いを示すゆらぎ量が予め設定されたゆらぎ量の閾値以上であるか否かを判定する判定手段とを備え、
判定手段によって高輝度領域の境界線の平滑度合いを示すゆらぎ量が予め設定されたゆらぎ量の閾値以上であると判定される場合に、路面からの反射度合いは高いとする検出結果を得ることを特徴とする。
例えば、先行車両からの光が照射される走行区画内の路面に凹凸がある場合、高輝度領域の形状は、路面が湿潤状態である場合には路面の凹凸の影響を受けてゆらいだものとなる。従って、高輝度領域の境界線の平滑度合いを示すゆらぎ量が予め設定されたゆらぎ量の閾値以上である場合には、路面からの反射度合いは高いとする検出結果を得ることができる。
なお、例えば、１つの光源からの反射光であっても、路面の凹凸が大きい場合、高輝度領域が複数に分割することがある。このような場合、高輝度領域の大きさは、路面の凹凸の影響により小さい領域を示すことにより、その結果、路面の反射度合いを正確に検出できなくなる。
そこで、複数の高輝度領域が存在する場合には、各々の高輝度領域毎の離れ度合い（例えば、２つの高輝度領域が算出される場合には、各高輝度領域の境界を構成する画素位置のうち、最も距離の近い画素間の画素数）が予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として算出する。これにより、路面の凹凸による影響を防ぐことができる。
さらに、離れ度合いが閾値以下となる複数の高輝度領域を１つの高輝度領域としても複数の高輝度領域が存在する場合、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出する。これにより、自車両の車線内の路面の反射度合いが検出できるようになる。
上記課題を解決するためになされた請求項３に記載の路面反射検出装置は、自車両前方の走行区画を含む画像を撮影する撮像手段と、撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
路面反射検出手段は、
画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の大きさを算出するものであって、複数の高輝度領域が存在する場合、画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、走行区画内の自車両の車線位置を算出し、この算出した車線内に位置する高輝度領域に基づいて、その高輝度領域の大きさを算出する路面反射算出手段と、
路面反射算出手段の算出する高輝度領域の大きさが予め設定された高輝度領域の大きさを示す閾値以上であるか否かを判定する判定手段とを備え、
判定手段の判定結果から前記路面の反射度合いを検出することを特徴とする。
これにより、自車両の車線内の路面の反射度合いが検出できるようになる。
また、例えば、自車両のヘッドライトからの光が照射される走行区画内の画像から路面の反射度合いを検出する場合、路面が湿潤状態にあるときには高い輝度値を示す画素の領域（高輝度領域）が大きく、一方、路面が乾燥状態にあるときは高輝度領域が小さくなる。従って、高輝度領域の大きさに基づいて路面の反射度合いを検出することができる。
上記課題を解決するためになされた請求項４に記載の路面反射検出装置は、自車両前方の走行区画を含む画像を撮影する撮像手段と、撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
路面反射検出手段は、
画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出するものであって、複数の高輝度領域が自車両の車線内に存在する場合、車線の中央位置に最も近い高輝度領域に基づいて、高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出する路面反射算出手段と、
路面反射算出手段の算出する高輝度領域の境界線の平滑度合いを示すゆらぎ量が予め設定されたゆらぎ量の閾値以上であるか否かを判定する判定手段とを備え、
判定手段によって高輝度領域の境界線の平滑度合いを示すゆらぎ量が予め設定されたゆらぎ量の閾値以上であると判定される場合に、路面からの反射度合いは高いとする検出結果を得ることを特徴とする。
これにより、自車両の車線内の路面の反射度合いが検出できるようになる。
なお、例えば、１つの光源からの反射光であっても、路面の凹凸が大きい場合、高輝度領域が複数に分割することがある。このような場合、高輝度領域の大きさは、路面の凹凸の影響により小さい領域を示すことにより、その結果、路面の反射度合いを正確に検出できなくなる。
そこで、複数の高輝度領域が存在する場合には、各々の高輝度領域毎の離れ度合い（例えば、２つの高輝度領域が算出される場合には、各高輝度領域の境界を構成する画素位置のうち、最も距離の近い画素間の画素数）が予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として算出する。これにより、路面の凹凸による影響を防ぐことができる。
請求項８に記載の路面反射検出装置は、自車両前方に存在する物体を検出する物体検出手段を備え、画像抽出手段は、物体検出手段によって物体が検出される場合、自車両と物体との間に位置する走行区画内の画像を抽出することを特徴とする。これにより、自車両前方に存在する物体を含まない走行区画内の画像を抽出することができる。
請求項９に記載の路面反射検出装置によれば、物体検出手段は、撮像手段の撮影する画像、及びレーダ装置の少なくとも一方を用いて自車両前方に存在する先行車両を含む物体を検出することを特徴とする。
例えば、マイクロ波やミリ波等の電波、超音波等を用いたレーダ装置や撮像手段の撮影する画像を用いることで、先行車両を含む物体を検出することが可能となる。
請求項１０に記載の路面反射検出装置は、自車両の速度を検出する速度検出手段を備え、画像抽出手段は、速度検出手段の検出結果に基づいて、画像を抽出する範囲を決定する抽出範囲決定手段を備えることを特徴とする。
一般に、車両の運転者は、低速で走行する場合には先行車両に対して短い車間距離を保って走行し、高速で走行する場合には先行車両に対して長い車間距離を保って走行することが多い。従って、自車両の速度の高低に応じて、例えば、自車両前方の方向の走行区画の範囲を抽出する範囲として決定することで、抽出する画像に先行車両を極力含まないようにすることができる。
また、速度が極低速である場合には画像を抽出しないようにしてもよい。これにより、信号待ち等で停車中の先行車両を抽出しないようにすることができる。
請求項１１に記載の路面反射検出装置は、自車両の方向指示器の操作を検出する方向指示検出手段を備え、画像抽出手段は、方向指示検出手段の検出結果に基づいて、画像を抽出する範囲を決定する抽出範囲決定手段を備えることを特徴とする。
これにより、例えば、方向指示器の操作が検出される場合には、自車両の直前の走行区画を抽出すべき範囲として決定することで、交差点等の右左折時において、抽出する画像に走行区画以外の物体を含まないようにすることができる。
請求項１２に記載の路面反射検出装置は、自車両のステアリングの操舵角、及び、自車両の鉛直方向回りの角速度の少なくとも一方の車両状態を検出する車両状態検出手段を備え、画像抽出手段は、車両状態検出手段の検出結果に基づいて、画像を抽出する範囲を決定する抽出範囲決定手段を備えることを特徴とする。
これにより、例えば、所定操舵角以上の操舵角や所定角速度以上の自車両の鉛直方向回りの角速度が検出される場合には、自車両の直前の走行区画を抽出すべき範囲として決定することで、交差点等の右左折時や急カーブの走行時において、抽出する画像に走行区画以外の物体を含まないようにすることができる。
請求項１３に記載の路面反射検出装置によれば、抽出範囲決定手段は、速度検出手段の検出結果、方向指示検出手段の検出結果、及び、車両状態検出手段の検出結果の少なくとも２つの検出結果に基づいて、画像を抽出する範囲を決定することを特徴とする。
例えば、方向指示器の操作が検出される場合であっても、高い速度が検出される場合には、交差点等の右左折や急カーブの走行ではなく、自車両が車線変更をしているものと想定される。従って、このような場合には、速度の高低に応じて画像を抽出する範囲を決定することで、適切な範囲の走行区画が抽出できる。
請求項１４に記載の路面反射検出装置は、路面反射検出手段の検出結果に応じて、自車両のヘッドライトの照射方向、及び光量の少なくとも一方に関する制御を実行するヘッドライト制御手段を備えることを特徴とする。
例えば、路面の反射度合いが高いとする検出結果が得られる場合には、自車両前方の自車両から近い範囲の光量を低下させたり、自車両の右前方の照射範囲を自車両から近い範囲に狭めたりすることで、対向車両の運転者に対し、自車両のヘッドライトからの光による眩惑を低下することが可能となる。
請求項１５に記載の路面反射検出装置は、路面反射検出手段の検出結果に応じて、自車両と先行車両との車間距離を一定に保つ制御を実行する車間距離制御手段を備えることを特徴とする。これにより、例えば、路面が湿潤／凍結／積雪状態にある低ミュー（μ）路において効果を発揮するＡＣＣ（Adaptive Cruise Control）に適用することができる。また、同じように低ミュー（μ）路において効果を発揮するＡＢＳに適用してもよい。
以下、本発明の路面反射検出装置の実施形態に関して、図面に基づいて説明する。本発明の実施形態における路面反射検出装置は、例えば、自動車等の車両に搭載され、自車両前方の走行区画（道路）を含む画像を撮影し、その撮影した画像から走行区画内の路面の反射度合いを検出するもので、さらに、この検出した反射度合いに応じて、自車両のヘッドライトの照射方向や光量等を調整するＡＦＳ（Adaptive Front-lighting System）に適用される。
（第１の実施形態）
図１は、本実施形態における路面反射検出装置１００の全体構成を示すブロック図である。同図に示すように、路面反射検出装置１００は、カメラ１０、走行区画認識部２０、路面反射検出部３０、ヘッドライト制御部４０、及びヘッドライトスイッチ５０によって構成される。
カメラ１０は、例えば、ビデオカメラ等であり、図２に示すように、自車両前方の画像を撮影することができる位置に設けられる。このカメラ１０は、走行区画認識部２０からのゲイン、シャッタースピード、フレームレート信号を受けて、撮影時のシャッタースピード、フレームレート、ゲインを制御し、また、走行区画認識部２０や路面反射検出部３０へ出力する画像信号に含まれる画素値信号の出力ゲインを制御する。この画素値信号とは、撮影した画像の画素（Pixel）毎の明るさの程度（輝度）を示す信号である。なお、画像信号には、画素値信号、画像の水平ライン・垂直ライン同期信号が含まれる。
走行区画認識部２０は、カメラ１０からの画像信号を用いて、画像内における走行区画（道路）を認識する。例えば、カメラ１０によって、図３に示すような走行区分線ＬＬ、ＬＣ、ＬＲがペイントされる走行区画ＡＲを含む画像が撮影される場合、自車両から所定距離前方までの走行区画ＡＲの領域内に含まれる画素位置を認識し、この認識した走行区画の画素位置を示す走行区画情報を路面反射検出部３０へ送る。なお、走行区画認識部２０は、例えば、テクスチャ解析等の画像解析手法を用いて走行区画を認識する。
具体的には、走行区画認識部２０は、画像解析処理により、走行区画ＡＲの画素位置を認識し、この走行区画ＡＲの水平ラインの境界（すなわち、画像における走行区画ＡＲの上下の境界）となる画素位置を示す水平画素番号ＨＮ（例えば、１０ＨＮ〜２３ＨＮなど）と、この水平画素番号ＨＮ毎の走行区画ＡＲの垂直ラインの境界（すなわち、画像における走行区画ＡＲの左右の境界）となる画素位置を示す垂直画素番号ＶＮ（例えば、２０ＶＮ〜２８ＶＮなど）を特定する。そして、この特定した水平画素番号ＨＮと垂直画素番号ＶＮの組み合わせからなる走行区画情報を路面反射検出部３０へ送る。
また、走行区画認識部２０は、カメラ１０からの画素毎の画素値信号に基づいて、画像の明るさを所定範囲の明るさに収まるように、カメラ１０の出力ゲイン、シャッタースピード、フレームレートを制御する。
路面反射検出部３０は、図１に示すように、画像抽出部３２、路面反射算出部３４、判定部３６によって構成され、カメラ１０からの画像信号、走行区画認識部２０からの走行区画情報、及びヘッドライトスイッチ５０からのスイッチ情報を受けるとともに、ヘッドライト制御部４０に対して走行区画ＡＲの路面の反射度合い情報を送る。
画像抽出部３２は、走行区画認識部２０からの走行区画情報を用いて、カメラ１０によって撮影された画像から走行区画ＡＲの画像を抽出する（切り出す）。路面反射算出部３４は、画像抽出部３２によって抽出された走行区画ＡＲの画像の画像信号に基づいて、走行区画ＡＲ内の画素毎の輝度値の平均値（輝度平均値）を算出する。
判定部３６は、路面反射算出部３４によって算出された輝度平均値が予め設定された輝度閾値以上であるか否かを判定する。そして、この判定結果に基づく走行区画ＡＲの路面からの反射度合いを示す反射度合い情報をヘッドライト制御部４０へ送る。なお、ヘッドライトスイッチ５０からのスイッチ情報として、自車両のヘッドライトがＯＮ状態であることを示す情報である場合にのみ、反射度合い情報を送るようにしてもよい。
ヘッドライト制御部４０は、図示しない自車両のヘッドライトの照射方向や光量を制御するもので、路面反射検出部３０からの反射度合い情報に基づいて、ヘッドライトの照射方向や光量を制御する。ヘッドライトスイッチ５０は、自車両の運転席付近に配置され、自車両のヘッドライトのＯＮ／ＯＦＦを選択する切り替えスイッチである。このヘッドライトスイッチ５０のＯＮ／ＯＦＦ状態を示すスイッチ情報が路面反射検出部３０へ送られる。
次に、本実施形態の特徴部分に係わる、路面反射検出装置１００の路面反射検出部３０の処理について、図４に示すフローチャートを用いて説明する。同図に示すステップ（以下、Ｓと記す）１０では、カメラ１０によって撮影された画像の画像信号を取得し、Ｓ２０では、走行区画認識部２０からの走行区画情報を取得する。
Ｓ３０では、カメラ１０によって撮影された画像から走行区画の画像を抽出する。Ｓ４０では、Ｓ３０において抽出した走行区画の画像を構成する画素の平均輝度値を算出する。Ｓ５０では、Ｓ４０において算出した輝度平均値が輝度閾値以上であるか否かを判定する。ここで、肯定判定される場合にはＳ６０へ処理を進め、否定判定される場合にはＳ７０へ処理を進める。
Ｓ６０では、輝度平均値が輝度閾値以上であるため、走行区画ＡＲの路面からの反射度合いは高い（路面からの反射が有る）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。Ｓ７０では、輝度平均値が輝度閾値未満であるため、走行区画ＡＲの路面からの反射度合いは低い（路面からの反射が無い）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。
すなわち、例えば、路面が乾燥状態にある場合、路面には光沢がないため、路面に向けて照射される光の反射光の反射度合いは低い（路面からの反射が無い）のに対し、路面が湿潤状態にある場合、路面には光沢があるため、その反射光の反射度合いは高くなる（路面からの反射が有る）。
従って、例えば、乾燥状態の路面に向けて光を照射したときの路面を撮影し、その撮影画像の輝度値を上記輝度閾値として予め設定しておくことで、この輝度閾値を用いて路面の反射度合いを検出することができる。これにより、輝度閾値以上の平均輝度値である場合には、路面からの反射度合いは高いとする（路面からの反射が有る）検出結果を得ることができる。
これにより、ヘッドライト制御部４０は、反射度合い情報として路面の反射度合いが高いとする情報が得られる場合には、自車両前方の自車両から近い範囲の光量を低下させたり、自車両の右前方の照射範囲を自車両から近い範囲に狭めたりする制御を行うことで、対向車両の運転者に対し、自車両のヘッドライトからの光による眩惑を低下することが可能となる。
なお、ヘッドライトの制御のみならず、路面が湿潤／凍結／積雪状態にある低ミュー（μ）路において効果を発揮するシステム（例えば、ＡＢＳやＡＣＣ等）が搭載される場合には、これらの安全システムに適用するようにしてもよい。
以上、説明したように、本実施形態の路面反射検出装置１００は、自車両前方を撮影した画像内における走行区画を認識する走行区画認識部２０を備え、この走行区画認識部２０によって認識された走行区画内の画像を抽出し、この抽出した走行区画内の画像から路面の反射度合いを検出する。
これにより、自車両前方の道路が直線路であったりカーブ路であったりしたとしても、ガードレール等の路側物を含むことのない走行区画内の画像から路面の反射度合いを検出することができる。その結果、自車両前方の道路環境の変化に対応可能となる。
（変形例１）
本変形例は、画像抽出部３２において、自車両前方に先行車両等の物体が検出される場合に、自車両と先行車両等の物体との間に位置する走行区画の画像を抽出するものである。本変形例の路面反射検出装置１００は、図５に示すように、自車両前方に存在する先行車両等の物体までの距離を検出するミリ波レーダ６０ａを備え、この検出した物体までの距離を示す距離情報を走行区画認識部２０へ送る。このミリ波レーダ６０ａは、自車両前方の所定範囲内にミリ波の電波を照射し、その反射波から自車両前方に存在する先行車両等の物体までの距離や方向を検出するものである。
なお、この先行車両等の物体を検出する物体検出手段としては、ミリ波レーダ６０ａに限らず、例えば、マイクロ波を用いたものであってもよいし、超音波等を用いたレーダであってもよい。さらに、カメラ１０の撮影する画像から先行車両を含む物体を検出するようにしてもよい。
同図に示す画像抽出部３２は、走行区画の画像を抽出する際、走行区画認識部２０を介して得られるミリ波レーダ６０からの距離情報を用いて、自車両と先行車両等の物体との間に位置する走行区画の画像を抽出する。これにより、図６（ａ）に示すように、先行車両等の物体が検出されない場合には、自車両の所定距離前方までの走行区画ＡＲを通常の切り出し範囲として抽出し、同図（ｂ）に示すように、先行車両等の物体が検出される場合には、自車両と先行車両等の物体との間に位置する走行区画ＡＲの画像を抽出する。
これにより、自車両前方に存在する物体を含まない走行区画内の画像が抽出されるため、例えば、先行車両の後部に設けられる反射板からの反射を路面からの反射として誤って検出しないようにすることができる。
（変形例２）
本変形例は、自車両の速度の高低に応じて、画像抽出部３２の抽出する画像の範囲を決定し、この決定した範囲の画像を抽出するものである。本実施形態において説明したように、画像抽出部３２は、自車両の所定距離前方までの走行区画の画像を抽出するものであるが、本変形例では、この所定距離を自車両の速度に応じて変更する。
本変形例の路面反射検出装置１００は、図７に示すように、自車両の速度を検出する車速センサ６０ｂを備え、この検出した速度を示す速度情報を走行区画認識部２０へ送る。同図に示す走行区画認識部２０は、この車速センサ６０ｂからの速度情報を画像抽出部３２へ送り、画像抽出部３２は、この速度情報に基づいて抽出すべき画像の自車両前方の方向の範囲を変更する。
すなわち、一般に、車両の運転者は、低速で走行する場合には先行車両に対して短い車間距離を保って走行し、高速で走行する場合には先行車両に対して長い車間距離を保って走行することが多い。従って、例えば、自車両の速度が高い場合には、上記所定距離を長く設定し、自車両の速度が低い場合には、上記所定距離を短く設定する。これにより、画像を抽出する際に先行車両を極力含まないようにすることができる。
なお、自車両の速度が極低速である場合には画像を抽出しないようにしてもよい。これにより、信号待ち等で停車中の先行車両を含む画像を抽出しないようにすることができる。
（変形例３）
本変形例は、自車両の方向指示器の操作の検出結果に基づいて、画像抽出部３２の抽出する画像の範囲を決定するものである。本変形例の路面反射検出装置１００は、図８に示すように、図示しない自車両の方向指示器の操作を検出する操作検出部６０ｃを備え、この検出した方向指示器の操作を示す操作情報を走行区画認識部２０へ送る。
同図に示す走行区画認識部２０は、この操作検出部６０ｃからの操作情報を画像抽出部３２へ送り、画像抽出部３２は、この操作情報を用いて、抽出すべき画像の範囲を決定する。例えば、方向指示器の操作が検出される場合には、自車両の直前の画像を抽出すべき範囲として決定する。これにより、例えば、交差点等の右左折時に走行区画以外の物体を含む画像を抽出しないようにすることができる。
（変形例４）
本変形例は、自車両のステアリングの操舵角や自車両の鉛直方向回りの角速度（ヨーレート）等の車両状態の検出結果に基づいて、画像抽出部３２の抽出する画像の範囲を決定するものである。本変形例の路面反射検出装置１００は、図９に示すように、ステアリングの操舵角を検出する操舵角センサと自車両のヨーレートを検出するヨーレートセンサからなる車両状態検出部６０ｄを備え、各センサの検出した車両状態を示す車両状態情報を走行区画認識部２０へ送る。
同図に示す走行区画認識部２０は、この車両状態検出部６０ｄからの車両状態情報を画像抽出部３２へ送り、画像抽出部３２は、この操作情報を用いて抽出すべき画像の範囲を決定する。例えば、所定操舵角以上の操舵角や所定ヨーレート以上のヨーレートが検出される場合には、自車両の直前の画像を抽出すべき範囲として決定する。これにより、交差点等の右左折時や急カーブの走行時に走行区画以外の物体を含む画像を抽出しないようにすることができる。
なお、車両状態検出部６０ｄは、操舵角センサ、及びヨーレートセンサの何れか１つを備えるものであってもよい。また、カメラ１０によって撮影された画像からヨーレートを検出するものであってもよい。例えば、周知のオプティカルフローを検出することによって、画像の時系列的な動きが検出できるため、このオプティカルフローの検出結果から、自車両のヨーレートを推定するようにしてもよい。
（変形例５）
上記変形例２〜４で説明した速度情報、操作情報、車両状態情報のうち、複数の情報に基づいて抽出する画像の範囲を決定するものであってもよい。例えば、操作情報から方向指示器の操作が検出される場合であっても、速度情報から高い速度が検出される場合には、交差点等の右左折や急カーブの走行ではなく、自車両が車線変更をしているものと想定される。従って、このような場合には、速度の高低に応じて抽出すべき画像の範囲を決定することで、適切な範囲の画像を抽出することができる。
（変形例６）
本実施形態の走行区画認識部２０は、図３に示したように、走行区画ＡＲを認識するため、この走行区画ＡＲ内の走行区分線ＬＬ、ＬＣ、ＬＲや道路標示等を含むことがあるが、これらの画素位置の輝度は高い値を示すため、路面からの反射度合いが高いとして誤検出することになる。
従って、例えば、上述した画像解析手法等を用いて走行区分線や道路標示の画素位置を認識し、この認識した画素位置の輝度値を算出対象から除外することで、これらを路面反射と誤って検出しないようにすることができる。
（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態の路面反射検出部３０は、路面反射算出部３４において走行区画内の画素毎の輝度値の平均値（輝度平均値）を算出し、判定部３６では、路面反射算出部３４によって算出された輝度平均値が予め設定された輝度閾値以上であるか否かを判定するものである。
これに対し、本実施形態の路面反射検出部３０は、路面反射算出部３４において走行区画内の水平ライン方向の画素毎の輝度値の変化の程度を示す輝度勾配を水平ライン毎に算出するとともに、この水平ライン毎の輝度勾配から全ての水平ラインの平均的な輝度勾配（平均輝度勾配）を算出し、判定部３６では、路面反射算出部３４によって算出された平均輝度勾配が予め設定された輝度勾配閾値以上であるか否かを判定する点で異なる。
先ず、路面反射算出部３４では、図１０（ａ）に示すように、画像抽出部３２の抽出した走行区画の画像から、所定の閾値（Ｅｔｈ）を超える輝度値を示す水平画素番号ＨＮを特定する。そして、図１０（ｂ）に示すように、その特定した水平画素番号ＨＮの水平ラインにおいて、水平ライン方向の画素毎の輝度値の変化の程度を示す輝度勾配（ＷＹ／ＷＸ）を算出する。その後、路面反射算出部３４は、特定した全ての水平画素番号ＨＮの水平ライン毎の輝度勾配の平均値（平均輝度勾配）を算出する。
判定部３６は、この平均輝度勾配が予め設定された輝度勾配閾値以上であるか否かを判定する。そして、この判定結果に基づく走行区画の路面からの反射度合いを示す反射度合い情報をヘッドライト制御部４０へ送る。
次に、本実施形態の特徴部分に係わる、路面反射検出装置１００の路面反射検出部３０の処理について、図１１に示すフローチャートを用いて説明する。なお、同図に示すＳ１０〜Ｓ３０の各ステップは、第１の実施形態で説明した処理と同様であるので、その説明を省略する。
Ｓ４０ａでは、Ｓ３０において抽出した走行区画の画像から、所定の閾値（Ｅｔｈ）を超える輝度値を示す水平ラインにおける輝度勾配を算出する。Ｓ４５ａでは、全ての水平ラインの平均輝度勾配を算出する。
Ｓ５０ａでは、Ｓ４５ａにおいて算出した平均輝度勾配が予め設定された輝度勾配閾値以上であるか否かを判定する。ここで、肯定判定される場合にはＳ６０へ処理を進め、否定判定される場合にはＳ７０へ処理を進める。
Ｓ６０では、平均輝度勾配が輝度勾配閾値以上であるため、走行区画の路面からの反射度合いは高い（路面からの反射が有る）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。Ｓ７０では、平均輝度勾配が輝度勾配閾値未満であるため、走行区画の路面からの反射度合いは低い（路面からの反射が無い）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。
すなわち、例えば、走行区画に対して光が照射される場合、その光が照射される領域の画素の輝度値は、光が照射されない領域の画素の輝度値に比べ高くなるが、その輝度値の差異は、路面が乾燥状態である場合よりも湿潤状態にある場合の方が大きいものとなる。
従って、例えば、乾燥状態の路面に向けてヘッドライトの光を照射したときの路面を撮影し、その撮影画像の輝度値の変化の程度を示す輝度勾配を輝度勾配閾値として予め設定しておくことで、この輝度勾配閾値以上の平均輝度勾配である場合には、路面からの反射度合いは高いとする（路面からの反射が有る）検出結果を得ることができる。なお、本実施形態においても、上述した変形例１〜６が適用可能であることは言うまでもない。
（第３の実施形態）
第３の実施形態は、第２の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第２の実施形態の路面反射検出部３０は、全ての水平ラインの平均輝度勾配が輝度勾配閾値以上である否かを判定するものである。
これに対し、本実施形態の路面反射検出部３０は、路面反射算出部３４において水平ライン毎に輝度勾配を算出するとともに、この水平ライン毎の輝度勾配の数を算出し、判定部３６では、路面反射算出部３４によって算出された輝度勾配の数が複数の水平ラインにおいて予め設定された輝度勾配の数の閾値以上であるか否かを判定する点で異なる。
先ず、路面反射算出部３４では、上述したように、画像抽出部３２の抽出した走行区画の画像から、所定の閾値（Ｅｔｈ）を超える輝度値を示す水平画素番号ＨＮを特定し、この特定した水平画素番号ＨＮの水平ラインにおいて、水平ライン方向の画素毎の輝度値の変化の程度を示す輝度勾配（ＷＹ／ＷＸ）を算出する。その後、路面反射算出部３４は、特定した水平画素番号ＨＮの水平ライン毎の輝度勾配の数を算出する。
判定部３６は、この輝度勾配の数が複数の水平ラインにおいて予め設定された輝度勾配の数の閾値以上であるか否かを判定する。そして、この判定結果に基づく走行区画の路面からの反射度合いを示す反射度合い情報をヘッドライト制御部４０へ送る。
次に、本実施形態の特徴部分に係わる、路面反射検出装置１００の路面反射検出部３０の処理について、図１３に示すフローチャートを用いて説明する。なお、同図に示すＳ１０〜Ｓ３０の各ステップは、第２の実施形態で説明した処理と同様であるので、その説明を省略する。
Ｓ４０ｂでは、Ｓ３０において抽出した走行区画の画像から、所定の閾値（Ｅｔｈ）を超える輝度値を示す水平ラインにおける輝度勾配を算出する。Ｓ４５ｂでは、水平ライン毎の輝度勾配の数（個数）を算出する。
Ｓ５０ｂでは、Ｓ４５ｂにおいて算出した輝度勾配の個数が予め設定された輝度勾配の数の閾値以上であるか否かを判定する。ここで、肯定判定される場合にはＳ６０へ処理を進め、否定判定される場合にはＳ７０へ処理を進める。
Ｓ６０では、輝度勾配の個数が閾値以上であるため、走行区画の路面からの反射度合いは高い（路面からの反射が有る）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。Ｓ７０では、輝度勾配の個数が閾値未満であるため、走行区画の路面からの反射度合いは低い（路面からの反射が無い）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。
すなわち、例えば、図１２（ａ）に示すように、自車両のヘッドライトからの光が照射される走行区画内の画像から路面の反射度合いを検出する場合、自車両のヘッドライトは、通常、自車両の左右に設けられているため、走行区画の路面が湿潤状態である場合には、走行区画内の画像からは２つの輝度勾配が算出されることになる。
従って、複数の水平ライン（例えば、全ての水平ライン）において、図１２（ｂ）に示すように、輝度勾配の数が複数（例えば、２つ以上）ある場合には、自車両のヘッドライトの光による路面からの反射度合いは高いとする（路面からの反射が有る）検出結果を得ることができる。なお、本実施形態においても、上述した変形例１〜６が適用可能であることは言うまでもない。
（第４の実施形態）
第４の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態の路面反射検出部３０は、路面反射算出部３４において走行区画内の画素毎の輝度値の平均値（輝度平均値）を算出し、判定部３６では、路面反射算出部３４によって算出された輝度平均値が予め設定された輝度閾値以上であるか否かを判定するものである。
これに対し、本実施形態の路面反射検出部３０は、路面反射算出部３４において、走行区画内の画素毎の輝度値に基づいて、予め設定された閾値以上の輝度値を示す高輝度の画素位置を算出するとともに、この算出した画素位置からなる高輝度領域の画素数を算出し、判定部３６では、路面反射算出部３４によって算出された高輝度領域の画素数が予め設定された画素数の閾値以上であるか否かを判定する点で異なる。
先ず、路面反射算出部３４では、画像抽出部３２の抽出した走行区画の画像から、予め設定された閾値以上の輝度値を示す水平・垂直画素番号（ＨＮ・ＶＮ）を特定する。そして、その特定した水平・垂直画素番号（ＨＮ・ＶＮ）からなる高輝度領域の画素数を算出する。言い換えれば、走行区画の画像を２値化画像に変換し、この２値化画像の高輝度領域の画素数を算出する。
判定部３６は、高輝度領域の画素数が予め設定された画素数の閾値以上であるか否かを判定する。そして、この判定結果に基づく走行区画の路面からの反射度合いを示す反射度合い情報をヘッドライト制御部４０へ送る。
次に、本実施形態の特徴部分に係わる、路面反射検出装置１００の路面反射検出部３０の処理について、図１５に示すフローチャートを用いて説明する。なお、同図に示すＳ１０〜Ｓ３０の各ステップは、第１の実施形態で説明した処理と同様であるので、その説明を省略する。
Ｓ４０ｃでは、Ｓ３０において抽出した走行区画の画像から、予め設定された閾値以上の輝度値を示す水平・垂直画素番号（ＨＮ・ＶＮ）からなる高輝度領域を算出する。Ｓ４５ｃでは、高輝度領域の画素数を算出する。
Ｓ５０ｃでは、Ｓ４５ｃにおいて算出した高輝度領域の画素数が予め設定された画素数の閾値以上であるか否かを判定する。ここで、肯定判定される場合にはＳ６０へ処理を進め、否定判定される場合にはＳ７０へ処理を進める。
Ｓ６０では、高輝度領域の画素数が閾値以上であるため、走行区画の路面からの反射度合いは高い（路面からの反射が有る）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。Ｓ７０では、高輝度領域の画素数が閾値未満であるため、走行区画の路面からの反射度合いは低い（路面からの反射が無い）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。
すなわち、例えば、図１４（ａ）に示すように、自車両のヘッドライトからの光が照射される走行区画ＡＲ内の画像から路面の反射度合いを検出する場合、路面が湿潤状態にあるときには、図１４（ｂ）に示す高い輝度値を示す画素の領域ＡＲＨ１、ＡＲＨ２（高輝度領域）の大きさが大きく、一方、路面が乾燥状態にあるときは、この高輝度領域ＡＲＨ１、ＡＲＨ２の大きさが小さくなる。従って、高輝度領域ＡＲＨ１、ＡＲＨ２に含まれる画素数が予め設定された画素数以上である場合には、路面からの反射度合いは高いとする検出結果を得ることができる。なお、本実施形態においても、上述した変形例１〜６が適用可能であることは言うまでもない。
（変形例７）
本実施形態では、画素数によって示される高輝度領域の大きさに基づいて、路面からの反射度合いを検出するものであるが、本変形例のように、高輝度領域の縦横比によってその領域の大きさを示し、この縦横比に基づいて路面からの反射度合いを検出するようにしてもよい。
先ず、路面反射算出部３４では、画像抽出部３２の抽出した走行区画の画像から、予め設定された閾値以上の輝度値を示す水平・垂直画素番号（ＨＮ・ＶＮ）を特定する。これにより、図１６（ａ）に示す２値化画像の高輝度領域が算出される。次に、図１６（ｂ）に示すように、この高輝度領域の重心位置を算出し、図１６（ｃ）に示すように、重心位置を中心として、高輝度領域を所定角度（例えば、±９０度）の範囲で回転させ、図１６（ｄ）に示す高輝度領域の縦横比（Ｌ／Ｄ）の最大値を算出する。
判定部３６は、高輝度領域の縦横比の最大値が予め設定された縦横比の閾値以上であるか否かを判定する。そして、この判定結果に基づく走行区画の路面からの反射度合いを示す反射度合い情報をヘッドライト制御部４０へ送る。
次に、本変形例における、路面反射検出装置１００の路面反射検出部３０の処理について、図１７に示すフローチャートを用いて説明する。なお、同図に示すＳ１０〜Ｓ３０の各ステップは、第１の実施形態で説明した処理と同様であるので、その説明を省略する。
Ｓ４０ｄでは、Ｓ３０において抽出した走行区画の画像から、予め設定された閾値以上の輝度値を示す水平・垂直画素番号（ＨＮ・ＶＮ）からなる高輝度領域を算出する。Ｓ４２ｄは、高輝度領域の重心位置を算出する。Ｓ４５ｄでは、Ｓ４２ｄにて算出した重心位置を中心として高輝度領域を所定角度の範囲で回転させ、高輝度領域の縦横比の最大値を算出する。
Ｓ５０ｄでは、Ｓ４５ｄにおいて算出した高輝度領域の縦横比の最大値が予め設定された縦横比の閾値以上であるか否かを判定する。ここで、肯定判定される場合にはＳ６０へ処理を進め、否定判定される場合にはＳ７０へ処理を進める。
Ｓ６０では、高輝度領域の縦横比の最大値が閾値以上であるため、走行区画の路面からの反射度合いは高い（路面からの反射が有る）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。Ｓ７０では、高輝度領域の縦横比の最大値が閾値未満であるため、走行区画の路面からの反射度合いは低い（路面からの反射が無い）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。
すなわち、例えば、自車両のヘッドライトからの光が照射される走行区画内の画像から路面の反射度合いを検出する場合、その路面から反射される高輝度領域は、自車両前方に向かって縦長の形状となるが、路面が湿潤状態にあるときは、路面が乾燥状態にあるときに比べより縦長の形状を示すため、その縦横比が大きくなる。従って、高輝度領域の縦横比が予め設定された縦横比の閾値以上である場合に、路面からの反射度合いは高いとする検出結果を得ることができる。
（変形例８）
例えば、１つの光源からの反射光であっても、路面の凹凸が大きい場合、高輝度領域が複数に分割されることがある。このような場合、高輝度領域の大きさは、路面の凹凸の影響により小さい領域を示すことになり、その結果、路面の反射度合いを正確に検出できなくなる。
このように、複数の高輝度領域が算出される場合には、路面反射算出部３４において、各々の高輝度領域毎の離れ度合い（例えば、２つの高輝度領域が算出される場合には、各高輝度領域の境界を構成する画素位置のうち、最も距離の近い画素間の画素数）が予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として算出する。これにより、路面の凹凸が大きい場合であっても、路面の反射度合いを正確に検出することができる。
（第５の実施形態）
第５の実施形態は、第４の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第４の実施形態の路面反射検出部３０は、路面反射算出部３４において、走行区画内の画素毎の輝度値に基づいて、予め設定された閾値以上の輝度値を示す高輝度の画素位置を算出するとともに、この算出した画素位置からなる高輝度領域の画素数を算出し、判定部３６では、路面反射算出部３４によって算出された高輝度領域の画素数が予め設定された画素数の閾値以上であるか否かを判定する。
これに対し、本実施形態の路面反射検出部３０は、路面反射算出部３４において、走行区画内の画素毎の輝度値に基づいて、予め設定された閾値以上の輝度値を示す高輝度の画素位置を算出するとともに、この算出した画素位置からなる高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出し、判定部３６では、路面反射算出部３４によって算出されたゆらぎ量が予め設定されたゆらぎ量の閾値以上であるか否かを判定する点で異なる。
すなわち、例えば、先行車両からの光が照射される走行区画内の路面に凹凸がある場合、高輝度領域の境界線は、図１８（ａ）に示すように、路面が湿潤状態である場合には路面の凹凸の影響を受けてゆらいだものとなる。本実施形態では、この高輝度領域の境界線の平滑度合いを示すゆらぎ量の大小によって、路面の反射度合いを検出する。
先ず、路面反射算出部３４では、画像抽出部３２の抽出した走行区画の画像から、予め設定された閾値以上の輝度値を示す水平・垂直画素番号（ＨＮ・ＶＮ）を特定する。これにより、例えば、図１８（ｂ）に示すような２値化画像の高輝度領域が算出される。次に、同図（ｂ）に示すように、高輝度領域の水平ライン毎の水平ライン方向の中心画素位置を算出し、その後、水平画素番号ＨＮが１だけ大きい水平ライン（すなわち、隣り合う水平ライン）との中心位置の変位量を算出する。そして、この変位量の総和（ゆらぎ量）を算出する。
判定部３６は、算出したゆらぎ量が予め設定されたゆらぎ量の閾値以上であるか否かを判定する。そして、この判定結果に基づく走行区画の路面からの反射度合いを示す反射度合い情報をヘッドライト制御部４０へ送る。
次に、本実施形態の特徴部分に係わる、路面反射検出装置１００の路面反射検出部３０の処理について、図１９に示すフローチャートを用いて説明する。なお、同図に示すＳ１０〜Ｓ３０の各ステップは、第１の実施形態で説明した処理と同様であるので、その説明を省略する。
Ｓ４０ｅでは、Ｓ３０において抽出した走行区画の画像から、予め設定された閾値以上の輝度値を示す水平・垂直画素番号（ＨＮ・ＶＮ）からなる高輝度領域を算出する。Ｓ４２ｅでは、水平ライン毎の中心画素位置を算出する。Ｓ４５ｅでは、隣り合う水平ラインとの中心位置の変位量を算出し、この変位量の総和（ゆらぎ量）を算出する。
Ｓ５０ｅでは、Ｓ４５ｅにおいて算出したゆらぎ量が予め設定されたゆらぎ量の閾値以上であるか否かを判定する。ここで、肯定判定される場合にはＳ６０へ処理を進め、否定判定される場合にはＳ７０へ処理を進める。
Ｓ６０では、ゆらぎ量が閾値以上であるため、走行区画の路面からの反射度合いは高い（路面からの反射が有る）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。Ｓ７０では、ゆらぎ量が閾値未満であるため、走行区画の路面からの反射度合いは低い（路面からの反射が無い）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。
これにより、高輝度領域の形状に関するゆらぎ量に基づいて、路面の反射度合いを検出することができる。なお、本実施形態においても、上述した変形例１〜６が適用可能であることは言うまでもない。
（変形例９）
例えば、変形例８で説明した路面の凹凸に対する処理を施したとしても、路面の凹凸の影響ではなく、複数の光源から路面が照射される場合には、路面反射算出部３４において複数の高輝度領域が算出される。このような場合には、画像抽出部３２の抽出した画像の画素毎の輝度値に基づいて、走行区画内の自車両の車線位置を算出し、この算出した車線内に位置する高輝度領域に基づいて、その高輝度領域の画素数、縦横比、若しくは、高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出する。これにより、自車両の車線内の路面の反射度合いが検出できるようになる。
なお、自車両の車線内に複数の高輝度領域が算出される場合には、車線の中央位置に最も近い高輝度領域に基づいて、その高輝度領域の画素数、縦横比、若しくは、高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出するようにしてもよい。
（変形例１０）
例えば、図２０（ａ）に示すような高輝度領域を含む走行区画の画像が撮影される場合、図２０（ｂ）に示すように、路面反射算出部３４において、この高輝度領域の長軸の向く方向を算出し、この算出した高輝度領域の長軸が自車両のヘッドライト等の自車両から照射する光源に向けられる方向、又は、カメラ１０に向けられる方向と異なる方向を示す場合には、その高輝度領域を算出対象から除外するようにしてもよい。
これにより、上記方向と異なる方向を示す走行区画内の走行区分線を路面反射と誤って検出しないようにすることができる。なお、高輝度領域の長軸の方向は、例えば、変形例７で説明した縦横比の算出方法を用いて、最大縦横比となる角度を求めればよい。
（第６の実施形態）
本実施形態の路面反射検出装置１００は、第１の実施形態の変形例１によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。
本実施形態の路面反射検出装置１００は、図５に示したように、先行車両等の物体を検出するミリ波レーダ６０ａを備え、同図の画像抽出部３２は、図２１（ａ）に示すように、自車両と先行車両等の物体との間の走行区画ＡＲを抽出する。路面反射算出部３４は、この画像抽出部３２の抽出した走行区画の画像の水平ライン方向の画素間の輝度微分値を水平ライン毎に算出し、この算出した水平ライン毎の輝度微分値から全ての水平ラインの輝度微分値の和を算出する。
判定部３６では、路面反射算出部３４によって算出された輝度微分値の和が予め設定された輝度微分閾値以上であるか否かを判定する。
先ず、路面反射算出部３４では、画像抽出部３２の抽出した走行区画の画像の画素毎の輝度値に基づいて、図２１（ｂ）に示すように、水平ライン方向の画素間の輝度微分値を水平ライン毎に算出する。そして、図２１（ｃ）に示すように、この算出した水平ライン毎の輝度微分値から走行区画内の全ての水平ラインの輝度微分値の和を算出する。
判定部３６は、路面反射算出部３４によって算出された輝度微分値の和が予め設定された輝度微分閾値以上であるか否かを判定する。そして、この判定結果に基づく走行区画の路面からの反射度合いを示す反射度合い情報をヘッドライト制御部４０へ送る。
次に、本実施形態の特徴部分に係わる、路面反射検出装置１００の路面反射検出部３０の処理について、図２２に示すフローチャートを用いて説明する。なお、同図に示すＳ１０〜Ｓ３０の各ステップは、第１の実施形態で説明した処理と同様であるので、その説明を省略する。
Ｓ４０ｆでは、Ｓ３０において抽出した走行区画の画像の画素毎の輝度値から、水平ライン方向の画素間の輝度微分値を水平ライン毎に算出する。Ｓ４５ｆでは、水平ライン毎の輝度微分値から走行区画内の全ての水平ラインの輝度微分値の和を算出する。
Ｓ５０ｆでは、Ｓ４５ｆにおいて算出した輝度微分値の和が予め設定された輝度微分閾値以上であるか否かを判定する。ここで、肯定判定される場合にはＳ６０へ処理を進め、否定判定される場合にはＳ７０へ処理を進める。
Ｓ６０では、輝度微分値の和が輝度微分閾値以上であるため、走行区画の路面からの反射度合いは高い（路面からの反射が有る）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。Ｓ７０では、輝度微分値の和が輝度微分閾値未満であるため、走行区画の路面からの反射度合いは低い（路面からの反射が無い）とする反射度合い情報を生成し、この生成した反射度合い情報をヘッドライト制御部４０へ送る。
すなわち、先行車両の後部に設けられる制動灯や車幅灯からの光の反射光は、カメラ１０によって撮影される画像内において垂直方向に伸びていることが多いため、画像の水平ライン方向の画素間の輝度微分値を算出すると、上記反射光の境界に相当する画素位置の左右で大きな輝度微分値が得られる。そのため、全ての水平ラインの輝度微分値の和を算出すると、上記反射光の境界に相当する画素位置の左右で大きな輝度微分値を示す。
従って、輝度微分値の和が予め設定された輝度微分閾値以上である場合には、先行車両の光源による路面からの反射度合いは高いとする検出結果を得ることができる。なお、本実施形態においても、上述した変形例１〜６が適用可能であることは言うまでもない。
（変形例１１）
上述した、第１〜第６実施形態における路面反射検出部３０を構成する判定部３６は、１つの閾値を用いて路面の反射度合いを判定しているが、複数の閾値を設定して路面の反射度合いをさらに細かく判定するようにしてもよい。
すなわち、路面が湿潤／凍結／積雪状態にある場合、路面に光沢があるものの、路面の反射度合いが各々の路面状態に応じて異なる。従って、この各々の路面状態に対応する複数の閾値を予め設定しておくことで、路面の細かな反射度合いを検出することが可能となる。
（変形例１２）
上述した、第１〜第６実施形態における路面反射検出部３０を備え、その複数の路面反射検出部３０によって検出された路面反射度合いの検出結果に重み付けを付与し、この重み付けを付与した検出結果を総合して、最終的な検出結果をするようにしてもよい。
すなわち、第１〜第６実施形態における輝度閾値、輝度勾配閾値、輝度勾配の数の閾値、高輝度領域の大きさを示す閾値、ゆらぎ量の閾値、及び輝度微分閾値の少なくとも２つの閾値を用いた判定結果に基づく路面の反射度合いの検出結果から、最終的な路面の反射度合いを検出するようにしてもよい。これにより、より正確な路面の反射度合いを検出することが可能となる。
（変形例１３）
上述した、第１〜第６実施形態における路面反射検出部３０の検出結果の時間変化や、路面の反射度合いの複数回の検出結果を踏まえて、最終的な路面の反射度合いを検出するようにしてもよい。
これにより、路面の反射度合いの検出結果にヒステリシスをもたせることができるため、例えば、路面状態が著しく変化する場合であっても、路面の反射度合いの検出結果が著しく変化しないようにすることができる。
路面反射検出装置１００の全体構成を示すブロック図である。 自車両前方の画像を撮影するカメラ１０の配置を示す図である。 カメラ１０によって撮影される走行区画ＡＲを含む画像の例を示す図である。 第１の実施形態に係わる、輝度平均値による路面の反射度合いを検出する路面反射検出部３０の処理の流れを示すフローチャートである。 第１の実施形態の変形例１に係わる、ミリ波レーダ６０ａを備える路面反射検出装置１００の全体構成を示すブロック図である。 （ａ）は、通常の切り出し範囲を示したものであり、（ｂ）は、距離情報を用いた切り出し範囲を示すものである。 第１の実施形態の変形例２に係わる、車速センサ６０ｂを備える路面反射検出装置１００の全体構成を示すブロック図である。 第１の実施形態の変形例３に係わる、操作検出部６０ｃを備える路面反射検出装置１００の全体構成を示すブロック図である。 第１の実施形態の変形例４に係わる、車両状態検出部６０ｄを備える路面反射検出装置１００の全体構成を示すブロック図である。 （ａ）は、所定の閾値（Ｅｔｈ）を超える輝度値を示す水平ラインの水平画素番号を特定する際のイメージ図であり、（ｂ）は、水平ライン方向の画素毎の輝度値の変化の程度を示す輝度勾配（ＷＹ／ＷＸ）を算出する際のイメージ図である。 第２の実施形態に係わる、輝度勾配による路面の反射度合いを検出する路面反射検出部３０の処理の流れを示すフローチャートである。 （ａ）は、自車両のヘッドライトからの光が照射される走行区画内の画像を示した図であり、（ｂ）は、複数の輝度勾配が算出される場合の例を示した図である。 第３の実施形態に係わる、輝度勾配の個数による路面の反射度合いを検出する路面反射検出部３０の処理の流れを示すフローチャートである。 （ａ）は、自車両のヘッドライトからの光が照射される走行区画ＡＲ内の画像を示した図であり、（ｂ）は、２値化画像の高輝度領域ＡＲＨ１、ＡＲＨ２を示した図である。 第４の実施形態に係わる、高輝度領域の画素数による路面の反射度合いを検出する路面反射検出部３０の処理の流れを示すフローチャートである。 （ａ）は、２値化画像の高輝度領域を示す図であり、（ｂ）は、高輝度領域の重心位置を示す図であり、（ｃ）は、高輝度領域の画像を回転させる場合の例を示す図であり、（ｄ）は、高輝度領域の縦横比を示す図である。 第４の実施形態の変形例７に係わる、高輝度領域の縦横比による路面の反射度合いを検出する路面反射検出部３０の処理の流れを示すフローチャートである。 （ａ）は、高輝度領域の形状が路面の凹凸の影響を受けてゆらいだものとなる場合を示した図であり、（ｂ）は、ゆらぎ量を算出する手順を説明した図である。 第５の実施形態に係わる、ゆらぎ量による路面の反射度合いを検出する路面反射検出部３０の処理の流れを示すフローチャートである。 （ａ）は、高輝度領域を含む走行区画の画像が撮影される場合を示した図であり、（ｂ）は、高輝度領域の長軸の向く方向を算出した場合を示した図である。 （ａ）は、自車両と先行車両等の物体との間の走行区画ＡＲを示す図であり、（ｂ）は、水平ライン方向の画素間の輝度微分値を水平ライン毎に算出した場合の例を示す図であり、（ｃ）は、水平ライン毎の輝度微分値から走行区画内の全ての水平ラインの輝度微分値の和を算出した場合の例を示す図である。 第６の実施形態に係わる、輝度微分値の和による路面の反射度合いを検出する路面反射検出部３０の処理の流れを示すフローチャートである。
符号の説明
１０ カメラ
２０ 走行区画認識部
３０ 路面反射検出部
３２ 画像抽出部
３４ 路面反射算出部
３６ 判定部
４０ ヘッドライト制御部
５０ ヘッドライトスイッチ
１００ 路面反射検出装置

Claims (15)

  1. 自車両前方の走行区画を含む画像を撮影する撮像手段と、
    前記撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、
    前記走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、
    前記画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
    前記路面反射検出手段は、
    前記画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の大きさを算出するものであって、複数の前記高輝度領域が存在する場合、各々の前記高輝度領域毎の離れ度合いを算出し、この算出した離れ度合いが予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として高輝度領域の大きさを算出する路面反射算出手段と、
    前記路面反射算出手段の算出する高輝度領域の大きさが予め設定された高輝度領域の大きさを示す閾値以上であるか否かを判定する判定手段とを備え、
    前記判定手段の判定結果から前記路面の反射度合いを検出することを特徴とする路面反射検出装置。
  2. 自車両前方の走行区画を含む画像を撮影する撮像手段と、
    前記撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、
    前記走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、
    前記画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
    前記路面反射検出手段は、
    前記画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域が複数存在する場合、各々の前記高輝度領域毎の離れ度合いを算出し、この算出した離れ度合いが予め設定された離れ度合いの閾値以下となる複数の高輝度領域を１つの高輝度領域として算出し、前記離れ度合いが前記閾値以下となる複数の高輝度領域を１つの高輝度領域としても複数の高輝度領域が存在する場合、前記画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出する路面反射算出手段と、
    前記路面反射算出手段の算出する高輝度領域の境界線の平滑度合いを示すゆらぎ量が予め設定されたゆらぎ量の閾値以上であるか否かを判定する判定手段とを備え、
    前記判定手段によって前記高輝度領域の境界線の平滑度合いを示すゆらぎ量が前記予め設定されたゆらぎ量の閾値以上であると判定される場合に、前記路面からの反射度合いは高いとする検出結果を得ることを特徴とする路面反射検出装置。
  3. 自車両前方の走行区画を含む画像を撮影する撮像手段と、
    前記撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、
    前記走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、
    前記画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
    前記路面反射検出手段は、
    前記画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の大きさを算出するものであって、複数の前記高輝度領域が存在する場合、前記画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、前記走行区画内の前記自車両の車線位置を算出し、この算出した車線内に位置する高輝度領域に基づいて、その高輝度領域の大きさを算出する路面反射算出手段と、
    前記路面反射算出手段の算出する高輝度領域の大きさが予め設定された高輝度領域の大きさを示す閾値以上であるか否かを判定する判定手段とを備え、
    前記判定手段の判定結果から前記路面の反射度合いを検出することを特徴とする路面反射検出装置。
  4. 自車両前方の走行区画を含む画像を撮影する撮像手段と、
    前記撮像手段の撮影した画像内における走行区画を認識する走行区画認識手段と、
    前記走行区画認識手段の認識した走行区画内の画像を抽出する画像抽出手段と、
    前記画像抽出手段の抽出した画像から走行区画内の路面の反射度合いを検出する路面反射検出手段とを備え、
    前記路面反射検出手段は、
    前記画像抽出手段の抽出した画像の画素毎の輝度値に基づいて、予め設定された閾値以上の高輝度の画素位置を算出し、この算出した画素位置からなる高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出するものであって、複数の前記高輝度領域が前記自車両の車線内に存在する場合、前記車線の中央位置に最も近い高輝度領域に基づいて、前記高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出する路面反射算出手段と、
    前記路面反射算出手段の算出する高輝度領域の境界線の平滑度合いを示すゆらぎ量が予め設定されたゆらぎ量の閾値以上であるか否かを判定する判定手段とを備え、
    前記判定手段によって前記高輝度領域の境界線の平滑度合いを示すゆらぎ量が前記予め設定されたゆらぎ量の閾値以上であると判定される場合に、前記路面からの反射度合いは高いとする検出結果を得ることを特徴とする路面反射検出装置。
  5. 前記路面反射算出手段は、前記高輝度領域の大きさとして、前記高輝度領域に含まれる画素数を算出し、
    前記判定手段は、前記高輝度領域に含まれる画素数が予め設定された画素数以上であるか否かを判定し、
    前記路面反射検出手段は、前記判定手段によって前記高輝度領域に含まれる画素数が前記予め設定された画素数以上であると判定される場合に、前記路面からの反射度合いは高いとする検出結果を得ることを特徴とする請求項１または３記載の路面反射検出装置。
  6. 前記路面反射算出手段は、前記高輝度領域の大きさとして、前記高輝度領域の縦横比を算出し、
    前記判定手段は、前記高輝度領域の縦横比が予め設定された縦横比の閾値以上であるか否かを判定し、
    前記路面反射検出手段は、前記判定手段によって前記高輝度領域の縦横比が前記予め設定された縦横比の閾値以上であると判定される場合に、前記路面からの反射度合いは高いとする検出結果を得ることを特徴とする請求項１または３記載の路面反射検出装置。
  7. 前記路面反射算出手段は、複数の前記高輝度領域が前記自車両の車線内に存在する場合、前記車線の中央位置に最も近い高輝度領域に基づいて、その高輝度領域の大きさ、若しくは、前記高輝度領域の境界線の平滑度合いを示すゆらぎ量を算出することを特徴とする請求項３または４記載の路面反射検出装置。
  8. 前記自車両前方に存在する物体を検出する物体検出手段を備え、
    前記画像抽出手段は、前記物体検出手段によって物体が検出される場合、前記自車両と前記物体との間に位置する走行区画内の画像を抽出することを特徴とする請求項１〜７の何れか１項に記載の路面反射検出装置。
  9. 前記物体検出手段は、前記撮像手段の撮影する画像、及びレーダ装置の少なくとも一方を用いて前記自車両前方に存在する先行車両を含む物体を検出することを特徴とする請求項８記載の路面反射検出装置。
  10. 前記自車両の速度を検出する速度検出手段を備え、
    前記画像抽出手段は、前記速度検出手段の検出結果に基づいて、前記画像を抽出する範囲を決定する抽出範囲決定手段を備えることを特徴とする請求項１〜９の何れか１項に記載の路面反射検出装置。
  11. 前記自車両の方向指示器の操作を検出する方向指示検出手段を備え、
    前記画像抽出手段は、前記方向指示検出手段の検出結果に基づいて、前記画像を抽出する範囲を決定する抽出範囲決定手段を備えることを特徴とする請求項１〜９の何れか１項に記載の路面反射検出装置。
  12. 前記自車両のステアリングの操舵角、及び、前記自車両の鉛直方向回りの角速度の少なくとも一方の車両状態を検出する車両状態検出手段を備え、
    前記画像抽出手段は、前記車両状態検出手段の検出結果に基づいて、前記画像を抽出する範囲を決定する抽出範囲決定手段を備えることを特徴とする請求項１〜９の何れか１項に記載の路面反射検出装置。
  13. 前記抽出範囲決定手段は、前記速度検出手段の検出結果、前記方向指示検出手段の検出結果、及び、前記車両状態検出手段の検出結果の少なくとも２つの検出結果に基づいて、前記画像を抽出する範囲を決定することを特徴とする請求項１０〜１１の何れか１項に記載の路面反射検出装置。
  14. 前記路面反射検出手段の検出結果に応じて、前記自車両のヘッドライトの照射方向、及び光量の少なくとも一方に関する制御を実行するヘッドライト制御手段を備えることを特徴とする請求項１〜１４の何れか１項に記載の路面反射検出装置。
  15. 前記路面反射検出手段の検出結果に応じて、前記自車両と先行車両との車間距離を一定に保つ制御を実行する車間距離制御手段を備えることを特徴とする請求項１〜１４の何れか１項に記載の路面反射検出装置。
JP2004007338A 2004-01-14 2004-01-14 路面反射検出装置 Expired - Fee Related JP4258385B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004007338A JP4258385B2 (ja) 2004-01-14 2004-01-14 路面反射検出装置
US11/032,893 US7676094B2 (en) 2004-01-14 2005-01-11 Road surface reflection detecting apparatus
DE200510001455 DE102005001455A1 (de) 2004-01-14 2005-01-12 Straßenoberflächenreflexionserfassungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004007338A JP4258385B2 (ja) 2004-01-14 2004-01-14 路面反射検出装置

Publications (2)

Publication Number Publication Date
JP2005201741A JP2005201741A (ja) 2005-07-28
JP4258385B2 true JP4258385B2 (ja) 2009-04-30

Family

ID=34737308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004007338A Expired - Fee Related JP4258385B2 (ja) 2004-01-14 2004-01-14 路面反射検出装置

Country Status (3)

Country Link
US (1) US7676094B2 (ja)
JP (1) JP4258385B2 (ja)
DE (1) DE102005001455A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4616046B2 (ja) * 2005-03-22 2011-01-19 本田技研工業株式会社 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
US11632498B1 (en) * 2005-06-03 2023-04-18 Craig P. Mowry Multi-dimensional imaging system and method
DE102005047331A1 (de) * 2005-09-30 2007-04-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Beleuchtungssteuerung bei Straßenfahrzeugen
JP4793094B2 (ja) * 2006-05-17 2011-10-12 株式会社デンソー 走行環境認識装置
JP2008028957A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両用画像処理装置
US8462988B2 (en) * 2007-01-23 2013-06-11 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
JP4935586B2 (ja) * 2007-09-05 2012-05-23 株式会社デンソー 画像処理装置、車載用画像処理装置、車載用画像表示装置及び車両制御装置
JP4613970B2 (ja) 2008-03-12 2011-01-19 トヨタ自動車株式会社 車両用照明装置
JP4894824B2 (ja) * 2008-07-09 2012-03-14 株式会社デンソー 車両検出装置、車両検出プログラム、およびライト制御装置
DE102008034166A1 (de) * 2008-07-22 2010-01-28 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Emitteln einer geeigneten Lichtverteilung des durch mindestens einen Frontscheinwerfer eines Fahrzeugs abgestrahlten Lichts
FR2936194B1 (fr) * 2008-09-23 2011-08-05 Valeo Vision Sas Procede d'ajustement de l'eclairage des projecteurs pour vehicule automobile.
FR2936195B1 (fr) * 2008-09-23 2011-08-05 Valeo Vision Sas Procede d'ajustement de l'eclairage des projecteurs pour vehicule automobile.
WO2011055418A1 (ja) 2009-11-09 2011-05-12 トヨタ自動車株式会社 距離測定装置、及び距離測定方法
JP5546326B2 (ja) * 2010-04-12 2014-07-09 株式会社小糸製作所 制御装置、車両用灯具システム、車両用灯具
DE102010029149B4 (de) * 2010-05-20 2012-04-05 Robert Bosch Gmbh Verfahren und Steuergerät zum Plausibilisieren eines Leuchtweite-Testwerts eines Lichtkegels eines Fahrzeugscheinwerfers
JP5348100B2 (ja) * 2010-09-17 2013-11-20 トヨタ自動車株式会社 前照灯装置、輝度制御方法
WO2012171739A2 (de) * 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und steuergerät zur erkennung einer wetterbedingung in einem umfeld eines fahrzeugs
JP5632811B2 (ja) * 2011-09-13 2014-11-26 本田技研工業株式会社 車両の運転支援装置
DE102011084613A1 (de) * 2011-10-17 2013-04-18 Robert Bosch Gmbh Erkennen einer Straßenbeleuchtung
CN102424016B (zh) * 2011-10-19 2013-11-06 清华大学 一种基于机器视觉的汽车前照灯自动控制***
CN104145193B (zh) * 2012-03-01 2016-04-27 日产自动车株式会社 车辆检测装置以及车辆检测方法
JP5884635B2 (ja) * 2012-05-18 2016-03-15 株式会社デンソー 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
MY170950A (en) * 2012-07-27 2019-09-20 Nissan Motor Three-dimensional object detection device and three-dimensional object detection method
WO2014033936A1 (ja) * 2012-08-31 2014-03-06 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6094252B2 (ja) * 2013-02-20 2017-03-15 株式会社デンソー 道路標識認識装置
JP6295566B2 (ja) * 2013-09-27 2018-03-20 株式会社アドヴィックス 車両の制御装置
KR101526728B1 (ko) * 2013-12-09 2015-06-05 현대자동차주식회사 야간 주행 시 전방 장애물 검출 방법
CN104185342B (zh) * 2014-08-11 2016-08-17 奇瑞汽车股份有限公司 一种汽车照明方法和装置
US10043091B2 (en) 2014-12-05 2018-08-07 Magna Electronics Inc. Vehicle vision system with retroreflector pattern recognition
JP6222578B2 (ja) * 2015-02-06 2017-11-01 マツダ株式会社 車両用効果音発生装置
DE102015209983A1 (de) * 2015-05-29 2016-12-01 Conti Temic Microelectronic Gmbh Steuervorrichtung für ein Fahrzeug und Verfahren
JP6571424B2 (ja) 2015-07-06 2019-09-04 株式会社トランストロン 故障診断装置
CN105184240B (zh) * 2015-08-27 2018-05-29 广西师范学院 基于扫描线聚类的安防视频道路自动识别算法
US10331956B2 (en) 2015-09-23 2019-06-25 Magna Electronics Inc. Vehicle vision system with detection enhancement using light control
US10430674B2 (en) 2015-12-14 2019-10-01 Magna Electronics Inc. Vehicle vision system using reflective vehicle tags
JP6211113B2 (ja) * 2016-02-03 2017-10-11 三菱電機株式会社 車両接近検出装置
KR101907531B1 (ko) * 2016-12-12 2018-10-12 현대오트론 주식회사 자동차의 헤드 램프 조절 방법 및 장치
US10936884B2 (en) 2017-01-23 2021-03-02 Magna Electronics Inc. Vehicle vision system with object detection failsafe
JP6876269B2 (ja) * 2017-03-08 2021-05-26 スズキ株式会社 路面状態推定装置
JP6591118B2 (ja) * 2017-03-15 2019-10-16 三菱電機株式会社 光量調整装置、光量調整方法及び光量調整プログラム
US10197486B2 (en) * 2017-04-30 2019-02-05 Behrouz Mataei Pavement drainage evaluation system
DE102017209301A1 (de) * 2017-06-01 2018-12-06 Osram Gmbh Anpassen einer lichtstärke von scheinwerferlicht eines fahrzeugs
CN108888119B (zh) * 2018-09-10 2023-01-06 青岛海尔智能技术研发有限公司 一种自动注水装置及注水控制方法
DE102019108397A1 (de) * 2019-04-01 2020-10-01 Gesellschaft für Produktionshygiene und Sterilitätssicherung mbH Verfahren und Vorrichtung zur Desinfektion von Reinräumen
KR102664120B1 (ko) * 2019-08-02 2024-05-10 현대자동차주식회사 차량의 조도 정보 생성 장치 및 방법
CN110491133B (zh) * 2019-08-08 2020-10-16 善泊科技(珠海)有限公司 一种基于置信度的车辆信息校正***和方法
DE102019005898A1 (de) * 2019-08-21 2021-02-25 Daimler Ag Verfahren zum Entblenden von Objekten mittels eines Scheinwerfersystems eines Kraftfahrzeugs
JP7303064B2 (ja) * 2019-08-23 2023-07-04 株式会社デンソーテン 画像処理装置、および、画像処理方法
CN110733408A (zh) * 2019-10-17 2020-01-31 杭州奥腾电子股份有限公司 一种基于视觉的智能远光灯算法
US10830581B1 (en) * 2019-11-08 2020-11-10 International Business Machines Corporation Surface smoothness analysis
CN111912523B (zh) * 2020-05-25 2022-12-30 山西省交通建设工程质量检测中心（有限公司） 一种可调节定位的隧道照明检测装置及其方法
CN111674800B (zh) * 2020-06-03 2021-07-09 灵动科技（北京）有限公司 用于自动驾驶***的智能仓储技术
US11377023B2 (en) * 2020-09-24 2022-07-05 GM Global Technology Operations LLC Proactive headlight tracking for vehicle auto high beam assist
DE102022107333A1 (de) 2022-03-29 2023-10-05 HELLA GmbH & Co. KGaA Vorrichtung und Verfahren zur Erfassung eines Niederschlags
DE102022204128A1 (de) 2022-04-28 2023-11-02 Psa Automobiles Sa Abblendlichtvorrichtung eines Fahrzeugs, Verfahren und System zum Steuern der Abblendlichtvorrichtung

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6140684A (ja) * 1984-07-31 1986-02-26 Omron Tateisi Electronics Co 輪郭追跡装置
US5091963A (en) * 1988-05-02 1992-02-25 The Standard Oil Company Method and apparatus for inspecting surfaces for contrast variations
GB2219905A (en) * 1988-06-17 1989-12-20 Philips Electronic Associated Target detection system
US5301239A (en) * 1991-02-18 1994-04-05 Matsushita Electric Industrial Co., Ltd. Apparatus for measuring the dynamic state of traffic
JP3083918B2 (ja) * 1992-06-26 2000-09-04 本田技研工業株式会社 画像処理装置
US6241622B1 (en) * 1998-09-18 2001-06-05 Acushnet Company Method and apparatus to determine golf ball trajectory and flight
JP2887039B2 (ja) * 1993-03-26 1999-04-26 三菱電機株式会社 車両周辺監視装置
JP3373008B2 (ja) * 1993-10-20 2003-02-04 オリンパス光学工業株式会社 画像像域分離装置
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
JP2989744B2 (ja) * 1994-06-13 1999-12-13 株式会社東芝 測定面抽出装置及びその方法
EP0720114B1 (en) * 1994-12-28 2001-01-24 Siemens Corporate Research, Inc. Method and apparatus for detecting and interpreting textual captions in digital video signals
US20010033680A1 (en) * 1995-10-26 2001-10-25 Bankman Isaac N. Method and system for detecting small structures in images
JP3285575B2 (ja) 1996-08-28 2002-05-27 松下電器産業株式会社 道路領域抽出装置および方法
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
US5774177A (en) * 1996-09-11 1998-06-30 Milliken Research Corporation Textile fabric inspection system
EP1365355B1 (en) * 1997-06-02 2016-03-16 Seiko Epson Corporation Edge-enhancement processing apparatus and method
JPH1166488A (ja) * 1997-08-21 1999-03-09 Honda Motor Co Ltd 白線認識装置
IT1296643B1 (it) * 1997-12-16 1999-07-14 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per l'introduzione di distorsioni di riferimento in segnali video.
EP0951181A1 (en) * 1998-04-14 1999-10-20 THOMSON multimedia Method for detecting static areas in a sequence of video pictures
JP3452794B2 (ja) * 1998-05-12 2003-09-29 三菱電機株式会社 視程測定装置
US6750988B1 (en) * 1998-09-11 2004-06-15 Roxio, Inc. Method and system for scanning images in a photo kiosk
JP2000180378A (ja) 1998-12-18 2000-06-30 Omron Corp 路面状態検出装置
JP4287532B2 (ja) * 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US6400848B1 (en) * 1999-03-30 2002-06-04 Eastman Kodak Company Method for modifying the perspective of a digital image
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
US6754367B1 (en) * 1999-09-30 2004-06-22 Hitachi Denshi Kabushiki Kaisha Method and apparatus for automatically detecting intrusion object into view of image pickup device
JP2001134769A (ja) 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US6965695B2 (en) * 2000-03-23 2005-11-15 Ricoh Company, Ltd. Method and system for processing character edge area data
WO2001085491A1 (en) * 2000-05-08 2001-11-15 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
US7440635B2 (en) * 2000-05-30 2008-10-21 Sharp Laboratories Of America, Inc. Method for removing ringing artifacts from locations near dominant edges of an image reconstructed after compression
JP3930268B2 (ja) 2000-06-26 2007-06-13 株式会社日立製作所 接近車両検知及び車線位置検知を行う画像処理装置
JP3626905B2 (ja) 2000-11-24 2005-03-09 富士重工業株式会社 車外監視装置
JP3500425B2 (ja) 2000-11-24 2004-02-23 国土交通省国土技術政策総合研究所長 可視画像式路面状況把握装置における路面状況判定方法
JP2002193025A (ja) * 2000-12-27 2002-07-10 Koito Mfg Co Ltd 車両用前照灯装置
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
DE10114187A1 (de) * 2001-03-23 2002-09-26 Bosch Gmbh Robert Verfahren und Vorrichtung zur Unterstützung eines Überholvorgangs bei Kraftfahrzeugen
JP2002314989A (ja) * 2001-04-10 2002-10-25 Yazaki Corp 車両用周辺監視装置
JP2002310896A (ja) 2001-04-19 2002-10-23 Mitsubishi Heavy Ind Ltd 路面状態判別装置及び路面状態判別方法
US7027615B2 (en) * 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system
FR2826727B1 (fr) 2001-06-29 2004-05-28 Valeo Vision Procede et dispositif pour detecter l'etat d'humidite d'une route sur laquelle circule un vehicule
JP2003112567A (ja) * 2001-10-04 2003-04-15 Koito Mfg Co Ltd 車両用照明装置
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP2003337944A (ja) * 2002-03-14 2003-11-28 Ricoh Co Ltd 画像処理装置、画像処理用のホスト装置及び画像処理方法、並びに画像処理プログラム及びコンピュータ読み取り可能な記憶媒体
DE60311747D1 (de) * 2002-11-20 2007-03-29 St Microelectronics Sa Bestimmung eines Schärfekennwerts für ein digitales Bild
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両

Also Published As

Publication number Publication date
DE102005001455A1 (de) 2005-08-25
JP2005201741A (ja) 2005-07-28
US20050152581A1 (en) 2005-07-14
US7676094B2 (en) 2010-03-09

Similar Documents

Publication Publication Date Title
JP4258385B2 (ja) 路面反射検出装置
USRE48106E1 (en) Detection of obstacles at night by analysis of shadows
US9371031B2 (en) Method for controlling a headlamp system for a vehicle, and headlamp system
EP0827127B1 (en) Local positioning apparatus, and method therefor
EP2993654B1 (en) Method and system for forward collision warning
US7566851B2 (en) Headlight, taillight and streetlight detection
US8862336B2 (en) Method for controlling a headlamp system for a vehicle, and headlamp system
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
US20090192686A1 (en) Method and Driver Assistance System for Sensor-Based Drive-Off Control of a Motor Vehicle
JP6787157B2 (ja) 車両制御装置
JP2005301603A (ja) 走行車線検出装置
JP2007057331A (ja) 車載霧判定装置
JP2009134455A (ja) 走行支援装置、車間距離設定方法
JP5361901B2 (ja) 前照灯制御装置
JP4314979B2 (ja) 白線検出装置
KR20100056883A (ko) 끼어드는 차량을 인식하는 감응식 순항 제어 시스템
JPH08138036A (ja) 先行車両認識装置
JP4969359B2 (ja) 移動物認識装置
JP4735530B2 (ja) 道路区画線認識装置
JP4791086B2 (ja) 衝突回避システム
JP4376147B2 (ja) 障害物認識方法及び障害物認識装置
JP5452518B2 (ja) 車両用白線認識装置
WO2024127633A1 (ja) 配光制御システム及び配光制御方法
JP7378673B2 (ja) 前照灯制御装置、前照灯制御システム、及び前照灯制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4258385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees