JP5891723B2 - 撮像方法および撮像ユニット - Google Patents
撮像方法および撮像ユニット Download PDFInfo
- Publication number
- JP5891723B2 JP5891723B2 JP2011246851A JP2011246851A JP5891723B2 JP 5891723 B2 JP5891723 B2 JP 5891723B2 JP 2011246851 A JP2011246851 A JP 2011246851A JP 2011246851 A JP2011246851 A JP 2011246851A JP 5891723 B2 JP5891723 B2 JP 5891723B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- windshield
- light source
- raindrop
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
特許文献1には、車両のフロントウインドシールドの内壁に装着されて、雨滴の有無を光学的に検出する雨滴センサが開示されている。この雨滴センサは、プリズムの長手方向両側に発光素子及び受光素子を配置して構成される。発光素子からの光を平行光にしてプリズム本体に入射する。プリズム本体に入射した光は、フロントウインドシールドの外壁とプリズム本体の中央部上壁との間で反射された後、レンズ部からの光を集光して受光素子に入射する。
この方式では、フロントウインドシールドの外壁の雨滴の付着有無に応じて受光素子において生じる光量変化を計測することで雨滴の有無を判別している。
特許文献3には、車両に付着した雨滴を撮像するための近距離用の第1の焦点距離と、車両の周辺を撮像するための遠距離用の第2の焦点距離とを採り得るレンズを備えた車載用監視装置が開示されている。
特許文献4には、画像処理装置と光源を備え、光源を照らしてガラスの外側の雨滴を撮像する画像処理システムが開示されている。
しかしながら、フロントガラス面に密着配置する必要があり、検出領域が限定されることが課題であった。検出領域を大きくしようとすると、雨滴センサの光学系を大きくする必要があるため、センササイズと検出精度がトレードオフの関係となっている。
また、近年の車両においては、車両の走行状況や、障害物情報を撮影してドライバに警告したり、車両の制御を行うための撮像装置がフロントガラス面のルームミラー裏側に設置されているが、このような雨滴センサの取り付け位置との緩衝が課題となっている。
特許文献3にあるような、遠近両用の焦点を有するレンズを用いれば、フロントガラス面の雨滴と、車両周辺情報のそれぞれに焦点を合わせることができる。
しかしながら、フロントガラス面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映りこむとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことは困難である。なお、発明者らは実験により、このような課題があることを確認した。
特許文献4によれば、ピント位置をずらして車両周辺の画像を合わせて撮影することが記載されている。なお、雨滴の多少を推定する内容が記載されていない。
本発明は、上記に鑑みてなされたもので、その目的としては、光源からの光を照射したフロントガラス面上の光源照射領域における撮像画像から雨滴の付着状態を検出することが可能な撮像方法および撮像ユニットを提供することにある。
<第1実施形態>
本発明の第1実施形態に係る画像処理システムについて説明する。
図1は、自動車などの車両100に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図である。
本実施形態の画像処理システムは、撮像ユニット101と画像解析ユニット102とを有している。
具体例としては、画像解析ユニット102は、車両100の前方に存在する他の車両までの位置や距離や角度を算出する。ヘッドライト制御ユニット103は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した距離値から、ヘッドライト104を制御する制御信号を生成する。ヘッドライト制御ユニット103が生成した制御信号は、ヘッドライト104に送られる。ヘッドライト制御ユニット103は、先行車や対向車への幻惑防止を行いつつ、ドライバの視界を確保するために、ヘッドライト104のハイビームおよびロービームの切り替えや、部分的な遮光を行ったりする。
ワイパー制御ユニット106は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した異物や雨量などから、ワイパー107を制御する制御信号を生成する。
ワイパー制御ユニット106が生成した制御信号は、ワイパー107に送られる。ワイパー制御ユニット106は、ドライバの視界を確保するべく、ワイパー107を稼動させる。
画像解析ユニット102は、車両100が進行する道路の走行可能な路面領域や白線の座標情報を算出し、次いで、車両走行制御ユニット108は、画像解析ユニット102からの出力信号を受け、画像解析ユニット102が算出した座標値から、ドライバへの警告信号を生成する。また、車両走行制御ユニット108は、ハンドルやブレーキの制御をも行うことも出来る。
撮像ユニット101は、図2(a)に示すように、撮像装置201、光源202を備えている。
また、撮像ユニット101は、車両100の室内側に、フロントガラス105に対向するように設置されている。
また、撮像装置201は、図2(b)に示すように、撮像レンズ204、光学フィルタ205および撮像素子206を備えている。
光源202は、図2(a)に示すように、フロントガラス105面の異物や雨滴を検出するために設置されている。フロントガラス105の外側に雨滴203が付着している場合、光源202が発した光は、雨滴と空気の界面で反射し、その光は撮像装置201に入射する。
なお、撮像ユニット101は、図2(a)に示すように、撮像装置201、光源202をケース207によって覆っている。このように撮像ユニット101を囲んでしまうと、フロントガラス105の他の部分で曇りが発生しても撮像装置201付近のフロントガラス105では、曇りの発生が妨げられ、撮像装置201は誤認識することなく動作することが可能である。一方で、撮像装置201を用いて曇りを検出して、エアコンの制御などを行いたい場合は、フロントガラス105と同一環境となるようにケース207の一部に空気の流れる通路を設けてやればよい。
図3に示す撮像装置201は、撮像レンズ204、光学フィルタ205、撮像素子206を含むセンサ基板601、信号処理部602を備えている。
被検物からの光は撮像レンズ204を通り、光学フィルタ205を透過して撮像素子206で電気信号に変換される。
信号処理部602では、撮像素子206から出力される電気信号を入力し、後述する画像信号を生成する。そして、撮像装置201は、画像データとして、撮影した画像の画素毎の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後続の出力機器へ出力する。
撮像レンズ204の焦点位置は、無限遠或いは、無限遠とフロントガラス105との間に設定している。これにより、先行車や対向車の検知や、路面領域や白線などの情報を検知できる。
下記に説明する本実施形態では、フロントガラス105面の異物や雨滴を検出する画像領域(雨滴検出領域)と、先行車や対向車或いは路面や白線を検出する画像領域(車両周辺情報検出領域)とを両立するものである。両立に対しては、部分的に上記分光フィルタが形成されたものを用いればよい。
例えば、図4(a)に示すように光学フィルタ205を分割し、画面の中央部1/2の領域を、配光制御や車両制御用の画像を撮影するための車両周辺情報検出領域52とし、画面下部および上部の1/4領域ずつを、雨滴検知を行うように、後述する理由によって赤外光のみを透過させて画像処理を行うための雨滴検出領域51とする。
図4(b)は、車両と雨滴の撮影画像の一例を示しており、画面下方の雨滴検出領域51内にボンネットのある部分31を破線で示しており、雨滴203が映っている。また、画面中央の領域52内に、路面32、先行車33が映っている。
本実施形態では、図5に示すように、光学フィルタ205の両面(撮像レンズ側205a、撮像素子側205b)に分光フィルタ層205A、205Bが形成されている。
そして、分光フィルタ205Bは、上述した雨滴検出領域51に対応した箇所に設けられている。また、分光フィルタ205Aが設けられていない箇所が、車両周辺情報検出領域52に対応している。
雨滴検出領域51を画面上下部に設け、車両周辺情報検出領域52を中央部に設けた理由としては、雨滴検出以外の検出機能については、被写体は、主として画面中央部に写ることが多いことがあげられる。
例えば、配光制御では、画面中央部に対向車のヘッドライト及び先行車のテールランプ、画面下部には自車近傍の路面が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面下部の情報はあまり重要でない。同様に画面上部についても空が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面上部の情報はあまり重要でない。
よって、雨滴検知機能と、その他検出機能を両立させる場合には、画面上部ならびに下部を雨滴検出フィルタ用の赤外光透過フィルタ領域(雨滴検出領域51)とする図4(a)の構成が好適である。
もちろん、雨滴検出のみを行う場合は、光学フィルタ205の撮像素子側205bの全面に雨滴検出フィルタ(分光フィルタ205B)を形成してもよい。
なお、撮像レンズ204の特性により、撮像対象となる実際の光景と撮像素子30に集光された映像とでは天地が逆になる。そこで、画面下部を雨滴検知用の赤外光透過領域とするためには、光学フィルタ205の天側に分光フィルタ205Bを設けて赤外透過フィルタ領域(雨滴検出領域)51とする。
図6は、センサ基板部の拡大図である。
撮像素子206は、CCDやCMOSなどを受光素子であり、画素ごとにフォトダイオード206bが2次元画像を構成するべくアレイ配置されたものである。
フォトダイオード206bの表面にはマイクロレンズ206aが形成されておりフォトダイオード206bとしての集光効率を上げている。このような撮像素子206は、ワイヤボンディングなどの手法によりPWB基板207に接合されてなり、信号処理部602に情報を伝達されている。そしてこのようなセンサ基板207の前段に光学フィルタ205が配置されている。撮像素子のマイクロレンズ側の面には光学フィルタ205が近接配置される。
光学フィルタ205と撮像素子206はUV接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でUV接着や熱圧着してやればよい。
光学フィルタ205と撮像素子206を密着接合することにより、雨滴検出領域51(図4)、と車両周辺情報を検出するエリア52(車両周辺情報検出領域)との境界が明確になり、雨滴有無の判別精度が上げられる。
なお、後述するような雨滴検出画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを画面全体に形成したものであっても、フィルタと撮像素子206を平行に接着することが可能である。
画面の上部や下部、或いは市松状パターンやストライプ状のパターンを画像全域に形成することにより雨滴検出領域51は従来例に比べ大きく取れるため、雨滴検出精度を上げることが可能である。
なお、図7に示す写真は、図4の雨滴検出領域51における画像である。
雨滴の撮像状態の一例としては、図7(a)に示すように、各雨滴の輝点が見える。ピントを無限遠に合わせていることにより、ボケた像となる。
図7(b)は、フロントガラス面にピントを合わせた場合の撮像状態を示しており、背景画像が水滴面に映りこむとともに輝点が弓状の画像となっている。
映りこむ背景画像は、走行シーンによって変化してしまい、輝点の形状も太陽光や街灯などの各種の外乱光の変化に応じて変化してしまう。このような各種の変化に対応するためには認識処理が膨大となってしまい、認識率を下げてしまう。
これに対して、図7(a)に示すような多少ボケが発生した場合は、背景の外乱光による変化を大幅に低減できる。多少のボケを発生させることで、画像認識の際に用いられる参照形状、例えば、円形としての認識率が高くなり、雨滴検出性能が向上する。
図8は、雨滴の輝点検出を説明する図である。
図8に示すように、光源202から射出された光線A−1は、フロントガラス105面(光源202側の面)で屈折してフロントガラス105内に入射し、もう一方のフロントガラス105面から、付着した雨滴203に入射する。
この場合、雨滴203と空気の界面にて広範囲の角度に反射光が生じるが、撮像装置201の画角に対応した入射光線C−2と、フロントガラス105面での屈折角が一致する光線C−1の成分のみが撮像できることになる。
この光線は、上記雨滴203と空気の界面全体のうち、極めて小さい面積からの反射光であり、結果、輝“点”として撮像される。
図9(a)は、光源202、フロントガラス105、撮像装置201の配置について説明するための図である。
撮像装置201が水平に配置されており、フロントガラス105の法線105aに対する仰角をθaとする。
これに対して、光源202はフロントガラス105の法線105aに対して仰角θで配置され、光源202からの出射光がフロントガラス105に入射する。
仰角θは、下記のような範囲で設定される。
θa−50deg<θ<θa+20deg
図9(b)に示すように、撮像光量は、光源202の仰角がθ付近、もしくは僅かにθより低い値にて極大値をとり、上記の範囲で撮像光量を得ることが可能な特性となる。
上記の範囲は、雨滴の接触角の影響を受け変動するが、特に接触角が60deg以上の場合に有効な数値範囲である。
この範囲での設置により、光源202から射出され、フロントガラス105表面に付着した雨滴からの反射光を、図7(a)に示すような輝点として撮像することができる。
図10は、3つの光源を配置した場合の例を示す図であり、(a)は3個の光源202−R、202−C、202−Lを配置した例を示す側面図、(b)はその上面図であり、撮像装置の水平方向の画角を考慮した光源配置設定を示している。また、図10(c)は光源の仰角と雨滴反射光の撮像光量をグラフで示す図である。
図11は、撮像装置の画角を考慮した設定した光源配置を示す図である。
図10(a)に示す側面図において、雨滴203に対して光源202−Rからの射出光で照明し、撮像装置で撮像する、このとき、雨滴203の領域における撮像画角θuに対し、光源202−Rの射出角(ガラス入射角)θLSは、以下の範囲で設定する。
θu−20≦θLS≦θu+20deg
これにより、雨滴と空気の界面からの反射光を高効率で検出、撮像することができる。
上記の範囲は、雨滴の接触角の影響を受け変動するが、特に接触角が60deg以上の場合に有効な数値範囲である。
図10(a)に示す複数個配置された光源については、上記関係を満たせば、図11に示すように、互いの光線が交差するような角度配置としてもよい。
光源202−L、C、Rの照射方向については、これまで示したガラス面に対向するものばかりでなく、図12に示すように、折り返しミラー208を含めた、逆方向の配置としてもよい。
ミラー208を含めることで、光源配置の自由度の向上及び、小型化に寄与できる。
光源202としては、発光ダイオード(LED)や半導体レーザ(LD)などを用いればよい。
射出光束の形態としては、略平行光であることが望ましい。光源202の、光路上の直後に配置されたコリメートレンズ等により、平行光を形成して射出できる。光源202は、上述したように光束の形態を調整可能なレンズ等の構成要素を含んだものである。
また、本実施形態では、後述するフィルタとの波長範囲を整合する必要がある。
フィルタ構成として、波長λ1〜λ2、λ3〜λ4(λ1<λ2<λ3<λ4)の範囲の波長成分の光のみを透過する分光フィルタ層Aと、光学フィルタ205を構成する基板の撮像素子206側の面にある有効撮像領域の一部エリアに、波長λ3〜λ5(λ3<λ5)の範囲の波長成分のみを透過する領域分割型分光フィルタ層Bを有した場合に、発振波長範囲は、λ3〜λ4、もしくはλ3〜λ5、いずれか幅が狭い方に包含されている必要がある。
ここで述べた発振波長範囲とは、強度スペクトルの半値全幅、もしくは半値以下のしきい値における全幅であることが望ましい。
図8に示す光源202について、コリメートレンズ等により平行光を形成し射出する手段について述べたが、ウィンドウガラス(フロントガラス)105への照明としては、ほぼ一様な強度で照明する手段のほかに、照明の有無を領域によって変調する方法がある。
上記において図7について説明したように、雨滴の反射光は、ボケた像として撮像されるため、雨滴の密度によっては、隣接した雨滴の像が重畳されたものが撮像され、個々の雨滴の光スポットを分離することが困難になる。
この課題を解決するためには、空間的な間欠パターンを照明し、個々の雨滴を撮像することで、重畳の影響を低減すればよい。
パターン照明を行う構成としては、以下の図13(a)ものがある。発光体(光源)21a、bと2個を近接して配置し、それらをコリメートレンズ22にて平行光とし、シリンドリカルレンズアレイ23に入射する。
発光体、コリメートレンズ、シリンドリカルレンズは、シリンドリカルレンズアレイ23から射出した光がウィンドウガラス105上で略集光するように部品配置される。
このとき、各発光体から射出されコリメートレンズ22で平行光として射出される光は、その光源の位置のずれから、互いに射出方向が僅かに異なり、それらがシリンドリカルレンズアレイ23を経てウィンドウ上で集光される際、互いにパターン位置がずれるよう設計される。
発光体21a、bは、発光タイミングをずらして交互点灯し、それと同期した像を撮像することにより、個別の雨滴検出画像を撮像できる。
ここでは、シリンドリカルレンズ23を用いた、一方向のみの空間変調パターンを用いた例を示したが、2次元パターン、例えば照明パターンが千鳥格子となるものなどでもよい。この場合は、先のシリンドリカルレンズアレイ23をマイクロレンズアレイに置換し、配置を適宜設計することで実現できる。
また、発光体として、21a、bの2個を用いた構成を示したが、発光体としては3個以上の構成としても構わない。
また、本実施形態の光源照射方法としては、上記の空間変調パターンに限定されるものではなく、ビームプロファイルを変更する光学素子を備えてもよい。ここで、ビームプロファイルとは光源からの光の断面形状であり、LDやLEDでは楕円形状であり、その強度分布としてはガウス分布状のビーム形状などの、光軸上が高強度となる楕円形や円形の強度分布を有する。
図14は、雨滴検出における外乱光成分の処理について説明する図であり、(a)は雨滴検出用として用いる分光フィルタ205Bの一例としてのカットフィルタの特性を示す図であり、(b)は同じく雨滴検出用として用いる分光フィルタ205Bの一例としてのバンドパスフィルタの特性を示す図である。
水滴に反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源202は、例えば屋外における直射日光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。
例えば、図14(a)に示すように、光源202の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは図14(b)に示すような、透過率のピークを光源202の発光波長とほぼ一致させたバンドパスフィルタを、光学フィルタ205の撮像素子側205bに形成してやってもよい。
これにより、必要となる光源202の発光波長以外の光を除去し、検出される光源202の光量を相対的に大きくできる。
図12は赤外光カットフィルタの特性を示す図である。
先に例としてあげた配光制御も含め雨滴検出以外の検出機能に係るフィルタとしては、可視光を透過することに加え、赤外光をカットできることが望ましい。代表的な波長特性を図12に示す。この図では、可視光領域の例として、400〜670nmを透過し、670nmより長い赤外光領域をカットするショートパスフィルタ特性となっている。
遠方の車両のヘッドライト及びテールランプ、近傍の車両のヘッドライト及びテールランプが映る撮影範囲が配向制御機能を実現する上で必要な画像処理範囲となる。
ここで、先行車を認識する際に、先行車のテールランプで先行車の有無を判断する必要があるが、対向車のヘッドライトと比べて光量が小さく、また街灯など外乱となる光が多数存在するため、輝度のみからテールランプを検出するのは困難であり、テールランプの赤色を認識する必要がある。
本実施形態では、雨滴検出波長を除く赤外光をカットする分光フィルタ205Aを205a側に形成してもよい。一般に撮像素子は赤外領域にも感度を持つので、単に撮像素子のみで画像を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分を抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、テールランプの検出精度を向上させることができる。
光源202は、フロントガラス105表面でその一部は透過するが、残りは反射し外乱光となる。
このような外乱光に対しては、光源のフロントガラス105へ向かって射出する光の光軸と、前記撮像レンズの光軸との2つの光軸で形成される面に対して平行な偏光成分のみを透過する図示しない偏光フィルタを配置している。
図16は、撮像画像から雨滴特性を算出する方法について説明する図であり、(a)〜(c)は雨滴画像の一例を示す図であり、(d)は雨滴サイズと雨量スポット輝度の関係の一例を示す図である。
上記手段により撮像された雨滴画像は、図16(a)に示すように、概ね円形パターンが複数含まれる画像となる。この円形パターンは、個々の雨滴の輝点に対応している。
特に図16(c)に示す円形のサイズ(図中Dはパターンの直径)は、撮像レンズのf値及び、ウィンドウ位置から無限遠位置までの何れかの位置に設定される焦点位置の設定により決定される。この直径値、及び単一円形パターンに含まれる画素数は、予め実験などで把握しておく。
また、上記円形パターンの輝度値については、雨滴サイズとの関連性があり、概ね図16(d)に示すグラフように、サイズの増大に伴い、輝度値が高まる傾向がある。この雨滴サイズと輝度値の関連性についても、予め実験などにより把握しておく。
なお、図17に示すフローチャートは一様な照明に対応して雨滴特性を算出することを特徴とする。なお、信号処理部602は、ROM、RAMおよびCPUを有し、CPUがROMに記憶されているプログラムを読み出して実行する。
図17において、ステップS5では、信号処理部602は、撮像ユニット101に雨滴を含む画像を撮像させ、撮像ユニット101から出力される画像データを信号処理部602内に設けられたメモリ(図示しない)に記憶する。
次いで、ステップS10では、信号処理部602は、上記メモリに記憶した画像に対して、雨滴スポットの画素抽出を行う。
これは、予め把握している照明領域(例として、図19に示す枠250)の内側の画素Gに対し、しきい値処理を行い、特定の輝度値であるしきい値Gth以上の複数の画素Gについて抽出して、メモリに記憶する。
次いで、ステップS15では、信号処理部602は、この抽出された画素をメモリから読み出し、この抽出された特定のしきい値Gth以上の複数の画素Gをカウントすることで画素数算出を行い、結果値である画素数Nをメモリに記憶する。
次いで、ステップS20では、信号処理部602は、画素数算出により求められた画素数Nに対し、予め把握してあった基準となる1つの単一円形パターンに含まれる画素数Ncpにより除算することで、雨滴の数量を示す雨滴数量推定値Mを算出する。
次いで、ステップS35では、信号処理部602は、算出されたスポット輝度代表値Gfmaxに対して、上記図16(d)において予め把握してあった雨滴サイズと輝度値との関係を示すグラフから、雨滴サイズ推定値を求める。なお、雨滴サイズと輝度値との関係を示すグラフを変換テーブルとして記憶しておくことが好ましい。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
本発明の第2実施形態に係る画像処理システムについて説明する。
図17に示すフローチャートの場合、「スポット輝度代表値算出」の際に、対象画像が、複数の雨滴によるスポットが互いに重畳された画像である場合、数が多いのか、個々のスポットの輝度が高いのかについての切り分けが難しいため、代表値の算出が困難になる場合もある。
この問題を解決するために、図18に示すフローチャートの場合、上述した「パターン照明とその光源配置」について説明したパターン照明によって得られた個別の画像を用いることで、個々の雨滴スポットが重なり合う影響を低減することができ、雨滴の数量と、個々のスポットの輝度(サイズ)の個別の推定が容易となる。
次いで、図18に示すフローチャートを参照して、雨滴特性の算出について説明する。先ず、図18について説明する。なお、図18に示すフローチャートはパターンを有する照明に対応して雨滴特性を算出することを特徴とする。なお、信号処理部602は、ROM、RAMおよびCPUを有し、CPUがROMに記憶されているプログラムを読み出して実行する。
次いで、ステップS110では、信号処理部602は、上記メモリに記憶した各照明によるそれぞれの画像に対して、雨滴スポットの画素抽出を行う。これは、予め把握している照明領域(例として、図19に示す枠250)の内側の画素Gに対し、しきい値処理を行い、特定の輝度値であるしきい値Gth以上の複数の画素Gについて抽出して、メモリに記憶する。
次いで、ステップS115では、信号処理部602は、各照明による複数の画像を、各画素の輝度の足し合わせを行うことで重畳し、重畳した結果をメモリに記憶する。
次いで、ステップS120では、信号処理部602は、この重畳された画素をメモリから読み出し、この抽出された特定のしきい値Gth以上の複数の画素Gをカウントすることで画素数算出を行い、結果値である画素数Nをメモリに記憶する。
次いで、ステップS125では、信号処理部602は、画素数算出により求められた画素数Nに対し、予め把握してあった基準となる1つの単一円形パターンに含まれる画素数Ncpにより除算することで、雨滴の数量を示す雨滴数量推定値Mを算出する。
次いで、ステップS145では、信号処理部602は、算出されたスポット輝度代表値Gfmaxに対して、上記図16(d)において予め把握してあった雨滴サイズと輝度値との関係を示すグラフから、雨滴サイズ推定値を求める。なお、雨滴サイズと輝度値との関係を示すグラフを変換テーブルとして記憶しておくことが好ましい。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
本発明の第3実施形態に係る画像処理システムについて説明する。
本実施形態では、撮像画像から雨滴の特性を算出する方法について説明する。なお、図17、図18とは別の雨滴特性算出方法について説明するものである。
ここでは、図19に示す枠250で示した照明領域を、複数領域に細分し、それぞれの領域の輝度特性の違いを検出する。
図20において、枠251で示した横9個、縦6個の矩形が細分化領域である。これらの領域設定については、既知の照明領域範囲(枠250)のなかで予め行っておく。
図21は、細分化領域の輝度情報を用いて雨滴特性を算出する方法について説明するフローチャートである。
まず、ステップS205では、信号処理部602は、撮像ユニット101に雨滴を含む画像を撮像させ、撮像ユニット101から出力される画像データを信号処理部602内に設けられたメモリ(図示しない)に記憶する。
次いで、ステップS210では、信号処理部602は、上記メモリに記憶した画像を読み出し、この画像をM個の細分化領域に細分化するとともに、それぞれの細分化領域について輝度の平均値Gav1〜GavMを算出して、メモリに記憶する。これらの平均値は、それぞれの領域での雨滴重複の有無、度合いを反映したものとなる。
次いで、ステップS215では、信号処理部602は、各細分化領域の平均値Gav1〜GavMについて、分散値を算出して、メモリに記憶する。分散値は、図22に示すような雨滴分布の疎密を表す指標となる。
一方、ステップS215では、信号処理部602は、細分化処理を行う以前の全照明領域についての平均値Gavを算出して、メモリに記憶する。
図23(a)は雨滴数量と分散値の関係をグラフで示す図であり、図23(b)は、分散値と全領域輝度平均値の関係をグラフで示す図である。
雨滴数量の変化により、上記分散値は、図23(a)に示すような変化を生じる。雨滴サイズに応じて最大値は異なるが、いずれにおいても雨滴数量が中程度の際に極大値をとる。
この図から、上記輝度平均値、分散値を測定、算出することにより、雨滴サイズを推定できる。本実施形態では、図23(b)の関係についても、前項で示した雨滴スポットのサイズ、及び、雨滴サイズとスポット輝度との関係を用い、予めデータテーブルとして算出しておき、図21に示すフローチャートのステップにおいて利用する。
そこで、ステップS225では、メモリから全照明領域の輝度平均値Gavと分散値を読み出し、図23(b)に示す上記輝度平均値と分散値および雨滴サイズの関係から、推定した雨滴サイズの情報を読み出す。
図24は雨滴数量と全照明領域輝度平均値の関係をグラフで示す図である。
雨滴数量の増加に対し、全照明領域の輝度平均値は、概ね増加する傾向にある。また、雨滴サイズについても、前項で示したように、雨滴サイズが大きいほど、輝度としては高くなる。この関係も予め実験などにより把握しておく。
そこで、ステップS230では、全照明領域の輝度平均値Gavと、推定した雨滴サイズの情報と、図24に示すグラフにおける雨滴数量と全照明領域の輝度平均値Gavの関係から、雨滴数量を推定できる。
これにより、撮像された雨滴画像は、図16に示すような概ね円形パターンが複数含まれる画像となる。この円形パターンは個々の雨滴の輝点に対応している。円形のサイズ(図中Dはパターンの直径)は撮像レンズのf値及び、ウィンドウ位置〜無限遠位置に設定される焦点位置の設定により決定される。この直径値、及び単一円形パターンに含まれる画素数は、予め実験などで把握しておく。
これにより、雨滴分布の疎密に関わらず、雨滴数量や雨滴サイズを推定することができ、その後のワイパー動作の精密な動作制御に反映することが可能となる。
先の撮像ユニット構成の項で述べた要求フィルタ特性を考慮した実施例を示す。
図25は、分光フィルタ層の特性をグラフで示す図であり、(a)は分光フィルタ層205A(実施例A−1)、(b)は分光フィルタ層205B(実施例B−1)、(c)は(実施例A−1、B−1)の重畳フィルタ特性を示す図である。
フィルタ特性の組み合わせについて説明するための実施例A−1である。
光学フィルタ205の撮像レンズ204側の面205aには分光フィルタ層205Aが形成されている。分光フィルタ層205Aの特性の実施例A−1は、図25(a)のように波長範囲400nm〜670nmの所謂可視光帯域と、波長範囲920〜960nmの光源波長帯域を透過する。ここでは、雨滴検出用の光源の中心波長は940nm、半値全幅は10nmのものを用いる前提である。
ここで、λ1〜λ4の対応は以下となる。
λ1:400nm(イメージセンサ感度の短波長側の限界値)
λ2:670nm
λ3:920nm
λ4:960nm
雨滴検出機能には、光源波長帯域の透過を利用する。
その他の検出機能には、可視光帯域の透過を利用する。また、波長700〜920nm範囲の光は透過しない、若しくは、透過率5%以下が望ましい。この波長の透過を抑制する理由としては、先の要求フィルタ特性として述べたとおり、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。
そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。この観点からは、先の光源波長帯域の920〜960nm範囲も透過しないことが望ましいが、可視光帯域に比較して帯域が狭小であること、かつCMOSをはじめとする可視光用イメージセンサにおいて相対的に低感度であることから、光量が十分に小さく、影響は無視できる。
また、光学フィルタ205の撮像素子206側の面205bにおける、雨滴検出機能の領域には分光フィルタ層205Bが形成されている。
分光フィルタ層205Bの特性の実施例B−1を図25(b)に示す。
図25(b)に示すように、波長範囲880〜1100nmの赤外光領域を透過帯としており、撮像レンズ204側の面205aの分光フィルタ層205Aとの組合せにより、波長範囲920〜960nmの範囲の光のみを透過することとなる。この波長範囲の中心値と光源202の発光波長を略同等しておくのが望ましい。
ここで、λ5、λ6の対応は以下となる。
λ5:880nm
λ6:1100nm(イメージセンサ感度の長波長側の限界値)
これらフィルタA−1、B−1の配置により、雨滴検出機能の領域のフィルタ特性は、図25(c)におけるハッチング領域、即ち920〜960nmの範囲のみを透過するものとなる。
上述したとおり、雨滴検出用の光源として中心波長は940nm、半値全幅10nmのものを用いているので、上記のハッチングされた920〜960nmの帯域を雨滴検出の光源からの射出光は透過できる。
また、この雨滴検出機能のフィルタ領域では、直射日光などの外乱光成分についてもこの920〜960nmの帯域を透過する僅かな成分しかセンサに入射しないことから、外乱光を大幅に低減することができ、雨滴検出の精度向上につながる。
次いで、フィルタ特性の組み合わせの実施例B−2について説明する。
なお、上記分光フィルタBに関して、実施例B−1に代えて、図26に示す実施例B−2を用いることもできる。
図26はフィルタ透過率と波長の関係を示す図である。
図26では波長範囲925〜965nmの赤外光領域を透過帯としており、205a側の面の分光フィルタ層Aとの組合せにより、概ね上記の波長範囲925〜960nmの範囲の光のみを透過することとなる。
ここで、λ5、λ6の対応は以下となる。
λ5:925nm
λ6:965nm
次いで、図26に示す分光フィルタ層Bの実施例B−2について説明する。
この特性により、先の実施例A−1、B−1の組み合わせの場合よりも更に透過帯域が狭まり、直射日光などの外乱光成分を更に低減することができる。勿論、上記の雨滴検出の光源からの射出光は透過できる。
本実施形態では分光フィルタ205A、205Bの組み合わせによる効果を示しているが、若干の効果の低下を許容すれば、分光フィルタ205A、分光フィルタ205Bのフィルタ単体の利用においても有効である。
上記特性の設計に際しては、レンズからフィルタに入射する際の光束角度を考慮に入れ、それらの光束に合わせて検討が行われる。
なお、後述するとおり、フロントガラスの車内側の面で反射した不要反射光を抑制するための偏光フィルタを分光フィルタ層Bと光学フィルタの基板の間に形成してもよい。
図27は光学フィルタと画素センサの画素の配置を示す図である。
光学フィルタ205の撮像素子206側の面には、領域分割されたパターンが形成されてなり、例えば図27に示すようにフォトダイオード1個ごと、すなわち1画素Gごとに応じた市松状のパターンを撮像素子の画素に一致するように配置されている。
光学フィルタ205と撮像素子206との間に空隙がある構成としてもよいが、光学フィルタ205を撮像素子206に密着させる構成とした方が、光学フィルタ205上の領域の境界と、撮像素子206上の領域の境界を一致させ易くなる。
なお、ここでは、撮像素子としてはモノクロ画像用撮像素子を前提にして説明する。また、カラー用撮像素子を用いてもよく、カラー用撮像素子を用いる場合は、撮像素子の各画素に付属するカラーフィルタの特性に応じて光学フィルタの各パターンの透過特性を調整すればよい。
これらの画素単位の異なる情報から、後述する各種画像が形成される。このような画像形成はカメラ内部の信号処理部602で行われる。
次いで、フィルタ領域分割パターンの実施例Cについて説明する。
フィルタ領域分割パターンとしては、画素サイズ相当の領域分割であるものに限られず、図4および図5に示すような画面全体のうちの上部1/4、下部1/4の2領域に形成したものであってもよい。
Claims (4)
- フロントガラスに向けて光源から光を照射し、前記フロントガラスの表面に付着した雨滴によって反射された反射光を含む光を、前記フロントガラスに対して前記光源と同じ側に配置した撮像レンズにより集光して撮像素子により撮像する撮像方法において、
前記撮像レンズの焦点は、前記フロントガラスの位置よりも遠方に設定し、
前記光源からの光を照射した前記フロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像に含まれる前記反射光に対応するスポットに含まれる画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する検出ステップを行い、
前記検出ステップは、各領域画像における前記スポット内の画素の輝度に基づく、各領域画像の平均輝度の分散に基づいて前記雨滴付着状態を検出することを特徴とする撮像方法。 - フロントガラスに向けて光を照射する光源と、
前記フロントガラスに対して前記光源と同じ側に設けられ、前記フロントガラスの表面に付着した雨滴によって前記光源からの光が反射された反射光を含む光を撮像する撮像装置と、を備え、
前記撮像装置は、
焦点を前記フロントガラスの位置よりも遠方に設定された撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子との間に設けた、前記反射光を選択的に透過する光学フィルタと、を備え、
前記光源からの光を照射した前記フロントガラス面上の光源照射領域における撮像画像を複数の領域に分割して、前記複数の領域画像における前記反射光に対応するスポットに含まれる画素に基づいて、前記フロントガラス面上における雨滴付着状態を検出する付着状態検出手段を備え、
前記付着状態検出手段は、各領域画像における前記スポット内の画素の輝度に基づく、各領域画像の平均輝度の分散に基づいて前記雨滴付着状態を検出することを特徴とする撮像ユニット。 - 前記光源からの光を、所定のビームプロファイルに変換する光学素子を備えることを特徴とする請求項2記載の撮像ユニット。
- 前記光源は、前記フロントガラスへの照射光分布が明暗分布の異なる、少なくとも2個以上の照明光学系により構成されることを特徴とする請求項2記載の撮像ユニット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011246851A JP5891723B2 (ja) | 2011-11-10 | 2011-11-10 | 撮像方法および撮像ユニット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011246851A JP5891723B2 (ja) | 2011-11-10 | 2011-11-10 | 撮像方法および撮像ユニット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013104693A JP2013104693A (ja) | 2013-05-30 |
JP5891723B2 true JP5891723B2 (ja) | 2016-03-23 |
Family
ID=48624354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011246851A Expired - Fee Related JP5891723B2 (ja) | 2011-11-10 | 2011-11-10 | 撮像方法および撮像ユニット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5891723B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108489547B (zh) * | 2018-04-09 | 2024-05-07 | 湖南农业大学 | 一种雨滴参数测试装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4326999B2 (ja) * | 2003-08-12 | 2009-09-09 | 株式会社日立製作所 | 画像処理システム |
JP4353127B2 (ja) * | 2005-04-11 | 2009-10-28 | 株式会社デンソー | レインセンサ |
JP5637425B2 (ja) * | 2009-03-06 | 2014-12-10 | 株式会社リコー | 液滴検出装置及び車載用監視装置 |
-
2011
- 2011-11-10 JP JP2011246851A patent/JP5891723B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013104693A (ja) | 2013-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5846485B2 (ja) | 付着物検出装置及び付着物検出方法 | |
JP6468482B2 (ja) | 撮像装置、物体検出装置及び移動体機器制御システム | |
EP3085073B1 (en) | Object detection apparatus, moving body device control system and program therefor | |
US20190351842A1 (en) | In-vehicle camera and vehicle control system | |
US9726604B2 (en) | Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices | |
JP5761143B2 (ja) | 撮像ユニット、撮像ユニットを搭載した車両 | |
EP2618304B1 (en) | Imaging apparatus, vehicle system having the same, and image-processing method | |
JP5936098B2 (ja) | 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ | |
JP2013031054A (ja) | 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法 | |
EP2815228B1 (en) | Imaging unit and method for installing the same | |
JP6555569B2 (ja) | 画像処理装置、移動体機器制御システム及び画像処理用プログラム | |
JP5862207B2 (ja) | 画像処理システム | |
JP5887840B2 (ja) | 画像処理装置 | |
JP2015031564A (ja) | 付着物検出装置及び移動装置用機器制御システム | |
JP5891723B2 (ja) | 撮像方法および撮像ユニット | |
JP2016146583A (ja) | 撮像装置、移動体機器制御システム及びプログラム | |
JP6701542B2 (ja) | 検出装置、移動体機器制御システム及び検出用プログラム | |
JP2014232026A (ja) | 付着物検出装置、移動体機器制御システム及び移動体 | |
JP2015169567A (ja) | 付着物検出装置、移動体機器制御システム及び付着物検出用プログラム | |
JP6566308B2 (ja) | 付着物検出装置、移動体機器制御システム、付着物検出用プログラム及び付着物検出方法 | |
JP2016076916A (ja) | 撮像装置、撮像方法、プログラムおよび移動体機器制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5891723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |