JP5686281B2 - 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 - Google Patents
立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 Download PDFInfo
- Publication number
- JP5686281B2 JP5686281B2 JP2010243989A JP2010243989A JP5686281B2 JP 5686281 B2 JP5686281 B2 JP 5686281B2 JP 2010243989 A JP2010243989 A JP 2010243989A JP 2010243989 A JP2010243989 A JP 2010243989A JP 5686281 B2 JP5686281 B2 JP 5686281B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- identification
- processing
- polarization
- polarization degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
また、この問題を、撮像手段とは別の検出機器を新たに用意して解決することは、コストが高騰するため好ましくない。よって、従来の立体物識別装置において立体物からの反射光強度(輝度)を検出するために一般に用いられている検出機器である撮像手段を用いて、上記問題を解決することができれば、コストの観点から有益である。
また、請求項2の発明は、請求項1の立体物識別装置において、上記立体物識別処理手段は、上記基準平面物体の存在場所に対応する処理領域のうち輝度が小さい部分である低輝度処理領域に対応する場所に存在する該基準平面物体の低輝度部分と上記立体物とについてそれぞれ定められる複数の数値範囲のいずれに上記識別指標値が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とするものである。
また、請求項3の発明は、請求項2の立体物識別装置において、上記撮像手段は、移動面上を移動する移動体に搭載され、該移動面に対して斜め上方から該移動面を含む撮像領域を撮像するものであり、上記判断処理では、同一の物体に対して定められる数値範囲を、上記2つの偏光画像をそれぞれ上下方向に区分する少なくとも2つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の識別指標値が該区域に対して設定された数値範囲のいずれに属するかを判断することを特徴とするものである。
また、請求項4の発明は、請求項1乃至3のいずれか1項に記載の立体物識別装置において、上記立体物識別処理手段が過去に行った上記立体物識別処理の結果を記憶する識別処理結果記憶手段を有し、上記立体物識別処理手段は、上記識別指標値とともに、上記識別処理結果記憶手段に記憶された過去の立体物識別処理の結果も用いて、上記立体物識別処理を行うことを特徴とするものである。
また、請求項5の発明は、移動体の移動制御を行う移動制御手段と、該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段とを有し、上記移動制御手段は、上記立体物識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、上記立体物識別手段として、請求項1乃至4のいずれか1項に記載の立体物識別装置を用いたことを特徴とするものである。
また、請求項6の発明は、運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段と、上記立体物識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、上記立体物識別手段として、請求項1乃至4のいずれか1項に記載の立体物識別装置を用いたことを特徴とするものである。
本発明者らは、更なる研究の結果、差分偏光度だけでなく、従来方法の識別指標値として用いられていた輝度も併用することで、後述するように、基準処理領域とは異なる輝度をもった処理領域と立体物が存在する処理領域とを高精度に区別して認識可能であることを見出した。
したがって、差分偏光度と輝度とを併用する本発明によれば、同一の平面物体中に輝度が大きく異なる部分が存在しても、立体物と誤認識されやすい基準処理領域とは異なる輝度をもった処理領域部分の平面物体と立体物との間を高い精度で識別することが可能である。しかも、本発明によれば、識別指標値として用いる輝度には、差分偏光度を算出するために用いる撮像手段が撮像した2つの偏光画像間の輝度合計値を使用するので、新たな検出機器は不要である。
図1は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての偏光カメラ10により、移動体である車両が走行する路面(移動面)を含む自車周囲の風景を撮影し、画素ごとの垂直偏光強度(以下、単に「S偏光強度」という。)及び水平偏光強度(以下、単に「P偏光強度」という。)を含んだ偏光RAW画像データを取得する。偏光RAW画像データに含まれるP偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ11に、偏光RAW画像データに含まれるS偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ12にそれぞれ格納される。これらの画像データは、それぞれ、輝度算出手段としてのモノクロ画像処理部13と、差分偏光度算出手段及び差分偏光度差分値算出手段としての差分偏光度画像処理部15に送信される。
この偏光カメラ10Aは、図2に示すように、CCD等の撮像素子を備えた1台のカメラ101の前面に、回転駆動する回転偏光子102を配置したものである。この偏光カメラ10Aは、回転偏光子102の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ101は、回転偏光子102を回転駆動させながら撮像することで、P偏光画像とS偏光画像とを交互に撮像することができる。
この偏光カメラ10Bは、図3のように、CCD等の撮像素子を備えた2台のカメラ111,112を用い、それぞれの前面に、S偏光を透過するS偏光フィルタ113とP偏光を透過するP偏光フィルタ114とを配置したものである。図2に示した偏光カメラ10Aでは、1台のカメラ101でP偏光画像とS偏光画像とを交互に撮像するため、P偏光画像とS偏光画像とを同時に撮影することができなかったが、図3に示した偏光カメラ10Bでは、P偏光画像とS偏光画像とを同時に撮影することができる。
この偏光カメラ10Cは、図4に示すように、撮像素子がP偏光画像とS偏光画像とについて個別に設けられている点では、図3に示した偏光カメラ10Bと同様であるが、各撮像素子が図3に示した偏光カメラ10Bの場合よりも近接配置されている点で大きく異なる。この偏光カメラ10Cによれば、図3に示した偏光カメラ10Bよりも小型化できる。図4に示す偏光カメラ10Cは、レンズアレイ122と、遮光スペーサ123と、偏光フィルタ124と、スペーサ125と、固体撮像ユニット126とが積層されて形成されている。レンズアレイ122は、2つの撮像レンズ122a,122bを有する。この2つの撮像レンズ122a,122bは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸121a,121bが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ123は、2つの開口部123a,123bを有し、レンズアレイ122に対して被写体側とは反対側に設けられている。2つの開口部123a,123bは、光軸121a,121bをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ124は、偏光面が90度異なる2つの偏光子領域124a,124bを有する領域分割型の偏光子フィルタであり、遮光スペーサ123に対してレンズアレイ122とは反対側に設けられている。この偏光子領域124a,124bは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分(偏光成分)だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ125は、偏光フィルタ124の偏光子領域偏光a,偏光bに対応する領域が貫通した開口部125aを有する矩形枠状に形成され、偏光フィルタ124に対して遮光スペース123とは反対側に設けられている。固体撮像ユニット126は、基板127上に搭載された2つの固体撮像素子126a,126bを有し、スペーサ125に対して偏光フィルタ124とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子126a,126bはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
この偏光カメラ10Dは、図5に示すように、1:1の透過性を備えるハーフミラー131と、反射ミラー132と、S偏光フィルタ133と、P偏光フィルタ134と、S偏光フィルタ133を介してS偏光を受光するS偏光用CCD135と、P偏光フィルタ134を介してP偏光を受光するP偏光用CCD136とを有する。図3や図4に示した偏光カメラ10B,10Cでは、S偏光画像とP偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図5に示した偏光カメラ10Dでは、図示しない同一の撮像光学系(レンズ)を介して受光される同じ光を使ってS偏光画像とP偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー131に代えて、P偏光を反射し、かつ、S偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、S偏光フィルタ133やP偏光フィルタ134を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
この偏光カメラ10Eは、図6に示すように、撮像レンズ142aの光軸141に沿ってカメラ構成要素が積層されたユニットである点では、図4に示した偏光カメラ10Cと同様であるが、S偏光画像とP偏光画像を単一の撮像レンズ(撮像レンズは光軸に複数枚積層配置してもよい。)142で撮像する点で異なっている。この偏光カメラ10Eによれば、図5に示した偏光カメラ10Dと同様に、S偏光画像とP偏光画像との間で視差が生じない。しかも、図5に示した偏光カメラ10Dよりも小型化できる。なお、図6に示した偏光カメラ10Eの偏光フィルタ144は、偏光面が90度異なる2種類の偏光子領域144a,144bが2つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、4つの固体撮像素子146a,146b,146c,146dが設けられている。
この偏光カメラ10Fは、図7に示すように、領域分割型のフィルタを採用したものである。図7において、縦横に並ぶ正方形が各受光素子の受光部151を示し、縦線で示す領域がS偏光フィルタ152の領域を示し、横線で示す領域がP偏光フィルタ153の領域を示す。この偏光カメラ10Fは、受光素子の画素に1:1で対応させたものではなく、各フィルタ152,153の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは2、つまり横方向に1画素分進む間に縦方向に2画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、S偏光画像及びP偏光画像を撮像できる低コストな偏光カメラを実現できる。
差分偏光度画像処理部15は、水平偏光画像メモリ11及び垂直偏光画像メモリ12内のP偏光強度データ及びS偏光強度データから、画素ごとに差分偏光度(識別指標値)を算出する。この差分偏光度を用いて差分偏光度画像が生成できる。差分偏光度は、下記の式(1)に示す計算式から求められる。すなわち、差分偏光度は、P偏光強度とS偏光強度との合計値(輝度合計値)に対するP偏光強度とS偏光強度との差分値(輝度差分値)の比率である。また、差分偏光度は、輝度合計値に対するP偏向強度の比率(P偏光比)と、輝度合計値に対するS偏向強度の比率(S偏光比)との差分値であると言い換えることもできる。なお、本実施形態では、P偏光強度からS偏光強度を差し引く場合について説明するが、S偏光強度からP偏光強度を差し引くようにしてもよい。差分偏光度画像処理部15が算出した差分偏光度のデータは、路面構造物識別部16及び立体物識別部18に出力される。
差分偏光度=(P偏光強度−S偏光強度)/(P偏光強度+S偏光強度) ・・(1)
通常の道路の車線(区画線)は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色(白等)で形成されている。したがって、このような車線(ここでは白線とする。)の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ10により得たP偏光強度とS偏光強度の合計値を用いている。
例えば、CRTや液晶等で構成される車内の情報報知手段である表示部(ディスプレイ)に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像(フロントビュー画像)を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部14により認識された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
また、ボッツドッツBは、主として北米で区間線として用いられる例えばセラミック製のものである。ボッツドッツBは、図8(b)に示すように直径100mm程度の円形ドーム状の物体を路面に埋め込んだものであり、これを図8(a)に示すように路上の走行レーンに沿って多数配置することで、区間線として用いられる。
また、キャッツアイCは、区間線として用いられるもので、図9(b)に示すように、略矩形状の本体内部に、入射光を同一の方向に反射する特性を有する反射体Dが取り付けられたものである。キャッツアイCは、図8(a)に示すように、路上の走行レーンに沿って多数配置されることで、区間線として用いられる。
なお、ボッツドッツ及びキャッツアイは、いずれも路面から僅かに突出した状態で配設される。
図10は、路面構造物特定処理の流れを示すフローチャートである。
偏光カメラ10により偏光RAW画像データを取得したら、その偏光RAW画像データに含まれるP偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ11に格納するとともに、その偏光RAW画像データに含まれるS偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ12に格納する(S1)。その後、差分偏光度画像処理部15は、水平偏光画像メモリ11及び垂直偏光画像メモリ12内のP偏光強度データ及びS偏光強度データから、画素ごとに、上記式(1)に示す計算式より、差分偏光度(識別指標値)を算出する(S2)。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部15内の図示しない画像メモリに格納される。
差分偏光度画像を得た差分偏光度画像処理部15は、その差分偏光度画像に対して複数の処理ラインを設定する。本実施形態の処理ラインは、差分偏光度画像内の横1列に並んだ画素列ごとに設定される。処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、各処理ラインの画素数は、互いに同じであっても異なってもよい。また、処理ラインは、必ずしも、差分偏光度画像内の全画素に対して設定される必要はなく、差分偏光度画像内の適切に選択された一部の画素について設定するようにしてもよい。
図12は、同偏光RAW画像データから差分偏光度画像処理部15にて生成された差分偏光度画像を示す説明図である。
図13は、図11中の白色破線矢印に沿って得られる輝度値をプロットしたグラフである。
図14は、図12中の白色破線矢印に沿って得られる差分偏光度をプロットしたグラフである。
なお、本実施形態における物体識別において、差分偏光度ではなく、差分偏光度差分値を用いている理由については後述する。
路面構造物識別処理を説明するにあたり、まず、差分偏光度から路面構造物を識別可能である理由について説明する。
物体で反射した反射光には、いわゆる「てかり」である鏡面反射成分、物体表面の微細な凹凸構造であるマットな反射成分である拡散反射成分、物体内部で散乱して出てきた内部散乱成分が含まれている。反射光の強度は、これら3つの成分の和として表現される。なお、鏡面反射成分は、拡散反射成分の一部という考え方もできる。拡散反射成分と内部散乱成分は、物体を照射する光源がいずれの方向に存在しても観測されるが(すなわち、入射角の依存性が低い。)、鏡面反射成分は、反射光の受光部に対してほぼ正反射方向に光源が存在する場合にのみ観測される入射角依存性の強い成分である。これは、偏光特性に関しても成り立つ。拡散反射成分と内部散乱成分は、上述したように、物体を照射する光源がいずれの方向に存在しても観測されるのであるが、その偏光特性は互いに異なっている。具体的には、拡散反射成分は、物体表面を微小領域に分け、それぞれの領域ではフレネルの反射特性を満足するものと想定できるため、無偏光の光が入射した場合にはS偏光成分がP偏光成分に比べて大きいという偏光特性がある。これに対し、内部散乱成分は、物体内部で散乱されて出てきた成分であるため、無偏光の光が入射した場合は、物体へ入射した光の偏光成分に影響されにくく、物体内部から外部に出てくる際にP偏光成分が強くなるという偏光特性がある。
このグラフは、横軸に入射角度(光源位置)をとり、縦軸に差分偏光度をとったものである。カメラ仰角は水平から10度傾けた状態である。この差分偏光度は、各入射角度の撮影画像についての略中央部の輝度情報から算出したものである。このブラフにおける差分偏光度は、P偏光成分(Rp)とS偏光成分(Rs)の合計値に対する、P偏光成分からS偏光成分を差し引いた値の比率である。よって、S偏光成分よりもP偏光成分の方が強い場合には、差分偏光度は正の値をとり、P偏光成分よりもS偏光成分の方が強い場合には、差分偏光度は負の値をとることになる。
また、一般に、材質が異なると屈折率も異なるため、この影響もS偏光成分とP偏光成分の差に現れる。よって、材質が異なる物体を、反射光に含まれるS偏光成分とP偏光成分の差に基づいて識別することができる。
また、近くに位置する物体を撮影した撮像画像の下方部分の方が、上方部分よりも物体識別精度が高いので、処理ラインの処理順序は、画像下方から上方に向かう順序とするのがよい。
路面構造物特定部17は、まず、上述した路面構造物識別処理により路面構造物であると識別された領域の形状を認識し(S10)、当該領域の形状に近似する形状テンプレートが存在するかどうかを判断する(S11)。この判断において、近似する形状テンプレートが存在すると判断した場合には、当該領域の路面構造物を、その形状テンプレートに関連づけられた種類に特定し、記憶する(S12)。例えば、楕円形状の形状テンプレートに近似する場合にはマンホールの蓋であると特定し、画像横方向に横断する棒状の形状テンプレートに近似する場合には道路連結部であると特定し、複数の路面構造物が自車の進行方向に沿って直線状に並んだ形状の形状テンプレートに記事する場合にはボッツドッツ又はキャッツアイからなる区間線であると特定する。これを全路面構造物について行ったら(S13)、処理を終了する。
また、例えばマンホールの蓋を特定する際には、そのマンホールの蓋よりも大きい物体に係る特徴点をモルフォロジー演算などにより事前に除去するようにしてもよい。これにより、マンホール蓋の特定精度を向上させることができる。
本実施形態では、以上のような路面構造物特定処理(S1〜S13)を、偏光カメラ10にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行う。上述した路面構造物の種類特定処理(S10〜S13)により路面構造物の種類が特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果(例えば、直前に撮像された偏光画像データについての処理結果)を利用し、今回の処理により特定された路面構造物の種類が、その領域に対応する過去の処理結果と同じであれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を最終的な路面構造物の種類の特定に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、エッジ情報を利用し、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
なお、ここでは、路面構造物の種類特定処理(S10〜S13)について説明したが、路面構造物識別処理(S6〜S9)についても同様に、その識別精度を高めるために、過去の処理結果を利用してもよい。
例えば、路面構造物特定部17の処理結果を、白線識別部14での白線エッジの識別処理に用いることが挙げられる。具体的には、路面構造物特定部17の処理により路面構造物の種類が特定された領域は白線の領域ではないので、この領域を白線識別部14による白線エッジの識別処理の対象から除外する。これにより、マンホール蓋等の路面構造物を白線と誤認識する可能性を少なくでき、白線の認識精度を向上させることができる。なお、ここでは、白線識別部14による白線エッジの識別処理について説明したが、白線以外の物体を撮像画像から識別する処理を行う場合には、一般に、路面構造物特定部17の処理により路面構造物の種類が特定された領域をその識別処理の対象から除外することで、その識別処理の識別精度を向上させることができる。具体例を挙げると、レーダの測距結果とカメラの撮影画像とに基づくセンサフュージョンにより先行車等の障害物を識別するシステムにおいては、マンホールの蓋等の各種路面構造物を障害物として誤認識することを避けることができる。その結果、各種路面構造物障害物として誤認識したことにより速度を急激に低下させてしまうような状態の発生を防止することができる。
特に、例えば、路面構造物特定部17によりボッツドッツ又はキャッツアイからなる区間線の特定結果は、白線識別部14による白線エッジの識別結果と同様の処理に利用することが可能である。具体的には、例えば、CRTや液晶等で構成される車内の情報報知手段である表示部(ディスプレイ)に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像(フロントビュー画像)を表示し、その画像中の区間線の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で区間線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と区間線との相対位置関係を把握することができ、区間線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、路面構造物特定部17により認識された区間線の位置情報から、自車と区間線との相対位置関係を把握する処理を行い、自車が区間線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
図18は、同偏光RAW画像データから差分偏光度画像処理部15にて生成された差分偏光度画像を示す説明図である。
図17と図18を比較してわかるように、アスファルトとボッツドッツとのコントラストは、図17に示すモノクロ画像(輝度画像)よりも、図18に示す差分偏光度画像の方が高い。したがって、差分偏光度画像を用いれば、モノクロ輝度では判別が困難であったアスファルトの領域とボッツドッツの領域とのエッジを高い精度で判別することができる。
図19は、実験室において、アスファルト面とスチールに塗料を塗布した塗装面に対し、光源位置を変化させて固定配置されたカメラでP偏光画像とS偏光画像を撮影したときの差分偏光度の変化を示すグラフである。このグラフは、アスファルト面と金属面とを比較した図15に示したグラフと同様の条件である。このグラフからわかるように、アスファルト面と塗装面とでは、差分偏光度に違いがある。そして、塗装面の差分偏光度は、図15に示した金属面の差分偏光度とも異なっている。したがって、塗装面と金属面との間も、差分偏光度の違い(偏光特性の違い)により区別して認識することが可能である。
図20は、コールタールが付着した路面を偏光カメラ10で撮像し、これにより取得した偏光RAW画像データからモノクロ画像処理部13が生成したモノクロ画像(輝度画像)の一例を示す説明図である。
図21は、同偏光RAW画像データから差分偏光度画像処理部15にて生成された差分偏光度画像を示す説明図である。
図20と図21を比較してわかるように、アスファルトとコールタールとのコントラストは、図20に示すモノクロ画像(輝度画像)よりも、図21に示す差分偏光度画像の方が高い。したがって、差分偏光度画像を用いれば、モノクロ輝度では判別が困難であったアスファルトの領域とコールタールの領域とのエッジを高い精度で判別することができる。
図22は、立体物特定処理の流れを示すフローチャートである。
なお、エッジ判別処理までの処理は、上述した路面構造物特定処理と同様であるため、説明を省略する。ただし、エッジ判別処理で用いるエッジ閾値は、上述した路面構造物特定処理とは異なる値を用いる。エッジ判別処理で用いるエッジ閾値の設定方法について、以下説明する。
図24は、同偏光RAW画像データから差分偏光度画像処理部15にて生成された差分偏光度画像を示す説明図である。
図25は、100フレーム分について図23中の白枠3箇所の輝度値分布をとったヒストグラムである。
図26は、100フレーム分について図24中の白枠3箇所の差分偏光度分布をとったヒストグラムである。
図25に示すヒストグラムからわかるように、輝度値については、アスファルト領域の輝度分布と、他車の車両側面領域の輝度分布と、他車の車両後面領域の輝度分布とが、互いに重なり合っている。これに対し、図26に示すヒストグラムからわかるように、差分偏光度については、アスファルト領域の輝度分布と、他車の車両側面領域の輝度分布と、他車の車両後面領域の輝度分布とが、互いに重ならず、区分可能となっている。したがって、これらの領域を区分できる適切な閾値を設定することで、差分偏光度の違いにより、モノクロ輝度では判別が困難であった、アスファルト領域、他車の車両側面領域、他車の車両後面領域のエッジを、高い精度で判別することができる。
立体物識別処理を説明するにあたり、まず、差分偏光度差分値から立体物を識別可能である理由について説明する。
物体で反射した反射光は、路面と、立体物の側面(その路面とは異なる方向を向いた外面)とでは、偏光カメラ10に取り込まれる光の入射角が異なるため、P偏光強度とS偏光強度それぞれに違いが生じる。特に、立体物の側面が路面に対して略直立した面であると、立体物の側面からの反射光に含まれるP偏光成分とS偏光成分との間の相対関係は、路面からの反射光に含まれるP偏光成分とS偏光成分との間の相対関係を入れ替えたものに相当する。そして、一般に、反射光に含まれるP偏光成分とS偏光成分との相対関係は、入射面に対して平行な偏光成分であるP偏光成分よりも、入射面に対して垂直な偏光成分であるS偏光成分の方が大きいという関係がある。したがって、路面あるいは路面に平行な面からの反射光を偏光カメラ10で受光した場合にはP偏光強度よりもS偏光成分の方が強く、路面に対して略直立した立体物側面からの反射光を偏光カメラ10で受光した場合にはS偏光強度よりもP偏光成分の方が強い。このような路面と立体物との間の偏光特性の違いにより、偏光カメラ10で受光した反射光中のS偏光成分及びP偏光成分の強さを比較することで、S偏光成分が強ければ路面に平行な面からの反射光であることが把握でき、P偏光成分が強ければ路面に垂直な面からの反射光であることが把握できる。その結果、偏光カメラ10で受光した反射光中に含まれるS偏光成分とP偏光成分の差分値をとることで、その差分値の正負により、路面に平行な面を有する物体なのか、路面とは異なる方向を向いた外面を有する物体すなわち立体物なのかを把握することができる。
このグラフでは、差分偏光度には日陰路面と側壁との間で相違が見られるため、上述した差分偏光度差分値を識別指標値とすれば、日陰路面と側壁(立体物)とを区別して認識することが可能である。しかしながら、本発明者らの研究により、実環境においては、差分偏光度差分値のみからでは、日陰路面と、この側壁を含む様々な路端障害物(立体物)とを、高い精度で区別して認識することが困難であることが判明した。
図29は、図27に示した画像中に描かれた処理ライン(図中横方向の伸びる直線)上の各位置における輝度(モノクロ輝度)を示すグラフである。
このグラフからわかるように、モノクロ輝度には日陰路面と側壁(立体物)との間で相違が見られないため、モノクロ輝度を識別指標値とした場合には、差分偏光度を用いれば識別可能な日陰路面と側壁との間でさえ、識別が困難である。
また、ここでいう輝度は、差分偏光度の表記に合わせて、−1〜+1の範囲内で規格化した値で表現したものである。具体的には、例えばモノクロ輝度の値が1〜256の階調で表現される場合、256階調表示における1(黒)をここでいう輝度では−1とし、256階調表示における256(白)をここでいう輝度では+1と表現する。
識別対象物は、日向路面(図27中の左側の白枠部分)と同じ路面に存在する日影路面(図27中の右側の白枠部分)と、路端障害物(立体物)の日向部分と日陰部分である。ここでいう路端障害物には、具体的には、粗壁、白壁、ガードレール、壁リフレクタである。図30において、図中黒丸印は、日陰路面のデータであり、それ以外の印はそれぞれ上述した各種路端障害物の日向部分と日陰部分のデータである。
図31は、X軸に日向路面の差分偏光度をとり、Y軸に識別対象物の差分偏光度をとり、Z軸に識別対象物の輝度をとった、各種識別対象物の3次元分布図である。
このような3次元分布図からわかるように、日向路面の輝度が実環境においてとり得る範囲において、黒丸印で示される日陰路面の分布エリアと、その他の印で示される路端障害物の分布エリアとが互いに重複せずに区分できることが確認できる。したがって、これらを区分する境界面を定義する閾値を用いることで、日陰路面と区別して路端障害物を識別することができる。なお、このようなデータの分離には、SVM(Support Vector Machine)のような公知の手法を用いることができる。
また、近くに位置する物体を撮影した撮像画像の下方部分の方が、上方部分よりも物体識別精度が高いので、処理ラインの処理順序は、画像下方から上方に向かう順序とするのがよい。
立体物特定部19は、まず、上述した立体物識別処理により立体物であると識別された領域の形状を認識し(S25)、当該領域の形状に近似する形状テンプレートが存在するかどうかを判断する(S26)。この判断において、近似する形状テンプレートが存在すると判断した場合には、当該領域の立体物を、その形状テンプレートに関連づけられた種類に特定し、記憶する(S27)。例えば、車形状の形状テンプレートに近似する場合には他の車両であると特定する。これを全立体物について行ったら(S28)、処理を終了する。なお、立体物特定部19における形状近似認識の方法は、上述した路面構造物特定部17の処理方法と同様なので、説明を省略する。
また、上述したエッジ判別処理の判断(S3)で用いるエッジ閾値、立体物の識別処理の判断(S21,S22)で用いる立体物用閾値や日陰路面排除用閾値は、撮影環境の違いに応じて適宜切り替えるようにしてもよい。具体例としては、昼間と夜間などの時間帯の違い 雨天と晴天などの天候の違いに応じて切り替えることが挙げられる。この切り替えは、時間情報やレインセンサや日照センサなどの情報を用いることが実現可能である。
また、本実施形態の偏光カメラ10をルームミラー等の車内に取り付ける場合、フロントガラスの偏光特性も考慮することが望ましい点も、上述した路面構造物特定処理の場合と同様である。
例えば、立体物特定部19による処理結果から、避けるべき障害物である認識された立体物の接近を、運転者に警告したり、自車の自動ブレーキシステムを制御することにより衝突回避あるいは衝突時の衝撃緩和等を行ったりする。
また、例えば、立体物特定部19の処理結果を、白線識別部14での白線エッジの識別処理に用いることが挙げられる。具体的には、立体物特定部19の処理により立体物の種類が特定された領域は白線の領域ではないので、この領域を白線識別部14による白線エッジの識別処理の対象から除外する。これにより、他の車両等の立体物を白線と誤認識する可能性を少なくでき、白線の認識精度を向上させることができる。なお、ここでは、白線識別部14による白線エッジの識別処理について説明したが、白線以外の物体を撮像画像から識別する処理を行う場合には、一般に、立体物特定部19の処理により立体物の種類が特定された領域をその識別処理の対象から除外することで、その識別処理の識別精度を向上させることができる。
特に、衝突を回避すべき立体物については、例えば、CRTや液晶等で構成される車内の情報報知手段である表示部(ディスプレイ)に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像(フロントビュー画像)を表示し、その画像中の立体物の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で当該立体物を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、その立体物の存在を確認することができ、衝突回避することが容易となる。
また、本実施形態において、立体物識別部18は、アスファルト(路面)の存在場所に対応する処理領域のうち輝度が小さい部分である低輝度処理領域(日陰路面に対応する領域)に対応する場所に存在する日陰路面と立体物とについてそれぞれ定められる複数の数値範囲のいずれに上記識別指標値が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施する。このような処理であれば、閾値との比較という簡単な処理により立体物識別処理を実現できる。
また、本実施形態において、偏光カメラ10は、移動面である路面上を移動する移動体としての車両(自車)に搭載され、路面に対して斜め上方から当該路面を含む撮像領域を撮像するものであり、同一の物体に対して定められる数値範囲を、P偏光画像及びS偏光画像をそれぞれ上下方向に区分する少なくとも2つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の差分偏光度がその区域に対して設定された数値範囲のいずれに属するかを判断して、立体物識別処理を行う。これにより、P偏光画像及びS偏光画像の上下方向における偏光カメラ10の受光量の違いを考慮した適切な識別が可能となる。
また、本実施形態では、立体物識別部18が過去に行った識別処理の結果を記憶する識別処理結果記憶手段としてのメモリに保存しておき、立体物識別部18は、上記識別指標値とともに、メモリに保存しておいた過去の識別処理の結果も用いて、識別処理を行う。これにより、過去の識別結果と同じ結果が得られたか否かについて識別結果の信頼度を判断することが可能となる。
また、本実施形態における立体物識別装置は、上述したように、当該立体物識別装置による識別結果を利用して移動体である車両(自車)の移動制御を行う移動制御手段しての走行支援ECUを備えた移動体制御装置としての自動ブレーキシステムに適用できる。
また、本実施形態における立体物識別装置は、上述したように、当該立体物識別装置による識別結果を利用して移動体である車両(自車)を運転操作する運転者にとって有益な情報を生成し、生成した情報を当該運転者に報知する情報提供装置にも適用できる。
11 水平偏光画像メモリ
12 垂直偏光画像メモリ
13 モノクロ画像処理部
14 白線識別部
15 差分偏光度画像処理部
16 路面構造物識別部
17 路面構造物特定部
18 立体物識別部
19 立体物特定部
20 形状記憶部
101,111,112 カメラ
102 回転偏光子
113,114,124,133,134,144,152,153 偏光フィルタ
Claims (6)
- 撮像領域内に存在し、所定平面とは異なる方向を向いた外面を有する立体物を識別する立体物識別装置において、
撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる2つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
該撮像手段が撮像した2つの偏光画像をそれぞれ所定の処理領域に分割し、処理領域ごとに、該2つの偏光画像間における輝度合計値を算出する輝度算出手段と、
該処理領域ごとに、該輝度合計値に対する該2つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出する差分偏光度算出手段と、
上記所定平面と同一平面内に予め存在することが想定されている基準平面物体の存在場所に対応する処理領域のうち輝度が相対的に大きい部分である基準処理領域について該差分偏光度算出手段が算出した差分偏光度を基準差分偏光度とし、該基準処理領域とは異なる処理領域について該差分偏光度算出手段が算出した差分偏光度と該基準差分偏光度との差分値である差分偏光度差分値を算出する差分偏光度差分値算出手段と、
該輝度算出手段が算出した輝度合計値と該差分偏光度差分値算出手段が算出した差分偏光度差分値とを識別指標値として用い、上記撮像領域内における各処理領域に対応した場所に存在する物体が上記立体物であるか否かの立体物識別処理を行う立体物識別処理手段とを有することを特徴とする立体物識別装置。 - 請求項1の立体物識別装置において、
上記立体物識別処理手段は、上記基準平面物体の存在場所に対応する処理領域のうち輝度が小さい部分である低輝度処理領域に対応する場所に存在する該基準平面物体の低輝度部分と上記立体物とについてそれぞれ定められる複数の数値範囲のいずれに上記識別指標値が属するかを判断する判断処理を行い、当該処理領域に対応した場所に存在する物体を、該判断処理により属すると判断された数値範囲に対応する物体であると識別する処理を行うことにより、上記立体物識別処理を実施することを特徴とする立体物識別装置。 - 請求項2の立体物識別装置において、
上記撮像手段は、移動面上を移動する移動体に搭載され、該移動面に対して斜め上方から該移動面を含む撮像領域を撮像するものであり、
上記判断処理では、同一の物体に対して定められる数値範囲を、上記2つの偏光画像をそれぞれ上下方向に区分する少なくとも2つ以上の区域ごとにそれぞれ設定し、当該区域に属する処理領域の識別指標値が該区域に対して設定された数値範囲のいずれに属するかを判断することを特徴とする立体物識別装置。 - 請求項1乃至3のいずれか1項に記載の立体物識別装置において、
上記立体物識別処理手段が過去に行った上記立体物識別処理の結果を記憶する識別処理結果記憶手段を有し、
上記立体物識別処理手段は、上記識別指標値とともに、上記識別処理結果記憶手段に記憶された過去の立体物識別処理の結果も用いて、上記立体物識別処理を行うことを特徴とする立体物識別装置。 - 移動体の移動制御を行う移動制御手段と、
該移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段とを有し、
上記移動制御手段は、上記立体物識別手段による識別結果を用いて上記移動制御を行う移動体制御装置において、
上記立体物識別手段として、請求項1乃至4のいずれか1項に記載の立体物識別装置を用いたことを特徴とする移動体制御装置。 - 運転者による運転操作に従って移動する移動体の周囲を撮像対象として撮像し、該撮像対象内に存在する立体物を識別する立体物識別手段と、
上記立体物識別手段による識別結果を用いて該運転者にとって有益な情報を生成する有益情報生成手段と、
該有益情報生成手段が生成した情報を該運転者に報知する情報報知手段とを有する情報提供装置において、
上記立体物識別手段として、請求項1乃至4のいずれか1項に記載の立体物識別装置を用いたことを特徴とする情報提供装置。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010243989A JP5686281B2 (ja) | 2009-12-25 | 2010-10-29 | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
BR112012017199A BR112012017199A2 (pt) | 2009-12-25 | 2010-12-15 | aparelho para identificação de objetos, aparelho para controle de corpos em movimento e aparelho para fornecer informações |
CN201080058590.3A CN102782720B (zh) | 2009-12-25 | 2010-12-15 | 对象识别装置、移动主体控制装置及信息提供装置 |
PCT/JP2010/073069 WO2011078199A1 (en) | 2009-12-25 | 2010-12-15 | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
US13/516,754 US9317754B2 (en) | 2009-12-25 | 2010-12-15 | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
KR1020127016422A KR101404924B1 (ko) | 2009-12-25 | 2010-12-15 | 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치 |
EP10839429.7A EP2517175A4 (en) | 2009-12-25 | 2010-12-15 | Object identifying apparatus, moving body control apparatus, and information providing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009295963 | 2009-12-25 | ||
JP2009295963 | 2009-12-25 | ||
JP2010243989A JP5686281B2 (ja) | 2009-12-25 | 2010-10-29 | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011150688A JP2011150688A (ja) | 2011-08-04 |
JP5686281B2 true JP5686281B2 (ja) | 2015-03-18 |
Family
ID=44537567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010243989A Expired - Fee Related JP5686281B2 (ja) | 2009-12-25 | 2010-10-29 | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5686281B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2439716B1 (en) | 2010-09-16 | 2013-11-13 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device |
JP5867807B2 (ja) * | 2010-12-08 | 2016-02-24 | 株式会社リコー | 車両識別装置 |
DE102011087894A1 (de) * | 2011-12-07 | 2013-06-13 | Robert Bosch Gmbh | Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt |
WO2013103725A1 (en) * | 2012-01-03 | 2013-07-11 | Ascentia Imaging, Inc. | Coded localization systems, methods and apparatus |
JP5783319B2 (ja) * | 2012-03-02 | 2015-09-24 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
JP6340795B2 (ja) * | 2013-12-27 | 2018-06-13 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
US10725216B2 (en) | 2015-04-08 | 2020-07-28 | Maxell, Ltd. | Onboard camera |
JP6773540B2 (ja) * | 2016-12-07 | 2020-10-21 | クラリオン株式会社 | 車載用画像処理装置 |
WO2020049638A1 (ja) * | 2018-09-04 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置およびプレイフィールド逸脱検知方法 |
WO2020080045A1 (ja) * | 2018-10-15 | 2020-04-23 | パナソニックIpマネジメント株式会社 | 物体認識方法、車両制御方法、情報表示方法、および物体認識装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3358099B2 (ja) * | 1994-03-25 | 2002-12-16 | オムロン株式会社 | 光学式センサ装置 |
JPH08138036A (ja) * | 1994-11-11 | 1996-05-31 | Nissan Motor Co Ltd | 先行車両認識装置 |
JP5176289B2 (ja) * | 2006-06-05 | 2013-04-03 | 三菱電機株式会社 | 赤外線目標選択装置 |
JP2009025198A (ja) * | 2007-07-20 | 2009-02-05 | Denso It Laboratory Inc | 路面状態検出装置および路面状態検出方法 |
JP5315798B2 (ja) * | 2008-06-05 | 2013-10-16 | 日産自動車株式会社 | 車両用運転支援装置及び車両用運転支援方法 |
-
2010
- 2010-10-29 JP JP2010243989A patent/JP5686281B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011150688A (ja) | 2011-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5686281B2 (ja) | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
KR101404924B1 (ko) | 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치 | |
JP5696927B2 (ja) | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
JP5761601B2 (ja) | 物体識別装置 | |
JP5867807B2 (ja) | 車両識別装置 | |
JP5967463B2 (ja) | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
JP2011150687A (ja) | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
US9591274B2 (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
CN102668540A (zh) | 成像设备、车载成像***、路面外观检测方法以及目标检测设备 | |
EP2928178B1 (en) | On-board control device | |
US10933798B2 (en) | Vehicle lighting control system with fog detection | |
JP2014006885A (ja) | 段差認識装置、段差認識方法及び段差認識用プログラム | |
JP5077088B2 (ja) | 画像処理装置及び画像処理方法 | |
CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及*** | |
JP5434277B2 (ja) | 走行支援装置および走行支援方法 | |
JP2011103058A (ja) | 誤認識防止装置 | |
JP2014016981A (ja) | 移動面認識装置、移動面認識方法及び移動面認識用プログラム | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
JP4572826B2 (ja) | 道路区画線検出装置 | |
CN211032395U (zh) | 自动驾驶车辆 | |
JP6980887B1 (ja) | 移動体検知システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140829 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5686281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |