JP2009059260A

JP2009059260A - 立体物識別装置および立体物識別方法

Info

Publication number: JP2009059260A
Application number: JP2007227290A
Authority: JP
Inventors: Kosuke Imamura; 浩輔今村
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2007-09-03
Filing date: 2007-09-03
Publication date: 2009-03-19

Abstract

【目的】同色の物体が２つ重なっても、該２つの物体を正しく認識できるようにする「立体物識別装置および立体物識別方法」を提供することである。
【構成】通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得し、偏光方向が異なる偏光子のそれぞれを介して得られる所定画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出し、該偏光成分に含まれる偏光の主軸方向θが同一と見なされる領域を区分し、該区分された各領域の移動方向を算出し、移動方向が同一である領域の画像部分を１つの物体として識別する。
【選択図】図１

Description

本発明は立体物識別装置および立体物識別方法に関わり、特に、カメラにより撮影した画像より立体物を識別する立体物識別装置および立体物識別方法に関する。

車庫入れや駐車等に際して運転手を支援するための支援システムが研究され、実用化されている。かかる運転手支援システムは、車載カメラで撮影した画像より障害物としての立体物を検出して運転者に警告する。車載カメラで立体物を検出する場合、エッジを検出し、該エッジに対してオプティカルフロー処理を適用して移動方向を求め、移動方向が同じ画像部分を同一の立体物として識別する。しかし、かかる方法では、同色の物体が２つ重なるとエッジ検出ができず、２つの立体物を正しく認識することができない問題がある。また、物体に反射により他の物体が映り込む場合や他の物体の影が形成されると、反射部や影部をエッジ検出し、誤ってオプティカルフロー（速度ベクトル）を算出し、間違った立体物検出をする問題がある。

従来技術として、車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成する正規化処理部、正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成する俯瞰画像生成部、異なる時刻で得られた少なくとも２つの前記俯瞰画像から差分画像を求め、この差分画像に基づいて車両の周辺に存在する立体物を識別する立体物識別部を備えた車両周辺画像表示装置が提案されている。しかし、この従来技術は、上記問題点を解決するものではない。
特開2006-253872号公報

従って、本発明の目的は、同色の物体が２つ重なっても、該２つの物体を正しく認識できるようにすることである。
本発明の別の目的は、物体に反射により他の物体が映り込む場合や他の物体の影が形成されても正しく立体物を検出できるようにすることである。

・立体物識別装置
本発明は、カメラにより撮影した画像より立体物を識別する立体物識別装置であり、通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得する画像取得部、偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出する偏光成分算出部、偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分する偏光方向区分部、前記区分された各領域の移動方向を算出する移動方向算出部、移動方向が同一である領域の画像部分を１つの物体として識別する物体識別部を備えている。
上記立体物識別装置は更に、前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定する反射部分識別部を備えている。
前記移動方向算出部は、前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域からから前記代表点を選ばないようにする。前記画像取得部は、画素毎に画像データを発生するイメージセンサー、複数の画素を１組とするとき、各組のいくつかの画素に対応してそれぞれ通過する光線の偏光方向が異なる偏光子を備え、該イメージセンサーの前面に配設される偏光フィルタを備えている。
・立体物識別方法
本発明はカメラにより撮影した画像より立体物を識別する立体物識別方法であり、通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得するステップ、偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出するステップ、偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分するステップ、前記区分された各領域の移動方向を算出するステップ、移動方向が同一である領域の画像部分を１つの物体として識別するステップを有している。
上記立体物識別方法は更に、前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定するステップを有している。
上記移動方向算出ステップにおいて、前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域から前記代表点を選ばないようにする。

本発明によれば、通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得し、偏光方向が異なる偏光子のそれぞれを介して得られる所定画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出し、該偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分し、該区分された各領域の移動方向を算出し、移動方向が同一である領域の画像部分を１つの物体として識別するように構成したから、同色の物体が２つ重なっても、偏光の主軸方向が同一とならないため、該２つの物体を分離して正しく認識することができる。
また、本発明によれば、前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きな領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域とみなして削除するため、物体に反射により他の物体が映り込む場合や他の物体の影が形成されても正しく立体物を検出することができる。
また、本発明によれば、区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域や影領域から代表点を選ばないようにすることにより間違った立体物の検出をなくすことができる。

（A）第１実施例
図１は第１実施例の立体物識別装置の構成図であり、車載カメラ１１はレンズ１１a、CCD（Charge Coupled Device）などのイメージセンサー１１b、光線の偏光方向が異なる偏光子を規則的に備えた偏光フィルタ部１１cを有している。
光は電磁波であり、電磁場は光の進行方向と垂直に振動する横波である。偏光には直線偏光、円偏光、楕円偏光があり、直線偏光は電場の振動方向が一定であり、図２(A)に示すように水平方向に振動する偏光は水平偏光(偏光方向＝0⁰)、（B）に示すように垂直方向に振動する偏光は垂直偏光(偏光方向＝90⁰)である。円偏光は(C)に示すように振動が伝播に伴って円を描き、楕円偏光は直線偏光と円偏光の一次結合したものである。偏光子は図３に示すように自然光(無偏光)や円偏光から直線偏光を作り出すものであり、換言すれば、入力光より所定偏光方向の光線だけを通過するものである。

CCD １１bはN×M個の画素毎に画像データを発生するように構成されており、偏光フィルタ部１１cは図４に示すようにイメージセンサー１１bの前面に設けられ、３×３個の画素を１組とするとき、各組の４つの画素P1，P3，P5，P7に対応して４つの偏光子A〜Dを備えている。偏光子A〜Dはそれぞれ通過する光線の偏光方向が異なり、0⁰，45⁰，90⁰，135⁰である。この結果、画素P1，P3，P5，P7のCCDから光線の偏光方向がそれぞれ0⁰，45⁰，90⁰，135⁰の画像データが得られ、それ以外のCCD画素P2，P4，P6，P8，P9からは通常の画像データが得られる。偏光フィルタ部１１cは偏光子フィルムあるいはフォトニック結晶板で形成され、CCDの前面に被着される。
偏光方向を変えながら直線偏光を被写体に照射して所定の画素の光強度を測定すると図５（A）に示すようになる。（A）において、(1)、(2)、(3)、(4)は直線偏光の偏光方向がそれぞれ、0⁰，45⁰，90⁰，135⁰における光強度である。これより、図４に示すように近接する4つの画素P1，P3，P5，P7に偏光方向がそれぞれ、0⁰，45⁰，90⁰，135⁰の偏光子A〜Dを設け、各偏光子を通過したCCD画素の光強度(偏光強度)を測定すれば、図５（A）の(1)、(2)、(3)、(4)に応じた偏光強度が得られる。

偏光の主軸方向(偏光強度が最大となる方向)をθ、偏光強度の変動振幅をA、偏光強度の平均値をB、偏光子の方位をmとすれば、各偏光子の受光強度は次式

で与えられることが知られている(電子情報通信学会論文誌、2007/1 Vol.J90-C No.1参照)。すなわち、偏光子A〜Dに対応するCCD画素より図５（B）に示すように偏光方向がそれぞれ、0⁰，45⁰，90⁰，135⁰の偏光成分強度Fm₁、Fm₂、Fm₃、Fm₄が得られる。4つの偏光子を通過した偏光成分強度Fm₁、Fm₂、Fm₃、Fm₄をフーリエ変換することにより(1)式における偏光成分θ、A、Bを算出することができる。

図１に戻って説明すると、画像メモリ１２はN×M画素の画像データを保存し、フーリエ解析部(偏光成分算出部)１３は、３×３画素よりなる全組の画素P1，P3，P5，P7の偏光成分強度Fm₁、Fm₂、Fm₃、Fm₄にフーリエ変換を施して全組の偏光成分θ、A、Bを算出して偏光成分保存メモリ１４に格納する。立体物の同一面における偏光主軸方向θは同一であるから、偏光方向区分部１５は、偏光主軸方向θが同一であるとみなす領域を区分する。
なお、0⁰，45⁰，90⁰，135⁰の４つの偏光成分強度Fm₁、Fm₂、Fm₃、Fm₄より偏光主軸方向θを算出しているため、偏光主軸方向θの分解能は高くない。このため、同一と見なす角度範囲を予め設定し、同一角度範囲内に存在すれば偏光主軸方向は同一であると判定して領域を区分する。
図６は車両CARを被写体とし、カメラ１１より出力される画像データにフーリエ変換を施して得られた偏光主軸方向θのプロット図であり、図７は偏光主軸方向θが同一であるとみなす領域を区分した結果であり、区分けされた各領域は立体物の１つの面であると認識される。以上から、図８に示すように２つの同色の物体５１、５２が重なってもその面の角度が異なるから異なった面として識別することが可能となる。
オプティカルフロー部１６は周知のオプティカルフロー処理により前記区分された各領域内の少なくとも１つの代表点の移動方向を算出して該領域の移動方向とする。物体識別部１７は移動方向が同一の領域は同一立体物の画像部分であると認識する。この結果、図７の立体物(車両)の例では全領域の移動方向が同一となるため、物体識別部１７は１つの立体物であると識別する。また、図８の例では、同色の物体５１と物体５２の移動方向が異なるため、物体識別部１７はこれらが異なる立体物であると識別する。

図９はオプティカルフロー処理の説明図である。オプティカルフローは、異なる時間に撮影された２枚の画像間で同じ対象の対応付けを行い、その移動量をベクトルデータとして表現したものである。図９はブロックマッチング法によりオプティカルフローを求めるもので、画像Aの画素aが画像Bのどの位置に移動したか調べ、該移動先a′が求まれば、aからa′へのベクトルがオプティカルフローとなり、該ベクトルの方向が移動方向となる。
第１実施例によれば、同色の物体が２つ重なっても、偏光の主軸方向が同一とならないため、該２つの物体を正しく認識することができる。

（B）第２実施例
図１０は第２実施例の立体物識別装置の構成図であり、反射領域及び影領域を異なる物体と認識しないようにした実施例であり、反射部分識別部２１を設けた点が図１の第１実施例と異なる。
図１１は着目しているビルディングBLの窓ガラスに道路を挟んだ向うのビルディングが映し込まれている状態を示しており、この反射領域を異なる物体であると認識しないようにする必要がある。また、図示しないが着目している対象物に建物の影が映る場合もありかかる影領域を異なる物体であると認識しないようにする必要がある。
反射部分識別部２１は、偏光の主軸方向が同一と見なされる領域内に、偏光成分（偏光強度の変動振幅Aあるいは偏光強度の平均値B）が、該領域全体の平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域は反射領域あるいは影領域とみなし、該反射領域情報あるいは影領域情報をオプティカルフロー部１６に入力する。

オプティカルフロー部１６はオプティカルフロー処理により前記区分された各領域の代表点の移動方向を算出して該領域の移動方向を決定するが、反射領域あるいは影領域から代表点を選ばないようにする。物体識別部１７は移動方向が同一の領域は同一立体物の画像部分であると認識する。
オプティカルフロー部１６が反射領域あるいは影領域から代表点を選ばない理由は、反射領域あるいは影領域の移動方向と、それが映された領域の移動方向が異なるため、反射領域あるいは影領域から代表点を選ぶと物体識別部１７が異なった物体であると認識するからである。
第２実施例によれば反射により他の物体が映り込む場合や他の物体の影が形成されても正しく立体物を検出することができる。また、区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域や影領域から代表点を選ばないようにすることにより間違った立体物の検出をなくすことができる。

以上では、図４に示すように３×３個の画素を１組とし、各組の４つの画素P1，P3，P5，P7に対応して４つの偏光子A〜Dを備えた偏光フィルタを使用した場合であるが、一般にn×m個の画素を１組とし、各組のk個の画素に対応してｋ個の偏光子を備えた偏光フィルタを使用することができる。図１２は２×２個の画素を１組とし、各組の２つの画素P1，P3に対応して２つの偏光子を備えた偏光フィルタの例であり、偏光子の数が多いほど偏光主軸方向θの分解能が向上する。

第１実施例の立体物識別装置の構成図である。光線の偏光方向説明図である。偏光子の動作説明図である。偏光フィルタ部の構成図である。偏光方向を変えながら直線偏光を被写体に照射したときの光強度曲線である。車両CARを被写体とし、カメラより出力される画像データにフーリエ変換を施して得られた偏光主軸方向θのプロット図である。偏光主軸方向θが同一であるとみなす領域を区分した結果の説明図である。同色の物体が重なっても識別可能となることを説明するための図である。オプティカルフロー処理の説明図である。第２実施例の立体物識別装置の構成図である。着目しているビルディングBLの窓ガラスに道路を挟んだ向うのビルディングが映し込まれている状態の説明図である。偏光フィルタの別の例である。

符号の説明

１１車載カメラ１１
１１a レンズ
１１b CCD（Charge Coupled Device）などのイメージセンサー
１１c 偏光フィルタ部
１２画像メモリ
１３フーリエ解析部(偏光成分算出部)
１４偏光成分保存メモリ
１５偏光方向区分部
１６オプティカルフロー部
１７物体識別部
２１反射部分識別部

Claims

カメラにより撮影した画像より立体物を識別する立体物識別装置において、
通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得する画像取得部、
偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出する偏光成分算出部、
偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分する偏光方向区分部、
前記区分された各領域の移動方向を算出する移動方向算出部、
移動方向が同一である領域の画像部分を１つの物体として識別する物体識別部、
を備えたことを特徴とする立体物識別装置。
前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定する反射部分識別部、
を備えたことを特徴とする請求項１記載の立体物識別装置。
前記移動方向算出部は、前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域からから前記代表点を選ばないようにする、
ことを特徴とする請求項２記載の立体物識別装置。
前記画像取得部は、
画素毎に画像データを発生するイメージセンサー、
複数の画素を１組とするとき、各組のいくつかの画素に対応してそれぞれ通過する光線の偏光方向が異なる偏光子を備え、該イメージセンサーの前面に配設される偏光フィルタ、
を備えたことを特徴とする請求項１または２記載の立体物識別装置。
カメラにより撮影した画像より立体物を識別する立体物識別方法において、
通過する光線の偏光方向が異なる複数の偏光子を介して画像を取得し、
偏光方向が異なる偏光子のそれぞれを介して得られる所定の画像箇所の受光強度を用いて該箇所における偏光成分を算出し、かつ、画像全体について偏光成分を算出し、
偏光成分に含まれる偏光の主軸方向が同一と見なされる領域を区分し、
前記区分された各領域の移動方向を算出し、
移動方向が同一である領域の画像部分を１つの物体として識別する、
ことを特徴とする立体物識別方法。
前記偏光の主軸方向が同一と見なされる領域内に、偏光成分の強さが平均値より設定値以上小さいあるいは大きい領域があるか調べ、存在する場合には該領域を反射領域あるいは影領域であると判定する、
ことを特徴とする請求項５記載の立体物識別方法。
前記区分された各領域の代表点の移動方向を算出して該領域の移動方向とするとき、反射領域あるいは影領域から前記代表点を選ばないようにする、
ことを特徴とする請求項６記載の立体物識別方法。