JP6326641B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、空間の３次元構造を効率的に記述する画像処理装置および画像処理方法に関する。

３次元構造は、それぞれが３次元座標を持つ点群（Ｐｏｉｎｔ Ｃｌｏｕｄ）として表現されることが多い。しかしながら、多数の点群データをそのまま用いるのは効率が悪い。

そこで、点群データをある単位で区切って構造化し、データ量を削減する手法が提案されている。例えば、特許文献１において、ステレオカメラで取得した距離画像から前方物体が存在する領域を短冊状のセグメント（以下、”Ｓｔｉｘｅｌ”と称する）の集合として表現する手法が開示されている。

米国特許第８５４８２２９号明細書

本開示は、空間の３次元構造化において、奥行きの連続性を表現可能な画像処理装置および画像処理方法を提供する。

本開示における画像処理装置は、距離画像取得部と、座標算出部と、基準面検出部と、物体領域検出部と、奥行き算出部と、グルーピング部と、を備える。距離画像取得部は、撮像した画像より、距離画像を取得する。座標算出部は、距離画像の画素毎の３次元座標を算出する。基準面検出部は、画素毎の３次元座標に基づいて、距離画像において所定の高さを有する基準面を検出する。物体領域検出部は、画素毎の３次元座標に基づいて、距離画像において、基準面上に存在する物体領域を検出する。奥行き算出部は、物体領域内の縦ライン毎の奥行きを、縦ライン上の画素の３次元座標に基づいて決定する。グルーピング部は、物体領域において、隣接する縦ライン間の奥行きの変化量を算出し、奥行きの変化量が所定の閾値以下となる前記縦ラインの集合をグループ化し、各グループを所定のデータ形式で記述する。

本開示における画像処理方法は、撮像した画像より、距離画像を取得するステップを含む。距離画像の画素毎の３次元座標が算出される。画素毎の３次元座標に基づいて、距離画像において所定の高さを有する基準面が検出される。距離画像において、基準面上に存在する物体領域が検出される。物体領域内の縦ライン毎の奥行きが、縦ライン上の画素の３次元座標に基づいて決定される。物体領域において、隣接する縦ライン間の奥行きの変化量が算出され、奥行きの変化量が所定の閾値以下となる縦ラインの集合がグループ化され、各グループが所定のデータ形式で記述される。

図１は、車両前方映像の一例を示した図である。 図２は、Ｓｔｉｘｅｌ生成の様子を模式的に示した図である。 図３は、車両前方映像の他の一例を示した図である。 図４Ａは、図２の映像を撮像して生成された距離画像の横方向と奥行きの関係を示した図である。 図４Ｂは、図４ＡのグラフよりＳｔｉｘｅｌを生成した図である。 図５は、第１の実施の形態における画像処理装置の一構成例を示すブロック図である。 図６は、第１の実施の形態における画像処理装置の処理の流れを示すフローチャートである。 図７は、カメラ光軸と基準面の距離との関係を示した図である。 図８は、基準面検出の結果の一例を示す模式図である。 図９は、物体領域検出の結果の一例を示す模式図である。 図１０は、物体領域のグルーピング結果の一例を示す模式図である。 図１１は、物体領域のグルーピング結果と前方風景を対応付けた図である。 図１２は、他の実施の形態における画像処理装置の一構成例を示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（第１の実施の形態）
［１．Ｓｔｉｘｅｌ構造］
図１は車両前方映像の一例を示した図である。図１は、車両前方左側に車１０、中央に車２０が走行し、右側に建造物３０があることを示している。また、図２は、Ｓｔｉｘｅｌ生成の様子を模式的に示した図である。図２は図１の映像をＳｔｉｘｅｌで表現した場合を示す。

Ｓｔｉｘｅｌはカメラから見て、垂直方向に奥行きがほぼ等しい点群を１枚の板にまとめることで、実質的な意味はほぼ変わらないまま、データ量を削減することができる。図１、図２に示すように、車１０は、６つのＳｔｉｘｅｌ１１に変換されている。ここで、中央のＳｔｉｘｅｌは、車１０の垂直成分に従い、両端のＳｔｉｘｅｌより垂直成分が大きくなっている。同様に、車２０は、６つのＳｔｉｘｅｌ２１、建造物３０は、３つのＳｔｉｘｅｌ３１に変換されている。

また、図１において、奥行き方向（ｚ）の手前から奥に向かって、車２０、建造物３０、車１０が、順に存在する。従って、図２においても、奥行き方向（ｚ）の手前から奥に向かって、Ｓｔｉｘｅｌ２１、Ｓｔｉｘｅｌ３１、Ｓｔｉｘｅｌ１１が、順に配置される。

ところで、Ｓｔｉｘｅｌ構造には、「奥行きが連続的に変化するシーンを上手く記述できない」という課題がある。この課題を、図３〜図４Ｂを用いて説明する。

図３は車両前方映像の他の一例を示した図である。図３は、車両前方（図３の中央部）に交差点があり、対向車線を車が走行し、道路両脇に建造物があることを示している。図４Ａは、図３の映像を撮像して生成された距離画像の横方向と奥行き方向の関係を示した図である。図４Ａにおいて、ｘは距離画像の横方向、ｚは奥行き方向を示す。

図４Ｂは、図４ＡのグラフよりＳｔｉｘｅｌを生成した図である。図４Ｂに示すように、飛び飛び（不連続）の奥行きにＳｔｉｘｅｌが配置される。Ｓｔｉｘｅｌは「カメラから見て奥行きがほぼ等しい点群」を構造化したものであるため、個々のＳｔｉｘｅｌは原則カメラに正対する。このことは、奥行きの連続性を判断する処理を行う場合に問題となる。

具体的な例として、前方に交差点、特に左右の曲がり角があるかどうかを判断したい場合を考える。図３の画像を左から右に見ていくと、交差点に達するまでと、交差点を越えてからは道路脇に建物がある。ここで、図４において、図３の画像を左から右に見た場合に、点ｘ１は交差点の開始点、点ｘ２は交差点の終了点とする。この場合、図４Ａに示す奥行きのグラフにおいては、交差点以外のところでは、奥行きはほぼ一定の割合で変化し、交差点で（点ｘ１〜点ｘ２の区間）は、奥行きが急激に変化する。これは、交差点では、道路脇の建物の奥行きから、道の向こうの建物の奥行きへと変化するためである。しかしながら、Ｓｔｉｘｅｌでは、奥行きが一定の割合で変化しても、急激に変化しても１つの値しか持たない。そのため、図４Ｂの点線で示すようにＳｔｉｘｅｌの奥行きは段階的に変化する。従って、Ｓｔｉｘｅｌの奥行き情報から、奥行きが一定の割合で変化している箇所と奥行きが急激に変化している箇所（点ｘ１、点ｘ２付近）、即ち曲がり角を区別するのは困難である。個々のＳｔｉｘｅｌの幅を細くすれば不連続性についてはある程度緩和されるが、Ｓｔｉｘｅｌの数が増えるのでデータ量の削減には逆効果となる。

以下、図５〜図１１を用いて、第１の実施の形態を説明する。

［２．構成］
図５は、第１の実施の形態における画像処理装置の一構成例を示すブロック図である。画像処理装置１００は、距離画像取得部１１０、座標算出部１２０、基準面検出部１３０、物体領域検出部１４０、奥行き算出部１５０、グルーピング部１６０、ＣＰＵ１７０、メモリ１８０、撮像部１９０を備える。

距離画像取得部１１０は、撮像部１９０が撮像した画像の各画素が示す２次元座標より、撮像部１９０からの距離を表す距離画像を取得する。

座標算出部１２０は、距離画像取得部１１０が取得した距離画像における各画素の３次元座標を算出する。３次元座標の算出方法については後述する。

基準面検出部１３０は、座標算出部１２０が算出した各画素の３次元座標に基づいて、距離画像における地面や道路面などの基準面を検出する。基準面検出部１３０は、距離画像の縦ライン毎に演算を行う。基準面検出部１３０は縦ラインの画素毎に、基準面の画素であるかどうかを判定し、基準面の画素を検出する。

物体領域検出部１４０は、座標算出部１２０が算出した各画素の３次元座標に基づいて、距離画像における基準面上に存在する物体の領域を検出する。物体領域検出部１４０は、距離画像の縦ライン毎に、ライン上の画素が基準面上に存在する物体の画素であるかどうかを判定し、物体領域を検出する。

奥行き算出部１５０は、物体領域検出部１４０で判定された物体領域内の各画素の３次元座標に基づいて、物体領域内の奥行き（誤差などによるばらつきを含む）を算出する。奥行き算出部１５０は、物体領域内において、縦ライン毎に、奥行きの算出を行う。

グルーピング部１６０は、物体領域内の縦ライン毎の奥行き変化量に基づいて、奥行きが連続的に変化している縦ラインの集合（すなわち、画素の集合）を特定し、集合毎にグルーピングを行う。また、グルーピング部１６０は各グループを所定のデータ形式で記述する。

ＣＰＵ１７０は距離画像の各画素の３次元座標を算出する処理をはじめ、画像処理装置１００全体の動作を制御する。なお、各種処理を行うために別途ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアを用いてもよい。

メモリ１８０はＣＰＵ１７０のワークメモリや、距離画像を記憶しておくために用いるもので、ＤＲＡＭなどの揮発性メモリやフラッシュメモリなどの不揮発性メモリからなる。

撮像部１９０は、例えば、車載カメラであり、車両の天井又はダッシュボードの上面などに取り付けられる。これにより、撮像部１９０は、車両の前方を撮影する。なお、撮像部１９０は、車両の内部ではなく、外部に取り付けられてもよい。撮像部１９０は、例えば、ステレオカメラやレーザーレンジファインダーなどによって構成される。本開示では、撮像部１９０はステレオカメラを用いるものとして説明する。

［３．動作］
以上のように構成された画像処理装置１００について、その動作を説明する。

図６は第１の実施の形態における画像処理装置１００の処理の流れを示すフローチャートである。

距離画像取得部１１０は、ステレオカメラでステレオ画像対を撮影し、視差の大きさ（視差量）を画素値とする距離画像を取得する（ステップＳ１０１）。なお、ステレオカメラのキャリブレーションは既存の手法を用いて実施することができる。加えて、視差の算出方法は所謂Ｓｅｍｉ−ＧｌｏｂａｌＭａｔｃｈｉｎｇを始めとした既存の手法を用いることが出来るが、輝度変化の小さい領域を含めて可能な限りすべての画素に対して視差が求まる手法を用いることが望ましい。

次に、座標算出部１２０は、視差画像から各画素の奥行きを含めた３次元座標を算出する（ステップＳ１０２）。

ここで、視差量ｄと奥行きｚの関係は以下の式で表すことが出来る。

ただし、ｂはステレオカメラの基線長、即ちカメラ間の間隔を、ｆはカメラの焦点距離をそれぞれ表す。なお、視差量が０の画素はｚが無限大となるが、これは所謂、無限遠を表すものとして解釈する。

また、奥行きｚが定まった場合、左右及び上下方向の座標（ｘ，ｙ）は以下の式で表すことが出来る。

ただし、ｕ、ｖはそれぞれ視差画像の画素の左右及び上下方向の座標で、予めキャリブレーションで求めた画像の光学中心（カメラの光軸が通過する位置）を原点とする。

なお、ここで得られる３次元座標（ｘ，ｙ，ｚ）を表す座標系は、ステレオカメラのいずれか一方（例えば左右のカメラの左側）の光学中心を原点とし、光軸方向をｚ軸、画像の左右、上下方向をそれぞれｘ軸、ｙ軸とする。また、ｘ軸、ｙ軸、ｚ軸の正の方向はそれぞれ順に右側、上側、前側とする。

次に、基準面検出部１３０は、座標算出部１２０が算出した各画素の３次元座標に基づいて、距離画像における、地面や道路面を表す基準面を検出する（ステップＳ１０３）。

基準面の高さを推定する具体的な手順について、図７を用いて説明する。図７は、カメラ光軸と基準面Ｑの距離との関係を示した図である。図７において、カメラ６０の設置高さをｈ、光軸の俯角をθとする。基準面Ｑが平坦であると仮定すると、任意の点Ｐの場合、図７より、カメラ６０からの奥行きｚに対して、光軸から基準面までの距離ｙは以下の式で表すことができる。

ステップＳ１０２で求めたある画素の３次元座標（ｘ，ｙ，ｚ）に対して、奥行きｚの位置に物体が存在する場合、ｙ座標の値は（数３）より求まる−Ｙより大きな値となる。実際には視差量（即ち奥行き）や俯角に誤差を含む可能性、および現実の基準面が完全な平坦ではない可能性を考慮して、ｙが−Ｙから所定の閾値の範囲内にある画素を基準面に属すると判定する。

図８は、基準面検出の結果の一例を示す模式図である。図８は、図３で示す映像に対して基準面を検出した結果であり、黒塗りの領域が基準面を表す。

次に、物体領域検出部１４０は、距離画像の縦ライン毎に、基準面上に存在する物体領域を検出する（ステップＳ１０４）。

具体的には、物体領域検出部１４０は、縦ライン毎に基準面領域の上端の画素を物体の物体領域の下端として、画像の上方向に向かって画素を順にスキャンし、当該画素の奥行きと物体領域下端の奥行きの差が所定の閾値以下の範囲を物体の領域と判定する。図９は物体領域検出の結果の一例を示す模式図である。各矢印が当該縦ラインにおける物体の領域を表す。なお、物体領域検出部１４０は、物体の領域下端の奥行きが十分大きい（即ち無限遠に近い）場合、当該ライン上には物体がないと判断するようにしてもよい。この場合、物体領域検出部１４０は、は便宜上物体領域の上端と下端が同じ位置とみなす。

奥行き算出部１５０は、物体領域が定まった後、視差画像の縦ライン毎に、物体領域に属する各画素の奥行きから、物体領域の奥行きを算出する（ステップＳ１０５）。

具体的には、奥行き算出部１５０は、縦ライン毎に物体領域に属する画素の奥行きの平均を求める、などの手法を用いることで算出する。あるいは、奥行き算出部１５０は、物体領域の下端に近い画素ほど大きな重みを有するような重み付き平均を用いてもよい。

この場合、奥行き算出部１５０は、大きな重みを付けた側と反対側の端に近い画素には小さい重み付けを行ってもよい。このような重み付けを用いる理由として、物体の領域の検出において真の物体領域をはみ出して検出してしまった場合に、その影響を低減することが挙げられる。即ち通常の（画像の上方が鉛直上向きになるような）配置において、物体領域を上側にはみ出すと、更に奥側に物体がない場合には奥行きが無限遠になる上、奥側に物体があるとしても真の物体領域の奥行きからは大きく離れていることが多い。これに対して物体領域を下側にはみ出した場合、下側は路面であるため真の物体領域の奥行きから大きく離れている可能性は非常に低い。このことから平均を取る場合、上側にはみ出している場合の方が奥行き誤差は大きくなると考えられる。従って、下側に大きな重みを課す重み付け平均を取ることによって誤差を低減することが可能となる。

なお、カメラを上下反対（画像の上方が鉛直下向き）に設置している場合は上側に大きな重みを課すことで同様の効果を得ることが出来る。

次に、グルーピング部１６０は、物体領域内で隣接する縦ライン間での奥行きの変化量を算出し、その変化量の大きさが所定の閾値以下の縦ラインの集合（すなわち、縦ライン上の画素の集合）をグルーピングする（ステップＳ１０６）。なお、閾値の決定方法として、例えば縦ライン毎の奥行きに応じて閾値を定めることができる。（数１）より、奥行きｚと視差量ｄは反比例の関係にあるため、視差量が一定量変化する場合、奥行きが大きいほど変化量も大きくなる。従って、奥行きが大きいほど閾値も大きくするのが自然である。あるいは同じく（数１）より、ある視差量ｄに誤差±Δｄを加えた際の奥行き変化量Δｚを求めることが出来、このΔｚに基づいて閾値を決定するようにしてもよい。

また、閾値は、縦ライン毎の奥行きおよび距離画像の奥行きの検出誤差量に応じて定めてもよい。

なお、グルーピング部１６０は、グルーピングの際に、ある縦ラインＬにおいて奥行き変化量が閾値を上回ったとしても、一定ライン先までに奥行きが縦ラインＬの奥行きに近づくような場合は、縦ラインＬをグループ境界としないようにしてもよい。これによって特定の縦ラインの奥行きに誤差が生じている場合や、ポールなどの細い物体が手前に立っている場合にそれらを無視してグループを構成することができる。

また、グルーピング部１６０は、隣接する縦ライン間で奥行きが手前から奥に変化する場合と奥から手前に変化する場合で、異なる大きさの閾値を用いてもよい。例えば、図３のように道路側に建物が連続して建っている直線道路を想定すると、大まかな傾向として画像の左側では物体領域の奥行きは（左から右に見て）手前から奥に変化し、画像の右側では奥から手前に変化すると考えられる。従って、画像の左側で奥行きが奥から手前に変化する（右側の場合は手前から奥に変化する）場合は手前に突き出た物体が存在する、物体領域の奥行きが誤っているなどイレギュラーなケースであると考えられる。このようなケースに対して、奥行き変化の方向に応じて閾値を変えることによって、誤ったグルーピングがなされることを防ぐことが出来る。

最後に、グルーピング部１６０は、グルーピングされた各集合（グループ）を所定のデータ形式で記述する（ステップＳ１０７）。ここで、どのようなデータ形式として表現するかについては、複数の方式が考えられる。例えば、各グループの両端の物体領域の上端および下端からなる４点の３次元座標によって表現することが考えられる。これは各グループをこの４点によって構成される３次元空間中の平面として表現するもので、特に３次元空間中で何らかの処理を行う（例えば空間中のどこが物体によって遮蔽されているかを判定するなど）際に有用である。

別の方式として、各グループの両端の物体領域の上端および下端からなる４点の距離画像上の２次元座標と、同物体領域の両端の物体領域の奥行きによって表現することが考えられる。これは距離画像上で特にグループ境界に着目して何らかの処理を行う（例えば隣のラインとの比較を行うなど）場合に有用である。また、この表現形式において、物体領域の両端以外の各ラインの奥行きを、物体領域両端の奥行きを線形補間して得られる値で修正してもよい。

図１０は、物体領域のグルーピング結果の一例を示す模式図である。具体的には、図１０は、後者の表現形式において、奥行きを線形補間した結果を模式的に表す図である。グラフ上に描かれた両端が丸の実線が各グループを表している。図１０の場合は、６つのグループにグルーピングされている。このように、図１０においては、図４Ｂで表現できていなかった奥行きの連続性が表現出来るようになることが分かる。また、図４Ｂでは、２１個のＳｔｉｘｅｌで表現されていた３次元構造が６個のグループで表現出来ることになり、データ量も削減することができる。

［４．グルーピング結果の利用方法］
グルーピングされた物体領域の情報を利用する例として、建物などの構造物の隙間を検出し、進入可能領域を探すことが挙げられる。（進入可能領域は、例えば、道路、駐車場など車両が進入できる領域である。）

図１１は、図１０の物体領域のグルーピング結果と図３の前方風景画像を対応付けた図である。図１１において、グループの端点で奥行きが大きく変化している箇所が構造物の隙間に相当すると考えられる。図１１では、図１０で奥行きが大きく変化している箇所を図３に対応付けるために点線を引いているが、３箇所の隙間が検出されていることが分かる。検出された隙間が実際に進入可能領域であるかどうかは、例えばＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）によって画像処理装置を搭載している車両の自己位置を検出し、地図情報と照合するなどの方法が考えられる。

この時、検出された進入可能領域の情報と地図情報を照合することで、ＧＮＳＳが保持している自己位置を補正することも可能である。ＧＮＳＳが保持している自己位置は時間経過や環境に応じて様々な誤差が蓄積していく。これに対して、検出された進入可能領域の位置は、撮像部１９０によって画像が撮影された瞬間の自己位置から検出されるため、時間経過や環境に応じた誤差は含まれない。従って、検出された進入可能領域の情報と、進入可能領域の地図上の位置情報から、自己位置のずれを検出することが可能となる。例えば、地図上では２０ｍ先に交差点があるが、検出された進入可能領域は２２ｍ先にある、という場合には、ＧＮＳＳが保持している自己位置は真の自己位置より２ｍほど前方にずれていると判断し、ＧＮＳＳが保持している自己位置を２ｍ後ろの位置に補正する。

上記を定式化すると以下のように表すことができる。まず、進入可能領域がｎ個検出されたとして、それらの３次元位置をそれぞれＸ_１＝（ｘ_１，ｙ_１，ｚ_１）、Ｘ_２＝（ｘ_２，ｙ_２，ｚ_２）、…、Ｘ_ｎ＝（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）とする。ついで、ある位置Ｘ＝（ｘ，ｙ，ｚ）に進入可能領域が存在する確率Ｐ（Ｘ）を定義する。確率Ｐ（Ｘ）の求め方として、例えばＸ_ｋ（１≦ｋ≦ｎ、以降同様とする）を中心とする正規分布の和を求める、Ｘ_ｋから距離が一定の範囲に一定の値を割り振る、など複数の方法を用いることができる。同様にして、地図情報に基づいてある位置Ｘに交差点が存在する確率Ｑ（Ｘ）を定める。Ｑ（Ｘ）はＧＮＳＳが保持している自己位置から一意に定めることができる。

ついで自己位置の補正量をＸ’＝（ｘ’，ｙ’，ｚ’）とする。求めるべきＸ’の値は以下の式によって定められる値を最大化する値である。

なお、（数４）を計算するにあたってＸの範囲を有限にする必要があるので、例えば撮像部１９０の視野角から定まる一定の範囲などを用いるのが望ましい。加えてＸ’の変化量が小さいほど必要な計算回数が増えていく一方で、Ｘ’の変化量を大きくすると補正後の残留誤差が大きくなる（例えば変化量を１ｍ単位とすると１ｍ未満の残留誤差が生じる）ので、処理速度および許容できる残留誤差の大きさに応じてＸ’の変化量を定める必要がある。

［５．効果など］
本開示の画像処理装置１００において、座標算出部１２０は、距離画像取得部１１０が取得した距離画像の画素毎の３次元座標を算出する。基準面検出部１３０は、画素毎の３次元座標に基づいて、距離画像において所定の高さを有する基準面を検出し、物体領域検出部１４０は、画素毎の３次元座標に基づいて、距離画像における基準面上に存在する物体領域を検出する。また、奥行き算出部１５０は、物体領域内の縦ライン毎の奥行きを、縦ライン上の画素の３次元座標に基づいて決定する。グルーピング部１６０は、物体領域において、隣接する縦ライン間の奥行きの変化量を算出し、奥行きの変化量が所定の閾値以下となる縦ラインの集合をグループ化し、各グループを所定のデータ形式で記述する。

これにより、物体領域において、奥行きの変化量がほぼ一定（即ち奥行きが連続的に変化する）の縦ラインの集合を一つの集合としてグルーピングする。

従って、前方風景を撮像した画像の奥行きの連続性を表現できると共に、データ量を削減することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

本開示では、撮像部１９０としてステレオカメラを用いたが、距離画像と画素間の位置関係が対応付けられたカラー画像またはグレースケール画像を撮像する撮像装置でもよい。これによって距離情報とともに色（または輝度）情報を併せて取得できるようになり、グルーピング処理においても色情報を利用することができるようになる。色情報の具体的な利用方法として、例えばグルーピングの際の閾値を、隣接する縦ライン間で物体領域の色または輝度の差に応じて重み付けすることが挙げられる。隣接する物体領域の色の差が極端に小さい場合、それらは同一の物体である可能性が高く、奥行きの差があるとしてもノイズの影響である可能性が高い。従って、色の差が小さい場合はグルーピングの閾値を大きく（境界と判断されにくく）することが有用と考えられる。

また、本開示では、画像処理装置１００は撮像部１９０を備えていたが、撮像部１９０は画像処理装置と別体であっても構わない。図１２は、画像処理装置の他の構成例を示すブロック図である。図１２において、図５と同様の動作を行う構成要素に関しては、同符号を付与し、説明を省略する。

図１２に示すように、画像処理装置２００は、距離画像取得部１１０、座標算出部１２０、基準面検出部１３０、物体領域検出部１４０、奥行き算出部１５０、グルーピング部１６０、ＣＰＵ１７０、メモリ１８０、とを備える。撮像部１９０と画像処理装置２００は、互いに通信可能である。画像処理装置２００は、撮像部１９０が撮像した画像を有線通信や無線通信を用いて取得する。

また、本開示の画像処理装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

加えて、上記実施の形態の各処理をソフトウェアで実現する場合に、処理の一部あるいは全体を別々のハードウェアで行ってもよい。具体的な形態として、本実施の形態において、画像処理装置が保持していた情報の一部や、画像処理装置が実行していた処理の一部を、ネットワークを介したサーバ側で所持・実行してもよい。また、画像処理装置からの要求に応じて、一部の処理の実行をサーバで行い、処理結果を応答として画像処理装置に返すことで、上記で説明してきたものと同等の機能を実現してもよい。

また、基準面の検出や物体領域の検出など処理の流れの各ステップにおいて、本文で記載の手法以外に、任意の公知の手法を用いてもよい。

本発明は前方空間の３次元構造を記述し、それに基づいて種々の処理を行う画像処理装置および画像処理方法に適用可能である。

１００，２００ 画像処理装置
１１０ 距離画像取得部
１２０ 座標算出部
１３０ 基準面検出部
１４０ 物体領域検出部
１５０ 奥行き算出部
１６０ グルーピング部
１７０ ＣＰＵ
１８０ メモリ
１９０ 撮像部

Claims (13)

1. 撮像した画像より、距離画像を取得する距離画像取得部と、
   前記距離画像の画素毎の３次元座標を算出する座標算出部と、
   前記画素毎の３次元座標に基づいて、前記距離画像において所定の高さを有する基準面を検出する基準面検出部と、
   前記画素毎の３次元座標に基づいて、前記距離画像において前記基準面上に存在する物体領域を検出する物体領域検出部と、
   前記物体領域内の縦ライン毎の奥行きを、前記縦ライン上の画素の３次元座標に基づいて決定する奥行き算出部と、
   前記物体領域において、隣接する縦ライン間の奥行きの変化量を算出し、前記奥行きの変化量が所定の閾値以下となる前記縦ラインの集合をグループ化し、各グループを所定のデータ形式で記述するグルーピング部と、を備えた画像処理装置。
2. 前記グルーピング部は、前記各グループを、前記グループの両端の縦ラインの上端および下端からなる４点に対する３次元座標によって記述する請求項１に記載の画像処理装置。
3. 前記グルーピング部は、前記各グループを、前記グループの両端の縦ラインの上端および下端の４点に対する距離画像上の２次元座標と、前記グループの両端の領域の奥行きによって記述する請求項１に記載の画像処理装置。
4. 前記グルーピング部は、前記各グループを、前記各グループの縦ライン毎の上端及び下端の４点に対する前記距離画像上の２次元座標と、前記グループの両端の領域の奥行きを線形補間して得られる前記縦ライン毎の奥行きによって記述する請求項１に記載の画像処理装置。
5. 前記奥行き算出部は、前記物体領域に含まれる各画素の奥行きの平均値を前記物体領域の奥行きとして算出する請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記奥行き算出部は、前記物体領域の上端または下端に近い画素ほど重み付けを大きくし、前記各画素の奥行きの重み付き平均を前記領域の奥行きとして算出する請求項１記載の画像処理装置。
7. 前記所定の閾値は、前記縦ライン毎の奥行きに応じて定められる、請求項１記載の画像処理装置。
8. 前記所定の閾値は前記縦ライン毎の奥行きおよび前記距離画像の奥行きの検出誤差量に応じて定められる請求項１記載の画像処理装置。
9. 前記所定の閾値は、隣接する縦ライン間で前記物体領域の奥行きが左から右に見て手前から奥に変化している場合と、奥から手前に変化している場合で異なる値を用いる請求項１記載の画像処理装置。
10. さらに、前記画像を撮像する撮像部を備え、
    前記撮像部は、前記距離画像と画素間の位置関係が対応付けられたカラー画像またはグレースケール画像を撮像し、
    前記グルーピング部は、前記所定の閾値を隣接する前記縦ライン間で前記物体領域の色または輝度の差に応じて重み付けされる請求項１記載の画像処理装置。
11. 前記グルーピング部は、あるグループの右端と隣接するグループの左端の奥行きの差が所定の範囲内である箇所を進入可能領域と判定する請求項１に記載の画像処理装置。
12. 前記進入可能領域の位置と地図情報とを比較し、自己位置の誤差を補正するための補正量を算出することを特徴とする、請求項１１に記載の画像処理装置。
13. 撮像した画像より、距離画像を取得する距離画像取得ステップと、
    前記距離画像の画素毎の３次元座標を算出する座標算出ステップと、
    前記画素毎の３次元座標に基づいて、前記距離画像において所定の高さを有する基準面を検出する基準面検出ステップと、
    前記画素毎の３次元座標に基づいて、前記距離画像において前記基準面上に存在する物体領域を検出する物体領域検出ステップと、
    前記物体領域内の縦ライン毎の奥行きを、前記縦ライン上の画素の３次元座標に基づいて決定する奥行き算出ステップと、
    前記物体領域において、隣接する縦ライン間の奥行きの変化量を算出し、前記奥行きの変化量が所定の閾値以下となる前記縦ラインの集合をグループ化し、各グループを所定のデータ形式で記述するグルーピングステップとを含む画像処理方法。

Images