JP6350082B2 - 画像処理装置 - Google Patents

Description

本発明は、画像中から取得された対象物の領域を補正する画像処理装置に関する。

従来、例えば車両の周辺に存在する人や自転車、オートバイ等の対象物を検出する技術として、カメラにより撮像された入力画像に対し、対象物の基準パターンが記述された認識辞書を用いて画像認識を行う技術が知られている。例えば、特許文献１には、カメラによる撮像画像と、人間の輝度分布を表す基準パターンとを比較して、人間候補画像を抽出する技術が記載されている。また、画像中の対象物の領域を取得する方法としては、上述のような画像認識の他に、画像中に何が写っているかという情報を人の操作によって追加する作業があり、対象物の領域を表す情報を人為的に付与することが挙げられる。

特開２００５−２８５０１１号公報

画像認識による対象物の検出においては、対象物として認識した画像の位置や範囲に誤差（緩い誤検出）が生じるという問題がある。このような検出位置・範囲の誤差は、撮像された入力画像の環境条件や、対象物の状態（例えば、種類や動き）に起因するものと考えられる。また、人の操作によって画像中の対象物の領域を得る方法においては、得られた領域の位置や範囲に人の操作のばらつきに起因する誤差が生じるという問題がある。

本発明は、上記問題を解決するためになされたものである。本発明の目的は、画像中から得られた対象物の領域における位置や範囲のずれを補正するための技術を提供することにある。

本発明の画像処理装置は、領域取得手段と、第１変換手段と、物理モデル特定手段と、補正手段と、第２変換手段と、出力手段とを備える。領域取得手段は、画像中から得られた対象物の画像を含む領域を画像座標系の範囲として表した画像領域情報を取得する。第１変換手段は、領域取得手段により取得された画像領域情報で表される領域を、対象物が存在する実空間を模擬した空間座標系の対応する位置に変換した対象空間領域を導出する。

物理モデル特定手段は、空間座標系において、対象物の挙動及び形状に関する特性を模擬した基準物理モデルを特定する。補正手段は、対象空間領域と基準物理モデルとを比較し、その比較結果に基づいて、対象空間領域の位置及び形状を補正する。第２変換手段は、補正手段により補正された対象空間領域を、画像上の座標系の対応する位置に変換した補正領域を導出する。出力手段は、第２変換手段により導出された補正領域を表す補正領域情報を出力する。

画像座標において得られた対象物の位置や形状の誤差は、実空間では大きな変化となって現れる。そのため、画像上で対象物として認識された領域を、空間座標系に変換した上で基準物理モデルと照らし合わせることで、対象物として認識された領域の挙動や形状が異常な状態であることを判別できるようになる。例えば、対象物として歩行者を想定した場合、基準物理モデルとして、歩行者として標準的な移動速度や移動軌跡、形状等を模擬した基準物理モデルを用いることが考えられる。そして、歩行者として認識された画像領域を空間座標系に変換した対象空間領域が基準物理モデルから逸脱している場合、この対象空間領域が歩行者として異常な挙動や形状を示していると判断できる。

そこで、空間座標系において基準物理モデルに基づいて対象空間領域を補正した上で、その補正した対象空間領域を画像座標系に変換し直すことで、画像内に写る対象物に対する検出領域の位置や範囲を適切に修正できる。これにより、画像認識や人為的な対象物の検出において、検出領域の位置や範囲のずれを補正し、対象物の検出性能を向上させることができる。

物体検出システムの概略構成を表すブロック図。 （ａ）適切な検出領域の一例を表す図、（ｂ）誤差がある検出領域の一例を表す図。 （ａ）補正前の検出領域を表す図、（ｂ）空間座標系における対象空間領域及び基準物理モデルを表す図、（ｃ）補正後の検出領域を表す図。 領域補正処理の手順を表すフローチャート。 （ａ）画像座標系を表す図、（ｂ）空間座標系を表す図、（ｃ）ピンホールカメラのモデルを表す図。

以下、本発明の実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［物体検出システムの構成の説明］
実施形態の物体検出システム１は、例えば、車両等に搭載され、車両の前方に存在する人や自転車、オートバイ等の特定の対象物を検出するために用いられる。図１に示すように、物体検出システム１は、検出領域補正装置１３を備え、この検出領域補正装置１３に対して、検出領域入力部１２、情報入力部１６、及び、検出領域出力部１７が接続されることによって構成されている。

カメラ１０は、車両の前方を撮影する車載カメラ等で構成される。カメラ１０によって撮像された画像は、入力画像として画像認識部１１に入力される。画像認識部１１は、検出の対象物を記述した認識辞書を用いて入力画像の中から対象物を検出する、周知の画像認識処理を行う画像処理装置である。この画像認識部１１は、歩行者や二輪車といった検出の対象物の種類別に用意された認識辞書を用いることで、各種の対象物を検出することが可能なものとする。

検出領域入力部１２は、画像認識部１１において入力画像の中から検出された対象物の画像の範囲を表す検出領域の情報を、検出領域補正装置１３に入力する。この検出領域は、図２（ａ）に例示されるとおり、入力画像上において対象物として認識された画像領域全体を包含する所定の形状（例えば、矩形）の領域である。検出領域入力部１２から検出領域補正装置１３に入力される検出領域の情報には、画像上の座標で表される画像座標系における検出領域の範囲（位置・大きさ等）が含まれる。

なお、図２（ａ）は、入力画像ａ１内に写る対象物（歩行者）に対して、対象物として認識された画像領域の位置や範囲に誤差がない適切な検出領域の事例を表している。この場合、入力画像ａ１内に写る対象物（歩行者）を構成する画像の高さ及び幅と、検出領域を表す矩形の高さ及び幅がほぼ等しく、かつ、両者の位置が一致している。

しかしながら、実際には、画像認識処理によって対象物として認識される画像の位置や範囲には、様々な環境要因による誤差が生じる。このため、図２（ｂ）に例示されるとおり、入力画像ｂ１〜ｂ４内に写る対象物（歩行者）の画像領域と、対象物として認識された検出領域とが一致しない場合がある。

検出領域補正装置１３は、検出領域入力部１２から入力された対象物の検出領域の誤差を補正する処理を担当する画像処理装置であり、演算部１４と記憶部１５とを備える。演算部１４は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、出入力インタフェース等を備えた情報処理装置で構成される。この演算部１４は、検出領域入力部１２から入力された対象物の検出領域の位置及び範囲を補正する領域補正処理を実行する。

記憶部１５は、演算部１４が実行する処理を記述したプログラムや、プログラムの実行時に使用されるデータ等の各種情報を記憶する記憶装置である。この記憶部１５には、演算部１４が実行する領域補正処理において適用される基準物理モデルを表現するためのデータが記憶されている。基準物理モデルとは、対象物が存在する三次元の物理空間に対応する空間座標系において、対象物の挙動や形状の特性を模擬的に表現したものである。

記憶部１５には、基準物理モデルを表現するためのデータとして、対象物の挙動や形状の基準値を定義するパラメータが、歩行者や自転車、オートバイ等といった対象物の種類別に記憶されている。基準物理モデルの挙動に関するパラメータとしては、例えば、対象物の速度、加速度、移動方向の制限といった特性を表すものが挙げられる。また、基準物理モデルの形状に関するパラメータとしては、例えば、高さ、幅、縦横比、形状の変化の性質といった特性を表すものが挙げられる。

情報入力部１６は、検出領域補正装置１３に各種の補助情報を入力するためのものである。検出領域補正装置１３は、情報入力部１６から入力される各種補助情報を、後述の領域補正処理における検出領域の座標変換や、基準物理モデルのシミュレートに用いる。補助情報の具体例としては、ミリ波レーダやレーザーレーダ、ステレオカメラ等の各種センサ類（非図示）による検知結果から得られる距離や路面形状等の情報が挙げられる。また、補助情報の具体例として、カメラ１０の撮像環境に関するパラメータや、車速やヨーレートといったカメラ１０の挙動を表す情報等が挙げられる。

検出領域出力部１７は、検出領域補正装置１３によって補正された入力画像上の検出領域に基づいて、例えば、人や二輪車が存在する旨の警報を車両の運転者に提示したり、走行安全に係る車両制御を行う車載機器である。この種の車載機器としては、車両の走行安全システムや運転支援システムの制御装置等が例示される。

［検出領域を補正する方法の概要］
検出領域補正装置１３の演算部１４が、入力画像から検出された対象物に対応する検出領域の位置及び範囲を補正する方法の概要について、図３を参照しながら説明する。

図３（ａ）は、カメラ１０による入力画像から得られた補正前の検出領域（矩形）の一例である。図３（ａ）の事例では、入力画像の中央付近に写っている対象物（歩行者）の画像に対して、認識された検出領域が上方にずれている状況を想定している。

演算部１４は、検出領域入力部１２から入力された検出領域の情報に基づき、画像座標系で表される検出領域を、カメラ１０の撮像位置を基準とする空間座標系の対象空間領域に変換する（図３（ｂ）参照）。なお、画像座標系で表される検出領域を空間座標系に変換する際、情報入力部１６から得られる車速やヨーレートといったカメラ１０の挙動に起因する相対的な移動を取り消した上で、対象空間領域の位置を算出することが考えられる。また、情報入力部１６の各種センサ類から得られる対象物までの距離、対象物の大きさ、路面形状等の情報を利用して、対象空間領域の位置や形状を算出してもよい。

また、図３（ｂ）に例示されるように、演算部１４は、現時点での対象物の空間座標系における位置及び形状をシミュレートした基準物理モデルを特定する。演算部１４は、対象物の種類ごとに予め定義されている挙動や形状の特性を表すパラメータを用いて、過去の入力画像のフレームから得られた検出領域を基準とする移動範囲や形状を推定することにより現時点での基準物理モデルを特定する。なお、図３（ｂ）の事例では、複数種類の対象物それぞれに対応するパラメータの中から歩行者に対応するパラメータを用いて、歩行者として標準的な移動速度や形状（例えば、高さ・幅）を模擬した基準物理モデルが作成されているものとする。また、情報入力部１６の各種センサ類から得られる対象物までの距離、対象物の大きさ、路面形状等の情報を、対象物の基準物理モデルの位置や形状をシミュレートするために用いてもよい。

そして、演算部１４は、空間座標系で表される対象空間領域と基準物理モデルとを比較し、その比較結果に基づいて、対象空間領域の位置及び範囲を補正する。具体的には、図３（ｂ）に例示されるように、対象空間領域について過大な移動や高さ・幅が観測され、基準物理モデルで表される移動範囲や形状の上限を逸脱している場合、対象空間領域の位置や形状を基準物理モデルの規制の範囲内に変更する。なお、対象空間領域の形状を補正する際、まず、対象空間領域の上端から下端までの長さを、基準物理モデルを基準にして決定し、そこから、予め定められた縦横比に基づいて対象空間領域の左端から右端までの幅を算出するように構成することが考えられる。

つぎに、演算部１４は、補正された対象空間領域を再び画像座標系に変換することにより、入力画像から認識された検出領域に補正を反映する（図３（ｃ）参照）。図３（ｃ）の事例は、補正の結果、図３（ａ）の状況から検出領域の上端や下端の位置が修正され、入力画像の中央付近に写っている対象物（歩行者）の画像に対して検出領域が一致している状況を表している。

［領域補正処理の説明］
検出領域補正装置１３の演算部１４が実行する領域補正処理の手順について、図４のフローチャートを参照しながら説明する。この処理は、カメラ１０により撮像された画像のフレームごとに実行される処理である。

Ｓ１００では、演算部１４は、検出領域入力部１２を介して、入力画像の中から検出された対象物の画像を包含する検出領域を表す検出領域情報を取得する。Ｓ１０１では、演算部１４は、情報入力部１６を介して各種の補助情報を取得する。具体的には、対象物までの距離、大きさ、路面形状といった対象物を取り巻く環境に関する情報や、カメラ１０の撮像環境に関するパラメータ、車速やヨーレートといったカメラ１０の挙動を表す情報等が挙げられる。

Ｓ１０２では、演算部１４は、Ｓ１００で取得した検出領域情報で示される画像座標系の検出領域を、空間座標系の対象空間領域に変換する。ここで、検出領域を画像座標系から空間座標系に変換する方法について、図５を参照しながら説明する。

図５（ａ）に例示されるとおり、画像座標系は、画像の水平方向をｘ軸、垂直方向をｙ軸とする２つの数の組（ｘ，ｙ）で表される座標平面で構成される。この画像座標系では、画像の左上隅を原点とし、画像を構成する画素を座標値の単位とする。

一方、図５（ｂ）に例示されるとおり、空間座標系は、カメラ１０による撮像範囲となる空間について幅方向をＸ軸、奥行方向をＹ軸、高さ方向をＺ軸とする３つの数の組（Ｘ，Ｙ，Ｚ）で表される座標空間で構成される。この画像座標系では、例えば、カメラ１０の設置位置を原点とし、現実の物理空間で用いられる長さの単位（例えば、メートル）を座標値の単位とする。

ここでは、図５（ａ）に例示される画像座標系の検出領域の下端が、図５（ｂ）に例示される空間座標系における地上面に対応するものとし、画像座標系の検出領域の下端の座標から空間座標系における対象空間領域の位置座標を算出する。なお、図５（ａ），（ｂ）の事例において、画像座標系の検出領域の下端部の中心の座標（ｘ_１，ｙ_１）が、空間座標系における地上面の座標（Ｘ_１，Ｙ_１）に対応している。対象空間領域の地上面における位置座標は、図５（ｃ）に例示されるピンホールカメラのモデルに基づいて算出する。その具体的な算出方法について、２種類の事例を紹介する。

（１）画像座標系の検出領域の下端の座標が画像の消失点から垂直方向に下がった画素量hyと、消失点から水平方向にずれた画素量wxから、空間座標系の幅方向X及び奥行方向Yの座標を算出する。具体的には、下記式〈１〉によってX，Yを算出する。
Y=f/hy・hz，X=wx/f・Y …〈１〉
fはカメラ１０の焦点距離、hzはカメラ１０の設置高さである（図５（ｃ）参照）。この算出方法においては、カメラ１０から対象物までの地面が平面であると仮定する。

（２）対象物の実際の高さh又は幅wと、画像上における高さhi又は幅wiから、空間座標系の奥行方向Yの座標を算出する。また、画像座標系の検出領域の座標が画像の消失点から水平方向にずれた画素量wxから、空間座標系の幅方向Xの座標を算出する。具体的には、下記式〈２〉によってX，Yを算出する。
Y=h/hi・f or Y=w/wi・f，X=wx/f・Y …〈２〉
fはカメラ１０の焦点距離、hzはカメラ１０の設置高さである（図５（ｃ）参照）。ただし、対象物の実際の高さhや幅wについては、撮像された画像から直接的に読取れない情報である。そこで、例えば、対象物の種類に応じて予め定められている標準的な値を代用することで、対象物の高さや幅の情報を補完することが考えられる。

なお、上記（１），（２）の方法において、撮像された画像から得られる対象物の空間的な情報は限定的であり、空間座標系における対象空間領域の高さＺは、画像座標系のみでは完全には求まらない。そこで、例えば、カメラ１０から対象物までの地面が平面であるという仮定を加えたり、情報入力部１６の各種センサ（レーダ等）による計測結果を追加する等の工夫を行って推定する。

図３のフローチャートの説明に戻る。Ｓ１０３では、演算部１４は、現時点での対象物の状態を模擬した基準物理モデルを特定する。具体的には、演算部１４は、対象物の挙動や形状の特性を表すパラメータを用いて、過去の入力画像のフレームから得られた検出領域からの移動範囲や形状を推定し、現時点での基準物理モデルを特定する。

次のＳ１０４では、演算部１４は、Ｓ１０２で算出した対象空間領域と、Ｓ１０３で特定した基準物理モデルとを比較し、対象空間領域の位置及び形状を補正する。具体的には、対象空間領域が基準物理モデルで表される移動範囲や形状の上限を逸脱している場合、演算部１４は、対象空間領域の位置や形状を基準物理モデルの規制の範囲内に変更する。そして、Ｓ１０５では、演算部１４は、Ｓ１０４で補正した対象空間領域を、画像座標系に変換する。Ｓ１０６では、演算部１４は、Ｓ１０５で変換された画像座標系の検出領域を表す検出領域情報を検出領域出力部１７に出力する。Ｓ１０６の後、演算部１４は本処理を終了する。

［効果］
実施形態の物体検出システム１によれば、下記の効果を奏する。
画像上で対象物として認識された検出領域を、空間座標系の対象空間領域に変換し、その対象空間領域を対象物に対応する基準物理モデルを基準にして補正することができる。そして、補正された対象空間領域を画像座標系に変換し直すことで、画像上で検出された対象物の位置や範囲を適切に修正できる。これにより、画像認識による物体検出において、検出領域の位置や範囲のずれを補正し、対象物の検出性能を向上させることができる。

歩行者や二輪車といった対象物の種類に応じた特性を模擬した基準物理モデルを用いることで、対象物体の位置や形状を適切にシミュレートできる。また、過去の画像フレームから得られた対象空間領域を基準にして、現時点の基準物理モデルの位置及び形状を特定することにより、対象物体の推移を的確にシミュレートできる。

情報入力部１６から入力される補助情報を、検出領域を画像座標系から空間座標系に変換する処理換や、基準物理モデルを特定する処理に用いることで、空間座標系において、対象空間領域や基準物理モデルを的確に算出することができる。

［変形例］
上述の実施形態では、図２に例示されるとおり、入力画像から検出された対象物の範囲を示す検出領域が矩形で構成されている事例について説明した。ただし、検出領域の形状については、矩形に限らず、対象物の画像を囲む様々な形状の図形であってもよい。

なお、上述の実施形態では、検出の対象物を記述した認識辞書を用いる画像認識処理によって画像中から検出された対象物について、その検出領域を補正する事例について説明した。これに限らず、本発明は、人の操作により画像中から人為的に得られた対象物の領域に対して、その位置や形状の補正を行う形態で実施することも可能である。

１…物体検出システム、１０…カメラ、１１…画像認識部、１２…検出領域入力部、１３…検出領域補正装置、１４…演算部、１５…記憶部、１６…情報入力部、１７…検出領域出力部。

Claims (6)

1. 画像中から得られた対象物の画像を含む領域を画像座標系の範囲として表した画像領域情報を取得する領域取得手段（１４，Ｓ１００）と、
   前記領域取得手段により取得された画像領域情報で表される領域を、前記対象物が存在する実空間を模擬した空間座標系の対応する位置に変換した対象空間領域を導出する第１変換手段（１４，Ｓ１０２）と、
   前記空間座標系において、前記対象物の挙動及び形状に関する特性を模擬した基準物理モデルを特定する物理モデル特定手段（１４，Ｓ１０３）と、
   前記対象空間領域と前記基準物理モデルとを比較し、その比較結果に基づいて、前記対象空間領域の位置及び形状を補正する補正手段（１４，Ｓ１０４）と、
   前記補正手段により補正された対象空間領域を、画像座標系の対応する位置に変換した補正領域を導出する第２変換手段（１４，Ｓ１０５）と、
   前記第２変換手段により導出された補正領域を表す補正領域情報を出力する出力手段（１４，Ｓ１０６）と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記物理モデル特定手段は、前記対象物の種類に応じた前記特性を模擬した基準物理モデルを特定すること、
   を特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記補正手段は、前記基準物理モデルで表される対象物の位置及び形状を基準とする範囲内に、前記対象空間領域の位置及び形状を補正すること、
   を特徴とする画像処理装置。
4. 請求項１ないし請求項３の何れか１項に記載の画像処理装置において、
   前記物理モデル特定手段は、現時点の比較対象となる前記対象空間領域よりも過去の時点で得られた前記対象空間領域を基準に、現時点での基準物理モデルの位置及び形状を特定すること、
   を特徴とする画像処理装置。
5. 請求項１ないし請求項４の何れか１項に記載の画像処理装置において、
   前記対象物の状態や環境を検知する検知手段により検知された情報、又は前記画像の撮像環境に関する情報の少なくとも何れかを含む補助情報を取得する補助情報取得手段（１４，Ｓ１０１）を備え、
   前記第１変換手段は、前記補助情報取得手段により取得された補助情報を用いて、前記対象空間領域を導出すること、
   を特徴とする画像処理装置。
6. 請求項１ないし請求項５の何れか１項に記載の画像処理装置において、
   前記対象物の状態や環境を検知する検知手段により検知された情報、又は前記画像の撮像環境に関する情報の少なくとも何れかを含む補助情報を取得する補助情報取得手段（１４，Ｓ１０１）を備え、
   前記物理モデル特定手段は、前記補助情報取得手段により取得された補助情報を用いて、前記基準物理モデルを導出すること、
   を特徴とする画像処理装置。