JP6534261B2 - 対象物認識装置 - Google Patents

Description

本発明は、カメラの撮像画像に基づいて対象物を認識する対象物認識装置に関する。

従来より、車両に搭載されたカメラにより撮像された車両前方の道路の画像から、抽出目的の対象物を認識し、前記車両から前記対象物までの距離を算出する対象物認識装置が知られている（例えば、特許文献１参照）。

特許文献１に記載された対象物認識装置では、前記カメラによる撮像画像から周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成し、前記エッジ画像から対象物の画像部分を含む注目領域を抽出する。

また、カメラと対象物間の距離を算出する方法として、撮像画像中の消失点と対象物の画像部分の最下点（接地部）との位置関係を用いる手法が用いられている。

特開２００９−３０１４９５号公報

しかしながら、通常、対象物認識装置では、前記注目領域の最下点を対象物の画像部分の接地部として用いているので、前記注目領域の最下点が対象物の画像部分の接地部と合致しない場合には、車両から対象物までの距離を正確に算出することができないという不都合がある。

本発明はかかる背景に鑑みてなされたものであり、カメラの撮像画像に基づいて対象物を認識する際に、対象物の画像部分の接地部を正確に特定することができる対象物認識装置を提供することを目的とする。

本発明は、上記目的を達成するためになされたものであり、本発明の対象物認識装置は、
カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、対象物の画像部分を含む注目領域を抽出する注目領域抽出部と、
前記注目領域の下部領域を垂直方向に所定幅を有する複数の参照領域によって分割し、水平方向のエッジ強度が最大である前記参照領域の垂直方向位置を前記対象物の画像部分の最下点と判定する最下点判定部とを
備え、
前記最下点判定部は、前記対象物の種類に応じて前記注目領域における前記参照領域の水平方向の範囲を設定することを特徴とする。

本発明の対象物認識装置では、まず、エッジ画像生成部により、カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成する。次に、注目領域抽出部により、前記エッジ画像から、対象物の画像部分を含む注目領域を抽出する。次に、最下点判定部により、前記注目領域の下部領域を垂直方向に所定幅を有する複数の参照領域によって分割し、水平方向のエッジ強度が最大である参照領域の垂直方向位置を前記対象物の画像部分の最下点と判定する。

本発明の対象物認識装置によれば、後述するように、対象物の画像部分の最下点付近では、他の部分と比較して水平方向のエッジ強度が強くなる傾向があることから、前記対象物の画像部分の最下点を特定することができ、前記対象部の画像部分の接地部を正確に特定することができる。

また、本発明の対象物認識装置において、前記最下点判定部は、前記対象物の種類に応じて前記注目領域における前記参照領域の水平方向の範囲を設定することが好ましく、前記最下点判定部が判定対象とする参照領域を狭くして処理速度を短縮することができる。

また、本発明の対象物認識装置において、前記最下点判定部は、水平方向のエッジ強度が最大であり、且つ、前記対象物の種類に応じた所定の方向のエッジ成分が抽出された前記参照領域の垂直方向位置を、前記対象物の画像部分の最下点と判定することが好ましく、前記対象物の画像部分の接地部をより正確に特定することができる。

対象物認識装置の構成図。 対象物認識装置による処理のフローチャート。 最下点判定処理の説明図。 距離算出処理の説明図。 横向きの対象物を含む注目領域を示す図。

本発明の対象物認識装置の実施形態について、図１〜図５を参照して説明する。

図１を参照して、対象物認識装置１０は、カメラ２（カラーカメラ）を備えた車両１（本発明の車両に相当する）に搭載されている。

対象物認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持された対象物認識用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、エッジ画像生成部１２、注目領域抽出部１３、最下点判定部１４、及び距離算出部１５として機能する。

以下、図２に示したフローチャートに従って、対象物認識装置１０により、道路上に存在する対象物（人、自転車等）を認識する処理について説明する。対象物認識装置１０は、所定の制御周期毎に図２に示したフローチャートによる処理を実行して、車両１が走行している道路上に存在する対象物を認識し、該対象物までの距離を測定する。

図２のＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、車両に搭載されたカメラ２から出力される車両１の周囲（前方）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）から、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像２１を取得する。そして、この車両１の前方の撮像画像２１のデータを画像メモリ２０に保持する。

続くＳＴＥＰ２はエッジ画像生成部１２による処理である。エッジ画像生成部１２は、撮像画像２１の前記カラー成分から輝度に変換する処理を行って、グレースケール画像（多値画像）を生成する。そして、エッジ画像生成部１２は、グレースケール画像からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が所定値以上である画素）を抽出して、エッジ画像２２（図１参照）を生成する。

なお、カメラ２がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。

続くＳＴＥＰ３〜ＳＴＥＰ５は、注目領域抽出部１３による処理である。注目領域抽出部１３は、ＳＴＥＰ３で対象物の画像部分３２を含む注目領域３１を抽出する。注目領域３１の抽出は、例えば、探索領域を全探査してＲＯＩ（Resion of Interest）から注目領域３１を探索する方法や、所定数以上のエッジが含まれる領域を注目領域３１として設定する方法により行うことができる。

次に、注目領域抽出部１３は、ＳＴＥＰ４で、ＳＴＥＰ３で抽出された注目領域３１に対して、ＨＯＧ（Histogram of Oriented Gradients）特徴量を算出し、得られたＨＯＧ特徴量に基づいて対象物のラベルを付す。

次に、注目領域抽出部１３は、ＳＴＥＰ５で、ＳＴＥＰ４で付加されたラベルが識別対象（人や自転車等）である場合にはＳＴＥＰ６へ進み、識別対象以外（背景）である場合には処理を終了する。

続くＳＴＥＰ６〜ＳＴＥＰ８は、注目領域３１内に人、自転車の画像部分が含まれる場合に行われる最下点判定部１４による処理である。最下点判定部１４は、ＳＴＥＰ６で、図３に示したように、対象物の画像部分３２を含む注目領域３１の下部領域（例えば、注目領域３１の下１／３程度の領域）を、垂直方向（ｙ方向）に所定幅を有する複数の参照領域３３ａ，３３ｂ，３３ｃ，３３ｄ，３３ｅ，３３ｆによって分割する。すなわち、注目領域３１の下部領域を複数の参照領域３３ａ〜３３ｆによって水平方向（ｘ方向）に分割する。

続くＳＴＥＰ７で、最下点判定部１４は、各参照領域３３ａ〜３３ｆの水平方向のエッジ成分のエッジ強度３４ａ，３４ｂ，３４ｃ，３４ｄ，３４ｅ，３４ｆを算出する。ここで、水平方向のエッジ成分の強度としては、水平方向のエッジ成分を構成するエッジ点の個数、当該エッジ点の輝度変化値（輝度微分値）の加算値、これらの組み合わせ等が用いられる。

ここで、例えば、人体において、足の甲や足の裏は、足首や脛、膝、太腿等と比較して、水平方向に広がっていることから、前記下部領域を分割した複数の参照領域３３ａ〜３３ｆのうち足の甲や足の裏の画像部分を含む参照領域は、水平方向のエッジ強度が最大となる。

そこで、続くＳＴＥＰ８で、最下点判定部１４は、水平方向のエッジ強度が最大である参照領域３３ｃの垂直方向位置（参照領域３３ｃの上端）を、対象物の画像部分３２の最下点３５と判定する。

ＳＴＥＰ９は、距離算出部１５による処理である。距離算出部１５は、図４（ａ）に示したように、まず、エッジ画像２２内で、走行車線を区画するレーンマーク（白線）の画像部分３７ａ，３７ｂの交点から無限遠点である道路消失点３８の座標を求め、道路消失点３８と対象物の画像部分３２との最下点３５との距離Δｙを求める。次に、距離算出部１５は、図４（ｂ）に示したように、以下の式（１）により、無限遠点に対する角度θを算出し、以下の式（２）により、カメラ２が搭載されている車両１と対象物３９との間の距離Ｄを算出する。Ｈはカメラ２の高さ、ｆｏｃａｌはカメラ２の焦点距離である。

ｔａｎθ＝Δｙ／ｆｏｃａｌ …（１）
Ｄ＝Ｈ／ｔａｎθ …（２）

本実施形態の対象物認識装置１０によれば、対象物の画像部分３２の最下点３５を特定することができ、対象部の画像部分３２の接地部を正確に特定することができる。これにより、車両１から対象物３９までの距離を正確に算出することができる。

本実施形態では、最下点判定部１４は、対象物の画像部分３２を含む注目領域３１の下部領域全体を、複数の参照領域３３ａ〜３３ｆによって分割しているが、対象物の種類に応じて変更してもよい。例えば、対象物が正面を向いた人である場合には、図３に示したように、注目領域３１の下部領域の中央部３１ａのみを複数の参照領域３３ａ〜３３ｆによって分割してもよい。また、対象物が横を向いた人又は横を向いた自転車である場合には、図５に示したように、エッジ画像２２において、対象物の画像部分３２を含む注目領域３１の下部領域のうち、注目領域３１の左端部３１ｂ及び右端部３１ｃのみを複数の参照領域３３ａ〜３３ｆによって分割してもよい。

このようにすることにより、最下点判定部１４は、判定対象とする参照領域３３ａ〜３３ｆの処理面積を狭くして処理速度を短縮することができる。

また、最下点判定部１４は、水平方向のエッジ成分のエッジ強度が最大である参照領域３３ｃの垂直方向位置のみから、対象物の画像部分３２の最下点と判定するとしているが、さらに、水平方向のエッジ成分のエッジ強度が最大であり且つ対象物の種類に応じた所定方向のエッジ成分が抽出された参照領域の垂直方向位置を、対象物の画像部分３２の最下点と判定してもよい。例えば、対象物が横を向いた人又は横を向いた自転車である場合には、水平方向のエッジ成分のエッジ強度が最大であり、且つ、右下斜め方向のエッジ成分又は左下斜め方向のエッジ成分が抽出された参照領域の垂直方向位置を、対象物の画像部分３２の最下点と判定する。このようにすることにより、対象物の画像部分３２の接地部をより正確に特定することができる。

また、本実施形態では、カメラ２は車両１に搭載されているとしているが、道路脇や道路上方に設置されたカメラであってもよい。

１…車両（自車両）、２…カメラ、１０…対象物認識装置、１２…エッジ画像生成部、１３…注目領域抽出部、１４…最下点判定部、２１…撮像画像、２２…エッジ画像、３１…注目領域、３２…対象物の画像部分、３３ａ，３３ｂ，３３ｃ，３３ｄ，３３ｅ，３３ｆ…参照領域、３４ａ，３４ｂ，３４ｃ，３４ｄ，３４ｅ，３４ｆ…エッジ強度、３５…最下点。

Claims (3)

1. カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
   前記エッジ画像から、対象物の画像部分を含む注目領域を抽出する注目領域抽出部と、
   前記注目領域の下部領域を垂直方向に所定幅を有する複数の参照領域によって分割し、水平方向のエッジ強度が最大である前記参照領域の垂直方向位置を前記対象物の画像部分の最下点と判定する最下点判定部とを
   備え、
   前記最下点判定部は、前記対象物の種類に応じて前記注目領域における前記参照領域の水平方向の範囲を設定することを特徴とする対象物認識装置。
2. 請求項１記載の対象物認識装置において、
   前記最下点判定部は、水平方向のエッジ強度が最大であり、且つ、前記対象物の種類に応じた所定の方向のエッジ成分が抽出された前記参照領域の垂直方向位置を、前記対象物の画像部分の最下点と判定することを特徴とする対象物認識装置。
3. カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
   前記エッジ画像から、対象物の画像部分を含む注目領域を抽出する注目領域抽出部と、
   前記注目領域の下部領域を垂直方向に所定幅を有する複数の参照領域によって分割し、水平方向のエッジ強度が最大である前記参照領域の垂直方向位置を前記対象物の画像部分の最下点と判定する最下点判定部とを備え、
   前記最下点判定部は、水平方向のエッジ強度が最大であり、且つ、前記対象物の種類に応じた所定の方向のエッジ成分が抽出された前記参照領域の垂直方向位置を、前記対象物の画像部分の最下点と判定することを特徴とする対象物認識装置。