JP2014215877A - 物体検出装置 - Google Patents

Abstract

【課題】検出対象物周辺の環境条件の変化に応じて、画像認識による検出対象物の検出性能を向上させる。【解決手段】検出対象物の認識辞書と、認識辞書を用いて入力画像から検出対象物を認識するための画像認識手法とを、記憶部１１に複数種類記憶しておく。演算処理部１０は、入力画像内の目標物までの距離と、入力画像における光の状態とを特定する（Ｓ１０２，Ｓ１０４）。つぎに、特定した距離と光の状態とに基づく環境条件に応じて、入力画像に対する画像認識処理に用いる認識辞書及び画像認識手法を選択する（Ｓ１０６）。そして、Ｓ１０６で選択した認識辞書及び画像認識手法を用いた画像認識処理を行うことで、入力画像の中から検出対象物を検出する（Ｓ１０８）。【選択図】 図４

Description

本発明は、画像認識用の辞書を用いて入力画像から検出対象物を検出する物体検出装置に関する。

従来、例えば車両の前方や後方に存在する人や他車両等の検出対象物を検出する技術として、カメラ等により撮像された入力画像に対し、検出対象物の基準データが記述された認識辞書を用いて画像認識アルゴリズムによる画像認識を行う技術が知られている。例えば、特許文献１には、撮像手段による撮像画像と、歩行者検出用のテンプレートデータ（認識辞書）とを照合して歩行者を検出する技術が記載されている。

特開２０１０−７９７１６号公報

検出対象物の画像認識に用いられる認識辞書は、所定の環境条件を想定して予め作成されたものである。しかしながら、撮像された入力画像における環境条件が、認識辞書が作成されたときに想定された環境条件とかけ離れていると、その認識辞書を用いた画像認識処理のロバスト性が低下し、検出対象物の検出性能が低下するという問題がある。

検出性能に影響する要因となる環境条件としては、例えば、撮像位置と検出対象物との距離、あるいは日射状況、天気、昼夜の時間帯等の周辺環境に起因する入力画像の明るさ、コントラスト、色等といったものが挙げられる。これらの環境条件が異なると、検出対象物の視認性が変化する。このため、検出対象物周辺の環境条件が様々に変化する入力画像に対して、同一条件の認識辞書や画像認識辞書を用いても、安定した検出性能を発揮できないおそれがある。

本発明は、上記問題を解決するためになされたものであり、検出対象物周辺の環境条件の変化に応じて、画像認識による検出対象物の検出性能を向上させるための技術を提供することを目的とする。

本発明の物体検出装置は、記憶手段と、特定手段と、選択手段と、検出手段とを備える。記憶手段は、検出対象物の基準データが記述された認識辞書と、認識辞書を用いて撮像手段により撮像された入力画像から検出対象物を認識するための画像認識手法とを記憶する。ただし、記憶手段は、認識辞書及び画像認識手法の少なくとも何れかを複数種類記憶しているものとする。なお、ここでいう画像認識手法とは、認識辞書を用いる画像認識処理のアルゴリズムや、画像認識処理を行う事前に入力画像に対し明るさや色を調節するといった画像補正を含む概念である。

特定手段は、入力画像の撮像位置から入力画像内の目標物までの距離と、入力画像における光の状態との少なくとも何れかを特定する。選択手段は、記憶されている認識辞書及び画像認識手法の中から、特定手段により特定された距離と光の状態との少なくとも何れかに応じて、入力画像に対する画像認識処理に用いる認識辞書及び画像認識手法を選択する。検出手段は、選択された認識辞書及び画像認識手法を用いた画像認識処理を行うことで、入力画像の中から検出対象物を検出する。

本発明では、検出対象物の画像認識に用いる認識辞書及び画像認識手法の少なくとも何れかを、距離や入力画像の光の状態に応じて切替えることができる。ここでいう光の状態としては、入力画像の明るさや、コントラスト、色等が例示される。例えば、目標物との距離が近いか遠いか、入力画像が明るいか暗いかといった環境条件別に、好適な検出結果の得られる認識辞書や画像認識手法を複数種類用意しておき、その時々の環境条件に適応する認識辞書や画像認識手法を選択することが考えられる。このようにすることで、目標物との距離や周辺環境等の環境条件の変化に応じて、画像認識による検出対象物の検出性能を向上させることができる。

物体検出システムの概略構成を示すブロック図。 （ａ）複数の認識辞書と画像認識手法の一例を示す説明図。（ｂ）認識辞書及び画像認識手法の選択パターンの一例を示す説明図。 入力画像に応じて認識辞書と画像認識手法とを選択する方法を示す説明図。 対象物検出処理の手順を示すフローチャート。

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［物体検出システムの構成の説明］
実施形態の物体検出システムは、車両に搭載され、車両の前方に存在する人や車両、標識等の特定の検出対象物を検出するために用いられる。図１に示すように、物体検出システムは、物体検出装置１を備え、この物体検出装置１に対して、画像入力部２、センサ部３、及び、検出結果出力部４等を接続して構成されている。

物体検出装置１は、検出対象物を記述した認識辞書を用いた画像認識処理を行うことで入力画像の中から検出対象物の画像を検出する画像処理装置であり、演算処理部１０と記憶部１１とを備える。

演算処理部１０は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭ，出入力インタフェース等を備えた情報処理装置で構成され、画像入力部２からの入力画像を処理して検出対象物の検出結果を出力する。演算処理部１０は、検出対象物の認識辞書を用いた周知の画像認識の手法により入力画像中の検出対象物の画像を検出する。本発明の特徴として、演算処理部１０は、予め用意されている複数種類の認識辞書及び画像認識手法の中から、目標物との距離や、入力画像の明るさ、コントラスト、色等の光の状態に応じた最適な認識辞書及び画像認識手法の組合せを選択して、入力画像に対する画像認識を行う。なお、詳細な処理手順については後述する。

記憶部１１は、検出対象物の基準データを記述した認識辞書や、認識辞書を用いて画像認識処理を行う手法（アルゴリズムや画像補正）に関するプログラム等を記憶する記憶装置である。本実施形態では、同じ検出対象物について異なる環境条件を想定して作成された複数種類の認識辞書が、記憶部１１に記憶されているものとする。これらの認識辞書は、検出対象物と観測位置（すなわち、撮像位置）との距離や、天気や時間帯による明るさや鮮明さといった環境条件の変化に対応付けて、記述されるモデルのサイズ、画像の明るさ、コントラスト、色等がそれぞれ変更されている。

また、記憶部１１には、検出対象物に対する認識特性の異なる複数種類の画像認識手法を記述したプログラムが記憶されているものとする。これらの画像認識手法には、認識辞書と入力画像との幾何学情報の類似度に基づく画像認識のアルゴリズムや、画素の平均値やヒストグラムといった、画素値の類似度に基づく画像認識のアルゴリズム等、画像認識の仕組みの異なる複数の認識アルゴリズムが含まれる。また、認識アルゴリズムによる画像認識処理の検出率を向上させるために、画像認識処理の事前に入力画像の明るさ、コントラスト、色、鮮明さ等を調節する画像補正も画像認識手法に含まれる。

複数種類の認識辞書及び画像認識手法の一例を図２（ａ）に示す。図２（ａ）の事例では、検出対象物（人物）との距離や、検出対象物周辺の明るさ、鮮明さ、色等の環境条件が異なる状況を想定して作成された複数の認識辞書（ａ，ｂ，ｃ…）が用意されている。一例として、近距離（又は遠距離）の検出対象物に対応する認識辞書は、検出対象物のモデルを大きく（又は小さく）記述することが挙げられる。また、明るい（又は暗い）場所にあると想定される検出対象物に対応する認識辞書は、モデルを明るく（又は暗く）記述することが挙げられる。さらに、日中、日暮時、又は夜間等の時間帯に応じた光の状態に対応する認識辞書として、例えば、全体的に白っぽい、赤っぽい、又は青っぽい等、特定の色味を強くした検出対象物を記述することが一例として挙げられる。あるいは、検出対象物が遠距離のときや、雨や霧が発生しているとき等、検出対象物の画像が不鮮明になりやすい条件に対応する認識辞書として、輪郭部分のコントラストが低い検出対象物を記述することも考えられる。また、画像認識手法として、異なる認識アルゴリズム（α，β…）と、画像補正とが用意されている。

そして、本実施形態では、図２（ｂ）に例示されるように、入力画像に対する画像認識に用いる認識辞書及び画像認識手法の組合せを示す複数種類の選択パターン（パターンＡ，Ｂ，Ｃ…）が記憶部１１に予め定義されているものとする。これらの選択パターンは、認識辞書の作成に適用された環境条件や、特定の環境条件に対する画像認識アルゴリズムの認識特性を考慮して、予め想定された様々な環境条件において最適な検出性能を得られるように環境条件の類型別に作られている。

一例として、検出対象物との距離が近い（又は遠い）状況と、画像が明るい（又は暗い）状況とが組合わさった環境条件を想定した認識辞書と、その環境条件において好適な検出性能が得られる認識アルゴリズムとを組合せ、その環境条件に対応する選択パターンとして用意することが考えらえる。これ以外の環境条件として、例えば、入力画像のコントラストや色の状態を組合せた選択パターンを用意してもよい。また入力画像の鮮明さが著しく低下すると想定される条件下に対応する選択パターンとして、事前に入力画像の明るさやコントラスト、シャープネス等を調整する画像補正を加えることも考えられる。

図１の説明に戻る。画像入力部２は、車両の前方を撮影する車載カメラ等で構成される。画像入力部２によって撮影された画像は、入力画像として物体検出装置１の演算処理部１０に入力される。

センサ部３は、距離測定機能を有するミリ波レーダやレーザーレーダ、車両外部の明るさを測定する照度センサ等の車載センサ類である。検出結果出力部４は、物体検出装置１による検出対象物の検出結果に応じて、例えば、人や車両が存在する旨の警報を運転者に対して提示したり、車両制御を行う車載機器である。この種の車載機器としては、車両の走行安全システムや運転支援システムの制御装置等が例示される。

［環境条件の特定方法の説明］
物体検出装置１の演算処理部１０が、画像認識処理に用いる認識辞書及び画像認識手法の選択パターンを決定するための判断材料となる環境条件を特定する方法について、図３の説明図を参照しながら説明する。

本実施形態では、画像認識処理に用いる認識辞書及び画像認識手法を決定するための判断材料となる環境条件の１つとして、図３（ａ）に例示されるように、画像入力部２からの入力画像内に存在する物体（目標物）との距離を特定する。主な方法としては、例えば、画像入力部２による撮像範囲内をミリ波レーダやレーザーレーダを使って測距することで、目標物との距離を取得することが考えられる。

あるいは、認識辞書のモデルによって入力画像内を走査するときの画像領域の位置から、目標物との距離を推定することも可能である。例えば、走査する画像領域の下端位置が、入力画像の消失点を基準にどの高さにあるかによって、その画像領域にある目標物との距離を推定できる。この場合、走査する画像領域の下端が消失点の高さと近い高位置にある場合、そこにある目標物は撮像位置から遠い距離にあることになる。また、走査する画像領域の下端が消失点から離れた低位置にある場合、そこにある目標物は撮像位置から近い距離にあることになる。上述のような測距用のセンサを用いて目標物との距離を取得する方法と、認識辞書のモデルを操作する画像領域の位置からの目標物との距離を推定する方法とを組合せて用いてもよいし、どちらか一方の方法を用いてもよい。

認識辞書及び画像認識手法の選択パターンを決定する判断材料となるもう１つの環境条件として、図３（ｂ）に例示されるように、画像入力部２からの入力画像の明るさ、コントラスト、色の状態を判断する。具体的には、検出対象の画像領域を構成する画素の輝度情報（例えば、平均値、中央値、ヒストグラム等）を解析することで、明るさ、コントラスト、色の状態を判断する。あるいは、明るさの情報として、照度センサ等により取得される明るさの測定値を、前述の輝度情報の解析により得られる値と併せて用いてもよい。

演算処理部１０は、特定した目標物との距離、及び、入力画像の明るさ、コントラスト、色等の光の状態に基づいて、認識対象の入力画像における環境条件を判断する。そして、予め用意されている複数の選択パターン（図２（ｂ）参照）の中から、判断した環境条件の類型に該当する認識辞書及び画像認識手法を選択する。

［対象物検出処理の説明］
物体検出装置１の演算処理部１０が実行する対象物検出処理の手順について、図４のフローチャートを参照しながら説明する。

Ｓ１００では、演算処理部１０は、画像入力部２から入力された入力画像における未検査の画像領域の中から、検出対象の画像領域を決定する。検出対象の画像領域は、入力画像全体を所定の範囲ごとに区切ったうちの１つでもよいし、入力画像のうち道路や歩道に相当する部分の画像領域を抽出したものでもよい。

Ｓ１０２では、演算処理部１０は、Ｓ１００で決定した画像領域内の目標物と撮像位置（すなわち、車両位置）との距離を特定する。距離の特定方法については、図３（ａ）の説明において上述したとおりである。つぎに、Ｓ１０４では、演算処理部１０は、Ｓ１００で決定した画像領域の明るさ、コントラスト、色等の光の状態を解析する。画像領域の光の状態の解析方法については、図３（ｂ）の説明において上述したとおりである。

Ｓ１０６では、演算処理部１０は、Ｓ１０２で特定した距離、及びＳ１０４で解析した光の状態に基づき、検出対象の画像領域に対して適用する認識辞書及び画像認識手法を選択する。具体的には、特定した目標物との距離と、画像領域の明るさ、コントラスト、色等の光の状態とに基づいて、検出対象の画像領域における環境条件を判断する。そして、予め用意されている複数の選択パターン（図２（ｂ）参照）の中から、判断した環境条件の類型に該当する認識辞書及び画像認識手法を選択する。

次のＳ１０８では、演算処理部１０は、Ｓ１０６で選択した認識辞書及び画像認識手法を用いて、検出対象の画像領域に対して画像認識処理を実行し、画像領域内の検出対象物を検出する。具体的には、選択した認識辞書を用いて画像領域を走査し、選択した画像認識手法の認識アルゴリズムに従った画像認識を行う。また、選択した画像認識手法に画像補正が含まれる場合、その画像補正方法に従って、事前に検出対象の画像領域に対する補正を行った上で画像認識を行う。そして、Ｓ１１０では、演算処理部１０は、Ｓ１０８の画像認識処理において得られた検出対象物に関する検出結果を、検出結果出力部４に出力する。

次のＳ１１２では、演算処理部１０は、同じ入力画像内の別の画像領域を検査するか否かを判断する。ここでは、入力画像における検査を行うべき複数の画像領域のうち、まだ検査をしていない画像領域が残っている場合、演算処理部１０は、肯定判定をして（Ｓ１１２：ＹＥＳ）、Ｓ１００に戻る。一方、検査をしていない画像領域が残っていない場合、演算処理部１０は、否定判定をして（Ｓ１１２：ＮＯ）、本処理を終了する。

［効果］
実施形態の物体検出装置１によれば、以下の効果を奏する。
検出対象物の画像認識に用いる認識辞書及び画像認識手法を、目標物との距離や周辺環境に応じて切替えることができる。具体的には、目標物との距離が近いか遠いか、入力画像が明るいか暗いかといった環境条件別に、認識辞書及び画像認識手法の組合せ複数パターン用意しておき、その時々の環境条件に最適な認識辞書及び画像認識手法の組合せを選択する。このようにすることで、目標物との距離や周辺環境等の環境条件の変化に応じて、画像認識による検出対象物の検出性能を向上させることができる。

［変形例］
上述の実施形態では、認識辞書及び画像認識手法について、それぞれが複数種類用意されている事例について説明した。これに限らず、認識辞書のみを複数種類用意し、画像認識手法については１種類のみを固定的に用いることで、これらの組合せから複数種類の選択パターンを構成してもよい。あるいは、認識辞書については１種類のみを固定的に用いて、画像認識手法のみを複数種類の用意することで、これらの組合せから複数種類の選択パターンを構成してもよい。

また、上述の実施形態では、対象物検出処理（図４参照）において、１つの入力画像を所定の複数の画像領域に分割し、分割した画像領域ごとにそれぞれ認識辞書及び画像認識手法の選択パターンを決定して、画像認識を行う手法を採用している。これに限らず、１つの入力画像に対して、１つの選択パターンを決定して画像認識を行う構成であってもよい。

また、上述の実施形態では、認識対象の環境条件を判断する材料として、距離と光の状態（明るさ、コントラスト、色等）との両方を用いる事例について説明した。これに限らず、距離又は光の状態の何れかを用いるような構成であってもよい。なお、本発明の物体検出装置が搭載される搭載システムは、上述の実施形態で説明した車両（自動車）に限らない。例えば、航空機、船舶、鉄道車両等の乗り物、あるいは、建築物等に設備される防犯機器や家電機器といった様々な搭載システムに対して、本発明の物体検出装置を適用できる。

１…物体検出装置、１０…演算処理部、１１…記憶部、２…画像入力部、３…センサ部、４…検出結果出力部。

Claims (3)

1. 検出対象物の基準データが記述された認識辞書と、前記認識辞書を用いて撮像手段により撮像された入力画像から検出対象物を認識するための画像認識手法とを記憶し、かつ前記認識辞書及び前記画像認識手法の少なくとも何れかを複数種類記憶する記憶手段（１１）と、
   入力画像の撮像位置から入力画像内の目標物までの距離と、入力画像における光の状態との少なくとも何れかを特定する特定手段（１１，Ｓ１０２，Ｓ１０４）と、
   前記記憶手段に記憶されている認識辞書及び画像認識手法の中から、前記特定手段により特定された距離と光の状態との少なくとも何れかに応じて、入力画像に対する画像認識処理に用いる認識辞書及び画像認識手法を選択する選択手段（１１，Ｓ１０６）と、
   前記選択手段により選択された認識辞書及び画像認識手法を用いた画像認識処理を行うことで、入力画像の中から検出対象物を検出する検出手段（１１，Ｓ１０８）と、
   を備えることを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記特定手段は、前記入力画像における光の状態として、入力画像の明るさと、コントラストと、色との少なくとも何れかを特定すること、
   を特徴とする物体検出装置。
3. 請求項１又は請求項２に記載の物体検出装置において、
   前記記憶手段は、検出対象物の基準データが記述された複数種類の認識辞書と、前記認識辞書を用いて撮像手段により撮像された入力画像から検出対象物を認識するための１種類の画像認識手法とを記憶し、
   前記選択手段は、前記特定された距離と光の状態との少なくとも何れかに応じて、前記複数の認識辞書の中から入力画像に対する画像認識処理に用いる認識辞書を選択し、
   前記検出手段は、前記選択手段により選択された認識辞書を用いて前記画像認識手法による画像認識処理を行うことで、入力画像の中から検出対象物を検出すること
   を特徴とする物体検出装置。