JP5423631B2 - 画像認識装置 - Google Patents

Description

撮像手段によって生成される画像から検知対象物を表す画像を検知する画像認識装置に関する。

従来、カメラ等の撮像手段によって生成された画像から、人間又は人間の顔等の検知対象物を表す画像を検知する画像認識の技術が知られている（例えば特許文献１及び特許文献２）。

このような技術の一種として、例えば特許文献１には、対象物検知装置及び学習用データベース生成装置が開示されている。対象物検知装置は、車両の周辺領域を撮影する画像入力装置と、検出用辞書を記憶する検出用辞書記憶装置と、画像入力装置によって撮像された画像から検出用辞書に基づいて対象物の画像を検知する識別装置と、を備えている。一方、学習用データベース生成装置は、上述した検出用辞書記憶装置に記憶される検出用辞書を、予め撮像された複数の画像を用いて作成する。このように、複数の画像を用いて作成した検出用辞書に基づくことにより、対象物検知装置の識別装置は、撮像された画像から対象物の画像を精度良く検知できるようになる。

また、特許文献２に開示の顔認識装置は、人物の顔を撮影するためのカメラと、複数の辞書情報を記憶する辞書情報保持部と、複数の辞書情報のうちの一つを選択する辞書切換部と、カメラによって撮像された画像から選択された辞書情報に基づいて顔の画像を検知する認識部と、を備えている。さらに特許文献２に開示の顔認識装置は、カメラによる画像が、顔の画像の検知に適切な照明環境下で撮影されたか否かを、当該画像の明るさに基づいて判定する照明環境判定部を備えている。この顔認識装置は、カメラによる画像を辞書情報として辞書情報保持部に蓄積する際、照明環境判定部による判定結果を属性情報として画像に付加する。

以上の構成により、特許文献２に開示の顔認識装置では、辞書切換部は、画像を撮影した際の照明環境の判定結果を照明環境判定部から取得し、当該判定結果に類似する辞書情報を、複数の辞書情報ら選択する。認識部は、類似した属性情報が付加された辞書情報に基づくことにより、カメラによって撮影された人物の顔を的確に検知できるようになる。

特開２００７−２７２４２０号公報 特開２００５−８４８１５号公報

さて、特許文献２に開示の顔認識装置が備えるカメラと異なり、特許文献１に開示の対象物検知装置に用いられるカメラ等の画像入力装置は、車両の周辺領域の明るさに応じて撮像ゲインを変更することができる。車両に用いられる対象物検知装置では、車両の走行によって周辺領域の明るさが変化し易いためである。車両の走行によって周辺領域の明るさが変化した場合でも、カメラは、撮像ゲインを変更することにより、周辺領域の明るさに応じてコントラストの調整された画像を生成することができる。

以上のようなカメラが撮像手段として用いられた場合、撮像ゲインの変更に伴い、カメラによって撮像される周辺画像に写る検知対象物を表す画像と、背景の画像とのコントラストが変動する。特許文献１に開示の構成においては、様々なコントラストの画像を用いて検出用辞書を作成した場合、検知の精度を維持するためには、検出用辞書の容量が大きくなってしまう。すると、識別装置は、容量の増大した検出用辞書に基づいて検知を行わなければならなくなる。故に、対象物の検知が高速に行われなくなるおそれが生じてしまう。

そこで、検出用辞書の容量を低減するため、例えば特許文献２の構成のように、画像の明るさに基づいてカメラによる画像を複数の辞書情報に分類する形態を考える。しかし、画像の明るさは、検知対象物を表す画像と背景の画像とのコントラストに対応しない。例えば、全体として同じ明るさの画像であっても、暗い周辺領域を高い撮像ゲインにて撮像した画像と、明るい周辺領域を低い撮像ゲインにて撮像した画像とが存在する。前者では、検知対象物を表す画像と背景の画像とのコントラストは高くなるが、後者では、当該コントラストは低くなる。

故に、辞書切換手段が、画像の明るさの情報に類似した属性情報を有する辞書情報を選択したとしても、画像のコントラストと、辞書切換手段によって選択された辞書情報に含まれる画像のコントラストとは、互いに対応しない。このように、周辺画像のコントラストに対応した辞書情報を用いることができないので、認識部は、画像から対象物の画像を高精度に検知することができないのである。

本発明は、上記問題点に鑑みてなされたものであって、その目的は、検知対象物の検知性能が向上した画像認識装置を提供することである。

上記目的を達成するために、請求項１に記載の発明は、車両の周辺領域を撮影する撮像手段によって生成される周辺画像から、周辺領域に存在する検知対象物を表す画像を検知する画像認識装置であって、周辺領域の明るさに応じて撮像ゲインを変更することによりコントラストの調整された周辺画像、を生成する撮像手段と、学習の基準となる複数群のサンプル画像のコントラストに応じて作成された複数の事前学習モデルを記憶する記憶手段と、周辺画像を撮影した際に撮像手段が周辺領域の明るさに応じて変更した撮像ゲインを撮像手段から取得し、当該撮像ゲインが高くなるほど、複数のサンプル画像群のうちでコントラストの高いサンプル画像群から作成された事前学習モデルを、記憶手段に記憶された複数の事前学習モデルから選択するモデル選択手段と、予め大きさの設定された探索ウィンドウを周辺画像の水平方向及び鉛直方向に移動させつつ、当該探索ウィンドウによって囲まれた範囲のウィンドウ画像を順に切り出すと共に、モデル選択手段によって選択される事前学習モデルに基づいて、ウィンドウ画像毎に、検知対象物を表す画像を検知する検知手段と、を備える。

この発明によれば、撮像手段においては、撮像ゲインの変更によって周辺画像のコントラストが調整されるので、撮像ゲインの情報は、周辺画像のコントラストを示す指標となる。選択手段は、この撮像ゲインの情報に対応する事前学習モデルを選択する。故に、周辺画像のコントラストと、モデル選択手段によって選択された事前学習モデルを作成する際に用いられたサンプル画像群のコントラストとが、互いに対応し得る。このように、周辺画像のコントラストに対応した事前学習モデルに基づくことによって、検知手段は、周辺画像から検知対象物を表す画像を高精度に検知できるようになる。

加えて、各事前学習モデルは、各サンプル画像群のサンプル画像のコントラストに応じて作成されている。各サンプル画像群に含まれるサンプル画像のコントラストが近似しているので、サンプル画像群毎のサンプル画像の数を抑えつつ、検知の精度を維持できる事前学習モデルが構築され得る。このようにサンプル画像の数を抑えることにより、事前学習モデルの容量は抑制される。故に、検出手段は、検知対象物を表す画像を検知するための処理を高速で行うことができるようになる。

これらにより、画像認識装置は、高精度且つ高速に検知対象物を表す画像を検知することができるようになる。したがって、画像認識装置による検知対象物の検知性能の向上が実現される。

加えてこの発明によれば、周辺領域が暗い場合、撮像手段は、撮像ゲインを高くする。これにより、コントラストの高い周辺画像が生成される。故に、撮像ゲインが高くなるほど、コントラストの高いサンプル画像群を用いて作成された事前学習モデルを選択する選択手段とすることにより、周辺画像のコントラストと、選択された事前学習モデルの作成に用いられたサンプル画像群のコントラストとが、確実に対応し得る。そして、周辺画像の高いコントラストに対応する、コントラストの高いサンプル画像群を用いて作成された事前学習モデルに基づくことによって、検知手段は、周辺画像から検知対象物を表す画像を高精度に検知できるようになる。

請求項２に記載の発明では、各サンプル画像群は、検知対象物として想定されている想定物が写る想定物画像及び想定物以外の非想定物が写る非想定物画像を含み、各事前学習モデルは、想定物画像及び非想定物画像に基づいて、想定物を表す画像の特徴が学習されることにより構築されることを特徴とする。

この発明によれば、検知対象物として想定されている想定物を表す画像の特徴を、事前学習モデルに学習させるに際して、想定物の写る想定物画像及び想定物以外の非想定物の写る非想定物画像が用いられる。これにより、事前学習モデルは、想定物画像に想定物が写っていることを学習することができると共に、非想定物画像に写る非想定物が想定物でないことを学習することができる。以上の学習により、想定物と非想定物との差異を学習した事前学習モデルに基づくことによって、検知手段は、周辺画像から検知対象物を表す画像を、確実に選別して検知できるようになる。

請求項３に記載の発明では、撮像手段は、周辺領域の赤外線を検出することにより、周辺画像を生成する赤外線カメラを有することを特徴とする。

この発明のように、撮像手段として赤外線カメラを有する場合、街灯及び対向車の前照灯等から放射される赤外線に起因して、当該赤外線カメラの撮像ゲインは著しく変化する。故に、周辺画像においては、検知対象物を表す画像と背景の画像とのコントラストが著しく変動する。しかし、上述した構成では、周辺画像のコントラストに対応した事前学習モデルに基づくことにより、検知手段は、周辺画像から検知対象物を表す画像を高精度に検知できる。このように、複数のサンプル画像群のコントラストに応じて作成された複数の事前学習モデルに基づくことによって検出精度を向上させる作用は、赤外線カメラにより周辺画像を生成する形態において、顕著に発揮されるのである。

本発明の一実施形態による画像認識装置の構成が概略的に示される構成図である。 画像認識回路が前方画像から歩行者を表す画像を検知するための処理を説明するための図である。 カメラゲインが高い場合の前方画像を説明するための図であって、（ａ）は前方画像が示される図であり、（ｂ）及び（ｃ）は前方画像に写る歩行者を表す画像が拡大して示される図である。 カメラゲインが中程度の場合の前方画像を説明するための図であって、（ａ）は前方画像が示される図であり、（ｂ）は前方画像に写る歩行者を表す画像が拡大して示される図である。 カメラゲインが低い場合の前方画像を説明するための図であって、（ａ）は前方画像が示される図であり、（ｂ）は前方画像に写る歩行者を表す画像が拡大して示される図である。 事前学習モデルについて説明するための図である。 前方画像から歩行者を表す画像を検知する画像認識回路の処理が示されるフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。

図１には、本発明の一実施形態による画像認識装置１００の構成が示されている。画像認識装置１００は、図２に示されるような車両の前方領域を撮像した前方画像５０から、当該前方領域に存在する歩行者等の検知対象物を表す画像５０ａを検知する。

図１に示されるように、画像認識装置１００は、赤外線カメラ１０及び画像認識回路２０等によって構成されている。画像認識装置１００は、表示装置４０と接続されており、検知結果を当該表示装置４０に出力する。

赤外線カメラ１０は、近赤外線を検出することにより、可視光の少ない環境下においても撮像可能である。赤外線カメラ１０は、車両の進行方向を向けて設置されており、車両の周辺領域のうち、特に車両の前方領域を撮影することができる。赤外線カメラ１０は、車両の前方領域を撮影することにより、周辺画像としての前方画像５０を生成する。そして赤外線カメラ１０は、生成した前方画像５０を、画像認識回路２０及び表示装置４０に逐次出力する。

画像認識回路２０は、各種の演算処理を行うプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算の作業領域として機能するＲＡＭ等によって構成されている。加えて画像認識回路２０は、赤外線カメラ１０と接続され当該赤外線カメラ１０から情報を取得するインタフェースを有している。

画像認識回路２０は、カメラゲイン取得部２５、データベース３０、最適モデル選択部２７、及び歩行者認識部２１を備えている。これら要素２５、３０、２７、２１は、画像認識回路２０の機能ブロックである。これら要素２５、３０、２７、２１の機能は、画像認識回路２０のプロセッサにおいて所定のプログラムが実行されることにより、当該画像認識回路２０によって果たされる。

カメラゲイン取得部２５は、赤外線カメラ１０からカメラゲインを取得する。カメラゲイン取得部２５は、赤外線カメラ１０から画像認識回路２０に出力されている前方画像５０が当該赤外線カメラ１０によって撮影された際のカメラゲインの情報を、赤外線カメラ１０から取得する。取得したカメラゲインの情報は、カメラゲイン取得部２５を通じて最適モデル選択部２７に取得される。

データベース３０は、複数の事前学習モデル３１〜３３を記憶している。これら事前学習モデル３１〜３３は、歩行者等の画像の特徴を学習させたものであって、後述する方法によって、学習の基準となる複数群のサンプル画像６１ａ〜６３ａのコントラストに応じて作成されている。データベース３０は、最適モデル選択部２７と接続されており、当該最適モデル選択部２７からの求めに応じて、記憶している複数の事前学習モデル３１〜３３のうちの一つを最適モデル選択部２７に出力する。

最適モデル選択部２７は、カメラゲイン取得部２５を通じて取得したカメラゲインに対応する事前学習モデルを、データベース３０に記憶されている複数の事前学習モデル３１〜３３から選択する。最適モデル選択部２７は、取得したカメラゲインが高くなるほど、複数のサンプル画像群のうちでコントラストの高いものから作成された事前学習モデルを、複数の事前学習モデル３１〜３３から選択する。具体的に、最適モデル選択部２７には、事前学習モデルを選択するためのカメラゲインの基準値が二つ予め設定されている。便宜的に、二つの基準値のうち、高い方を第一基準値、低い方を第二基準値とする。最適モデル選択部２７は、取得したカメラゲインが第一基準値よりも高い場合、事前学習モデル３１を選択する。最適モデル選択部２７は、取得したカメラゲインが第一基準値以下であって且つ第二基準値よりも高い場合、事前学習モデル３２を選択する。最適モデル選択部２７は、取得したカメラゲインが第二基準値以下であった場合、事前学習モデル３３を選択する。最適モデル選択部２７によって選択された事前学習モデル３４は、データベース３０から読み出され、歩行者認識部２１に出力される。

歩行者認識部２１は、赤外線カメラ１０、最適モデル選択部２７、及び表示装置４０と接続されている。歩行者認識部２１は、赤外線カメラ１０によって撮像された前方画像５０を取得する。歩行者認識部２１は、最適モデル選択部２７によって選択された事前学習モデル３４を取得する。歩行者認識部２１は、歩行者等の検知対象物の検知結果を、表示装置４０に出力する。

歩行者認識部２１は、特徴量抽出部２２及び照合部２３を有している。

特徴量抽出部２２は、前方画像５０を走査し、当該前方画像５０に写る物体の特徴量データを抽出する。具体的には、図２に示されるように、特徴量抽出部２２は、予め大きさの設定された探索ウィンドウ５５によって、赤外線カメラ１０から取得する前方画像５０を走査する。特徴量抽出部２２は、前方画像５０の水平方向及び鉛直方向に、探索ウィンドウ５５を移動させつつ（図２に示される破線の矢印を参照）、当該探索ウィンドウ５５によって囲まれた範囲の画像５６（以下、ウィンドウ画像５６）を順に切り出す。さらに特徴量抽出部２２は、切り出されたウィンドウ画像５６を検知処理に適した特徴量データに変換する。特徴量抽出部２２は、変換された特徴量データを照合部２３に逐次出力する。

照合部２３は、最適モデル選択部２７によって選択された事前学習モデル３４に基づいて、前方画像５０から歩行者を表す画像５０ａを検知する。具体的に照合部２３は、特徴量抽出部２２によって抽出された特徴量データを、選択された事前学習モデル３４と照合し、当該特徴量データが選択された事前学習モデル３４に学習されている歩行者を表す画像５０ａの特徴量データに適合するか否かを判定する。選択された事前学習モデル３４に学習されている特徴量データに適合する物体が検知された場合、照合部２３は、前方画像５０における当該物体の位置情報を検知結果として、図１に示される表示装置４０に出力する。

表示装置４０は、車両室内のインスツルメントパネルの中央部等に配置される液晶ディスプレイの表示画面に種々の画像を表示することにより、運転者に種々の情報を提供する。本実施形態の表示装置４０は、赤外線カメラ１０と接続されており、当該赤外線カメラ１０から前方画像５０を取得することができる。表示装置４０は、運転者等のユーザの操作に基づいて、表示画面に前方画像５０を表示する。加えて表示装置４０は、歩行者認識部２１から取得する検出結果としての位置情報に基づいて、前方画像５０における歩行者を表す画像５０ａを囲むように、枠状の画像を前方画像５０に重畳して表示する（図３（ａ）等参照）。

次に、赤外線カメラ１０によって撮像され、歩行者認識部２１に出力される前方画像５０について、図３〜５に基づいてさらに詳しく説明する。

赤外線カメラ１０（図１参照）は、前方領域の明るさに応じて、カメラゲインを変更することができる。カメラゲインとは、赤外線カメラ１０において光の強さを電気信号に変換する際の増幅量の大きさを示している。カメラゲインは、赤外線カメラ１０の感度を示すものである。

図３に示されるのは、例えば、街灯及び交通量の少ない道路を車両が走行している等、前方領域が暗い場合に撮像される前方画像５１である。前方領域が暗い場合、赤外線カメラ１０は、カメラゲインを高めることにより、前方画像５１のコントラストを調整する。この場合、前方画像５１に写る歩行者を表す画像５１ａ（図３（ｂ），（ｃ）参照）と、背景の画像とのコントラストは、高くなる。

図４に示されるのは、街灯及び交通量の比較的多い道路を車両が走行している等、図３に示される状態よりも前方領域が明るい場合に撮像される前方画像５２である。前方領域が明るくなると、赤外線カメラ１０は、カメラゲインを抑えることにより、街灯から放射される光及び対向車の前照灯から放射させる光等によって、前方画像５２に強いハレーションが生じないように調節する。この場合、前方画像５２に写る歩行者を表す画像５２ａ（図４（ｂ）参照）と、背景の画像とのコントラストは、前方領域が暗い場合の歩行者を表す画像５１ａと比較して、低くなる。

図５に示されるのは、街灯及び交通量の非常多い道路を車両が走行しているなど、図４に示される状態よりも前方領域がさらに明るい場合の前方画像５３である。前方領域が明るい場合、赤外線カメラ１０は、カメラゲインを低くすることにより、街灯から放射される光及び対向車の前照灯から放射させる光等によって、前方画像５３に強いハレーションが生じないように調節する。この場合、前方画像５３に写る歩行者を表す画像５３ａ（図５（ｂ）参照）と、背景の画像のコントラストは、上述した歩行者を表す画像５２ａと比較して、さらに低くなる。

次に、データベース３０に記憶されている事前学習モデル３１〜３３について、図６に基づいて詳しく説明する。

図６に示されるように、事前学習モデル３１〜３３は、学習モデル作成装置７０によって作成される。事前学習モデル３１〜３３を作成するため、多数のサンプル画像６１ａ〜６３ａが用いられる。多数のサンプル画像６１ａ〜６３ａは、各サンプル画像のコントラストに応じて、複数のサンプル画像群６１〜６３に分類されている。本実施形態では、事前学習モデルの数に対応し、サンプル画像６１ａ〜６３ａは、コントラストが高いサンプル画像群６１、コントラストが中程度のサンプル画像群６２、及びコントラストが低いサンプル画像群６３、という三つの画像群に分類されている。

各サンプル画像群６１〜６３には、検知対象物として想定されている想定物、即ち歩行者の写る想定物画像６４、及び歩行者以外の悲想定物のみが写る非想定物画像（図示されない）が含まれている。非想定物とは、具体的には、歩行者以外の車両、信号機、及び標識等である。各事前学習モデル３１〜３３は、想定物画像及び非想定物画像に基づいて、検知対象物である歩行者を表す画像５０ａの特徴が学習されることにより構築される。尚、図６（ａ）〜（ｃ）に示されている画像は、想定物画像の一部である。

学習モデル作成装置７０は、サンプル画像を読み込み、歩行者認識部２１と同様に、各サンプル画像を探索ウィンドウ５５（図２参照）によって走査する。これにより、学習モデル作成装置７０は、各サンプル画像からウィンドウ画像５６（図２参照）を切り出す。そして、切り出されたウィンドウ画像５６の特徴量データを学習する。本実施形態における学習モデル作成装置７０では、特徴量データを学習するアルゴリズムとして、Ａｄａｂｏｏｓｔアルゴリズムが使用される。

学習モデル作成装置７０は、特徴量データに重み付けをすることにより、歩行者を表す画像５０ａの特徴を事前学習モデル３１に学習させる。具体的には、学習モデル作成装置７０は、想定物画像６４から抽出される特徴量データの重み付けを増やす。一方で、学習モデル作成装置７０は、非想定物画像から抽出されてしまう特徴量データの重み付けを減らす。このように、多数の想定物画像６４及び非想定物画像を読み込むことにより、学習モデル作成装置７０は、歩行者が写っている画像に対しては強い反応を示し、歩行者が写っていない画像に対しては反応を示さないか又は弱い反応しか示さない、識別器としての事前学習モデル３１〜３３が作成される。

これらの事前学習モデル３１〜３３を作成する際、目標とする認識率及び誤認識率が予め設定される。認識率とは、事前学習モデルが想定物画像６４を正しく想定物画像６４と認識できる確率である。誤認識率とは、非想定物画像を誤って想定物画像６４と認識してしまう確率である。目標として設定された認識率を上回り、且つ目標として設定された誤認識率を下回るようになるまで学習モデル作成装置７０にサンプル画像６１ａ〜６３ａを読み込ませることにより、歩行者を表す画像５０ａの特徴を学習した事前学習モデル３１〜３３が作成される。

ここまで説明した学習モデル作成装置７０に、分類された各サンプル画像群６１〜６３を読み込ませることにより、各事前学習モデル３１〜３３が作成される。コントラストの強いサンプル画像群６１からは、カメラゲインが高いことにより歩行者を表す画像５０ａと背景の画像とのコントラストが高くなる場合に選択される事前学習モデル３１が生成される。コントラストが中程度のサンプル画像群６２からは、カメラゲインが中程度である場合に選択される事前学習モデル３２が生成される。コントラストの低いサンプル画像群６３からは、カメラゲインが低いことにより歩行者を表す画像５０ａと背景の画像とのコントラストが低い場合に選択される事前学習モデル３３が生成される。以上により、照合部２３は、カメラゲインが高い場合、コントラストの高いサンプル画像群６１を用いて作成された事前学習モデル３１に基づいて、前方画像５０から歩行者を表す画像５０ａを検知することができる。一方照合部２３は、カメラゲインが低い場合、コントラストの低いサンプル画像群６３を用いて作成された事前学習モデル３３に基づいて、前方画像５０から歩行者を表す画像５０ａを検知することができる。

上述した事前学習モデル３１〜３３を生成する際に設定される認識率及び誤認識率の目標値は、事前学習モデル３１〜３３毎に異なっていてもよい。認識率は、事前学習モデルを作成するためのサンプル画像のコントラストが高くなるほど、高い値が設定されてよい。一方、誤認識率は、事前学習モデルを作成するためのサンプル画像のコントラストが低くなるほど、低い値が設定されてよい。

サンプル画像のコントラストが高ければ、歩行者を表す画像５０ａと背景の画像との輪郭が明確になる。故に、認識率の目標値が高く設定されても、又は、誤認識率の目標値が低く設定されても、これらの目標値を達成する事前学習モデル３１が作成され得る。

一方、サンプル画像のコントラストが低い場合、歩行者を表す画像５０ａと背景の画像との輪郭が曖昧になる。故に、認識率の目標値が高すぎると、又は誤認識率の目標値が低すぎると、事前学習モデルの作成が困難になる場合がある。加えて、事前学習モデルが作成された場合でも、事前学習モデル３３の容量が増大してしまう。故に、サンプル画像のコントラストが低い場合には、サンプル画像のコントラストが高い場合よりも、認識率及び誤認識率の目標値は緩和されるのがよいのである。

次に、画像認識装置１００が、前方画像５０から歩行者を表す画像５０ａを検知する処理について、図７に基づいて詳しく説明する。以下説明する処理は、例えば、表示装置４０に前方画像５０を表示させるための操作をユーザが行うことにより、画像認識回路２０によって実施される。画像認識回路２０による処理は、表示装置４０への前方画像５０の表示を停止する操作をユーザが行うまで繰り返される。

Ｓ１０１では、歩行者認識部２１によって、赤外線カメラ１０から前方画像５０を取得し、Ｓ１０２に進む。Ｓ１０２では、カメラゲイン取得部２５によって、赤外線カメラ１０からカメラゲインを取得し、Ｓ１０３に進む。

Ｓ１０３では、Ｓ１０２において取得したカメラゲイン対応する事前学習モデルを、最適モデル選択部２７によって選択し、Ｓ１０４に進む。最適モデル選択部２７によって選択された事前学習モデル３４は、歩行者認識部２１の照合部２３に出力される。

Ｓ１０４では、探索ウィンドウ５５によって前方画像５０からウィンドウ画像５６を順に切り出す。そして、切り出された各ウィンドウ画像５６から、特徴量抽出部２２によって、特徴量データを抽出し、Ｓ１０５に進む。抽出された特徴量データは、特徴量抽出部２２から照合部２３に出力される。

Ｓ１０５では、Ｓ１０４において抽出された特徴量データを、Ｓ１０３において選択された事前学習モデル３４に学習されている歩行者を表す画像５０ａの特徴量データと照合し、Ｓ１０６に進む。Ｓ１０５では、歩行者を表す画像５０ａの特徴量データに適合するウィンドウ画像５６が検知された場合、前方画像５０における当該ウィンドウ画像５６の位置情報を記憶する。

Ｓ１０６では、Ｓ１０５における照合の結果に基づき、前方画像５０から検知対象物である歩行者を表す画像５０ａを検知したか否かを判定する。Ｓ１０６において、歩行者を表す画像５０ａを検知していないと判定した場合、Ｓ１０１に戻る。一方、Ｓ１０６において、前方画像５０から歩行者を表す画像５０ａを検知していると判定した場合、Ｓ１０７に進む。

Ｓ１０７では、Ｓ１０５において記憶した、ウィンドウ画像５６の位置情報を検知結果として表示装置４０に出力し、Ｓ１０１に戻る。表示装置４０は、照合部２３から取得した位置情報に基づいて、歩行者を表す画像５０ａを枠状の画像で囲んだ表示を、表示画面に映し出す。

ここまで説明した本実施形態では、カメラゲインの情報は、前方画像５０のコントラストを示す指標となる。故に、前方画像５０のコントラストと、カメラゲインに応じて選択された事前学習モデル３４を作成する際に用いられたサンプル画像群のコントラストとが、互いに対応し得る。このように、前方画像５０のコントラストに対応した事前学習モデル３４に基づくことによって、歩行者認識部２１は、前方画像５０から検知対象物である歩行者を表す画像５０ａを高精度に検知できるようになる。

加えて、各事前学習モデル３１〜３３は、コントラストに応じて分類された各サンプル画像群６１〜６３から作成されている。各サンプル画像群６１〜６３に含まれるサンプル画像６１ａ〜６３ａのコントラストが近似しているので、サンプル画像群６１〜６３毎のサンプル画像の数を抑えつつ、検知の精度を維持できる事前学習モデル３１〜３３が構築され得る。このようにサンプル画像６１ａ〜６３ａの数を抑えることにより、事前学習モデル３１〜３３の容量は抑制される。故に、照合部２３は、歩行者を表す画像５０ａを検知するための処理を高速で行うことができるようになる。

これらにより、画像認識装置１００は、高精度且つ高速に歩行者を表す画像５０ａを検知することができるようになる。したがって、画像認識装置１００による検知対象物の検知性能の向上が実現される。

加えて本実施形態では、最適モデル選択部２７は、カメラゲインが高くなるほど、コントラストの高いサンプル画像郡６１を用いて作成された事前学習モデルを選択する。カメラゲインが高くなるほど前方画像５０のコントラストも高くなるので、前方画像５０のコントラストと、選択された事前学習モデル３４の作成に用いられたサンプル画像群６１のコントラストとが、確実に対応し得る。そして、前方画像５０のコントラストが高い場合には、コントラストの高いサンプル画像群６１を用いて作成された事前学習モデル３１に基づくことによって、前方画像５０のコントラストが低い場合には、コントラストの低いサンプル画像群６３を用いて作成された事前学習モデル３３に基づくことによって、歩行者認識部２１は、前方画像５０から歩行者を表す画像５０ａを高精度に検知できるようになる。

また本実施形態では、検知対象物として想定されている歩行者を表す画像５０ａの特徴を事前学習モデル３１〜３３に学習させるに際して、想定物画像６４及び非想定物画像が用いられてうた。これにより、各事前学習モデル３１〜３３は、想定物画像６４に歩行者が写っていることを学習できると共に、非想定物画像に写るものが歩行者でないことを学習できていた。以上の学習により、歩行者と歩行者以外のものとの差異を学習した各事前学習モデル３１〜３３に基づくことによって、歩行者認識部２１は、前方画像５０から歩行者を表す画像５０ａを、確実に選別して検知できるようになる。

さらに本実施形態では、コントラストの高いサンプル画像群６１を用いて作成される事前学習モデル３１は、コントラストの低いサンプル画像群６３を用いて作成される事前学習モデル３３よりも、モデル作成時の認識率及び誤認識率の目標値が厳しく設定されている。故に、カメラゲインが高い場合には、歩行者認識部２１は、厳しい目標値を達成した事前学習モデル３１に基づくことによって、歩行者を表す画像５１ａを確実に検知することができる。一方、カメラゲインが低い場合には、歩行者認識部２１は、目標値の緩和によって容量の抑制された事前学習モデル３３に基づくことによって、歩行者を表す画像５３ａを高速に検知し得る。これらのように、画像認識装置１００は、検知の精度と処理の早さとの両立が図られる。

さらに本実施形態で用いられる赤外線カメラ１０は、街灯及び対向車の前照灯等から放射される赤外線に起因して、カメラゲインが著しく変化する。故に、前方画像５０においては、歩行者を表す画像５０ａと背景の画像とのコントラストも著しく変動する。しかし、上述した構成では、前方画像５０のコントラストに対応した事前学習モデル３１〜３３に基づくことにより、歩行者認識部２１は、前方画像５０から歩行者を表す画像５０ａを高精度に検知できるようになる。このように、複数のサンプル画像群６１〜６３のコントラストに応じて作成された複数の事前学習モデル３１〜３３に基づくことによって検出精度を向上させる作用は、赤外線カメラ１０により前方画像５０を生成する形態において、顕著に発揮されるのである。

尚、本実施形態において、赤外線カメラ１０が特許請求の範囲に記載の「撮像手段」に相当し、歩行者認識部２１が特許請求の範囲に記載の「検知手段」に相当し、カメラゲイン取得部２５及び最適モデル選択部２７が特許請求の範囲に記載の「モデル選択手段」に相当し、データベース３０が特許請求の範囲に記載の「記憶手段」に相当し、前方画像５０〜５３が特許請求の範囲に記載の「周辺画像」に相当し、歩行者を表す画像５０ａ〜５３ａが特許請求の範囲に記載の「検知対象物を表す画像」に相当し、カメラゲインが特許請求の範囲に記載の「撮像ゲイン」に相当する。

（他の実施形態）
以上、本発明による一実施形態について説明したが、本発明は上記実施形態に限定して解釈されるものではなく、その要旨を逸脱しない範囲内において種々の実施形態に適用することができる。

上記実施形態において、最適モデル選択部２７は、サンプル画像６１ａ〜６３ａのコントラストに応じて作成された三つの事前学習モデル３１〜３３から、一つを選択していた。しかし、データベース３０に記憶される事前学習モデルの数は、三つに限定されない。例えば、データベース３０に記憶される事前学習モデルは、二つであってもよく、又は四つ以上であってもよい。

上記実施形態において、最適モデル選択部２７は、取得したカメラゲインに対応する事前学習モデルを選択していた。しかし、最適モデル選択部２７は、カメラゲインと共に、他の情報に基づいて、事前学習モデルを選択してもよい。例えば、前方画像５０における歩行者を表す画像５０ａの写り方は、降雨や積雪等の車両周囲の気象条件によっても変化する場合がある。故に、移動体通信網等の車両の外部との通信が可能な通信機、或いはレインセンサ等と接続され、気象情報を取得する気象情報取得手段を画像認識装置に設ける。この気象情報取得手段によって、画像認識装置は、降雨情報及び積雪情報等を取得できるようになる。そしてさらに、カメラゲインと共に気象情報にも対応する事前学習モデルを学習モデル作成装置７０に作成させ、データベース３０に記憶させておく。以上の構成によって、画像認識装置は、種々の気象条件下においても、前方画像５０から的確に歩行者を表す画像５０ａを検知することができるようになる。

上記実施形態において、各事前学習モデル３１〜３３に、歩行者を表す画像５０ａの特徴量データを学習させるアルゴリズムとして、Ａｄａｂｏｏｓｔアルゴリズムが使用されていた。しかし、各事前学習モデル３１〜３３に特徴量データを学習させるために、種々の手法が用いられてよい。例えば、ニューラルネットワークを用いた特徴量の学習方法等が、事前学習モデルの作成に用いられてもよい。

上記実施形態において、各事前学習モデル３１を作成する際の、認識率及び誤認識率の目標値は、各サンプル画像群６１〜６３のコントラストに応じて変更されていた。しかし、これら認識率及び誤認識率は、各サンプル画像群６１〜６３のコントラストにかかわらず、一定の値であってもよい。

上記実施形態では、前方画像５０を撮像するための撮像手段として、赤外線カメラ１０が用いられていた。しかし、前方画像５０を撮像することができれば、撮像手段は、赤外線カメラ１０に限定されない。例えば、可視光線を用いて撮像する可視光カメラが、撮像手段であってもよい。又は、撮像手段は、赤外線カメラ及び可視光カメラを共に有していてもよい。

上記実施形態では、画像認識装置１００は、検知対象物として歩行者を検知していた。しかし、画像認識装置によって検知される検知対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が検知対象物として設定されていてもよい。

１０ 赤外線カメラ（撮像手段）、２０ 画像認識回路、２１ 歩行者認識部（検知手段）、２２ 特徴量抽出部、２３ 照合部、２５ カメラゲイン取得部（モデル選択手段）、２７ 最適モデル選択部（モデル選択手段）、３０ データベース（記憶手段）、３１〜３４ 事前学習モデル、４０ 表示装置、５０〜５３ 前方画像（周辺画像）、５０ａ〜５３ａ 歩行者を表す画像、５５ 探索ウィンドウ、５６ ウィンドウ画像、６１〜６３ サンプル画像群、６１ａ〜６３ａ サンプル画像、６４ 想定物画像、７０ 学習モデル作成装置、１００ 画像認識装置

Claims (3)

1. 車両の周辺領域を撮影する撮像手段によって生成される周辺画像から、前記周辺領域に存在する検知対象物を表す画像を検知する画像認識装置であって、
   前記周辺領域の明るさに応じて撮像ゲインを変更することによりコントラストの調整された前記周辺画像、を生成する前記撮像手段と、
   学習の基準となる複数群のサンプル画像のコントラストに応じて作成された複数の事前学習モデルを記憶する記憶手段と、
   前記周辺画像を撮影した際に前記撮像手段が前記周辺領域の明るさに応じて変更した前記撮像ゲインを前記撮像手段から取得し、当該撮像ゲインが高くなるほど、前記複数のサンプル画像群のうちでコントラストの高い前記サンプル画像群から作成された前記事前学習モデルを、前記記憶手段に記憶された複数の前記事前学習モデルから選択するモデル選択手段と、
   予め大きさの設定された探索ウィンドウを前記周辺画像の水平方向及び鉛直方向に移動させつつ、当該探索ウィンドウによって囲まれた範囲のウィンドウ画像を順に切り出すと共に、前記モデル選択手段によって選択される前記事前学習モデルに基づいて、前記ウィンドウ画像毎に、前記検知対象物を表す画像を検知する検知手段と、
   を備えることを特徴とする画像認識装置。
2. 各前記サンプル画像群は、前記検知対象物として想定されている想定物が写る想定物画像及び前記想定物以外の非想定物が写る非想定物画像を含み、
   各前記事前学習モデルは、前記想定物画像及び前記非想定物画像に基づいて、前記想定物を表す画像の特徴が学習されることにより構築されることを特徴とする請求項１に記載の画像認識装置。
3. 前記撮像手段は、前記周辺領域の赤外線を検出することにより、前記周辺画像を生成する赤外線カメラを有することを特徴とする請求項１又は２に記載の画像認識装置。