JP2012164026A - 画像認識装置及び車両用表示装置 - Google Patents

Abstract

【課題】撮像画像から認識対象物の画像を認識する精度を高く維持したまま、認識のための処理を高速で行うことができる技術の提供。
【解決手段】近赤外線カメラ１０によって生成される前方画像５０を取得する画像取得部２１と、前方画像５０から切出画像５６を順に切り出す切出部２３と、切り出された複数の切出画像５６について、第一学習モデル６６に基づいて、歩行者画像５１が含まれている可能性があるか否かを識別する第一識別部２５と、歩行者画像５１が含まれている可能性があると識別された切出画像５６について、第二学習モデル７７に基づいて、歩行者画像５１が含まれているか否かを識別する第二識別部２７と、歩行者画像５１を含むと識別された切出画像５６の前方画像５０における位置を、当該歩行者が写る位置として認識する認識部２９とを備える画像認識回路２０及びナイトビュー装置１００とする。
【選択図】図１

Description

撮像手段によって生成される撮像画像から認識対象物を表す画像を認識する画像認識装置、及び当該画像認識装置を備える車両用表示装置に関する。

従来、カメラ等の撮像手段によって生成された撮像画像に写る歩行者及び車両等の認識対象物の画像を認識する技術が知られている。例えば非特許文献１に開示の手法では、撮像手段によって生成された入力画像から、所定のサイズの画像が順に切り出される。そして、学習の基準として用意された複数のサンプル画像（非特許文献１ Ｆｉｇｕｒｅ５参照）から作成された学習モデルに基づいて、切り出された各画像に認識対象物として想定されている歩行者等の画像が含まれているか否かが識別される。識別の結果、歩行者の画像を含んでいると識別された画像の入力画像における位置が、歩行者の画像の写る位置として認識される（非特許文献１ Ｆｉｇｕｒｅ４等参照）。

この非特許文献１に開示の手法において、識別に用いられる識別器としての学習モデルは、複数のサンプル画像に最も共通する特徴量を選択する過程を繰り返し、複数の特徴量を重ね合わせることにより、認識対象物を識別可能な特徴量の組み合わせを学習している。このような過程の繰り返しによって、認識対象物の特徴量を学習することにより、学習モデルを構築する種々の方法が開示されている。

このような手法として、例えば特許文献１には、数字等のサンプル画像の特徴量を、主成分分析を用いて学習することにより作成された学習モデルに基づいて、認識対象物を識別するパターン認識装置が開示されている。また、特許文献２には、正常状態における基準画像の特徴量を、ニューラルネットワークを用いて学習することにより作成された学習モデルに基づいて、監視対象の異常状態を認識する画像認識装置が開示されている。また、特許文献３には、車両の画像等の学習サンプルの特徴量を、サポートベクターマシン（ＳＶＭ）を用いて学習することにより作成されたＳＶＭ分類器に基づいて、車両画像を認識する車両画像認識装置が開示されている。さらに、特許文献４には、サンプル画像として用意された顔画像及び非顔画像の特徴量を学習することにより作成されたパターン識別用パラメータに基づいて、入力画像の中にある顔画像を識別するパターン識別装置が開示されている。

特開平０５−４０８５２号公報 特開平１１−７５３６号公報 特開２００７−２３５９５１号公報 特開２００９−８６７４９号公報

Paul Viola、Michael J. Jones、Daniel Snow、"Detecting Pedestrians Using Patterns of Motion and Appearance"、In iccv03 (Nice, France, 2003)、pp. 734-741

さて、特許文献４に開示のパターン識別装置に入力される入力画像において、例えば顔や胴体等の何らかの物体が含まれており、顔の画像が含まれている可能性のあるものと、顔とは明白に異なる非顔しか含まない背景等との差異は、明確である。故に、少ない特徴量しか学習していない単純なパターン識別用パラメータでも、これらの識別は可能である。しかし、入力画像において、顔の画像が含まれている顔画像と、顔画像は含まれていないが、顔に類似する画像を含む非顔画像との差異は、曖昧である。故に、詳細な特徴量を学習する必要が生じるため、パターン識別用パラメータは複雑にならざるを得ない。

そのため、特許文献４に記載のパターン識別装置を用いて、非特許文献１に開示されている特徴量で歩行者を認識しようとした場合、撮像画像から順に切り出された全ての切出画像に対し、歩行者が含まれているか否かをパターン識別用パラメータで識別する必要がある。上述の顔認識と同様に、歩行者と歩行者に類似した非歩行者との曖昧な差異を学習したパターン識別用パラメータは、複雑である。故に、当該パラメータに基づく識別処理は、少ない特徴量で識別可能な切出画像に対しても、多量の特徴量で識別するため、処理が長く冗長なものとなる。以上により、撮像画像から歩行者等の認識対象物の画像を認識するまでの全体の処理量は、膨大なものとなり得る。

本発明は、上記問題点に鑑みてなされたものであって、その目的は、撮像画像から認識対象物の画像を認識する精度を高く維持したまま、認識のための処理を高速で行うことができる画像認識装置、及び当該画像認識装置を備える車両用表示装置を提供することである。

上記目的を達成するために、請求項１に記載の発明では、撮像手段によって生成される撮像画像を取得する画像取得手段と、画像取得手段によって取得された撮像画像から、予め設定されたサイズの切出画像を順に切り出す切出手段と、切出手段によって切り出された複数の切出画像について、学習の基準となる第一サンプル画像群から作成された第一学習モデルに基づいて、予め設定された認識対象物を表す画像が含まれている可能性があるか否かを識別する第一識別手段と、第一識別手段によって認識対象物の画像が含まれている可能性があると識別された切出画像について、学習の基準となる第二サンプル画像群から作成された第二学習モデルに基づいて、認識対象物の画像が含まれているか否かを識別する第二識別手段と、第二識別手段によって認識対象物の画像を含むと識別された切出画像の撮像画像における位置を、当該認識対象物が写る位置として認識する認識手段と、を備える画像認識装置とする。

一般に、切出手段により撮像画像から順に切り出された各切出画像において、予め設定された認識対象物の画像を含む可能性があるものと、認識対象物とは明白に異なる非認識対象物しか含まないものとの差異は、認識対象物の画像を含むものと、認識対象物に類似する非認識対象物を含むものとの差異よりも明確である。故に、認識対象物を表す画像が切出画像に含まれている可能性があるか否かを識別する第一学習モデルは、認識対象物と当該認識対象物とは明白に異なる非認識対象物とを識別する学習モデルであることにより、高い精度を維持していても、単純に構成され得る。一方で、認識対象物の画像が切出画像に含まれているか否かを識別する第二学習モデルは、認識対象物と当該認識対象物に類似した非認識対象物とを識別する学習モデルであることにより、高い精度を維持するためには、複雑にならざるを得ない。

請求項１に記載の発明によれば、第二識別手段の識別処理の対象となる切出画像は、第一識別手段による識別処理によって、認識対象物の画像を含む可能性のある切出画像に絞り込まれる。この第一識別手段による識別処理において、認識対象物の画像が含まれている可能性があるものと非認識対象物しか含まないことが明白なものとの識別は、高精度に行われる。故に、切出画像が第一識別手段によって絞り込まれても、撮像画像から認識対象物の画像を認識する全体の処理の精度は、高いまま維持され得る。

加えて、単純な第一学習モデルに基づく第一識別手段による識別処理は、複雑な第二学習モデルに基づく第二識別手段による識別処理よりも、高速に処理され得る。故に、第一識別手段による識別処理によって切出画像を絞り込むことにより、冗長な第二識別手段の識別処理の対象となる切出画像が低減される。これらにより、撮像画像から認識対象物の画像を認識するまでの全体の処理は、高速化され得る。

したがって、画像認識装置は、撮像画像から認識対象物の画像を認識する精度を高く維持したまま、認識のための処理を高速で行うことができる。

請求項２に記載の発明では、第一サンプル画像群は、認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び想定物以外の非想定物が写る複数の負例サンプル画像を含み、第一学習モデルは、複数の負例サンプル画像のうち、想定物に類似する非想定物が写る負例サンプル画像を、複数の正例サンプル画像と共に正例として学習することにより作成され、第一識別手段は、第一学習モデルに学習された正例に対応するか否かによって、各切出画像に認識対象物の画像が含まれている可能性があるか否かを識別することを特徴とする。

この発明では、第一サンプル画像群において、認識対象物として想定されている想定物が写る正例サンプル画像と、想定物に類似する非想定物が写る負例サンプル画像との差異は、曖昧である。一方で、複数の負例サンプル画像においては、想定物に類似する非想定物が写るものと、例えば背景等の想定物に類似しない非想定物が写るものとの差異は、明確である。故に、想定物に類似する非想定物が写る負例サンプル画像を、正例サンプル画像と共に正例として学習することにより、第一学習モデルは、第一識別手段による処理の高速化に寄与する、単純な学習モデルになり得る。

また、想定物に類似する非想定物が写る負例サンプル画像も第一学習モデルの正例に含まれていることにより、認識対象物の画像が含まれる切出画像に加えて、認識対象物に類似した物体の画像が含まれる切出画像も、正例に対応し得る。これらの切出画像は、即ち認識対象物の画像が含まれている可能性のある切出画像である。故に、第一識別手段は、正例に対応する切出画像を識別することにより、認識対象物の画像が含まれている可能性のある切出画像を的確に絞り込むことができる。

そして第二識別手段は、第一識別手段によって絞り込まれた切出画像について、認識対象物の画像が含まれているか否かを識別することにより、認識対象物に類似した物体が写る切出画像を除外することができる。以上のようにして、認識対象物の画像が含まれる切出画像は、第一識別手段及び第二識別手段の識別処理によって、精度良く識別される。したがって、画像認識装置は、認識のための処理が高速化されていても、撮像画像から認識対象物の画像を認識する精度を確実に高く維持することができる。

請求項３に記載の発明では、第一サンプル画像群は、認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び想定物以外の非想定物が写る複数の負例サンプル画像を含み、第一学習モデルは、複数の正例サンプル画像から、非想定物に類似する想定物が写る正例サンプル画像を除外した画像群を正例として学習すると共に、複数の負例サンプル画像から、想定物に類似する非想定物が写る負例サンプル画像を除外した画像群を負例として学習することにより作成され、第一識別手段は、第一学習モデルに学習された正例に関連するか否かによって、各切出画像に認識対象物の画像が含まれている可能性があるか否かを識別することを特徴とする。

この発明のように、第一サンプル画像群において、非想定物に類似する想定物の画像と、想定物に類似する非想定物の画像との差異は、曖昧である。故に、非想定物に類似する想定物が写る正例サンプル画像と、想定物に類似する非想定物が写る負例サンプル画像とを、第一サンプル画像群から除外する。このような第一サンプル画像群から第一学習モデルを作成することにより、当該第一学習モデルは、第一識別手段による処理の高速化に寄与する、単純な学習モデルに確実になり得る。

また、想定物に類似する非想定物の画像の写る負例サンプル画像が第一学習モデルの負例から除外されているので、認識対象物の画像が含まれる切出画像に加えて、認識対象物に類似した物体の画像が含まれる切出画像も、正例に関連する切出画像に該当し得る。故に、第一識別手段は、正例に関連する切出画像を識別することにより、認識対象物の画像が含まれている可能性のある切出画像を的確に絞り込むことができる。

そして第二識別手段は、第一識別手段によって絞り込まれた切出画像について、認識対象物の画像が含まれているか否かを識別することにより、認識対象物に類似した物体が写る切出画像を除外することができる。以上のようにして、認識対象物の画像が含まれる切出画像は、第一識別手段及び第二識別手段の識別処理によって、精度良く識別される。したがって、画像認識装置は、認識のための処理が高速化されていても、撮像画像から認識対象物の画像を認識する精度を確実に高く維持することができる。

請求項４に記載の発明では、第一サンプル画像群は、認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び想定物以外の非想定物が写る複数の負例サンプル画像を含み、第一学習モデルは、第一サンプル画像群のうち、複数の正例サンプル画像を正例として学習し、第一識別手段は、第一学習モデルに学習された正例に関連するか否かによって、各切出画像に認識対象物の画像が含まれている可能性があるか否かを識別することを特徴とする。

この発明では、第一学習モデルは、第一サンプル画像群うち、複数の正例サンプル画像を正例として学習している。このような第一学習モデルは、想定物と非想定物との曖昧な差異を学習していないので、第一識別手段による処理の高速化に寄与する、単純な学習モデルに確実になり得る。

以上のような第一学習モデルは、想定物に類似する非想定物の画像の写る負例サンプル画像を負例として学習していない。故に、認識対象物の画像が含まれる切出画像に加えて、認識対象物に類似した物体の画像が含まれる切出画像も、正例に関連する切出画像に該当し得る。故に、第一識別手段は、正例に関連する切出画像を識別することにより、認識対象物の画像が含まれている可能性のある切出画像を的確に絞り込むことができる。

そして第二識別手段は、第一識別手段によって絞り込まれた切出画像について、認識対象物の画像が含まれているか否かを識別することにより、認識対象物に類似した物体が写る切出画像を除外することができる。以上のようにして、認識対象物の画像が含まれる切出画像は、第一識別手段及び第二識別手段の識別処理によって、精度良く識別される。したがって、画像認識装置は、認識のための処理が高速化されていても、撮像画像から認識対象物の画像を認識する精度を確実に高く維持することができる。

請求項５に記載の発明では、第二サンプル画像群は、認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び想定物以外の非想定物が写る複数の負例サンプル画像を含み、第二学習モデルは、複数の正例サンプル画像を正例として学習すると共に、負例サンプル画像を負例として学習することにより作成され、第二識別手段は、第二学習モデルにおいて学習された正例に対応するか否かによって、認識対象物の画像が切出画像に含まれているか否かを識別することを特徴とする。

この発明によれば、第二学習モデルは、想定物が写る複数の正例サンプル画像及び非想定物が写る複数の負例サンプル画像を含む第二サンプル画像群から作成されているので、想定物と非想定物との曖昧な差異について、詳しく学習している。故に、第二識別手段は、第二学習モデルの正例に対応する切出画像を識別することにより、認識対象物の画像が含まれている可能性がある切出画像の中から、認識対象物に類似した物体の画像が含まれる切出画像を的確に除外し得る。以上により、認識対象物の画像が含まれる切出画像は、第一識別手段及び第二識別手段の識別処理によって、精度良く識別される。

請求項６に記載の発明では、第一識別手段は、認識対象物である歩行者の画像が複数の切出画像に含まれている可能性があるか否かを識別し、第二識別手段は、第一識別手段によって歩行者の画像が含まれている可能性があると識別された切出画像について、当該歩行者の画像が含まれているか否かを識別することを特徴とする。

この発明のように、撮像画像に写る歩行者の画像は、歩行者の移動方向及び撮像手段に対する歩行者の相対位置に応じて、形態が様々である。故に、歩行者の画像か否かを正確に識別するためには、学習モデルは、非常に多数のサンプル画像から、歩行者の画像の特徴を学習しなければならなくなる。すると、学習モデルが複雑になることにより、識別処理は、さらに冗長なものとなるおそれがある。

しかし、上述した画像認識装置は、第二識別手段の識別処理の対象となる切出画像を第一識別手段によって絞り込むことにより、撮像画像から認識対象物を認識するための全体の処理量を低減している。故に、第二識別手段によって用いられる第二学習モデルが複雑なモデルになったとしても、画像認識装置は、高い精度を維持したまま、高速に歩行者の認識を行うことができる。以上のように、第一識別手段によって切出画像を絞り込む構成は、認識対象物の画像として歩行者の画像を認識する画像認識装置に特に好適なのである。

請求項７に記載の発明では、車両の周辺領域を撮影する撮像手段によって生成された撮像画像から、当該周辺領域に存在する認識対象物の画像を認識し、当該認識対象物の画像を強調する強調画像を撮像画像に重畳して表示する車両用表示装置であって、撮像手段から撮像画像を取得する、請求項１〜６のいずれか一項に記載の画像認識装置と、撮像画像において、画像認識装置によって認識された認識対象物が写る位置に、強調画像を重畳して表示する表示手段と、を備える車両用表示装置とする。

この発明のように、車両用表示装置では、車両の周辺領域に位置する認識対象物の存在を、車両の操作者に迅速に伝えなければならない。故に、撮像画像から認識対象物の画像を認識する画像認識装置には、認識のための処理の高速化が強く求められる。したがって、単純な第一学習モデルに基づいた第一識別手段の識別処理で切出画像を絞り込むことにより、高速な認識を実現する画像認識装置は、車両用表示装置に用いられて車両の周辺領域の認識対象物を認識する構成として、特に好適なのである。

本発明の第一実施形態によるナイトビュー装置の構成が概略的に示される構成図である。 液晶ディスプレイに表示される前方画像が示される図である。 第一実施形態による第一学習モデルを説明するための図であって、（ａ）は、第一サンプル画像群の詳細を説明するための図であり、（ｂ）は、第一サンプル画像群を学習モデル生成装置に入力することにより第一学習モデルが構築されることを説明するための図である。 第一実施形態による第二学習モデルを説明するための図であって、（ａ）は、第二サンプル画像群の詳細を説明するための図であり、（ｂ）は、第二サンプル画像群を学習モデル生成装置に入力することにより第二学習モデルが構築されることを説明するための図である。 前方画像から歩行者画像を認識する画像認識回路の処理が示されるフローチャートである。 第一識別部による切出画像の絞り込みの有無に起因する、認識のための処理量及び認識率の違いを比較した図である。 第二実施形態による第一学習モデルを説明するための図であって、図３の変形例を示す図である。 第三実施形態による第一学習モデルを説明するための図であって、図３の別の変形例を示す図である。

以下、本発明の第一実施形態を図面に基づいて説明する。図１は、本発明の第一実施形態によるナイトビュー装置１００の構成を概略的に示す構成図である。ナイトビュー装置１００は、車両に搭載され、車両の前方領域に存在する例えば歩行者等の認識対象物の画像（以下、歩行者画像５１）を認識する。そして、ナイトビュー装置１００は、図２に示されるように、歩行者画像５１を強調するための枠画像５３を前方画像５０に重畳して表示する。以下、ナイトビュー装置１００の構成について、図１及び図２に基づいて詳細に説明する。

ナイトビュー装置１００は、近赤外線カメラ１０と接続されている。ナイトビュー装置１００は、近赤外線カメラ１０によって生成された前方画像５０を取得するナイトビュー制御回路１５、及びナイトビュー制御回路１５から出力された前方画像５０を表示する液晶ディスプレイ４０を備えている。

近赤外線カメラ１０は、車両の進行方向を向けて設置されており、車両の周辺領域のうち、特に車両の前方領域を撮影する。近赤外線カメラ１０は、波長が０．７〜２．５マイクロメートル程度の近赤外線を検知することにより、可視光の少ない環境下においても前方領域の様子を撮影することができる。近赤外線カメラ１０が搭載された車両には、例えばヘッドライトモジュールと一体的に構成され、前方領域に向けて近赤外線を投光する近赤外線投光器１１が設置されている。近赤外線カメラ１０は、近赤外線投光器１１と接続されており、前方領域の撮影を開始すると共に、近赤外線投光器１１に投光を開始させる。近赤外線カメラ１０は、前方領域の物体により反射された近赤外線を検知することにより、撮像画像としての前方画像５０を生成する。近赤外線カメラ１０は、生成した前方画像５０を、ナイトビュー制御回路１５に向けて逐次出力する。

ナイトビュー制御回路１５は、近赤外線カメラ１０及び液晶ディスプレイ４０と接続されている。ナイトビュー制御回路１５は、画像認識回路２０及び描画回路３０等によって構成されている。画像認識回路２０及び描画回路３０は、それぞれ制御及び描画のための各種の演算処理を行うプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算処理の作業領域として機能するＲＡＭ等によって構成されている。

画像認識回路２０は、所定のプログラムをプロセッサに実行させることにより、機能ブロックとして画像取得部２１、切出部２３、第一識別部２５、第二識別部２７、及び認識部２９を有する。画像取得部２１は、近赤外線カメラ１０によって生成される前方画像５０を取得し、切出部２３に出力する。

切出部２３は、切出ウィンドウ５５を用いて、予め設定されたサイズの切出画像５６を前方画像５０から順に切り出す。切出部２３は、切出ウィンドウ５５を前方画像５０の水平方向及び鉛直方向に徐々に移動させつつ（図２ 破線の矢印を参照）、当該切出ウィンドウ５５によって囲まれた範囲の画像を切出画像５６として切り出していく。切出ウィンドウ５５が右下まで到達した場合、切出部２３は、切出ウィンドウ５５のサイズを変更し、再び前方画像５０からの切出画像５６の切り出しを行う。尚、前方画像５０において主に空が撮影される領域は、切出ウィンドウ５５の移動範囲から除かれていてもよい。

第一識別部２５は、切出部２３によって切り出された複数の切出画像５６について、第一学習モデル６６に基づいて、歩行者画像５１が含まれている可能性があるか否かを識別する。これにより第一識別部２５は、第二識別部２７による識別処理の対象となる切出画像５６を絞り込む。まず、第一識別部２５は、切り出された各切出画像５６のＨａａｒ−ｌｉｋｅ特徴量を算出する。Ｈａａｒ−ｌｉｋｅ特徴とは、白い矩形領域と黒い矩形領域とが組み合わされたものである（非特許文献１ Ｆｉｇｕｒｅ１参照）。このようなＨａａｒ−ｌｉｋｅ特徴として、様々な形状が規定されている。Ｈａａｒ−ｌｉｋｅ特徴量は、このＨａａｒ−ｌｉｋｅ特徴の白い矩形領域の平均輝度と、黒い矩形領域の平均輝度との差に基づく値である。

第一学習モデル６６には、歩行者画像５１を含む可能性のある画像の識別に有効なＨａａｒ−ｌｉｋｅ特徴の形状、位置、方向、及び識別のための閾値等が学習されている。第一識別部２５は、第一学習モデル６６に基づいて、切出画像５６の特定領域におけるＨａａｒ−ｌｉｋｅ特徴量を算出し、学習された閾値と比較する。第一識別部２５は、第一学習モデル６６に基づいて、Ｈａａｒ−ｌｉｋｅ特徴量に基づく識別を繰り返すことにより、各切出画像５６が第一学習モデル６６に学習された正例に対応するか否かを識別する。これにより第一識別部２５は、正例に対応する切出画像５６に、歩行者画像５１が含まれている可能性があると識別する。

第二識別部２７は、第一識別部２５によって歩行者画像５１が含まれている可能性があると識別された切出画像５６について、第二学習モデル７７に基づいて、歩行者画像５１が含まれているか否かを識別する。これにより第一識別部２５は、歩行者画像５１が含まれている可能性があると識別された切出画像５６の中から、歩行者に類似する物体が写る切出画像５６を除外する。まず、第二識別部２７は、第一識別部２５によって絞り込まれた各切出画像５６のＨａａｒ−ｌｉｋｅ特徴量を算出する。第二学習モデル７７には、歩行者画像５１を含む画像の識別に有効なＨａａｒ−ｌｉｋｅ特徴の形状、位置、方向、及び識別のための閾値等が学習されている。第二識別部２７は、第二学習モデル７７に基づいて、切出画像５６の特定領域におけるＨａａｒ−ｌｉｋｅ特徴量を算出し、学習された閾値と比較する。第二識別部２７は、第二学習モデル７７に基づいて、Ｈａａｒ−ｌｉｋｅ特徴量に基づく判定を繰り返すことにより、各切出画像５６が第二学習モデル７７に学習された正例に対応するか否かを識別する。そして、第二識別部２７は、正例に対応する切出画像５６に、歩行者画像５１が含まれていると識別する。

認識部２９は、第二識別部２７によって歩行者画像５１を含むと識別された切出画像５６の前方画像５０における位置を、前方画像５０において歩行者が写る位置として認識する。第一識別部２５及び第二識別部２７による識別処理が繰り返されることにより、認識部２９は、一つの前方画像５０において、歩行者の写る位置を全て認識することができる。認識部２９は、認識した歩行者画像５１の前方画像５０における位置情報を、描画回路３０に出力する。

描画回路３０は、前方画像５０に歩行者画像５１が認識された場合に、前方画像５０に枠画像５３を重畳する合成処理を行う。具体的に、描画回路３０は、認識部２９から取得した歩行者画像５１の位置情報に基づいて、所定のレイヤに枠画像５３を描画する。そして、描画回路３０は、枠画像５３が歩行者画像５１を囲むように、枠画像５３の描画されたレイヤを、前方画像５０が描画されたレイヤに重畳する。描画回路３０は、枠画像５３が重畳された前方画像５０を、液晶ディスプレイ４０に向けて逐次出力する。尚、画像認識回路２０によって歩行者画像５１が認識されていない場合には、描画回路３０は、枠画像５３の合成処理を行うことなく、前方画像５０を液晶ディスプレイ４０に向けて逐次出力する。

液晶ディスプレイ４０は、表示面に配列された複数の画素を制御することにより、カラー表示が可能なドットマトリクス方式の表示装置である。液晶ディスプレイ４０は、図２に示される正面側を運転席側に向けた状態で、車両室内のインスツルメントパネルの内部に配置されている。液晶ディスプレイ４０は、描画回路３０から逐次取得する前方画像５０を連続的に表示することにより、前方領域の様子を動画により視認者に示すことができる。

次に、第一識別部２５によって用いられる第一学習モデル６６、及び第二識別部２７によって用いられる第二学習モデル７７について、図１〜図４に基づいて、さらに詳細に説明する。

第一学習モデル６６は、歩行者画像５１が切出画像５６に含まれている可能性があるか否かを識別するための学習モデルである。第一学習モデル６６は、学習の基準となる第一サンプル画像群６０を学習モデル生成装置８０によって学習させることにより作成されている。また、第二学習モデル７７は、歩行者画像５１が切出画像５６に含まれているか否かを識別するための学習モデルである。第二学習モデル７７は、学習の基準となる第二サンプル画像群７０を学習モデル生成装置８０によって学習させることにより作成されている。

これら第一サンプル画像群６０及び第二サンプル画像群７０には、認識対象物として想定されている歩行者が写る複数の正例サンプル画像６１，７１と、歩行者以外の車両、標識、及び背景等（以下、非歩行者）が写る複数の負例サンプル画像６３，７３とが含まれている。正例サンプル画像６１，７１には、歩行者が写っていることを明確に判別できる正例サンプル画像６１ａ，７１ａ、及び非歩行者に類似する歩行者が写る正例サンプル画像６１ｂ，７１ｂが含まれている。同様に、負例サンプル画像６３，７３には、歩行者が写っていないことが明確に判別できる負例サンプル画像６３ａ，７３ａ、及び歩行者に類似する非歩行者が写る負例サンプル画像６３ｂ，７３ｂが含まれている。尚、第二サンプル画像群７０は、第一サンプル画像群６０と同じ画像群であっても良く、又は第一サンプル画像群６０とは異なる画像群であってもよい。

学習モデル生成装置８０は、各種の演算処理を行うプロセッサ、当該演算処理に用いられるプログラム等が格納されたハードディスクドライブ等の記憶媒体、及び演算処理の作業領域として機能するＲＡＭ等によって構成されている。第一学習モデル６６及び第二学習モデル７７の作成に際して、学習モデル生成装置８０には、第一サンプル画像群６０又は第二サンプル画像群７０と共に、各サンプル画像について正例なのか負例なのかを示す教師信号が入力される。学習モデル生成装置８０は、入力される各サンプル画像について、Ｈａａｒ−ｌｉｋｅ特徴の形状、位置、及び方向を変えながらその特徴量を算出し、算出結果を蓄積していく。そして学習モデル生成装置８０は、正例を示す教師信号に関連付けられたサンプル画像に共通し、且つ負例を示す教師信号に関連付けられたサンプル画像とは共通しないＨａａｒ−ｌｉｋｅ特徴を、例えばＡｄａＢｏｏｓｔ等のブースティングアルゴリズムを用いて学習する。

第一学習モデル６６の特徴として、複数の負例サンプル画像６３のうち、歩行者に類似する非歩行者が写る負例サンプル画像６３ｂが、複数の正例サンプル画像６１と共に、正例として学習されている。具体的には、歩行者に類似する非歩行者が写る負例サンプル画像６３ｂは、学習モデル生成装置８０に入力される際に、正例であることを示す教師信号と関連付けられる。これにより、第一学習モデル６６に基づく第一識別部２５の識別では、歩行者画像５１が含まれる切出画像５６に加えて、歩行者に類似した物体が写る切出画像５６も、正例に対応する切出画像５６として識別される。歩行者画像５１が含まれる切出画像５６、及び歩行者に類似した物体が写る切出画像５６は、即ち歩行者画像５１が含まれている可能性のある切出画像５６である。故に、第一識別部２５は、上述した第一学習モデル６６に学習された正例に対応する切出画像５６を識別することにより、歩行者画像５１が含まれている可能性のある切出画像５６を的確に絞り込むことができる。

第二学習モデル７７において、複数の正例サンプル画像７１は、正例を示す教師信号に関連付けられている。また、複数の負例サンプル画像７３は、第一学習モデル６６の場合とは異なり、全て負例を示す教師信号と関連付けられている。故に、第二学習モデル７７に基づく第二識別部２７の識別では、歩行者に類似した物体が写る切出画像５６が除外されることにより、正例に対応する歩行者画像５１が含まれる切出画像５６が識別される。

第一学習モデル６６と第二学習モデル７７とを比較した場合、第二学習モデル７７の方が、以下の理由により、識別のためのＨａａｒ−ｌｉｋｅ特徴の探索回数が多く、複雑な学習モデルになる。その理由とは、非歩行者に類似する歩行者が写る画像と、歩行者に類似する非歩行者が写る画像との差異が曖昧であることにより、これらの画像を識別することは困難である。一方で、歩行者が含まれている可能性のある画像と、それ以外の例えば歩行者とは明白に異なる非方向者しか含まない背景のみの画像との差異は、比較的明確である。故に、識別は容易である。以上の理由により、歩行者に類似する非歩行者の画像が写る負例サンプル画像６３ｂを、正例として学習する第一学習モデル６６は、歩行者と歩行者とは明白に異なる非歩行者とを識別する学習モデルである。故に、第一学習モデル６６は、高い精度を維持していても、第一識別部２５による識別処理の高速化に寄与する、単純に構成され得る。一方で、非歩行者に類似する歩行者が写る画像と、歩行者に類似する非歩行者が写る画像とを識別するための第二学習モデル７７は、歩行者と歩行者に類似した非歩行者とを識別する学習モデルであることにより、高い精度を維持するためには、複雑にならざるを得ない。

ここまで説明したナイトビュー装置１００が、枠画像５３の重畳された前方画像５０を液晶ディスプレイ４０に表示する処理を、図５に基づいて詳しく説明する。以下説明する処理は、ナイトビュー装置１００の作動を開始及び停止させるためのスイッチがユーザによって操作されることにより、画像認識回路２０によって実施される。画像認識回路２０による処理は、ユーザの操作に基づいてナイトビュー装置１００の作動が停止されるまで、繰り返される。

Ｓ１０１では、近赤外線カメラ１０から前方画像５０を取得し、Ｓ１０２に進む。Ｓ１０２では、Ｓ１０１にて取得した前方画像５０から、切出ウィンドウ５５を用いて、切出画像５６を切り出し、Ｓ１０３に進む。

Ｓ１０３では、Ｓ１０２にて切り出した切出画像５６について、第一学習モデル６６に基づいて、歩行者画像５１を含んでいる可能性があるか否かを識別する。Ｓ１０３において、歩行者画像５１を含んでいる可能性がないと識別した場合、Ｓ１０６に進む。一方、Ｓ１０３において、歩行者画像５１を含んでいる可能性があると識別した場合、Ｓ１０４に進む。

Ｓ１０４では、Ｓ１０３にて歩行者画像５１を含んでいる可能性があると識別された切出画像５６について、第二学習モデル７７に基づいて、歩行者を含んでいるか否かを識別する。Ｓ１０４において、歩行者画像５１を含んでいないと識別した場合、Ｓ１０６に進む。一方、Ｓ１０４において、歩行者画像５１を含んでいると識別した場合、Ｓ１０５に進む。

Ｓ１０５では、Ｓ１０２において切出画像５６が切り出された位置を、前方画像５０において歩行者が写る位置として認識し、Ｓ１０６に進む。Ｓ１０６では、Ｓ１０１において取得した前方画像５０から切り出される全ての切出画像５６について、識別処理が終了したか否かを識別する。Ｓ１０６において、全ての切出画像５６についての識別処理が終了していないと識別した場合、Ｓ１０２に戻り、次の切出画像５６について、Ｓ１０３〜Ｓ１０５の処理を実施する。Ｓ１０６において、全ての切出画像５６についての識別処理が終了したと識別した場合、Ｓ１０７に進む。

Ｓ１０７では、Ｓ１０５において認識した歩行者画像５１の前方画像５０における位置情報を描画回路３０に出力し、Ｓ１０１に戻る。そして、次に取得される前方画像５０について、Ｓ１０２〜Ｓ１０６の歩行者を認識するための処理を実施する。Ｓ１０７によって出力された歩行者画像５１の位置情報を取得した描画回路３０は、当該位置情報に従って、枠画像５３を前方画像５０に重畳する。そして描画回路３０は、枠画像５３を重畳した前方画像５０を液晶ディスプレイ４０に連続的に出力する。これにより、液晶ディスプレイ４０には、前方領域の様子が動画として映し出される。

ここまで説明した第一実施形態では、第二識別部２７の識別処理の対象となる切出画像５６は、第一識別部２５による識別処理によって、歩行者画像５１が含まれている可能性のある切出画像５６に絞り込まれる。この第一識別部２５による識別処理では、差異の明確な画像の識別を行っているので、歩行者画像５１が含まれている可能性があるものと、非歩行者の画像しか含まないことが明白なものとの識別は、高精度に行われる。故に、切出画像５６が第一識別部２５によって絞り込まれても、前方画像５０から歩行者画像５１を認識する全体の処理の精度は、高いまま維持され得る。

加えて、単純な第一学習モデル６６に基づく第一識別部２５による識別処理は、複雑な第二学習モデル７７に基づく第二識別部２７による識別処理よりも、高速に処理され得る。故に、第一識別部２５による識別処理によって切出画像５６を絞り込むことにより、冗長な第二識別部２７の識別処理の対象となる切出画像５６が低減される。これらにより、第一識別部２５及び第二識別部２７によって一部の切出画像５６に対して重複する識別処理が行われたとしても、前方画像５０から歩行者画像５１を認識するまでの全体の処理は、高速化され得る。

第一実施形態のように切出画像５６を絞り込む場合と、第一識別部２５によって切出画像５６を絞り込むことなく、全ての切出画像５６を第二識別部２７の識別処理の対象とする場合との比較結果が、図６に示されている。第一識別部２５によって切出画像５６を絞り込むことにより、第一識別部２５及び第二識別部２７によってＨａａｒ−ｌｉｋｅ特徴が探索される回数は、約７５パーセント低減される。加えて、認識率は、高いまま維持されている。

したがって、ナイトビュー装置１００の備える画像認識回路２０は、前方画像５０から歩行者画像５１を認識する精度を高く維持したまま、認識のための処理を高速で行うことができる。

加えて第一実施形態の第一学習モデル６６は、歩行者に類似する非歩行者の画像が写る負例サンプル画像６３ｂを正例として学習している。故に、第一学習モデル６６に基づいて識別処理を実施する第一識別部２５は、正例に対応する切出画像５６を識別することにより、歩行者画像５１が含まれている可能性のある切出画像５６を的確に絞り込むことができる。

さらに第二学習モデル７７は、非歩行者に類似する歩行者が写る正例サンプル画像７１ｂを正例として学習し、且つ歩行者に類似する非歩行者が写る負例サンプル画像７３ｂを負例として学習している。故に、第二学習モデル７７は、歩行者と非歩行者との曖昧な差異について、詳しく学習している。以上により、第二識別部２７は、第二学習モデル７７の正例に対応する切出画像５６を識別することにより、歩行者画像５１が含まれている可能性がある切出画像５６の中から、歩行者に類似した物体が写る切出画像５６を的確に除外し得る。したがって、画像認識回路２０は、認識のための処理が高速化されていても、前方画像５０から歩行者画像５１を認識する精度を確実に高く維持することができる。

また第一実施形態では、前方画像５０に含まれる歩行者画像５１は、実際の歩行者の移動方向及び近赤外線カメラ１０に対する歩行者の相対位置等に応じて、形態が様々である。故に、歩行者画像５１か否かを正確に識別するためには、学習モデルは、非常に多数のサンプル画像から、歩行者画像５１の特徴を学習しなければならなくなる。すると、学習モデルが複雑になることにより、識別処理は、さらに冗長なものとなるおそれがある。

しかし、第一実施形態の画像認識回路２０は、第二識別部２７の識別処理の対象となる切出画像５６を第一識別部２５によって絞り込むことにより、前方画像５０から歩行者画像５１を認識するための全体の処理量を低減している。故に、第二識別部２７によって用いられる第二学習モデル７７が複雑になったとしても、画像認識回路２０は、高い精度を維持したまま、高速に歩行者画像５１の認識を行うことができる。以上のように、第一識別部２５によって切出画像５６を絞り込む構成は、認識対象物の画像として歩行者画像５１を認識する画像認識回路２０に特に好適なのである。

さらに第一実施形態のようなナイトビュー装置１００は、車両の周辺領域に位置する歩行者の存在を、車両の操作者に迅速に伝えなければならない。故に、前方画像５０から歩行者画像５１を認識する画像認識回路２０には、認識のための処理の高速化が強く求められる。したがって、単純な第一学習モデル６６に基づいた第一識別部２５の識別処理で切出画像５６を絞り込むことにより、高速な認識を実現する画像認識回路２０は、ナイトビュー装置１００に用いられて車両の周辺領域の歩行者を認識する構成として、特に好適なのである。

尚、第一実施形態において、近赤外線カメラ１０が特許請求の範囲に記載の「撮像手段」に相当し、画像認識回路２０が特許請求の範囲に記載の「画像認識装置」に相当し、画像取得部２１が特許請求の範囲に記載の「画像取得手段」に相当し、切出部２３が特許請求の範囲に記載の「切出手段」に相当し、第一識別部２５が特許請求の範囲に記載の「第一識別手段」に相当し、第二識別部２７が特許請求の範囲に記載の「第二識別手段」に相当し、認識部２９が特許請求の範囲に記載の「認識手段」に相当し、描画回路３０及び液晶ディスプレイ４０が特許請求の範囲に記載の「表示手段」に相当し、前方画像５０が特許請求の範囲に記載の「撮像画像」に相当し、歩行者画像５１が特許請求の範囲に記載の「認識対象物の画像」及び「想定物の画像」に相当し、枠画像５３が特許請求の範囲に記載の「強調画像」に相当し、歩行者が特許請求の範囲に記載の「認識対象物」及び「想定物」に相当し、ナイトビュー装置１００が特許請求の範囲に記載の「車両用表示装置」に相当する。

（第二実施形態）
本発明の第二実施形態は、第一実施形態の変形例である。この第二実施形態において、第一識別部２５は、第一実施形態で用いた第一学習モデル６６に換えて、第一学習モデル２６６に基づいて、識別処理を実施する。以下、図７、図１、図２に基づいて、第二実施形態において用いられる第一学習モデル２６６、及び第一学習モデル２６６に基づく第一識別部２５の識別処理について詳細に説明する。

第一学習モデル２６６を作成するに際して、学習モデル生成装置８０には、正例を示す教師信号に関連付けられた正例サンプル画像６１ａと、負例を示す教師信号に関連付けられた負例サンプル画像６３ａとが入力される（図７（ｂ）参照）。詳しく説明すると、第一学習モデル２６６は、第一サンプル画像群６０に含まれる複数の正例サンプル画像６１から、非歩行者に類似する歩行者が写る正例サンプル画像６１ｂを除外した画像群を正例として学習している。加えて第一学習モデル２６６は、複数の負例サンプル画像６３から、歩行者に類似する非歩行者が写る負例サンプル画像６３ｂを除外した画像群を負例として学習している。

上述したように、非歩行者に類似する歩行者が写る画像と、歩行者に類似する非歩行者が写る画像との差異は、曖昧である。故に、非歩行者に類似する歩行者が写る正例サンプル画像６１ｂ及び歩行者に類似する非歩行者が写る負例サンプル画像６３ｂを第一サンプル画像群６０から除外することで、第一学習モデル２６６は、これらの曖昧な差異を詳細には学習しない。そのため、第一学習モデル２６６は、第一識別部２５による処理の高速化に寄与する、単純な学習モデルに確実になり得る。

第二実施形態では、第一識別部２５は、第一学習モデル２６６に学習された正例に関連するか否かによって、各切出画像５６に歩行者画像５１が含まれている可能性があるか否かを識別する。歩行者に類似する非歩行者の負例サンプル画像６３ｂが負例から除外されていることにより、歩行者画像５１が含まれる切出画像５６に加えて、歩行者に類似した物体の画像が含まれる切出画像５６も、正例に関連する切出画像５６に該当し得る。故に、第一識別部２５は、第一学習モデル２６６の正例に関連する切出画像５６を識別することにより、歩行者画像５１が含まれている可能性のある切出画像５６を高速且つ的確に絞り込むことができる。

そして第一識別部２５によって絞り込まれた切出画像５６から、第二識別部２７は、歩行者画像５１が含まれているか否かを識別することにより、歩行者に類似した物体の画像を含む切出画像５６を除外する。以上のように、歩行者画像５１が含まれる切出画像５６は、第一識別部２５及び第二識別部２７の識別処理によって、精度良く識別される。したがって、画像認識回路２０は、第二実施形態による第一学習モデル２６６を用いても、認識のための処理を高速化しつつ、前方画像５０から歩行者画像５１を認識する精度を確実に高く維持することができる。

（第三実施形態）
本発明の第三実施形態は、第一実施形態の別の変形例である。この第三実施形態において、第一識別部２５は、第一実施形態で用いた第一学習モデル６６に換えて、第一学習モデル３６６に基づいて、識別処理を実施する。以下、図８、図１、図２に基づいて、第三実施形態において用いられる第一学習モデル３６６、及び当該第一学習モデル３６６に基づく第一識別部２５の識別処理について詳細に説明する。

第一学習モデル３６６を作成するに際して、学習モデル生成装置８０には、第一サンプル画像群６０のうち、複数の正例サンプル画像６１のみが、正例を示す教師信号に関連付けられて入力される（図８（ｂ）参照）。この第一学習モデル３６６は、正例サンプル画像６１のみを学習し、負例サンプル画像６３を学習していない。このように正例サンプル画像６１に基づいて構築された第一学習モデル３６６は、歩行者と非歩行者との間の曖昧な差異を詳細には学習していない。故に、第一学習モデル３６６は、第一識別部２５による処理の高速化に寄与する、単純な学習モデルに確実になり得る。

第三実施形態の第一識別部２５は、第一学習モデル３６６に学習された正例に関連するか否かによって、各切出画像５６に歩行者画像５１が含まれている可能性があるか否かを識別する。非歩行者の写る負例サンプル画像６３を第一学習モデル３６６が負例として学習していないので、歩行者画像５１が含まれる切出画像５６に加えて、歩行者に類似した物体の画像が含まれる切出画像５６も、正例に関連する切出画像５６に該当し得る。故に、第一識別部２５は、第一学習モデル３６６の正例に関連する切出画像５６を識別することにより、歩行者画像５１が含まれている可能性のある切出画像５６を高速且つ的確に絞り込むことができる。

そして第一識別部２５によって絞り込まれた切出画像５６から、第二識別部２７は、歩行者画像５１が含まれているか否かを識別することにより、歩行者に類似した物体の画像を含む切出画像５６を除外する。以上のように、歩行者画像５１が含まれる切出画像５６は、第一識別部２５及び第二識別部２７の識別処理によって、精度良く識別される。したがって、画像認識回路２０は、第三実施形態による第一学習モデル３６６を用いても、認識のための処理を高速化しつつ、前方画像５０から歩行者画像５１を認識する精度を確実に高く維持することができる。

（他の実施形態）
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記第一実施形態において、第一学習モデル６６は、歩行者に類似する非歩行者が写る負例サンプル画像６３ｂを正例として学習することにより、単純な学習モデルとして構築されていた。また上記第二実施形態において、第一学習モデル２６６は、非歩行者に類似する歩行者が写る正例サンプル画像６１ｂ及び歩行者に類似する非歩行者が写る負例サンプル画像６３ｂを第一サンプル画像群６０から除外することにより、単純な学習モデルとして構築されていた。しかし、単純な学習モデルとして構築することができれば、第一学習モデルを構築する方法は、上記実施形態の方法に限定されない。例えば、第一学習モデルは、複数の正例サンプル画像６１のうち、非歩行者に類似する歩行者が写る正例サンプル画像６１ｂを、複数の負例サンプル画像６３と共に、負例として学習していてもよい。このような第一学習モデルは、歩行者と非歩行者との間の曖昧な差異を詳細に学習しないので、第一識別部２５による処理の高速化に寄与する、単純な学習モデルになり得る。このような第一学習モデルを用いる場合、第一識別部は、正例と識別するための閾値を低く設定することにより、歩行者画像５１が含まれている可能性のある切出画像５６を的確に絞り込むことができる。

上記実施形態において、学習モデル生成装置８０が歩行者画像５１の特徴を学習する際、及び画像認識回路２０が歩行者画像５１を認識する際に、Ｈａａｒ−ｌｉｋｅ特徴量が用いられていた。しかし、画像認識のための特徴量として、Ｈａａｒ−ｌｉｋｅ特徴量以外の特徴量が用いられていてもよい。例えば、正例サンプル画像の輝度分布や、正例サンプル画像をウェーブレット変換した場合の出現頻度の高いウェーブレット係数が、学習及び識別のための特徴量として用いられていてもよい。又は、隣り合う画素間の輝度勾配を算出するＨｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量、Ｊｏｉｎｔ ＨＯＧ特徴量、及びＪｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴量等が、学習及び識別のための特徴量として用いられていてもよい。

上記実施形態において、学習モデル生成装置８０によるＨａａｒ−ｌｉｋｅ特徴量の学習には、ＡｄａＢｏｏｓｔが用いられていた。しかし、特徴量の学習手法は、ＡｄａＢｏｏｓｔに限定されない。例えば、特徴量として輝度分布及びウェーブレット係数を学習する場合、学習モデル生成装置８０は、学習手法としてニューラルネットワーク及びＳＶＭ等を用いることができる。また、特徴量としてＨＯＧ特徴量、Ｊｏｉｎｔ ＨＯＧ特徴量、及びＪｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴量を学習する場合、学習モデル生成装置８０は、学習手法としてＲｅａｌ ＡｄａＢｏｏｓｔ等を用いることができる。

上記実施形態において、第一学習モデル６６及び第二学習モデル７７が構築される際には、共にＨａａｒ−ｌｉｋｅ特徴量が用いられていた。しかし、第一学習モデルを構築する際に用いられる特徴量と、第二学習モデルを構築する際に用いられる特徴量とが異なっていてもよい。例えば、切出画像５６を絞り込むための第一学習モデルの構築には、学習モデルの単純化が比較的容易な、Ｈａａｒ−ｌｉｋｅ特徴量を用いる。一方、歩行者と非歩行者とを識別するための第二学習モデル７７の構築には、学習モデルが複雑になるものの、高い識別精度が期待できる、Ｊｏｉｎｔ ＨＯＧ特徴量を用いる。以上のようにして第一学習モデル及び第二学習モデルを構築することにより、前方画像から歩行者画像を認識する処理は、さらに高速化及び高精度化することができる。尚、学習モデルを構築した際の特徴量と、その学習モデルに基づいて識別処理をする際に識別部が用いる特徴量とは、対応していなければならない。故に、第一学習モデルがＨａａｒ−ｌｉｋｅ特徴量を用いて構築されている場合、第一識別部は、切出画像のＨａａｒ−ｌｉｋｅ特徴量に基づいて、識別処理を実施する。また、第二学習モデルがＪｏｉｎｔ ＨＯＧ特徴量を用いて構築されている場合、第二識別部は、切出画像のＪｏｉｎｔ ＨＯＧ特徴量に基づいて、識別処理を実施する。以上のように、学習モデルを構築する際の特徴量と、各識別部による識別処理の際の特徴量とが対応していれば、画像認識回路は、画像認識のための種々の特徴量を用いることができる。

上記実施形態では、前方画像５０を撮像するための撮像手段として、近赤外線カメラ１０が用いられていた。しかし、前方画像５０を撮像することができれば、撮像手段は、近赤外線カメラ１０に限定されない。撮像手段は、例えば可視光線を検知し画像を生成する可視光カメラや、遠赤外線を検知して画像を生成する遠赤外線カメラであってもよい。また、上記実施形態のナイトビュー装置１００は、近赤外線カメラ１０から前方画像５０を取得する構成であった。しかし、ナイトビュー装置が、撮像手段を備えていてもよい。

上記実施形態では、画像認識回路２０及び描画回路３０が、それぞれプロセッサ等を備える回路として構成されていた。しかし、ナイトビュー制御回路が、プログラムの実行によって、画像認識回路２０及び描画回路３０に相当する機能ブロックを有する構成であってもよい。また、画像認識回路２０に含まれる各機能ブロック２１，２３，２５，２７，２９は、それぞれ独立した回路として構成されていてもよい。さらに、プログラムの実行によらないアナログ回路が、各機能ブロックに相当する構成として、ナイトビュー制御回路に形成されていてもよい。

上記実施形態において、ナイトビュー装置１００は、液晶ディスプレイ４０に、枠画像５３の重畳された前方画像５０を表示していた。しかし、ナイトビュー装置の有する表示手段は、液晶ディスプレイ４０に限定されない。例えば、車両のウィンドスクリーンに枠画像５３の重畳された前方画像５０を投影するヘッドアップディスプレイ装置が、ナイトビュー装置の表示手段であってもよい。又は、ナイトビュー装置の表示手段は、例えばナビゲーションシステムの備える液晶ディスプレイに向けて、前方画像５０の信号を出力する出力部であってもよい。

上記実施形態において、ナイトビュー装置１００は、前方領域を撮影する近赤外線カメラ１０から前方画像５０を取得していた。しかし、ナイトビュー装置は、車両の前方領域に限らず、車両の後方領域又は側方領域の画像から、歩行者等の認識対象物の画像を認識してもよい。また、上記実施形態では、画像認識回路２０は、認識対象物として歩行者を認識していた。しかし、画像認識回路２０によって認識される認識対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が認識対象物として予め設定されていてもよい。

さらに、本発明は、車両用のナイトビュー装置１００に限らず、認識対象物を認識するための画像認識装置全般に適用することができる。例えば、画像認識装置は、マンションのエレベータホールや商店等に設置される監視カメラと接続さて、認識対象物として人物を認識する監視装置の一部として用いられてもよい。

１０ 近赤外線カメラ（撮像手段）、１１ 近赤外線投光器、１５ ナイトビュー制御回路、２０ 画像認識回路（画像認識装置）、２１ 画像取得部（画像取得手段）、２３ 切出部（切出手段）、２５ 第一識別部（第一識別手段）、２７ 第二識別部（第二識別手段）、２９ 認識部（認識手段）、３０ 描画回路（表示手段）、４０ 液晶ディスプレイ（表示手段）、５０ 前方画像（撮像画像）、５１ 歩行者画像（認識対象物の画像）、５３ 枠画像（強調画像）、５５ 切出ウィンドウ、５６ 切出画像、６０ 第一サンプル画像群、７０ 第二サンプル画像群、６１，６１ａ，６１ｂ，７１，７１ａ，７１ｂ 正例サンプル画像、６３，６３ａ，６３ｂ，７３，７３ａ，７３ｂ 負例サンプル画像、６６，２６６，３６６ 第一学習モデル、７７ 第二学習モデル、８０ 学習モデル生成装置、１００ ナイトビュー装置（車両用表示装置）

Claims (7)

1. 撮像手段によって生成される撮像画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記撮像画像から、予め設定されたサイズの切出画像を順に切り出す切出手段と、
   前記切出手段によって切り出された複数の前記切出画像について、学習の基準となる第一サンプル画像群から作成された第一学習モデルに基づいて、予め設定された認識対象物を表す画像が含まれている可能性があるか否かを識別する第一識別手段と、
   前記第一識別手段によって前記認識対象物の画像が含まれている可能性があると識別された前記切出画像について、学習の基準となる第二サンプル画像群から作成された第二学習モデルに基づいて、前記認識対象物の画像が含まれているか否かを識別する第二識別手段と、
   前記第二識別手段によって前記認識対象物の画像を含むと識別された前記切出画像の前記撮像画像における位置を、当該認識対象物が写る位置として認識する認識手段と、
   を備えることを特徴とする画像認識装置。
2. 前記第一サンプル画像群は、前記認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び前記想定物以外の非想定物が写る複数の負例サンプル画像を含み、
   前記第一学習モデルは、前記複数の負例サンプル画像のうち、前記想定物に類似する前記非想定物が写る前記負例サンプル画像を、前記複数の正例サンプル画像と共に正例として学習することにより作成され、
   前記第一識別手段は、前記第一学習モデルに学習された前記正例に対応するか否かによって、各前記切出画像に前記認識対象物の画像が含まれている可能性があるか否かを識別することを特徴とする請求項１に記載の画像認識装置。
3. 前記第一サンプル画像群は、前記認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び前記想定物以外の非想定物が写る複数の負例サンプル画像を含み、
   前記第一学習モデルは、前記複数の正例サンプル画像から、前記非想定物に類似する前記想定物が写る前記正例サンプル画像を除外した画像群を正例として学習すると共に、前記複数の負例サンプル画像から、前記想定物に類似する前記非想定物が写る前記負例サンプル画像を除外した画像群を負例として学習することにより作成され、
   前記第一識別手段は、前記第一学習モデルに学習された前記正例に関連するか否かによって、各前記切出画像に前記認識対象物の画像が含まれている可能性があるか否かを識別することを特徴とする請求項１に記載の画像認識装置。
4. 前記第一サンプル画像群は、前記認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び前記想定物以外の非想定物が写る複数の負例サンプル画像を含み、
   前記第一学習モデルは、前記第一サンプル画像群のうち、前記複数の正例サンプル画像を正例として学習し、
   前記第一識別手段は、前記第一学習モデルに学習された前記正例に関連するか否かによって、各前記切出画像に前記認識対象物の画像が含まれている可能性があるか否かを識別することを特徴とする請求項１に記載の画像認識装置。
5. 前記第二サンプル画像群は、前記認識対象物として想定されている想定物が写る複数の正例サンプル画像、及び前記想定物以外の非想定物が写る複数の負例サンプル画像を含み、
   前記第二学習モデルは、前記複数の正例サンプル画像を正例として学習すると共に、前記負例サンプル画像を負例として学習することにより作成され、
   前記第二識別手段は、前記第二学習モデルにおいて学習された前記正例に対応するか否かによって、前記認識対象物の画像が前記切出画像に含まれているか否かを識別することを特徴とする請求項１〜４のいずれか一項に記載の画像認識装置。
6. 前記第一識別手段は、前記認識対象物である歩行者の画像が前記複数の切出画像に含まれている可能性があるか否かを識別し、
   前記第二識別手段は、前記第一識別手段によって前記歩行者の画像が含まれている可能性があると識別された前記切出画像について、当該歩行者の画像が含まれているか否かを識別することを特徴とする請求項１〜５のいずれか一項に記載の画像認識装置。
7. 車両の周辺領域を撮影する前記撮像手段によって生成された前記撮像画像から、当該周辺領域に存在する前記認識対象物の画像を認識し、当該認識対象物の画像を強調する強調画像を前記撮像画像に重畳して表示する車両用表示装置であって、
   前記撮像手段から前記撮像画像を取得する、請求項１〜６のいずれか一項に記載の画像認識装置と、
   前記撮像画像において、前記画像認識装置によって認識された前記認識対象物が写る位置に、前記強調画像を重畳して表示する表示手段と、
   を備えることを特徴とする車両用表示装置。