JP2002032766A

JP2002032766A - 画像認識装置及びその方法

Info

Publication number: JP2002032766A
Application number: JP2000216946A
Authority: JP
Inventors: Megumi Yamaoka; めぐみ山岡; Kenji Nagao; 健司長尾
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-07-18
Filing date: 2000-07-18
Publication date: 2002-01-31

Abstract

(57)【要約】【課題】モデル画像を用いて入力画像から特定の形状
の物体を認識する際、検出対象の形状をしているがモデ
ル画像にない物体も認識することを目的とする。【解決手段】検出対象の形状を表す形状識別子とその
形状を持つ物体の画像をモデル画像として予め登録する
画像データベース１と、各形状ごとにモデル画像から形
状特徴を抽出するモデル生成手段２と、形状特徴と形状
識別子を対にして予め格納する形状情報データベース３
と、物体を検出する画像を入力する画像入力部４と、入
力画像を部分画像として切り出す画像切り出し部５と、
部分画像と形状特徴とを照合し、検出対象の形状がある
かを判定する形状分類手段６と、形状を表す情報とその
形状の入力画像中の位置情報を出力する出力部７とを備
えることにより、入力画像から特定の形状とその位置を
高精度に検出して出力することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特定の形状の物体
を撮影した多数のモデル画像から予め検出対象となる形
状特徴を抽出し、入力画像から抽出した特徴と、モデル
の特徴とを照合することにより、入力画像から特定の形
状の物体を検出し、その位置や形状を出力する画像認識
装置及びその方法に関するものである。

【０００２】

【従来の技術】従来の画像認識装置は、特開平６−２１
５１４０号公報に記載されたものなどが知られている。

【０００３】図１７は、従来の画像認識装置のブロック
構成を示しており、画像を表示する表示装置１０１と、
全体動作を制御する主制御部１０２と、動作プログラム
等を格納する内部メモリ１０３と、参照パターンなどを
格納するディスク１０４と、サンプルや識別対象物など
の製品を撮影するテレビカメラ１０５と、テレビカメラ
１０５で撮影した製品の映像をデジタル画像情報に変換
する画像入力部１０６と、デジタル画像情報に変換され
た濃淡画像を各カテゴリー毎に製品の向きを一定方向に
向ける位置決め処理を行う画像回転部１０７と、回転画
像をある一定の割合でサンプリングしサブサンプリング
画像の濃淡値を特徴として抽出する画像情報抽出部１０
８と、得られた特徴から各カテゴリー毎の平均ベクトル
を算出する平均ベクトル算出部１０９ａを具備し平均ベ
クトルからなる辞書(参照パターン)を作成する辞書作成
部１０９と、カテゴリーの不明な識別対象物のベクトル
を求めこのベクトルとの距離が最も近い平均ベクトルを
辞書作成部１０９の平均ベクトルから抽出するベクトル
距離比較部１１０ａを具備し未知の識別対象物を識別す
る識別部１１０と、識別対象物毎に画像入力部１０６、
画像回転部１０７、画素情報抽出部１０８、識別部１１
０のパラメータを最適化するパラメータ設定部１１１か
ら構成されている。

【０００４】

【発明が解決しようとする課題】このような従来の画像
認識装置は、物体をその形状で認識し形状分類しようと
したときに、同じ形状で濃淡値の大きく異なる物体の画
像を全て１つのカテゴリーに属するものとすると認識が
困難になり、濃淡値の似た画像で１つのカテゴリーを作
成する必要があるために、カテゴリー数が多くなり処理
時間がかかるという課題を有していた。

【０００５】本発明は、上記従来の課題を解決するもの
で、同じ形状で濃淡値の大きくことなる物体の画像を１
つのカテゴリーとし、画像中の物体の形状を高速に認識
しその位置を出力することを目的とする。

【０００６】

【課題を解決するための手段】この課題を解決するため
に、検出対象の形状を表す形状識別子とその形状を持つ
物体の画像をモデル画像として予め登録しておく画像デ
ータベースと、各形状ごとに前記モデル画像から形状特
徴を予め抽出しておくモデル生成手段と、前記形状特徴
と前記形状識別子を対にして予め格納しておく形状情報
データベースと、物体を検出する画像を入力する画像入
力部と、入力画像の一部を部分画像として切り出す画像
切り出し部と、前記部分画像を前記形状特徴と照合する
ことによって前記部分画像内に検出対象の形状があるか
どうかを判定する形状分類手段と、前記入力画像内に検
出対象の形状と一致するものがある場合にはその形状を
表す情報とその形状の入力画像中の位置を表す情報を出
力する出力部を備えたものである。

【０００７】これにより、本発明は、予め多数のモデル
画像から共通の形状特徴を抽出しておき、形状特徴を入
力画像と照合することにより、少ないデータ量で入力画
像内の物体の有無を高速に検出し、位置と検出した形状
を出力することができる。

【０００８】

【発明の実施の形態】本発明の請求項１に記載の発明
は、画像から特定の形状の物体を検出する装置におい
て、検出対象の形状を表す形状識別子とその形状を持つ
物体の画像をモデル画像として予め登録しておく画像デ
ータベースと、各形状ごとに前記モデル画像から形状特
徴を予め抽出しておくモデル生成手段と、前記形状特徴
と前記形状識別子を対にして予め格納しておく形状情報
データベースと、物体を検出する画像を入力する画像入
力部と、入力画像の一部を部分画像として切り出す画像
切り出し部と、前記部分画像と前記形状特徴とを照合
し、前記部分画像内に検出対象の形状があるか否かを判
定する形状分類手段と、前記検出された検出対象の形状
を表す情報とその形状の入力画像中の位置を表す情報を
出力する出力部とを備えるもので、多数のモデル画像を
代表する形状特徴を抽出し、入力画像を形状特徴と比較
することによって、少ないデータ量で入力画像から高速
に形状を検出しその位置を出力する作用を有する。

【０００９】請求項２に記載の発明は、請求項１に記載
の画像認識装置において、モデル生成手段は、各形状ご
とにその形状に属する前記モデル画像の平均画像と前記
モデル画像の各画素の分散を形状特徴として抽出し、、
形状ごとに平均画像と分散と形状識別子とを対にして形
状情報データーベースに格納するもので、入力画像の形
状とモデルの形状との照合が高精度にできるという作用
を有す。

【００１０】請求項３に記載の発明は、画像から特定の
形状の物体を検出する装置において、検出対象の形状を
表す形状識別子とその形状を持つ物体の画像をモデル画
像として予め登録しておく画像データベースと、前記全
てのモデル画像の画素値から特徴空間の基底ベクトルを
算出し、前記全てのモデル画像を特徴空間内にモデル画
像ベクトルとして射影し、前記形状識別子を付与した各
モデル画像ベクトルと、前記モデル画像ベクトルから形
状ごとに特徴的な統計量を形状特徴パラメタとして算出
し、前記形状識別子を付与するモデル生成手段と、前記
モデル生成手段からの基底ベクトルと形状特徴パラメタ
を前記形状識別子とともに登録しておく形状情報データ
ベースと、物体を検出する画像を入力する画像入力部
と、入力画像の一部を部分画像として切り出す画像切り
出し部と、前記基底ベクトルを用いて前記部分画像を前
記特徴空間に射影して部分画像ベクトルを求め、前記形
状特徴パラメタを用いて前記部分画像ベクトルをモデル
と照合して前記部分画像内に検出対象の形状があるかど
うかを判定する形状分類手段と、前記入力画像内に検出
対象の形状と一致するものがある場合にはその形状を表
す情報とその形状の入力画像中の位置を表す情報を出力
する出力部とを備えるもので、特徴空間内で入力画像と
モデル形状を照合することによって、効率の良い検出が
行え、処理速度が早いという作用を有する。

【００１１】請求項４記載の発明は、請求項３記載の画
像認識装置において、モデル生成手段の各形状ごとの形
状特徴パラメタの算出は、同じ形状の物体のモデル画像
から算出された前記モデル画像ベクトルの平均ベクトル
と共分散から各形状ごとの形状特徴パラメタを算出する
もので、効率良くかつ高精度に入力画像から特定の形状
を検出できるという作用を有する。

【００１２】請求項５記載の発明は、請求項３または４
記載の画像認識装置において、モデル生成手段は、各
形状ごとに前記モデル画像の平均画像を求めて前記全て
の平均画像の画素値から基底ベクトルを算出し、前記全
てのモデル画像を特徴空間内にモデル画像ベクトルとし
て射影し、各モデル画像ベクトルに前記形状識別子を付
与するもので、各形状を代表する画像をよく区別する特
徴空間を生成することにより、類似した形状も良く分類
できるという作用を有する。

【００１３】請求項６記載の発明は、請求項３乃至５の
いずれか記載の画像認識装置において、前記形状識別子
は、その形状が物体のどの部分の形状であるかの情報を
含むもので、物体の一部分が隠蔽されていても、部分の
形状だけで、特定の形状の物体を検出できるという作用
を有する。

【００１４】請求項７記載の発明は、請求項６記載の画
像認識装置において、前記形状分類手段は、判定した部
分形状の形状識別子ごとに少なくとも1つ入力画像中の
物体全体の領域を推定し、入力の各部分画像について推
定した物体全体の領域を集計することにより物体領域の
位置を出力するもので、物体の一部分が隠蔽されていて
も、部分の形状と全体の形状との両方で、特定の形状の
物体を高精度に検出できるという作用を有する。

【００１５】請求項８記載の発明は、画像から特定の形
状の物体を検出する方法において、検出対象の形状を表
す形状識別子とその形状を持つ物体の画像をモデル画像
として予め登録しておく画像データベースと、各形状ご
とに前記モデル画像から形状特徴を予め抽出するステッ
プと、前記形状特徴と前記形状識別子を対にして予め格
納しておく形状情報データベースと、物体を検出する画
像を入力するステップと、入力画像の一部を部分画像と
して切り出すステップと、前記部分画像と前記形状特徴
とを照合し、前記部分画像内に検出対象の形状があるか
否かを判定するステップと、前記検出された検出対象の
形状を表す情報とその形状の入力画像中の位置を表す情
報を出力するステップとを備えるもので、多数のモデル
画像を代表する形状特徴を抽出し、入力画像を形状特徴
と比較することによって、少ないデータ量で入力画像か
ら高速に形状を検出しその位置を出力する作用を有す
る。

【００１６】以下、本発明の実施の形態について、図１
から図１８を用いて説明する。

【００１７】(実施の形態１)図１は、本発明の実施の形
態１における画像認識装置のブロック構成図を示してい
る。

【００１８】図１において、１は認識したい形状を持つ
多数の物体の濃淡画像を、形状名と画像ファイル名と画
像中の物体に外接する矩形領域の左上角座標と右下角座
標を記した形状識別子と共に格納している画像データベ
ース、２は学習データベース１から認識したい形状ごと
にその形状の全ての濃淡画像を入力して特徴を抽出する
モデル生成手段、２１は学習データベース１から入力し
た全ての濃淡画像に対して、画像が属する形状ごとに物
体に外接する矩形領域内の各画素の平均と平均からの分
散を求めて形状識別子と共に出力する特徴量抽出部、３
は特徴量抽出部２１から形状ごとの平均画像と分散と形
状識別子を入力して格納している形状情報データベー
ス、４は形状の有無を判断したい画像を入力する画像入
力部、５は形状情報データベース３に格納されている形
状識別子を入力して検出対象の形状と同じサイズの画像
を入力画像から切り出す画像切り出し部、６は画像切り
出し部５から入力した画像内に検出対象の形状があるか
どうかを判断する形状分類手段、６１は画像切り出し部
５から入力した画像を形状情報データベース３から抽出
したモデルの形状特徴と照合して検出対象の形状と一致
するかどうかを判断する部分形状分類部、７は形状分類
手段６から入力画像内に検出対象の形状があるという結
果を入力したときに検出した形状と入力画像内の位置と
をディスプレイなどに表示する出力部である。

【００１９】また、図２はコンピュータにより画像認識
装置を実現した場合のブロック構成図であり、２０１は
コンピュータ、２０２はＣＰＵ、２０３はメモリ、２０
４はキーボード及びディスプレイ、２０５は画像認識プ
ログラムを読み込むためのＦＤ、ＰＤ、ＭＯ、ＤＶＤな
どの蓄積媒体ユニット、２０６〜２０８はＩ／Ｆユニッ
ト、２０９はＣＰＵバス、２１０は画像を取り込むため
のカメラ、２１１は予め蓄積されている画像を取り込む
ための画像データベース、２１２は種々の形状の物体の
モデル画像をその形状を示す形状識別子と共に格納して
いる形状情報データベース、２１３は得られた物体の形
状と位置をＩ／Ｆユニットを介して出力する出力端子で
構成されている。

【００２０】以上のように構成された画像認識装置につ
いて、以下その動作を図３と図４のフローチャートを用
いて説明する。図３は、モデル生成手段の動作を示すフ
ローチャート、図４は、認識したい画像データを入力し
てから認識結果を出力するまでの動作を示すフローチャ
ート、図５は、画像データベース１に格納されているモ
デル画像の例、図６は、形状情報データベース３に格納
されている１つの形状の平均画像と形状識別子の例、図
７は、画像入力部４から入力した画像に対して画像切り
出し部５で切り出す領域の例を矩形で表したもの、図８
は形状分類手段６で検出した結果を出力部７でディスプ
レイに出力している例である。

【００２１】認識を行う前に、認識時に使う形状情報の
データを予め構築しておく。画像データベース１には、
図５に示すような物体の濃淡画像ファイルがモデル画像
として格納されている。各画像には、画像中の物体の形
状と、画像ファイル名と、物体に外接する矩形の左上角
座標と右下角座標を物体のエリアとして記述している形
状識別子が付けられている。図５は、画像を撮影したカ
メラに対する角度と、カメラからの距離が一定なセダン
のモデル画像の例である。

【００２２】図５に示すようなセダンａの形状の車両を
検出対象とするとき、モデル生成手段２は、画像データ
ベース１から形状識別子の形状名がセダンａのモデル画
像を全て形状識別子と共に入力し、特徴量抽出部２１
で、対象エリアで示された矩形領域画像の平均画像を求
める(ステップ３０１)。このとき、各モデル画像は同じ
形状の物体の画像であるから、各モデル画像の対象エリ
アで示された矩形領域は、全て同じサイズとなり、平均
画像もこのサイズとなる。

【００２３】図５で示したセダンａの場合、平均画像の
サイズは横148画素、縦88画素である。次に、特徴量抽
出部２１は、全てのモデル画像の対象エリアで示された
矩形領域画像の各画素の画素値と、平均画像の対応する
画素の画素値から、各画素における分散を求める(ステ
ップ３０２)。

【００２４】最後に、特徴量抽出部２１は、図６に示す
ような、セダンａの平均画像と形状識別子と、各画素ご
との分散の値とを、セダンａの形状特徴を表すものとし
て、形状情報データベース３に格納しておく(ステップ
３０３)。検出対象が複数ある場合には、他の形状につ
いても同様にステップ３０１からステップ３０３までの
処理を行う。

【００２５】セダンａの認識を行うときは、まず、認識
対象となる画像データを画像入力部４(カメラ２１０ま
たは画像データベース２１１)から入力する(ステップ４
０１)。画像切り出し部５は、図７に示すように、入力
画像から形状情報データベース３に格納されているセダ
ンａの平均画像と同じサイズの部分画像を、任意画素移
動させながら、順次切り出す(ステップ４０２)。

【００２６】形状分類手段２は、画像切り出し部５から
部分画像を１つ入力し、また、形状情報データベース３
からセダンａの平均画像と各画素の分散値を入力して、
部分形状分類部６１で、部分画像の各画素ごとに平均画
像の対応する画素との画素値の差の二乗を求め、分散で
除算した後に、それらの全画素にわたる和を求めて、部
分画像と平均画像との距離とする(ステップ４０３)。検
出対象の形状が複数ある場合には、部分形状分類部６１
は、形状ごとにステップ４０３を行い(ステップ４０
４)、全ての距離の値のうちの最小値が一定値より小さ
ければ(ステップ４０５)、その部分画像には最小の距離
を算出した平均画像の形状の物体があると判断する(ス
テップ４０６)。

【００２７】距離の最小値が一定値以上であれば、その
部分画像には物体は存在しないと判断する(ステップ４
０７)。部分形状分類部６１が、入力画像から切り出し
た全ての部分画像についてステップ４０７までを行い
(ステップ４０８)、物体があると判断した部分画像があ
る場合には、出力部７は、図８に示すように、入力画像
中の物体のある部分画像の位置に、物体の形状を表す図
を重ねて出力する(ステップ４０９)。なお、この出力
は、Ｉ／Ｆユニット２０８を介して出力端子２１３から
出力される。

【００２８】(実施の形態２)図９は、本発明の実施の形
態２における画像認識装置のブロック構成図を示す。

【００２９】図９において、１は認識したい形状を持つ
多数の物体の濃淡画像を、形状名と画像ファイル名と画
像中の検出したい形状に外接する、形状によらず同じサ
イズの矩形領域の左上角座標と右下角座標を記した形状
識別子と共に格納している画像データベース、２は学習
データベース１から認識したい形状の全ての濃淡画像を
入力して特徴を抽出するモデル生成手段、２０は学習デ
ータベース１から入力した全てのモデル画像から特徴空
間を生成してその基底ベクトルを形状情報データベース
に出力し全てのモデル画像をモデル画像ベクトルとして
特徴空間に射影する特徴空間生成部、２１は特徴空間生
成部から入力する全てのモデル画像ベクトルから形状ご
とにモデル画像ベクトルの平均と分散を求めて形状識別
子と共に出力する特徴量抽出部、３は特徴空間生成部２
０から特徴空間の基底ベクトルを入力し、特徴量抽出部
２１から形状ごとのモデル画像ベクトルの平均と分散を
形状識別子と共に入力して格納している形状情報データ
ベース、４は形状の有無を判断したい画像を入力する画
像入力部、５は形状情報データベース３に格納されてい
る形状識別子を入力して検出対象の形状と同じサイズの
画像を入力画像から切り出す画像切り出し部、６は画像
切り出し部５から入力した画像内に検出対象の形状があ
るかどうかを判断する形状分類手段、６０は画像切り出
し部５から入力した部分画像を形状情報データベース３
から入力した基底ベクトルを用いて部分画像ベクトルと
して特徴空間に射影する特徴空間射影部、６１は特徴空
間射影部６０からから入力した部分画像ベクトルと形状
情報データベース３から入力したモデル画像ベクトルの
各平均との距離を求めて検出対象の形状と一致するかど
うかを判断する部分形状分類部、７は形状分類手段６か
ら入力画像内に検出対象の形状があるという結果を入力
したときに、検出した形状と入力画像内の位置とをディ
スプレイなどに表示する出力部である。

【００３０】以上のように構成された画像認識装置につ
いて、以下その動作を図１０と図１１のフローチャート
を用いて説明する。図１０は、モデル生成手段の動作を
示すフローチャート、図１１は、認識したい画像データ
を入力してから認識結果を出力するまでの動作を示すフ
ローチャート、図１２は、画像データベース１に格納さ
れているモデル画像の例、図７は、画像入力部４から入
力した画像に対して画像切り出し部５で切り出す領域の
例を矩形で表したもの、図８は形状分類手段６で検出し
た結果を出力部７でディスプレイに出力している例であ
る。

【００３１】認識を行う前に、認識時に使う形状情報の
データを予め構築しておく。画像データベース１には、
図１２に示すような物体の濃淡画像ファイルがモデル画
像として格納されている。各画像には、画像中の物体の
形状と、画像ファイル名と、検出する形状に外接する矩
形の左上角座標と右下角座標を物体のエリアとして記述
している形状識別子が付けられている。図１２は、画像
を撮影したカメラに対する角度と、カメラからの距離が
一定なセダンのモデル画像とバスのモデル画像の例であ
る。

【００３２】図１２に示すようなセダンａの形状の車両
とバスを検出対象とするとき、モデル生成手段２は、画
像データベース１から形状識別子の形状名がセダンａの
モデル画像と形状名がバス背面部であるモデル画像を全
て形状識別子と共に特徴空間生成部２０に入力する。

【００３３】特徴空間生成部２０は、対象エリアで示さ
れた矩形領域画像の画素値から固有値と固有ベクトルを
求める(ステップ１００１)。このとき、各モデル画像の
対象エリアで示された矩形領域は、全て同じサイズであ
り、図１２では横148画素、縦88画素である。図１２の
バスの場合は、全てのバスの画像から同じ部分の矩形領
域を対象エリアとする。また、固有ベクトルを算出する
ときには、まず、各モデル画像に対して画素値を一列に
並べたベクトル作り、次に、それら全てのベクトルの平
均ベクトルを各々のベクトルから引いたベクトルを作成
して、固有値と固有空間を導く。

【００３４】特徴空間生成部２０は、大きい方からｎ個
の固有値に対応する固有ベクトルを、基底ベクトルとし
て形状情報データベースに格納し(ステップ１００２)、
ｎ個の固有ベクトルを用いて全てのモデル画像を固有空
間に射影してモデル画像ベクトルとする(ステップ１０
０３)。

【００３５】特徴量抽出部２１は、特徴空間生成部２０
からモデル画像ベクトルと形状識別子を入力して、同じ
形状識別子を持つモデル画像ベクトルの平均と共分散を
求める(ステップ１００４)。特徴量抽出部２１は、全て
のモデル画像の平均と、形状ごとのモデル画像ベクトル
の平均と共分散と形状識別子とを形状情報データベース
３に格納しておく(ステップ１００５)。

【００３６】認識を行うときは、まず、認識対象となる
画像データを画像入力部４から入力する(ステップ１１
０１)。画像切り出し部５は、形状情報データベース３
に格納されている形状識別子の対象エリアからモデル画
像のサイズを算出して、入力画像から図７に示すような
同じサイズの部分画像を、任意画素移動させながら、順
次切り出す(ステップ１１０２)。

【００３７】形状分類手段２は、画像切り出し部５から
部分画像を１つ入力し、また、形状情報データベース３
から基底ベクトルを入力して、特徴空間射影部６０が、
部分画像を固有空間に部分画像ベクトルとして射影する
(ステップ１１０３)。部分形状分類部６１は、特徴空間
射影部６０から部分画像ベクトルを、また、形状情報デ
ータベース３からセダンａとバスそれぞれの平均ベクト
ルと共分散を入力して、部分画像ベクトルと各平均ベク
トルのマハラノビス距離を算出する(ステップ１１０
４)。

【００３８】全てのマハラノビス距離の値のうちの最小
値が一定値より小さければ(ステップ１１０５)、その部
分画像には最小の距離を算出した平均ベクトルを持つ形
状の物体があると判断する(ステップ１１０６)。距離の
最小値が一定値以上であれば、その部分画像には物体は
存在しないと判断する(ステップ１１０７)。特徴空間射
影部６０と部分形状分類部６１が、入力画像から切り出
した全ての部分画像についてステップ１１０３からステ
ップ１１０７までを行い(ステップ１１０８)、物体があ
ると判断した部分画像がある場合には、出力部７は、図
８に示すように、入力画像中の物体のある部分画像の位
置に、物体の形状を表す図を重ねて出力する(ステップ
１１０９)。

【００３９】なお、この出力は、Ｉ／Ｆユニット２０８
を介して出力端子２１３から出力される。

【００４０】(実施の形態３)図１３は、本発明の実施の
形態３における画像認識装置のブロック構成図を示す。

【００４１】図１３において、１は認識したい形状を持
つ多数の物体の濃淡画像を、各画像ごとに同じサイズの
矩形の部分領域に分割して、部分ごとに部分の形状名と
画像ファイル名と部分の矩形領域の左上角座標と右下角
座標を記した形状識別子を付けて格納している画像デー
タベース、２は学習データベース１から認識したい形状
の全ての濃淡画像を入力して特徴を抽出するモデル生成
手段、２０は学習データベース１から入力した全てのモ
デル画像の全ての部分領域の画素値から特徴空間を生成
してその基底ベクトルを形状情報データベースに出力
し、全ての部分領域をモデル画像局所ベクトルとして特
徴空間に射影する特徴空間生成部、２１は特徴空間生成
部２０から入力する全てのモデル画像局所ベクトルから
部分形状ごとにモデル画像局所ベクトルの平均と分散を
求めて形状識別子と共に出力する特徴量抽出部、３は特
徴空間生成部２０から特徴空間の基底ベクトルを入力
し、特徴量抽出部２１から部分形状ごとのモデル画像局
所ベクトルの平均と分散を形状識別子と共に入力して格
納している形状情報データベース、４は形状の有無を判
断したい画像を入力する画像入力部、５は形状情報デー
タベース３に格納されている形状識別子を入力して検出
対象の部分形状と同じサイズの画像を入力画像から切り
出す画像切り出し部、６は画像切り出し部５から入力し
た画像内に検出対象の形状があるかどうかを判断する形
状分類手段、６０は画像切り出し部５から入力した部分
画像を形状情報データベース３から入力した基底ベクト
ルを用いて部分画像ベクトルとして特徴空間に射影する
特徴空間射影部、６１は特徴空間射影部６０からから入
力した部分画像ベクトルと形状情報データベース３から
入力したモデル画像局所ベクトルの各平均との距離を求
めて検出対象の物体の部分形状と一致するかどうかを判
断する部分形状分類部、６２は部分形状分類部６１で検
出対象の物体の部分形状を検出したときに、検出した入
力の部分画像ごとに検出した部分形状の全体形状に対す
る位置から、入力画像内の物体全体の領域を推定する全
体形状領域推定部、６３は全体形状推定部６２で推定し
た物体の全体領域の位置を、部分形状を検出した全ての
入力の部分画像について集計する集計部、７は集計部６
３で物体の位置として推定された回数がある一定回以上
あった位置に物体があると判断して、その位置と検出し
た形状をディスプレイなどに表示する出力部である。

【００４２】以上のように構成された画像認識装置につ
いて、以下その動作を図１４と図１５のフローチャート
を用いて説明する。図１４は、モデル生成手段の動作を
示すフローチャート、図１５は、認識したい画像データ
を入力してから認識結果を出力するまでの動作を示すフ
ローチャート、図１６は、画像データベース１に格納さ
れているモデル画像の例、図１７は、画像入力部４から
入力した画像に対して画像切り出し部５で切り出す領域
の例を矩形で表したもの、図１８は、集計部６３が出力
する集計結果の一例、図８は形状分類手段６で検出した
結果を出力部７でディスプレイに出力している例であ
る。

【００４３】認識を行う前に、認識時に使う形状情報の
データを予め構築しておく。画像データベース１には、
図１６に示すような物体の濃淡画像ファイルがモデル画
像として格納されている。各画像は、同じサイズの矩形
の局所領域に区切られ、各局所領域ごとに、部分の形状
名と画像ファイル名と局所領域の左上角座標と右下角座
標を記述している形状識別子が付けられている。形状名
は、その物体全体の形状名「セダンａ」と局所領域がセ
ダンａのどの部分かを示す数字から成り、同じ数字は画
像によらず同じ位置を表す。局所領域間には、重なりが
あっても良い。図１６は、画像を撮影したカメラに対す
る角度と、カメラからの距離が一定なセダンを検出する
ときのモデル画像の例であり、実際には、同じ見え方の
セダンの画像が多数同じように部分ごとに形状識別子を
付けて格納されている。

【００４４】図１６に示すようなセダンａを検出対象と
するとき、モデル生成手段２は、画像データベース１か
ら形状識別子の形状名がセダンａのモデル画像を全て形
状識別子と共に抽出し、特徴空間生成部２０に入力す
る。特徴空間生成部２０は、各形状識別子の対象エリア
で示された局所矩形領域を局所モデル画像として、全て
の局所モデル画像の画素値から固有値と固有ベクトルを
求める(ステップ１４０１)。このとき、各局所モデル画
像は、全て同じサイズであり、図１６では横29画素、縦
22画素である。また、固有ベクトル算出するときは、ま
ず、各局所モデル画像に対して画素値を一列に並べたベ
クトル作り、次に、それら全てのベクトルの平均ベクト
ルを各々のベクトルから引いたベクトルを作成して、固
有値と固有ベクトルを導く。

【００４５】特徴空間生成部２０は、大きい方からｎ個
の固有値に対応する固有ベクトルを、基底ベクトルとし
て形状情報データベースに格納し(ステップ１４０２)、
ｎ個の固有ベクトルを用いて全ての局所モデル画像を固
有空間に射影して局所モデル画像ベクトルとする(ステ
ップ１４０３)。特徴量抽出部２１は、特徴空間生成部
２０から局所モデル画像ベクトルと形状識別子を入力し
て、同じ形状識別子を持つ局所モデル画像ベクトルの平
均と共分散を求める(ステップ１４０４)。特徴量抽出部
２１は、全ての局所モデル画像の平均と、形状ごとの局
所モデル画像ベクトルの平均と共分散と形状識別子とを
形状情報データベース３に格納しておく(ステップ１４
０５)。

【００４６】認識を行うときは、まず、認識対象となる
画像データを画像入力部４から入力する(ステップ１５
０１)。画像切り出し部５は、形状情報データベース３
に格納されている形状識別子の対象エリアから局所モデ
ル画像のサイズを算出して、入力画像から図１７に示す
ような同じサイズの部分画像を、任意画素移動させなが
ら、順次切り出す(ステップ１５０２)。

【００４７】形状分類手段２は、画像切り出し部５から
部分画像を１つ入力し、また、形状情報データベース３
から基底ベクトルを入力して、特徴空間射影部６０が、
部分画像を固有空間に部分画像ベクトルとして射影する
(ステップ１５０３)。部分形状分類部６１は、特徴空間
射影部６０から部分画像ベクトルを、また、形状情報デ
ータベース３からセダンａのそれぞれの部分の平均ベク
トルと共分散を入力して、部分画像ベクトルと各平均ベ
クトルのマハラノビス距離を算出し(ステップ１５０
４)、最小の距離を算出した平均ベクトルを持つ部分形
状の形状識別子を出力する。

【００４８】全体形状領域推定部６２は、形状識別子の
対象エリアに記述されている左上角座標と、入力の部分
画像の左上角座標との差の座標を出力し、集計部６１
が、その座標に一票投票する(ステップ１５０５)。ここ
で投票する座標は、入力画像中での物体の位置を示して
いる。

【００４９】特徴空間射影部６０から集計部６３まで
が、入力画像から切り出した全ての部分画像についてス
テップ１５０３から１５０５までを行うと(ステップ１
５０６)、集計部６３では図１８に示すような集計結果
が得られる。図１８では、投票数の多い順に座標と投票
数が表示されている。この集計結果の各座標の投票数の
うち一定値より大きい投票数があれば(ステップ１５０
７)入力画像のその座標の位置に物体があると判断し(ス
テップ１５０８)、出力部７は、図８に示すように、入
力画像中の物体のある部分画像の位置に、物体の形状を
表す図を重ねて出力する(ステップ１５１０)。ステップ
１５０７で、一定値より大きい投票数がない場合には、
入力画像中に物体はないと判断して(ステップ１５０
９)、入力画像をそのまま出力する(ステップ１５１
０)。なお、この出力は、Ｉ／Ｆユニット２０８を介し
て出力端子２１３から出力される。

【００５０】

【発明の効果】以上のように本発明によれば、少ないモ
デルデータで、物体表面の色が異なっていても同じ形状
の物体であれば形状特徴で検出でき、また、物体の一部
分が隠蔽されていても精度良く検出できる。また、入力
画像中の物体の形状と位置を高精度に出力することがで
きる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における画像認識装置の
ブロック構成図

【図２】本発明の実施の形態１におけるコンピュータに
よる画像認識装置のブロック構成図

【図３】本発明の実施の形態１におけるモデル生成手段
の処理の流れを示すフローチャート

【図４】本発明の実施の形態１における画像入力部から
出力部までの処理の流れを示すフローチャート

【図５】本発明の実施の形態１における画像データベー
スが保管しているモデル画像と形状識別子の一例を示す
図

【図６】本発明の実施の形態１における形状情報データ
ベースが保管しているモデルの平均画像と形状識別子の
一例を示す図

【図７】画像切り出し部が切り出す矩形領域の例を示す
図

【図８】出力部が出力する検出結果の一例を示す図

【図９】本発明の実施の形態２における画像認識装置の
ブロック構成図

【図１０】本発明の実施の形態２におけるモデル生成手
段の処理の流れを示すフローチャート

【図１１】本発明の実施の形態２における画像入力部か
ら出力部までの処理の流れを示すフローチャート

【図１２】本発明の実施の形態２における画像データベ
ースが保管しているモデル画像と形状識別子の一例を示
す図

【図１３】本発明の実施の形態３における画像認識装置
のブロック構成図

【図１４】本発明の実施の形態３におけるモデル生成手
段の処理の流れを示すフローチャート

【図１５】本発明の実施の形態３における画像入力部か
ら出力部までの処理の流れを示すフローチャート

【図１６】本発明の実施の形態３における画像データベ
ースが保管しているモデル画像と形状識別子の一例を示
す図

【図１７】本発明の実施の形態３における画像切り出し
部が切り出す矩形領域の例を示す図

【図１８】本発明の実施の形態３における集計部が出力
する集計の一例を示す図

【図１９】従来の画像認識装置の一例を示すブロック図

【符号の説明】

１画像データベース２モデル生成手段３形状情報データベース４画像入力部５画像切り出し部６形状分類手段７出力部２０特徴空間生成部２１特徴量抽出部６０特徴空間射影部６１部分形状分類部６２全体形状領域推定部６３集計部２０１コンピュータ２０２ＣＰＵ２０３メモリ２０４キーボード／ディスプレイ２０５蓄積媒体ユニット２０６〜２０８Ｉ／Ｆユニット２０９ＣＰＵバス２１０カメラ２１１画像データベース２１２形状情報データベース２１３出力端子

フロントページの続きＦターム(参考） 5B057 AA06 BA02 CE09 DA02 DA07 DA16 DC09 DC22 DC33 5L096 BA04 CA02 EA35 FA18 FA32 FA33 FA81 HA08 JA11 KA04

Claims

【特許請求の範囲】

【請求項１】画像から特定の形状の物体を検出する装
置において、検出対象の形状を表す形状識別子とその形
状を持つ物体の画像をモデル画像として予め登録してお
く画像データベースと、各形状ごとに前記モデル画像か
ら形状特徴を予め抽出しておくモデル生成手段と、前記
形状特徴と前記形状識別子を対にして予め格納しておく
形状情報データベースと、物体を検出する画像を入力す
る画像入力部と、入力画像の一部を部分画像として切り
出す画像切り出し部と、前記部分画像と前記形状特徴と
を照合し、前記部分画像内に検出対象の形状があるか否
かを判定する形状分類手段と、前記検出された検出対象
の形状を表す情報とその形状の入力画像中の位置を表す
情報を出力する出力部とを備えることを特徴とする画像
認識装置。
【請求項２】モデル生成手段は、各形状ごとにその形
状に属する前記モデル画像の平均画像と前記モデル画像
の各画素の分散を形状特徴として抽出し、、形状ごとに
平均画像と分散と形状識別子とを対にして形状情報デー
ターベースに格納することを特徴とする請求項１記載の
画像認識装置。
【請求項３】画像から特定の形状の物体を検出する装
置において、検出対象の形状を表す形状識別子とその形
状を持つ物体の画像をモデル画像として予め登録してお
く画像データベースと、前記全てのモデル画像の画素値
から特徴空間の基底ベクトルを算出し、前記全てのモデ
ル画像を特徴空間内にモデル画像ベクトルとして射影
し、前記形状識別子を付与した各モデル画像ベクトル
と、前記モデル画像ベクトルから形状ごとに特徴的な統
計量を形状特徴パラメタとして算出し、前記形状識別子
を付与するモデル生成手段と、前記モデル生成手段から
の基底ベクトルと形状特徴パラメタを前記形状識別子と
ともに登録しておく形状情報データベースと、物体を検
出する画像を入力する画像入力部と、入力画像の一部を
部分画像として切り出す画像切り出し部と、前記基底ベ
クトルを用いて前記部分画像を前記特徴空間に射影して
部分画像ベクトルを求め、前記形状特徴パラメタを用い
て前記部分画像ベクトルをモデルと照合して前記部分画
像内に検出対象の形状があるかどうかを判定する形状分
類手段と、前記入力画像内に検出対象の形状と一致する
ものがある場合にはその形状を表す情報とその形状の入
力画像中の位置を表す情報を出力する出力部とを備える
ことを特徴とする画像認識装置。
【請求項４】モデル生成手段の各形状ごとの形状特徴
パラメタの算出は、同じ形状の物体のモデル画像から算
出された前記モデル画像ベクトルの平均ベクトルと共分
散から各形状ごとの形状特徴パラメタを算出することを
特徴とする請求項３記載の画像認識装置。
【請求項５】モデル生成手段は、各形状ごとに前記モ
デル画像の平均画像を求めて前記全ての平均画像の画素
値から基底ベクトルを算出し、前記全てのモデル画像を
特徴空間内にモデル画像ベクトルとして射影し、各モデ
ル画像ベクトルに前記形状識別子を付与することを特徴
とする請求項３または４記載の画像認識装置。
【請求項６】前記形状識別子は、その形状が物体のど
の部分の形状であるかの情報を含むことを特徴とする請
求項３乃至５のいずれか記載の画像認識装置。
【請求項７】前記形状分類手段は、判定した部分形状
の形状識別子ごとに少なくとも1つ入力画像中の物体全
体の領域を推定し、入力の各部分画像について推定した
物体全体の領域を集計することにより物体領域の位置を
出力することを特徴とする請求項６記載の画像認識装
置。
【請求項８】画像から特定の形状の物体を検出する方
法において、検出対象の形状を表す形状識別子とその形
状を持つ物体の画像をモデル画像として予め登録してお
く画像データベースと、各形状ごとに前記モデル画像か
ら形状特徴を予め抽出するステップと、前記形状特徴と
前記形状識別子を対にして予め格納しておく形状情報デ
ータベースと、物体を検出する画像を入力するステップ
と、入力画像の一部を部分画像として切り出すステップ
と、前記部分画像と前記形状特徴とを照合し、前記部分
画像内に検出対象の形状があるか否かを判定するステッ
プと、前記検出された検出対象の形状を表す情報とその
形状の入力画像中の位置を表す情報を出力するステップ
とを備えることを特徴とする画像認識方法。