JP5218345B2 - 画像検出装置 - Google Patents

Description

本発明は、デジタルカメラやデジタルビデオカメラ等で撮影された画像から、特定の画像を検出する画像検出装置に関する。

従来、デジタルカメラやデジタルビデオカメラの分野において、撮影された画像から、例えば、顔画像のような特定の画像（以下、対象画像という）を検出する手法が提案されている。非特許文献１では、画像検出の標準的な手法の一つとして、サンプル画像を用いた機械学習により生成された検出器によって、特定の画像の検出を行なうViola-Jonesアルゴリズムが開示されている。また、ニューラル・ネットワークを用いた顔検出アルゴリズムも提案されている。これらの手法では、天地方向が似通ったサンプル画像群を学習に用いるため、生成される検出器が検出できる対象画像の平面内回転角度が、学習に用いたサンプル画像の天地方向によって決められる場合が多い。そういった場合、上記の手法では、サンプル画像の天地方向と異なる方向に回転した対象画像を検出することはできない。

そこで、このような場合であっても、対象画像を検出できる様々な手法が提案されている。例えば、入力画像を一定の回転角度ごとに回転させて検出する手法や、検出器が使用する学習データを一定の回転角度ごとに予め用意する手法や、ある角度で回転した対象画像を検出できるように学習した学習データを、検出する角度に合わせて変換する手法などが提案されている。

これらの手法では、入力画像の一部を選択した領域（選択領域）を検出器に入力して、対象画像の検出を行なう。しかし、選択領域のサイズは固定されているため、検出できる対象画像のサイズは、選択領域のサイズに一致することが多い。そこで、サイズの異なる対象画像を検出するために、入力画像を拡大縮小して検出する手法や、検出器が使用する学習データを、サイズの異なる対象画像の検出に対応できるように変換する手法が提案されている。

このように、対象画像を漏れなく検出するためには、入力画像に含まれる対象画像の平面内回転角度や、サイズといったパラメータ（検出パラメータ）を考慮して検出を行なう必要がある。しかし、多数の検出パラメータを考慮した検出を行なう場合、一つの入力画像に対する検出を、検出パラメータを変えながら何度も行なう必要があり、検出パラメータの数に比例して検出時間が延びるという問題点がある。また、異なる検出パラメータを割り振った検出器を並列化すれば、検出処理を高速化できるが、検出器の規模が増大してしまうという問題点もある。

そこで、特許文献１に記載されているように、検出パラメータを限定して、高速に検出を行なう手法が提案されている。特許文献１の手法では、一度検出した顔画像の回転角度を、以降の検出で用いる回転角度とし、それ以外の回転角度の検出を省略することにより、検出処理の高速化を図っている。

特開２００７−１１０５７５号公報

P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features", Proc. of CVPR, 2001.

しかしながら、従来の特許文献１の手法では、検出結果に基づいて検出パラメータを限定して検出を行なうことにより、確かに検出を高速化することができるが、省略した検出パラメータで検出され得る対象画像を検出できないため、対象画像の検出漏れが発生するという問題点があった。本発明は、このような問題点を解決するためになされたもので、対象画像を漏れ少なく、かつ、高速に検出することができる画像検出装置を提供することを目的とする。

上記で述べた課題を解決するため、本発明に係る画像検出装置は、入力画像の一部である選択画像を選択する画像選択手段と、検出する対象画像の検出位置を含む検出条件が設定された検出パラメータに基づいて、前記画像選択手段により選択された前記選択画像から、前記対象画像を検出する画像検出手段と、前記画像検出手段により検出された前記対象画像を包含する領域である優先領域と前記画像検出手段の前記検出パラメータに優先的に設定される優先適用検出パラメータとを対応付けて記憶する優先適用検出パラメータ記憶手段と、前記画像検出手段により検出された前記対象画像の検出結果に基づいて、前記優先適用検出パラメータ記憶手段に記憶された前記優先領域と前記優先適用検出パラメータとを更新する優先適用検出パラメータ更新手段と、前記画像検出手段の前記検出パラメータを変更した検出パラメータ候補を生成し、この検出パラメータ候補の検出位置が前記優先適用検出パラメータ記憶手段に記憶された前記優先領域に含まれる場合、この優先領域に対応付けられた前記優先適用検出パラメータを前記検出パラメータに設定し、前記検出パラメータ候補の検出位置が前記優先領域に含まれない場合、この検出パラメータ候補を前記検出パラメータに設定することにより、前記画像検出手段の前記検出パラメータを制御する検出パラメータ制御手段とを備えることとしたものである。

本発明によれば、優先適用検出パラメータリストを設けて、優先領域ごとに検出パラメータを指定できるようにしたことにより、優先適用検出パラメータリストにリストアップされた検出領域に対しては、登録された検出パラメータを用いることで、検出処理を高速化することができ、また、リストアップされていない検出領域に対しては、様々な検出パラメータを用いて検出を行なうため、漏れの少ない検出を実施できるようになるという効果がある。
また、優先領域で対象画像が検出できない場合に、検出パラメータを変更しながら、検出する対象を追従することにより、一度検出された対象画像を重点的に検出し続けることができるようになり、少数の対象を途切れることなく検出できるという効果がある。

本発明の実施の形態１における画像検出装置の一例を示す構成図である。 実施の形態１に係る画像検出装置における画像検出処理（１フレーム目）のフローチャートを示す図である。 画像選択手段１が、１フレーム目の入力画像から選択した選択画像の一例を示す図である。 選択画像（ＡＢＣＤ）から対象画像を検出した結果の一例を示す図である。 図４に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。 １フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。 実施の形態１に係る画像検出装置における画像検出処理（２フレーム目以降）のフローチャートを示す図である。 ２フレーム目において、検出パラメータ制御手段６が変更した検出パラメータの一例を示す図である。 選択画像（ＥＦＧＨ）から対象画像を検出した結果の一例を示す図である。 図９に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。 ２フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。 ３フレーム目において、検出パラメータ制御手段６が変更した検出パラメータの一例を示す図である。 図１０に示した優先適用検出パラメータリストに登録されている二つの優先領域を示した図である。 実施の形態２に係る画像検出装置における、対象を追随する画像検出処理のフローチャートを示す図である。

１ 画像選択手段、２ 画像検出手段、３ 検出結果出力手段、４ 優先適用検出パラメータ記憶手段、５ 検出パラメータ制御手段。

実施の形態１．
図１は、本発明の実施の形態１における画像検出装置の一例を示す構成図である。
図１において、画像選択手段１は、検出パラメータ制御手段６が指定する「検出位置」や「検出領域サイズ」や「検出角度」などの検出パラメータの値に従って、入力画像の一部の領域を選択し、この選択した領域を選択画像として切り出して、画像検出手段２に選択画像を転送する。

画像検出手段２は、事前にサンプル画像を用いた機械学習により生成された学習データを含む検出器によって、画像選択手段１により転送された選択画像から対象画像を検出する。

検出結果出力手段３は、画像検出手段２が検出した対象画像に基づいて、図示しない表示手段に検出結果を出力するとともに、後述の優先適用検出パラメータ更新手段５にも、検出結果を出力する。

優先適用検出パラメータ記憶手段４は、「検出位置」や「検出領域サイズ」や「検出角度」などの検出パラメータについて、対象画像の検出において優先的に適用される検出パラメータ（優先適用検出パラメータ）が格納された優先適用検出パラメータリストを記憶する。なお、優先適用検出パラメータリストの詳細は、後述する。

優先適用検出パラメータ更新手段５は、検出結果出力手段３により出力された検出結果に基づいて、優先適用検出パラメータ記憶手段４に格納された優先適用検出パラメータリストを更新する。

検出パラメータ制御手段６は、優先適用検出パラメータ記憶手段４に記憶された優先適用検出パラメータリストを参照して、検出パラメータを変更しながら対象画像の検出を行なう検出シーケンスを実行する。検出パラメータは、画像選択手段１と画像検出手段２とにそれぞれ転送されて、画像選択手段１の選択画像の切り出し処理や、画像検出手段２の検出処理に使用される。

次に、実施の形態１における画像検出装置の動作について、図２〜図１３を適宜参照しながら説明する。

図２は、実施の形態１に係る画像検出装置における画像検出処理（１フレーム目）のフローチャートを示す図である。
デジタルビデオカメラ等の動画像の各フレームを入力画像として対象画像の検出を行なう場合、フレームごとに、検出パラメータ制御手段６が、画像選択手段１と画像検出手段２とを制御して、図２の画像検出処理のシーケンスを実行する。

まず、ステップＳ１０１において、検出パラメータ制御手段６は、対象画像を検出する際に用いる検出パラメータ候補を生成するために、「検出位置」と「検出領域サイズ」と「検出角度」との3つの検出パラメータを変更する。検出パラメータを変更する順番は任意である。以下、これらの検出パラメータについて、詳細に説明する。

検出パラメータの一つである「検出位置」は、検出する領域の位置を特定する座標を設定する。例えば、検出する領域の左上の座標や、領域中央の座標を設定する。座標を変更する方法は、ラスタスキャン順に座標を更新する方法や、画面中央から渦巻き状に座標を更新する方法などを用いることができる。

検出パラメータの一つである「検出領域サイズ」は、検出する領域の大きさ（サイズ）を特定するものを設定する。例えば、検出する領域の一辺の長さや、入力画像の大きさに対する比率などを設定する。また、検出する領域の形状は、正方形である必要はない。例えば、領域の形状が長方形の場合は、長辺と短辺の二辺の長さを設定し、領域の形状が円の場合は、半径の長さを設定すれば良い。また、サイズの異なる対象画像を検出するために、数種類の検出領域サイズを設定する。なお、これらの検出領域サイズを設定する順番は任意である。

検出パラメータの一つである「検出角度」は、入力画像の垂直方向と、検出時に想定する対象画像の垂直方向との相違角度である。この相違角度は、一定の回転角度ごとに設定する。例えば、４５度単位で設定する場合は、０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度のいずれかを設定する。なお、これらの角度を設定する順番は任意である。

以上で述べた「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータの設定に基づいて、検出パラメータ制御手段６は、画像選択手段１や、画像検出手段２に対して、変更した３つの検出パラメータを指定するとともに、画像選択手段１の画像選択処理や、画像検出手段２の画像検出処理の実行を制御する。

なお、検出パラメータは、上記の3つに限定する必要はなく、他の検出パラメータがあっても良い。また、上記の３つの検出パラメータは、全てを備えることが必須ではない。例えば、画像検出手段２で用いる検出器が、あらゆる角度で回転した対象画像を検出できる検出器である場合、「検出角度」は、指定不要であるため、検出パラメータから取り除いても構わない。

次に、ステップＳ１０２において、画像選択手段１は、検出パラメータ制御手段６が指定する「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータの値に従って、入力画像の一部の領域を選択し、この選択した領域を選択画像として切り出して、画像検出手段２に選択画像を転送する。

図３は、画像選択手段１が、１フレーム目の入力画像から選択した選択画像の一例を示す図である。
図３では、検出パラメータ制御手段６が、「検出位置」として、座標Ａ（Ｘ１、Ｙ１）を指定し、また、「検出領域サイズ」として、正方形により設定した検出領域ＡＢＣＤの一辺の長さであるＬ１を指定し、さらに、Ｙ軸を垂直方向と想定した「検出角度」として、０度を指定した場合に、画像選択手段１が、検出領域ＡＢＣＤを選択画像として切り出したことを示すものである。画像検出手段２は、このようにして切り出された選択画像を、画像検出手段２に転送する。

次に、ステップＳ１０３において、画像検出手段２は、画像選択手段１により転送された選択画像から、対象画像を検出する。対象画像の検出には、事前にサンプル画像を用いた機械学習により生成された学習データを含む検出器を用いる。検出方法としては、前述のViola-Jonesアルゴリズムや、ニューラル・ネットワークを用いた顔検出アルゴリズムなどを用いる。

図４は、選択画像（ＡＢＣＤ）から対象画像を検出した結果の一例を示す図である。
図４では、顔画像を対象画像として、画像検出手段２により、選択画像の領域ＡＢＣＤから顔画像を検出した結果を模式的に表現している。

ここで、ステップＳ１０１からステップＳ１０３において、入力画像平面内で回転している対象画像を検出する場合の動作について説明する。回転している対象画像を検出するためには、例えば、検出パラメータ制御手段６が、画像選択手段１に対して、「検出角度」を一定の回転角度ごとに指定し、画像選択手段１が、検出パラメータ制御手段６が指定する「検出角度」に従って、選択画像の回転処理を行なうようにする。

あるいは、検出パラメータ制御手段６が、画像検出手段２に対して、「検出角度」を一定の回転角度ごとに指定し、画像検出手段２が、回転角度ごとに予め用意した学習データの中から、指定された「検出角度」に合う学習データを選択して使用しても良い。さらにまた、画像検出手段２が、ある角度で回転した対象画像を検出できるように学習した学習データを、指定された「検出角度」に合わせて変換して使用しても良い。

次に、ステップＳ１０４において、検出結果出力手段３は、画像検出手段２により検出された対象画像に基づいて、対象画像が検出された時の「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータを、図示しない表示手段に、検出結果として出力する。また、検出結果出力手段３が出力する検出結果は、優先適用検出パラメータ更新手段５にも転送される。

なお、検出結果出力手段３が検出結果を出力する際には、同一の対象画像に対する検出結果の重複を削除する処理を行なっても良い。さらに、重複して検出が発生しない対象画像の検出を、誤検出とみなして削除する処理を行なっても良い。

次に、ステップＳ１０５において、優先適用検出パラメータ更新手段５は、検出結果出力手段３が出力する検出結果を受けとり、優先適用検出パラメータ記憶手段４に記憶された優先適用検出パラメータリストを更新する。

優先適用検出パラメータリストは、次のフレーム以降の対象画像の検出において、優先的に適用される検出パラメータ（優先適用検出パラメータ）を格納するものである。対象画像の検出処理では、検出シーケンスが1フレーム分の表示期間中に終了せず、検出シーケンスが途中で打ち切られて、検出対象となる選択画像が、次フレームの選択画像に更新される場合がある。そのため、検出シーケンスのできるだけ早い段階で対象画像が検出されるように、検出パラメータ制御手段６により、検出される可能性が高い検出パラメータから順番に適用していくことが望ましい。このような検出パラメータを優先適用検出パラメータとして、優先適用検出パラメータリストに格納しておき、次のフレーム以降の対象画像の検出で、優先適用検出パラメータを優先的に用いることにより、対象画像の検出を効率的に行なうことができる。

検出される可能性が高い検出パラメータの一例としては、直近に検出された対象画像の検出パラメータを用いることができる。この理由は、検出対象は、しばらくの間、動かないことが多いため、検出された対象画像は、それ以降のフレームにおいても、同じ検出パラメータで検出される可能性が高いからである。このため、「検出位置」や「検出領域サイズ」や「検出角度」を、同一、もしくは、それに近い値に設定して検出を行なえば、同一の検出対象を連続して検出できる可能性が高い。そこで、検出された際の検出パラメータを優先適用検出パラメータリストに保存しておき、以降のフレームでの検出で用いる。

あるいは、検出された対象画像の「検出領域サイズ」が大きい場合は、検出対象がカメラの近くに存在することを表しており、優先して検出すべき対象であることが多いと考えられるので、「検出領域サイズ」が所定の閾値以上の大きさである対象画像の検出パラメータを優先して、優先適用検出パラメータリストに追加して更新してもよい。

図５は、図４に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。また、図６は、１フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。
優先適用検出パラメータリストの「優先領域」には、対象画像を検出した位置の近傍を包含する領域、例えば、矩形領域などを登録する。図４の検出結果の場合は、（Ｘ座標、Ｙ座標）＝（Ｘ１、Ｙ１）を左上の頂点とした領域ＡＢＣＤで対象画像が検出されているため、その領域ＡＢＣＤを包含する大きめの領域、例えば、図６に示すように、（Ｘ０、Ｙ０）から（Ｘ２、Ｙ２）までの矩形領域を登録する。また、「検出角度」と「検出領域サイズ」には、対象画像を検出した際の「検出角度」と「検出領域サイズ」をそれぞれ登録する。

優先適用検出パラメータ更新手段５は、上記のように定義した優先適用検出パラメータリストに対して、検出した対象画像の検出パラメータを全て登録する。検出した対象画像の数が、優先適用検出パラメータリストに登録できる数を超える場合、何らかの優先順位、例えば、検出結果の確からしさ等に基づいて、登録する対象画像を絞り込む。

なお、優先適用検出パラメータ更新手段５による優先適用検出パラメータリストの更新は、例えば、検出結果出力手段３により、検出結果が出力される毎に、優先適用検出パラメータリストを更新する。あるいは、入力画像が更新される毎に、優先適用検出パラメータリストを初期化して登録し直してもよい。

次に、ステップＳ１０６において、検出パラメータ制御手段６は、ステップＳ１０１で設定した複数の検出パラメータについて、全ての検出パラメータを適用したか否かを判定し、ＮＯであれば、ステップＳ１０１へ戻って、残りの検出パラメータによる検出を実行し、ＹＥＳであれば、検出処理を終了する。

なお、検出シーケンスの実行時間を短縮するために、画像選択手段１や画像検出手段２は、並列化されていても良い。これらが並列化されている場合は、異なる検出パラメータでの検出を、複数同時に行なうことができる。例えば、画像検出手段２が二並列である場合、一つ目の画像検出手段２において、「検出角度」を０度に設定し、もう一つの検出部において、「検出角度」を９０度に設定して検出を行なえば、「検出角度」が０度と９０度での検出を同時に行なうことができる。

次に、１フレーム目の入力画像に対する検出処理が終了し、継続して、２フレーム目以降の入力画像に対して、検出処理を実行する場合について説明する。

図７は、実施の形態１に係る画像検出装置における画像検出処理（２フレーム目以降）のフローチャートを示す図である。

まず、ステップＳ２０１において、検出パラメータ制御手段６は、対象画像を検出する際に用いる検出パラメータ候補を生成するために、「検出位置」と「検出領域サイズ」と「検出角度」の3つの検出パラメータを変更する。
図８は、２フレーム目において、検出パラメータ制御手段６が変更した検出パラメータの一例を示す図である。
図８に示すように、「検出位置」として、座標Ｅ（Ｘ３、Ｙ３）を指定し、また、「検出領域サイズ」として、正方形により設定した検出領域ＥＦＧＨの一辺の長さであるＬ２を指定し、さらに、Ｙ軸を垂直方向と想定した「検出角度」として、９０度を指定するように、検出パラメータを変更したものとする。

次に、ステップＳ２０２において、検出パラメータ制御手段６は、「検出位置」が、優先適用検出パラメータリストに格納された優先領域に含まれるか否かの判定を行なう。２フレーム目の処理開始時点では、図５に示すように、優先適用検出パラメータリストに格納された優先領域が、（Ｘ０、Ｙ０）から（Ｘ２、Ｙ２）までの矩形領域のみであるため、ステップＳ２０１で指定した「検出位置」である座標Ｅ（Ｘ３、Ｙ３）は、優先領域に含まれないものと判定される。その結果、ＮＯの分岐先であるステップＳ２０３へ処理が進む。

次に、ステップＳ２０３において、画像選択手段１は、検出パラメータ制御手段６が指定する「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータの値に従って、２フレーム目の入力画像の一部の領域である検出領域ＥＦＧＨを選択画像として切り出して、画像検出手段２に、この選択画像を転送する。

次に、ステップＳ２０４において、画像検出手段２は、画像選択手段１により転送された選択画像から、対象画像を検出する。
図９は、選択画像（ＥＦＧＨ）から対象画像を検出した結果の一例を示す図である。
図９は、「検出位置」として、座標Ｅ（Ｘ３、Ｙ３）を指定し、また、「検出領域サイズ」として、検出領域ＥＦＧＨの一辺の長さであるＬ２を指定し、さらに、Ｙ軸を垂直方向と想定した「検出角度」として、９０度を指定した場合に、対象画像が検出された結果を示している。

次に、ステップＳ２０５において、検出結果出力手段３は、画像検出手段２により検出された対象画像に基づいて、対象画像が検出された時の「検出位置」、「検出領域サイズ」、「検出角度」などの検出パラメータを、図示しない表示手段に、検出結果として出力する。また、検出結果出力手段３が出力する検出結果は、優先適用検出パラメータ更新手段５にも転送される。

次に、ステップＳ２０６において、優先適用検出パラメータ更新手段５は、検出結果出力手段３が出力する検出結果を受けとり、優先適用検出パラメータ記憶手段４に記憶された優先適用検出パラメータリストを更新する。

図１０は、図９に示した対象画像の検出結果に基づいて更新した優先適用検出パラメータリストの一例を示す図である。また、図１１は、２フレーム目において、優先適用検出パラメータリストに登録する「優先領域」の一例を示す図である。
図１０に示すように、ステップＳ２０５で検出された際の「検出位置」、「検出領域サイズ」、「検出角度」の検出パラメータの値を、優先適用検出パラメータリストに追加登録することにより更新する。図１１では、領域ＥＦＧＨを含む大きめの領域として、（Ｘ４、Ｙ４）から（Ｘ５、Ｙ５）までの矩形領域が示され、また、対象画像を検出した際の「検出角度」の９０度と、「検出領域サイズ」のＬ２が、それぞれ示されている。

次に、ステップＳ２０７において、検出パラメータ制御手段６は、ステップＳ２０１で設定した複数の検出パラメータについて、全ての検出パラメータを適用したか否かを判定し、ＮＯであれば、ステップＳ２０１へ戻って、残りの検出パラメータによる検出を実行し、ＹＥＳであれば、検出処理を終了する。

次に、３フレーム目の入力画像に対する検出処理を説明する。
まず、ステップＳ２０１において、検出パラメータ制御手段６は、「検出位置」と「検出領域サイズ」と「検出角度」の3つの検出パラメータを変更する。
図１２は、３フレーム目において、検出パラメータ制御手段６が変更した検出パラメータの一例を示す図である。
図１２に示すように、「検出位置」として、座標Ｅ’（Ｘ６、Ｙ６）を指定し、また、「検出領域サイズ」として、正方形により設定した検出領域Ｅ’Ｆ’Ｇ’Ｈ’の一辺の長さであるＬ３を指定し、さらに、Ｙ軸を垂直方向と想定した「検出角度」として、９０度を指定するように、検出パラメータを変更したものとする。

次に、ステップＳ２０２において、検出パラメータ制御手段６は、変更した検出パラメータの「検出位置」が、優先適用検出パラメータリストに格納された優先領域に含まれるか否かの判定を行なう。３フレーム目の処理開始時点の優先適用検出パラメータリストでは、図１０に示すように、優先領域が、（Ｘ０、Ｙ０）から（Ｘ２、Ｙ２）までの矩形領域と、（Ｘ４、Ｙ４）から（Ｘ５、Ｙ５）までの矩形領域との二つの優先適用パラメータが登録されている状態になっている。また、図１３は、図１０に示した優先適用検出パラメータリストに登録されている二つの優先領域を示した図である。

検出パラメータ制御手段６は、優先適用検出パラメータリストに登録された全ての優先領域を参照し、これらの中に、ステップＳ２０１で指定した「検出位置」である座標Ｅ’（Ｘ６、Ｙ６）が含まれる優先領域が有るか否かを判定する。図１０、図１３に示した例の場合、座標Ｅ’（Ｘ６、Ｙ６）は、（Ｘ４、Ｙ４）から（Ｘ５、Ｙ５）までの矩形領域の優先領域に含まれると判定される。その結果、ＹＥＳの分岐先であるステップＳ２０８へ処理が進む。一方、座標Ｅ’（Ｘ６、Ｙ６）が、どの優先領域にも含まれないと判定された場合は、ＮＯの分岐先であるステップＳ２０３へ処理が進み、以降は、２フレーム目で説明した場合と同様に、検出処理が行なわれる。

次に、ステップＳ２０８において、検出パラメータ制御手段６は、変更した検出パラメータの値が、優先適用検出パラメータの値と、同一、もしくは、それに近い値であるか否かを判定する。図１３の例では、座標Ｅ’（Ｘ６、Ｙ６）が含まれると判定された（Ｘ４、Ｙ４）から（Ｘ５、Ｙ５）までの優先領域において、変更した検出パラメータの「検出角度」が、優先適用検出パラメータの９０度と同一である。このとき、変更した検出パラメータの「検出領域サイズ」Ｌ３は、優先適用検出パラメータのＬ２と近い値であると判定されると、３フレーム目も対象画像を検出できる可能性が高いと考えられので、ＹＥＳの分岐先であるステップＳ２０３へ処理が進む。ステップＳ２０３以降は、２フレーム目で説明した場合と同様の動作であるので、説明を省略する。

一方、変更した検出パラメータの値が、優先適用検出パラメータの値と、同一、もしくは、それに近い値でない場合は、対象画像を検出できる可能性が低いと考えられので、この検出パラメータでの検出処理は省略してもよいと考えられる。例えば、変更した検出パラメータの「検出領域サイズ」Ｌ３が、優先適用検出パラメータのＬ２と近い値でないと判定されると、ＮＯの分岐先であるステップＳ２０７へ処理が進み、ステップＳ２０３からステップＳ２０６までの検出処理が省略される。このように、対象画像を検出できる可能性が低いと考えられる場合の検出処理を省略することにより、検出処理を高速化することができるようになる。

以上のようにして、検出パラメータ制御手段６は、３フレーム目以降も、上記の処理と同様に、ステップＳ２０１からステップＳ２０７までの処理を、継続して実行する。

なお、優先適用検出パラメータリストの更新では、ステップＳ２０５において、検出結果が出力されるたびに、優先適用検出パラメータリストを更新していった方が、検出処理の効率が良い。これは、ある領域で対象画像が検出された場合、これ以降の同一フレームの検出処理において、その領域で他の検出パラメータによる検出処理が省略されるためである。このため、「検出領域サイズ」の大きいものから順に検出処理を行ない、その検出結果を優先適用検出パラメータリストに登録した方が、検出処理の初期段階から、検出処理を省略できる領域を、大きくさせることができる。このようにすることにより、さらに、検出処理を効率化することができるようになる。

また、ステップＳ１０１とステップＳ２０１において、検出パラメータを変更して検索パラメータ候補を生成する際には、優先適用検出パラメータリストを参照して、検出パラメータを変更するようにしてもよい。例えば、優先適用検出パラメータリストにリストアップされた優先領域は、対象画像を検出できる可能性が高いため、リストアップされなかった領域よりも先に、検出処理を行なうようにする。すなわち、過去の検出結果に基づいて、検出できる可能性が高いと判定された検出パラメータを、検出処理で優先的に適用していくようにする。これにより、検出シーケンスのできるだけ早い段階で、対象画像を検出することができるようになり、検出処理時間に制限がある場合にも、検出処理の効率化に貢献することができる。

また、優先適用検出パラメータリストにリストアップされた領域でない場合の検出処理においても、優先適用検出パラメータリストにリストアップされた内容を利用することもできる。例えば、リストアップされた「検出角度」の中で、一番多く登録された「検出角度」は、まだリストアップされていない領域においても、この「検出角度」により検出される可能性が高いと考えられる。これは、他の対象画像の角度も、一番多く登録された「検出角度」と同じである可能性が高いためである。このように、リストアップされていない領域の検出パラメータを、優先適用検出パラメータリストに基づいて、多数決的に順位付けを行なうこともできる。

以上のように、実施の形態１の発明によれば、優先適用検出パラメータリストを設けて、優先領域ごとに検出パラメータを指定できるようにしたことにより、優先適用検出パラメータリストにリストアップされた検出領域に対しては、登録された検出パラメータを用いることで、検出処理を高速化することができ、また、リストアップされていない検出領域に対しては、様々な検出パラメータを用いて検出を行なうため、漏れのない検出を実施できるようになるという効果がある。

実施の形態２．
以上の実施の形態１では、優先領域での検出で用いる検出パラメータを限定することにより、検出処理の高速化を行なっていたが、次に、優先領域における優先適用検出パラメータを用いた検出で対象画像を検出できなかった場合、検出対象が移動してしまったと判断して、検出パラメータを変えながら検出を続け、検出対象を追随する画像検出装置に関する実施の形態２を示す。

検出対象は、しばらくの間、動かないことが多いため、「検出位置」や「検出領域サイズ」や「検出角度」などの検出パラメータを、同一、もしくは、それに近い値にして検出を行なえば、同一の検出対象を連続して検出できる可能性が高い。しかし、この方法では、検出対象が動いた瞬間、しばらくの間、その検出対象を検出できなくなることがある。例えば、検出対象が、カメラの方向に近づくように移動した場合、入力画像に占める対象画像の割合が大きくなり、「検出領域サイズ」を、以前より大きくしなければ、検出対象を連続して検出できない。一度、検出対象を検出できなくなると、優先適用検出パラメータリストから、その検出対象は除外されるため、以降のフレームの検出で、移動後の検出対象を検出できる検出パラメータでの検出処理で再び検出されるまで、その検出対象は、未検出状態となってしまう。そこで、実施形態２では、優先領域で優先適用検出パラメータを用いた検出で対象を検出できなかった場合、対象が移動してしまったと判断し、優先領域内で検出パラメータを変えながら検出を続け、対象を追随する。

以下、実施の形態２における対象を追従する動作について説明する。
図１４は、実施の形態２に係る画像検出装置における、対象を追随する画像検出処理のフローチャートを示す図である。

図１４では、ステップＳ３０９とステップＳ３１０以外の処理は、図７のフローチャートと同様の処理であるため、説明を省略する。
ステップＳ３０９において、検出パラメータ制御手段６は、ステップＳ３０２で優先領域と判定された場合、画像検出手段２を制御して、ステップＳ３０８で画像選択手段１により転送された選択画像から、対象画像を検出する。この結果、対象画像を検出できなかった場合、検出パラメータ制御手段６は、「検出位置」と「検出領域サイズ」と「検出角度」の3つの検出パラメータ値を、まだ検出を試みていない検出パラメータ値に変更して、再度、対象画像の検出を行なう。検出パラメータ制御手段６は、この処理を継続して実行し、対象画像が検出された時点で検出処理を終了し、ステップＳ３１０へ進む。一方、所定の検出パラメータ値の組み合わせを適用しても、対象画像を検出できない場合には、対象が優先領域外に移動した可能性が高いため、検出処理を終了して、ステップＳ３１０へ進む。

次に、ステップＳ３１０において、検出パラメータ制御手段６は、対象画像が検出された場合に、ＹＥＳの分岐によりステップＳ３０５へ処理を進め、対象画像が検出されなかった場合に、ＮＯの分岐によりステップＳ３０７へ処理を進める。以降の処理は、図７の場合と同様であるので、説明を省略する。

なお、ステップＳ３０９において、対象画像の検出結果の履歴を残しておき、この履歴を参照して、検出対象の動作を予測しながら、優先適用検出パラメータリストを更新してもよい。例えば、検出結果の履歴から検出対象が右方向に動いていることがわかる場合、検出パラメータの適用領域を右方向にずらすといった処理を行なっても良い。

以上のように、実施の形態２の発明によれば、優先領域で対象画像が検出できない場合に、検出パラメータを変更しながら、検出する対象を追従することにより、一度検出された対象画像を重点的に検出し続けることができるようになり、少数の対象を途切れることなく検出できるという効果がある。

Claims (7)

1. 入力画像の一部である選択画像を選択する画像選択手段と、
   検出する対象画像の検出位置を含む検出条件が設定された検出パラメータに基づいて、前記画像選択手段により選択された前記選択画像から、前記対象画像を検出する画像検出手段と、
   前記画像検出手段により検出された前記対象画像を包含する領域である優先領域と前記画像検出手段の前記検出パラメータに優先的に設定される優先適用検出パラメータとを対応付けて記憶する優先適用検出パラメータ記憶手段と、
   前記画像検出手段により検出された前記対象画像の検出結果に基づいて、前記優先適用検出パラメータ記憶手段に記憶された前記優先領域と前記優先適用検出パラメータとを更新する優先適用検出パラメータ更新手段と、
   前記画像検出手段の前記検出パラメータを変更した検出パラメータ候補を生成し、この検出パラメータ候補の検出位置が前記優先適用検出パラメータ記憶手段に記憶された前記優先領域に含まれる場合、この優先領域に対応付けられた前記優先適用検出パラメータを前記検出パラメータに設定し、前記検出パラメータ候補の検出位置が前記優先領域に含まれない場合、この検出パラメータ候補を前記検出パラメータに設定することにより、前記画像検出手段の前記検出パラメータを制御する検出パラメータ制御手段と
   を備えた画像検出装置。
2. 前記画像検出手段は、前記対象画像を検出する領域の大きさを示す検出領域サイズを含む検出条件が設定された検出パラメータに基づいて、入力画像から前記対象画像を検出し、
   前記検出パラメータ制御手段は、前記画像検出手段により検出された前記対象画像の検出結果の内、前記検出領域サイズが所定の閾値以上である前記対象画像の前記検出結果に基づいて、前記優先適用検出パラメータ記憶手段に記憶された前記優先適用検出パラメータを更新する請求項１記載の画像検出装置。
3. 前記検出パラメータ制御手段は、前記検出領域サイズが大きい順に前記検出パラメータ候補を前記画像検出手段の前記検出パラメータに設定する請求項２記載の画像検出装置。
4. 前記検出パラメータ制御手段は、前記優先適用検出パラメータ記憶手段に記憶された前記優先適用検出パラメータの前記優先領域に含まれる検出位置に変更された検出パラメータ候補を前記検出パラメータに優先的に設定し、
   前記画像選択手段は、前記検出パラメータ制御手段により優先的に設定された前記検出パラメータに基づいて、入力画像の一部である選択画像を選択する請求項１から請求項３のいずれかに記載の画像検出装置。
5. 前記検出パラメータ制御手段は、前記画像検出手段の前記検出パラメータを変更した前記検出パラメータ候補の検出位置が前記優先適用検出パラメータ記憶手段に記憶された前記優先領域に含まれない場合、前記優先適用検出パラメータの各検出条件の出現頻度に基づいて、前記検出パラメータ候補の検出条件を変更し、この前記検出パラメータ候補を前記検出パラメータに設定する請求項１から請求項４のいずれかに記載の画像検出装置。
6. 前記検出パラメータ制御手段は、前記検出パラメータ候補の検出位置が前記優先領域に含まれる場合、前記画像検出手段により前記対象画像を検出した結果が未検出である際に、前記優先適用検出パラメータが設定された前記検出パラメータの検出条件を、前記優先領域内の検出において未使用の検出条件に変更し、
   前記画像検出手段は、前記検出パラメータ制御手段により変更された前記検出パラメータに基づいて、前記優先領域から前記対象画像を再検出する請求項１から請求項５のいずれかに記載の画像検出装置。
7. 前記検出パラメータ制御手段は、前記画像検出手段により検出された前記対象画像の過去の検出結果の履歴に基づいて、前記対象画像の移動後の位置を予測した予測移動位置を算出し、前記検出パラメータの前記検出位置を前記予測移動位置に変更する請求項６記載の画像検出装置。

Images