JP2007034733A

JP2007034733A - 対象物領域検出装置、方法およびプログラム

Info

Publication number: JP2007034733A
Application number: JP2005217792A
Authority: JP
Inventors: Hidenori Takeshima; 秀則竹島; Takashi Ida; 孝井田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-07-27
Filing date: 2005-07-27
Publication date: 2007-02-08
Also published as: US20070025592A1

Abstract

【課題】対象物領域を確実に得る。
【解決手段】画像フレームを入力する手段１０４と、画像フレーム内で対象物を検出して該対象物の位置を取得する手段１０２と、参照フレームの画像である参照画像および該参照フレーム内に在る対象物の位置を少なくとも１組以上取得する手段１０５と、参照フレームから、画像フレーム内の対象物と参照フレーム内の対象物との重なりを減らすための評価基準により少なくとも１以上の参照フレームを選択する手段１０５と、選択された参照フレームの画素値と画像フレームの画素値とが異なっている領域である差分領域を検出する手段１０６と、差分領域に基づいて、画像フレーム内の対象物が存在する領域を特定する手段１０７と、画像フレームおよび該画像フレーム内の対象物の位置を参照フレーム情報として記憶する手段１０３と、を備える。
【選択図】図１

Description

本発明は、例えば、画像中の背景領域を別の画像に置き換えるための、対象物領域検出装置、方法およびプログラムに関する。

対象物を検出する技術として、フレーム間差分が知られている（例えば、特許文献１参照）。この方法では、対象物の領域を得るために前のフレームを用いて差分を算出する。この方法は、移動する対象物領域の大まかな検出に有効であり、例えば、現フレームと参照フレームにおける対象物の領域の両方が混じった領域が得られる。
特開２０００−０８２１４５公報

上述した、対象物の領域を得るために前のフレームを用いて差分を算出する手法では、決められた時間内に対象物の動きが少ない場合には差分領域が検出されず、対象物の領域が得られない可能性がある。また、既知のフレームにおいて誤りが発生すると以後のフレームでは誤った情報に基づいて目標物の位置を推測するために、目標物の位置を正しく知ることができない可能性がある。

この発明は、上述した事情を考慮してなされたものであり、対象物の動きが少ない場合でも対象物領域を得ることができる対象物領域検出装置、方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明の対象物領域検出装置は、画像フレームを入力する入力手段と、前記画像フレーム内で対象物を検出して該対象物の位置を取得する位置取得手段と、参照フレームの画像である参照画像および該参照フレーム内に在る対象物の位置を少なくとも１組以上取得する参照画像取得手段と、前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりを減らすための評価基準により、少なくとも１以上の参照フレームを選択する参照フレーム選択手段と、前記選択された参照フレームの画素値と前記画像フレームの画素値とが異なっている領域である差分領域を検出する差分領域検出手段と、前記差分領域に基づいて、前記画像フレーム内の対象物が存在する領域を特定する対象物領域特定手段と、前記画像フレームおよび該画像フレーム内の対象物の位置を参照フレーム情報として記憶する記憶手段と、を具備することを特徴とする。

本発明の対象物領域検出方法は、画像フレームを入力し、前記画像フレーム内で対象物を検出して該対象物の位置を取得し、参照フレームの画像である参照画像および該参照フレーム内に在る対象物の位置を少なくとも１組以上取得し、前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりを減らすための評価基準により、少なくとも１以上の参照フレームを選択し、前記選択された参照フレームの画素値と前記画像フレームの画素値とが異なっている領域である差分領域を検出し、前記差分領域に基づいて、前記画像フレーム内の対象物が存在する領域を特定し、前記画像フレームおよび該画像フレーム内の対象物の位置を参照フレーム情報として記憶することを特徴とする。

本発明の対象物領域検出プログラムは、コンピュータを、
画像フレームを入力する入力手段と、前記画像フレーム内で対象物を検出して該対象物の位置を取得する位置取得手段と、参照フレームの画像である参照画像および該参照フレーム内に在る対象物の位置を少なくとも１組以上取得する参照画像取得手段と、前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりを減らすための評価基準により、少なくとも１以上の参照フレームを選択する参照フレーム選択手段と、前記選択された参照フレームの画素値と前記画像フレームの画素値とが異なっている領域である差分領域を検出する差分領域検出手段と、前記差分領域に基づいて、前記画像フレーム内の対象物が存在する領域を特定する対象物領域特定手段と、前記画像フレームおよび該画像フレーム内の対象物の位置を参照フレーム情報として記憶する記憶手段として機能させるためのものである。

本発明の対象物領域検出装置、方法およびプログラムによれば、対象物の動きが少ない場合でも対象物領域を得ることができる。

以下、図面を参照しながら本発明の実施形態に係る対象物領域検出装置、方法およびプログラムについて詳細に説明する。
（基本的な考え方、用語説明）
はじめに、本発明の実施形態に係る基本的な考え方を説明する。
フレーム間差分法は、フレームごとに別の位置に対象物が存在すると考えて、数フレーム前の画像を参照フレームとし、それと現フレームとの差分領域を算出することで、対象物の領域を求める手法である（詳細は後に図４を参照して説明する）。この手法は別の位置に対象物が存在する限り成功するが、対象物が移動しない場合には失敗する。
そこで、本発明の実施形態では、いつも数フレーム前の画像を参照フレームとするのではなく、常に参照フレームと現フレームとの差分領域が存在する状態となるように参照フレームを適切に選択する。差分領域を安定して得るには、対象物の位置（対象物位置）が可能な限り離れたフレームを差分算出の参照フレームとすればよい。差分領域の算出に適した参照フレームを選択することで、対象物の動きが少ない場合でも対象物領域が得られる。この選択を簡単に実現するには、対象物のいない状態で背景のみのフレームを予め撮影し、このフレームを参照フレームとする背景差分法を利用することである。
しかし、例えば、背景差分法を、ゲーム機やテレビ電話に接続されたカメラの映像に適用する場合、ユーザを予めカメラから映らない場所に移動させる必要があり、ユーザに負担を強いることになる。そこで、例えば、過去の数フレーム〜数十フレームの画像に対して画素ごとに中央値を算出し、これを参照フレームとする方法が考えられる。しかし、それら過去の数フレーム〜数十フレームで対象物が全く移動していない場合には対象物を検出することができない。

この問題を避けるには、現フレームで対象物が存在する位置に、過去の複数のフレームから対象物が存在していないフレームを参照フレームとして選択すればよい。これを実現するには、例えば、各フレームで対象物の位置を何らかの手法で検出し、この位置に基づいて参照フレームの選択を行えばよい。本発明の実施形態では、この考えに基づいて参照フレームを選択する。
このように、対象物の検出技術を用いることで、誤りが発生してもその誤りが以後の結果に影響を及ぼすことがない。したがって、公知技術と違い誤った後のフレームであっても、目標物の位置を正しく知ることができる。

（対象物領域検出装置の構成）
本実施形態の対象物領域検出装置について図１を参照して説明する。
本実施形態の対象物領域検出装置は、現フレーム入力部１０１、対象物検出部１０２、参照フレーム保存可否選択部１０３、参照フレーム位置保存部１０４、参照フレーム選択部１０５、フレーム間差分部１０６、出力領域決定部１０７、領域出力部１０８を備えている。

現フレーム入力部１０１は、撮影で得られた、現在の画像フレーム（現フレーム）を撮影部（図示せず）から入力する。撮影部は、対象を撮影して現フレームを生成する。

対象物検出部１０２は、現フレーム入力部１０１が入力した現フレームに後述の対象物検出手法を適用し、現フレームの対象物位置を得る。なお、対象物検出手法によっては、対象物位置は複数得られることもある。対象物としては、顏、全身、車など多様な対象を適用する。対象物は小さいものが望ましい。

参照フレーム保存可否選択部１０３は、次以降のフレームの処理のために、現フレーム入力部１０１が入力した現フレームの画像と、対象物検出部１０２が検出した、現フレームの対象物位置とを保存する。すなわち、これらの保存されたフレームとフレームの対象物位置とは、次以降の処理での参照フレームと参照フレームの対象物位置となる。参照フレーム保存可否選択部１０３の記憶容量に余裕があれば、多数のフレームを保存しておいてもよい。多数のフレームを保存しておいた場合、参照フレーム選択部１０５が行う、参照フレームでの対象物位置と現フレームでの対象物位置との比較は対象物位置だけで行われるため、保存された参照フレーム数が多くても処理時間はあまり大きくならない。
また、参照フレーム保存可否選択部１０３は、何らかの基準にしたがってフレームの画像を保存するか否かを決めて選択的に保存してもよい。保存の基準としては、例えば、参照フレームを３枚としておき、画像サイズの幅をＷとして、各参照フレームの対象物位置のｘ座標（水平座標）がそれぞれｘ＝０、Ｗ／２、Ｗの３点に近くなるかを基準とする手法がある。この基準を使う場合は、予め定められたｘ座標と参照フレームのｘ座標との差（水平距離）よりも、予め定められたｘ座標と現フレームのｘ座標との差（水平距離）のほうが小さいときに、参照フレームを現フレームで置き換える。他の例としては、参照フレームを２枚として、ｘ＝０、Ｗの２点を基準として上記と同じ基準で参照フレームを現フレームで置き換えることをしてもよいし、ここに述べた以外の座標を基準としてもよいし、参照フレームを４枚以上の別途定めた値としてもよい。ここではｘ座標で説明したが、基準となるｙ座標を定めてその垂直距離を用いてもよいし、基準位置（ｘ、ｙ）と現フレームの対象物位置とのユークリッド距離を用いてもよい。なお、このように基準位置との距離を用いる手法は、対象物検出を必要としないため、後述の対象物検出を毎フレーム行わずに計算量を減らす場合にも有効である。

参照フレーム位置保存部１０４は、参照フレーム保存可否選択部１０３が選択した、参照フレームと、この参照フレームでの対象物位置とを保存する。参照フレーム位置保存部１０４は、通常、複数の参照フレームとこれら参照フレームでの対象物位置を保存している。

参照フレーム選択部１０５は、参照フレーム位置保存部１０４に保存された複数の参照フレームのなかから、現フレームとの差分を求めるのに適した参照フレームを選択する。このとき、参照フレーム選択部１０５は、選択した参照フレームを取得すると同時にこの参照フレームでの対象物位置も取得する。参照フレーム選択部１０５は、対象物検出部１０２から現フレームでの対象物位置を取得し、参照フレームでの対象物位置と現フレームでの対象物位置とを比較する。参照フレーム選択部１０５が参照フレームを選択する場合、例えば、参照フレームの対象物位置と現フレームの対象物位置とのユークリッド距離が最も大きいものを選択する。また、参照フレーム選択部１０５が対象物検出部１０２から現フレームの対象物位置を複数得た場合でも、例えば、それぞれの対象物に対しユークリッド距離を求め、それらの最小値が最も大きいものを選択する。

フレーム間差分部１０６は、参照フレーム選択部１０５が選択した参照フレームと現フレーム入力部１０１が入力した現フレームとの差分領域を算出する。ここで、差分領域の算出では、例えば、画素ごとの画素値（例えば、輝度値のような強度や、ＲＧＢ値のような色をあらわすベクトル）の距離（例えば、市街地距離やユークリッド距離）が予め定めたしきい値以下の領域を差分領域とする。

出力領域決定部１０７は、得られた差分領域をもとに対象物領域を決定する。出力領域決定部１０７は、差分領域をそのまま対象物領域としてもよい。これとは別に、出力領域決定部１０７は、例えば、得られた差分領域の構成画素数を数え、構成画素数が一定数以下の領域を除去した領域を対象物領域としてもよい。他に、得られた差分領域に膨張・収縮と呼ばれるフィルタ（例えば、特開２０００−７８５６４公報参照）を適用して、ノイズの軽減をはかった差分領域を対象物領域としてもよい。また、得られた差分領域と対象物検出部１０２が得た対象物位置とを比較し、対象物の存在しない領域を除去した差分領域を対象物領域としてもよい。

領域出力部１０８は、出力領域決定部１０７が決定した対象物領域を出力する。

（対象物領域検出装置の動作例）
次に、図１の対象物領域検出装置の動作について図２を参照して説明する。
図１の対象物領域検出装置はフレームごとに以下の処理を行う。この処理の前に、参照フレーム位置保存部１０４は、予め、１枚以上の参照フレームとこの参照フレームでの対象物位置を保存しておく。通常は、参照フレーム位置保存部１０４は複数の参照フレームとこの参照フレームでの対象物位置とを保存している。参照フレームの対象物位置が異なる３枚以上の参照フレームが参照フレーム位置保存部１０４にあると精度が上がる可能性が高いが、参照フレームは１枚でも構わない。また、参照フレーム位置保存部１０４に保存されている参照フレームのうちからランダムに参照フレームを採用してもよい。一般に参照フレームの数が多いほど、精度はよくなる。
はじめに、現フレーム入力部１０１が、撮影などで得られた現在の画像フレーム（現フレーム）を入力する（ステップＳ２０１）。次に、対象物検出部１０２が、現フレームに後述の対象物検出手法を適用し、現フレームの対象物位置を得る（ステップＳ２０２）。次に、参照フレーム選択部１０５が、参照フレーム位置保存部１０４に予め保存された複数の参照フレームのうちから１つの参照フレームを選択し、この参照フレームが現フレームの対象物領域の検出に適するか否かを判定する（ステップＳ２０３）。適しないと判定した場合にはステップＳ２０５に進み、適すると判定した場合にはステップＳ２０４に進む。
ここで、ある参照フレームが現フレームの対象物領域の検出に適するか否かを判定するための判定条件は、上述したようにユークリッド距離のみに基づいて判定する場合もあるが、より一般性を持つ手法では、次の評価関数Ｅに基づいて判定する。例えば、この評価関数Ｅが最も小さくなる参照フレームを選択する。また、或るしきい値Ｅｔｈを設定して、しきい値Ｅｔｈよりも小さくなる参照フレームをすべて選択してもよい。評価関数Ｅは、
Ｅ＝α×ｔ＋β×ｓｉｚｅ＋γ×ｐｌａｃｅ
である。ここで、ｔは現フレームと或る参照フレームとの時間差を示し、ｓｉｚｅは現フレームの対象物領域の大きさを示し、ｐｌａｃｅは基準位置からの対象物領域の距離を示す。対象物領域の大きさ、基準位置からの対象物領域の距離は、ユークリッド距離に基づいて決定される。対象物領域の大きさは、現フレームでの対象物領域と対象となる参照フレームでの対象物領域との差分で代替してもよい。この場合、参照フレーム保存可否選択部１０３には対象物の大きさも記憶しておく。また、基準位置は、予め設定した基準となる位置であり、座標の原点に対応する。基準位置として、例えば、画像の右端の位置をとる。α、β、γは、或る数字であり、設定値として予め設定される。通常、α＞０、β＞０、γ＜０である。

次に、参照フレーム選択部１０５は、或る参照フレームでしきい値Ｅｔｈよりも小さくなる場合には、この参照フレームを対象物領域の検出に好適であるとして選択する（ステップＳ２０４）。そして、参照フレーム選択部１０５が、参照フレーム位置保存部１０４に予め保存された全ての参照フレームについてステップＳ２０３の判定が完了したか否かを判定する（ステップＳ２０５）。全ての参照フレームについて判定が完了した場合にはステップＳ２０６に進み、完了していない場合にはステップＳ２０３に戻る。

次に、フレーム間差分部１０６が選択した参照フレームと現フレームの差分領域を算出する（ステップＳ２０６）。ここで、参照フレームが１つの場合での差分領域の算出では、ピクセルごとに、参照フレームでの画素の値（例えば、輝度値のような強度や、ＲＧＢ値のような色をあらわすベクトル）と現フレームでの画素の値を引き算して、引き算した値が予め定めたしきい値以下の場合は画素値を１としてこの画素値１のピクセルは差分領域に含まれるとする。
参照フレームが複数枚ある場合には、フレーム間差分部１０６が各参照フレームと現フレームとの間で上述したように差分領域を算出する。そして、フレーム間差分部１０６は、画素ごとに、各参照フレームに基づいて引き算した画素値が１であるか０であるかをカウントし全参照フレームに対して和をとり、この和が予め定めたしきい値枚数以上である場合にはこの画素は差分領域に含まれるとする。しきい値枚数未満の場合はこの画素は差分領域に含まれないとする。例えば、参照フレームが１００枚あって、しきい値枚数が６０枚であるとする。この場合は、或る画素において全参照フレームに対してとる和は、
１＋０＋１＋１＋…＋０（項数は１００）
となり、この和が６０以上である場合にはこの画素は差分領域に含まれるとする。

次に、ステップＳ２０６で得られた差分領域をもとに対象物領域を決定し出力する（ステップＳ２０７）。ステップＳ２０７では差分領域をそのまま出力してもよい。また、例えば、得られた各領域の構成画素数を数え、構成画素数が一定数以下の領域を除去してもよい。また、得られた各領域とステップＳ２０２で得られた対象物位置を比較し、対象物の存在しない領域を除去してもよい。

最後に、次のフレーム以降の処理のために、参照フレーム保存可否選択部１０３は、現フレームの画像と、ステップＳ２０２で検出した対象物位置とを保存する（ステップＳ２０８）。

（対象物検出手法の例）
次に、対象物検出手法の例について述べる。対象物検出手法とは、既知のターゲットを検出する手法のことである。例えば、予め顔や人物など対象とするもののテンプレートパターンを準備しておき、ブロックマッチングや一般化ハフ変換のようなテンプレート照合手法がこれにあたる。例えば、図３に示したように、対象物の位置を基準としてテンプレートを配置する。図３は人物を対象とする場合である。
対象物検出手法は、多くの手法が知られており、このうち顔を検出するいくつかの手法は、「Ming-Hsuan Yang et al., ``Detecting Faces in Images: A Survey,’’ IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, Jan. 2002」に示されている。なお、本実施形態では対象物検出をフレームごとに行う例を述べたが、例えば参照フレームの選択・保存を数フレームおきに行うこととし、それを行わない間は最後に選択された参照フレームを使うか、参照フレームの選択を対象物の位置を使わずに行うようにしてもよい。この場合、対象物検出の回数を減らすことができる。また、先に述べた基準位置との距離を用いて同様に対象物検出の回数を減らしてもよい。

（フレーム間差分）
次に、フレーム間差分について図４、図５を参照して説明する。
フレーム間差分法とはフレームごとに別の位置に対象物が存在する参照フレーム４０１と、それと現フレーム４０２との差分領域４０３を算出することによって、図４のように対象物の領域を求める手法である。差分領域４０３は、現フレームと参照フレームにおける対象物の領域の両方が混じった領域となる。これは別の位置に対象物が存在する限り成功するが、対象物が移動しない場合には失敗する。そこで、参照フレーム選択部１０５は、いつも数フレーム前の画像を参照フレームとするのではなく、常に図４のような状態となるように参照フレームを適切に選択する必要がある。

参照フレーム保存可否選択部１０３は、図５に示すように、対象物の位置が異なる複数枚の参照フレームを保存していることが望ましい。図５の例は、人物が画面の左側、中央、右側のいずれかにいる場合である。この例の場合では、参照フレーム保存可否選択部１０３は、図５に示した、人物が画面の左側、中央、右側にそれぞれいる場合に対応している参照フレーム５０１，５０２，５０３を保存しておけばよい。これらの参照フレームがあれば、現フレームが、人物が画面の左側にいるフレーム５０４、人物が画面の中央にいるフレーム５０５、人物が画面の右側にいるフレーム５０６のいずれであっても、参照フレーム５０１，５０２，５０３のいずれかは現フレームに対して差分領域が存在する。したがって、参照フレーム保存可否選択部１０３が図５に示したような参照フレームを保存しておけば、全ての場合において人物を検出することができる。

（フレーム間差分ＡＮＤ法のときの例）
フレーム間差分と論理積を用いる場合について、図６のフローチャートおよび図７にしたがって説明する。この手法では、フレームごとに以下の処理を行う。参照フレーム保存可否選択部１０３は、予め、２枚以上の参照フレームとその対象物位置を保存しておく。以下、既に説明したステップと同様なものは同一の番号を付してその説明を省略する。
図６のステップＳ２０３〜ステップＳ２０５では図２の場合と同様に参照フレームの選択を行うが、このとき参照フレーム選択部１０５は、第１の参照フレームの対象物位置と第２の参照フレームの対象物位置が離れているように選択する。この選択は、例えば、まず第１の参照フレームをステップＳ２０３〜ステップＳ２０５で述べた手法で選択し、第２の参照フレームの選択においては、現フレームの対象物位置との距離および第１の参照フレームの対象物位置との距離のうち小さいほうの値が最大となる参照フレームを選択すればよい。その結果、例えば、図７の第１参照フレーム７０１、第２参照フレーム７０３のように、対象物（この例では人物）の位置が第１参照フレーム７０１と、第２参照フレーム７０３とで異なる。

ステップＳ６０１、ステップＳ６０２では、ステップＳ２０６でのように、それぞれ第１、第２の参照フレームとの差分領域を求め（図７の７０４、７０５）、ステップＳ６０３でその論理積の領域を求める（図７の７０６）。ステップＳ６０４では得られた領域を出力する。なお、ステップＳ６０４では、出力領域決定部１０７は、差分領域をそのまま対象物領域としてもよい。これとは別に、出力領域決定部１０７は、例えば、得られた差分領域の構成画素数を数え、構成画素数が一定数以下の領域を除去した領域を対象物領域としてもよい。他に、得られた差分領域に膨張・収縮と呼ばれるフィルタ（例えば、特開２０００−７８５６４公報参照）を適用して、ノイズの軽減をはかった差分領域を対象物領域としてもよい。また、得られた差分領域と対象物検出部１０２が得た対象物位置とを比較し、対象物の存在しない領域を除去した差分領域を対象物領域としてもよい。最後に、次のフレーム以降の処理のために、現フレームの画像と対象物位置を保存する（ステップＳ２０８）。

なお、フレーム間差分と論理積を用いる実施形態において、ステップＳ２０８は、最後に行われる必要はなく、ステップＳ２０３よりも前に行われてもよい。このフローチャートを第８図に示しこの図を参照して説明する。
ステップＳ８０１で参照フレームとして保存すべきかを判定し（常に保存するのであればステップＳ８０１はなくてもよい）、保存すると判定された場合にはステップＳ８０２でこの参照フレームを保存する。また、図２のフローチャートの場合も同様にステップＳ２０８はステップＳ２０３の前に行ってもよい。このときは、図２から図８のステップＳ８０１〜ステップＳ８０２と同じステップをステップＳ２０３の前に挿入し、ステップＳ２０８を削除したフローチャートにしたがって実施する。

（応用例：はじめは顔検出のみ、参照フレームを得たら切り替える）
次に、応用例として、テレビ電話において、不要な背景を除去し予め準備した背景に置き換えるために、上述した実施形態を利用する。上述した実施形態の例では、保存された参照フレームが存在することを前提としていた。テレビ電話では、電源を入れた直後には参照フレームが存在しない。したがって、対象物領域の検出に適した参照フレームが得られるまでは、対象物領域を正しく検出することができない。

ここで、本実施形態では対象物検出を行っていることに着目すると、例えば、テレビ電話では人物の上半身が映っている可能性が高いため、図３のように、予め人物の上半身のテンプレートを準備しておき、対象物として顔を検出し、得られた顔の位置を基準にこのテンプレートを配置すれば、対象物の大まかな領域が得られる。これにより、何も検出されない電源投入直後でも対象物領域の検出が可能になる。テンプレートの配置で得られる対象物領域は輪郭などがずれることが多いため、このずれを輪郭補正の手法、例えば非特許文献「Kass, A. Witkin, and D. Terzopoulos, ``Snakes: Active contour models,’’ International Journal of Computer Vision, vol. 1, no. 4, pp. 321-331, 1987」の手法や非特許文献「Takashi Ida and Yoko Sambonsugi, ``Self-Affine Mapping System and Its Application to Object Contour Extraction,’’ IEEE Transactions on Image Processing, Vol.9, No.11, November 2000」の手法により補正してもよい。以上に述べた手法により、対象物の動きが少ない場合でも対象物領域が得られるようになる。

以上に示した実施形態によれば、差分領域の算出に適した参照フレームを選択することにより、対象物の動きが少ない場合でも対象物領域を得ることができる。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の対象物領域検出装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の対象物領域検出装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に係る対象物領域検出装置のブロック図。図１の対象物領域検出装置の動作を示すフローチャート。対象物の位置を基準としたテンプレートを配置する手法を説明するための図。フレーム間差分による対象物領域の検出方法を説明するための図。対象物の位置が異なる３枚の参照フレームの場合の例を示す図。図１の対象物領域検出装置の動作を示す、フレーム間差分の論理積を用いた対象物領域の検出方法のフローチャート。図６の検出方法を説明するための例を示す図。図６の変形例を示すフローチャート。

符号の説明

１０１…現フレーム入力部、１０２…対象物検出部、１０３…参照フレーム保存可否選択部、１０４…参照フレーム位置保存部、１０５…参照フレーム選択部、１０６…フレーム間差分部、１０７…出力領域決定部、１０８…領域出力部。

Claims

画像フレームを入力する入力手段と、
前記画像フレーム内で対象物を検出して該対象物の位置を取得する位置取得手段と、
参照フレームの画像である参照画像および該参照フレーム内に在る対象物の位置を少なくとも１組以上取得する参照画像取得手段と、
前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりを減らすための評価基準により、少なくとも１以上の参照フレームを選択する参照フレーム選択手段と、
前記選択された参照フレームの画素値と前記画像フレームの画素値とが異なっている領域である差分領域を検出する差分領域検出手段と、
前記差分領域に基づいて、前記画像フレーム内の対象物が存在する領域を特定する対象物領域特定手段と、
前記画像フレームおよび該画像フレーム内の対象物の位置を参照フレーム情報として記憶する記憶手段と、を具備することを特徴とする対象物領域検出装置。
前記参照フレーム選択手段は、前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、前記評価基準として前記参照フレーム内の対象物の位置との距離が或るしきい値よりも大きくなる参照フレームを選択することを採用することを特徴とする請求項１に記載の対象物領域検出装置。
前記参照フレーム選択手段は、前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、前記画像フレーム内の対象物の大きさと前記参照フレーム内の対象物の大きさとの差分をそれぞれの前記参照フレームに対して求め、
前記評価基準として、前記距離にマイナス符号を掛けた値と前記差分との重み付け和が或るしきい値よりも小さくなる参照フレームを選択することを採用することを特徴とする請求項１に記載の対象物領域検出装置。
前記参照フレーム選択手段は、前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりが最も少ないものから順に少なくとも１以上の参照フレームを選択することを特徴とする請求項１に記載の対象物領域検出装置。
前記参照フレーム選択手段は、
前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、該距離が最大となる参照フレームを選択することを特徴とする請求項１に記載の対象物領域検出装置。
前記参照フレーム選択手段は、第１の参照フレームと第２の参照フレームとを選択し、
前記差分領域検出手段は、前記第１の参照フレームに対する第１の差分領域を検出し、前記第２の参照フレームに対する第２の差分領域を検出し、
前記対象物領域特定手段は、前記第１の差分領域と、前記第２の差分領域との論理積の領域を求め、該論理積の領域を対象物領域と特定することを特徴とする請求項１に記載の対象物領域検出装置。
前記記憶手段は、前記参照フレームのそれぞれに対し、前記参照フレーム内の対象物の位置と予め定めてある位置との距離と、および前記画像フレーム内の対象物の位置と前記予め定めてある位置との距離とを比較し、前記画像フレームの対象物の位置のほうが前記予め定めてある位置に近い場合のみ、前記画像フレームおよび該画像フレーム内の対象物の位置を記憶することを特徴とする請求項１から請求項６のいずれか１項に記載の対象物領域検出装置。
参照フレームを取得する以前では、対象物の位置を基準とした予め定めた或る形状を対象物領域として採用する対象物領域採用手段をさらに具備することを特徴とする請求項１から請求項７のいずれか１項に記載の対象物領域検出装置。
前記位置取得手段は、顔あるいは上半身を検出して前記対象物の位置を取得することを特徴とする請求項１から請求項８のいずれか１項に記載の対象物領域検出装置。
画像フレームを入力し、
前記画像フレーム内で対象物を検出して該対象物の位置を取得し、
参照フレームの画像である参照画像および該参照フレーム内に在る対象物の位置を少なくとも１組以上取得し、
前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりを減らすための評価基準により、少なくとも１以上の参照フレームを選択し、
前記選択された参照フレームの画素値と前記画像フレームの画素値とが異なっている領域である差分領域を検出し、
前記差分領域に基づいて、前記画像フレーム内の対象物が存在する領域を特定し、
前記画像フレームおよび該画像フレーム内の対象物の位置を参照フレーム情報として記憶することを特徴とする対象物領域検出方法。
前記参照フレームを選択することは、前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、前記評価基準として前記参照フレーム内の対象物の位置との距離が或るしきい値よりも大きくなる参照フレームを選択することを採用することであることを特徴とする請求項１０に記載の対象物領域検出方法。
前記参照フレームを選択することは、前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、前記画像フレーム内の対象物の大きさと前記参照フレーム内の対象物の大きさとの差分をそれぞれの前記参照フレームに対して求め、
前記評価基準として、前記距離にマイナス符号を掛けた値と前記差分との重み付け和が或るしきい値よりも小さくなる参照フレームを選択することを採用することであることを特徴とする請求項１０に記載の対象物領域検出方法。
前記参照フレームを選択することは、前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりが最も少ないものから順に少なくとも１以上の参照フレームを選択することであることを特徴とする請求項１０に記載の対象物領域検出方法。
前記参照フレームを選択することは、前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、該距離が最大となる参照フレームを選択することであることを特徴とする請求項１０に記載の対象物領域検出方法。
前記参照フレームを選択することは、第１の参照フレームと第２の参照フレームとを選択することであり、
前記差分領域を検出することは、前記第１の参照フレームに対する第１の差分領域を検出し、前記第２の参照フレームに対する第２の差分領域を検出することであり、
前記対象物が存在する領域を特定することは、前記第１の差分領域と、前記第２の差分領域との論理積の領域を求め、該論理積の領域を対象物領域と特定することであることを特徴とする請求項１０に記載の対象物領域検出方法。
前記参照フレーム情報として記憶することは、前記参照フレームのそれぞれに対し、前記参照フレーム内の対象物の位置と予め定めてある位置との距離と、および前記画像フレーム内の対象物の位置と前記予め定めてある位置との距離とを比較し、前記画像フレームの対象物の位置のほうが前記予め定めてある位置に近い場合のみ、前記画像フレームおよび該画像フレーム内の対象物の位置を記憶することであることを特徴とする請求項１０から請求項１５のいずれか１項に記載の対象物領域検出方法。
参照フレームを取得する以前では、対象物の位置を基準とした予め定めた或る形状を対象物領域として採用することをさらに具備することを特徴とする請求項１０から請求項１６のいずれか１項に記載の対象物領域検出方法。
前記対象物の位置を取得することは、顔あるいは上半身を検出して前記対象物の位置を取得することであることを特徴とする請求項１０から請求項１７のいずれか１項に記載の対象物領域検出方法。
コンピュータを、
画像フレームを入力する入力手段と、
前記画像フレーム内で対象物を検出して該対象物の位置を取得する位置取得手段と、
参照フレームの画像である参照画像および該参照フレーム内に在る対象物の位置を少なくとも１組以上取得する参照画像取得手段と、
前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりを減らすための評価基準により、少なくとも１以上の参照フレームを選択する参照フレーム選択手段と、
前記選択された参照フレームの画素値と前記画像フレームの画素値とが異なっている領域である差分領域を検出する差分領域検出手段と、
前記差分領域に基づいて、前記画像フレーム内の対象物が存在する領域を特定する対象物領域特定手段と、
前記画像フレームおよび該画像フレーム内の対象物の位置を参照フレーム情報として記憶する記憶手段として機能させるための対象物領域検出プログラム。
前記参照フレーム選択手段は、前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、前記評価基準として前記参照フレーム内の対象物の位置との距離が或るしきい値よりも大きくなる参照フレームを選択することを採用することを特徴とする請求項１９に記載の対象物領域検出プログラム。
前記参照フレーム選択手段は、前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、前記画像フレーム内の対象物の大きさと前記参照フレーム内の対象物の大きさとの差分をそれぞれの前記参照フレームに対して求め、
前記評価基準として、前記距離にマイナス符号を掛けた値と前記差分との重み付け和が或るしきい値よりも小さくなる参照フレームを選択することを採用することを特徴とする請求項１９に記載の対象物領域検出プログラム。
前記参照フレーム選択手段は、前記参照フレームから、前記画像フレーム内の対象物と参照フレーム内の対象物との重なりが最も少ないものから順に少なくとも１以上の参照フレームを選択することを特徴とする請求項１９に記載の対象物領域検出プログラム。
前記参照フレーム選択手段は、
前記画像フレーム内の対象物の位置と前記参照フレーム内の対象物の位置との距離をそれぞれの前記参照フレームに対して求め、該距離が最大となる参照フレームを選択することを特徴とする請求項１９に記載の対象物領域検出プログラム。
前記参照フレーム選択手段は、第１の参照フレームと第２の参照フレームとを選択し、
前記差分領域検出手段は、前記第１の参照フレームに対する第１の差分領域を検出し、前記第２の参照フレームに対する第２の差分領域を検出し、
前記対象物領域特定手段は、前記第１の差分領域と、前記第２の差分領域との論理積の領域を求め、該論理積の領域を対象物領域と特定することを特徴とする請求項１９に記載の対象物領域検出プログラム。
前記記憶手段は、前記参照フレームのそれぞれに対し、前記参照フレーム内の対象物の位置と予め定めてある位置との距離と、および前記画像フレーム内の対象物の位置と前記予め定めてある位置との距離とを比較し、前記画像フレームの対象物の位置のほうが前記予め定めてある位置に近い場合のみ、前記画像フレームおよび該画像フレーム内の対象物の位置を記憶することを特徴とする請求項１９から請求項２４のいずれか１項に記載の対象物領域検出プログラム。
参照フレームを取得する以前では、対象物の位置を基準とした予め定めた或る形状を対象物領域として採用する対象物領域採用手段をさらに具備することを特徴とする請求項１９から請求項２５のいずれか１項に記載の対象物領域検出プログラム。
前記位置取得手段は、顔あるいは上半身を検出して前記対象物の位置を取得することを特徴とする請求項１９から請求項２６のいずれか１項に記載の対象物領域検出プログラム。