JP4330914B2 - 動物体検出装置および動物体検出方法 - Google Patents
動物体検出装置および動物体検出方法 Download PDFInfo
- Publication number
- JP4330914B2 JP4330914B2 JP2003105341A JP2003105341A JP4330914B2 JP 4330914 B2 JP4330914 B2 JP 4330914B2 JP 2003105341 A JP2003105341 A JP 2003105341A JP 2003105341 A JP2003105341 A JP 2003105341A JP 4330914 B2 JP4330914 B2 JP 4330914B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- macroblock
- motion vector
- frame
- camera work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像から動物体を検出する動物体検出装置および動物体検出方法に関する。
【０００２】
【従来の技術】
映像メディアの普及に伴い、大量の映像から必要な情報を効率的に検索する技術の重要性が高まっている。特に、映像中に現れる物体について、その名称、行動、色、外形などの情報をキーワードにして検索ができれば、その利便性は大きく向上する。このようなキーワード検索を実現するためには、予め映像中に現れる物体について、名称、行動などを言語により記述しておく必要がある。そのためには、映像中の物体を背景から分離する必要があるが、その技術のうち、動いている物体を検出する技術が従来提案されている。
【０００３】
ここで、動物体を検出する技術では、水面や草原など背景が変化している映像からの動物体の検出及び、カメラワークがある映像からの動物体の検出が大きな課題となっている。これは、背景が変化している場合やカメラワークがある場合は、映像のフレーム間で動物体以外の背景にあたる領域も変化しているので、動物体のみの分離が難しい為である。これを解決する手法として特許文献１が公開されている。なお、特許文献１は画像の動きベクトル量を計測することで動きのある移動領域を検出して動物体を検出する技術について記載されている。
【０００４】
【特許文献１】
特開２００２−２７４４９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１の技術による動物体の検出手法では、撮影したカメラから直接得られるパラメータを利用しているため、既に撮影された映像など、カメラのパラメータを取得できない映像には適用できない。さらに、水面や草原など時間とともに変化する背景について考慮がされていない。
【０００６】
この発明は上述した事情に鑑みてなされたもので、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することができる動物体検出方法および動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した問題点を解決するために、請求項１に記載の発明では、フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手段と、前記フレーム差分処理手段により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手段と、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手段と、前記カメラワーク有無判定手段により検出されたカメラワークの方向と、前記動きベクトル探索手段により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手段とを具備することを特徴とする。
【０００８】
また、請求項２に記載の発明では、請求項１記載の動物体検出装置において、前記カメラワーク有無判定手段は、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする。
【０００９】
また、請求項３に記載の発明では、請求項１または２に記載の動物体検出装置において、前記動物体領域判定手段は、隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手段により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする。
【００１０】
上述した問題点を解決するために、請求項４に記載の発明では、フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手順と、前記フレーム差分処理手順により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手順と、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手順と、前記カメラワーク有無判定手順により検出されたカメラワークの方向と、前記動きベクトル探索手順により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手順とを具備することを特徴とする。
【００１１】
また、請求項５に記載の発明では、請求項４記載の動物体検出方法において、前記カメラワーク有無判定手順において、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする。
【００１２】
また、請求項６に記載の発明では、請求項４または５に記載の動物体検出方法において、前記動物体領域判定手順において、隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手順により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする。
【００１３】
この発明では、フレーム差分処理手段により、フレームを複数のブロックに分割し、隣接フレーム間で同位置のブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、背景の候補領域と動物体の候補領域とを分離し、動きベクトル探索手段により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索し、カメラワーク有無判定手段により、フレームの最外周のブロックとその内側のブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの有無を判定し、動物体領域判定手段により、前記カメラワーク有無判定手段による判定結果と、前記第１の動きベクトルの方向と、前記第２の動きベクトルの方向とに基づいて、動物体を構成するブロックを特定する。したがって、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
【００１５】
Ａ．実施形態の構成
図１は、本発明による動物体検出方法を適用した動物体検出装置の構成を示すブロック図である。図において、フレーム差分処理部１０は、フレーム差分により、背景の候補領域と動物体の候補領域との分離を行なう。動きベクトル探索部１１は、フレーム差分処理部１０により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における動きベクトル、および１フレーム飛ばした次のフレームとの間における２つの動きベクトルの探索を行なう。カメラワーク有無判定部１２は、フレームの最外周とその内側の動きベクトルについて局所的な動き方向ヒストグラムを作成し、該ヒストグラムに従って、カメラワーク（パン、チルト）があるかどうかの判定を行なう。動物体領域判定部１３は、動きベクトル探索部１１により求められた隣接フレーム間における動きベクトルに基づいて、動物体を構成するマクロブロックを特定する。動物体領域整形部１４は、一連の上述した処理で動物体として判定されたマクロブロックについて、その周囲にマクロブロックの判定結果（動物体か、背景か）を参照し、動物体として確定する。
【００１６】
Ｂ．基本アルゴリズム
次に、本発明による動物体検出方法の基本アルゴリズムについて説明する。ここで、図２は、本発明による動物体検出方法の基本アルゴリズムを説明するための概念図である。
【００１７】
検出対象となる動物体が登場する状況として、カメラワークの有無や背景の変動など、様々な状況が考えられる。これらの状況を整理すると、
（１）カメラワーク無し、背景が一様、
（２）カメラワーク無し、背景が変動しない、
（３）カメラワーク無し、背景が変動する、
（４）カメラワーク有り、背景が一様、
（５）カメラワーク有り、背景が変動しない、
（６）カメラワーク有り、背景が変動する、
の６通りが挙げられる。
【００１８】
上記６通り全てに対応した動物体検出の実現方法を探るために、それぞれのフレーム間で変化する部分に着目すると、（１）と（２）、（４）については、フレーム間で変化するのは、動物体がある領域だけであると考えられるため、フレーム差分を取ることで動物体の領域を抽出することができる。しかしながら、（３）と（５）、（６）については、フレーム間で動物体以外の領域も変化するため、フレーム差分では、動物体の領域を抽出するのは難しい。
【００１９】
そこで、動物体とカメラワークがある場合の変動しない背景、変動する背景、それぞれにおけるフレーム間の動きベクトルの向きに着目すると、それぞれで動きベクトルの向きに違いがあると推測することができる。
【００２０】
すなわち、図２（ａ）に示すように、動物体の領域では、その動物体が急激な形の変動がない限りは、フレーム間で動きベクトルが見つかる。そのため、動物体の領域の動きベクトルの方向は比較的、揃っていると考えられる。
【００２１】
次に、図２（ｂ）に示すように、カメラワークがある場合の変動しない背景では、動物体の領域と同様に、急激な形の変動がない限りは、フレーム間で動きベクトルが見つかる。そのため、動きベクトルの方向は、比較的揃っていると考えられる。但し、カメラワークで動物体を追跡しているため、背景の領域と動物体の領域とでは、動きベクトルの向きは一致しないと考えられる。
【００２２】
次に、図２（ｃ）に示すように、変動のある背景領域の場合、フレーム間で領域の状態が変化しているため、対応点が存在しない。したがって、求められた動きベクトルは偶然に誤差が最小となったブロックへの動きベクトルでしかない。そのため、変動のある背景領域にある動きベクトルの方向は、動物体領域のように揃うことはなく、乱れると考えられる。
【００２３】
上述した性質に着目し、本実施形態では、変動のある背景の除去のためにフレームを飛ばした動きベクトルとの向きの比較、および、カメラワーク検出のためにフレームの最外周およびその内側の動きベクトルについて局所的な動き方向ヒストグラムの導入、以上の２つにより、上記（３）と（５）、（６）の状況における動物体の検出を実現している。以下、詳細に説明する。
【００２４】
Ｃ．背景の除去方法
次に、本実施形態による背景の除去方法について説明する。本実施形態では、２本の動きベクトルを用いて、変動する背景を除去する。なお、本実施形態では、１フレームを１６ピクセル×１６ピクセルからなる複数のマクロブロックに分割し、各マクロブロックと、対象とするフレームの同位置にあるマクロブロックの周囲、３２ピクセル×３２ピクセルに対してブロックマッチングを行ない、絶対値誤差が最小となったブロックを動きベクトルの到達ブロックとして求める。
【００２５】
前述したように、動物体と変動のある背景では、動きベクトルの向きに違いがあると推測される。図３に示すように、隣接フレーム間で求められた動きベクトル１本毎に、周囲のマクロブロックに向きが類似した動きベクトルがあるかどうか調べることで、動物体と変動のある背景とを分離することができる可能性がある。しかしながら、隣接フレームだけで、変動する背景の領域にある全ての動きベクトルの向きが乱れるとは限らず、また、フレーム間隔を離すと、動物体の早い動きに追従できなくなるため、周囲のマクロブロックの動きベクトルだけで判定するのは正確さに不安が残る。
【００２６】
そこで、動物体と変動する背景との分離を、より正確に行なうために、１つのマクロブロックについて２つの動きベクトルを用いる。その２つの動きベクトルとは、図４に示すように、１本が隣接フレーム間における動きベクトル、他の１本が１フレーム飛ばした次のフレームとの間における動きベクトルである。図示するように、例えば、飛行機のような動物体の運動は、フレーム単位で考えれば、等速直線運動に近似できるため、動物体内であれば、対象ブロック（斜線）における２本の動きベクトルの向きが大きく変動することはない。これに対して、図５に示すように、変動する背景であれば、フレームを飛ばした場合に、隣接フレームよりも、さらに変動が大きくなることが考えられるため、対象ブロック（斜線）における２本の動きベクトルの向きに違いが出てくる。
【００２７】
このように、周囲の動きベクトルとの類似性に加えて、さらに、先のフレームとの動きベクトルも判定に加えることで、より正確に動物体と背景領域との分離ができるようになる。
【００２８】
Ｄ．カメラワークの検出方法
前述したように、カメラワークが有り、変動しない背景の場合、パン（水平方向への動き）、またはチルト（垂直方向への動き）により動物体を追跡しているカメラワークであれば、背景領域の動きベクトルの向きは追跡している動物体の進行方向と一致しないと推測される。したがって、背景領域の動きベクトルの向きを把握できれば、カメラワークを検出することができると考えられる。
【００２９】
そこで、カメラワークによる背景の動きベクトルの向きを、フレーム内の最外周や、その内側の周にあるマクロブロックの動きベクトルの向きから取得する。一般に、カメラワークにより動物体を追跡する場合、図６に示すように、画面の中心部に追跡対象の動物体（図示の例では自動車）がくるようにカメラを動かしていることが多い。そのため、フレーム内の最外周やその内側の周にあるマクロブロックは、背景領域になっている可能性が高い。したがって、最外周のマクロブロックとその１ブロック内側にあるマイクロブロックとの動きベクトルの向きにより、カメラワークの有無を判定することができる。
【００３０】
Ｅ．実施形態の動作
次に、本実施形態による動物体検出アルゴリズムを用いた動物体検出方法について説明する。ここで、図７は、本実施形態による動物体検出装置の動作を説明するためのフローチャートである。
【００３１】
まず、ステップＳ１０で、フレーム差分により、背景の候補領域と動物体の候補領域との分離を行なうフレーム差分処理を行なう。該フレーム差分処理では、隣接フレーム間で、同じ位置のマクロブロック毎に、輝度の差分を求め（輝度分布差分）、閾値判定により、背景に属するマクロブロックであるのか、あるいは動物体に属する可能性のあるマクロブロックであるのかを判定する。ここで、背景と判定されたマクロブロックは動物体の検出対象から外す。
【００３２】
ここで、上記閾値判定について詳細に説明する。まず、輝度は、輝度＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｇ（Ｒ，Ｇ，Ｂはそれぞれ０〜２５５の値）で求めることができる（”コンピュータ画像処理”、田村秀行 編著、オーム社、ＩＳＢＮ４−２７４−１３２６４−１参照）。閾値は、実験的に求めたもので、１つのブロックが１６ピクセル×１６ピクセル＝２５６ピクセルであるので、１ピクセル当たり「３」の誤差を許容するとし、２５６×３＝７６８から、実験的に最もよい結果が得られた「７５０」としている。
【００３３】
閾値判定は、以下のようにして行なわれる。
（１）隣接した２つのフレームそれぞれから、同位置にあるマクロブロックを取り出す。
（２）マクロブロック内の同位置になるピクセル同士で、輝度の絶対値差分値を求めて合計する。
（３）上記（２）で求めた絶対値差分値の合計が、閾値（７５０）以上であれば、フレーム間で変化があったマクロブロックとして、動物体の領域と判定する。一方、閾値以下であれば、フレーム間で変化がなかったとして背景の領域と判定する。
【００３４】
但し、動物体の動きが遅い場合や、均一な輝度（あるいは色）を有する動物体の場合には、フレーム間における輝度変化がほとんど生じないケースがあり得る。この場合、この差分処理により、背景と判定される。そこで、前のフレームで動物体に判定されたマクロブロックについては、閾値判定の結果に関係なく、動物体の検出対象に含める。
【００３５】
次に、ステップＳ１２で、フレーム差分処理により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における動きベクトル、および１フレーム飛ばした次のフレームとの間における２つの動きベクトルの探索を行なう（動きベクトル探索）。
【００３６】
ここで、動きベクトルの探索について詳細に説明する。動きベクトルとは、Ｎ番目のフレームのマクロブロックが、Ｎ＋１番目のどこに対応しているかを表すベクトルのことである。このため、動きベクトルを求める際の比較対象は、マクロブロック単位で行なっている。すなわち、Ｎ番目のフレームの各マクロブロック毎に、Ｎ＋１番目のフレームの同位置のマクロブロックの一定範囲の周囲について、色（または輝度）の誤差が最も小さいブロックを１ピクセルずつずらしながら探索する。色（または輝度）の誤差が小さいとは、１６ピクセル×１６ピクセルのマクロブロック単位で比較し、Ｒ，Ｇ，Ｂのそれぞれの値の絶対値差分和が小さいことを示す。Ｎ＋１番目のフレームに正確に一致すれば、そのマクロブロックの絶対値差分和は、「０」になる。
【００３７】
次に、ステップＳ１４で、カメラワーク（パン、チルト）があるかどうかの判定を行なう（カメラワークの有無判定）。判定手順は、まず、最外周のマクロブロックとその１ブロック内側の周にあるマクロブロックとについて、動きベクトルの有無を調べ、有った場合には、その向きについてヒストグラムを作成する。
【００３８】
すなわち、動きベクトルの角度について、水平方向で右向きを０°として、８段階のヒストグラムを作成する。この角度が、０°〜４５°、４５°〜９０°、９０°〜１３５°、１３５°〜１８０°、１８０°〜２２５°、２２５°〜２７０°、２７０°〜３１５°、３１５°〜３６０°のどこに当てはまるかを見て、度数分布にカウントしていく。最終的に動きベクトルの本数について、例えば、次のようなヒストグラムが得られる。
【００３９】
０°〜４５° ０本
４５°〜９０° １０本
９０°〜１３５° ３３本
１３５°〜１８０° ２２本
１８０°〜２２５° ４本
２２５°〜２７０° ０本
２７０°〜３１５° ０本
３１５°〜３６０° ０本
【００４０】
次に、最外周とその内側の全マクロブロックのうち、閾値以上の数のマクロブロックで動きベクトルが見つかっているかどうかを判定する。なお、上記閾値についても、実験により決定している。最後に、動きベクトルが見つかったマクロブロックのうち、閾値以上の数のマクロブロックが同一のヒストグラムにカウントされている場合、カメラワーク有りと判定する。ここで、最も大きいヒストグラムの値がカメラワークによる背景の動きの向きを示している。
【００４１】
次に、ステップＳ１６で、上記ステップＳ１２で求めた隣接フレーム間における動きベクトルについて、１つずつ以下の３つの条件を満たすかどうかを判定し、動物体を構成するマクロブロックを特定する（動物体領域の判定）。
（１）動きベクトルの向きが、カメラワークによる背景の動きの向きと一致しないこと、
（２）上下左右のいずれかのマクロブロックに類似した向きの動きベクトルがある、
（３）１フレーム空けた次のフレームとの動きベクトルと向きが類似している。
【００４２】
上述した３つの条件を満たした場合、その動きベクトルが存在するマクロブロックを、動物体を構成するマクロブロックと判定する。そうでない場合には、背景とする。
【００４３】
次に、ステップＳ１８で、一連の上述した処理で動物体として判定された領域に対して、以下の方法で整形して動物体として確定させる（動物体領域の整形）。まず、これまでの処理で背景と判定されたマクロブロックについて、その上下にあるマクロブロックのいずれかが動物体のマクロブロックであり、かつ、その左右にあるマクロブロックのいずれかが動物体のマクロブロックであった場合、そのマクロブロックも動物体の一部として判定する。
【００４４】
次に、動物体として残ったマクロブロックのうち、その周囲にある全てのマクロブロックに動物体と判定されているマクロブロックが存在しない場合には、孤立した背景領域と考えて除去する。
【００４５】
最後に、前のフレームで動物体と判定された領域と比較を行ない、動物体の一部であるにも拘わらず、これまでの整形処理で埋めきれなかったマクロブロックを救済する。ここでの判定方法では、基本的に、前のフレーム間で動物体の領域であったマクロブロックが、次のフレームになって突然、消滅することはないということを前提として、前のフレーム間（Ｎ−１番目とＮ番目のフレーム間）で動物体の領域であると判定された領域を記憶しておいたものと比較している。
【００４６】
上述した実施形態によれば、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体の検出ができる。今後、情報機器とネットワーク技術の進歩により、コンテンツ流通システムが重要となってくる。この中で映像アーカイブシステムは、中心となるシステムであり、その利便性を高めるためには、言語情報による映像の検索技術が欠かせない。現在のところ、人手により映像情報を言語により記述するしかないため、このような動物体検出技術を確立しておくと、こうした映像情報の記述の支援に役立つ。また、映像の中に登場する動物体を自動で認識することによる映像の内容情報の自動記述に応用できるため、今後の技術開発を行なっていく上でベースとなる重要な技術である。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、フレーム差分処理手段により、フレームを複数のブロックに分割し、隣接フレーム間で同位置のブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、背景の候補領域と動物体の候補領域とを分離し、動きベクトル探索手段により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索し、カメラワーク有無判定手段により、フレームの最外周のブロックとその内側のブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの有無を判定し、動物体領域判定手段により、前記カメラワーク有無判定手段による判定結果と、前記第１の動きベクトルの方向と、前記第２の動きベクトルの方向とに基づいて、動物体を構成するブロックを特定するようにしたので、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することができるという利点が得られる。
【図面の簡単な説明】
【図１】 本発明による動物体検出方法を適用した動物体検出装置の構成を示すブロック図である。
【図２】 本発明による動物体検出方法の基本アルゴリズムを説明するための概念図である。
【図３】 動きベクトルを用いて変動する背景の除去方法を説明するための概念図である。
【図４】 フレーム間における動きベクトルを用いて動物体と変動する背景とを分離する方法を説明するための概念図である。
【図５】 フレーム間における変動する背景での動きベクトルの向きの違いを説明するための概念図である。
【図６】 カメラワークの有無判定を説明するための概念図である。
【図７】 本実施形態による動物体検出方法を説明するためのフローチャートである。
【符号の説明】
１０ フレーム差分処理部（フレーム差分処理手段）
１１ 動きベクトル探索部（動きベクトル探索手段）
１２ カメラワーク有無判定部（カメラワーク有無判定手段）
１３ 動物体領域判定部（動物体領域判定手段）
１４ 動物体領域整形部
【発明の属する技術分野】
本発明は、映像から動物体を検出する動物体検出装置および動物体検出方法に関する。
【０００２】
【従来の技術】
映像メディアの普及に伴い、大量の映像から必要な情報を効率的に検索する技術の重要性が高まっている。特に、映像中に現れる物体について、その名称、行動、色、外形などの情報をキーワードにして検索ができれば、その利便性は大きく向上する。このようなキーワード検索を実現するためには、予め映像中に現れる物体について、名称、行動などを言語により記述しておく必要がある。そのためには、映像中の物体を背景から分離する必要があるが、その技術のうち、動いている物体を検出する技術が従来提案されている。
【０００３】
ここで、動物体を検出する技術では、水面や草原など背景が変化している映像からの動物体の検出及び、カメラワークがある映像からの動物体の検出が大きな課題となっている。これは、背景が変化している場合やカメラワークがある場合は、映像のフレーム間で動物体以外の背景にあたる領域も変化しているので、動物体のみの分離が難しい為である。これを解決する手法として特許文献１が公開されている。なお、特許文献１は画像の動きベクトル量を計測することで動きのある移動領域を検出して動物体を検出する技術について記載されている。
【０００４】
【特許文献１】
特開２００２−２７４４９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１の技術による動物体の検出手法では、撮影したカメラから直接得られるパラメータを利用しているため、既に撮影された映像など、カメラのパラメータを取得できない映像には適用できない。さらに、水面や草原など時間とともに変化する背景について考慮がされていない。
【０００６】
この発明は上述した事情に鑑みてなされたもので、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することができる動物体検出方法および動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した問題点を解決するために、請求項１に記載の発明では、フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手段と、前記フレーム差分処理手段により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手段と、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手段と、前記カメラワーク有無判定手段により検出されたカメラワークの方向と、前記動きベクトル探索手段により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手段とを具備することを特徴とする。
【０００８】
また、請求項２に記載の発明では、請求項１記載の動物体検出装置において、前記カメラワーク有無判定手段は、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする。
【０００９】
また、請求項３に記載の発明では、請求項１または２に記載の動物体検出装置において、前記動物体領域判定手段は、隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手段により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする。
【００１０】
上述した問題点を解決するために、請求項４に記載の発明では、フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手順と、前記フレーム差分処理手順により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手順と、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手順と、前記カメラワーク有無判定手順により検出されたカメラワークの方向と、前記動きベクトル探索手順により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手順とを具備することを特徴とする。
【００１１】
また、請求項５に記載の発明では、請求項４記載の動物体検出方法において、前記カメラワーク有無判定手順において、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする。
【００１２】
また、請求項６に記載の発明では、請求項４または５に記載の動物体検出方法において、前記動物体領域判定手順において、隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手順により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする。
【００１３】
この発明では、フレーム差分処理手段により、フレームを複数のブロックに分割し、隣接フレーム間で同位置のブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、背景の候補領域と動物体の候補領域とを分離し、動きベクトル探索手段により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索し、カメラワーク有無判定手段により、フレームの最外周のブロックとその内側のブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの有無を判定し、動物体領域判定手段により、前記カメラワーク有無判定手段による判定結果と、前記第１の動きベクトルの方向と、前記第２の動きベクトルの方向とに基づいて、動物体を構成するブロックを特定する。したがって、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
【００１５】
Ａ．実施形態の構成
図１は、本発明による動物体検出方法を適用した動物体検出装置の構成を示すブロック図である。図において、フレーム差分処理部１０は、フレーム差分により、背景の候補領域と動物体の候補領域との分離を行なう。動きベクトル探索部１１は、フレーム差分処理部１０により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における動きベクトル、および１フレーム飛ばした次のフレームとの間における２つの動きベクトルの探索を行なう。カメラワーク有無判定部１２は、フレームの最外周とその内側の動きベクトルについて局所的な動き方向ヒストグラムを作成し、該ヒストグラムに従って、カメラワーク（パン、チルト）があるかどうかの判定を行なう。動物体領域判定部１３は、動きベクトル探索部１１により求められた隣接フレーム間における動きベクトルに基づいて、動物体を構成するマクロブロックを特定する。動物体領域整形部１４は、一連の上述した処理で動物体として判定されたマクロブロックについて、その周囲にマクロブロックの判定結果（動物体か、背景か）を参照し、動物体として確定する。
【００１６】
Ｂ．基本アルゴリズム
次に、本発明による動物体検出方法の基本アルゴリズムについて説明する。ここで、図２は、本発明による動物体検出方法の基本アルゴリズムを説明するための概念図である。
【００１７】
検出対象となる動物体が登場する状況として、カメラワークの有無や背景の変動など、様々な状況が考えられる。これらの状況を整理すると、
（１）カメラワーク無し、背景が一様、
（２）カメラワーク無し、背景が変動しない、
（３）カメラワーク無し、背景が変動する、
（４）カメラワーク有り、背景が一様、
（５）カメラワーク有り、背景が変動しない、
（６）カメラワーク有り、背景が変動する、
の６通りが挙げられる。
【００１８】
上記６通り全てに対応した動物体検出の実現方法を探るために、それぞれのフレーム間で変化する部分に着目すると、（１）と（２）、（４）については、フレーム間で変化するのは、動物体がある領域だけであると考えられるため、フレーム差分を取ることで動物体の領域を抽出することができる。しかしながら、（３）と（５）、（６）については、フレーム間で動物体以外の領域も変化するため、フレーム差分では、動物体の領域を抽出するのは難しい。
【００１９】
そこで、動物体とカメラワークがある場合の変動しない背景、変動する背景、それぞれにおけるフレーム間の動きベクトルの向きに着目すると、それぞれで動きベクトルの向きに違いがあると推測することができる。
【００２０】
すなわち、図２（ａ）に示すように、動物体の領域では、その動物体が急激な形の変動がない限りは、フレーム間で動きベクトルが見つかる。そのため、動物体の領域の動きベクトルの方向は比較的、揃っていると考えられる。
【００２１】
次に、図２（ｂ）に示すように、カメラワークがある場合の変動しない背景では、動物体の領域と同様に、急激な形の変動がない限りは、フレーム間で動きベクトルが見つかる。そのため、動きベクトルの方向は、比較的揃っていると考えられる。但し、カメラワークで動物体を追跡しているため、背景の領域と動物体の領域とでは、動きベクトルの向きは一致しないと考えられる。
【００２２】
次に、図２（ｃ）に示すように、変動のある背景領域の場合、フレーム間で領域の状態が変化しているため、対応点が存在しない。したがって、求められた動きベクトルは偶然に誤差が最小となったブロックへの動きベクトルでしかない。そのため、変動のある背景領域にある動きベクトルの方向は、動物体領域のように揃うことはなく、乱れると考えられる。
【００２３】
上述した性質に着目し、本実施形態では、変動のある背景の除去のためにフレームを飛ばした動きベクトルとの向きの比較、および、カメラワーク検出のためにフレームの最外周およびその内側の動きベクトルについて局所的な動き方向ヒストグラムの導入、以上の２つにより、上記（３）と（５）、（６）の状況における動物体の検出を実現している。以下、詳細に説明する。
【００２４】
Ｃ．背景の除去方法
次に、本実施形態による背景の除去方法について説明する。本実施形態では、２本の動きベクトルを用いて、変動する背景を除去する。なお、本実施形態では、１フレームを１６ピクセル×１６ピクセルからなる複数のマクロブロックに分割し、各マクロブロックと、対象とするフレームの同位置にあるマクロブロックの周囲、３２ピクセル×３２ピクセルに対してブロックマッチングを行ない、絶対値誤差が最小となったブロックを動きベクトルの到達ブロックとして求める。
【００２５】
前述したように、動物体と変動のある背景では、動きベクトルの向きに違いがあると推測される。図３に示すように、隣接フレーム間で求められた動きベクトル１本毎に、周囲のマクロブロックに向きが類似した動きベクトルがあるかどうか調べることで、動物体と変動のある背景とを分離することができる可能性がある。しかしながら、隣接フレームだけで、変動する背景の領域にある全ての動きベクトルの向きが乱れるとは限らず、また、フレーム間隔を離すと、動物体の早い動きに追従できなくなるため、周囲のマクロブロックの動きベクトルだけで判定するのは正確さに不安が残る。
【００２６】
そこで、動物体と変動する背景との分離を、より正確に行なうために、１つのマクロブロックについて２つの動きベクトルを用いる。その２つの動きベクトルとは、図４に示すように、１本が隣接フレーム間における動きベクトル、他の１本が１フレーム飛ばした次のフレームとの間における動きベクトルである。図示するように、例えば、飛行機のような動物体の運動は、フレーム単位で考えれば、等速直線運動に近似できるため、動物体内であれば、対象ブロック（斜線）における２本の動きベクトルの向きが大きく変動することはない。これに対して、図５に示すように、変動する背景であれば、フレームを飛ばした場合に、隣接フレームよりも、さらに変動が大きくなることが考えられるため、対象ブロック（斜線）における２本の動きベクトルの向きに違いが出てくる。
【００２７】
このように、周囲の動きベクトルとの類似性に加えて、さらに、先のフレームとの動きベクトルも判定に加えることで、より正確に動物体と背景領域との分離ができるようになる。
【００２８】
Ｄ．カメラワークの検出方法
前述したように、カメラワークが有り、変動しない背景の場合、パン（水平方向への動き）、またはチルト（垂直方向への動き）により動物体を追跡しているカメラワークであれば、背景領域の動きベクトルの向きは追跡している動物体の進行方向と一致しないと推測される。したがって、背景領域の動きベクトルの向きを把握できれば、カメラワークを検出することができると考えられる。
【００２９】
そこで、カメラワークによる背景の動きベクトルの向きを、フレーム内の最外周や、その内側の周にあるマクロブロックの動きベクトルの向きから取得する。一般に、カメラワークにより動物体を追跡する場合、図６に示すように、画面の中心部に追跡対象の動物体（図示の例では自動車）がくるようにカメラを動かしていることが多い。そのため、フレーム内の最外周やその内側の周にあるマクロブロックは、背景領域になっている可能性が高い。したがって、最外周のマクロブロックとその１ブロック内側にあるマイクロブロックとの動きベクトルの向きにより、カメラワークの有無を判定することができる。
【００３０】
Ｅ．実施形態の動作
次に、本実施形態による動物体検出アルゴリズムを用いた動物体検出方法について説明する。ここで、図７は、本実施形態による動物体検出装置の動作を説明するためのフローチャートである。
【００３１】
まず、ステップＳ１０で、フレーム差分により、背景の候補領域と動物体の候補領域との分離を行なうフレーム差分処理を行なう。該フレーム差分処理では、隣接フレーム間で、同じ位置のマクロブロック毎に、輝度の差分を求め（輝度分布差分）、閾値判定により、背景に属するマクロブロックであるのか、あるいは動物体に属する可能性のあるマクロブロックであるのかを判定する。ここで、背景と判定されたマクロブロックは動物体の検出対象から外す。
【００３２】
ここで、上記閾値判定について詳細に説明する。まず、輝度は、輝度＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｇ（Ｒ，Ｇ，Ｂはそれぞれ０〜２５５の値）で求めることができる（”コンピュータ画像処理”、田村秀行 編著、オーム社、ＩＳＢＮ４−２７４−１３２６４−１参照）。閾値は、実験的に求めたもので、１つのブロックが１６ピクセル×１６ピクセル＝２５６ピクセルであるので、１ピクセル当たり「３」の誤差を許容するとし、２５６×３＝７６８から、実験的に最もよい結果が得られた「７５０」としている。
【００３３】
閾値判定は、以下のようにして行なわれる。
（１）隣接した２つのフレームそれぞれから、同位置にあるマクロブロックを取り出す。
（２）マクロブロック内の同位置になるピクセル同士で、輝度の絶対値差分値を求めて合計する。
（３）上記（２）で求めた絶対値差分値の合計が、閾値（７５０）以上であれば、フレーム間で変化があったマクロブロックとして、動物体の領域と判定する。一方、閾値以下であれば、フレーム間で変化がなかったとして背景の領域と判定する。
【００３４】
但し、動物体の動きが遅い場合や、均一な輝度（あるいは色）を有する動物体の場合には、フレーム間における輝度変化がほとんど生じないケースがあり得る。この場合、この差分処理により、背景と判定される。そこで、前のフレームで動物体に判定されたマクロブロックについては、閾値判定の結果に関係なく、動物体の検出対象に含める。
【００３５】
次に、ステップＳ１２で、フレーム差分処理により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における動きベクトル、および１フレーム飛ばした次のフレームとの間における２つの動きベクトルの探索を行なう（動きベクトル探索）。
【００３６】
ここで、動きベクトルの探索について詳細に説明する。動きベクトルとは、Ｎ番目のフレームのマクロブロックが、Ｎ＋１番目のどこに対応しているかを表すベクトルのことである。このため、動きベクトルを求める際の比較対象は、マクロブロック単位で行なっている。すなわち、Ｎ番目のフレームの各マクロブロック毎に、Ｎ＋１番目のフレームの同位置のマクロブロックの一定範囲の周囲について、色（または輝度）の誤差が最も小さいブロックを１ピクセルずつずらしながら探索する。色（または輝度）の誤差が小さいとは、１６ピクセル×１６ピクセルのマクロブロック単位で比較し、Ｒ，Ｇ，Ｂのそれぞれの値の絶対値差分和が小さいことを示す。Ｎ＋１番目のフレームに正確に一致すれば、そのマクロブロックの絶対値差分和は、「０」になる。
【００３７】
次に、ステップＳ１４で、カメラワーク（パン、チルト）があるかどうかの判定を行なう（カメラワークの有無判定）。判定手順は、まず、最外周のマクロブロックとその１ブロック内側の周にあるマクロブロックとについて、動きベクトルの有無を調べ、有った場合には、その向きについてヒストグラムを作成する。
【００３８】
すなわち、動きベクトルの角度について、水平方向で右向きを０°として、８段階のヒストグラムを作成する。この角度が、０°〜４５°、４５°〜９０°、９０°〜１３５°、１３５°〜１８０°、１８０°〜２２５°、２２５°〜２７０°、２７０°〜３１５°、３１５°〜３６０°のどこに当てはまるかを見て、度数分布にカウントしていく。最終的に動きベクトルの本数について、例えば、次のようなヒストグラムが得られる。
【００３９】
０°〜４５° ０本
４５°〜９０° １０本
９０°〜１３５° ３３本
１３５°〜１８０° ２２本
１８０°〜２２５° ４本
２２５°〜２７０° ０本
２７０°〜３１５° ０本
３１５°〜３６０° ０本
【００４０】
次に、最外周とその内側の全マクロブロックのうち、閾値以上の数のマクロブロックで動きベクトルが見つかっているかどうかを判定する。なお、上記閾値についても、実験により決定している。最後に、動きベクトルが見つかったマクロブロックのうち、閾値以上の数のマクロブロックが同一のヒストグラムにカウントされている場合、カメラワーク有りと判定する。ここで、最も大きいヒストグラムの値がカメラワークによる背景の動きの向きを示している。
【００４１】
次に、ステップＳ１６で、上記ステップＳ１２で求めた隣接フレーム間における動きベクトルについて、１つずつ以下の３つの条件を満たすかどうかを判定し、動物体を構成するマクロブロックを特定する（動物体領域の判定）。
（１）動きベクトルの向きが、カメラワークによる背景の動きの向きと一致しないこと、
（２）上下左右のいずれかのマクロブロックに類似した向きの動きベクトルがある、
（３）１フレーム空けた次のフレームとの動きベクトルと向きが類似している。
【００４２】
上述した３つの条件を満たした場合、その動きベクトルが存在するマクロブロックを、動物体を構成するマクロブロックと判定する。そうでない場合には、背景とする。
【００４３】
次に、ステップＳ１８で、一連の上述した処理で動物体として判定された領域に対して、以下の方法で整形して動物体として確定させる（動物体領域の整形）。まず、これまでの処理で背景と判定されたマクロブロックについて、その上下にあるマクロブロックのいずれかが動物体のマクロブロックであり、かつ、その左右にあるマクロブロックのいずれかが動物体のマクロブロックであった場合、そのマクロブロックも動物体の一部として判定する。
【００４４】
次に、動物体として残ったマクロブロックのうち、その周囲にある全てのマクロブロックに動物体と判定されているマクロブロックが存在しない場合には、孤立した背景領域と考えて除去する。
【００４５】
最後に、前のフレームで動物体と判定された領域と比較を行ない、動物体の一部であるにも拘わらず、これまでの整形処理で埋めきれなかったマクロブロックを救済する。ここでの判定方法では、基本的に、前のフレーム間で動物体の領域であったマクロブロックが、次のフレームになって突然、消滅することはないということを前提として、前のフレーム間（Ｎ−１番目とＮ番目のフレーム間）で動物体の領域であると判定された領域を記憶しておいたものと比較している。
【００４６】
上述した実施形態によれば、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体の検出ができる。今後、情報機器とネットワーク技術の進歩により、コンテンツ流通システムが重要となってくる。この中で映像アーカイブシステムは、中心となるシステムであり、その利便性を高めるためには、言語情報による映像の検索技術が欠かせない。現在のところ、人手により映像情報を言語により記述するしかないため、このような動物体検出技術を確立しておくと、こうした映像情報の記述の支援に役立つ。また、映像の中に登場する動物体を自動で認識することによる映像の内容情報の自動記述に応用できるため、今後の技術開発を行なっていく上でベースとなる重要な技術である。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、フレーム差分処理手段により、フレームを複数のブロックに分割し、隣接フレーム間で同位置のブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、背景の候補領域と動物体の候補領域とを分離し、動きベクトル探索手段により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索し、カメラワーク有無判定手段により、フレームの最外周のブロックとその内側のブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの有無を判定し、動物体領域判定手段により、前記カメラワーク有無判定手段による判定結果と、前記第１の動きベクトルの方向と、前記第２の動きベクトルの方向とに基づいて、動物体を構成するブロックを特定するようにしたので、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することができるという利点が得られる。
【図面の簡単な説明】
【図１】 本発明による動物体検出方法を適用した動物体検出装置の構成を示すブロック図である。
【図２】 本発明による動物体検出方法の基本アルゴリズムを説明するための概念図である。
【図３】 動きベクトルを用いて変動する背景の除去方法を説明するための概念図である。
【図４】 フレーム間における動きベクトルを用いて動物体と変動する背景とを分離する方法を説明するための概念図である。
【図５】 フレーム間における変動する背景での動きベクトルの向きの違いを説明するための概念図である。
【図６】 カメラワークの有無判定を説明するための概念図である。
【図７】 本実施形態による動物体検出方法を説明するためのフローチャートである。
【符号の説明】
１０ フレーム差分処理部（フレーム差分処理手段）
１１ 動きベクトル探索部（動きベクトル探索手段）
１２ カメラワーク有無判定部（カメラワーク有無判定手段）
１３ 動物体領域判定部（動物体領域判定手段）
１４ 動物体領域整形部
Claims (6)
- フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手段と、
前記フレーム差分処理手段により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手段と、
前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手段と、
前記カメラワーク有無判定手段により検出されたカメラワークの方向と、前記動きベクトル探索手段により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手段と
を具備することを特徴とする動物体検出装置。 - 前記カメラワーク有無判定手段は、
前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする請求項１記載の動物体検出装置。 - 前記動物体領域判定手段は、
隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手段により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする請求項１または２に記載の動物体検出装置。 - フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手順と、
前記フレーム差分処理手順により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手順と、
前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手順と、
前記カメラワーク有無判定手順により検出されたカメラワークの方向と、前記動きベクトル探索手順により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手順と
を具備することを特徴とする動物体検出方法。 - 前記カメラワーク有無判定手順において、
前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする請求項４記載の動物体検出方法。 - 前記動物体領域判定手順において、
隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手順により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする請求項４または５に記載の動物体検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003105341A JP4330914B2 (ja) | 2003-04-09 | 2003-04-09 | 動物体検出装置および動物体検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003105341A JP4330914B2 (ja) | 2003-04-09 | 2003-04-09 | 動物体検出装置および動物体検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004310595A JP2004310595A (ja) | 2004-11-04 |
| JP4330914B2 true JP4330914B2 (ja) | 2009-09-16 |
Family
ID=33467882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003105341A Expired - Fee Related JP4330914B2 (ja) | 2003-04-09 | 2003-04-09 | 動物体検出装置および動物体検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4330914B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4496992B2 (ja) * | 2005-03-02 | 2010-07-07 | 日本電信電話株式会社 | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 |
| JP4758272B2 (ja) * | 2006-04-19 | 2011-08-24 | 富士通株式会社 | 移動物体追跡装置及びプログラム |
| JP5424496B2 (ja) * | 2011-01-11 | 2014-02-26 | 学校法人東京理科大学 | 動物体検出装置および動物体検出方法 |
| WO2013021767A1 (ja) * | 2011-08-10 | 2013-02-14 | 富士フイルム株式会社 | 動体検出装置及び方法 |
| JP6157242B2 (ja) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP6188592B2 (ja) * | 2014-01-21 | 2017-08-30 | 三菱電機株式会社 | 物体検出装置、物体検出方法、および物体検出プログラム |
| US9721350B2 (en) * | 2015-06-26 | 2017-08-01 | Getalert Ltd. | Methods circuits devices systems and associated computer executable code for video feed processing |
| JP6700929B2 (ja) * | 2016-04-19 | 2020-05-27 | キヤノン株式会社 | 動きベクトル検出装置、撮像装置、動きベクトル検出方法、プログラム、および、記憶媒体 |
| JP6734994B2 (ja) * | 2017-06-23 | 2020-08-05 | 株式会社日立製作所 | ステレオ計測装置及びシステム |
-
2003
- 2003-04-09 JP JP2003105341A patent/JP4330914B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004310595A (ja) | 2004-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20090169067A1 (en) | Face detection and tracking method | |
| KR100860988B1 (ko) | 시퀀스들에서의 객체 탐지를 위한 방법 및 장치 | |
| EP2172903B1 (en) | Video motion detection | |
| US8335350B2 (en) | Extracting motion information from digital video sequences | |
| US9619696B2 (en) | Duplicate reduction for face detection | |
| US20120218427A1 (en) | Method for providing a stabilized video sequence | |
| EP2270749A2 (en) | Methods of representing images | |
| JP4764172B2 (ja) | 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム | |
| JP4330914B2 (ja) | 動物体検出装置および動物体検出方法 | |
| CN110765903A (zh) | 行人重识别方法、装置及存储介质 | |
| KR101125936B1 (ko) | 엘리베이터 보안을 위한 지능형 영상 감시시스템 및 그 방법 | |
| US9984294B2 (en) | Image classification method and apparatus for preset tour camera | |
| Yoon et al. | Event detection from MPEG video in the compressed domain | |
| KR101214858B1 (ko) | 클러스터링 기법을 이용한 이동물체 검출장치 및 방법 | |
| CN111223131B (zh) | 一种特定目标与嫌疑目标持续移动的监控追踪方法 | |
| US20070196018A1 (en) | Method of multi-path block matching computing | |
| Gao et al. | To accelerate shot boundary detection by reducing detection region and scope | |
| JP2000030033A (ja) | 人物検出方法 | |
| KR20030064668A (ko) | 객체식별이 가능한 영상처리 디지탈녹화시스템 | |
| JP2004078432A (ja) | オブジェクト抽出装置、オブジェクト抽出方法および画像表示装置 | |
| Prabavathy et al. | Gradual transition detection in shot boundary using gradual curve point. | |
| Fard et al. | A block matching based method for moving object detection in active camera | |
| US20130121586A1 (en) | Determining representative images for a video | |
| Naito et al. | Camera motion detection using video mosaicing | |
| Amudha et al. | Video shot detection using saliency measure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090617 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |