JP2006331416A - シーンをモデル化する方法 - Google Patents
シーンをモデル化する方法 Download PDFInfo
- Publication number
- JP2006331416A JP2006331416A JP2006131540A JP2006131540A JP2006331416A JP 2006331416 A JP2006331416 A JP 2006331416A JP 2006131540 A JP2006131540 A JP 2006131540A JP 2006131540 A JP2006131540 A JP 2006131540A JP 2006331416 A JP2006331416 A JP 2006331416A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- layer
- covariance
- layers
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】ビデオがシーンについて取得される。ビデオの各フレーム内の各画素が複数の層によって表現される。各層は複数のガウス分布を含む。各ガウス分布は平均及び共分散を含む。共分散は逆ウィシャート分布である。次に、層はフレーム毎に、再帰的なベイズ推定プロセスにより更新されて、シーンのモデルが構築される。このモデルは、層の信頼度に従って前景画素及び背景画素を検出するために用いることができる。
【選択図】図3
Description
図1は、本発明による、シーン102中の移動物体を検出するためにシーン102をモデル化する方法100を示す。カメラ103によりシーン102についてビデオ101を取得する。ビデオの各フレーム内の画素毎に、モデルパラメータ109に従って3D多変量ガウス分布の複数の層200によってシーンをモデル化する110。各層は、画素の経時的な様々な外観、すなわち、色強度に対応する。本発明では、赤、緑、及び青(RGB)の色空間で動作を行う。シーンモデルの層の変化を判定して、シーン中の移動物体121を検出する120。本方法の詳細なステップは、後述する図3に示す。
図2は、本発明によるモデルの複数の層200の単純化した概略図である。縦軸201は信頼度(confidence score)を示し、横軸202は画素の色値を示し、ともに[0,1]の範囲に標準化されている。或る層が所定の信頼度閾値203未満である場合、その層はシーン中の背景をモデル化するものとみなされ、そうでない場合、その層は前景をモデル化する。図示の例の場合、層210は「最も信頼度の高い」前景層とみなされ、層220は「最も信頼度の低い」背景層である。
本発明では、再帰的なベイズ推定を用いてモデルを更新するが、各層の平均パラメータ及び分散パラメータは推定せず、その代わりに、図2に示すような、各ガウス分布の平均及び分散の確率分布を推定する。次に、この確率分布から層のモデルパラメータの統計情報を抽出する。平均及び分散の期待値を用いることによってシーンにおける変化を検出する。平均の分散は、本発明の再帰的なベイズ推定の埋め込み信頼度201である。
本発明では、ビデオ中の画素の色強度は、平均がμであり共分散がΣである正規分布であると仮定する。平均及び分散は未知であり、ランダム変数としてモデル化される。ベイズの定理によれば、結合事後密度(joint posterior density)は次のように表すことができる。
図3に示すように、本発明では、モデル200を各画素のガウス分布のk個の層により初期化する。通常、本発明では、シーンの複雑度に応じて3つ〜5つの層を選択する。非常に動的なシーンでは追加の層を用いることができる。各画素の新たなサンプルxを観測すると、本発明のモデルのパラメータ109を更新する。
本発明のモデルは、シュタウファー等(上記を参照)によって作成されるモデルと同じように見えるが、大きな違いがある。シュタウファーのモデルでは、各画素がガウス分布の混合として表現される。ガウス分布及び混合係数のパラメータが、オンラインでの期待値最大化(EM)のK平均近似により更新される。この方法は、初期観測値に非常に影響を受け易い。ガウス分布が不適切に初期化された場合、全ての成分が最終的には分布の最も大きな峰に収束する。大きな峰の付近にある小さな峰は決して検出されない。
シーンモデルの推定統計値を用いて、シーン中の「変化している」領域、すなわち、おそらくは移動物体に対応する画素領域を検出することができる。1つの画素を表現するために必要な層の数は事前には分からないため、モデルを必要な数よりも多い層で初期化する。
上述のように、シーンモデルは、ビデオ中の画素の色を表す。このモデルを画素の動き特徴、テクスチャ特徴、及び方向特徴により拡張することも可能である。例えば、画素毎に、色に加えて動き、テクスチャ及び方向を求めることが可能である。画素の方向は、画素強度勾配から求めることができる。動き、テクスチャ及び方向を次に、上述のようなガウス分布の複数の動き層、テクスチャ層及び方向層によって同様に表現して、シーンの対応する動きモデル、テクスチャモデル及び方向モデルを構築することができる。
Claims (28)
- シーンをモデル化する方法であって、
シーンのビデオを取得すること、
前記ビデオの各フレーム内の各画素を複数の層により表現することであって、各層は複数のガウス分布を含み、各ガウス分布は平均及び共分散を含み、前記共分散は逆ウィシャート分布であること、及び
フレーム毎に、前記複数の層を再帰的なベイズ推定プロセスにより更新することによって、前記シーンのモデルを構築すること
を含む、シーンをモデル化する方法。 - 前記再帰的なベイズ推定プロセスは、各ガウス分布の前記平均及び前記共分散の確率分布を推定する、請求項1に記載の方法。
- 前記推定される確率分布の前記平均を前記モデルの前記層のパラメータとして割り当てることをさらに含む、請求項2に記載の方法。
- 各画素の各層は前記画素の経時的な様々な外観に対応する、請求項1に記載の方法。
- 前記複数の層における変化を判定することによって、前記シーン中の移動物体を検出することをさらに含む、請求項1に記載の方法。
- 前記再帰的なベイズ推定プロセスは、各ガウス分布の前記平均及び前記共分散の確率分布を経時的に求め、前記平均の分散は、前記ベイズ推定プロセスによる各層の信頼度である、請求項1に記載の方法。
- 信頼度が所定閾値未満である層は背景画素を表し、そうでない場合は前景画素を表す、請求項6に記載の方法。
- 各層は3つの一変量ガウス分布として表現され、前記一変量分布は前記ビデオ中の各カラーチャネルに対して1つずつである、請求項1に記載の方法。
- 前記層の数は前記シーンの複雑度に依存する、請求項1に記載の方法。
- 信頼度の低い層を経時的に削除すること、及び
新たな層を初期化すること
をさらに含む、請求項6に記載の方法。 - 前記ビデオは、1フレーム毎秒のフレームレートで取得される、請求項1に記載の方法。
- 各層についてマハラノビス距離を測定すること
をさらに含む、請求項1に記載の方法。 - 以前にサンプリングされた色値の組を画素毎に記憶すること、
前記更新のレートを下げること、及び
以前にサンプリングされた色値を前記再帰的なベイズ推定プロセスに用いること
をさらに含む、請求項1に記載の方法。 - 各フレーム内の各画素の動きを求めること、
前記ビデオの各フレーム内の各画素の前記動きを複数の動き層により表現すること、及び
フレーム毎に、前記複数の動き層を前記再帰的なベイズ推定プロセスにより更新することによって、前記シーンの動きモデルを構築すること
をさらに含む、請求項1に記載の方法。 - 各画素のテクスチャを求めること、
前記ビデオの各フレーム内の各画素の前記テクスチャを複数のテクスチャ層により表現すること、及び
フレーム毎に、前記複数のテクスチャ層を前記再帰的なベイズ推定プロセスにより更新することによって、前記シーンのテクスチャモデルを構築すること
をさらに含む、請求項1に記載の方法。 - 各画素の勾配を求めること、
前記勾配に従って各画素の方向を求めること、
前記ビデオの各フレーム内の各画素の前記方向を複数の方向層により表現すること、及び
フレーム毎に、前記複数の方向層を前記再帰的なベイズ推定プロセスにより更新することによって、前記シーンの方向モデルを構築すること
をさらに含む、請求項1に記載の方法。 - シーンをモデル化する方法であって、
シーンのビデオを取得すること、及び
前記ビデオの各フレーム内の画素毎に、再帰的なベイズ推定プロセスを用いて、前記画素の色の第1の平均及び第1の共分散並びに該第1の共分散の第2の平均及び第2の共分散を更新すること
を含む、シーンをモデル化する方法。 - 画素毎に、前記第1の平均、前記第1の共分散、前記第2の平均及び前記第2の共分散を複数の層として表現することであって、各層は複数のガウス分布を含むこと
をさらに含む、請求項17に記載の方法。 - 前記第1の共分散及び前記第2の共分散は、逆ウィシャート分布である、請求項17に記載の方法。
- 前記第1の平均、前記第1の共分散、前記第2の平均及び第2の共分散における変化を判定することによって、前記シーン中の移動物体を検出すること
をさらに含む、請求項17に記載の方法。 - 前記再帰的なベイズ推定プロセスは、各ガウス分布の前記平均及び分散の確率分布を経時的に求め、前記平均の前記分散の逆は各層の信頼度である、請求項17に記載の方法。
- 信頼度が所定閾値よりも高い層は背景画素を表し、そうでない場合は前景画素を表す、請求項21に記載の方法。
- 各層は多数の多変量ガウス分布として表現され、該多変量分布は前記ビデオ中の全カラーチャネルに対して1つずつである、請求項17に記載の方法。
- 前記層の最大数は前記シーンの複雑度に依存する、請求項17に記載の方法。
- 前記ビデオの前記現フレーム内の各画素の前記観測された色から各層についてマハラノビス距離を測定すること
をさらに含む、請求項17に記載の方法。 - 層平均、自由度、及び層スケール行列を更新する以前の測定値の数をインクリメントすること
をさらに含む、請求項17に記載の方法。 - 計算されたマハラノビス距離が前記層の前記共分散に比例する閾値よりも大きい層の前記信頼度を経時的に低減すること、
信頼度の低い層を経時的に削除すること、及び
新たな層を初期化すること
をさらに含む、請求項25に記載の方法。 - 各画素の以前の色値の組を記憶すること、
前記更新のフレームレートを下げること、
更新パラメータを前記組中の前記色値の数に等しく調整すること、及び
前記色値の組及び前記更新パラメータを前記再帰的なベイズ推定プロセスに使用すること
をさらに含む、請求項17に記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/133,894 US7466842B2 (en) | 2005-05-20 | 2005-05-20 | Modeling low frame rate videos with bayesian estimation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006331416A true JP2006331416A (ja) | 2006-12-07 |
JP4619987B2 JP4619987B2 (ja) | 2011-01-26 |
Family
ID=37448333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006131540A Expired - Fee Related JP4619987B2 (ja) | 2005-05-20 | 2006-05-10 | シーンをモデル化する方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7466842B2 (ja) |
JP (1) | JP4619987B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008257693A (ja) * | 2007-04-05 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | シーン中に置き去りにされた物体を検出する方法 |
JP2008262533A (ja) * | 2006-12-12 | 2008-10-30 | Ind Technol Res Inst | 火炎検出方法及びその装置 |
JP2008544334A (ja) * | 2005-06-27 | 2008-12-04 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | シーンをモデル化する方法 |
US7868772B2 (en) | 2006-12-12 | 2011-01-11 | Industrial Technology Research Institute | Flame detecting method and device |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8014590B2 (en) * | 2005-12-07 | 2011-09-06 | Drvision Technologies Llc | Method of directed pattern enhancement for flexible recognition |
US7756296B2 (en) * | 2007-03-27 | 2010-07-13 | Mitsubishi Electric Research Laboratories, Inc. | Method for tracking objects in videos using forward and backward tracking |
AU2007254600B2 (en) * | 2007-12-20 | 2011-04-14 | Canon Kabushiki Kaisha | Collaborative tracking |
JP5264582B2 (ja) * | 2008-04-04 | 2013-08-14 | キヤノン株式会社 | 監視装置、監視方法、プログラム、及び記憶媒体 |
US20120075296A1 (en) * | 2008-10-08 | 2012-03-29 | Strider Labs, Inc. | System and Method for Constructing a 3D Scene Model From an Image |
FR2944629B1 (fr) * | 2009-04-17 | 2017-01-20 | Univ De Tech De Troyes | Systeme et procede de localisation de cible par un reseau de cameras |
CN102622763A (zh) * | 2012-02-21 | 2012-08-01 | 芮挺 | 阴影检测与消除方法 |
US9471833B1 (en) * | 2012-04-03 | 2016-10-18 | Intuit Inc. | Character recognition using images at different angles |
GB201213604D0 (en) * | 2012-07-31 | 2012-09-12 | Bae Systems Plc | Detectig moving vehicles |
US9098919B2 (en) * | 2012-10-04 | 2015-08-04 | Honeywell International Inc. | Detecting motion in a high resolution video |
CN103150738A (zh) * | 2013-02-02 | 2013-06-12 | 南京理工大学 | 分布式多传感器运动目标的检测方法 |
US10812815B2 (en) * | 2014-08-29 | 2020-10-20 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for compressing video images |
CN105740814B (zh) * | 2016-01-29 | 2018-10-26 | 重庆扬讯软件技术股份有限公司 | 一种使用视频分析确定固废危废存放状态的方法 |
US10922551B2 (en) | 2017-10-06 | 2021-02-16 | The Nielsen Company (Us), Llc | Scene frame matching for automatic content recognition |
CN110378867A (zh) * | 2018-09-26 | 2019-10-25 | 惠州学院 | 通过前景背景像素对和灰度信息获得透明度遮罩的方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259660A (ja) * | 1998-02-12 | 1999-09-24 | Mitsubishi Electric Inf Technol Center America Inc | 三次元動作復元システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5233541A (en) * | 1990-08-10 | 1993-08-03 | Kaman Aerospace Corporation | Automatic target detection process |
US6591146B1 (en) * | 1999-09-16 | 2003-07-08 | Hewlett-Packard Development Company L.C. | Method for learning switching linear dynamic system models from data |
US7006950B1 (en) * | 2000-06-12 | 2006-02-28 | Siemens Corporate Research, Inc. | Statistical modeling and performance characterization of a real-time dual camera surveillance system |
US6954544B2 (en) * | 2002-05-23 | 2005-10-11 | Xerox Corporation | Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences |
-
2005
- 2005-05-20 US US11/133,894 patent/US7466842B2/en not_active Expired - Fee Related
-
2006
- 2006-05-10 JP JP2006131540A patent/JP4619987B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259660A (ja) * | 1998-02-12 | 1999-09-24 | Mitsubishi Electric Inf Technol Center America Inc | 三次元動作復元システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008544334A (ja) * | 2005-06-27 | 2008-12-04 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | シーンをモデル化する方法 |
JP4722923B2 (ja) * | 2005-06-27 | 2011-07-13 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | コンピュータビジョンによりシーンをモデル化する方法 |
JP2008262533A (ja) * | 2006-12-12 | 2008-10-30 | Ind Technol Res Inst | 火炎検出方法及びその装置 |
US7868772B2 (en) | 2006-12-12 | 2011-01-11 | Industrial Technology Research Institute | Flame detecting method and device |
JP4668978B2 (ja) * | 2006-12-12 | 2011-04-13 | インダストリアル テクノロジー リサーチ インスティテュート | 火炎検出方法及びその装置 |
JP2008257693A (ja) * | 2007-04-05 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | シーン中に置き去りにされた物体を検出する方法 |
Also Published As
Publication number | Publication date |
---|---|
US20060262959A1 (en) | 2006-11-23 |
JP4619987B2 (ja) | 2011-01-26 |
US7466842B2 (en) | 2008-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4619987B2 (ja) | シーンをモデル化する方法 | |
Wren et al. | Pfinder: Real-time tracking of the human body | |
JP4782123B2 (ja) | カメラによりシーンに関して取得された映像中の移動物体を追跡する方法 | |
Tuzel et al. | A bayesian approach to background modeling | |
US7418134B2 (en) | Method and apparatus for foreground segmentation of video sequences | |
US8159536B2 (en) | Method for detecting desired objects in a highly dynamic environment by a monitoring system | |
JP5058010B2 (ja) | シーン中に置き去りにされた物体を検出する方法 | |
Jeyakar et al. | Robust object tracking with background-weighted local kernels | |
JP4699564B2 (ja) | 視覚背景抽出器 | |
Liu et al. | Nonparametric background generation | |
Tavakkoli et al. | Non-parametric statistical background modeling for efficient foreground region detection | |
Al-Najdawi et al. | An automated real-time people tracking system based on KLT features detection. | |
Porikli et al. | Object tracking in low-frame-rate video | |
Pece | From cluster tracking to people counting | |
Pless | Spatio-temporal background models for outdoor surveillance | |
Wan et al. | Background subtraction based on adaptive non-parametric model | |
Wang et al. | A dynamic Hidden Markov Random Field Model for foreground and shadow segmentation | |
Elgammal | Figure-ground segmentation—pixel-based | |
Wang et al. | A probabilistic method for foreground and shadow segmentation | |
Kaur | Background subtraction in video surveillance | |
Lindstrom et al. | Background and foreground modeling using an online EM algorithm | |
Guo et al. | A robust foreground segmentation method by temporal averaging multiple video frames | |
Hao et al. | A temporal-spatial background modeling of dynamic scenes | |
Antić et al. | Robust detection and tracking of moving objects in traffic video surveillance | |
Miller et al. | Foreground segmentation in surveillance scenes containing a door |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101026 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101027 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4619987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |