JP3037469B2 - 物体像の抽出処理方法 - Google Patents

物体像の抽出処理方法

Info

Publication number
JP3037469B2
JP3037469B2 JP3187981A JP18798191A JP3037469B2 JP 3037469 B2 JP3037469 B2 JP 3037469B2 JP 3187981 A JP3187981 A JP 3187981A JP 18798191 A JP18798191 A JP 18798191A JP 3037469 B2 JP3037469 B2 JP 3037469B2
Authority
JP
Japan
Prior art keywords
background
image
pixel
moving
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP3187981A
Other languages
English (en)
Other versions
JPH0535874A (ja
Inventor
敦 佐藤
健二 間瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP3187981A priority Critical patent/JP3037469B2/ja
Publication of JPH0535874A publication Critical patent/JPH0535874A/ja
Application granted granted Critical
Publication of JP3037469B2 publication Critical patent/JP3037469B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,移動する対象物体を含
む背景を固定した動画像中から,閾値処理により背景領
域と動物体領域とを分離するための,物体像を抽出する
物体像の抽出処理方法に関するものである。
【0002】
【従来の技術】従来,動画像中の動物体領域を求める方
法としては,あらかじめ背景像に相当する画像の輝度情
報を蓄えておき,入力動画像の輝度値と比較してその差
分がある閾値以上の画素を取り出すことによって移動物
体を抽出する方法が一般的である。
【0003】
【発明が解決しようとする課題】しかし,この方法で
は,屋外など日照条件により背景の明るさが変化する場
合には,蓄積した背景値と明るさの変化した背景部の輝
度値との差分が大きくなり,誤って抽出してしまうこと
がある。また,照明・天候などの変化や撮像系のノイズ
などにより背景値が各画素で異なる微変動をすると,物
体抽出のための閾値を全画素共通に一つだけ定めておく
方法では,この変動によりやはり抽出に失敗することが
ある。これらの誤抽出を避けるために閾値幅を広げる方
法が考えられるが,動領域のうち背景に近い輝度値を有
する領域が抽出できず,動領域の抽出が不十分となって
しまうという問題がある。また,特徴量として画像の輝
度情報だけでは,背景と物体との完全な分離をするには
不十分なことが多く,多様な特徴量を用いる必要があ
る。
【0004】本発明は,上記従来の問題点の解決を図る
ことを目的としており,動画像に対して背景から動物体
を安定に分離・抽出するために,撮影条件の変化に対す
る追従性を備え,かつ適応的に変化する閾値決定の機構
を持つ動物体の物体像の抽出処理方法を提供することを
目的としている。
【0005】
【課題を解決するための手段】上記の動物体の抽出方法
を,図1の原理構成図を参照して説明する。図中の1−
1はフレーム毎での特徴抽出部であって,TVカメラな
どの撮像装置からフレーム単位で入力された動画像を,
各フレーム毎に必要とする複数の特徴量を画素毎に抽出
する。この特徴量は,画像のカラー情報より抽出できる
輝度,色相,彩度,隣接画素との濃度勾配,その他の表
色系で表現される量,あるいは赤外線カメラなどから得
られる濃度情報である。
【0006】1−2は背景モデル構成部であって,上記
特徴量のうち一つ以上の特徴の系列を用いて,画素毎に
対象とするフレームでの背景モデルを構成する。背景モ
デルは,対象とするフレームの注目する画素に対して背
景判定を行い,現在までに背景とみなされた複数枚の注
目画素の系列情報から得られる背景の微変動を表すパラ
メータと,その複数枚の背景相当画素群とを,全画素に
わたり抽出することにより構成する。
【0007】例えば,ある二特徴v1 ,v2 を用いた場
合,ある画素上での画素値は図2のように分布すること
になる。図中,2−1は背景相当画素,2−2は背景で
はない画素,2−3は背景領域,2−4は分布中心,2
−5,2−6は拡がりを表している。背景モデルは,背
景に相当する複数個の画素2−1の分布の拡がりの中心
2−4と大きさとを表すパラメータ(分布中心の位置
(m1 ,m2 ),拡がり度A,B)と,背景領域
(Rb )2−3内の画素値群によって構成する。
【0008】背景判定および背景更新は,図3に示すよ
うに,現在までの背景領域Rb を基に過去の背景値から
の緩変化をカバーするような背景更新領域Rn を設定
し,現フレームの画素値が更新領域内にあれば背景に相
当するとし,最も古いフレームの画素と入れ換えて新し
い背景モデル(背景領域はRb ' となる)を再構成す
る。また更新領域外であれば,モデルは更新しない。な
お,初期背景モデルは,複数枚の明らかに動物体を含ま
ない背景像から,その分布を表すパラメータと画像群に
より構成する。なお,図3において,3−1は背景相当
画素,3−2は最も古いフレームの画素,3−3は現フ
レームの画素,3−4は背景領域,3−5は背景更新領
域,3−6は更新された背景領域を表している。
【0009】図1に示す1−3は閾値処理部であって,
図4に示すように,各画素毎に背景領域Rb を反映した
動物体抽出領域Rm を設定し,対象とするフレームの画
素値が動物体領域内にあれば動物体とみなし抽出する。
なお図4において,4−1は背景相当画素,4−2は現
フレームの画素値,4−3は背景領域,4−4は動物体
抽出領域を表している。
【0010】更に,上記の背景モデルの更新および動物
体像の判定を,各フレームの各画素に対して逐次行うこ
とにより,撮影条件の変化に追従しかつ適応的な閾値処
理が行え,背景の変動にロバストな動物体像が抽出でき
る。
【0011】
【作用】複数フレームの画像特徴から背景の変動を反映
した背景モデルを構成することにより,撮影条件の変化
に追従し,かつ各画素毎に適応的な閾値処理を行うこと
が可能であることが,最も主要な特徴であり,従来技術
との相違点である。
【0012】
【実施例】本発明の一実施例として,画像から得られる
特徴を1次元の画像の輝度情報とし,動物体像を含む動
画像から動領域を抽出する手法について説明する。
【0013】図5は,本実施例における動物体像の抽出
処理の構成を示す。まず,テレビカメラ等の画像入力系
を介して動画像を入力し,画像蓄積部5−1に,対象と
する動画像を各フレーム毎に蓄積する。蓄積された順
に,各フレーム画像を画像蓄積部5−1から画像メモリ
5−2に送出する。特徴抽出部5−3においては,画像
メモリ5−2の画像の輝度情報を算出し,特徴像メモリ
5−4に蓄積する。
【0014】初期モデル構成部5−5においては,指定
したフレームt0 から過去Nフレームを背景相当像とみ
なし,各画素毎に特徴像メモリ5−4から背景相当像の
画素値xi,j のN個の値を読みだし,その平均μi,j
よび分散σi,j を第(1) (2)式を用いて算出する。背景
モデルの構成はこれらをパラメータとする物体抽出及び
モデル更新のための閾値M,A,B,Cであり,第(3)
〜(6) 式で決定する(ただし,xi,j (t) は,時刻t,
位置(i,j)での画素値を表す。μi,j ,σ i,j ,M
i,j ,Ai,j ,Bi,j ,Ci,j も同様である)。決定し
た背景モデルの各パラメータおよび背景相当像群の輝度
値を背景モデル記憶バッファ5−6に格納する。
【0015】
【数1】
【0016】(ただし,α,β1 ,β2 は一定値とす
る。) 背景モデル算出部5−7においては,指定したフレーム
0 以降のフレーム(t1 とする)の特徴像メモリ5−
4から取り出される画素値が,第(7) 式を満足するかど
うかを調べ,もし満足すれば背景であると判定する。
【0017】 Mi,j −Ai,j <xi,j <Mi,j+Ai,j (7) 背景と判定された場合には,現在の画素値も含めた最新
のN枚のフレームの背景相当値から,第(8) 〜(13)式に
基づきモデルパラメータの再算出および背景相当像群の
交換を行い,背景モデルの更新を行う。ここでモデルの
更新は,背景モデル記憶バッファ5−6に記憶している
N枚のフレーム分の画素単位に独立な画像データに対
し,新しい画素値を当該画素の最も古い画素値と交換す
ることにより行う。この作業は画素独立に行われるので
初期状態からある程度更新された後のモデルでは,画素
毎のデータが収集された時刻は必ずしも一致しない。
【0018】
【数2】
【0019】また,閾値処理部5−8において,背景モ
デル記憶バッファ5−6の対応するパラメータに対し
て,特徴像メモリ5−4からの画素値が第(14)式を満た
すとき,その画素は動物体領域内であると判定する。更
に,動物体か背景かの判定結果をその位置情報と共に動
物体像メモリ5−9に蓄積し,動物体出力部5−10に
より出力する。
【0020】 Mi,j −Bi,j >x,Mi,j +Ci,j <x (14) なお,本実施例では,初期モデル構成部および背景モデ
ル算出部において算出する閾値パラメータA,B,Cは
第(4)(5)(6) 式および第(11)(12)(13)式に表されるよう
にσの定数倍により算出している。しかし,第(15)〜(1
7)式のようにσに依らず定数として,高速な閾値処理を
行うことが可能である。
【0021】 Ai,j =γ0 (15) Bi,j =γ1 (16) Ci,j =γ2 (17) また,第(18)〜(20)式のようにσの2次関数で表現すれ
ば,背景の緩変化により背景値分布が広がり,σが激増
しても,閾値A,B,Cの増加を抑えることができ,背
景モデルの過剰を抑制および更新動物体抽出の精度向上
が実現できる。
【0022】 Ai,j =p0 σi,j 2 +q0σi,j +r0 (18) Bi,j =p1 σi,j 2 +q1σi,j +r1 (19) Ci,j =p2 σi,j 2 +q2σi,j +r2 (20) (ただし,γ0 ,γ1 ,γ2 ,p0 ,q0 ,r0
1 ,q1 ,r1 ,p2 ,q 2 ,r2 は一定とする) また,本実施例では,画像の特徴を1次元の画像の輝度
情報として説明したが,多次元の特徴量を用いた場合の
背景モデルの構成および動物体抽出処理は,本発明の原
理にならい,多次元の特徴量分布の広がりを規定するパ
ラメータを抽出することで可能である。例えば2次元の
特徴量を用いた場合は,その特徴量分布の主成分分析の
結果から得られる集中楕円の形状もとに背景領域の境界
を決定すればよい。集中楕円とは,2変数の分散共分散
行列の2つの固有ベクトルを長軸,短軸とし,固有値の
平方根をその長さとする楕円である。3次元以上の特徴
量を用いた場合も同様に処理が可能である。
【0023】
【発明の効果】本発明によれば,撮影条件の変化に対す
る追従性を備え,かつ局所的な背景特性を考慮した動物
体の安定な分離・抽出が可能となるだけでなく,複数フ
レームを有効に用いた動画像処理が可能となり,人物像
の動作解析や自動車などの運動解析における有用な道具
となる。
【0024】従来技術では,蓄積した背景値から更新さ
れないため,背景の明るさが緩変化すると物体領域を正
しく抽出できなくなる。また,背景値が各画素で異なる
微変動をするため,抽出する閾値が全画素共通に一定で
あると,動領域の完全な抽出ができなかったものであ
る。
【図面の簡単な説明】
【図1】本発明の原理構成図を表す。
【図2】複数フレームの背景相当像の2特徴の分布を表
す。
【図3】背景更新の判定手法を表す。
【図4】動物体抽出の判定手法を表す。
【図5】本発明の一実施例の構成を示す図を表す。
【符号の説明】
1−1 特徴抽出部 1−2 背景モデル構成部 1−3 閾値処理部 2−1 背景相当画素 2−2 背景ではない画素 2−3 背景領域 2−4 背景分布の中心 2−5,2−6 分布の広がり度 3−1 背景相当画素 3−2 最も古いフレームの画素 3−3 現フレームの画素 3−4 背景領域 3−5 背景更新領域 3−6 更新された背景領域 4−1 背景相当画素 4−2 現フレームの画素 4−3 背景領域 4−4 動物体抽出領域 5−1 画像蓄積部 5−2 画像メモリ 5−3 特徴抽出部 5−4 特徴像メモリ 5−5 初期モデル構成部 5−6 背景モデル記憶バッファ 5−7 背景モデル算出部 5−8 閾値処理部 5−9 動物体像メモリ 5−10 動物体出力部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 7/20 JICSTファイル(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 移動する対象物体を含む動画像中から動
    物体の領域を抽出する物体像の抽出処理方法において, 該動画像中の各フレームの画像から画素毎に1つ以上の
    特徴量を抽出し,背景に相当する複数フレームの特徴量
    群とそれらより計算される統計量で背景モデルを構成
    し, 構成されたモデルから算出される物体抽出のための閾値
    を用いて動物体領域と背景領域との分離を画素毎に行
    い,現フレームを含む特徴量群から背景モデルを再構成
    し, 動領域分離とモデル更新とを逐次的に行うことにより, 背景の変化に追従しつつ最適な閾値処理で動領域を抽出
    することを特徴とする物体像の抽出処理方法。
JP3187981A 1991-07-29 1991-07-29 物体像の抽出処理方法 Expired - Lifetime JP3037469B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3187981A JP3037469B2 (ja) 1991-07-29 1991-07-29 物体像の抽出処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3187981A JP3037469B2 (ja) 1991-07-29 1991-07-29 物体像の抽出処理方法

Publications (2)

Publication Number Publication Date
JPH0535874A JPH0535874A (ja) 1993-02-12
JP3037469B2 true JP3037469B2 (ja) 2000-04-24

Family

ID=16215531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3187981A Expired - Lifetime JP3037469B2 (ja) 1991-07-29 1991-07-29 物体像の抽出処理方法

Country Status (1)

Country Link
JP (1) JP3037469B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998015117A1 (en) * 1996-10-04 1998-04-09 Nippon Telegraph And Telephone Corporation Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method
JP4531897B2 (ja) * 1999-12-27 2010-08-25 パナソニック株式会社 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
EP2010379B1 (en) 2006-04-13 2012-05-16 Sancoa International Company, L.P. Metallized shrinkable label
TWI376648B (en) * 2009-02-25 2012-11-11 Micro Star Int Co Ltd Method and device for keeping image background by multiple gauss models
WO2015121981A1 (ja) * 2014-02-14 2015-08-20 株式会社Pfu オーバヘッドスキャナ装置、画像取得方法、および、プログラム
WO2020161888A1 (ja) * 2019-02-08 2020-08-13 三菱電機株式会社 背景モデル生成装置、背景モデル生成プログラム、及び背景モデル生成方法

Also Published As

Publication number Publication date
JPH0535874A (ja) 1993-02-12

Similar Documents

Publication Publication Date Title
CN110119728B (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
EP1700269B1 (en) Detection of sky in digital color images
US7091993B1 (en) Computer-implemented digital video object compositing
US7359572B2 (en) Automatic analysis and adjustment of digital images with exposure problems
US6931160B2 (en) Method of spatially filtering digital image for noise removal, noise estimation or digital image enhancement
US7054501B1 (en) Estimating noise for a digital image utilizing updated statistics
KR102261532B1 (ko) 단일 스케일 영상 융합에 기반한 안개 제거 시스템 및 방법
EP1026631A2 (en) Method for inferring scenes from test images and training data using probability propagation in a markov network
CN108510499B (zh) 一种基于模糊集和Otsu的图像阈值分割方法及装置
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
US20030215155A1 (en) Calculating noise estimates of a digital image using gradient analysis
CN113781421A (zh) 基于水下的目标识别方法、装置及***
JP3037469B2 (ja) 物体像の抽出処理方法
US7620246B2 (en) Method and apparatus for image processing
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN116912265A (zh) 一种遥感图像分割方法和***
EP2807631B1 (en) Device and method for detecting a plant against a background
CN110363103A (zh) 虫害识别方法、装置、计算机设备及存储介质
KR20220056399A (ko) 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법
CN108830146A (zh) 一种基于滑动窗口的非压缩域镜头边界检测方法
US20020126910A1 (en) Method of calculating noise from multiple digital images utilizing common noise characteristics
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
JP3037495B2 (ja) 物体像の抽出処理方法
Sahu et al. Color image segmentation using genetic algorithm
Apewokin et al. Embedded real-time surveillance using multimodal mean background modeling

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 12