JP2004265292A - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP2004265292A JP2004265292A JP2003056827A JP2003056827A JP2004265292A JP 2004265292 A JP2004265292 A JP 2004265292A JP 2003056827 A JP2003056827 A JP 2003056827A JP 2003056827 A JP2003056827 A JP 2003056827A JP 2004265292 A JP2004265292 A JP 2004265292A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- state
- background
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】移動体などの検出を高精度で行う
【解決手段】有効領域Ｓ１を対象として入力画像Ｉ（ｘ，ｙ）と背景画像Ａ（ｘ，ｙ）との差分を背景差分画像ＢＧ（ｘ，ｙ）として求める。全領域を対象として今回の入力画像Ｉ（ｘ，ｙ）と前回の入力画像Ｆ（ｘ，ｙ）との差分を輪郭抽出画像（フレーム間差分画像）Ｏ（ｘ，ｙ）として求める。背景差分画像ＢＧ（ｘ，ｙ）中の変化物体（人物Ｍａの一部）の像に基づいてこの像と連続する輪郭抽出画像中Ｏ（ｘ，ｙ）の変化物体の輪郭を抽出する。これにより、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）が得られるようになり、自動的に決定される無効領域Ｓ２が広くなっても、人物Ｍａの検出を高精度で行うことができるようになる。
【選択図】 図６
【解決手段】有効領域Ｓ１を対象として入力画像Ｉ（ｘ，ｙ）と背景画像Ａ（ｘ，ｙ）との差分を背景差分画像ＢＧ（ｘ，ｙ）として求める。全領域を対象として今回の入力画像Ｉ（ｘ，ｙ）と前回の入力画像Ｆ（ｘ，ｙ）との差分を輪郭抽出画像（フレーム間差分画像）Ｏ（ｘ，ｙ）として求める。背景差分画像ＢＧ（ｘ，ｙ）中の変化物体（人物Ｍａの一部）の像に基づいてこの像と連続する輪郭抽出画像中Ｏ（ｘ，ｙ）の変化物体の輪郭を抽出する。これにより、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）が得られるようになり、自動的に決定される無効領域Ｓ２が広くなっても、人物Ｍａの検出を高精度で行うことができるようになる。
【選択図】 図６
Description
【０００１】
【発明の属する技術分野】
この発明は、有効領域を対象として入力画像と背景画像との差分を背景差分画像として求め、この背景差分画像から移動体などを検出する画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、移動体などの検出では、背景差分処理を行っている。図１６（ａ）はＴＶカメラなどの撮像手段によって撮像された入力画像、図１６（ｂ）はこの入力画像に含まれる背景画像である。入力画像に移動体が写っていなければ入力画像と背景画像とは等しい。背景差分処理では、図１６（ａ）に示された入力画像と図１６（ｂ）に示された背景画像との差分をとり、図１６（ｃ）に示されるような背景差分画像を得る。この例では、入力画像に移動体として人物Ｍａが写っており、背景画像との差分をとることにより背景画像には含まれていなかった人物Ｍａのみが背景差分画像に現れる。このようにして移動体の像を抽出（検出）することができる。
【０００３】
しかしながら、背景には、静止物体だけではなく、動いたり、輝度が頻繁に変化する物体もある。例えば、ネオンなどは、輝度が頻繁にかつ著しく変化する。図１７（ａ）に示す入力画像および図１７（ｂ）に示す背景画像にはネオンＮｅが含まれている。この場合、背景差分処理を行うと、図１７（ｃ）に示す背景差分画像には、人物Ｍａに加えて、ネオンＮｅが現れる。図１７（ｃ）に示された背景差分画像中、ネオンＮｅは、移動体である人物Ｍａの検出において不適切な判断を与える外乱要因となる。
【０００４】
そこで、最近の背景差分処理では、背景画像に対して背景差分処理の対象とする有効領域と対象としない無効領域を設定し、有効領域のみの情報に基づいて移動体の検出を行っている。例えば、図１８（ｂ）に示すように、ネオンＮｅが存在する領域を無効領域Ｓ２、無効領域Ｓ２を除いた残りの領域を有効領域Ｓ１とし、有効領域Ｓ１についてのみ入力画像（図１８（ａ））と背景画像（図１８（ｂ））との差分をとり、図１８（ｃ）に示されるような背景差分画像を得るようにしている。これにより、ネオンＮｅが存在する無効領域Ｓ２が背景差分処理の対象から除外され、入力画像中の人物Ｍａのみを含む背景差分画像を得ることができる（例えば、特許文献１参照）。
【０００５】
なお、上述した例では、有効領域Ｓ１についてのみ入力画像と背景画像との差分をとるようにしたが、全領域を対象として入力画像と背景画像との差分をとり、この差分画像における無効領域Ｓ２に対応する部分にマスクをかけて、図１８（ｃ）に示されるような背景差分画像を得ることも行われている。このようなマスクをかける方法によっても、無効領域Ｓ２を背景差分処理の対象から除外し、有効領域Ｓ１のみを背景差分処理の対象として、入力画像中の人物Ｍａだけを移動体として検出することができる。
【０００６】
【特許文献１】
特開平９−２１４９３８号公報（第４−５頁、図１−図４）
【０００７】
【発明が解決しようとする課題】
しかしながら、このような従来の移動体の検出方法によると、背景差分処理の無効領域Ｓ２が広くなると、検出すべき移動体が無効領域Ｓ２に含まれてくる確率が高くなる。例えば、図１９（ｂ）に示すように無効領域Ｓ２を広くすると、この無効領域Ｓ２に人物Ｍａの大部分が含まれてしまうということがあり、背景差分処理によって得られる背景差分画像には図１９（ｃ）に示されるように人物Ｍａの一部分しか出現しなくなる。この場合、人物Ｍａの充分な検出が行えず、ひいては移動体の検出性能の劣化につながる。
【０００８】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、移動体などの検出をより高精度で行うことができる画像処理方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
このような目的を達成するために本発明は、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求めるステップと、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するステップとを設けたものである。
【００１０】
この発明では、有効領域を対象として入力画像と背景画像との差分が背景差分画像として求められる。また、入力画像中の変化物体の輪郭を含む輪郭抽出画像が求められる。移動体の検出を行う場合、背景差分画像に現れる物体は検出しようとする移動体である確率が高い。輪郭抽出画像に現れる物体は他の変化物体も含んでいる。本発明では、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭を抽出する。これにより、見かけ上、有効領域と無効領域との区別がなくなり、検出しようとする移動体の全体の輪郭を抽出することが可能となる。
【００１１】
なお、本発明において、輪郭抽出画像は例えばフレーム間差分処理によって求めることができる。フレーム間差分処理では、入力画像の時系列から相前後する２つの入力画像の差分を輪郭抽出画像として求める。輪郭抽出画像は、必ずしもフレーム間差分処理によらなくてもよく、画像処理で一般に知られている微分処理、領域分割などを用いて求めるようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【００１２】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
図１は本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。同図において、１はＴＶカメラなどの撮像手段、２は背景差分処理部、３は輪郭抽出処理部、４は統合処理部、５は背景情報更新処理部である。
【００１３】
この移動体検出装置１００においては、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ，ｔ）（以下、Ｉ（ｘ，ｙ）と略す）を背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送るようにし、背景差分処理部２において生成される背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部３において生成される輪郭抽出画像Ｏ（ｘ，ｙ）とから統合処理部４において移動体輪郭画像Ｍ（ｘ，ｙ）を生成し、この生成した移動体輪郭画像Ｍ（ｘ，ｙ）を背景情報更新処理部５へフィードバックし、背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２の更新を行うようにしている。
【００１４】
背景差分処理部２は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と、背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから、有効領域Ｓ１における変化物体の像を含む背景差分画像ＢＧ（ｘ，ｙ）を生成する。
輪郭抽出処理部３は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）から、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００１５】
統合処理部４は、背景差分処理部２からの背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部３からの輪郭抽出画像Ｏ（ｘ，ｙ）とから、入力画像Ｉ（ｘ，ｙ）中の移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
背景情報更新処理部５は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）とから、背景差分処理部２への背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２を生成（更新）する。
【００１６】
図２は背景情報更新処理部５の内部構成の概略を示すブロック図である。背景情報更新処理部５は、画像確保部６、定量化部７、画素状態分類部８、背景情報保持部９、背景画像生成部１０、有効／無効領域決定部１１、移動体有無判定部１２、画素状態確認部１３、移動時間判定部１４を備えている。
【００１７】
〔背景情報更新処理部５の各部の機能の概略〕
背景情報更新処理部５において、画像確保部６は、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ）を予め規定された特定の量だけ確保し、その確保した各画像の画像フレームを構成する各画素の画素値を背景情報保持部９に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【００１８】
定量化部７は、背景情報保持部９に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。画素状態分類部８は、定量化部７で定量化された各画素の変動具合に基づいて各画素の状態を分類し、その分類した各画素の状態を背景情報保持部９に送り、各画素の背景情報の一部である「画素状態」として保持させる。
【００１９】
なお、「画素状態」には、「未定状態」、「安定状態」、「不安定状態」、「移動状態」があり、「移動状態」はさらに「未定状態から移動状態」、「安定状態から移動状態」、「不安定状態から移動状態」に分けられる。これらの「画素状態」については後述する。
【００２０】
背景情報保持部９は、上述した「時系列データ」、「画素状態」に加えて、「経過時間ＥＴ」（画素状態が未定状態に入ってから経過した時間）、「移動時間ＴＭ」（画素状態が移動状態に入ってから経過した時間）を各画素の背景情報として保持する。図３に画素毎の背景情報の要素名および概要を示す。
【００２１】
背景画像生成部１０は、背景情報保持部９における各画素の「時系列データ」に基づき、背景画像Ａ（ｘ，ｙ）を生成する。有効／無効領域決定部１１は、背景情報保持部９における各画素の「画素状態」に基づき、背景差分処理の有効領域Ｓ１／無効領域Ｓ２を決定する。
【００２２】
移動体有無判定部１２は、統合処理部４からフィードバックされてくる移動体輪郭画像Ｍ（ｘ，ｙ）の各画素毎に移動体の有無を判定し、その判定結果を画素状態確認部１３へ送る。この場合、その画素の画素値が「１」であれば移動体有りと判定し、その画素の画素値が「０」でれば移動体無しと判定する。
【００２３】
画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、その画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認し、移動体有りと判定された画素については、その確認した「画素状態」を画素状態分類部８へ送り、移動体無しと判定された画素については、定量化部７へ定量化指令を送る。
【００２４】
移動時間判定部１４は、画素状態確認部１３からの知らせを受けて、「移動体有り」から「移動体無し」へと変化した画素について、背景情報保持部９における背景情報中の「移動時間ＴＭ」をチェックし、その画素に移動体がとどまっていた時間の長短を判定する。
【００２５】
〔移動体検出装置１００における全体の処理の流れ〕
以下では、説明を簡単とするために、実稼働開始後少なくともｎ個の入力画像Ｉ（ｘ，ｙ）が取り込まれるまでの間は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）には移動体や輝度が変化する物体が含まれないものとする。
【００２６】
実稼働開始後、ｎ個の入力画像Ｉ（ｘ，ｙ）が確保されるまでは、背景差分処理部２への有効／無効領域は、その全ての領域が無効領域Ｓ２とされる（後述）。入力画像Ｉ（ｘ，ｙ）がｎ個確保されると、このｎ個の入力画像Ｉ（ｘ，ｙ）に基づく最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が背景情報更新処理部５において確定され、背景差分処理部２に対して設定される（▲１▼実稼働開始直後の背景画像および有効／無効領域の設定）。
【００２７】
そして、背景差分処理部２において、背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２を用いて、入力画像Ｉ（ｘ，ｙ）と背景画像Ａ（ｘ，ｙ）との間で背景差分処理が行われ、背景差分画像ＢＧ（ｘ，ｙ）が得られる（▲２▼背景差分画像の取得）。
【００２８】
また、この背景差分画像ＢＧ（ｘ，ｙ）の取得と並行して、輪郭抽出処理部３での入力画像Ｉ（ｘ，ｙ）に対する輪郭抽出処理が行われ、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）が得られる（▲３▼輪郭抽出画像の取得）。
【００２９】
そして、統合処理部４において、輪郭抽出処理部３で得られた輪郭抽出画像Ｏ（ｘ，ｙ）中の輪郭（変化物体の輪郭）から背景差分処理部２で得られた背景差分画像ＢＧ（ｘ，ｙ）中の像（移動体の像）と連続するものが抽出され、移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）が得られる（▲４▼移動体の輪郭抽出）。
【００３０】
また、この移動体輪郭画像Ｍ（ｘ，ｙ）が背景情報更新処理部５へフィードバックされ、背景画像Ａ（ｘ，ｙ）および有効領域Ｓ１／無効領域Ｓ２が自動的に更新される（▲５▼稼働中の背景画像および有効／無効領域の自動更新）。
【００３１】
以下、上述した全体の処理の流れに沿って、各部の詳細な機能を交えながら、その処理手順について説明する。なお、本発明は、この全体の処理の流れ中、「▲２▼背景差分画像の取得」、「▲３▼輪郭抽出画像の取得」、「▲４▼移動体の輪郭抽出」の各処理に関係し、「▲１▼実稼働開始直後の背景画像および有効／無効領域の設定」、「▲５▼稼働中の背景画像および有効／無効領域の自動更新」とは直接関係しない。
【００３２】
〔▲１▼実稼働開始直後の背景画像および有効／無効領域の設定〕
実稼働開始の指示が出されると、背景情報更新処理部５における画像確保部６は、初期状態として、背景情報保持部９における各画素の「画素状態」を「未定状態」とする。「未定状態」とは、その画素の状態がまだ確定されていないことを意味する。また、各画素の「経過時間ＥＴ」および「移動時間ＴＭ」をリセットし、零とする。また、各画素の「時系列データ」をクリアして、零とする。
【００３３】
実稼働開始後、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）は、背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送られる。
背景差分処理部２は、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）が入力されると、その入力画像Ｉ（ｘ，ｙ）と背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから背景差分画像ＢＧ（ｘ，ｙ）を生成する。
【００３４】
この場合、背景情報更新処理部５の背景情報保持部９における背景情報中、各画素の「画素状態」は「未定状態」とされている。背景情報更新処理部５は、「画素状態」が「未定状態」である画素については、その画素を無効画素と判断し、無効画素を集めた領域を背景差分処理の無効領域とする。したがって、この場合、背景差分処理の有効領域Ｓ１はなく、全ての領域が無効領域Ｓ２とされる。
【００３５】
このため、背景差分画像ＢＧ（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）に拘わらず全ての画素が「０」とされ、輪郭抽出処理部３において得られる輪郭抽出画像Ｏ（ｘ，ｙ）に変化物体の輪郭が抽出されていたとしても、統合処理部４で得られる移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされる。なお、輪郭抽出処理部３および統合処理部４での具体的な処理内容については後述する。
【００３６】
統合処理部４から得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部５へフィードバックされる。背景情報更新処理部５において、移動体有無判定部１２は、統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。
【００３７】
ここで、移動体有無判定部１２は、図４に示すフローチャートに従い、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（ステップ４０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ４０２）。この場合、統合処理部４からの最初の移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされているので、全ての画素において移動体無しと判定される。
【００３８】
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。ここで、移動体有りと判定された画素と移動体無しと判定された画素では、以降の処理が異なる。この場合、全ての画素が移動体無しと判定された画素であるので、図５に示す移動体無し時の処理動作が行われる。
【００３９】
画素状態確認部１３は、移動体無しと判定された各画素の背景情報保持部９における「画素状態」（直前の画素状態）をチェックし（ステップ４０２ａ）、その「画素状態」が「移動状態」であるか否かを確認する。この場合、移動体無しと判定された各画素の「画素状態」は「未定状態」であるので（ステップ４０２ａのＮＯ）、直ちに各画素に対しての定量化指令を定量化部７へ送る（ステップ４０２ｂ）。
【００４０】
定量化部７は、この画素状態確認部１３からの定量化指令を受けて、背景情報保持部９に保持されている各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その各画素の「時系列データ」の変動具合を定量化する。この例では、各画素の変動具合として、「時系列データ」として保持されている画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒを求める。そして、定量化部７は、この求めた各画素の分散Ｖａｒを画素状態分類部８へ送る。
【００４１】
なお、画像フレーム（入力画像（ｘ，ｙ，ｔ））の画素値をＰｉｘ（ｘ，ｙ，ｔ）とすると、画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒ（ｘ，ｙ）はそれぞれ下記の（１）および（２）式で計算される。
【００４２】
【数１】
【００４３】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部９にはまだ各画素の「時系列データ」は１つも保持されていないので、定量化部７ではまだ各画素の分散Ｖａｒを求めることができない。この場合、定量化部７は、各画素の分散Ｖａｒを零として画素状態分類部８へ送る。
【００４４】
画素状態分類部８は、背景情報保持部９に保持されている各画素の「経過時間ＥＴ」を確認し、「経過時間ＥＴ」が予め定められている上限値ＥＴｍａｘに達していなければ（ステップ４０２ｃのＮＯ）、定量化部７からの分散Ｖａｒに拘わらず、その画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持させる（ステップ４０２ｄ）。また、背景情報保持部９における各画素の「経過時間ＥＴ」を１アップし（ステップ４０２ｅ）、画像確保部６へデータの保存指令を送る（ステップ４０２ｆ）。なお、この実施の形態では、撮像手段１からｎ個の画像が取り込まれるまでの時間ＥＴｎを上限値ＥＴｍａｘとしている。
【００４５】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部９における各画素の「経過時間ＥＴ」は零とされている。したがって、この場合、画素状態分類部８は、各画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持させる。また、背景情報保持部９における各画素の「経過時間ＥＴ」を１アップし、画像確保部６へデータの保存指令を送る。この保存指令を受けて、画像確保部６は、撮像手段１からの入力画像（最初の入力画像）Ｉ（ｘ，ｙ）における各画素の画素値Ｄ１を背景情報保持部９に送り、各画素の「時系列データ」として保持させる。
【００４６】
以下、移動体有無判定部１２に統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）が入力される毎に、同様動作を繰り返す。これによって、背景情報保持部９における各画素の背景情報は、「画素状態」を「未定状態」としたまま、「時系列データ」がＤ１，Ｄ２，Ｄ３・・・・Ｄｎと保持されて行き、「経過時間ＥＴ」がＥＴ１，ＥＴ２，ＥＴ３・・・・ＥＴｎとカウントアップされて行く。
【００４７】
移動体有無判定部１２にｎ＋１個目の移動体輪郭画像Ｍ（ｘ，ｙ）が入力され、画素状態分類部８へ定量化部７から各画素の分散Ｖａｒが与えられると、画素状態分類部８で確認される背景情報保持部９における各画素の「経過時間ＥＴ」はＥＴｎとなり、ステップ４０２ｃにおいて経過時間ＥＴが上限値ＥＴｍａｘに達したことが検出される。この場合、画素状態分類部８は、各画素の「時系列データ」が必要量確保されたと判断し、定量化部７からの分散Ｖａｒを用いての画素状態の分類を行う。
【００４８】
すなわち、画素状態分類部８は、定量化部７から送られてくる各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し（ステップ４０２ｇ）、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断する。そして、この判断した各画素の状態（「安定状態」又は「不安定状態」）を背景情報保持部９に送り、各画素「画素状態」として保持させる（ステップ４０２ｈ，４０２ｉ）。これにより、それまで背景情報保持部９に保持されていた各画素の「画素状態」は、「未定状態」から「安定状態」又は「不安定状態」に書き替えられる。
【００４９】
背景画像生成部１０は、背景情報保持部９における各画素の「時系列データ（Ｄ１〜Ｄｎ）」に基づき、その各画素の「時系列データ（Ｄ１〜Ｄｎ）」の平均値として背景画像Ａ（ｘ，ｙ）を生成し、保持する。
有効／無効領域決定部１１は、背景情報保持部９における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）、「不安定状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定し、保持する。
【００５０】
この後、画素状態分類部８は、画像確保部６へデータの保存指令を送る（ステップ４０２ｆ）。この保存指令を受けて、画像確保部６は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）（ｎ＋１個目の入力画像）における各画素の画素値Ｄｎ＋１を背景情報保持部９に送り、各画素の「時系列データ」中の最も古い画素値Ｄ１と置き換える（ステップ４０２ｆ）。
【００５１】
このようにして、背景情報更新処理部５において、最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が確定され、背景差分処理部２に対して設定される。
【００５２】
〔実稼働中の移動体の検出〕
今、実稼働開始から時間ＥＴｎ＋１を経過した後の現時刻をＴとし、例として、この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）を図６（ａ）、背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）を図６（ｂ）、背景情報更新処理部５からの背景差分処理の有効領域Ｓ１／無効領域Ｓ２を図６（ｄ）に示す。この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）は、背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送られる。
【００５３】
〔▲２▼背景差分画像の取得：背景差分処理〕
背景差分処理部２は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図６（ａ））と背景画像更新処理部１３からの背景画像Ａ（ｘ，ｙ）（図６（ｂ））との差を計算し、予め設定されている閾値Ｔｈｓ（ｘ，ｙ）を用いての閾値処理により差分画像Ｓ（ｘ，ｙ）（図６（ｃ））を得る。この閾値処理は、数式表現すると、下記の（３），（４）式で表される。
【００５４】
Ｓ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜＞Ｔｈｓ（ｘ，ｙ）〕 ・・・・（３）
Ｓ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜≦Ｔｈｓ（ｘ，ｙ）〕 ・・・・（４）
【００５５】
この処理は、入力画像Ｉ（ｘ，ｙ）の画素値と背景画像Ａ（ｘ，ｙ）の画素値（平均値）との差が閾値Ｔｈｓ（ｘ，ｙ）より大きい画素、すなわち背景に大きな変化があった画素の値を「１」とする２値化処理である。
【００５６】
そして、背景差分処理部２は、この閾値処理によって得た差分画像Ｓ（ｘ，ｙ）と背景情報更新処理部５からの有効領域Ｓ１／無効領域Ｓ２（図６（ｄ）参照）とから、背景差分画像ＢＧ（ｘ，ｙ）を得る。この処理は、数式表現すると、下記の（５），（６）式で表される。この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図６（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）が得られる。
ＢＧ（ｘ，ｙ）＝１〔ｉｆ Ｓ（ｘ，ｙ）＝１ａｎｄ（ＳＴＡＴＥ（ｘ，ｙ）＝１）〕・・・・（５）
ＢＧ（ｘ，ｙ）＝０（ｏｔｈｅｒｗｉｓｅ）・・・（６）
【００５７】
この処理は、差分画像Ｓ（ｘ，ｙ）において、その画素値が「１」でかつ有効画素（「安定状態」である画素）である画素の値を「１」、それ以外の画素の値を「０」とする２値化処理である。
この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図４（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）を得ることができる。
【００５８】
この例では、差分画像Ｓ（ｘ，ｙ）において、移動体である人物Ｍａの大部分が無効領域Ｓ２に位置している。したがって、背景差分画像ＢＧ（ｘ，ｙ）からは、ネオンＮｅとともにその無効領域Ｓ２に位置する人物Ｍａの大部分が除外されている。背景差分画像ＢＧ（ｘ，ｙ）において、「１」とされた画素は、有効領域Ｓ１に位置している人物Ｍａを示している。このようにして、背景差分処理によって、有効領域における移動体の像（２値画像）が得られる。
【００５９】
なお、この実施の形態では、全領域を対象として入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像Ｓ（ｘ，ｙ）を求め、この差分画像Ｓ（ｘ，ｙ）における無効領域Ｓ２の部分にマスクをかけることによって、無効領域Ｓ２を背景差分処理の対象から除外するようにしているが、有効領域Ｓ１についてのみ入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像を求め、この差分画像を背景差分画像ＢＧ（ｘ，ｙ）として得るようにしてもよい。
【００６０】
〔▲３▼輪郭抽出画像の取得：輪郭抽出処理〕
輪郭抽出処理部３は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。この実施の形態では、一般にフレーム間差分と呼ばれている画像処理によって、輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００６１】
図７は輪郭抽出処理部３の要部を示すブロック図である。輪郭抽出処理部３は、フレーム間差分処理部１７と画像メモリ１８とを備えている。フレーム間差分処理部１７は、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図６（ａ）：今回の入力画像）と画像メモリ１８に保存されている１フレーム前の入力画像Ｆ（ｘ，ｙ）（図６（ｆ）：前回の入力画像）との差を計算し、予め設定されている閾値Ｔｈｏ（ｘ，ｙ）を用いての閾値処理によりフレーム間差分画像（輪郭抽出画像）Ｏ（ｘ，ｙ）（図６（ｇ））を得る。この閾値処理は、数式表現すると、下記の（７），（８）式で表される。
【００６２】
Ｏ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜＞Ｔｈｏ（ｘ，ｙ）〕 ・・・・（７）
Ｏ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜≦Ｔｈｏ（ｘ，ｙ）〕 ・・・・（８）
【００６３】
この処理は、今回の入力画像Ｉ（ｘ，ｙ）の画素値と前回の入力画像Ｆ（ｘ，ｙ）の画素値との差が閾値Ｔｈｏ（ｘ，ｙ）より大きい画素、すなわちフレーム間で大きな変化があった画素の値を「１」とする２値化処理である。「１」とされた画素は、フレーム間で変化した物体を示し、ネオンのように移動体以外の物体も含まれる場合がある。
【００６４】
フレーム間差分処理部１７でのフレーム間差分処理の実行後、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）はＦ（ｘ，ｙ）として画像メモリ１８に格納され、次回行われるフレーム間差分処理において１フレーム前の入力画像として用いられる。なお、この例では、輪郭抽出処理部３においてフレーム間差分処理を行うようにしたが、現時刻Ｔの入力画像Ｉ（ｘ，ｙ）に対して画像処理で一般に知られている微分処理、領域分割などを用いて現時刻の入力画像Ｉ（ｘ，ｙ）内の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を得るようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【００６５】
〔▲４▼移動体の輪郭抽出：統合処理〕
統合処理部４は、背景差分処理部２からの背景差分画像ＢＧ（ｘ，ｙ）中の移動体の像に基づいて輪郭抽出処理部３からの輪郭抽出画像Ｏ（ｘ，ｙ）中の変化物体の輪郭を絞り込み、移動体の全体の輪郭を特定する。
【００６６】
基本的な考え方は、輪郭抽出画像Ｏ（ｘ，ｙ）に含まれる変化物体の輪郭から背景差分画像ＢＧ（ｘ，ｙ）の有効領域内の移動体の情報、すなわち信頼性の高い移動体の像に基づき、無効領域に位置する移動体の輪郭を絞り込んで行くことにある。
【００６７】
本実施の形態の統合処理の主要部分である「移動体書き出し処理」（後述）では、以下に説明するように、背景差分画像ＢＧ（ｘ，ｙ）の有効領域の画素を探索点として、輪郭抽出画像Ｏ（ｘ，ｙ）に対して探索点の周囲の画素の値を繰り返しチェックして行く。その結果、統合処理部４における移動体の輪郭抽出においては、有効領域と無効領域との区別がなくなる。
【００６８】
背景差分画像ＢＧ（ｘ，ｙ）（図６（ｅ））において、その値が「１」の画素は、移動体（人物Ｍａ）を表す。輪郭抽出画像Ｏ（ｘ，ｙ）において、その値が「１」の画素は、フレーム間で変化した物体（人物Ｍａを含む）を表す。
【００６９】
背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像の輪郭と輪郭抽出画像Ｏ（ｘ，ｙ）における人物Ｍａの輪郭とは一致する。従って、背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像に基づき、この像の輪郭とつながる輪郭抽出画像Ｏ（ｘ，ｙ）における変化物体の輪郭を求めれば、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図６（ｈ））を得ることができる。
【００７０】
統合処理部４における背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）とから移動体輪郭画像Ｍ（ｘ，ｙ）を生成する処理の流れを図８に示す。なお、前処理として、背景差分画像ＢＧ（ｘ，ｙ）や輪郭抽出画像Ｏ（ｘ，ｙ）に対し、収縮・膨張処理などを行いノイズ除去を行ってもよい。
【００７１】
統合処理部４では、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、その値が共に「１」であるか否かを順番にチェックする（ステップ８０１）。背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素の値が共に「１」であれば（ステップ８０１のＹＥＳ）、その都度、後述する「移動体書き出し処理」を実行する（ステップ８０２）。
【００７２】
すなわち、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、下記の（９）式に従って順次評価値を求め、評価値が「１」となれば、「移動体書き出し処理」を行う。この「移動体書き出し処理」の繰り返しによって、移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ａｎｄ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（９）
【００７３】
なお、この（９）式は、（ＢＧ（ｘ，ｙ）、Ｏ（ｘ，ｙ）共に「１」の画素については評価値を「１」とし、それ以外の画素については評価値を「０」とすることを意味している。評価値が「１」となった画素についてのみ「移動体書き出し処理」を行い、評価値が「０」となった画素については「移動体書き出し処理」は行わない。
【００７４】
〔移動体書き出し処理〕
ステップ８０１において、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素が共に「１」であることが確認されると（図１０（ａ），（ｂ）参照）、すなわち上記（９）式によって求められる評価値が「１」となると、統合処理部４はその画素の座標点（ｘ，ｙ）を探索点として探索点メモリに書き込む（図９に示すステップ９０１）。
【００７５】
また、その探索点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ９０２：図１０（ｃ）参照）。また、再度探索点とされないように、その探索点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ９０３：図１０（ｄ），（ｅ）参照）。
【００７６】
そして、探索点（ｘ，ｙ）の周囲の画素について、すなわち探索点（ｘ，ｙ）の周囲に位置する背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、順番にその値をチェックして行く（ステップ９０４〜９０８）。なお、本実施の形態では、周囲８画素を処理対象とする。
【００７７】
図１１（ａ）は輪郭抽出画像Ｏ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示し、図１１（ｂ）は背景差分画像ＢＧ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示す。この探索点（ｘ，ｙ）の周囲８画素について、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素（周囲画素）の値をチェックし、どちらかが「１」であれば（ステップ９０４のＹＥＳ）、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録する（ステップ９０５）。図１１に示した例では、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）が次期探索点として登録される。
【００７８】
また、次期探索点を登録した後、その次期探索点に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ９０６）。図１１に示した例では、図１２（ａ）に示すように、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）の対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値が「１」とされる。そして、再度探索点とされないように、その次期探索点に対応する背景差分画像ＢＧ（ｘ，ｙ）および輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ９０７：図１３（ａ），（ｂ）参照）。
【００７９】
すなわち、探索点（ｘ，ｙ）の周囲の背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素（周囲画素）について、下記の（１０）式に従って評価値を求め、評価値が「１」となれば、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録し、その周囲画素の座標点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とし、その周囲画素の座標点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする。探索点（ｘ，ｙ）の周囲画素の全てについて処理を終了すれば（ステップ９０８のＹＥＳ）、ステップ９０９へ進む。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ｏｒ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（１０）
【００８０】
ステップ９０９では、次期探索点が次期探索点メモリに登録されているか否かをチェックし、次期探索点が次期探索点メモリに登録されていれば（ステップ９０９のＹＥＳ）、その登録されている次期探索点の１つを新しい探索点として探索点メモリに登録し（ステップ９１０）、ステップ９０４へ戻って同様動作を繰り返す。
【００８１】
これにより、図１２（ｂ）に示すように、移動体輪郭画像Ｍ（ｘ，ｙ）において、その値を「１」とする画素が探索点（ｘ，ｙ）を中心としてつながって行く。次期探索点メモリに次期探索点がなくなれば（ステップ９０９のＮＯ）、一連の移動体書き出し処理を終了する。この移動体書き出し処理は、有効領域Ｓ１，無効領域Ｓ２の区別なく、ステップ８０３で全画素が終了するまで繰り返される。
【００８２】
この「移動体書き出し処理」の繰り返しによって、背景差分画像ＢＧ（ｘ，ｙ）における信頼性の高い人物Ｍａの像とつながる輪郭抽出画像Ｏ（ｘ，ｙ）中における変化物体の輪郭が求められて行き、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図６（ｈ））が得られるようになる。これにより、自動的に決定（自動的に更新）される無効領域Ｓ２が広くなっても、人物Ｍａの検出を高精度で行うことができるようになる。
【００８３】
〔▲５▼稼働中の背景画像および有効／無効領域の自動更新〕
統合処理部４で得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部５へフィードバックされる。背景情報更新処理部５において、移動体有無判定部１２は、統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。すなわち、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（図４のステップ４０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ４０２）。
【００８４】
〔移動体無しと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する（図５のステップ４０２ａ）。この例では、説明上、背景情報保持部９における移動体無しと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【００８５】
この場合、画素状態確認部１３は、移動体無しと判定された全ての画素について定量化部７へ定量化指令を送る（ステップ４０２ａ，４０２ｂ）。定量化部７は、この定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める。
【００８６】
画素状態分類部８は、移動体無しと判定された各画素の経過時間ＥＴが上限値ＥＴｍａｘに達していることを確認のうえ（ステップ４０２ｃのＹＥＳ）、定量化部７から送られてくる移動体無しと判定された各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる（ステップ４０２ｈ，４０２ｉ）。
【００８７】
これにより、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈを超えた画素（前回はＶａｒ≦Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「安定状態」から「不安定状態」へと変更される（図１４に示す遷移▲５▼）。また、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈ以下になった画素（前回はＶａｒ＞Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「不安定状態」から「安定状態」へと変更される（図１４に示す遷移▲６▼）。
【００８８】
この後、画素状態分類部８は、画像確保部６へデータの保存指令を送る。画像確保部６は、画素状態分類部８からの保存指令を受けて、撮像手段１からの入力画像Ｉ（ｘ，ｙ）における移動体無しと判定された各画素の画素値を背景情報保持部９に送り、その各画素の「時系列データ」中の最も古い画素値と置き換えて保存する（ステップ４０２ｆ）。
【００８９】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【００９０】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「安定状態」であった場合、その画素について「安定状態」から「移動状態」への遷移と判断し（図１４に示す遷移▲３▼）、すなわちその「画素状態」を「移動状態」の一形態である「安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲１▼参照）。これにより、「安定状態」から「移動状態」へ遷移した画素について、その移動時間（移動状態に遷移してからの経過時間）ＴＭのカウントが開始される。
【００９１】
画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「不安定状態」であった場合、その画素について「不安定状態」から「移動状態」への遷移と判断し（図１４に示す遷移▲４▼）、すなわちその「画素状態」を「移動状態」の一形態である「不安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲２▼参照）。これにより、「不安定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【００９２】
なお、全ての場合において「移動状態」への更新後は、その画素の背景情報における「時系列データ」中の最新の画素値（直前の画素値）を現在の画素値とし、この現在の画素値を最も古い画素値と置き換えて保存する。すなわち、移動体有りと判定された画素については、その移動体を含む画素値を背景情報中の時系列データとしては含めない。
【００９３】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「移動状態」が含まれているものとする。
【００９４】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「移動状態」であった場合、その送られてきた「移動状態」をそのままその画素の「画素状態」として背景情報保持部９に保持（更新）させる。すなわち、直前の「画素状態」が「安定状態から移動状態」であれば更新後の「画素状態」も「安定状態から移動状態」とし、直前の「画素状態」が「不安定状態から移動状態」であれば更新後の「画素状態」も「不安定状態から移動状態」とする。この場合、その画素の背景情報中、「移動時間ＴＭ」を１アップする（図１５に示す処理内容▲４▼，▲５▼参照）。なお、移動時間ＴＭは、予め定められた上限値ＴＭｍａｘより上には増やさない。
【００９５】
〔移動体無しと判定された画素：移動状態でなくなった場合〕
移動体有無判定部１２は、移動体輪郭画像Ｍ（ｘ，ｙ）から移動体が無くなると、それまで移動体有りと判定していた画素を移動体無しと判定する。この場合、画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。
【００９６】
ここで、移動体無しと判定された画素の直前の「画素状態」は「移動状態」とされているので（図５に示すステップ４０２ａのＹＥＳ）、画素状態確認部１３はその旨を移動時間判定部１４へ知らせる。移動時間判定部１４は、画素状態確認部１３からの知らせを受けて、その移動体無しと判定された画素の背景情報保持部９における「移動時間ＴＭ」をチェックする（ステップ４０２ｊ）。
【００９７】
（イ）移動体がとどまっていた時間が短かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していない場合、すなわち移動体がその画素にとどまっていた時間が短かかった場合、移動時間判定部１４はその画素の背景情報中の「移動時間ＴＭ」を零に戻し（ステップ４０２ｋ）、定量化部７へ定量化指令を送る。
【００９８】
定量化部７は、移動時間判定部１４からの定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ４０２ｂ）。この場合、移動体無しと判定された画素の「経過時間ＥＴ」は上限値ＥＴｍａｘに達しているので（ステップ４０２ｃのＹＥＳ）、ステップ４０２ｇ以降の処理が実行される。
【００９９】
この処理によって、「安定状態」か「不安定状態」かが判断され、「安定状態」と判断された画素の背景情報中の「画素状態」は「移動状態」から「安定状態」へ遷移し（ステップ４０２ｉ：図１４の遷移▲７▼）、「不安定状態」として判断された画素の背景情報中の「画素状態」は「移動状態」から「不安定状態」へ遷移する（ステップ４０２ｈ：図１４の遷移▲８▼）。
【０１００】
（ロ）移動体がとどまっていた時間が長かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していた場合、すなわち移動体がその画素にとどまっていた時間が長かかった場合、移動時間判定部１４はその画素の背景情報中の「時系列データ」をクリするとともに（ステップ４０２ｍ）、その画素の背景情報中の「経過時間ＥＴ」および「移動時間ＴＭ」を零に戻し（ステップ４０２ｎ，１０２ｋ）、定量化部７へ定量化指令を送る。
【０１０１】
定量化部７は、移動時間判定部１４からの定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ４０２ｂ）。この場合、移動体無しと判定された画素の経過時間ＥＴは０に戻されているので（ステップ４０２ｃのＮＯ）、ステップ４０２ｄ以降の処理が実行される。この処理によって、その画素の背景情報中の画素の「画素状態」は、「移動状態」から「未定状態」へ遷移する（ステップ４０２ｄ：図１４の遷移▲９▼）。また、その画素の背景情報中の「経過時間ＥＴ」のカウントが開始されるとともに（ステップ４０２ｅ）、その画素の背景情報中の「時系列データ」の収集が開始される（ステップ４０２ｆ）。
【０１０２】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「未定状態」が含まれているものとする。
【０１０３】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「未定状態」であった場合、その画素について「未定状態」から「移動状態」への遷移と判断し（図１４の遷移（１０））、すなわちその「画素状態」を「移動状態」の一形態である「未定状態から移動状態」であると判断し、この「未定状態から移動状態」をその画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲３▼参照）。これにより、「未定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【０１０４】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態から移動状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「未定状態から移動状態」が含まれているものとする。
【０１０５】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「未定状態から移動状態」であった場合、その送られてきた「未定状態から移動状態」をそのままその画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップする（図１５に示す処理内容▲６▼参照）。
【０１０６】
このようにして自動更新された各画素の背景情報より、移動体輪郭画像Ｍ（ｘ，ｙ）が得られる毎に、有効／無効領域決定部１１は、「安定状態」である画素、「安定状態から移動状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）とし、「未定状態」である画素、「不安定状態」である画素、「未定状態から移動状態」である画素「不安定状態から移動状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定する。また、背景画像生成部１０は、各画素の「時系列データ」の平均値として背景画像Ａ（ｘ，ｙ）を生成する。
【０１０７】
【発明の効果】
以上説明したことから明らかなように本発明によれば、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求め、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求め、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するようにしたので、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭が抽出されこれにより、見かけ上、有効領域と無効領域との区別がなくなり、有効／無効領域の自動決定などによって無効領域が広く設定されても、移動体などの検出をより高精度で行うことができるようになる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。
【図２】この移動体検出装置における背景情報更新処理部の内部構成の概略を示すブロック図である。
【図３】この移動体検出装置における画素毎の背景情報の要素名および概要を示す図である。
【図４】この移動体検出装置における移動体の有無の判定処理を示すフローチャートである。
【図５】この移動体検出装置における移動体無しと判定された場合の処理を示すフローチャートである。
【図６】この移動体検出装置における移動体の検出処理を説明するための図である。
【図７】この移動体検出装置における輪郭抽出処理部の要部を示すブロック図である。
【図８】この移動体検出装置における統合処理部での背景差分画像と輪郭抽出画像とからの移動体輪郭画像の生成処理を示すフローチャートである。
【図９】この移動体検出装置における統合処理部での移動体輪郭画像を生成する際の移動体書き出し処理を示すフローチャートである。
【図１０】このフローチャートに従う移動体書き出し処理を説明するための図である。
【図１１】輪郭抽出画像および背景差分画像における最初の探索点（ｘ，ｙ）の周囲８画素を示す図である。
【図１２】移動体輪郭画像が出来上がって行く様子を示す図である。
【図１３】再度探索点とされないように時期探索点に対応する背景差分画像および輪郭抽出画像における画素の値が「０」とされて行く様子を示す図である。
【図１４】画素状態分類部で分類される画素状態の遷移図である。
【図１５】移動体有りと判定された画素についての処理内容を示す図である。
【図１６】従来の背景差分処理を説明する図である。
【図１７】頻繁に変化する物体として例えばネオンが含まれている場合の背景差分処理を説明する図である。
【図１８】人為的に有効／無効領域を設定して背景差分処理を行うようにした従来例を説明する図である。
【図１９】無効領域が広くなることによる検出性能の劣化を説明する図である。
【符号の説明】
１…撮像手段、２…背景差分処理部、３…輪郭抽出処理部（フレーム間差分処理部）、４…統合処理部、５…背景情報更新処理部、６…画像確保部、７…定量化部、８…画素状態分類部、９…背景情報保持部、１０…背景画像生成部、１１…有効／無効領域決定部、１２…移動体有無判定部、１３…画素状態確認部、１４…移動時間判定部、１５…フレーム間差分処理部、１６…画像メモリ、１００…移動体検出装置。
【発明の属する技術分野】
この発明は、有効領域を対象として入力画像と背景画像との差分を背景差分画像として求め、この背景差分画像から移動体などを検出する画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、移動体などの検出では、背景差分処理を行っている。図１６（ａ）はＴＶカメラなどの撮像手段によって撮像された入力画像、図１６（ｂ）はこの入力画像に含まれる背景画像である。入力画像に移動体が写っていなければ入力画像と背景画像とは等しい。背景差分処理では、図１６（ａ）に示された入力画像と図１６（ｂ）に示された背景画像との差分をとり、図１６（ｃ）に示されるような背景差分画像を得る。この例では、入力画像に移動体として人物Ｍａが写っており、背景画像との差分をとることにより背景画像には含まれていなかった人物Ｍａのみが背景差分画像に現れる。このようにして移動体の像を抽出（検出）することができる。
【０００３】
しかしながら、背景には、静止物体だけではなく、動いたり、輝度が頻繁に変化する物体もある。例えば、ネオンなどは、輝度が頻繁にかつ著しく変化する。図１７（ａ）に示す入力画像および図１７（ｂ）に示す背景画像にはネオンＮｅが含まれている。この場合、背景差分処理を行うと、図１７（ｃ）に示す背景差分画像には、人物Ｍａに加えて、ネオンＮｅが現れる。図１７（ｃ）に示された背景差分画像中、ネオンＮｅは、移動体である人物Ｍａの検出において不適切な判断を与える外乱要因となる。
【０００４】
そこで、最近の背景差分処理では、背景画像に対して背景差分処理の対象とする有効領域と対象としない無効領域を設定し、有効領域のみの情報に基づいて移動体の検出を行っている。例えば、図１８（ｂ）に示すように、ネオンＮｅが存在する領域を無効領域Ｓ２、無効領域Ｓ２を除いた残りの領域を有効領域Ｓ１とし、有効領域Ｓ１についてのみ入力画像（図１８（ａ））と背景画像（図１８（ｂ））との差分をとり、図１８（ｃ）に示されるような背景差分画像を得るようにしている。これにより、ネオンＮｅが存在する無効領域Ｓ２が背景差分処理の対象から除外され、入力画像中の人物Ｍａのみを含む背景差分画像を得ることができる（例えば、特許文献１参照）。
【０００５】
なお、上述した例では、有効領域Ｓ１についてのみ入力画像と背景画像との差分をとるようにしたが、全領域を対象として入力画像と背景画像との差分をとり、この差分画像における無効領域Ｓ２に対応する部分にマスクをかけて、図１８（ｃ）に示されるような背景差分画像を得ることも行われている。このようなマスクをかける方法によっても、無効領域Ｓ２を背景差分処理の対象から除外し、有効領域Ｓ１のみを背景差分処理の対象として、入力画像中の人物Ｍａだけを移動体として検出することができる。
【０００６】
【特許文献１】
特開平９−２１４９３８号公報（第４−５頁、図１−図４）
【０００７】
【発明が解決しようとする課題】
しかしながら、このような従来の移動体の検出方法によると、背景差分処理の無効領域Ｓ２が広くなると、検出すべき移動体が無効領域Ｓ２に含まれてくる確率が高くなる。例えば、図１９（ｂ）に示すように無効領域Ｓ２を広くすると、この無効領域Ｓ２に人物Ｍａの大部分が含まれてしまうということがあり、背景差分処理によって得られる背景差分画像には図１９（ｃ）に示されるように人物Ｍａの一部分しか出現しなくなる。この場合、人物Ｍａの充分な検出が行えず、ひいては移動体の検出性能の劣化につながる。
【０００８】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、移動体などの検出をより高精度で行うことができる画像処理方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
このような目的を達成するために本発明は、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求めるステップと、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するステップとを設けたものである。
【００１０】
この発明では、有効領域を対象として入力画像と背景画像との差分が背景差分画像として求められる。また、入力画像中の変化物体の輪郭を含む輪郭抽出画像が求められる。移動体の検出を行う場合、背景差分画像に現れる物体は検出しようとする移動体である確率が高い。輪郭抽出画像に現れる物体は他の変化物体も含んでいる。本発明では、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭を抽出する。これにより、見かけ上、有効領域と無効領域との区別がなくなり、検出しようとする移動体の全体の輪郭を抽出することが可能となる。
【００１１】
なお、本発明において、輪郭抽出画像は例えばフレーム間差分処理によって求めることができる。フレーム間差分処理では、入力画像の時系列から相前後する２つの入力画像の差分を輪郭抽出画像として求める。輪郭抽出画像は、必ずしもフレーム間差分処理によらなくてもよく、画像処理で一般に知られている微分処理、領域分割などを用いて求めるようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【００１２】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
図１は本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。同図において、１はＴＶカメラなどの撮像手段、２は背景差分処理部、３は輪郭抽出処理部、４は統合処理部、５は背景情報更新処理部である。
【００１３】
この移動体検出装置１００においては、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ，ｔ）（以下、Ｉ（ｘ，ｙ）と略す）を背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送るようにし、背景差分処理部２において生成される背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部３において生成される輪郭抽出画像Ｏ（ｘ，ｙ）とから統合処理部４において移動体輪郭画像Ｍ（ｘ，ｙ）を生成し、この生成した移動体輪郭画像Ｍ（ｘ，ｙ）を背景情報更新処理部５へフィードバックし、背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２の更新を行うようにしている。
【００１４】
背景差分処理部２は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と、背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから、有効領域Ｓ１における変化物体の像を含む背景差分画像ＢＧ（ｘ，ｙ）を生成する。
輪郭抽出処理部３は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）から、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００１５】
統合処理部４は、背景差分処理部２からの背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部３からの輪郭抽出画像Ｏ（ｘ，ｙ）とから、入力画像Ｉ（ｘ，ｙ）中の移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
背景情報更新処理部５は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）とから、背景差分処理部２への背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２を生成（更新）する。
【００１６】
図２は背景情報更新処理部５の内部構成の概略を示すブロック図である。背景情報更新処理部５は、画像確保部６、定量化部７、画素状態分類部８、背景情報保持部９、背景画像生成部１０、有効／無効領域決定部１１、移動体有無判定部１２、画素状態確認部１３、移動時間判定部１４を備えている。
【００１７】
〔背景情報更新処理部５の各部の機能の概略〕
背景情報更新処理部５において、画像確保部６は、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ）を予め規定された特定の量だけ確保し、その確保した各画像の画像フレームを構成する各画素の画素値を背景情報保持部９に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【００１８】
定量化部７は、背景情報保持部９に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。画素状態分類部８は、定量化部７で定量化された各画素の変動具合に基づいて各画素の状態を分類し、その分類した各画素の状態を背景情報保持部９に送り、各画素の背景情報の一部である「画素状態」として保持させる。
【００１９】
なお、「画素状態」には、「未定状態」、「安定状態」、「不安定状態」、「移動状態」があり、「移動状態」はさらに「未定状態から移動状態」、「安定状態から移動状態」、「不安定状態から移動状態」に分けられる。これらの「画素状態」については後述する。
【００２０】
背景情報保持部９は、上述した「時系列データ」、「画素状態」に加えて、「経過時間ＥＴ」（画素状態が未定状態に入ってから経過した時間）、「移動時間ＴＭ」（画素状態が移動状態に入ってから経過した時間）を各画素の背景情報として保持する。図３に画素毎の背景情報の要素名および概要を示す。
【００２１】
背景画像生成部１０は、背景情報保持部９における各画素の「時系列データ」に基づき、背景画像Ａ（ｘ，ｙ）を生成する。有効／無効領域決定部１１は、背景情報保持部９における各画素の「画素状態」に基づき、背景差分処理の有効領域Ｓ１／無効領域Ｓ２を決定する。
【００２２】
移動体有無判定部１２は、統合処理部４からフィードバックされてくる移動体輪郭画像Ｍ（ｘ，ｙ）の各画素毎に移動体の有無を判定し、その判定結果を画素状態確認部１３へ送る。この場合、その画素の画素値が「１」であれば移動体有りと判定し、その画素の画素値が「０」でれば移動体無しと判定する。
【００２３】
画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、その画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認し、移動体有りと判定された画素については、その確認した「画素状態」を画素状態分類部８へ送り、移動体無しと判定された画素については、定量化部７へ定量化指令を送る。
【００２４】
移動時間判定部１４は、画素状態確認部１３からの知らせを受けて、「移動体有り」から「移動体無し」へと変化した画素について、背景情報保持部９における背景情報中の「移動時間ＴＭ」をチェックし、その画素に移動体がとどまっていた時間の長短を判定する。
【００２５】
〔移動体検出装置１００における全体の処理の流れ〕
以下では、説明を簡単とするために、実稼働開始後少なくともｎ個の入力画像Ｉ（ｘ，ｙ）が取り込まれるまでの間は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）には移動体や輝度が変化する物体が含まれないものとする。
【００２６】
実稼働開始後、ｎ個の入力画像Ｉ（ｘ，ｙ）が確保されるまでは、背景差分処理部２への有効／無効領域は、その全ての領域が無効領域Ｓ２とされる（後述）。入力画像Ｉ（ｘ，ｙ）がｎ個確保されると、このｎ個の入力画像Ｉ（ｘ，ｙ）に基づく最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が背景情報更新処理部５において確定され、背景差分処理部２に対して設定される（▲１▼実稼働開始直後の背景画像および有効／無効領域の設定）。
【００２７】
そして、背景差分処理部２において、背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２を用いて、入力画像Ｉ（ｘ，ｙ）と背景画像Ａ（ｘ，ｙ）との間で背景差分処理が行われ、背景差分画像ＢＧ（ｘ，ｙ）が得られる（▲２▼背景差分画像の取得）。
【００２８】
また、この背景差分画像ＢＧ（ｘ，ｙ）の取得と並行して、輪郭抽出処理部３での入力画像Ｉ（ｘ，ｙ）に対する輪郭抽出処理が行われ、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）が得られる（▲３▼輪郭抽出画像の取得）。
【００２９】
そして、統合処理部４において、輪郭抽出処理部３で得られた輪郭抽出画像Ｏ（ｘ，ｙ）中の輪郭（変化物体の輪郭）から背景差分処理部２で得られた背景差分画像ＢＧ（ｘ，ｙ）中の像（移動体の像）と連続するものが抽出され、移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）が得られる（▲４▼移動体の輪郭抽出）。
【００３０】
また、この移動体輪郭画像Ｍ（ｘ，ｙ）が背景情報更新処理部５へフィードバックされ、背景画像Ａ（ｘ，ｙ）および有効領域Ｓ１／無効領域Ｓ２が自動的に更新される（▲５▼稼働中の背景画像および有効／無効領域の自動更新）。
【００３１】
以下、上述した全体の処理の流れに沿って、各部の詳細な機能を交えながら、その処理手順について説明する。なお、本発明は、この全体の処理の流れ中、「▲２▼背景差分画像の取得」、「▲３▼輪郭抽出画像の取得」、「▲４▼移動体の輪郭抽出」の各処理に関係し、「▲１▼実稼働開始直後の背景画像および有効／無効領域の設定」、「▲５▼稼働中の背景画像および有効／無効領域の自動更新」とは直接関係しない。
【００３２】
〔▲１▼実稼働開始直後の背景画像および有効／無効領域の設定〕
実稼働開始の指示が出されると、背景情報更新処理部５における画像確保部６は、初期状態として、背景情報保持部９における各画素の「画素状態」を「未定状態」とする。「未定状態」とは、その画素の状態がまだ確定されていないことを意味する。また、各画素の「経過時間ＥＴ」および「移動時間ＴＭ」をリセットし、零とする。また、各画素の「時系列データ」をクリアして、零とする。
【００３３】
実稼働開始後、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）は、背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送られる。
背景差分処理部２は、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）が入力されると、その入力画像Ｉ（ｘ，ｙ）と背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから背景差分画像ＢＧ（ｘ，ｙ）を生成する。
【００３４】
この場合、背景情報更新処理部５の背景情報保持部９における背景情報中、各画素の「画素状態」は「未定状態」とされている。背景情報更新処理部５は、「画素状態」が「未定状態」である画素については、その画素を無効画素と判断し、無効画素を集めた領域を背景差分処理の無効領域とする。したがって、この場合、背景差分処理の有効領域Ｓ１はなく、全ての領域が無効領域Ｓ２とされる。
【００３５】
このため、背景差分画像ＢＧ（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）に拘わらず全ての画素が「０」とされ、輪郭抽出処理部３において得られる輪郭抽出画像Ｏ（ｘ，ｙ）に変化物体の輪郭が抽出されていたとしても、統合処理部４で得られる移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされる。なお、輪郭抽出処理部３および統合処理部４での具体的な処理内容については後述する。
【００３６】
統合処理部４から得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部５へフィードバックされる。背景情報更新処理部５において、移動体有無判定部１２は、統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。
【００３７】
ここで、移動体有無判定部１２は、図４に示すフローチャートに従い、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（ステップ４０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ４０２）。この場合、統合処理部４からの最初の移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされているので、全ての画素において移動体無しと判定される。
【００３８】
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。ここで、移動体有りと判定された画素と移動体無しと判定された画素では、以降の処理が異なる。この場合、全ての画素が移動体無しと判定された画素であるので、図５に示す移動体無し時の処理動作が行われる。
【００３９】
画素状態確認部１３は、移動体無しと判定された各画素の背景情報保持部９における「画素状態」（直前の画素状態）をチェックし（ステップ４０２ａ）、その「画素状態」が「移動状態」であるか否かを確認する。この場合、移動体無しと判定された各画素の「画素状態」は「未定状態」であるので（ステップ４０２ａのＮＯ）、直ちに各画素に対しての定量化指令を定量化部７へ送る（ステップ４０２ｂ）。
【００４０】
定量化部７は、この画素状態確認部１３からの定量化指令を受けて、背景情報保持部９に保持されている各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その各画素の「時系列データ」の変動具合を定量化する。この例では、各画素の変動具合として、「時系列データ」として保持されている画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒを求める。そして、定量化部７は、この求めた各画素の分散Ｖａｒを画素状態分類部８へ送る。
【００４１】
なお、画像フレーム（入力画像（ｘ，ｙ，ｔ））の画素値をＰｉｘ（ｘ，ｙ，ｔ）とすると、画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒ（ｘ，ｙ）はそれぞれ下記の（１）および（２）式で計算される。
【００４２】
【数１】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部９にはまだ各画素の「時系列データ」は１つも保持されていないので、定量化部７ではまだ各画素の分散Ｖａｒを求めることができない。この場合、定量化部７は、各画素の分散Ｖａｒを零として画素状態分類部８へ送る。
【００４４】
画素状態分類部８は、背景情報保持部９に保持されている各画素の「経過時間ＥＴ」を確認し、「経過時間ＥＴ」が予め定められている上限値ＥＴｍａｘに達していなければ（ステップ４０２ｃのＮＯ）、定量化部７からの分散Ｖａｒに拘わらず、その画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持させる（ステップ４０２ｄ）。また、背景情報保持部９における各画素の「経過時間ＥＴ」を１アップし（ステップ４０２ｅ）、画像確保部６へデータの保存指令を送る（ステップ４０２ｆ）。なお、この実施の形態では、撮像手段１からｎ個の画像が取り込まれるまでの時間ＥＴｎを上限値ＥＴｍａｘとしている。
【００４５】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部９における各画素の「経過時間ＥＴ」は零とされている。したがって、この場合、画素状態分類部８は、各画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持させる。また、背景情報保持部９における各画素の「経過時間ＥＴ」を１アップし、画像確保部６へデータの保存指令を送る。この保存指令を受けて、画像確保部６は、撮像手段１からの入力画像（最初の入力画像）Ｉ（ｘ，ｙ）における各画素の画素値Ｄ１を背景情報保持部９に送り、各画素の「時系列データ」として保持させる。
【００４６】
以下、移動体有無判定部１２に統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）が入力される毎に、同様動作を繰り返す。これによって、背景情報保持部９における各画素の背景情報は、「画素状態」を「未定状態」としたまま、「時系列データ」がＤ１，Ｄ２，Ｄ３・・・・Ｄｎと保持されて行き、「経過時間ＥＴ」がＥＴ１，ＥＴ２，ＥＴ３・・・・ＥＴｎとカウントアップされて行く。
【００４７】
移動体有無判定部１２にｎ＋１個目の移動体輪郭画像Ｍ（ｘ，ｙ）が入力され、画素状態分類部８へ定量化部７から各画素の分散Ｖａｒが与えられると、画素状態分類部８で確認される背景情報保持部９における各画素の「経過時間ＥＴ」はＥＴｎとなり、ステップ４０２ｃにおいて経過時間ＥＴが上限値ＥＴｍａｘに達したことが検出される。この場合、画素状態分類部８は、各画素の「時系列データ」が必要量確保されたと判断し、定量化部７からの分散Ｖａｒを用いての画素状態の分類を行う。
【００４８】
すなわち、画素状態分類部８は、定量化部７から送られてくる各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し（ステップ４０２ｇ）、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断する。そして、この判断した各画素の状態（「安定状態」又は「不安定状態」）を背景情報保持部９に送り、各画素「画素状態」として保持させる（ステップ４０２ｈ，４０２ｉ）。これにより、それまで背景情報保持部９に保持されていた各画素の「画素状態」は、「未定状態」から「安定状態」又は「不安定状態」に書き替えられる。
【００４９】
背景画像生成部１０は、背景情報保持部９における各画素の「時系列データ（Ｄ１〜Ｄｎ）」に基づき、その各画素の「時系列データ（Ｄ１〜Ｄｎ）」の平均値として背景画像Ａ（ｘ，ｙ）を生成し、保持する。
有効／無効領域決定部１１は、背景情報保持部９における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）、「不安定状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定し、保持する。
【００５０】
この後、画素状態分類部８は、画像確保部６へデータの保存指令を送る（ステップ４０２ｆ）。この保存指令を受けて、画像確保部６は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）（ｎ＋１個目の入力画像）における各画素の画素値Ｄｎ＋１を背景情報保持部９に送り、各画素の「時系列データ」中の最も古い画素値Ｄ１と置き換える（ステップ４０２ｆ）。
【００５１】
このようにして、背景情報更新処理部５において、最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が確定され、背景差分処理部２に対して設定される。
【００５２】
〔実稼働中の移動体の検出〕
今、実稼働開始から時間ＥＴｎ＋１を経過した後の現時刻をＴとし、例として、この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）を図６（ａ）、背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）を図６（ｂ）、背景情報更新処理部５からの背景差分処理の有効領域Ｓ１／無効領域Ｓ２を図６（ｄ）に示す。この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）は、背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送られる。
【００５３】
〔▲２▼背景差分画像の取得：背景差分処理〕
背景差分処理部２は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図６（ａ））と背景画像更新処理部１３からの背景画像Ａ（ｘ，ｙ）（図６（ｂ））との差を計算し、予め設定されている閾値Ｔｈｓ（ｘ，ｙ）を用いての閾値処理により差分画像Ｓ（ｘ，ｙ）（図６（ｃ））を得る。この閾値処理は、数式表現すると、下記の（３），（４）式で表される。
【００５４】
Ｓ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜＞Ｔｈｓ（ｘ，ｙ）〕 ・・・・（３）
Ｓ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜≦Ｔｈｓ（ｘ，ｙ）〕 ・・・・（４）
【００５５】
この処理は、入力画像Ｉ（ｘ，ｙ）の画素値と背景画像Ａ（ｘ，ｙ）の画素値（平均値）との差が閾値Ｔｈｓ（ｘ，ｙ）より大きい画素、すなわち背景に大きな変化があった画素の値を「１」とする２値化処理である。
【００５６】
そして、背景差分処理部２は、この閾値処理によって得た差分画像Ｓ（ｘ，ｙ）と背景情報更新処理部５からの有効領域Ｓ１／無効領域Ｓ２（図６（ｄ）参照）とから、背景差分画像ＢＧ（ｘ，ｙ）を得る。この処理は、数式表現すると、下記の（５），（６）式で表される。この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図６（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）が得られる。
ＢＧ（ｘ，ｙ）＝１〔ｉｆ Ｓ（ｘ，ｙ）＝１ａｎｄ（ＳＴＡＴＥ（ｘ，ｙ）＝１）〕・・・・（５）
ＢＧ（ｘ，ｙ）＝０（ｏｔｈｅｒｗｉｓｅ）・・・（６）
【００５７】
この処理は、差分画像Ｓ（ｘ，ｙ）において、その画素値が「１」でかつ有効画素（「安定状態」である画素）である画素の値を「１」、それ以外の画素の値を「０」とする２値化処理である。
この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図４（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）を得ることができる。
【００５８】
この例では、差分画像Ｓ（ｘ，ｙ）において、移動体である人物Ｍａの大部分が無効領域Ｓ２に位置している。したがって、背景差分画像ＢＧ（ｘ，ｙ）からは、ネオンＮｅとともにその無効領域Ｓ２に位置する人物Ｍａの大部分が除外されている。背景差分画像ＢＧ（ｘ，ｙ）において、「１」とされた画素は、有効領域Ｓ１に位置している人物Ｍａを示している。このようにして、背景差分処理によって、有効領域における移動体の像（２値画像）が得られる。
【００５９】
なお、この実施の形態では、全領域を対象として入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像Ｓ（ｘ，ｙ）を求め、この差分画像Ｓ（ｘ，ｙ）における無効領域Ｓ２の部分にマスクをかけることによって、無効領域Ｓ２を背景差分処理の対象から除外するようにしているが、有効領域Ｓ１についてのみ入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像を求め、この差分画像を背景差分画像ＢＧ（ｘ，ｙ）として得るようにしてもよい。
【００６０】
〔▲３▼輪郭抽出画像の取得：輪郭抽出処理〕
輪郭抽出処理部３は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。この実施の形態では、一般にフレーム間差分と呼ばれている画像処理によって、輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００６１】
図７は輪郭抽出処理部３の要部を示すブロック図である。輪郭抽出処理部３は、フレーム間差分処理部１７と画像メモリ１８とを備えている。フレーム間差分処理部１７は、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図６（ａ）：今回の入力画像）と画像メモリ１８に保存されている１フレーム前の入力画像Ｆ（ｘ，ｙ）（図６（ｆ）：前回の入力画像）との差を計算し、予め設定されている閾値Ｔｈｏ（ｘ，ｙ）を用いての閾値処理によりフレーム間差分画像（輪郭抽出画像）Ｏ（ｘ，ｙ）（図６（ｇ））を得る。この閾値処理は、数式表現すると、下記の（７），（８）式で表される。
【００６２】
Ｏ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜＞Ｔｈｏ（ｘ，ｙ）〕 ・・・・（７）
Ｏ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜≦Ｔｈｏ（ｘ，ｙ）〕 ・・・・（８）
【００６３】
この処理は、今回の入力画像Ｉ（ｘ，ｙ）の画素値と前回の入力画像Ｆ（ｘ，ｙ）の画素値との差が閾値Ｔｈｏ（ｘ，ｙ）より大きい画素、すなわちフレーム間で大きな変化があった画素の値を「１」とする２値化処理である。「１」とされた画素は、フレーム間で変化した物体を示し、ネオンのように移動体以外の物体も含まれる場合がある。
【００６４】
フレーム間差分処理部１７でのフレーム間差分処理の実行後、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）はＦ（ｘ，ｙ）として画像メモリ１８に格納され、次回行われるフレーム間差分処理において１フレーム前の入力画像として用いられる。なお、この例では、輪郭抽出処理部３においてフレーム間差分処理を行うようにしたが、現時刻Ｔの入力画像Ｉ（ｘ，ｙ）に対して画像処理で一般に知られている微分処理、領域分割などを用いて現時刻の入力画像Ｉ（ｘ，ｙ）内の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を得るようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【００６５】
〔▲４▼移動体の輪郭抽出：統合処理〕
統合処理部４は、背景差分処理部２からの背景差分画像ＢＧ（ｘ，ｙ）中の移動体の像に基づいて輪郭抽出処理部３からの輪郭抽出画像Ｏ（ｘ，ｙ）中の変化物体の輪郭を絞り込み、移動体の全体の輪郭を特定する。
【００６６】
基本的な考え方は、輪郭抽出画像Ｏ（ｘ，ｙ）に含まれる変化物体の輪郭から背景差分画像ＢＧ（ｘ，ｙ）の有効領域内の移動体の情報、すなわち信頼性の高い移動体の像に基づき、無効領域に位置する移動体の輪郭を絞り込んで行くことにある。
【００６７】
本実施の形態の統合処理の主要部分である「移動体書き出し処理」（後述）では、以下に説明するように、背景差分画像ＢＧ（ｘ，ｙ）の有効領域の画素を探索点として、輪郭抽出画像Ｏ（ｘ，ｙ）に対して探索点の周囲の画素の値を繰り返しチェックして行く。その結果、統合処理部４における移動体の輪郭抽出においては、有効領域と無効領域との区別がなくなる。
【００６８】
背景差分画像ＢＧ（ｘ，ｙ）（図６（ｅ））において、その値が「１」の画素は、移動体（人物Ｍａ）を表す。輪郭抽出画像Ｏ（ｘ，ｙ）において、その値が「１」の画素は、フレーム間で変化した物体（人物Ｍａを含む）を表す。
【００６９】
背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像の輪郭と輪郭抽出画像Ｏ（ｘ，ｙ）における人物Ｍａの輪郭とは一致する。従って、背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像に基づき、この像の輪郭とつながる輪郭抽出画像Ｏ（ｘ，ｙ）における変化物体の輪郭を求めれば、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図６（ｈ））を得ることができる。
【００７０】
統合処理部４における背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）とから移動体輪郭画像Ｍ（ｘ，ｙ）を生成する処理の流れを図８に示す。なお、前処理として、背景差分画像ＢＧ（ｘ，ｙ）や輪郭抽出画像Ｏ（ｘ，ｙ）に対し、収縮・膨張処理などを行いノイズ除去を行ってもよい。
【００７１】
統合処理部４では、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、その値が共に「１」であるか否かを順番にチェックする（ステップ８０１）。背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素の値が共に「１」であれば（ステップ８０１のＹＥＳ）、その都度、後述する「移動体書き出し処理」を実行する（ステップ８０２）。
【００７２】
すなわち、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、下記の（９）式に従って順次評価値を求め、評価値が「１」となれば、「移動体書き出し処理」を行う。この「移動体書き出し処理」の繰り返しによって、移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ａｎｄ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（９）
【００７３】
なお、この（９）式は、（ＢＧ（ｘ，ｙ）、Ｏ（ｘ，ｙ）共に「１」の画素については評価値を「１」とし、それ以外の画素については評価値を「０」とすることを意味している。評価値が「１」となった画素についてのみ「移動体書き出し処理」を行い、評価値が「０」となった画素については「移動体書き出し処理」は行わない。
【００７４】
〔移動体書き出し処理〕
ステップ８０１において、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素が共に「１」であることが確認されると（図１０（ａ），（ｂ）参照）、すなわち上記（９）式によって求められる評価値が「１」となると、統合処理部４はその画素の座標点（ｘ，ｙ）を探索点として探索点メモリに書き込む（図９に示すステップ９０１）。
【００７５】
また、その探索点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ９０２：図１０（ｃ）参照）。また、再度探索点とされないように、その探索点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ９０３：図１０（ｄ），（ｅ）参照）。
【００７６】
そして、探索点（ｘ，ｙ）の周囲の画素について、すなわち探索点（ｘ，ｙ）の周囲に位置する背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、順番にその値をチェックして行く（ステップ９０４〜９０８）。なお、本実施の形態では、周囲８画素を処理対象とする。
【００７７】
図１１（ａ）は輪郭抽出画像Ｏ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示し、図１１（ｂ）は背景差分画像ＢＧ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示す。この探索点（ｘ，ｙ）の周囲８画素について、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素（周囲画素）の値をチェックし、どちらかが「１」であれば（ステップ９０４のＹＥＳ）、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録する（ステップ９０５）。図１１に示した例では、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）が次期探索点として登録される。
【００７８】
また、次期探索点を登録した後、その次期探索点に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ９０６）。図１１に示した例では、図１２（ａ）に示すように、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）の対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値が「１」とされる。そして、再度探索点とされないように、その次期探索点に対応する背景差分画像ＢＧ（ｘ，ｙ）および輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ９０７：図１３（ａ），（ｂ）参照）。
【００７９】
すなわち、探索点（ｘ，ｙ）の周囲の背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素（周囲画素）について、下記の（１０）式に従って評価値を求め、評価値が「１」となれば、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録し、その周囲画素の座標点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とし、その周囲画素の座標点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする。探索点（ｘ，ｙ）の周囲画素の全てについて処理を終了すれば（ステップ９０８のＹＥＳ）、ステップ９０９へ進む。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ｏｒ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（１０）
【００８０】
ステップ９０９では、次期探索点が次期探索点メモリに登録されているか否かをチェックし、次期探索点が次期探索点メモリに登録されていれば（ステップ９０９のＹＥＳ）、その登録されている次期探索点の１つを新しい探索点として探索点メモリに登録し（ステップ９１０）、ステップ９０４へ戻って同様動作を繰り返す。
【００８１】
これにより、図１２（ｂ）に示すように、移動体輪郭画像Ｍ（ｘ，ｙ）において、その値を「１」とする画素が探索点（ｘ，ｙ）を中心としてつながって行く。次期探索点メモリに次期探索点がなくなれば（ステップ９０９のＮＯ）、一連の移動体書き出し処理を終了する。この移動体書き出し処理は、有効領域Ｓ１，無効領域Ｓ２の区別なく、ステップ８０３で全画素が終了するまで繰り返される。
【００８２】
この「移動体書き出し処理」の繰り返しによって、背景差分画像ＢＧ（ｘ，ｙ）における信頼性の高い人物Ｍａの像とつながる輪郭抽出画像Ｏ（ｘ，ｙ）中における変化物体の輪郭が求められて行き、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図６（ｈ））が得られるようになる。これにより、自動的に決定（自動的に更新）される無効領域Ｓ２が広くなっても、人物Ｍａの検出を高精度で行うことができるようになる。
【００８３】
〔▲５▼稼働中の背景画像および有効／無効領域の自動更新〕
統合処理部４で得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部５へフィードバックされる。背景情報更新処理部５において、移動体有無判定部１２は、統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。すなわち、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（図４のステップ４０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ４０２）。
【００８４】
〔移動体無しと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する（図５のステップ４０２ａ）。この例では、説明上、背景情報保持部９における移動体無しと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【００８５】
この場合、画素状態確認部１３は、移動体無しと判定された全ての画素について定量化部７へ定量化指令を送る（ステップ４０２ａ，４０２ｂ）。定量化部７は、この定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める。
【００８６】
画素状態分類部８は、移動体無しと判定された各画素の経過時間ＥＴが上限値ＥＴｍａｘに達していることを確認のうえ（ステップ４０２ｃのＹＥＳ）、定量化部７から送られてくる移動体無しと判定された各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる（ステップ４０２ｈ，４０２ｉ）。
【００８７】
これにより、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈを超えた画素（前回はＶａｒ≦Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「安定状態」から「不安定状態」へと変更される（図１４に示す遷移▲５▼）。また、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈ以下になった画素（前回はＶａｒ＞Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「不安定状態」から「安定状態」へと変更される（図１４に示す遷移▲６▼）。
【００８８】
この後、画素状態分類部８は、画像確保部６へデータの保存指令を送る。画像確保部６は、画素状態分類部８からの保存指令を受けて、撮像手段１からの入力画像Ｉ（ｘ，ｙ）における移動体無しと判定された各画素の画素値を背景情報保持部９に送り、その各画素の「時系列データ」中の最も古い画素値と置き換えて保存する（ステップ４０２ｆ）。
【００８９】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【００９０】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「安定状態」であった場合、その画素について「安定状態」から「移動状態」への遷移と判断し（図１４に示す遷移▲３▼）、すなわちその「画素状態」を「移動状態」の一形態である「安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲１▼参照）。これにより、「安定状態」から「移動状態」へ遷移した画素について、その移動時間（移動状態に遷移してからの経過時間）ＴＭのカウントが開始される。
【００９１】
画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「不安定状態」であった場合、その画素について「不安定状態」から「移動状態」への遷移と判断し（図１４に示す遷移▲４▼）、すなわちその「画素状態」を「移動状態」の一形態である「不安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲２▼参照）。これにより、「不安定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【００９２】
なお、全ての場合において「移動状態」への更新後は、その画素の背景情報における「時系列データ」中の最新の画素値（直前の画素値）を現在の画素値とし、この現在の画素値を最も古い画素値と置き換えて保存する。すなわち、移動体有りと判定された画素については、その移動体を含む画素値を背景情報中の時系列データとしては含めない。
【００９３】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「移動状態」が含まれているものとする。
【００９４】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「移動状態」であった場合、その送られてきた「移動状態」をそのままその画素の「画素状態」として背景情報保持部９に保持（更新）させる。すなわち、直前の「画素状態」が「安定状態から移動状態」であれば更新後の「画素状態」も「安定状態から移動状態」とし、直前の「画素状態」が「不安定状態から移動状態」であれば更新後の「画素状態」も「不安定状態から移動状態」とする。この場合、その画素の背景情報中、「移動時間ＴＭ」を１アップする（図１５に示す処理内容▲４▼，▲５▼参照）。なお、移動時間ＴＭは、予め定められた上限値ＴＭｍａｘより上には増やさない。
【００９５】
〔移動体無しと判定された画素：移動状態でなくなった場合〕
移動体有無判定部１２は、移動体輪郭画像Ｍ（ｘ，ｙ）から移動体が無くなると、それまで移動体有りと判定していた画素を移動体無しと判定する。この場合、画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。
【００９６】
ここで、移動体無しと判定された画素の直前の「画素状態」は「移動状態」とされているので（図５に示すステップ４０２ａのＹＥＳ）、画素状態確認部１３はその旨を移動時間判定部１４へ知らせる。移動時間判定部１４は、画素状態確認部１３からの知らせを受けて、その移動体無しと判定された画素の背景情報保持部９における「移動時間ＴＭ」をチェックする（ステップ４０２ｊ）。
【００９７】
（イ）移動体がとどまっていた時間が短かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していない場合、すなわち移動体がその画素にとどまっていた時間が短かかった場合、移動時間判定部１４はその画素の背景情報中の「移動時間ＴＭ」を零に戻し（ステップ４０２ｋ）、定量化部７へ定量化指令を送る。
【００９８】
定量化部７は、移動時間判定部１４からの定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ４０２ｂ）。この場合、移動体無しと判定された画素の「経過時間ＥＴ」は上限値ＥＴｍａｘに達しているので（ステップ４０２ｃのＹＥＳ）、ステップ４０２ｇ以降の処理が実行される。
【００９９】
この処理によって、「安定状態」か「不安定状態」かが判断され、「安定状態」と判断された画素の背景情報中の「画素状態」は「移動状態」から「安定状態」へ遷移し（ステップ４０２ｉ：図１４の遷移▲７▼）、「不安定状態」として判断された画素の背景情報中の「画素状態」は「移動状態」から「不安定状態」へ遷移する（ステップ４０２ｈ：図１４の遷移▲８▼）。
【０１００】
（ロ）移動体がとどまっていた時間が長かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していた場合、すなわち移動体がその画素にとどまっていた時間が長かかった場合、移動時間判定部１４はその画素の背景情報中の「時系列データ」をクリするとともに（ステップ４０２ｍ）、その画素の背景情報中の「経過時間ＥＴ」および「移動時間ＴＭ」を零に戻し（ステップ４０２ｎ，１０２ｋ）、定量化部７へ定量化指令を送る。
【０１０１】
定量化部７は、移動時間判定部１４からの定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ４０２ｂ）。この場合、移動体無しと判定された画素の経過時間ＥＴは０に戻されているので（ステップ４０２ｃのＮＯ）、ステップ４０２ｄ以降の処理が実行される。この処理によって、その画素の背景情報中の画素の「画素状態」は、「移動状態」から「未定状態」へ遷移する（ステップ４０２ｄ：図１４の遷移▲９▼）。また、その画素の背景情報中の「経過時間ＥＴ」のカウントが開始されるとともに（ステップ４０２ｅ）、その画素の背景情報中の「時系列データ」の収集が開始される（ステップ４０２ｆ）。
【０１０２】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「未定状態」が含まれているものとする。
【０１０３】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「未定状態」であった場合、その画素について「未定状態」から「移動状態」への遷移と判断し（図１４の遷移（１０））、すなわちその「画素状態」を「移動状態」の一形態である「未定状態から移動状態」であると判断し、この「未定状態から移動状態」をその画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲３▼参照）。これにより、「未定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【０１０４】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態から移動状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「未定状態から移動状態」が含まれているものとする。
【０１０５】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「未定状態から移動状態」であった場合、その送られてきた「未定状態から移動状態」をそのままその画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップする（図１５に示す処理内容▲６▼参照）。
【０１０６】
このようにして自動更新された各画素の背景情報より、移動体輪郭画像Ｍ（ｘ，ｙ）が得られる毎に、有効／無効領域決定部１１は、「安定状態」である画素、「安定状態から移動状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）とし、「未定状態」である画素、「不安定状態」である画素、「未定状態から移動状態」である画素「不安定状態から移動状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定する。また、背景画像生成部１０は、各画素の「時系列データ」の平均値として背景画像Ａ（ｘ，ｙ）を生成する。
【０１０７】
【発明の効果】
以上説明したことから明らかなように本発明によれば、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求め、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求め、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するようにしたので、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭が抽出されこれにより、見かけ上、有効領域と無効領域との区別がなくなり、有効／無効領域の自動決定などによって無効領域が広く設定されても、移動体などの検出をより高精度で行うことができるようになる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。
【図２】この移動体検出装置における背景情報更新処理部の内部構成の概略を示すブロック図である。
【図３】この移動体検出装置における画素毎の背景情報の要素名および概要を示す図である。
【図４】この移動体検出装置における移動体の有無の判定処理を示すフローチャートである。
【図５】この移動体検出装置における移動体無しと判定された場合の処理を示すフローチャートである。
【図６】この移動体検出装置における移動体の検出処理を説明するための図である。
【図７】この移動体検出装置における輪郭抽出処理部の要部を示すブロック図である。
【図８】この移動体検出装置における統合処理部での背景差分画像と輪郭抽出画像とからの移動体輪郭画像の生成処理を示すフローチャートである。
【図９】この移動体検出装置における統合処理部での移動体輪郭画像を生成する際の移動体書き出し処理を示すフローチャートである。
【図１０】このフローチャートに従う移動体書き出し処理を説明するための図である。
【図１１】輪郭抽出画像および背景差分画像における最初の探索点（ｘ，ｙ）の周囲８画素を示す図である。
【図１２】移動体輪郭画像が出来上がって行く様子を示す図である。
【図１３】再度探索点とされないように時期探索点に対応する背景差分画像および輪郭抽出画像における画素の値が「０」とされて行く様子を示す図である。
【図１４】画素状態分類部で分類される画素状態の遷移図である。
【図１５】移動体有りと判定された画素についての処理内容を示す図である。
【図１６】従来の背景差分処理を説明する図である。
【図１７】頻繁に変化する物体として例えばネオンが含まれている場合の背景差分処理を説明する図である。
【図１８】人為的に有効／無効領域を設定して背景差分処理を行うようにした従来例を説明する図である。
【図１９】無効領域が広くなることによる検出性能の劣化を説明する図である。
【符号の説明】
１…撮像手段、２…背景差分処理部、３…輪郭抽出処理部（フレーム間差分処理部）、４…統合処理部、５…背景情報更新処理部、６…画像確保部、７…定量化部、８…画素状態分類部、９…背景情報保持部、１０…背景画像生成部、１１…有効／無効領域決定部、１２…移動体有無判定部、１３…画素状態確認部、１４…移動時間判定部、１５…フレーム間差分処理部、１６…画像メモリ、１００…移動体検出装置。
Claims (4)
- 画像フレーム内で任意に設定される有効領域を対象として所定の背景を含む入力画像と前記背景からなる背景画像との差分を求め、前記入力画像の前記有効領域内における変化物体の像を含む背景差分画像を求めるステップと、
前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、
前記背景差分画像中の像に基づいてこの像と連続する前記輪郭抽出画像中の前記変化物体の輪郭を抽出するステップと
を備えたことを特徴とする画像処理方法。 - 請求項１に記載された画像処理方法において、
前記輪郭抽出画像を求めるステップは、
前記入力画像の時系列から相前後する２つの前記入力画像の差分を求め、前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める
ことを特徴とする画像処理方法。 - 画像フレーム内で任意に設定される有効領域を対象として所定の背景を含む入力画像と前記背景からなる背景画像との差分を求め、前記入力画像の前記有効領域内における変化物体の像を含む背景差分画像を求める手段と、
前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める手段と、
前記背景差分画像中の像に基づいてこの像と連続する前記輪郭抽出画像中の前記変化物体の輪郭を抽出する手段と
を備えたことを特徴とする画像処理装置。 - 請求項１に記載された画像処理装置において、
前記輪郭抽出画像を求める手段は、
前記入力画像の時系列から相前後する２つの前記入力画像の差分を求め、前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める
ことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056827A JP2004265292A (ja) | 2003-03-04 | 2003-03-04 | 画像処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056827A JP2004265292A (ja) | 2003-03-04 | 2003-03-04 | 画像処理方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004265292A true JP2004265292A (ja) | 2004-09-24 |
Family
ID=33120399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003056827A Pending JP2004265292A (ja) | 2003-03-04 | 2003-03-04 | 画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004265292A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007323572A (ja) * | 2006-06-05 | 2007-12-13 | Nec Corp | 物体検出装置、物体検出方法および物体検出プログラム |
| JP2008525051A (ja) * | 2004-12-28 | 2008-07-17 | 新世代株式会社 | 反射物体を検出する方法及び装置 |
| WO2010026688A1 (ja) * | 2008-09-04 | 2010-03-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、対象物追跡装置および画像処理方法 |
| JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
| JP2010532898A (ja) * | 2007-07-08 | 2010-10-14 | ユニベルシテ・ド・リエージュ | 視覚背景抽出器 |
| JP2016071387A (ja) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2003
- 2003-03-04 JP JP2003056827A patent/JP2004265292A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008525051A (ja) * | 2004-12-28 | 2008-07-17 | 新世代株式会社 | 反射物体を検出する方法及び装置 |
| US8311273B2 (en) | 2006-06-05 | 2012-11-13 | Nec Corporation | Object detection based on determination of pixel state |
| JP4631806B2 (ja) * | 2006-06-05 | 2011-02-16 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出プログラム |
| JP2007323572A (ja) * | 2006-06-05 | 2007-12-13 | Nec Corp | 物体検出装置、物体検出方法および物体検出プログラム |
| JP2010532898A (ja) * | 2007-07-08 | 2010-10-14 | ユニベルシテ・ド・リエージュ | 視覚背景抽出器 |
| JP4699564B2 (ja) * | 2007-07-08 | 2011-06-15 | ユニベルシテ・ド・リエージュ | 視覚背景抽出器 |
| WO2010026688A1 (ja) * | 2008-09-04 | 2010-03-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、対象物追跡装置および画像処理方法 |
| JP2010061478A (ja) * | 2008-09-04 | 2010-03-18 | Sony Computer Entertainment Inc | 画像処理装置、対象物追跡装置および画像処理方法 |
| EP2320379A1 (en) * | 2008-09-04 | 2011-05-11 | Sony Computer Entertainment Inc. | Image processing device, object tracking device, and image processing method |
| US8503726B2 (en) | 2008-09-04 | 2013-08-06 | Sony Corporation | Image processing device, object tracking device, and image processing method |
| EP2320379A4 (en) * | 2008-09-04 | 2016-06-01 | Sony Computer Entertainment Inc | IMAGE PROCESSING DEVICE, OBJECT TRACKING DEVICE, AND IMAGE PROCESSING METHOD |
| JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
| JP2016071387A (ja) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7982774B2 (en) | Image processing apparatus and image processing method | |
| JP4764561B2 (ja) | 一連のビデオ画像中のショット変化を検出する方法 | |
| US9053355B2 (en) | System and method for face tracking | |
| JP3308617B2 (ja) | 動きベクトル検出装置及びその方法 | |
| EP4038540B1 (en) | Object detection | |
| JP2004265292A (ja) | 画像処理方法および装置 | |
| KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
| CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
| JPH07249128A (ja) | 車両用画像処理装置 | |
| JP2004265291A (ja) | 背景差分処理法および装置 | |
| JPH09284702A (ja) | シーン変化フレーム検出方法および装置 | |
| CN106780646B (zh) | 一种适用多场景的无参数背景建模方法 | |
| Love et al. | An empirical study of block matching techniques for the detection of moving objects | |
| JP6603123B2 (ja) | 動物体の検出装置、検出方法及びプログラム | |
| JP3230509B2 (ja) | 動画像処理装置 | |
| JP2004295416A (ja) | 画像処理装置 | |
| CN115104136A (zh) | 用于基于利用机器学习模型的输出的视觉证据而检测视频信号中的对象的设备、方法和计算机可读存储介质 | |
| JP3062394B2 (ja) | 動体像抽出方法 | |
| JP4467702B2 (ja) | 影変化領域判定装置、これを用いた画像判定装置および画像生成装置、並びにこれに用いられる影強度比演算装置 | |
| JP2021047710A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
| JPH09319978A (ja) | 侵入物体監視装置 | |
| JP2621806B2 (ja) | 背景特徴マスク生成装置および移動物体特徴抽出装置 | |
| JP2003256849A (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
| KR102589150B1 (ko) | 누적 차영상을 이용한 원거리 객체 검지 시스템 | |
| JP2004118718A (ja) | シーン変化点検出方法および装置並びにプログラム |