JP2004265292A - Image processing method and device thereof - Google Patents
Image processing method and device thereof Download PDFInfo
- Publication number
- JP2004265292A JP2004265292A JP2003056827A JP2003056827A JP2004265292A JP 2004265292 A JP2004265292 A JP 2004265292A JP 2003056827 A JP2003056827 A JP 2003056827A JP 2003056827 A JP2003056827 A JP 2003056827A JP 2004265292 A JP2004265292 A JP 2004265292A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- state
- background
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
この発明は、有効領域を対象として入力画像と背景画像との差分を背景差分画像として求め、この背景差分画像から移動体などを検出する画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、移動体などの検出では、背景差分処理を行っている。図１６（ａ）はＴＶカメラなどの撮像手段によって撮像された入力画像、図１６（ｂ）はこの入力画像に含まれる背景画像である。入力画像に移動体が写っていなければ入力画像と背景画像とは等しい。背景差分処理では、図１６（ａ）に示された入力画像と図１６（ｂ）に示された背景画像との差分をとり、図１６（ｃ）に示されるような背景差分画像を得る。この例では、入力画像に移動体として人物Ｍａが写っており、背景画像との差分をとることにより背景画像には含まれていなかった人物Ｍａのみが背景差分画像に現れる。このようにして移動体の像を抽出（検出）することができる。
【０００３】
しかしながら、背景には、静止物体だけではなく、動いたり、輝度が頻繁に変化する物体もある。例えば、ネオンなどは、輝度が頻繁にかつ著しく変化する。図１７（ａ）に示す入力画像および図１７（ｂ）に示す背景画像にはネオンＮｅが含まれている。この場合、背景差分処理を行うと、図１７（ｃ）に示す背景差分画像には、人物Ｍａに加えて、ネオンＮｅが現れる。図１７（ｃ）に示された背景差分画像中、ネオンＮｅは、移動体である人物Ｍａの検出において不適切な判断を与える外乱要因となる。
【０００４】
そこで、最近の背景差分処理では、背景画像に対して背景差分処理の対象とする有効領域と対象としない無効領域を設定し、有効領域のみの情報に基づいて移動体の検出を行っている。例えば、図１８（ｂ）に示すように、ネオンＮｅが存在する領域を無効領域Ｓ２、無効領域Ｓ２を除いた残りの領域を有効領域Ｓ１とし、有効領域Ｓ１についてのみ入力画像（図１８（ａ））と背景画像（図１８（ｂ））との差分をとり、図１８（ｃ）に示されるような背景差分画像を得るようにしている。これにより、ネオンＮｅが存在する無効領域Ｓ２が背景差分処理の対象から除外され、入力画像中の人物Ｍａのみを含む背景差分画像を得ることができる（例えば、特許文献１参照）。
【０００５】
なお、上述した例では、有効領域Ｓ１についてのみ入力画像と背景画像との差分をとるようにしたが、全領域を対象として入力画像と背景画像との差分をとり、この差分画像における無効領域Ｓ２に対応する部分にマスクをかけて、図１８（ｃ）に示されるような背景差分画像を得ることも行われている。このようなマスクをかける方法によっても、無効領域Ｓ２を背景差分処理の対象から除外し、有効領域Ｓ１のみを背景差分処理の対象として、入力画像中の人物Ｍａだけを移動体として検出することができる。
【０００６】
【特許文献１】
特開平９−２１４９３８号公報（第４−５頁、図１−図４）
【０００７】
【発明が解決しようとする課題】
しかしながら、このような従来の移動体の検出方法によると、背景差分処理の無効領域Ｓ２が広くなると、検出すべき移動体が無効領域Ｓ２に含まれてくる確率が高くなる。例えば、図１９（ｂ）に示すように無効領域Ｓ２を広くすると、この無効領域Ｓ２に人物Ｍａの大部分が含まれてしまうということがあり、背景差分処理によって得られる背景差分画像には図１９（ｃ）に示されるように人物Ｍａの一部分しか出現しなくなる。この場合、人物Ｍａの充分な検出が行えず、ひいては移動体の検出性能の劣化につながる。
【０００８】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、移動体などの検出をより高精度で行うことができる画像処理方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
このような目的を達成するために本発明は、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求めるステップと、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するステップとを設けたものである。
【００１０】
この発明では、有効領域を対象として入力画像と背景画像との差分が背景差分画像として求められる。また、入力画像中の変化物体の輪郭を含む輪郭抽出画像が求められる。移動体の検出を行う場合、背景差分画像に現れる物体は検出しようとする移動体である確率が高い。輪郭抽出画像に現れる物体は他の変化物体も含んでいる。本発明では、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭を抽出する。これにより、見かけ上、有効領域と無効領域との区別がなくなり、検出しようとする移動体の全体の輪郭を抽出することが可能となる。
【００１１】
なお、本発明において、輪郭抽出画像は例えばフレーム間差分処理によって求めることができる。フレーム間差分処理では、入力画像の時系列から相前後する２つの入力画像の差分を輪郭抽出画像として求める。輪郭抽出画像は、必ずしもフレーム間差分処理によらなくてもよく、画像処理で一般に知られている微分処理、領域分割などを用いて求めるようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【００１２】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
図１は本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。同図において、１はＴＶカメラなどの撮像手段、２は背景差分処理部、３は輪郭抽出処理部、４は統合処理部、５は背景情報更新処理部である。
【００１３】
この移動体検出装置１００においては、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ，ｔ）（以下、Ｉ（ｘ，ｙ）と略す）を背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送るようにし、背景差分処理部２において生成される背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部３において生成される輪郭抽出画像Ｏ（ｘ，ｙ）とから統合処理部４において移動体輪郭画像Ｍ（ｘ，ｙ）を生成し、この生成した移動体輪郭画像Ｍ（ｘ，ｙ）を背景情報更新処理部５へフィードバックし、背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２の更新を行うようにしている。
【００１４】
背景差分処理部２は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と、背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから、有効領域Ｓ１における変化物体の像を含む背景差分画像ＢＧ（ｘ，ｙ）を生成する。
輪郭抽出処理部３は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）から、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００１５】
統合処理部４は、背景差分処理部２からの背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出処理部３からの輪郭抽出画像Ｏ（ｘ，ｙ）とから、入力画像Ｉ（ｘ，ｙ）中の移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
背景情報更新処理部５は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）と統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）とから、背景差分処理部２への背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２を生成（更新）する。
【００１６】
図２は背景情報更新処理部５の内部構成の概略を示すブロック図である。背景情報更新処理部５は、画像確保部６、定量化部７、画素状態分類部８、背景情報保持部９、背景画像生成部１０、有効／無効領域決定部１１、移動体有無判定部１２、画素状態確認部１３、移動時間判定部１４を備えている。
【００１７】
〔背景情報更新処理部５の各部の機能の概略〕
背景情報更新処理部５において、画像確保部６は、撮像手段１からの所定周期で入力される時系列の入力画像Ｉ（ｘ，ｙ）を予め規定された特定の量だけ確保し、その確保した各画像の画像フレームを構成する各画素の画素値を背景情報保持部９に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【００１８】
定量化部７は、背景情報保持部９に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。画素状態分類部８は、定量化部７で定量化された各画素の変動具合に基づいて各画素の状態を分類し、その分類した各画素の状態を背景情報保持部９に送り、各画素の背景情報の一部である「画素状態」として保持させる。
【００１９】
なお、「画素状態」には、「未定状態」、「安定状態」、「不安定状態」、「移動状態」があり、「移動状態」はさらに「未定状態から移動状態」、「安定状態から移動状態」、「不安定状態から移動状態」に分けられる。これらの「画素状態」については後述する。
【００２０】
背景情報保持部９は、上述した「時系列データ」、「画素状態」に加えて、「経過時間ＥＴ」（画素状態が未定状態に入ってから経過した時間）、「移動時間ＴＭ」（画素状態が移動状態に入ってから経過した時間）を各画素の背景情報として保持する。図３に画素毎の背景情報の要素名および概要を示す。
【００２１】
背景画像生成部１０は、背景情報保持部９における各画素の「時系列データ」に基づき、背景画像Ａ（ｘ，ｙ）を生成する。有効／無効領域決定部１１は、背景情報保持部９における各画素の「画素状態」に基づき、背景差分処理の有効領域Ｓ１／無効領域Ｓ２を決定する。
【００２２】
移動体有無判定部１２は、統合処理部４からフィードバックされてくる移動体輪郭画像Ｍ（ｘ，ｙ）の各画素毎に移動体の有無を判定し、その判定結果を画素状態確認部１３へ送る。この場合、その画素の画素値が「１」であれば移動体有りと判定し、その画素の画素値が「０」でれば移動体無しと判定する。
【００２３】
画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、その画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認し、移動体有りと判定された画素については、その確認した「画素状態」を画素状態分類部８へ送り、移動体無しと判定された画素については、定量化部７へ定量化指令を送る。
【００２４】
移動時間判定部１４は、画素状態確認部１３からの知らせを受けて、「移動体有り」から「移動体無し」へと変化した画素について、背景情報保持部９における背景情報中の「移動時間ＴＭ」をチェックし、その画素に移動体がとどまっていた時間の長短を判定する。
【００２５】
〔移動体検出装置１００における全体の処理の流れ〕
以下では、説明を簡単とするために、実稼働開始後少なくともｎ個の入力画像Ｉ（ｘ，ｙ）が取り込まれるまでの間は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）には移動体や輝度が変化する物体が含まれないものとする。
【００２６】
実稼働開始後、ｎ個の入力画像Ｉ（ｘ，ｙ）が確保されるまでは、背景差分処理部２への有効／無効領域は、その全ての領域が無効領域Ｓ２とされる（後述）。入力画像Ｉ（ｘ，ｙ）がｎ個確保されると、このｎ個の入力画像Ｉ（ｘ，ｙ）に基づく最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が背景情報更新処理部５において確定され、背景差分処理部２に対して設定される（▲１▼実稼働開始直後の背景画像および有効／無効領域の設定）。
【００２７】
そして、背景差分処理部２において、背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２を用いて、入力画像Ｉ（ｘ，ｙ）と背景画像Ａ（ｘ，ｙ）との間で背景差分処理が行われ、背景差分画像ＢＧ（ｘ，ｙ）が得られる（▲２▼背景差分画像の取得）。
【００２８】
また、この背景差分画像ＢＧ（ｘ，ｙ）の取得と並行して、輪郭抽出処理部３での入力画像Ｉ（ｘ，ｙ）に対する輪郭抽出処理が行われ、入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）が得られる（▲３▼輪郭抽出画像の取得）。
【００２９】
そして、統合処理部４において、輪郭抽出処理部３で得られた輪郭抽出画像Ｏ（ｘ，ｙ）中の輪郭（変化物体の輪郭）から背景差分処理部２で得られた背景差分画像ＢＧ（ｘ，ｙ）中の像（移動体の像）と連続するものが抽出され、移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）が得られる（▲４▼移動体の輪郭抽出）。
【００３０】
また、この移動体輪郭画像Ｍ（ｘ，ｙ）が背景情報更新処理部５へフィードバックされ、背景画像Ａ（ｘ，ｙ）および有効領域Ｓ１／無効領域Ｓ２が自動的に更新される（▲５▼稼働中の背景画像および有効／無効領域の自動更新）。
【００３１】
以下、上述した全体の処理の流れに沿って、各部の詳細な機能を交えながら、その処理手順について説明する。なお、本発明は、この全体の処理の流れ中、「▲２▼背景差分画像の取得」、「▲３▼輪郭抽出画像の取得」、「▲４▼移動体の輪郭抽出」の各処理に関係し、「▲１▼実稼働開始直後の背景画像および有効／無効領域の設定」、「▲５▼稼働中の背景画像および有効／無効領域の自動更新」とは直接関係しない。
【００３２】
〔▲１▼実稼働開始直後の背景画像および有効／無効領域の設定〕
実稼働開始の指示が出されると、背景情報更新処理部５における画像確保部６は、初期状態として、背景情報保持部９における各画素の「画素状態」を「未定状態」とする。「未定状態」とは、その画素の状態がまだ確定されていないことを意味する。また、各画素の「経過時間ＥＴ」および「移動時間ＴＭ」をリセットし、零とする。また、各画素の「時系列データ」をクリアして、零とする。
【００３３】
実稼働開始後、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）は、背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送られる。
背景差分処理部２は、撮像手段１からの最初の入力画像Ｉ（ｘ，ｙ）が入力されると、その入力画像Ｉ（ｘ，ｙ）と背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）および背景差分処理の有効領域Ｓ１／無効領域Ｓ２とから背景差分画像ＢＧ（ｘ，ｙ）を生成する。
【００３４】
この場合、背景情報更新処理部５の背景情報保持部９における背景情報中、各画素の「画素状態」は「未定状態」とされている。背景情報更新処理部５は、「画素状態」が「未定状態」である画素については、その画素を無効画素と判断し、無効画素を集めた領域を背景差分処理の無効領域とする。したがって、この場合、背景差分処理の有効領域Ｓ１はなく、全ての領域が無効領域Ｓ２とされる。
【００３５】
このため、背景差分画像ＢＧ（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）に拘わらず全ての画素が「０」とされ、輪郭抽出処理部３において得られる輪郭抽出画像Ｏ（ｘ，ｙ）に変化物体の輪郭が抽出されていたとしても、統合処理部４で得られる移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされる。なお、輪郭抽出処理部３および統合処理部４での具体的な処理内容については後述する。
【００３６】
統合処理部４から得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部５へフィードバックされる。背景情報更新処理部５において、移動体有無判定部１２は、統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。
【００３７】
ここで、移動体有無判定部１２は、図４に示すフローチャートに従い、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（ステップ４０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ４０２）。この場合、統合処理部４からの最初の移動体輪郭画像Ｍ（ｘ，ｙ）は全ての画素が「０」とされているので、全ての画素において移動体無しと判定される。
【００３８】
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。ここで、移動体有りと判定された画素と移動体無しと判定された画素では、以降の処理が異なる。この場合、全ての画素が移動体無しと判定された画素であるので、図５に示す移動体無し時の処理動作が行われる。
【００３９】
画素状態確認部１３は、移動体無しと判定された各画素の背景情報保持部９における「画素状態」（直前の画素状態）をチェックし（ステップ４０２ａ）、その「画素状態」が「移動状態」であるか否かを確認する。この場合、移動体無しと判定された各画素の「画素状態」は「未定状態」であるので（ステップ４０２ａのＮＯ）、直ちに各画素に対しての定量化指令を定量化部７へ送る（ステップ４０２ｂ）。
【００４０】
定量化部７は、この画素状態確認部１３からの定量化指令を受けて、背景情報保持部９に保持されている各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その各画素の「時系列データ」の変動具合を定量化する。この例では、各画素の変動具合として、「時系列データ」として保持されている画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒを求める。そして、定量化部７は、この求めた各画素の分散Ｖａｒを画素状態分類部８へ送る。
【００４１】
なお、画像フレーム（入力画像（ｘ，ｙ，ｔ））の画素値をＰｉｘ（ｘ，ｙ，ｔ）とすると、画素値の平均Ａ（ｘ，ｙ）と分散Ｖａｒ（ｘ，ｙ）はそれぞれ下記の（１）および（２）式で計算される。
【００４２】
【数１】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部９にはまだ各画素の「時系列データ」は１つも保持されていないので、定量化部７ではまだ各画素の分散Ｖａｒを求めることができない。この場合、定量化部７は、各画素の分散Ｖａｒを零として画素状態分類部８へ送る。
【００４４】
画素状態分類部８は、背景情報保持部９に保持されている各画素の「経過時間ＥＴ」を確認し、「経過時間ＥＴ」が予め定められている上限値ＥＴｍａｘに達していなければ（ステップ４０２ｃのＮＯ）、定量化部７からの分散Ｖａｒに拘わらず、その画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持させる（ステップ４０２ｄ）。また、背景情報保持部９における各画素の「経過時間ＥＴ」を１アップし（ステップ４０２ｅ）、画像確保部６へデータの保存指令を送る（ステップ４０２ｆ）。なお、この実施の形態では、撮像手段１からｎ個の画像が取り込まれるまでの時間ＥＴｎを上限値ＥＴｍａｘとしている。
【００４５】
最初の移動体輪郭画像Ｍ（ｘ，ｙ）が得られた時点では、背景情報保持部９における各画素の「経過時間ＥＴ」は零とされている。したがって、この場合、画素状態分類部８は、各画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持させる。また、背景情報保持部９における各画素の「経過時間ＥＴ」を１アップし、画像確保部６へデータの保存指令を送る。この保存指令を受けて、画像確保部６は、撮像手段１からの入力画像（最初の入力画像）Ｉ（ｘ，ｙ）における各画素の画素値Ｄ１を背景情報保持部９に送り、各画素の「時系列データ」として保持させる。
【００４６】
以下、移動体有無判定部１２に統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）が入力される毎に、同様動作を繰り返す。これによって、背景情報保持部９における各画素の背景情報は、「画素状態」を「未定状態」としたまま、「時系列データ」がＤ１，Ｄ２，Ｄ３・・・・Ｄｎと保持されて行き、「経過時間ＥＴ」がＥＴ１，ＥＴ２，ＥＴ３・・・・ＥＴｎとカウントアップされて行く。
【００４７】
移動体有無判定部１２にｎ＋１個目の移動体輪郭画像Ｍ（ｘ，ｙ）が入力され、画素状態分類部８へ定量化部７から各画素の分散Ｖａｒが与えられると、画素状態分類部８で確認される背景情報保持部９における各画素の「経過時間ＥＴ」はＥＴｎとなり、ステップ４０２ｃにおいて経過時間ＥＴが上限値ＥＴｍａｘに達したことが検出される。この場合、画素状態分類部８は、各画素の「時系列データ」が必要量確保されたと判断し、定量化部７からの分散Ｖａｒを用いての画素状態の分類を行う。
【００４８】
すなわち、画素状態分類部８は、定量化部７から送られてくる各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し（ステップ４０２ｇ）、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断する。そして、この判断した各画素の状態（「安定状態」又は「不安定状態」）を背景情報保持部９に送り、各画素「画素状態」として保持させる（ステップ４０２ｈ，４０２ｉ）。これにより、それまで背景情報保持部９に保持されていた各画素の「画素状態」は、「未定状態」から「安定状態」又は「不安定状態」に書き替えられる。
【００４９】
背景画像生成部１０は、背景情報保持部９における各画素の「時系列データ（Ｄ１〜Ｄｎ）」に基づき、その各画素の「時系列データ（Ｄ１〜Ｄｎ）」の平均値として背景画像Ａ（ｘ，ｙ）を生成し、保持する。
有効／無効領域決定部１１は、背景情報保持部９における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）、「不安定状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定し、保持する。
【００５０】
この後、画素状態分類部８は、画像確保部６へデータの保存指令を送る（ステップ４０２ｆ）。この保存指令を受けて、画像確保部６は、撮像手段１からの入力画像Ｉ（ｘ，ｙ）（ｎ＋１個目の入力画像）における各画素の画素値Ｄｎ＋１を背景情報保持部９に送り、各画素の「時系列データ」中の最も古い画素値Ｄ１と置き換える（ステップ４０２ｆ）。
【００５１】
このようにして、背景情報更新処理部５において、最初の背景画像Ａ（ｘ，ｙ）と有効領域Ｓ１／無効領域Ｓ２が確定され、背景差分処理部２に対して設定される。
【００５２】
〔実稼働中の移動体の検出〕
今、実稼働開始から時間ＥＴｎ＋１を経過した後の現時刻をＴとし、例として、この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）を図６（ａ）、背景情報更新処理部５からの背景画像Ａ（ｘ，ｙ）を図６（ｂ）、背景情報更新処理部５からの背景差分処理の有効領域Ｓ１／無効領域Ｓ２を図６（ｄ）に示す。この現時刻Ｔにおける撮像手段１からの入力画像Ｉ（ｘ，ｙ）は、背景差分処理部２、輪郭抽出処理部３および背景情報更新処理部５へ送られる。
【００５３】
〔▲２▼背景差分画像の取得：背景差分処理〕
背景差分処理部２は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図６（ａ））と背景画像更新処理部１３からの背景画像Ａ（ｘ，ｙ）（図６（ｂ））との差を計算し、予め設定されている閾値Ｔｈｓ（ｘ，ｙ）を用いての閾値処理により差分画像Ｓ（ｘ，ｙ）（図６（ｃ））を得る。この閾値処理は、数式表現すると、下記の（３），（４）式で表される。
【００５４】
Ｓ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜＞Ｔｈｓ（ｘ，ｙ）〕 ・・・・（３）
Ｓ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ａ（ｘ，ｙ）｜≦Ｔｈｓ（ｘ，ｙ）〕 ・・・・（４）
【００５５】
この処理は、入力画像Ｉ（ｘ，ｙ）の画素値と背景画像Ａ（ｘ，ｙ）の画素値（平均値）との差が閾値Ｔｈｓ（ｘ，ｙ）より大きい画素、すなわち背景に大きな変化があった画素の値を「１」とする２値化処理である。
【００５６】
そして、背景差分処理部２は、この閾値処理によって得た差分画像Ｓ（ｘ，ｙ）と背景情報更新処理部５からの有効領域Ｓ１／無効領域Ｓ２（図６（ｄ）参照）とから、背景差分画像ＢＧ（ｘ，ｙ）を得る。この処理は、数式表現すると、下記の（５），（６）式で表される。この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図６（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）が得られる。
ＢＧ（ｘ，ｙ）＝１〔ｉｆ Ｓ（ｘ，ｙ）＝１ａｎｄ（ＳＴＡＴＥ（ｘ，ｙ）＝１）〕・・・・（５）
ＢＧ（ｘ，ｙ）＝０（ｏｔｈｅｒｗｉｓｅ）・・・（６）
【００５７】
この処理は、差分画像Ｓ（ｘ，ｙ）において、その画素値が「１」でかつ有効画素（「安定状態」である画素）である画素の値を「１」、それ以外の画素の値を「０」とする２値化処理である。
この処理により、無効領域Ｓ２が背景差分処理の対象から除外され、図４（ｅ）に示されるような背景差分画像ＢＧ（ｘ，ｙ）を得ることができる。
【００５８】
この例では、差分画像Ｓ（ｘ，ｙ）において、移動体である人物Ｍａの大部分が無効領域Ｓ２に位置している。したがって、背景差分画像ＢＧ（ｘ，ｙ）からは、ネオンＮｅとともにその無効領域Ｓ２に位置する人物Ｍａの大部分が除外されている。背景差分画像ＢＧ（ｘ，ｙ）において、「１」とされた画素は、有効領域Ｓ１に位置している人物Ｍａを示している。このようにして、背景差分処理によって、有効領域における移動体の像（２値画像）が得られる。
【００５９】
なお、この実施の形態では、全領域を対象として入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像Ｓ（ｘ，ｙ）を求め、この差分画像Ｓ（ｘ，ｙ）における無効領域Ｓ２の部分にマスクをかけることによって、無効領域Ｓ２を背景差分処理の対象から除外するようにしているが、有効領域Ｓ１についてのみ入力画像Ｉ（ｘ，ｙ）と差分画像Ａ（ｘ，ｙ）との差分画像を求め、この差分画像を背景差分画像ＢＧ（ｘ，ｙ）として得るようにしてもよい。
【００６０】
〔▲３▼輪郭抽出画像の取得：輪郭抽出処理〕
輪郭抽出処理部３は、撮像手段１からの現時刻Ｔにおける入力画像Ｉ（ｘ，ｙ）を取り込み、この取り込んだ入力画像Ｉ（ｘ，ｙ）中の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。この実施の形態では、一般にフレーム間差分と呼ばれている画像処理によって、輪郭抽出画像Ｏ（ｘ，ｙ）を生成する。
【００６１】
図７は輪郭抽出処理部３の要部を示すブロック図である。輪郭抽出処理部３は、フレーム間差分処理部１７と画像メモリ１８とを備えている。フレーム間差分処理部１７は、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）（図６（ａ）：今回の入力画像）と画像メモリ１８に保存されている１フレーム前の入力画像Ｆ（ｘ，ｙ）（図６（ｆ）：前回の入力画像）との差を計算し、予め設定されている閾値Ｔｈｏ（ｘ，ｙ）を用いての閾値処理によりフレーム間差分画像（輪郭抽出画像）Ｏ（ｘ，ｙ）（図６（ｇ））を得る。この閾値処理は、数式表現すると、下記の（７），（８）式で表される。
【００６２】
Ｏ（ｘ，ｙ）＝１〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜＞Ｔｈｏ（ｘ，ｙ）〕 ・・・・（７）
Ｏ（ｘ，ｙ）＝０〔ｉｆ ｜Ｉ（ｘ，ｙ）−Ｆ（ｘ，ｙ）｜≦Ｔｈｏ（ｘ，ｙ）〕 ・・・・（８）
【００６３】
この処理は、今回の入力画像Ｉ（ｘ，ｙ）の画素値と前回の入力画像Ｆ（ｘ，ｙ）の画素値との差が閾値Ｔｈｏ（ｘ，ｙ）より大きい画素、すなわちフレーム間で大きな変化があった画素の値を「１」とする２値化処理である。「１」とされた画素は、フレーム間で変化した物体を示し、ネオンのように移動体以外の物体も含まれる場合がある。
【００６４】
フレーム間差分処理部１７でのフレーム間差分処理の実行後、撮像手段１からの現時刻Ｔの入力画像Ｉ（ｘ，ｙ）はＦ（ｘ，ｙ）として画像メモリ１８に格納され、次回行われるフレーム間差分処理において１フレーム前の入力画像として用いられる。なお、この例では、輪郭抽出処理部３においてフレーム間差分処理を行うようにしたが、現時刻Ｔの入力画像Ｉ（ｘ，ｙ）に対して画像処理で一般に知られている微分処理、領域分割などを用いて現時刻の入力画像Ｉ（ｘ，ｙ）内の変化物体の輪郭を含む輪郭抽出画像Ｏ（ｘ，ｙ）を得るようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【００６５】
〔▲４▼移動体の輪郭抽出：統合処理〕
統合処理部４は、背景差分処理部２からの背景差分画像ＢＧ（ｘ，ｙ）中の移動体の像に基づいて輪郭抽出処理部３からの輪郭抽出画像Ｏ（ｘ，ｙ）中の変化物体の輪郭を絞り込み、移動体の全体の輪郭を特定する。
【００６６】
基本的な考え方は、輪郭抽出画像Ｏ（ｘ，ｙ）に含まれる変化物体の輪郭から背景差分画像ＢＧ（ｘ，ｙ）の有効領域内の移動体の情報、すなわち信頼性の高い移動体の像に基づき、無効領域に位置する移動体の輪郭を絞り込んで行くことにある。
【００６７】
本実施の形態の統合処理の主要部分である「移動体書き出し処理」（後述）では、以下に説明するように、背景差分画像ＢＧ（ｘ，ｙ）の有効領域の画素を探索点として、輪郭抽出画像Ｏ（ｘ，ｙ）に対して探索点の周囲の画素の値を繰り返しチェックして行く。その結果、統合処理部４における移動体の輪郭抽出においては、有効領域と無効領域との区別がなくなる。
【００６８】
背景差分画像ＢＧ（ｘ，ｙ）（図６（ｅ））において、その値が「１」の画素は、移動体（人物Ｍａ）を表す。輪郭抽出画像Ｏ（ｘ，ｙ）において、その値が「１」の画素は、フレーム間で変化した物体（人物Ｍａを含む）を表す。
【００６９】
背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像の輪郭と輪郭抽出画像Ｏ（ｘ，ｙ）における人物Ｍａの輪郭とは一致する。従って、背景差分画像ＢＧ（ｘ，ｙ）における人物Ｍａの像に基づき、この像の輪郭とつながる輪郭抽出画像Ｏ（ｘ，ｙ）における変化物体の輪郭を求めれば、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図６（ｈ））を得ることができる。
【００７０】
統合処理部４における背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）とから移動体輪郭画像Ｍ（ｘ，ｙ）を生成する処理の流れを図８に示す。なお、前処理として、背景差分画像ＢＧ（ｘ，ｙ）や輪郭抽出画像Ｏ（ｘ，ｙ）に対し、収縮・膨張処理などを行いノイズ除去を行ってもよい。
【００７１】
統合処理部４では、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、その値が共に「１」であるか否かを順番にチェックする（ステップ８０１）。背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素の値が共に「１」であれば（ステップ８０１のＹＥＳ）、その都度、後述する「移動体書き出し処理」を実行する（ステップ８０２）。
【００７２】
すなわち、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、下記の（９）式に従って順次評価値を求め、評価値が「１」となれば、「移動体書き出し処理」を行う。この「移動体書き出し処理」の繰り返しによって、移動体輪郭画像Ｍ（ｘ，ｙ）を生成する。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ａｎｄ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（９）
【００７３】
なお、この（９）式は、（ＢＧ（ｘ，ｙ）、Ｏ（ｘ，ｙ）共に「１」の画素については評価値を「１」とし、それ以外の画素については評価値を「０」とすることを意味している。評価値が「１」となった画素についてのみ「移動体書き出し処理」を行い、評価値が「０」となった画素については「移動体書き出し処理」は行わない。
【００７４】
〔移動体書き出し処理〕
ステップ８０１において、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素が共に「１」であることが確認されると（図１０（ａ），（ｂ）参照）、すなわち上記（９）式によって求められる評価値が「１」となると、統合処理部４はその画素の座標点（ｘ，ｙ）を探索点として探索点メモリに書き込む（図９に示すステップ９０１）。
【００７５】
また、その探索点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ９０２：図１０（ｃ）参照）。また、再度探索点とされないように、その探索点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ９０３：図１０（ｄ），（ｅ）参照）。
【００７６】
そして、探索点（ｘ，ｙ）の周囲の画素について、すなわち探索点（ｘ，ｙ）の周囲に位置する背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素について、順番にその値をチェックして行く（ステップ９０４〜９０８）。なお、本実施の形態では、周囲８画素を処理対象とする。
【００７７】
図１１（ａ）は輪郭抽出画像Ｏ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示し、図１１（ｂ）は背景差分画像ＢＧ（ｘ，ｙ）における最初の探索点（ｘ，ｙ）の周囲８画素を示す。この探索点（ｘ，ｙ）の周囲８画素について、背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する画素（周囲画素）の値をチェックし、どちらかが「１」であれば（ステップ９０４のＹＥＳ）、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録する（ステップ９０５）。図１１に示した例では、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）が次期探索点として登録される。
【００７８】
また、次期探索点を登録した後、その次期探索点に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とする（ステップ９０６）。図１１に示した例では、図１２（ａ）に示すように、座標点（ｘ，ｙ＋１）と（ｘ，ｙ−１）の対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値が「１」とされる。そして、再度探索点とされないように、その次期探索点に対応する背景差分画像ＢＧ（ｘ，ｙ）および輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする（ステップ９０７：図１３（ａ），（ｂ）参照）。
【００７９】
すなわち、探索点（ｘ，ｙ）の周囲の背景差分画像ＢＧ（ｘ，ｙ）と輪郭抽出画像Ｏ（ｘ，ｙ）との対応する各画素（周囲画素）について、下記の（１０）式に従って評価値を求め、評価値が「１」となれば、その周囲画素の座標点（ｘ，ｙ）を次期探索点として次期探索点メモリに登録し、その周囲画素の座標点（ｘ，ｙ）に対応する移動体輪郭画像Ｍ（ｘ，ｙ）における画素の値を「１」とし、その周囲画素の座標点（ｘ，ｙ）に対応する背景差分画像ＢＧ（ｘ，ｙ）、輪郭抽出画像Ｏ（ｘ，ｙ）における画素の値を「０」とする。探索点（ｘ，ｙ）の周囲画素の全てについて処理を終了すれば（ステップ９０８のＹＥＳ）、ステップ９０９へ進む。
Ｉｆ〔ＢＧ（ｘ，ｙ）＝「１」 ｏｒ Ｏ（ｘ，ｙ）＝「１」〕ｔｈｅｎ「１」ｅｌｓｅ「０」 ・・・・（１０）
【００８０】
ステップ９０９では、次期探索点が次期探索点メモリに登録されているか否かをチェックし、次期探索点が次期探索点メモリに登録されていれば（ステップ９０９のＹＥＳ）、その登録されている次期探索点の１つを新しい探索点として探索点メモリに登録し（ステップ９１０）、ステップ９０４へ戻って同様動作を繰り返す。
【００８１】
これにより、図１２（ｂ）に示すように、移動体輪郭画像Ｍ（ｘ，ｙ）において、その値を「１」とする画素が探索点（ｘ，ｙ）を中心としてつながって行く。次期探索点メモリに次期探索点がなくなれば（ステップ９０９のＮＯ）、一連の移動体書き出し処理を終了する。この移動体書き出し処理は、有効領域Ｓ１，無効領域Ｓ２の区別なく、ステップ８０３で全画素が終了するまで繰り返される。
【００８２】
この「移動体書き出し処理」の繰り返しによって、背景差分画像ＢＧ（ｘ，ｙ）における信頼性の高い人物Ｍａの像とつながる輪郭抽出画像Ｏ（ｘ，ｙ）中における変化物体の輪郭が求められて行き、人物Ｍａの全体の輪郭を含む信頼性の高い移動体輪郭画像Ｍ（ｘ，ｙ）（図６（ｈ））が得られるようになる。これにより、自動的に決定（自動的に更新）される無効領域Ｓ２が広くなっても、人物Ｍａの検出を高精度で行うことができるようになる。
【００８３】
〔▲５▼稼働中の背景画像および有効／無効領域の自動更新〕
統合処理部４で得られた移動体輪郭画像Ｍ（ｘ，ｙ）は背景情報更新処理部５へフィードバックされる。背景情報更新処理部５において、移動体有無判定部１２は、統合処理部４からの移動体輪郭画像Ｍ（ｘ，ｙ）の各画素について、移動体の有無を判定する。すなわち、Ｍ（ｘ，ｙ）が「１」である画素については移動体有りと判定し（図４のステップ４０３）、Ｍ（ｘ，ｙ）が「０」である画素については移動体無しと判定する（ステップ４０２）。
【００８４】
〔移動体無しと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する（図５のステップ４０２ａ）。この例では、説明上、背景情報保持部９における移動体無しと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【００８５】
この場合、画素状態確認部１３は、移動体無しと判定された全ての画素について定量化部７へ定量化指令を送る（ステップ４０２ａ，４０２ｂ）。定量化部７は、この定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された各画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める。
【００８６】
画素状態分類部８は、移動体無しと判定された各画素の経過時間ＥＴが上限値ＥＴｍａｘに達していることを確認のうえ（ステップ４０２ｃのＹＥＳ）、定量化部７から送られてくる移動体無しと判定された各画素の分散Ｖａｒと予め定められている閾値Ｖａｒｔｈとを比較し、Ｖａｒ＞Ｖａｒｔｈであればその画素を「不安定状態」、Ｖａｒ≦Ｖａｒｔｈであれば「安定状態」と判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる（ステップ４０２ｈ，４０２ｉ）。
【００８７】
これにより、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈを超えた画素（前回はＶａｒ≦Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「安定状態」から「不安定状態」へと変更される（図１４に示す遷移▲５▼）。また、今回の過去一定時間（ＥＴｎ）の画素値の分散ＶａｒがＶａｒｔｈ以下になった画素（前回はＶａｒ＞Ｖａｒｔｈ）については、その背景情報中の「画素状態」が「不安定状態」から「安定状態」へと変更される（図１４に示す遷移▲６▼）。
【００８８】
この後、画素状態分類部８は、画像確保部６へデータの保存指令を送る。画像確保部６は、画素状態分類部８からの保存指令を受けて、撮像手段１からの入力画像Ｉ（ｘ，ｙ）における移動体無しと判定された各画素の画素値を背景情報保持部９に送り、その各画素の「時系列データ」中の最も古い画素値と置き換えて保存する（ステップ４０２ｆ）。
【００８９】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【００９０】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「安定状態」であった場合、その画素について「安定状態」から「移動状態」への遷移と判断し（図１４に示す遷移▲３▼）、すなわちその「画素状態」を「移動状態」の一形態である「安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲１▼参照）。これにより、「安定状態」から「移動状態」へ遷移した画素について、その移動時間（移動状態に遷移してからの経過時間）ＴＭのカウントが開始される。
【００９１】
画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「不安定状態」であった場合、その画素について「不安定状態」から「移動状態」への遷移と判断し（図１４に示す遷移▲４▼）、すなわちその「画素状態」を「移動状態」の一形態である「不安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲２▼参照）。これにより、「不安定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【００９２】
なお、全ての場合において「移動状態」への更新後は、その画素の背景情報における「時系列データ」中の最新の画素値（直前の画素値）を現在の画素値とし、この現在の画素値を最も古い画素値と置き換えて保存する。すなわち、移動体有りと判定された画素については、その移動体を含む画素値を背景情報中の時系列データとしては含めない。
【００９３】
〔移動体有りと判定された画素：直前の「画素状態」に「移動状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「移動状態」が含まれているものとする。
【００９４】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「移動状態」であった場合、その送られてきた「移動状態」をそのままその画素の「画素状態」として背景情報保持部９に保持（更新）させる。すなわち、直前の「画素状態」が「安定状態から移動状態」であれば更新後の「画素状態」も「安定状態から移動状態」とし、直前の「画素状態」が「不安定状態から移動状態」であれば更新後の「画素状態」も「不安定状態から移動状態」とする。この場合、その画素の背景情報中、「移動時間ＴＭ」を１アップする（図１５に示す処理内容▲４▼，▲５▼参照）。なお、移動時間ＴＭは、予め定められた上限値ＴＭｍａｘより上には増やさない。
【００９５】
〔移動体無しと判定された画素：移動状態でなくなった場合〕
移動体有無判定部１２は、移動体輪郭画像Ｍ（ｘ，ｙ）から移動体が無くなると、それまで移動体有りと判定していた画素を移動体無しと判定する。この場合、画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。
【００９６】
ここで、移動体無しと判定された画素の直前の「画素状態」は「移動状態」とされているので（図５に示すステップ４０２ａのＹＥＳ）、画素状態確認部１３はその旨を移動時間判定部１４へ知らせる。移動時間判定部１４は、画素状態確認部１３からの知らせを受けて、その移動体無しと判定された画素の背景情報保持部９における「移動時間ＴＭ」をチェックする（ステップ４０２ｊ）。
【００９７】
（イ）移動体がとどまっていた時間が短かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していない場合、すなわち移動体がその画素にとどまっていた時間が短かかった場合、移動時間判定部１４はその画素の背景情報中の「移動時間ＴＭ」を零に戻し（ステップ４０２ｋ）、定量化部７へ定量化指令を送る。
【００９８】
定量化部７は、移動時間判定部１４からの定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ４０２ｂ）。この場合、移動体無しと判定された画素の「経過時間ＥＴ」は上限値ＥＴｍａｘに達しているので（ステップ４０２ｃのＹＥＳ）、ステップ４０２ｇ以降の処理が実行される。
【００９９】
この処理によって、「安定状態」か「不安定状態」かが判断され、「安定状態」と判断された画素の背景情報中の「画素状態」は「移動状態」から「安定状態」へ遷移し（ステップ４０２ｉ：図１４の遷移▲７▼）、「不安定状態」として判断された画素の背景情報中の「画素状態」は「移動状態」から「不安定状態」へ遷移する（ステップ４０２ｈ：図１４の遷移▲８▼）。
【０１００】
（ロ）移動体がとどまっていた時間が長かった場合
「移動時間ＴＭ」が上限値ＴＭｍａｘに達していた場合、すなわち移動体がその画素にとどまっていた時間が長かかった場合、移動時間判定部１４はその画素の背景情報中の「時系列データ」をクリするとともに（ステップ４０２ｍ）、その画素の背景情報中の「経過時間ＥＴ」および「移動時間ＴＭ」を零に戻し（ステップ４０２ｎ，１０２ｋ）、定量化部７へ定量化指令を送る。
【０１０１】
定量化部７は、移動時間判定部１４からの定量化指令を受けて、背景情報保持部９に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ＥＴ」を読み出し、その「時系列データ」の平均と分散を求める（ステップ４０２ｂ）。この場合、移動体無しと判定された画素の経過時間ＥＴは０に戻されているので（ステップ４０２ｃのＮＯ）、ステップ４０２ｄ以降の処理が実行される。この処理によって、その画素の背景情報中の画素の「画素状態」は、「移動状態」から「未定状態」へ遷移する（ステップ４０２ｄ：図１４の遷移▲９▼）。また、その画素の背景情報中の「経過時間ＥＴ」のカウントが開始されるとともに（ステップ４０２ｅ）、その画素の背景情報中の「時系列データ」の収集が開始される（ステップ４０２ｆ）。
【０１０２】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「未定状態」が含まれているものとする。
【０１０３】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「未定状態」であった場合、その画素について「未定状態」から「移動状態」への遷移と判断し（図１４の遷移（１０））、すなわちその「画素状態」を「移動状態」の一形態である「未定状態から移動状態」であると判断し、この「未定状態から移動状態」をその画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップさせる（図１５に示す処理内容▲３▼参照）。これにより、「未定状態」から「移動状態」へ遷移した画素について、その移動時間ＴＭのカウントが開始される。
【０１０４】
〔移動体有りと判定された画素：直前の「画素状態」に「未定状態から移動状態」が含まれている場合〕
移動体有無判定部１２は、各画素についての移動体有無の判定結果を画素状態確認部１３へ送る。画素状態確認部１３は、移動体有無判定部１２からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部９における「画素状態」（直前の画素状態）を確認する。この例では、説明上、背景情報保持部９における移動体有りと判定された画素の「画素状態」に「未定状態から移動状態」が含まれているものとする。
【０１０５】
この場合、画素状態確認部１３は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部８へ送る。画素状態分類部８は、画素状態確認部１３から送られてくる「画素状態」が「未定状態から移動状態」であった場合、その送られてきた「未定状態から移動状態」をそのままその画素の「画素状態」として背景情報保持部９に保持（更新）させる。また、これと同時に、その画素の背景情報中の「移動時間ＴＭ」を１アップする（図１５に示す処理内容▲６▼参照）。
【０１０６】
このようにして自動更新された各画素の背景情報より、移動体輪郭画像Ｍ（ｘ，ｙ）が得られる毎に、有効／無効領域決定部１１は、「安定状態」である画素、「安定状態から移動状態」である画素を有効画素（ＳＴＡＴＥ（ｘ，ｙ）＝１）とし、「未定状態」である画素、「不安定状態」である画素、「未定状態から移動状態」である画素「不安定状態から移動状態」である画素を無効画素（ＳＴＡＴＥ（ｘ，ｙ）＝０）とし、有効画素を集めた領域を背景差分処理の有効領域Ｓ１、無効画素を集めた領域を背景差分処理の無効領域Ｓ２として決定する。また、背景画像生成部１０は、各画素の「時系列データ」の平均値として背景画像Ａ（ｘ，ｙ）を生成する。
【０１０７】
【発明の効果】
以上説明したことから明らかなように本発明によれば、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求め、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求め、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するようにしたので、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭が抽出されこれにより、見かけ上、有効領域と無効領域との区別がなくなり、有効／無効領域の自動決定などによって無効領域が広く設定されても、移動体などの検出をより高精度で行うことができるようになる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。
【図２】この移動体検出装置における背景情報更新処理部の内部構成の概略を示すブロック図である。
【図３】この移動体検出装置における画素毎の背景情報の要素名および概要を示す図である。
【図４】この移動体検出装置における移動体の有無の判定処理を示すフローチャートである。
【図５】この移動体検出装置における移動体無しと判定された場合の処理を示すフローチャートである。
【図６】この移動体検出装置における移動体の検出処理を説明するための図である。
【図７】この移動体検出装置における輪郭抽出処理部の要部を示すブロック図である。
【図８】この移動体検出装置における統合処理部での背景差分画像と輪郭抽出画像とからの移動体輪郭画像の生成処理を示すフローチャートである。
【図９】この移動体検出装置における統合処理部での移動体輪郭画像を生成する際の移動体書き出し処理を示すフローチャートである。
【図１０】このフローチャートに従う移動体書き出し処理を説明するための図である。
【図１１】輪郭抽出画像および背景差分画像における最初の探索点（ｘ，ｙ）の周囲８画素を示す図である。
【図１２】移動体輪郭画像が出来上がって行く様子を示す図である。
【図１３】再度探索点とされないように時期探索点に対応する背景差分画像および輪郭抽出画像における画素の値が「０」とされて行く様子を示す図である。
【図１４】画素状態分類部で分類される画素状態の遷移図である。
【図１５】移動体有りと判定された画素についての処理内容を示す図である。
【図１６】従来の背景差分処理を説明する図である。
【図１７】頻繁に変化する物体として例えばネオンが含まれている場合の背景差分処理を説明する図である。
【図１８】人為的に有効／無効領域を設定して背景差分処理を行うようにした従来例を説明する図である。
【図１９】無効領域が広くなることによる検出性能の劣化を説明する図である。
【符号の説明】
１…撮像手段、２…背景差分処理部、３…輪郭抽出処理部（フレーム間差分処理部）、４…統合処理部、５…背景情報更新処理部、６…画像確保部、７…定量化部、８…画素状態分類部、９…背景情報保持部、１０…背景画像生成部、１１…有効／無効領域決定部、１２…移動体有無判定部、１３…画素状態確認部、１４…移動時間判定部、１５…フレーム間差分処理部、１６…画像メモリ、１００…移動体検出装置。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method and apparatus for obtaining a difference between an input image and a background image for a valid area as a background difference image and detecting a moving object or the like from the background difference image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a background difference process has been performed in detecting a moving object or the like. FIG. 16A shows an input image captured by an imaging unit such as a TV camera, and FIG. 16B shows a background image included in the input image. If the moving object is not shown in the input image, the input image is equal to the background image. In the background subtraction processing, a difference between the input image shown in FIG. 16A and the background image shown in FIG. 16B is obtained, and a background difference image as shown in FIG. 16C is obtained. In this example, a person Ma is shown as a moving object in the input image, and only the person Ma not included in the background image appears in the background difference image by calculating a difference from the background image. Thus, the image of the moving object can be extracted (detected).
[0003]
However, the background includes not only a stationary object but also an object that moves or whose luminance changes frequently. For example, neon and the like frequently and remarkably change in luminance. The input image shown in FIG. 17A and the background image shown in FIG. 17B contain neon Ne. In this case, when the background difference processing is performed, neon Ne appears in addition to the person Ma in the background difference image illustrated in FIG. In the background difference image shown in FIG. 17C, neon Ne is a disturbance factor that gives an inappropriate decision in detecting the person Ma as the moving body.
[0004]
Therefore, in the recent background subtraction processing, an effective area to be subjected to the background subtraction processing and an invalid area not to be subjected to the background image are set, and a moving object is detected based on information of only the effective area. For example, as shown in FIG. 18B, the area where neon Ne is present is defined as an invalid area S2, the remaining area excluding the invalid area S2 is defined as an effective area S1, and an input image (FIG. 18A )) And the background image (FIG. 18B) to obtain a background difference image as shown in FIG. 18C. As a result, the invalid area S2 in which the neon Ne is present is excluded from the target of the background subtraction processing, and a background difference image including only the person Ma in the input image can be obtained (for example, see Patent Document 1).
[0005]
In the above-described example, the difference between the input image and the background image is obtained only for the effective area S1, but the difference between the input image and the background image is obtained for the entire area, and the invalid area S2 in the difference image is obtained. Is also performed by applying a mask to the portion corresponding to the background difference image as shown in FIG. Even by such a masking method, it is possible to exclude the invalid area S2 from the target of the background subtraction processing, detect only the valid area S1 as the target of the background subtraction processing, and detect only the person Ma in the input image as a moving object. it can.
[0006]
[Patent Document 1]
JP-A-9-214938 (pages 4-5, FIGS. 1-4)
[0007]
[Problems to be solved by the invention]
However, according to such a conventional method of detecting a moving object, when the invalid area S2 of the background difference processing is widened, the probability that the moving object to be detected is included in the invalid area S2 increases. For example, if the invalid area S2 is widened as shown in FIG. 19B, the invalid area S2 may include most of the person Ma. As shown in FIG. 19 (c), only a part of the person Ma appears. In this case, sufficient detection of the person Ma cannot be performed, and eventually, the detection performance of the moving object is deteriorated.
[0008]
The present invention has been made to solve such a problem, and an object of the present invention is to provide an image processing method and apparatus capable of detecting a moving object or the like with higher accuracy.
[0009]
[Means for Solving the Problems]
In order to achieve such an object, the present invention obtains a difference between an input image and a background image for an effective area arbitrarily set in an image frame, and obtains an image of a changing object in the effective area of the input image. Obtaining a background subtraction image including the contour of the changing object in the input image; and obtaining a contour extraction image including the contour of the changing object in the input image. Is extracted.
[0010]
According to the present invention, a difference between an input image and a background image for an effective area is obtained as a background difference image. In addition, a contour extraction image including the contour of the changing object in the input image is obtained. When detecting a moving object, there is a high probability that the object appearing in the background difference image is the moving object to be detected. Objects appearing in the contour extraction image include other changed objects. According to the present invention, based on an image of an object of a highly reliable background difference image, the outline of a changing object in an outline extraction image that is continuous with this image is extracted. Thus, apparently, there is no distinction between the valid area and the invalid area, and the entire contour of the moving object to be detected can be extracted.
[0011]
In the present invention, the contour extraction image can be obtained by, for example, an inter-frame difference process. In the inter-frame difference processing, a difference between two successive input images from the time series of the input images is obtained as a contour extraction image. The contour extraction image does not necessarily need to be obtained by the inter-frame difference processing, and may be obtained by using a differential processing, a region division, or the like generally known in image processing. Also, a plurality of processing means such as an inter-frame difference and a differential processing may be used in combination.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram of a main part of a moving object detection device showing an embodiment of an image processing device according to the present invention. In FIG. 1,
[0013]
In the moving
[0014]
The background
The contour
[0015]
The integration processing unit 4 obtains an input image I (x, y) from the background difference image BG (x, y) from the background
The background information
[0016]
FIG. 2 is a block diagram schematically showing the internal configuration of the background information
[0017]
[Outline of Function of Each Unit of Background Information Update Processing Unit 5]
In the background information
[0018]
The
[0019]
The “pixel state” includes “undetermined state”, “stable state”, “unstable state”, and “moving state”, and “moving state” further includes “moving state from undetermined state” and “moving state from stable state”. Moving state "and" moving state from unstable state ". These “pixel states” will be described later.
[0020]
The background information holding unit 9 includes, in addition to the “time-series data” and “pixel state” described above, “elapsed time ET” (time elapsed since the pixel state entered an undetermined state), “movement time TM” (pixel The time elapsed since the state entered the moving state) is held as background information of each pixel. FIG. 3 shows the element names and the outline of the background information for each pixel.
[0021]
The background
[0022]
The moving body presence /
[0023]
The pixel
[0024]
In response to the notification from the pixel
[0025]
[Overall Processing Flow in Mobile Detector 100]
In the following, for the sake of simplicity, the input image I (x, y) from the imaging means 1 is not included until at least n input images I (x, y) are captured after the start of actual operation. It is assumed that a moving object and an object whose luminance changes are not included.
[0026]
After the start of the actual operation, until the n input images I (x, y) are secured, all the valid / invalid areas to the background
[0027]
Then, the background
[0028]
In parallel with the acquisition of the background difference image BG (x, y), the contour
[0029]
Then, in the integration processing unit 4, the background difference image BG (the outline of the changing object) in the outline extraction image O (x, y) obtained by the outline
[0030]
Further, the moving object outline image M (x, y) is fed back to the background information
[0031]
Hereinafter, the processing procedure will be described along with the above-described overall processing flow, with the detailed functions of each unit. It should be noted that, in the flow of the entire process, the present invention includes the processes of “(2) acquisition of a background difference image”, “(3) acquisition of a contour extraction image”, and “(4) extraction of a contour of a moving object”. It is not directly related to "(1) Setting of background image and valid / invalid area immediately after start of actual operation" and "(5) Automatic update of background image and valid / invalid area during operation".
[0032]
[(1) Setting of background image and valid / invalid area immediately after start of actual operation]
When an instruction to start actual operation is issued, the image securing unit 6 in the background information
[0033]
After the start of actual operation, the first input image I (x, y) from the
When the first input image I (x, y) from the
[0034]
In this case, the “pixel state” of each pixel in the background information in the background information holding unit 9 of the background information
[0035]
Therefore, all pixels of the background difference image BG (x, y) are set to “0” regardless of the input image I (x, y), and the contour extraction image O (x, y) obtained by the contour
[0036]
The moving object outline image M (x, y) obtained from the integration processing unit 4 is fed back to the background information
[0037]
Here, according to the flowchart shown in FIG. 4, the moving body presence /
[0038]
The moving body presence /
[0039]
The pixel
[0040]
The
[0041]
If the pixel value of the image frame (input image (x, y, t)) is Pix (x, y, t), the average A (x, y) and the variance Var (x, y) of the pixel values are respectively It is calculated by the following equations (1) and (2).
[0042]
(Equation 1)
At the time when the first moving object outline image M (x, y) is obtained, the
[0044]
The pixel
[0045]
When the first moving object outline image M (x, y) is obtained, the “elapsed time ET” of each pixel in the background information holding unit 9 is set to zero. Therefore, in this case, the pixel
[0046]
Hereinafter, each time the moving object outline image M (x, y) is input from the integration processing unit 4 to the moving object presence /
[0047]
When the (n + 1) -th moving object contour image M (x, y) is input to the moving object presence /
[0048]
That is, the pixel
[0049]
Based on the “time-series data (D1 to Dn)” of each pixel in the background information holding unit 9, the background
Based on the “pixel state” of each pixel in the background information holding unit 9, the valid / invalid area determination unit 11 determines a pixel in a “stable state” as a valid pixel (STATE (x, y) = 1) and an “unstable state”. Is determined as an invalid pixel (STATE (x, y) = 0), an area where effective pixels are collected is determined as an effective area S1 for background subtraction processing, and an area where invalid pixels are collected is determined as an invalid area S2 for background subtraction processing. And hold.
[0050]
Thereafter, the pixel
[0051]
In this way, in the background information
[0052]
[Detection of moving objects during actual operation]
Now, let T be the current time after the
[0053]
[2] Acquisition of background difference image: background difference processing
The background
[0054]
S (x, y) = 1 [if | I (x, y) -A (x, y) |> Ths (x, y)] (3)
S (x, y) = 0 [if | I (x, y) -A (x, y) | ≤Ths (x, y)] (4)
[0055]
In this process, the difference between the pixel value of the input image I (x, y) and the pixel value (average value) of the background image A (x, y) is larger than the threshold value Ths (x, y), that is, larger than the threshold value Ths (x, y). This is a binarization process in which the value of the changed pixel is set to “1”.
[0056]
Then, the background
BG (x, y) = 1 [if S (x, y) = 1 and (STATE (x, y) = 1)] (5)
BG (x, y) = 0 (otherwise) (6)
[0057]
In this processing, in the difference image S (x, y), the value of a pixel whose pixel value is “1” and is an effective pixel (a pixel in a “stable state”) is set to “1”, and the values of other pixels are set to “1”. Is "0".
By this processing, the invalid area S2 is excluded from the target of the background difference processing, and a background difference image BG (x, y) as shown in FIG. 4E can be obtained.
[0058]
In this example, in the difference image S (x, y), most of the person Ma as the moving body is located in the invalid area S2. Therefore, most of the person Ma located in the invalid area S2 is excluded from the background difference image BG (x, y) together with neon Ne. In the background difference image BG (x, y), the pixel set to “1” indicates the person Ma located in the effective area S1. In this way, an image (binary image) of the moving object in the effective area is obtained by the background subtraction processing.
[0059]
In this embodiment, a difference image S (x, y) between the input image I (x, y) and the difference image A (x, y) is obtained for the entire region, and the difference image S (x, y) is obtained. By masking the invalid area S2 in y), the invalid area S2 is excluded from the target of the background subtraction processing. However, only for the valid area S1, the input image I (x, y) and the difference image A A difference image from (x, y) may be obtained, and this difference image may be obtained as a background difference image BG (x, y).
[0060]
[3] Acquisition of contour extraction image: contour extraction processing
The contour
[0061]
FIG. 7 is a block diagram showing a main part of the contour
[0062]
O (x, y) = 1 [if | I (x, y) -F (x, y) |> Tho (x, y)] (7)
O (x, y) = 0 [if | I (x, y) -F (x, y) | ≤Tho (x, y)] (8)
[0063]
This processing is performed for pixels in which the difference between the pixel value of the current input image I (x, y) and the pixel value of the previous input image F (x, y) is larger than the threshold Tho (x, y), ie, between frames. This is a binarization process in which the value of a pixel having a large change is set to “1”. A pixel set to “1” indicates an object changed between frames, and may include an object other than a moving object such as neon.
[0064]
After the execution of the inter-frame difference processing by the inter-frame
[0065]
[▲ 4 ▼ Contour extraction of moving object: integration processing]
The integration processing unit 4 performs a change in the contour extraction image O (x, y) from the contour
[0066]
The basic idea is that the information of the moving object in the effective area of the background difference image BG (x, y) is obtained from the outline of the changing object included in the outline extracted image O (x, y), that is, the highly reliable moving object. The object of the present invention is to narrow down the contour of a moving object located in an invalid area based on an image.
[0067]
In a “moving object writing process” (described later), which is a main part of the integration process according to the present embodiment, as described below, a pixel in an effective area of the background difference image BG (x, y) is used as a search point, The values of the pixels around the search point are repeatedly checked for the extracted image O (x, y). As a result, in the contour extraction of the moving body in the integration processing unit 4, there is no distinction between the valid area and the invalid area.
[0068]
In the background difference image BG (x, y) (FIG. 6E), a pixel whose value is “1” represents a moving object (person Ma). In the contour extraction image O (x, y), a pixel whose value is “1” represents an object (including a person Ma) that has changed between frames.
[0069]
The outline of the image of the person Ma in the background difference image BG (x, y) matches the outline of the person Ma in the outline extracted image O (x, y). Therefore, based on the image of the person Ma in the background difference image BG (x, y), if the outline of the changing object in the outline extraction image O (x, y) connected to the outline of this image is obtained, the entire outline of the person Ma is obtained. A highly reliable moving object contour image M (x, y) (FIG. 6 (h)) can be obtained.
[0070]
FIG. 8 shows a flow of a process of generating the moving object outline image M (x, y) from the background difference image BG (x, y) and the outline extraction image O (x, y) in the integration processing unit 4. As the pre-processing, the background difference image BG (x, y) and the contour extraction image O (x, y) may be subjected to erosion / expansion processing to remove noise.
[0071]
The integration processing unit 4 sequentially checks whether the value of each of the pixels corresponding to the background difference image BG (x, y) and the contour extraction image O (x, y) is “1”. (Step 801). If the values of the corresponding pixels of the background difference image BG (x, y) and the contour extraction image O (x, y) are both "1" (YES in step 801), each time "moving object writing" described later is performed. Process ”(step 802).
[0072]
That is, for each pixel corresponding to the background difference image BG (x, y) and the contour extraction image O (x, y), an evaluation value is sequentially obtained according to the following equation (9), and the evaluation value becomes “1”. For example, a “moving object writing process” is performed. By repeating this “moving object writing process”, a moving object contour image M (x, y) is generated.
If [BG (x, y) = “1” and O (x, y) = “1”] then “1” else “0” (9)
[0073]
It should be noted that the expression (9) indicates that the evaluation value is “1” for a pixel having both “BG (x, y) and O (x, y) of“ 1 ”, and the evaluation value is“ 0 ”for the other pixels. The “moving object writing process” is performed only on the pixel whose evaluation value is “1”, and the “moving object writing process” is performed on the pixel whose evaluation value is “0”. Not performed.
[0074]
[Moving object writing process]
In
[0075]
Further, the pixel value in the moving object contour image M (x, y) corresponding to the search point (x, y) is set to “1” (step 902: see FIG. 10C). The pixel value in the background difference image BG (x, y) and the contour extraction image O (x, y) corresponding to the search point (x, y) is set to “0” so as not to be set as the search point again. (Step 903: see FIGS. 10D and 10E).
[0076]
Then, for the pixels around the search point (x, y), that is, the correspondence between the background difference image BG (x, y) and the contour extraction image O (x, y) located around the search point (x, y) The value of each pixel to be checked is checked in order (
[0077]
FIG. 11A shows eight pixels around the first search point (x, y) in the contour extraction image O (x, y), and FIG. 11B shows the first pixel in the background difference image BG (x, y). The eight pixels around the search point (x, y) are shown. For the eight pixels surrounding the search point (x, y), the value of the corresponding pixel (surrounding pixel) between the background difference image BG (x, y) and the contour extraction image O (x, y) is checked. Is "1" (YES in step 904), the coordinate point (x, y) of the surrounding pixels is registered in the next search point memory as the next search point (step 905). In the example shown in FIG. 11, the coordinate points (x, y + 1) and (x, y-1) are registered as the next search points.
[0078]
After the next search point is registered, the value of the pixel in the moving object contour image M (x, y) corresponding to the next search point is set to “1” (step 906). In the example shown in FIG. 11, as shown in FIG. 12A, the pixel values in the moving body contour image M (x, y) corresponding to the coordinate points (x, y + 1) and (x, y−1) Is set to “1”. Then, the pixel value in the background difference image BG (x, y) and the contour extraction image O (x, y) corresponding to the next search point is set to “0” so as not to be set as the search point again (step 907: (See FIGS. 13A and 13B).
[0079]
That is, for each pixel (surrounding pixel) corresponding to the background difference image BG (x, y) around the search point (x, y) and the contour extraction image O (x, y), the following equation (10) is used. An evaluation value is obtained, and when the evaluation value becomes "1", the coordinate point (x, y) of the surrounding pixel is registered in the next search point memory as the next search point, and the coordinate point (x, y) of the surrounding pixel is obtained. , The pixel value in the moving object outline image M (x, y) corresponding to “1” is set to “1”, the background difference image BG (x, y) corresponding to the coordinate point (x, y) of the surrounding pixels, and the outline extraction image The value of the pixel at O (x, y) is “0”. If the process is completed for all the pixels around the search point (x, y) (YES in step 908), the process proceeds to step 909.
If [BG (x, y) = “1” or O (x, y) = “1”] then “1” else “0” (10)
[0080]
In
[0081]
As a result, as shown in FIG. 12B, in the moving object outline image M (x, y), pixels having the value “1” are connected around the search point (x, y). If there is no next search point in the next search point memory (NO in step 909), a series of moving object writing processes is terminated. This moving object writing process is repeated until all the pixels are completed in
[0082]
By repeating the “moving object writing process”, the contour of the changing object in the contour extraction image O (x, y) connected to the highly reliable image of the person Ma in the background difference image BG (x, y) is obtained. Then, a highly reliable moving body contour image M (x, y) (FIG. 6 (h)) including the entire contour of the person Ma is obtained. Thereby, even if the invalid area S2 that is automatically determined (automatically updated) becomes large, the detection of the person Ma can be performed with high accuracy.
[0083]
[5] Automatic update of background image and active / inactive area during operation
The moving object outline image M (x, y) obtained by the integration processing unit 4 is fed back to the background information
[0084]
[Pixel judged to have no moving object: when "moving state" is not included in "pixel state" immediately before]
The moving body presence /
[0085]
In this case, the pixel
[0086]
The pixel
[0087]
As a result, for a pixel in which the variance Var of the pixel value of the current past certain time (ETn) has exceeded Varth (previous Var ≦ Varth), the “pixel state” in the background information is changed from “stable state” to “not stable”. The state is changed to "stable state" (transition (5) shown in FIG. 14). In addition, for a pixel in which the variance Var of the pixel value for the past certain time (ETn) has become equal to or less than Varth (previously, Var> Varth), the “pixel state” in the background information changes from “unstable state” to “unstable state”. The state is changed to "stable state" (transition (6) shown in FIG. 14).
[0088]
Thereafter, the pixel
[0089]
[Pixel judged to have a moving object: when "moving state" is not included in "pixel state" immediately before]
The moving body presence /
[0090]
In this case, the pixel
[0091]
When the “pixel state” sent from the pixel
[0092]
In all cases, after updating to the “moving state”, the latest pixel value (the immediately preceding pixel value) in the “time-series data” in the background information of the pixel is set as the current pixel value, and Replace the value with the oldest pixel value and save. That is, for a pixel determined to have a moving object, a pixel value including the moving object is not included as time-series data in the background information.
[0093]
[Pixel judged to have a moving object: when "moving state" is included in "pixel state" immediately before]
The moving body presence /
[0094]
In this case, the pixel
[0095]
[Pixels judged to have no moving object: when no longer moving]
When the moving object disappears from the moving object outline image M (x, y), the moving object presence /
[0096]
Here, since the “pixel state” immediately before the pixel determined to have no moving object is the “moving state” (YES in
[0097]
(B) When the moving body stays for a short time
If the “moving time TM” has not reached the upper limit value TMmax, that is, if the time during which the moving object has stayed at the pixel is short, the moving
[0098]
The
[0099]
By this processing, it is determined whether the state is “stable state” or “unstable state”, and “pixel state” in the background information of the pixel determined as “stable state” transits from “moving state” to “stable state”. (
[0100]
(B) When the moving body stays for a long time
If the “moving time TM” has reached the upper limit value TMmax, that is, if the time during which the moving body has stayed at the pixel is long, the moving
[0101]
The
[0102]
[Pixel determined to have a moving object: when "Pending state" is included in "Pixel state" immediately before]
The moving body presence /
[0103]
In this case, the pixel
[0104]
[Pixel judged to have a moving object: when the previous “pixel state” includes “moving state from undetermined state”]
The moving body presence /
[0105]
In this case, the pixel
[0106]
Each time the moving object contour image M (x, y) is obtained from the background information of each pixel automatically updated in this way, the valid / invalid area determination unit 11 determines whether the pixel in the “stable state” A pixel that is in the “moving state from the state” is an effective pixel (STATE (x, y) = 1), and a pixel that is in the “undefined state”, a pixel that is in the “unstable state”, and a pixel that is in the “moving state from the undetermined state” Pixels that are in the “moving state from the unstable state” are invalid pixels (STATE (x, y) = 0). It is determined as the processing invalid area S2. Further, the background
[0107]
【The invention's effect】
As is apparent from the above description, according to the present invention, the difference between the input image and the background image is obtained for an effective area arbitrarily set in an image frame, and the change object in the effective area of the input image is obtained. A background difference image including an image is obtained, a contour extraction image including a contour of the changing object in the input image is obtained, and a contour of the changing object in the contour extraction image continuous with this image is extracted based on the image in the background difference image. Therefore, based on the image of the object of the background difference image with high reliability, the outline of the changing object in the outline extraction image that is continuous with this image is extracted, thereby apparently setting the effective area and the invalid area as the Thus, even if the invalid area is set wide by automatic determination of the valid / invalid area, the detection of a moving object or the like can be performed with higher accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram of a main part of a moving object detection device showing an embodiment of an image processing device according to the present invention.
FIG. 2 is a block diagram illustrating an outline of an internal configuration of a background information update processing unit in the moving object detection device.
FIG. 3 is a diagram showing an element name and an outline of background information for each pixel in the moving object detection device.
FIG. 4 is a flowchart illustrating a process of determining the presence or absence of a moving object in the moving object detection device.
FIG. 5 is a flowchart showing processing in the case where it is determined that there is no moving object in the moving object detection device.
FIG. 6 is a diagram illustrating a detection process of a moving object in the moving object detection device.
FIG. 7 is a block diagram showing a main part of a contour extraction processing unit in the moving object detection device.
FIG. 8 is a flowchart showing a generation process of a moving object outline image from a background difference image and an outline extraction image in an integration processing unit in the moving object detection device.
FIG. 9 is a flowchart showing a moving object writing process when a moving object contour image is generated by an integration processing unit in the moving object detection device.
FIG. 10 is a diagram for describing a moving object writing process according to this flowchart.
FIG. 11 is a diagram showing eight pixels around a first search point (x, y) in a contour extraction image and a background difference image.
FIG. 12 is a diagram illustrating a state in which a moving object outline image is completed.
FIG. 13 is a diagram illustrating a state in which pixel values in a background difference image and a contour extraction image corresponding to a time search point are set to “0” so as not to be set as a search point again.
FIG. 14 is a transition diagram of pixel states classified by a pixel state classification unit.
FIG. 15 is a diagram showing processing contents for a pixel determined to have a moving object;
FIG. 16 is a diagram for explaining conventional background subtraction processing.
FIG. 17 is a diagram illustrating background subtraction processing in a case where, for example, neon is included as a frequently changing object.
FIG. 18 is a diagram illustrating a conventional example in which a background difference process is performed by setting an effective / ineffective area artificially.
FIG. 19 is a diagram for explaining a deterioration in detection performance due to a wide invalid area.
[Explanation of symbols]
DESCRIPTION OF
Claims (4)
前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、
前記背景差分画像中の像に基づいてこの像と連続する前記輪郭抽出画像中の前記変化物体の輪郭を抽出するステップと
を備えたことを特徴とする画像処理方法。A difference between an input image including a predetermined background and a background image composed of the background is obtained for an effective area arbitrarily set in an image frame, and a background including an image of a changing object in the effective area of the input image is obtained. Obtaining a difference image;
Obtaining an outline extracted image including the outline of the changing object in the input image;
Extracting a contour of the changing object in the contour extraction image that is continuous with the image based on the image in the background difference image.
前記輪郭抽出画像を求めるステップは、
前記入力画像の時系列から相前後する２つの前記入力画像の差分を求め、前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める
ことを特徴とする画像処理方法。The image processing method according to claim 1,
The step of obtaining the contour extraction image,
An image processing method, wherein a difference between two successive input images is obtained from a time series of the input image, and a contour extraction image including a contour of a changing object in the input image is obtained.
前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める手段と、
前記背景差分画像中の像に基づいてこの像と連続する前記輪郭抽出画像中の前記変化物体の輪郭を抽出する手段と
を備えたことを特徴とする画像処理装置。A difference between an input image including a predetermined background and a background image composed of the background is obtained for an effective area arbitrarily set in an image frame, and a background including an image of a changing object in the effective area of the input image is obtained. Means for obtaining a difference image;
Means for obtaining a contour extraction image including a contour of a changing object in the input image;
Means for extracting a contour of the changing object in the contour extraction image that is continuous with the image based on the image in the background difference image.
前記輪郭抽出画像を求める手段は、
前記入力画像の時系列から相前後する２つの前記入力画像の差分を求め、前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める
ことを特徴とする画像処理装置。The image processing device according to claim 1,
The means for obtaining the contour extraction image includes:
An image processing apparatus, wherein a difference between two successive input images is obtained from a time series of the input image, and a contour extraction image including a contour of a changing object in the input image is obtained.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056827A JP2004265292A (en) | 2003-03-04 | 2003-03-04 | Image processing method and device thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056827A JP2004265292A (en) | 2003-03-04 | 2003-03-04 | Image processing method and device thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004265292A true JP2004265292A (en) | 2004-09-24 |
Family
ID=33120399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003056827A Pending JP2004265292A (en) | 2003-03-04 | 2003-03-04 | Image processing method and device thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004265292A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007323572A (en) * | 2006-06-05 | 2007-12-13 | Nec Corp | Object detector, object detection method, and object detection program |
| JP2008525051A (en) * | 2004-12-28 | 2008-07-17 | 新世代株式会社 | Method and apparatus for detecting a reflective object |
| WO2010026688A1 (en) * | 2008-09-04 | 2010-03-11 | 株式会社ソニー・コンピュータエンタテインメント | Image processing device, object tracking device, and image processing method |
| JP2010097430A (en) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | Smoke detection device and smoke detection method |
| JP2010532898A (en) * | 2007-07-08 | 2010-10-14 | ユニベルシテ・ド・リエージュ | Visual background extractor |
| JP2016071387A (en) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | Image processing apparatus, image processing method, and program |
-
2003
- 2003-03-04 JP JP2003056827A patent/JP2004265292A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008525051A (en) * | 2004-12-28 | 2008-07-17 | 新世代株式会社 | Method and apparatus for detecting a reflective object |
| US8311273B2 (en) | 2006-06-05 | 2012-11-13 | Nec Corporation | Object detection based on determination of pixel state |
| JP4631806B2 (en) * | 2006-06-05 | 2011-02-16 | 日本電気株式会社 | Object detection apparatus, object detection method, and object detection program |
| JP2007323572A (en) * | 2006-06-05 | 2007-12-13 | Nec Corp | Object detector, object detection method, and object detection program |
| JP2010532898A (en) * | 2007-07-08 | 2010-10-14 | ユニベルシテ・ド・リエージュ | Visual background extractor |
| JP4699564B2 (en) * | 2007-07-08 | 2011-06-15 | ユニベルシテ・ド・リエージュ | Visual background extractor |
| WO2010026688A1 (en) * | 2008-09-04 | 2010-03-11 | 株式会社ソニー・コンピュータエンタテインメント | Image processing device, object tracking device, and image processing method |
| JP2010061478A (en) * | 2008-09-04 | 2010-03-18 | Sony Computer Entertainment Inc | Image processing device, object tracking device, and image processing method |
| EP2320379A1 (en) * | 2008-09-04 | 2011-05-11 | Sony Computer Entertainment Inc. | Image processing device, object tracking device, and image processing method |
| US8503726B2 (en) | 2008-09-04 | 2013-08-06 | Sony Corporation | Image processing device, object tracking device, and image processing method |
| EP2320379A4 (en) * | 2008-09-04 | 2016-06-01 | Sony Computer Entertainment Inc | Image processing device, object tracking device, and image processing method |
| JP2010097430A (en) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | Smoke detection device and smoke detection method |
| JP2016071387A (en) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | Image processing apparatus, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7982774B2 (en) | Image processing apparatus and image processing method | |
| JP4764561B2 (en) | Method for detecting shot changes in a series of video images | |
| US9053355B2 (en) | System and method for face tracking | |
| JP3308617B2 (en) | Apparatus and method for detecting motion vector | |
| EP4038540B1 (en) | Object detection | |
| JP2004265292A (en) | Image processing method and device thereof | |
| KR101690050B1 (en) | Intelligent video security system | |
| CN113052019A (en) | Target tracking method and device, intelligent equipment and computer storage medium | |
| JPH07249128A (en) | Picture processor for vehicle | |
| JP2004265291A (en) | Background difference processing method and device thereof | |
| JPH09284702A (en) | Method and device for detecting scene change frame | |
| CN106780646B (en) | Parameter-free background modeling method suitable for multiple scenes | |
| Love et al. | An empirical study of block matching techniques for the detection of moving objects | |
| JP6603123B2 (en) | Animal body detection apparatus, detection method, and program | |
| JP3230509B2 (en) | Moving image processing device | |
| JP2004295416A (en) | Image processing apparatus | |
| CN115104136A (en) | Apparatus, method, and computer-readable storage medium for detecting an object in a video signal based on visual evidence utilizing an output of a machine learning model | |
| JP3062394B2 (en) | Moving image extraction method | |
| JP4467702B2 (en) | Shadow change region determination device, image determination device and image generation device using the same, and shadow intensity ratio calculation device used therefor | |
| JP2021047710A (en) | Image processing apparatus, image processing method, image processing system, and program | |
| JPH09319978A (en) | Intrusion body monitor device | |
| JP2621806B2 (en) | Background feature mask generation device and moving object feature extraction device | |
| JP2003256849A (en) | Object extracting system and method and its program | |
| KR102589150B1 (en) | Long-distance object detection system using cumulative difference image | |
| JP2004118718A (en) | Method and device for detecting scene changing point, as well as program thereof |