JP2004265292A - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP2004265292A JP2004265292A JP2003056827A JP2003056827A JP2004265292A JP 2004265292 A JP2004265292 A JP 2004265292A JP 2003056827 A JP2003056827 A JP 2003056827A JP 2003056827 A JP2003056827 A JP 2003056827A JP 2004265292 A JP2004265292 A JP 2004265292A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- state
- background
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】移動体などの検出を高精度で行う
【解決手段】有効領域S1を対象として入力画像I(x,y)と背景画像A(x,y)との差分を背景差分画像BG(x,y)として求める。全領域を対象として今回の入力画像I(x,y)と前回の入力画像F(x,y)との差分を輪郭抽出画像(フレーム間差分画像)O(x,y)として求める。背景差分画像BG(x,y)中の変化物体(人物Maの一部)の像に基づいてこの像と連続する輪郭抽出画像中O(x,y)の変化物体の輪郭を抽出する。これにより、人物Maの全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)が得られるようになり、自動的に決定される無効領域S2が広くなっても、人物Maの検出を高精度で行うことができるようになる。
【選択図】 図6
【解決手段】有効領域S1を対象として入力画像I(x,y)と背景画像A(x,y)との差分を背景差分画像BG(x,y)として求める。全領域を対象として今回の入力画像I(x,y)と前回の入力画像F(x,y)との差分を輪郭抽出画像(フレーム間差分画像)O(x,y)として求める。背景差分画像BG(x,y)中の変化物体(人物Maの一部)の像に基づいてこの像と連続する輪郭抽出画像中O(x,y)の変化物体の輪郭を抽出する。これにより、人物Maの全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)が得られるようになり、自動的に決定される無効領域S2が広くなっても、人物Maの検出を高精度で行うことができるようになる。
【選択図】 図6
Description
【0001】
【発明の属する技術分野】
この発明は、有効領域を対象として入力画像と背景画像との差分を背景差分画像として求め、この背景差分画像から移動体などを検出する画像処理方法および装置に関するものである。
【0002】
【従来の技術】
従来より、移動体などの検出では、背景差分処理を行っている。図16(a)はTVカメラなどの撮像手段によって撮像された入力画像、図16(b)はこの入力画像に含まれる背景画像である。入力画像に移動体が写っていなければ入力画像と背景画像とは等しい。背景差分処理では、図16(a)に示された入力画像と図16(b)に示された背景画像との差分をとり、図16(c)に示されるような背景差分画像を得る。この例では、入力画像に移動体として人物Maが写っており、背景画像との差分をとることにより背景画像には含まれていなかった人物Maのみが背景差分画像に現れる。このようにして移動体の像を抽出(検出)することができる。
【0003】
しかしながら、背景には、静止物体だけではなく、動いたり、輝度が頻繁に変化する物体もある。例えば、ネオンなどは、輝度が頻繁にかつ著しく変化する。図17(a)に示す入力画像および図17(b)に示す背景画像にはネオンNeが含まれている。この場合、背景差分処理を行うと、図17(c)に示す背景差分画像には、人物Maに加えて、ネオンNeが現れる。図17(c)に示された背景差分画像中、ネオンNeは、移動体である人物Maの検出において不適切な判断を与える外乱要因となる。
【0004】
そこで、最近の背景差分処理では、背景画像に対して背景差分処理の対象とする有効領域と対象としない無効領域を設定し、有効領域のみの情報に基づいて移動体の検出を行っている。例えば、図18(b)に示すように、ネオンNeが存在する領域を無効領域S2、無効領域S2を除いた残りの領域を有効領域S1とし、有効領域S1についてのみ入力画像(図18(a))と背景画像(図18(b))との差分をとり、図18(c)に示されるような背景差分画像を得るようにしている。これにより、ネオンNeが存在する無効領域S2が背景差分処理の対象から除外され、入力画像中の人物Maのみを含む背景差分画像を得ることができる(例えば、特許文献1参照)。
【0005】
なお、上述した例では、有効領域S1についてのみ入力画像と背景画像との差分をとるようにしたが、全領域を対象として入力画像と背景画像との差分をとり、この差分画像における無効領域S2に対応する部分にマスクをかけて、図18(c)に示されるような背景差分画像を得ることも行われている。このようなマスクをかける方法によっても、無効領域S2を背景差分処理の対象から除外し、有効領域S1のみを背景差分処理の対象として、入力画像中の人物Maだけを移動体として検出することができる。
【0006】
【特許文献1】
特開平9−214938号公報(第4−5頁、図1−図4)
【0007】
【発明が解決しようとする課題】
しかしながら、このような従来の移動体の検出方法によると、背景差分処理の無効領域S2が広くなると、検出すべき移動体が無効領域S2に含まれてくる確率が高くなる。例えば、図19(b)に示すように無効領域S2を広くすると、この無効領域S2に人物Maの大部分が含まれてしまうということがあり、背景差分処理によって得られる背景差分画像には図19(c)に示されるように人物Maの一部分しか出現しなくなる。この場合、人物Maの充分な検出が行えず、ひいては移動体の検出性能の劣化につながる。
【0008】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、移動体などの検出をより高精度で行うことができる画像処理方法および装置を提供することにある。
【0009】
【課題を解決するための手段】
このような目的を達成するために本発明は、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求めるステップと、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するステップとを設けたものである。
【0010】
この発明では、有効領域を対象として入力画像と背景画像との差分が背景差分画像として求められる。また、入力画像中の変化物体の輪郭を含む輪郭抽出画像が求められる。移動体の検出を行う場合、背景差分画像に現れる物体は検出しようとする移動体である確率が高い。輪郭抽出画像に現れる物体は他の変化物体も含んでいる。本発明では、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭を抽出する。これにより、見かけ上、有効領域と無効領域との区別がなくなり、検出しようとする移動体の全体の輪郭を抽出することが可能となる。
【0011】
なお、本発明において、輪郭抽出画像は例えばフレーム間差分処理によって求めることができる。フレーム間差分処理では、入力画像の時系列から相前後する2つの入力画像の差分を輪郭抽出画像として求める。輪郭抽出画像は、必ずしもフレーム間差分処理によらなくてもよく、画像処理で一般に知られている微分処理、領域分割などを用いて求めるようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【0012】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
図1は本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。同図において、1はTVカメラなどの撮像手段、2は背景差分処理部、3は輪郭抽出処理部、4は統合処理部、5は背景情報更新処理部である。
【0013】
この移動体検出装置100においては、撮像手段1からの所定周期で入力される時系列の入力画像I(x,y,t)(以下、I(x,y)と略す)を背景差分処理部2、輪郭抽出処理部3および背景情報更新処理部5へ送るようにし、背景差分処理部2において生成される背景差分画像BG(x,y)と輪郭抽出処理部3において生成される輪郭抽出画像O(x,y)とから統合処理部4において移動体輪郭画像M(x,y)を生成し、この生成した移動体輪郭画像M(x,y)を背景情報更新処理部5へフィードバックし、背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2の更新を行うようにしている。
【0014】
背景差分処理部2は、撮像手段1からの入力画像I(x,y)と、背景情報更新処理部5からの背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2とから、有効領域S1における変化物体の像を含む背景差分画像BG(x,y)を生成する。
輪郭抽出処理部3は、撮像手段1からの入力画像I(x,y)から、入力画像I(x,y)中の変化物体の輪郭を含む輪郭抽出画像O(x,y)を生成する。
【0015】
統合処理部4は、背景差分処理部2からの背景差分画像BG(x,y)と輪郭抽出処理部3からの輪郭抽出画像O(x,y)とから、入力画像I(x,y)中の移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)を生成する。
背景情報更新処理部5は、撮像手段1からの入力画像I(x,y)と統合処理部4からの移動体輪郭画像M(x,y)とから、背景差分処理部2への背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2を生成(更新)する。
【0016】
図2は背景情報更新処理部5の内部構成の概略を示すブロック図である。背景情報更新処理部5は、画像確保部6、定量化部7、画素状態分類部8、背景情報保持部9、背景画像生成部10、有効/無効領域決定部11、移動体有無判定部12、画素状態確認部13、移動時間判定部14を備えている。
【0017】
〔背景情報更新処理部5の各部の機能の概略〕
背景情報更新処理部5において、画像確保部6は、撮像手段1からの所定周期で入力される時系列の入力画像I(x,y)を予め規定された特定の量だけ確保し、その確保した各画像の画像フレームを構成する各画素の画素値を背景情報保持部9に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【0018】
定量化部7は、背景情報保持部9に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。画素状態分類部8は、定量化部7で定量化された各画素の変動具合に基づいて各画素の状態を分類し、その分類した各画素の状態を背景情報保持部9に送り、各画素の背景情報の一部である「画素状態」として保持させる。
【0019】
なお、「画素状態」には、「未定状態」、「安定状態」、「不安定状態」、「移動状態」があり、「移動状態」はさらに「未定状態から移動状態」、「安定状態から移動状態」、「不安定状態から移動状態」に分けられる。これらの「画素状態」については後述する。
【0020】
背景情報保持部9は、上述した「時系列データ」、「画素状態」に加えて、「経過時間ET」(画素状態が未定状態に入ってから経過した時間)、「移動時間TM」(画素状態が移動状態に入ってから経過した時間)を各画素の背景情報として保持する。図3に画素毎の背景情報の要素名および概要を示す。
【0021】
背景画像生成部10は、背景情報保持部9における各画素の「時系列データ」に基づき、背景画像A(x,y)を生成する。有効/無効領域決定部11は、背景情報保持部9における各画素の「画素状態」に基づき、背景差分処理の有効領域S1/無効領域S2を決定する。
【0022】
移動体有無判定部12は、統合処理部4からフィードバックされてくる移動体輪郭画像M(x,y)の各画素毎に移動体の有無を判定し、その判定結果を画素状態確認部13へ送る。この場合、その画素の画素値が「1」であれば移動体有りと判定し、その画素の画素値が「0」でれば移動体無しと判定する。
【0023】
画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、その画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認し、移動体有りと判定された画素については、その確認した「画素状態」を画素状態分類部8へ送り、移動体無しと判定された画素については、定量化部7へ定量化指令を送る。
【0024】
移動時間判定部14は、画素状態確認部13からの知らせを受けて、「移動体有り」から「移動体無し」へと変化した画素について、背景情報保持部9における背景情報中の「移動時間TM」をチェックし、その画素に移動体がとどまっていた時間の長短を判定する。
【0025】
〔移動体検出装置100における全体の処理の流れ〕
以下では、説明を簡単とするために、実稼働開始後少なくともn個の入力画像I(x,y)が取り込まれるまでの間は、撮像手段1からの入力画像I(x,y)には移動体や輝度が変化する物体が含まれないものとする。
【0026】
実稼働開始後、n個の入力画像I(x,y)が確保されるまでは、背景差分処理部2への有効/無効領域は、その全ての領域が無効領域S2とされる(後述)。入力画像I(x,y)がn個確保されると、このn個の入力画像I(x,y)に基づく最初の背景画像A(x,y)と有効領域S1/無効領域S2が背景情報更新処理部5において確定され、背景差分処理部2に対して設定される(▲1▼実稼働開始直後の背景画像および有効/無効領域の設定)。
【0027】
そして、背景差分処理部2において、背景画像A(x,y)と有効領域S1/無効領域S2を用いて、入力画像I(x,y)と背景画像A(x,y)との間で背景差分処理が行われ、背景差分画像BG(x,y)が得られる(▲2▼背景差分画像の取得)。
【0028】
また、この背景差分画像BG(x,y)の取得と並行して、輪郭抽出処理部3での入力画像I(x,y)に対する輪郭抽出処理が行われ、入力画像I(x,y)中の変化物体の輪郭を含む輪郭抽出画像O(x,y)が得られる(▲3▼輪郭抽出画像の取得)。
【0029】
そして、統合処理部4において、輪郭抽出処理部3で得られた輪郭抽出画像O(x,y)中の輪郭(変化物体の輪郭)から背景差分処理部2で得られた背景差分画像BG(x,y)中の像(移動体の像)と連続するものが抽出され、移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)が得られる(▲4▼移動体の輪郭抽出)。
【0030】
また、この移動体輪郭画像M(x,y)が背景情報更新処理部5へフィードバックされ、背景画像A(x,y)および有効領域S1/無効領域S2が自動的に更新される(▲5▼稼働中の背景画像および有効/無効領域の自動更新)。
【0031】
以下、上述した全体の処理の流れに沿って、各部の詳細な機能を交えながら、その処理手順について説明する。なお、本発明は、この全体の処理の流れ中、「▲2▼背景差分画像の取得」、「▲3▼輪郭抽出画像の取得」、「▲4▼移動体の輪郭抽出」の各処理に関係し、「▲1▼実稼働開始直後の背景画像および有効/無効領域の設定」、「▲5▼稼働中の背景画像および有効/無効領域の自動更新」とは直接関係しない。
【0032】
〔▲1▼実稼働開始直後の背景画像および有効/無効領域の設定〕
実稼働開始の指示が出されると、背景情報更新処理部5における画像確保部6は、初期状態として、背景情報保持部9における各画素の「画素状態」を「未定状態」とする。「未定状態」とは、その画素の状態がまだ確定されていないことを意味する。また、各画素の「経過時間ET」および「移動時間TM」をリセットし、零とする。また、各画素の「時系列データ」をクリアして、零とする。
【0033】
実稼働開始後、撮像手段1からの最初の入力画像I(x,y)は、背景差分処理部2、輪郭抽出処理部3および背景情報更新処理部5へ送られる。
背景差分処理部2は、撮像手段1からの最初の入力画像I(x,y)が入力されると、その入力画像I(x,y)と背景情報更新処理部5からの背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2とから背景差分画像BG(x,y)を生成する。
【0034】
この場合、背景情報更新処理部5の背景情報保持部9における背景情報中、各画素の「画素状態」は「未定状態」とされている。背景情報更新処理部5は、「画素状態」が「未定状態」である画素については、その画素を無効画素と判断し、無効画素を集めた領域を背景差分処理の無効領域とする。したがって、この場合、背景差分処理の有効領域S1はなく、全ての領域が無効領域S2とされる。
【0035】
このため、背景差分画像BG(x,y)は入力画像I(x,y)に拘わらず全ての画素が「0」とされ、輪郭抽出処理部3において得られる輪郭抽出画像O(x,y)に変化物体の輪郭が抽出されていたとしても、統合処理部4で得られる移動体輪郭画像M(x,y)は全ての画素が「0」とされる。なお、輪郭抽出処理部3および統合処理部4での具体的な処理内容については後述する。
【0036】
統合処理部4から得られた移動体輪郭画像M(x,y)は背景情報更新処理部5へフィードバックされる。背景情報更新処理部5において、移動体有無判定部12は、統合処理部4からの移動体輪郭画像M(x,y)の各画素について、移動体の有無を判定する。
【0037】
ここで、移動体有無判定部12は、図4に示すフローチャートに従い、M(x,y)が「1」である画素については移動体有りと判定し(ステップ403)、M(x,y)が「0」である画素については移動体無しと判定する(ステップ402)。この場合、統合処理部4からの最初の移動体輪郭画像M(x,y)は全ての画素が「0」とされているので、全ての画素において移動体無しと判定される。
【0038】
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。ここで、移動体有りと判定された画素と移動体無しと判定された画素では、以降の処理が異なる。この場合、全ての画素が移動体無しと判定された画素であるので、図5に示す移動体無し時の処理動作が行われる。
【0039】
画素状態確認部13は、移動体無しと判定された各画素の背景情報保持部9における「画素状態」(直前の画素状態)をチェックし(ステップ402a)、その「画素状態」が「移動状態」であるか否かを確認する。この場合、移動体無しと判定された各画素の「画素状態」は「未定状態」であるので(ステップ402aのNO)、直ちに各画素に対しての定量化指令を定量化部7へ送る(ステップ402b)。
【0040】
定量化部7は、この画素状態確認部13からの定量化指令を受けて、背景情報保持部9に保持されている各画素の「時系列データ」および「経過時間ET」を読み出し、その各画素の「時系列データ」の変動具合を定量化する。この例では、各画素の変動具合として、「時系列データ」として保持されている画素値の平均A(x,y)と分散Varを求める。そして、定量化部7は、この求めた各画素の分散Varを画素状態分類部8へ送る。
【0041】
なお、画像フレーム(入力画像(x,y,t))の画素値をPix(x,y,t)とすると、画素値の平均A(x,y)と分散Var(x,y)はそれぞれ下記の(1)および(2)式で計算される。
【0042】
【数1】
【0043】
最初の移動体輪郭画像M(x,y)が得られた時点では、背景情報保持部9にはまだ各画素の「時系列データ」は1つも保持されていないので、定量化部7ではまだ各画素の分散Varを求めることができない。この場合、定量化部7は、各画素の分散Varを零として画素状態分類部8へ送る。
【0044】
画素状態分類部8は、背景情報保持部9に保持されている各画素の「経過時間ET」を確認し、「経過時間ET」が予め定められている上限値ETmaxに達していなければ(ステップ402cのNO)、定量化部7からの分散Varに拘わらず、その画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持させる(ステップ402d)。また、背景情報保持部9における各画素の「経過時間ET」を1アップし(ステップ402e)、画像確保部6へデータの保存指令を送る(ステップ402f)。なお、この実施の形態では、撮像手段1からn個の画像が取り込まれるまでの時間ETnを上限値ETmaxとしている。
【0045】
最初の移動体輪郭画像M(x,y)が得られた時点では、背景情報保持部9における各画素の「経過時間ET」は零とされている。したがって、この場合、画素状態分類部8は、各画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持させる。また、背景情報保持部9における各画素の「経過時間ET」を1アップし、画像確保部6へデータの保存指令を送る。この保存指令を受けて、画像確保部6は、撮像手段1からの入力画像(最初の入力画像)I(x,y)における各画素の画素値D1を背景情報保持部9に送り、各画素の「時系列データ」として保持させる。
【0046】
以下、移動体有無判定部12に統合処理部4からの移動体輪郭画像M(x,y)が入力される毎に、同様動作を繰り返す。これによって、背景情報保持部9における各画素の背景情報は、「画素状態」を「未定状態」としたまま、「時系列データ」がD1,D2,D3・・・・Dnと保持されて行き、「経過時間ET」がET1,ET2,ET3・・・・ETnとカウントアップされて行く。
【0047】
移動体有無判定部12にn+1個目の移動体輪郭画像M(x,y)が入力され、画素状態分類部8へ定量化部7から各画素の分散Varが与えられると、画素状態分類部8で確認される背景情報保持部9における各画素の「経過時間ET」はETnとなり、ステップ402cにおいて経過時間ETが上限値ETmaxに達したことが検出される。この場合、画素状態分類部8は、各画素の「時系列データ」が必要量確保されたと判断し、定量化部7からの分散Varを用いての画素状態の分類を行う。
【0048】
すなわち、画素状態分類部8は、定量化部7から送られてくる各画素の分散Varと予め定められている閾値Varthとを比較し(ステップ402g)、Var>Varthであればその画素を「不安定状態」、Var≦Varthであれば「安定状態」と判断する。そして、この判断した各画素の状態(「安定状態」又は「不安定状態」)を背景情報保持部9に送り、各画素「画素状態」として保持させる(ステップ402h,402i)。これにより、それまで背景情報保持部9に保持されていた各画素の「画素状態」は、「未定状態」から「安定状態」又は「不安定状態」に書き替えられる。
【0049】
背景画像生成部10は、背景情報保持部9における各画素の「時系列データ(D1〜Dn)」に基づき、その各画素の「時系列データ(D1〜Dn)」の平均値として背景画像A(x,y)を生成し、保持する。
有効/無効領域決定部11は、背景情報保持部9における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素(STATE(x,y)=1)、「不安定状態」である画素を無効画素(STATE(x,y)=0)とし、有効画素を集めた領域を背景差分処理の有効領域S1、無効画素を集めた領域を背景差分処理の無効領域S2として決定し、保持する。
【0050】
この後、画素状態分類部8は、画像確保部6へデータの保存指令を送る(ステップ402f)。この保存指令を受けて、画像確保部6は、撮像手段1からの入力画像I(x,y)(n+1個目の入力画像)における各画素の画素値Dn+1を背景情報保持部9に送り、各画素の「時系列データ」中の最も古い画素値D1と置き換える(ステップ402f)。
【0051】
このようにして、背景情報更新処理部5において、最初の背景画像A(x,y)と有効領域S1/無効領域S2が確定され、背景差分処理部2に対して設定される。
【0052】
〔実稼働中の移動体の検出〕
今、実稼働開始から時間ETn+1を経過した後の現時刻をTとし、例として、この現時刻Tにおける撮像手段1からの入力画像I(x,y)を図6(a)、背景情報更新処理部5からの背景画像A(x,y)を図6(b)、背景情報更新処理部5からの背景差分処理の有効領域S1/無効領域S2を図6(d)に示す。この現時刻Tにおける撮像手段1からの入力画像I(x,y)は、背景差分処理部2、輪郭抽出処理部3および背景情報更新処理部5へ送られる。
【0053】
〔▲2▼背景差分画像の取得:背景差分処理〕
背景差分処理部2は、撮像手段1からの現時刻Tにおける入力画像I(x,y)を取り込み、この取り込んだ現時刻Tの入力画像I(x,y)(図6(a))と背景画像更新処理部13からの背景画像A(x,y)(図6(b))との差を計算し、予め設定されている閾値Ths(x,y)を用いての閾値処理により差分画像S(x,y)(図6(c))を得る。この閾値処理は、数式表現すると、下記の(3),(4)式で表される。
【0054】
S(x,y)=1〔if |I(x,y)−A(x,y)|>Ths(x,y)〕 ・・・・(3)
S(x,y)=0〔if |I(x,y)−A(x,y)|≦Ths(x,y)〕 ・・・・(4)
【0055】
この処理は、入力画像I(x,y)の画素値と背景画像A(x,y)の画素値(平均値)との差が閾値Ths(x,y)より大きい画素、すなわち背景に大きな変化があった画素の値を「1」とする2値化処理である。
【0056】
そして、背景差分処理部2は、この閾値処理によって得た差分画像S(x,y)と背景情報更新処理部5からの有効領域S1/無効領域S2(図6(d)参照)とから、背景差分画像BG(x,y)を得る。この処理は、数式表現すると、下記の(5),(6)式で表される。この処理により、無効領域S2が背景差分処理の対象から除外され、図6(e)に示されるような背景差分画像BG(x,y)が得られる。
BG(x,y)=1〔if S(x,y)=1and(STATE(x,y)=1)〕・・・・(5)
BG(x,y)=0(otherwise)・・・(6)
【0057】
この処理は、差分画像S(x,y)において、その画素値が「1」でかつ有効画素(「安定状態」である画素)である画素の値を「1」、それ以外の画素の値を「0」とする2値化処理である。
この処理により、無効領域S2が背景差分処理の対象から除外され、図4(e)に示されるような背景差分画像BG(x,y)を得ることができる。
【0058】
この例では、差分画像S(x,y)において、移動体である人物Maの大部分が無効領域S2に位置している。したがって、背景差分画像BG(x,y)からは、ネオンNeとともにその無効領域S2に位置する人物Maの大部分が除外されている。背景差分画像BG(x,y)において、「1」とされた画素は、有効領域S1に位置している人物Maを示している。このようにして、背景差分処理によって、有効領域における移動体の像(2値画像)が得られる。
【0059】
なお、この実施の形態では、全領域を対象として入力画像I(x,y)と差分画像A(x,y)との差分画像S(x,y)を求め、この差分画像S(x,y)における無効領域S2の部分にマスクをかけることによって、無効領域S2を背景差分処理の対象から除外するようにしているが、有効領域S1についてのみ入力画像I(x,y)と差分画像A(x,y)との差分画像を求め、この差分画像を背景差分画像BG(x,y)として得るようにしてもよい。
【0060】
〔▲3▼輪郭抽出画像の取得:輪郭抽出処理〕
輪郭抽出処理部3は、撮像手段1からの現時刻Tにおける入力画像I(x,y)を取り込み、この取り込んだ入力画像I(x,y)中の変化物体の輪郭を含む輪郭抽出画像O(x,y)を生成する。この実施の形態では、一般にフレーム間差分と呼ばれている画像処理によって、輪郭抽出画像O(x,y)を生成する。
【0061】
図7は輪郭抽出処理部3の要部を示すブロック図である。輪郭抽出処理部3は、フレーム間差分処理部17と画像メモリ18とを備えている。フレーム間差分処理部17は、撮像手段1からの現時刻Tの入力画像I(x,y)(図6(a):今回の入力画像)と画像メモリ18に保存されている1フレーム前の入力画像F(x,y)(図6(f):前回の入力画像)との差を計算し、予め設定されている閾値Tho(x,y)を用いての閾値処理によりフレーム間差分画像(輪郭抽出画像)O(x,y)(図6(g))を得る。この閾値処理は、数式表現すると、下記の(7),(8)式で表される。
【0062】
O(x,y)=1〔if |I(x,y)−F(x,y)|>Tho(x,y)〕 ・・・・(7)
O(x,y)=0〔if |I(x,y)−F(x,y)|≦Tho(x,y)〕 ・・・・(8)
【0063】
この処理は、今回の入力画像I(x,y)の画素値と前回の入力画像F(x,y)の画素値との差が閾値Tho(x,y)より大きい画素、すなわちフレーム間で大きな変化があった画素の値を「1」とする2値化処理である。「1」とされた画素は、フレーム間で変化した物体を示し、ネオンのように移動体以外の物体も含まれる場合がある。
【0064】
フレーム間差分処理部17でのフレーム間差分処理の実行後、撮像手段1からの現時刻Tの入力画像I(x,y)はF(x,y)として画像メモリ18に格納され、次回行われるフレーム間差分処理において1フレーム前の入力画像として用いられる。なお、この例では、輪郭抽出処理部3においてフレーム間差分処理を行うようにしたが、現時刻Tの入力画像I(x,y)に対して画像処理で一般に知られている微分処理、領域分割などを用いて現時刻の入力画像I(x,y)内の変化物体の輪郭を含む輪郭抽出画像O(x,y)を得るようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【0065】
〔▲4▼移動体の輪郭抽出:統合処理〕
統合処理部4は、背景差分処理部2からの背景差分画像BG(x,y)中の移動体の像に基づいて輪郭抽出処理部3からの輪郭抽出画像O(x,y)中の変化物体の輪郭を絞り込み、移動体の全体の輪郭を特定する。
【0066】
基本的な考え方は、輪郭抽出画像O(x,y)に含まれる変化物体の輪郭から背景差分画像BG(x,y)の有効領域内の移動体の情報、すなわち信頼性の高い移動体の像に基づき、無効領域に位置する移動体の輪郭を絞り込んで行くことにある。
【0067】
本実施の形態の統合処理の主要部分である「移動体書き出し処理」(後述)では、以下に説明するように、背景差分画像BG(x,y)の有効領域の画素を探索点として、輪郭抽出画像O(x,y)に対して探索点の周囲の画素の値を繰り返しチェックして行く。その結果、統合処理部4における移動体の輪郭抽出においては、有効領域と無効領域との区別がなくなる。
【0068】
背景差分画像BG(x,y)(図6(e))において、その値が「1」の画素は、移動体(人物Ma)を表す。輪郭抽出画像O(x,y)において、その値が「1」の画素は、フレーム間で変化した物体(人物Maを含む)を表す。
【0069】
背景差分画像BG(x,y)における人物Maの像の輪郭と輪郭抽出画像O(x,y)における人物Maの輪郭とは一致する。従って、背景差分画像BG(x,y)における人物Maの像に基づき、この像の輪郭とつながる輪郭抽出画像O(x,y)における変化物体の輪郭を求めれば、人物Maの全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)(図6(h))を得ることができる。
【0070】
統合処理部4における背景差分画像BG(x,y)と輪郭抽出画像O(x,y)とから移動体輪郭画像M(x,y)を生成する処理の流れを図8に示す。なお、前処理として、背景差分画像BG(x,y)や輪郭抽出画像O(x,y)に対し、収縮・膨張処理などを行いノイズ除去を行ってもよい。
【0071】
統合処理部4では、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素について、その値が共に「1」であるか否かを順番にチェックする(ステップ801)。背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する画素の値が共に「1」であれば(ステップ801のYES)、その都度、後述する「移動体書き出し処理」を実行する(ステップ802)。
【0072】
すなわち、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素について、下記の(9)式に従って順次評価値を求め、評価値が「1」となれば、「移動体書き出し処理」を行う。この「移動体書き出し処理」の繰り返しによって、移動体輪郭画像M(x,y)を生成する。
If〔BG(x,y)=「1」 and O(x,y)=「1」〕then「1」else「0」 ・・・・(9)
【0073】
なお、この(9)式は、(BG(x,y)、O(x,y)共に「1」の画素については評価値を「1」とし、それ以外の画素については評価値を「0」とすることを意味している。評価値が「1」となった画素についてのみ「移動体書き出し処理」を行い、評価値が「0」となった画素については「移動体書き出し処理」は行わない。
【0074】
〔移動体書き出し処理〕
ステップ801において、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する画素が共に「1」であることが確認されると(図10(a),(b)参照)、すなわち上記(9)式によって求められる評価値が「1」となると、統合処理部4はその画素の座標点(x,y)を探索点として探索点メモリに書き込む(図9に示すステップ901)。
【0075】
また、その探索点(x,y)に対応する移動体輪郭画像M(x,y)における画素の値を「1」とする(ステップ902:図10(c)参照)。また、再度探索点とされないように、その探索点(x,y)に対応する背景差分画像BG(x,y)、輪郭抽出画像O(x,y)における画素の値を「0」とする(ステップ903:図10(d),(e)参照)。
【0076】
そして、探索点(x,y)の周囲の画素について、すなわち探索点(x,y)の周囲に位置する背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素について、順番にその値をチェックして行く(ステップ904〜908)。なお、本実施の形態では、周囲8画素を処理対象とする。
【0077】
図11(a)は輪郭抽出画像O(x,y)における最初の探索点(x,y)の周囲8画素を示し、図11(b)は背景差分画像BG(x,y)における最初の探索点(x,y)の周囲8画素を示す。この探索点(x,y)の周囲8画素について、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する画素(周囲画素)の値をチェックし、どちらかが「1」であれば(ステップ904のYES)、その周囲画素の座標点(x,y)を次期探索点として次期探索点メモリに登録する(ステップ905)。図11に示した例では、座標点(x,y+1)と(x,y−1)が次期探索点として登録される。
【0078】
また、次期探索点を登録した後、その次期探索点に対応する移動体輪郭画像M(x,y)における画素の値を「1」とする(ステップ906)。図11に示した例では、図12(a)に示すように、座標点(x,y+1)と(x,y−1)の対応する移動体輪郭画像M(x,y)における画素の値が「1」とされる。そして、再度探索点とされないように、その次期探索点に対応する背景差分画像BG(x,y)および輪郭抽出画像O(x,y)における画素の値を「0」とする(ステップ907:図13(a),(b)参照)。
【0079】
すなわち、探索点(x,y)の周囲の背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素(周囲画素)について、下記の(10)式に従って評価値を求め、評価値が「1」となれば、その周囲画素の座標点(x,y)を次期探索点として次期探索点メモリに登録し、その周囲画素の座標点(x,y)に対応する移動体輪郭画像M(x,y)における画素の値を「1」とし、その周囲画素の座標点(x,y)に対応する背景差分画像BG(x,y)、輪郭抽出画像O(x,y)における画素の値を「0」とする。探索点(x,y)の周囲画素の全てについて処理を終了すれば(ステップ908のYES)、ステップ909へ進む。
If〔BG(x,y)=「1」 or O(x,y)=「1」〕then「1」else「0」 ・・・・(10)
【0080】
ステップ909では、次期探索点が次期探索点メモリに登録されているか否かをチェックし、次期探索点が次期探索点メモリに登録されていれば(ステップ909のYES)、その登録されている次期探索点の1つを新しい探索点として探索点メモリに登録し(ステップ910)、ステップ904へ戻って同様動作を繰り返す。
【0081】
これにより、図12(b)に示すように、移動体輪郭画像M(x,y)において、その値を「1」とする画素が探索点(x,y)を中心としてつながって行く。次期探索点メモリに次期探索点がなくなれば(ステップ909のNO)、一連の移動体書き出し処理を終了する。この移動体書き出し処理は、有効領域S1,無効領域S2の区別なく、ステップ803で全画素が終了するまで繰り返される。
【0082】
この「移動体書き出し処理」の繰り返しによって、背景差分画像BG(x,y)における信頼性の高い人物Maの像とつながる輪郭抽出画像O(x,y)中における変化物体の輪郭が求められて行き、人物Maの全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)(図6(h))が得られるようになる。これにより、自動的に決定(自動的に更新)される無効領域S2が広くなっても、人物Maの検出を高精度で行うことができるようになる。
【0083】
〔▲5▼稼働中の背景画像および有効/無効領域の自動更新〕
統合処理部4で得られた移動体輪郭画像M(x,y)は背景情報更新処理部5へフィードバックされる。背景情報更新処理部5において、移動体有無判定部12は、統合処理部4からの移動体輪郭画像M(x,y)の各画素について、移動体の有無を判定する。すなわち、M(x,y)が「1」である画素については移動体有りと判定し(図4のステップ403)、M(x,y)が「0」である画素については移動体無しと判定する(ステップ402)。
【0084】
〔移動体無しと判定された画素:直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する(図5のステップ402a)。この例では、説明上、背景情報保持部9における移動体無しと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【0085】
この場合、画素状態確認部13は、移動体無しと判定された全ての画素について定量化部7へ定量化指令を送る(ステップ402a,402b)。定量化部7は、この定量化指令を受けて、背景情報保持部9に保持されている移動体無しと判定された各画素の「時系列データ」および「経過時間ET」を読み出し、その「時系列データ」の平均と分散を求める。
【0086】
画素状態分類部8は、移動体無しと判定された各画素の経過時間ETが上限値ETmaxに達していることを確認のうえ(ステップ402cのYES)、定量化部7から送られてくる移動体無しと判定された各画素の分散Varと予め定められている閾値Varthとを比較し、Var>Varthであればその画素を「不安定状態」、Var≦Varthであれば「安定状態」と判断し、その画素の「画素状態」として背景情報保持部9に保持(更新)させる(ステップ402h,402i)。
【0087】
これにより、今回の過去一定時間(ETn)の画素値の分散VarがVarthを超えた画素(前回はVar≦Varth)については、その背景情報中の「画素状態」が「安定状態」から「不安定状態」へと変更される(図14に示す遷移▲5▼)。また、今回の過去一定時間(ETn)の画素値の分散VarがVarth以下になった画素(前回はVar>Varth)については、その背景情報中の「画素状態」が「不安定状態」から「安定状態」へと変更される(図14に示す遷移▲6▼)。
【0088】
この後、画素状態分類部8は、画像確保部6へデータの保存指令を送る。画像確保部6は、画素状態分類部8からの保存指令を受けて、撮像手段1からの入力画像I(x,y)における移動体無しと判定された各画素の画素値を背景情報保持部9に送り、その各画素の「時系列データ」中の最も古い画素値と置き換えて保存する(ステップ402f)。
【0089】
〔移動体有りと判定された画素:直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【0090】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「安定状態」であった場合、その画素について「安定状態」から「移動状態」への遷移と判断し(図14に示す遷移▲3▼)、すなわちその「画素状態」を「移動状態」の一形態である「安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップさせる(図15に示す処理内容▲1▼参照)。これにより、「安定状態」から「移動状態」へ遷移した画素について、その移動時間(移動状態に遷移してからの経過時間)TMのカウントが開始される。
【0091】
画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「不安定状態」であった場合、その画素について「不安定状態」から「移動状態」への遷移と判断し(図14に示す遷移▲4▼)、すなわちその「画素状態」を「移動状態」の一形態である「不安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップさせる(図15に示す処理内容▲2▼参照)。これにより、「不安定状態」から「移動状態」へ遷移した画素について、その移動時間TMのカウントが開始される。
【0092】
なお、全ての場合において「移動状態」への更新後は、その画素の背景情報における「時系列データ」中の最新の画素値(直前の画素値)を現在の画素値とし、この現在の画素値を最も古い画素値と置き換えて保存する。すなわち、移動体有りと判定された画素については、その移動体を含む画素値を背景情報中の時系列データとしては含めない。
【0093】
〔移動体有りと判定された画素:直前の「画素状態」に「移動状態」が含まれている場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」に「移動状態」が含まれているものとする。
【0094】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「移動状態」であった場合、その送られてきた「移動状態」をそのままその画素の「画素状態」として背景情報保持部9に保持(更新)させる。すなわち、直前の「画素状態」が「安定状態から移動状態」であれば更新後の「画素状態」も「安定状態から移動状態」とし、直前の「画素状態」が「不安定状態から移動状態」であれば更新後の「画素状態」も「不安定状態から移動状態」とする。この場合、その画素の背景情報中、「移動時間TM」を1アップする(図15に示す処理内容▲4▼,▲5▼参照)。なお、移動時間TMは、予め定められた上限値TMmaxより上には増やさない。
【0095】
〔移動体無しと判定された画素:移動状態でなくなった場合〕
移動体有無判定部12は、移動体輪郭画像M(x,y)から移動体が無くなると、それまで移動体有りと判定していた画素を移動体無しと判定する。この場合、画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。
【0096】
ここで、移動体無しと判定された画素の直前の「画素状態」は「移動状態」とされているので(図5に示すステップ402aのYES)、画素状態確認部13はその旨を移動時間判定部14へ知らせる。移動時間判定部14は、画素状態確認部13からの知らせを受けて、その移動体無しと判定された画素の背景情報保持部9における「移動時間TM」をチェックする(ステップ402j)。
【0097】
(イ)移動体がとどまっていた時間が短かった場合
「移動時間TM」が上限値TMmaxに達していない場合、すなわち移動体がその画素にとどまっていた時間が短かかった場合、移動時間判定部14はその画素の背景情報中の「移動時間TM」を零に戻し(ステップ402k)、定量化部7へ定量化指令を送る。
【0098】
定量化部7は、移動時間判定部14からの定量化指令を受けて、背景情報保持部9に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ET」を読み出し、その「時系列データ」の平均と分散を求める(ステップ402b)。この場合、移動体無しと判定された画素の「経過時間ET」は上限値ETmaxに達しているので(ステップ402cのYES)、ステップ402g以降の処理が実行される。
【0099】
この処理によって、「安定状態」か「不安定状態」かが判断され、「安定状態」と判断された画素の背景情報中の「画素状態」は「移動状態」から「安定状態」へ遷移し(ステップ402i:図14の遷移▲7▼)、「不安定状態」として判断された画素の背景情報中の「画素状態」は「移動状態」から「不安定状態」へ遷移する(ステップ402h:図14の遷移▲8▼)。
【0100】
(ロ)移動体がとどまっていた時間が長かった場合
「移動時間TM」が上限値TMmaxに達していた場合、すなわち移動体がその画素にとどまっていた時間が長かかった場合、移動時間判定部14はその画素の背景情報中の「時系列データ」をクリするとともに(ステップ402m)、その画素の背景情報中の「経過時間ET」および「移動時間TM」を零に戻し(ステップ402n,102k)、定量化部7へ定量化指令を送る。
【0101】
定量化部7は、移動時間判定部14からの定量化指令を受けて、背景情報保持部9に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ET」を読み出し、その「時系列データ」の平均と分散を求める(ステップ402b)。この場合、移動体無しと判定された画素の経過時間ETは0に戻されているので(ステップ402cのNO)、ステップ402d以降の処理が実行される。この処理によって、その画素の背景情報中の画素の「画素状態」は、「移動状態」から「未定状態」へ遷移する(ステップ402d:図14の遷移▲9▼)。また、その画素の背景情報中の「経過時間ET」のカウントが開始されるとともに(ステップ402e)、その画素の背景情報中の「時系列データ」の収集が開始される(ステップ402f)。
【0102】
〔移動体有りと判定された画素:直前の「画素状態」に「未定状態」が含まれている場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」に「未定状態」が含まれているものとする。
【0103】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「未定状態」であった場合、その画素について「未定状態」から「移動状態」への遷移と判断し(図14の遷移(10))、すなわちその「画素状態」を「移動状態」の一形態である「未定状態から移動状態」であると判断し、この「未定状態から移動状態」をその画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップさせる(図15に示す処理内容▲3▼参照)。これにより、「未定状態」から「移動状態」へ遷移した画素について、その移動時間TMのカウントが開始される。
【0104】
〔移動体有りと判定された画素:直前の「画素状態」に「未定状態から移動状態」が含まれている場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」に「未定状態から移動状態」が含まれているものとする。
【0105】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「未定状態から移動状態」であった場合、その送られてきた「未定状態から移動状態」をそのままその画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップする(図15に示す処理内容▲6▼参照)。
【0106】
このようにして自動更新された各画素の背景情報より、移動体輪郭画像M(x,y)が得られる毎に、有効/無効領域決定部11は、「安定状態」である画素、「安定状態から移動状態」である画素を有効画素(STATE(x,y)=1)とし、「未定状態」である画素、「不安定状態」である画素、「未定状態から移動状態」である画素「不安定状態から移動状態」である画素を無効画素(STATE(x,y)=0)とし、有効画素を集めた領域を背景差分処理の有効領域S1、無効画素を集めた領域を背景差分処理の無効領域S2として決定する。また、背景画像生成部10は、各画素の「時系列データ」の平均値として背景画像A(x,y)を生成する。
【0107】
【発明の効果】
以上説明したことから明らかなように本発明によれば、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求め、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求め、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するようにしたので、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭が抽出されこれにより、見かけ上、有効領域と無効領域との区別がなくなり、有効/無効領域の自動決定などによって無効領域が広く設定されても、移動体などの検出をより高精度で行うことができるようになる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。
【図2】この移動体検出装置における背景情報更新処理部の内部構成の概略を示すブロック図である。
【図3】この移動体検出装置における画素毎の背景情報の要素名および概要を示す図である。
【図4】この移動体検出装置における移動体の有無の判定処理を示すフローチャートである。
【図5】この移動体検出装置における移動体無しと判定された場合の処理を示すフローチャートである。
【図6】この移動体検出装置における移動体の検出処理を説明するための図である。
【図7】この移動体検出装置における輪郭抽出処理部の要部を示すブロック図である。
【図8】この移動体検出装置における統合処理部での背景差分画像と輪郭抽出画像とからの移動体輪郭画像の生成処理を示すフローチャートである。
【図9】この移動体検出装置における統合処理部での移動体輪郭画像を生成する際の移動体書き出し処理を示すフローチャートである。
【図10】このフローチャートに従う移動体書き出し処理を説明するための図である。
【図11】輪郭抽出画像および背景差分画像における最初の探索点(x,y)の周囲8画素を示す図である。
【図12】移動体輪郭画像が出来上がって行く様子を示す図である。
【図13】再度探索点とされないように時期探索点に対応する背景差分画像および輪郭抽出画像における画素の値が「0」とされて行く様子を示す図である。
【図14】画素状態分類部で分類される画素状態の遷移図である。
【図15】移動体有りと判定された画素についての処理内容を示す図である。
【図16】従来の背景差分処理を説明する図である。
【図17】頻繁に変化する物体として例えばネオンが含まれている場合の背景差分処理を説明する図である。
【図18】人為的に有効/無効領域を設定して背景差分処理を行うようにした従来例を説明する図である。
【図19】無効領域が広くなることによる検出性能の劣化を説明する図である。
【符号の説明】
1…撮像手段、2…背景差分処理部、3…輪郭抽出処理部(フレーム間差分処理部)、4…統合処理部、5…背景情報更新処理部、6…画像確保部、7…定量化部、8…画素状態分類部、9…背景情報保持部、10…背景画像生成部、11…有効/無効領域決定部、12…移動体有無判定部、13…画素状態確認部、14…移動時間判定部、15…フレーム間差分処理部、16…画像メモリ、100…移動体検出装置。
【発明の属する技術分野】
この発明は、有効領域を対象として入力画像と背景画像との差分を背景差分画像として求め、この背景差分画像から移動体などを検出する画像処理方法および装置に関するものである。
【0002】
【従来の技術】
従来より、移動体などの検出では、背景差分処理を行っている。図16(a)はTVカメラなどの撮像手段によって撮像された入力画像、図16(b)はこの入力画像に含まれる背景画像である。入力画像に移動体が写っていなければ入力画像と背景画像とは等しい。背景差分処理では、図16(a)に示された入力画像と図16(b)に示された背景画像との差分をとり、図16(c)に示されるような背景差分画像を得る。この例では、入力画像に移動体として人物Maが写っており、背景画像との差分をとることにより背景画像には含まれていなかった人物Maのみが背景差分画像に現れる。このようにして移動体の像を抽出(検出)することができる。
【0003】
しかしながら、背景には、静止物体だけではなく、動いたり、輝度が頻繁に変化する物体もある。例えば、ネオンなどは、輝度が頻繁にかつ著しく変化する。図17(a)に示す入力画像および図17(b)に示す背景画像にはネオンNeが含まれている。この場合、背景差分処理を行うと、図17(c)に示す背景差分画像には、人物Maに加えて、ネオンNeが現れる。図17(c)に示された背景差分画像中、ネオンNeは、移動体である人物Maの検出において不適切な判断を与える外乱要因となる。
【0004】
そこで、最近の背景差分処理では、背景画像に対して背景差分処理の対象とする有効領域と対象としない無効領域を設定し、有効領域のみの情報に基づいて移動体の検出を行っている。例えば、図18(b)に示すように、ネオンNeが存在する領域を無効領域S2、無効領域S2を除いた残りの領域を有効領域S1とし、有効領域S1についてのみ入力画像(図18(a))と背景画像(図18(b))との差分をとり、図18(c)に示されるような背景差分画像を得るようにしている。これにより、ネオンNeが存在する無効領域S2が背景差分処理の対象から除外され、入力画像中の人物Maのみを含む背景差分画像を得ることができる(例えば、特許文献1参照)。
【0005】
なお、上述した例では、有効領域S1についてのみ入力画像と背景画像との差分をとるようにしたが、全領域を対象として入力画像と背景画像との差分をとり、この差分画像における無効領域S2に対応する部分にマスクをかけて、図18(c)に示されるような背景差分画像を得ることも行われている。このようなマスクをかける方法によっても、無効領域S2を背景差分処理の対象から除外し、有効領域S1のみを背景差分処理の対象として、入力画像中の人物Maだけを移動体として検出することができる。
【0006】
【特許文献1】
特開平9−214938号公報(第4−5頁、図1−図4)
【0007】
【発明が解決しようとする課題】
しかしながら、このような従来の移動体の検出方法によると、背景差分処理の無効領域S2が広くなると、検出すべき移動体が無効領域S2に含まれてくる確率が高くなる。例えば、図19(b)に示すように無効領域S2を広くすると、この無効領域S2に人物Maの大部分が含まれてしまうということがあり、背景差分処理によって得られる背景差分画像には図19(c)に示されるように人物Maの一部分しか出現しなくなる。この場合、人物Maの充分な検出が行えず、ひいては移動体の検出性能の劣化につながる。
【0008】
本発明はこのような課題を解決するためになされたもので、その目的とするところは、移動体などの検出をより高精度で行うことができる画像処理方法および装置を提供することにある。
【0009】
【課題を解決するための手段】
このような目的を達成するために本発明は、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求めるステップと、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するステップとを設けたものである。
【0010】
この発明では、有効領域を対象として入力画像と背景画像との差分が背景差分画像として求められる。また、入力画像中の変化物体の輪郭を含む輪郭抽出画像が求められる。移動体の検出を行う場合、背景差分画像に現れる物体は検出しようとする移動体である確率が高い。輪郭抽出画像に現れる物体は他の変化物体も含んでいる。本発明では、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭を抽出する。これにより、見かけ上、有効領域と無効領域との区別がなくなり、検出しようとする移動体の全体の輪郭を抽出することが可能となる。
【0011】
なお、本発明において、輪郭抽出画像は例えばフレーム間差分処理によって求めることができる。フレーム間差分処理では、入力画像の時系列から相前後する2つの入力画像の差分を輪郭抽出画像として求める。輪郭抽出画像は、必ずしもフレーム間差分処理によらなくてもよく、画像処理で一般に知られている微分処理、領域分割などを用いて求めるようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【0012】
【発明の実施の形態】
以下、本発明を図面に基づいて詳細に説明する。
図1は本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。同図において、1はTVカメラなどの撮像手段、2は背景差分処理部、3は輪郭抽出処理部、4は統合処理部、5は背景情報更新処理部である。
【0013】
この移動体検出装置100においては、撮像手段1からの所定周期で入力される時系列の入力画像I(x,y,t)(以下、I(x,y)と略す)を背景差分処理部2、輪郭抽出処理部3および背景情報更新処理部5へ送るようにし、背景差分処理部2において生成される背景差分画像BG(x,y)と輪郭抽出処理部3において生成される輪郭抽出画像O(x,y)とから統合処理部4において移動体輪郭画像M(x,y)を生成し、この生成した移動体輪郭画像M(x,y)を背景情報更新処理部5へフィードバックし、背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2の更新を行うようにしている。
【0014】
背景差分処理部2は、撮像手段1からの入力画像I(x,y)と、背景情報更新処理部5からの背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2とから、有効領域S1における変化物体の像を含む背景差分画像BG(x,y)を生成する。
輪郭抽出処理部3は、撮像手段1からの入力画像I(x,y)から、入力画像I(x,y)中の変化物体の輪郭を含む輪郭抽出画像O(x,y)を生成する。
【0015】
統合処理部4は、背景差分処理部2からの背景差分画像BG(x,y)と輪郭抽出処理部3からの輪郭抽出画像O(x,y)とから、入力画像I(x,y)中の移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)を生成する。
背景情報更新処理部5は、撮像手段1からの入力画像I(x,y)と統合処理部4からの移動体輪郭画像M(x,y)とから、背景差分処理部2への背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2を生成(更新)する。
【0016】
図2は背景情報更新処理部5の内部構成の概略を示すブロック図である。背景情報更新処理部5は、画像確保部6、定量化部7、画素状態分類部8、背景情報保持部9、背景画像生成部10、有効/無効領域決定部11、移動体有無判定部12、画素状態確認部13、移動時間判定部14を備えている。
【0017】
〔背景情報更新処理部5の各部の機能の概略〕
背景情報更新処理部5において、画像確保部6は、撮像手段1からの所定周期で入力される時系列の入力画像I(x,y)を予め規定された特定の量だけ確保し、その確保した各画像の画像フレームを構成する各画素の画素値を背景情報保持部9に送り、各画素の背景情報の一部である「時系列データ」として保持させる。
【0018】
定量化部7は、背景情報保持部9に保持されている各画素の「時系列データ」を取り出し、この取り出した各画素の「時系列データ」の変動具合を定量化する。画素状態分類部8は、定量化部7で定量化された各画素の変動具合に基づいて各画素の状態を分類し、その分類した各画素の状態を背景情報保持部9に送り、各画素の背景情報の一部である「画素状態」として保持させる。
【0019】
なお、「画素状態」には、「未定状態」、「安定状態」、「不安定状態」、「移動状態」があり、「移動状態」はさらに「未定状態から移動状態」、「安定状態から移動状態」、「不安定状態から移動状態」に分けられる。これらの「画素状態」については後述する。
【0020】
背景情報保持部9は、上述した「時系列データ」、「画素状態」に加えて、「経過時間ET」(画素状態が未定状態に入ってから経過した時間)、「移動時間TM」(画素状態が移動状態に入ってから経過した時間)を各画素の背景情報として保持する。図3に画素毎の背景情報の要素名および概要を示す。
【0021】
背景画像生成部10は、背景情報保持部9における各画素の「時系列データ」に基づき、背景画像A(x,y)を生成する。有効/無効領域決定部11は、背景情報保持部9における各画素の「画素状態」に基づき、背景差分処理の有効領域S1/無効領域S2を決定する。
【0022】
移動体有無判定部12は、統合処理部4からフィードバックされてくる移動体輪郭画像M(x,y)の各画素毎に移動体の有無を判定し、その判定結果を画素状態確認部13へ送る。この場合、その画素の画素値が「1」であれば移動体有りと判定し、その画素の画素値が「0」でれば移動体無しと判定する。
【0023】
画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、その画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認し、移動体有りと判定された画素については、その確認した「画素状態」を画素状態分類部8へ送り、移動体無しと判定された画素については、定量化部7へ定量化指令を送る。
【0024】
移動時間判定部14は、画素状態確認部13からの知らせを受けて、「移動体有り」から「移動体無し」へと変化した画素について、背景情報保持部9における背景情報中の「移動時間TM」をチェックし、その画素に移動体がとどまっていた時間の長短を判定する。
【0025】
〔移動体検出装置100における全体の処理の流れ〕
以下では、説明を簡単とするために、実稼働開始後少なくともn個の入力画像I(x,y)が取り込まれるまでの間は、撮像手段1からの入力画像I(x,y)には移動体や輝度が変化する物体が含まれないものとする。
【0026】
実稼働開始後、n個の入力画像I(x,y)が確保されるまでは、背景差分処理部2への有効/無効領域は、その全ての領域が無効領域S2とされる(後述)。入力画像I(x,y)がn個確保されると、このn個の入力画像I(x,y)に基づく最初の背景画像A(x,y)と有効領域S1/無効領域S2が背景情報更新処理部5において確定され、背景差分処理部2に対して設定される(▲1▼実稼働開始直後の背景画像および有効/無効領域の設定)。
【0027】
そして、背景差分処理部2において、背景画像A(x,y)と有効領域S1/無効領域S2を用いて、入力画像I(x,y)と背景画像A(x,y)との間で背景差分処理が行われ、背景差分画像BG(x,y)が得られる(▲2▼背景差分画像の取得)。
【0028】
また、この背景差分画像BG(x,y)の取得と並行して、輪郭抽出処理部3での入力画像I(x,y)に対する輪郭抽出処理が行われ、入力画像I(x,y)中の変化物体の輪郭を含む輪郭抽出画像O(x,y)が得られる(▲3▼輪郭抽出画像の取得)。
【0029】
そして、統合処理部4において、輪郭抽出処理部3で得られた輪郭抽出画像O(x,y)中の輪郭(変化物体の輪郭)から背景差分処理部2で得られた背景差分画像BG(x,y)中の像(移動体の像)と連続するものが抽出され、移動体の全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)が得られる(▲4▼移動体の輪郭抽出)。
【0030】
また、この移動体輪郭画像M(x,y)が背景情報更新処理部5へフィードバックされ、背景画像A(x,y)および有効領域S1/無効領域S2が自動的に更新される(▲5▼稼働中の背景画像および有効/無効領域の自動更新)。
【0031】
以下、上述した全体の処理の流れに沿って、各部の詳細な機能を交えながら、その処理手順について説明する。なお、本発明は、この全体の処理の流れ中、「▲2▼背景差分画像の取得」、「▲3▼輪郭抽出画像の取得」、「▲4▼移動体の輪郭抽出」の各処理に関係し、「▲1▼実稼働開始直後の背景画像および有効/無効領域の設定」、「▲5▼稼働中の背景画像および有効/無効領域の自動更新」とは直接関係しない。
【0032】
〔▲1▼実稼働開始直後の背景画像および有効/無効領域の設定〕
実稼働開始の指示が出されると、背景情報更新処理部5における画像確保部6は、初期状態として、背景情報保持部9における各画素の「画素状態」を「未定状態」とする。「未定状態」とは、その画素の状態がまだ確定されていないことを意味する。また、各画素の「経過時間ET」および「移動時間TM」をリセットし、零とする。また、各画素の「時系列データ」をクリアして、零とする。
【0033】
実稼働開始後、撮像手段1からの最初の入力画像I(x,y)は、背景差分処理部2、輪郭抽出処理部3および背景情報更新処理部5へ送られる。
背景差分処理部2は、撮像手段1からの最初の入力画像I(x,y)が入力されると、その入力画像I(x,y)と背景情報更新処理部5からの背景画像A(x,y)および背景差分処理の有効領域S1/無効領域S2とから背景差分画像BG(x,y)を生成する。
【0034】
この場合、背景情報更新処理部5の背景情報保持部9における背景情報中、各画素の「画素状態」は「未定状態」とされている。背景情報更新処理部5は、「画素状態」が「未定状態」である画素については、その画素を無効画素と判断し、無効画素を集めた領域を背景差分処理の無効領域とする。したがって、この場合、背景差分処理の有効領域S1はなく、全ての領域が無効領域S2とされる。
【0035】
このため、背景差分画像BG(x,y)は入力画像I(x,y)に拘わらず全ての画素が「0」とされ、輪郭抽出処理部3において得られる輪郭抽出画像O(x,y)に変化物体の輪郭が抽出されていたとしても、統合処理部4で得られる移動体輪郭画像M(x,y)は全ての画素が「0」とされる。なお、輪郭抽出処理部3および統合処理部4での具体的な処理内容については後述する。
【0036】
統合処理部4から得られた移動体輪郭画像M(x,y)は背景情報更新処理部5へフィードバックされる。背景情報更新処理部5において、移動体有無判定部12は、統合処理部4からの移動体輪郭画像M(x,y)の各画素について、移動体の有無を判定する。
【0037】
ここで、移動体有無判定部12は、図4に示すフローチャートに従い、M(x,y)が「1」である画素については移動体有りと判定し(ステップ403)、M(x,y)が「0」である画素については移動体無しと判定する(ステップ402)。この場合、統合処理部4からの最初の移動体輪郭画像M(x,y)は全ての画素が「0」とされているので、全ての画素において移動体無しと判定される。
【0038】
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。ここで、移動体有りと判定された画素と移動体無しと判定された画素では、以降の処理が異なる。この場合、全ての画素が移動体無しと判定された画素であるので、図5に示す移動体無し時の処理動作が行われる。
【0039】
画素状態確認部13は、移動体無しと判定された各画素の背景情報保持部9における「画素状態」(直前の画素状態)をチェックし(ステップ402a)、その「画素状態」が「移動状態」であるか否かを確認する。この場合、移動体無しと判定された各画素の「画素状態」は「未定状態」であるので(ステップ402aのNO)、直ちに各画素に対しての定量化指令を定量化部7へ送る(ステップ402b)。
【0040】
定量化部7は、この画素状態確認部13からの定量化指令を受けて、背景情報保持部9に保持されている各画素の「時系列データ」および「経過時間ET」を読み出し、その各画素の「時系列データ」の変動具合を定量化する。この例では、各画素の変動具合として、「時系列データ」として保持されている画素値の平均A(x,y)と分散Varを求める。そして、定量化部7は、この求めた各画素の分散Varを画素状態分類部8へ送る。
【0041】
なお、画像フレーム(入力画像(x,y,t))の画素値をPix(x,y,t)とすると、画素値の平均A(x,y)と分散Var(x,y)はそれぞれ下記の(1)および(2)式で計算される。
【0042】
【数1】
【0043】
最初の移動体輪郭画像M(x,y)が得られた時点では、背景情報保持部9にはまだ各画素の「時系列データ」は1つも保持されていないので、定量化部7ではまだ各画素の分散Varを求めることができない。この場合、定量化部7は、各画素の分散Varを零として画素状態分類部8へ送る。
【0044】
画素状態分類部8は、背景情報保持部9に保持されている各画素の「経過時間ET」を確認し、「経過時間ET」が予め定められている上限値ETmaxに達していなければ(ステップ402cのNO)、定量化部7からの分散Varに拘わらず、その画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持させる(ステップ402d)。また、背景情報保持部9における各画素の「経過時間ET」を1アップし(ステップ402e)、画像確保部6へデータの保存指令を送る(ステップ402f)。なお、この実施の形態では、撮像手段1からn個の画像が取り込まれるまでの時間ETnを上限値ETmaxとしている。
【0045】
最初の移動体輪郭画像M(x,y)が得られた時点では、背景情報保持部9における各画素の「経過時間ET」は零とされている。したがって、この場合、画素状態分類部8は、各画素の状態を「未定状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持させる。また、背景情報保持部9における各画素の「経過時間ET」を1アップし、画像確保部6へデータの保存指令を送る。この保存指令を受けて、画像確保部6は、撮像手段1からの入力画像(最初の入力画像)I(x,y)における各画素の画素値D1を背景情報保持部9に送り、各画素の「時系列データ」として保持させる。
【0046】
以下、移動体有無判定部12に統合処理部4からの移動体輪郭画像M(x,y)が入力される毎に、同様動作を繰り返す。これによって、背景情報保持部9における各画素の背景情報は、「画素状態」を「未定状態」としたまま、「時系列データ」がD1,D2,D3・・・・Dnと保持されて行き、「経過時間ET」がET1,ET2,ET3・・・・ETnとカウントアップされて行く。
【0047】
移動体有無判定部12にn+1個目の移動体輪郭画像M(x,y)が入力され、画素状態分類部8へ定量化部7から各画素の分散Varが与えられると、画素状態分類部8で確認される背景情報保持部9における各画素の「経過時間ET」はETnとなり、ステップ402cにおいて経過時間ETが上限値ETmaxに達したことが検出される。この場合、画素状態分類部8は、各画素の「時系列データ」が必要量確保されたと判断し、定量化部7からの分散Varを用いての画素状態の分類を行う。
【0048】
すなわち、画素状態分類部8は、定量化部7から送られてくる各画素の分散Varと予め定められている閾値Varthとを比較し(ステップ402g)、Var>Varthであればその画素を「不安定状態」、Var≦Varthであれば「安定状態」と判断する。そして、この判断した各画素の状態(「安定状態」又は「不安定状態」)を背景情報保持部9に送り、各画素「画素状態」として保持させる(ステップ402h,402i)。これにより、それまで背景情報保持部9に保持されていた各画素の「画素状態」は、「未定状態」から「安定状態」又は「不安定状態」に書き替えられる。
【0049】
背景画像生成部10は、背景情報保持部9における各画素の「時系列データ(D1〜Dn)」に基づき、その各画素の「時系列データ(D1〜Dn)」の平均値として背景画像A(x,y)を生成し、保持する。
有効/無効領域決定部11は、背景情報保持部9における各画素の「画素状態」に基づき、「安定状態」である画素を有効画素(STATE(x,y)=1)、「不安定状態」である画素を無効画素(STATE(x,y)=0)とし、有効画素を集めた領域を背景差分処理の有効領域S1、無効画素を集めた領域を背景差分処理の無効領域S2として決定し、保持する。
【0050】
この後、画素状態分類部8は、画像確保部6へデータの保存指令を送る(ステップ402f)。この保存指令を受けて、画像確保部6は、撮像手段1からの入力画像I(x,y)(n+1個目の入力画像)における各画素の画素値Dn+1を背景情報保持部9に送り、各画素の「時系列データ」中の最も古い画素値D1と置き換える(ステップ402f)。
【0051】
このようにして、背景情報更新処理部5において、最初の背景画像A(x,y)と有効領域S1/無効領域S2が確定され、背景差分処理部2に対して設定される。
【0052】
〔実稼働中の移動体の検出〕
今、実稼働開始から時間ETn+1を経過した後の現時刻をTとし、例として、この現時刻Tにおける撮像手段1からの入力画像I(x,y)を図6(a)、背景情報更新処理部5からの背景画像A(x,y)を図6(b)、背景情報更新処理部5からの背景差分処理の有効領域S1/無効領域S2を図6(d)に示す。この現時刻Tにおける撮像手段1からの入力画像I(x,y)は、背景差分処理部2、輪郭抽出処理部3および背景情報更新処理部5へ送られる。
【0053】
〔▲2▼背景差分画像の取得:背景差分処理〕
背景差分処理部2は、撮像手段1からの現時刻Tにおける入力画像I(x,y)を取り込み、この取り込んだ現時刻Tの入力画像I(x,y)(図6(a))と背景画像更新処理部13からの背景画像A(x,y)(図6(b))との差を計算し、予め設定されている閾値Ths(x,y)を用いての閾値処理により差分画像S(x,y)(図6(c))を得る。この閾値処理は、数式表現すると、下記の(3),(4)式で表される。
【0054】
S(x,y)=1〔if |I(x,y)−A(x,y)|>Ths(x,y)〕 ・・・・(3)
S(x,y)=0〔if |I(x,y)−A(x,y)|≦Ths(x,y)〕 ・・・・(4)
【0055】
この処理は、入力画像I(x,y)の画素値と背景画像A(x,y)の画素値(平均値)との差が閾値Ths(x,y)より大きい画素、すなわち背景に大きな変化があった画素の値を「1」とする2値化処理である。
【0056】
そして、背景差分処理部2は、この閾値処理によって得た差分画像S(x,y)と背景情報更新処理部5からの有効領域S1/無効領域S2(図6(d)参照)とから、背景差分画像BG(x,y)を得る。この処理は、数式表現すると、下記の(5),(6)式で表される。この処理により、無効領域S2が背景差分処理の対象から除外され、図6(e)に示されるような背景差分画像BG(x,y)が得られる。
BG(x,y)=1〔if S(x,y)=1and(STATE(x,y)=1)〕・・・・(5)
BG(x,y)=0(otherwise)・・・(6)
【0057】
この処理は、差分画像S(x,y)において、その画素値が「1」でかつ有効画素(「安定状態」である画素)である画素の値を「1」、それ以外の画素の値を「0」とする2値化処理である。
この処理により、無効領域S2が背景差分処理の対象から除外され、図4(e)に示されるような背景差分画像BG(x,y)を得ることができる。
【0058】
この例では、差分画像S(x,y)において、移動体である人物Maの大部分が無効領域S2に位置している。したがって、背景差分画像BG(x,y)からは、ネオンNeとともにその無効領域S2に位置する人物Maの大部分が除外されている。背景差分画像BG(x,y)において、「1」とされた画素は、有効領域S1に位置している人物Maを示している。このようにして、背景差分処理によって、有効領域における移動体の像(2値画像)が得られる。
【0059】
なお、この実施の形態では、全領域を対象として入力画像I(x,y)と差分画像A(x,y)との差分画像S(x,y)を求め、この差分画像S(x,y)における無効領域S2の部分にマスクをかけることによって、無効領域S2を背景差分処理の対象から除外するようにしているが、有効領域S1についてのみ入力画像I(x,y)と差分画像A(x,y)との差分画像を求め、この差分画像を背景差分画像BG(x,y)として得るようにしてもよい。
【0060】
〔▲3▼輪郭抽出画像の取得:輪郭抽出処理〕
輪郭抽出処理部3は、撮像手段1からの現時刻Tにおける入力画像I(x,y)を取り込み、この取り込んだ入力画像I(x,y)中の変化物体の輪郭を含む輪郭抽出画像O(x,y)を生成する。この実施の形態では、一般にフレーム間差分と呼ばれている画像処理によって、輪郭抽出画像O(x,y)を生成する。
【0061】
図7は輪郭抽出処理部3の要部を示すブロック図である。輪郭抽出処理部3は、フレーム間差分処理部17と画像メモリ18とを備えている。フレーム間差分処理部17は、撮像手段1からの現時刻Tの入力画像I(x,y)(図6(a):今回の入力画像)と画像メモリ18に保存されている1フレーム前の入力画像F(x,y)(図6(f):前回の入力画像)との差を計算し、予め設定されている閾値Tho(x,y)を用いての閾値処理によりフレーム間差分画像(輪郭抽出画像)O(x,y)(図6(g))を得る。この閾値処理は、数式表現すると、下記の(7),(8)式で表される。
【0062】
O(x,y)=1〔if |I(x,y)−F(x,y)|>Tho(x,y)〕 ・・・・(7)
O(x,y)=0〔if |I(x,y)−F(x,y)|≦Tho(x,y)〕 ・・・・(8)
【0063】
この処理は、今回の入力画像I(x,y)の画素値と前回の入力画像F(x,y)の画素値との差が閾値Tho(x,y)より大きい画素、すなわちフレーム間で大きな変化があった画素の値を「1」とする2値化処理である。「1」とされた画素は、フレーム間で変化した物体を示し、ネオンのように移動体以外の物体も含まれる場合がある。
【0064】
フレーム間差分処理部17でのフレーム間差分処理の実行後、撮像手段1からの現時刻Tの入力画像I(x,y)はF(x,y)として画像メモリ18に格納され、次回行われるフレーム間差分処理において1フレーム前の入力画像として用いられる。なお、この例では、輪郭抽出処理部3においてフレーム間差分処理を行うようにしたが、現時刻Tの入力画像I(x,y)に対して画像処理で一般に知られている微分処理、領域分割などを用いて現時刻の入力画像I(x,y)内の変化物体の輪郭を含む輪郭抽出画像O(x,y)を得るようにしてもよい。また、フレーム間差分や微分処理など、複数の処理手段を併用してもよい。
【0065】
〔▲4▼移動体の輪郭抽出:統合処理〕
統合処理部4は、背景差分処理部2からの背景差分画像BG(x,y)中の移動体の像に基づいて輪郭抽出処理部3からの輪郭抽出画像O(x,y)中の変化物体の輪郭を絞り込み、移動体の全体の輪郭を特定する。
【0066】
基本的な考え方は、輪郭抽出画像O(x,y)に含まれる変化物体の輪郭から背景差分画像BG(x,y)の有効領域内の移動体の情報、すなわち信頼性の高い移動体の像に基づき、無効領域に位置する移動体の輪郭を絞り込んで行くことにある。
【0067】
本実施の形態の統合処理の主要部分である「移動体書き出し処理」(後述)では、以下に説明するように、背景差分画像BG(x,y)の有効領域の画素を探索点として、輪郭抽出画像O(x,y)に対して探索点の周囲の画素の値を繰り返しチェックして行く。その結果、統合処理部4における移動体の輪郭抽出においては、有効領域と無効領域との区別がなくなる。
【0068】
背景差分画像BG(x,y)(図6(e))において、その値が「1」の画素は、移動体(人物Ma)を表す。輪郭抽出画像O(x,y)において、その値が「1」の画素は、フレーム間で変化した物体(人物Maを含む)を表す。
【0069】
背景差分画像BG(x,y)における人物Maの像の輪郭と輪郭抽出画像O(x,y)における人物Maの輪郭とは一致する。従って、背景差分画像BG(x,y)における人物Maの像に基づき、この像の輪郭とつながる輪郭抽出画像O(x,y)における変化物体の輪郭を求めれば、人物Maの全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)(図6(h))を得ることができる。
【0070】
統合処理部4における背景差分画像BG(x,y)と輪郭抽出画像O(x,y)とから移動体輪郭画像M(x,y)を生成する処理の流れを図8に示す。なお、前処理として、背景差分画像BG(x,y)や輪郭抽出画像O(x,y)に対し、収縮・膨張処理などを行いノイズ除去を行ってもよい。
【0071】
統合処理部4では、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素について、その値が共に「1」であるか否かを順番にチェックする(ステップ801)。背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する画素の値が共に「1」であれば(ステップ801のYES)、その都度、後述する「移動体書き出し処理」を実行する(ステップ802)。
【0072】
すなわち、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素について、下記の(9)式に従って順次評価値を求め、評価値が「1」となれば、「移動体書き出し処理」を行う。この「移動体書き出し処理」の繰り返しによって、移動体輪郭画像M(x,y)を生成する。
If〔BG(x,y)=「1」 and O(x,y)=「1」〕then「1」else「0」 ・・・・(9)
【0073】
なお、この(9)式は、(BG(x,y)、O(x,y)共に「1」の画素については評価値を「1」とし、それ以外の画素については評価値を「0」とすることを意味している。評価値が「1」となった画素についてのみ「移動体書き出し処理」を行い、評価値が「0」となった画素については「移動体書き出し処理」は行わない。
【0074】
〔移動体書き出し処理〕
ステップ801において、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する画素が共に「1」であることが確認されると(図10(a),(b)参照)、すなわち上記(9)式によって求められる評価値が「1」となると、統合処理部4はその画素の座標点(x,y)を探索点として探索点メモリに書き込む(図9に示すステップ901)。
【0075】
また、その探索点(x,y)に対応する移動体輪郭画像M(x,y)における画素の値を「1」とする(ステップ902:図10(c)参照)。また、再度探索点とされないように、その探索点(x,y)に対応する背景差分画像BG(x,y)、輪郭抽出画像O(x,y)における画素の値を「0」とする(ステップ903:図10(d),(e)参照)。
【0076】
そして、探索点(x,y)の周囲の画素について、すなわち探索点(x,y)の周囲に位置する背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素について、順番にその値をチェックして行く(ステップ904〜908)。なお、本実施の形態では、周囲8画素を処理対象とする。
【0077】
図11(a)は輪郭抽出画像O(x,y)における最初の探索点(x,y)の周囲8画素を示し、図11(b)は背景差分画像BG(x,y)における最初の探索点(x,y)の周囲8画素を示す。この探索点(x,y)の周囲8画素について、背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する画素(周囲画素)の値をチェックし、どちらかが「1」であれば(ステップ904のYES)、その周囲画素の座標点(x,y)を次期探索点として次期探索点メモリに登録する(ステップ905)。図11に示した例では、座標点(x,y+1)と(x,y−1)が次期探索点として登録される。
【0078】
また、次期探索点を登録した後、その次期探索点に対応する移動体輪郭画像M(x,y)における画素の値を「1」とする(ステップ906)。図11に示した例では、図12(a)に示すように、座標点(x,y+1)と(x,y−1)の対応する移動体輪郭画像M(x,y)における画素の値が「1」とされる。そして、再度探索点とされないように、その次期探索点に対応する背景差分画像BG(x,y)および輪郭抽出画像O(x,y)における画素の値を「0」とする(ステップ907:図13(a),(b)参照)。
【0079】
すなわち、探索点(x,y)の周囲の背景差分画像BG(x,y)と輪郭抽出画像O(x,y)との対応する各画素(周囲画素)について、下記の(10)式に従って評価値を求め、評価値が「1」となれば、その周囲画素の座標点(x,y)を次期探索点として次期探索点メモリに登録し、その周囲画素の座標点(x,y)に対応する移動体輪郭画像M(x,y)における画素の値を「1」とし、その周囲画素の座標点(x,y)に対応する背景差分画像BG(x,y)、輪郭抽出画像O(x,y)における画素の値を「0」とする。探索点(x,y)の周囲画素の全てについて処理を終了すれば(ステップ908のYES)、ステップ909へ進む。
If〔BG(x,y)=「1」 or O(x,y)=「1」〕then「1」else「0」 ・・・・(10)
【0080】
ステップ909では、次期探索点が次期探索点メモリに登録されているか否かをチェックし、次期探索点が次期探索点メモリに登録されていれば(ステップ909のYES)、その登録されている次期探索点の1つを新しい探索点として探索点メモリに登録し(ステップ910)、ステップ904へ戻って同様動作を繰り返す。
【0081】
これにより、図12(b)に示すように、移動体輪郭画像M(x,y)において、その値を「1」とする画素が探索点(x,y)を中心としてつながって行く。次期探索点メモリに次期探索点がなくなれば(ステップ909のNO)、一連の移動体書き出し処理を終了する。この移動体書き出し処理は、有効領域S1,無効領域S2の区別なく、ステップ803で全画素が終了するまで繰り返される。
【0082】
この「移動体書き出し処理」の繰り返しによって、背景差分画像BG(x,y)における信頼性の高い人物Maの像とつながる輪郭抽出画像O(x,y)中における変化物体の輪郭が求められて行き、人物Maの全体の輪郭を含む信頼性の高い移動体輪郭画像M(x,y)(図6(h))が得られるようになる。これにより、自動的に決定(自動的に更新)される無効領域S2が広くなっても、人物Maの検出を高精度で行うことができるようになる。
【0083】
〔▲5▼稼働中の背景画像および有効/無効領域の自動更新〕
統合処理部4で得られた移動体輪郭画像M(x,y)は背景情報更新処理部5へフィードバックされる。背景情報更新処理部5において、移動体有無判定部12は、統合処理部4からの移動体輪郭画像M(x,y)の各画素について、移動体の有無を判定する。すなわち、M(x,y)が「1」である画素については移動体有りと判定し(図4のステップ403)、M(x,y)が「0」である画素については移動体無しと判定する(ステップ402)。
【0084】
〔移動体無しと判定された画素:直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する(図5のステップ402a)。この例では、説明上、背景情報保持部9における移動体無しと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【0085】
この場合、画素状態確認部13は、移動体無しと判定された全ての画素について定量化部7へ定量化指令を送る(ステップ402a,402b)。定量化部7は、この定量化指令を受けて、背景情報保持部9に保持されている移動体無しと判定された各画素の「時系列データ」および「経過時間ET」を読み出し、その「時系列データ」の平均と分散を求める。
【0086】
画素状態分類部8は、移動体無しと判定された各画素の経過時間ETが上限値ETmaxに達していることを確認のうえ(ステップ402cのYES)、定量化部7から送られてくる移動体無しと判定された各画素の分散Varと予め定められている閾値Varthとを比較し、Var>Varthであればその画素を「不安定状態」、Var≦Varthであれば「安定状態」と判断し、その画素の「画素状態」として背景情報保持部9に保持(更新)させる(ステップ402h,402i)。
【0087】
これにより、今回の過去一定時間(ETn)の画素値の分散VarがVarthを超えた画素(前回はVar≦Varth)については、その背景情報中の「画素状態」が「安定状態」から「不安定状態」へと変更される(図14に示す遷移▲5▼)。また、今回の過去一定時間(ETn)の画素値の分散VarがVarth以下になった画素(前回はVar>Varth)については、その背景情報中の「画素状態」が「不安定状態」から「安定状態」へと変更される(図14に示す遷移▲6▼)。
【0088】
この後、画素状態分類部8は、画像確保部6へデータの保存指令を送る。画像確保部6は、画素状態分類部8からの保存指令を受けて、撮像手段1からの入力画像I(x,y)における移動体無しと判定された各画素の画素値を背景情報保持部9に送り、その各画素の「時系列データ」中の最も古い画素値と置き換えて保存する(ステップ402f)。
【0089】
〔移動体有りと判定された画素:直前の「画素状態」に「移動状態」が含まれていない場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」は「移動状態」を含まず、「安定状態」又は「不安定状態」とされているものとする。
【0090】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「安定状態」であった場合、その画素について「安定状態」から「移動状態」への遷移と判断し(図14に示す遷移▲3▼)、すなわちその「画素状態」を「移動状態」の一形態である「安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップさせる(図15に示す処理内容▲1▼参照)。これにより、「安定状態」から「移動状態」へ遷移した画素について、その移動時間(移動状態に遷移してからの経過時間)TMのカウントが開始される。
【0091】
画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「不安定状態」であった場合、その画素について「不安定状態」から「移動状態」への遷移と判断し(図14に示す遷移▲4▼)、すなわちその「画素状態」を「移動状態」の一形態である「不安定状態から移動状態」であると判断し、その画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップさせる(図15に示す処理内容▲2▼参照)。これにより、「不安定状態」から「移動状態」へ遷移した画素について、その移動時間TMのカウントが開始される。
【0092】
なお、全ての場合において「移動状態」への更新後は、その画素の背景情報における「時系列データ」中の最新の画素値(直前の画素値)を現在の画素値とし、この現在の画素値を最も古い画素値と置き換えて保存する。すなわち、移動体有りと判定された画素については、その移動体を含む画素値を背景情報中の時系列データとしては含めない。
【0093】
〔移動体有りと判定された画素:直前の「画素状態」に「移動状態」が含まれている場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」に「移動状態」が含まれているものとする。
【0094】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「移動状態」であった場合、その送られてきた「移動状態」をそのままその画素の「画素状態」として背景情報保持部9に保持(更新)させる。すなわち、直前の「画素状態」が「安定状態から移動状態」であれば更新後の「画素状態」も「安定状態から移動状態」とし、直前の「画素状態」が「不安定状態から移動状態」であれば更新後の「画素状態」も「不安定状態から移動状態」とする。この場合、その画素の背景情報中、「移動時間TM」を1アップする(図15に示す処理内容▲4▼,▲5▼参照)。なお、移動時間TMは、予め定められた上限値TMmaxより上には増やさない。
【0095】
〔移動体無しと判定された画素:移動状態でなくなった場合〕
移動体有無判定部12は、移動体輪郭画像M(x,y)から移動体が無くなると、それまで移動体有りと判定していた画素を移動体無しと判定する。この場合、画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。
【0096】
ここで、移動体無しと判定された画素の直前の「画素状態」は「移動状態」とされているので(図5に示すステップ402aのYES)、画素状態確認部13はその旨を移動時間判定部14へ知らせる。移動時間判定部14は、画素状態確認部13からの知らせを受けて、その移動体無しと判定された画素の背景情報保持部9における「移動時間TM」をチェックする(ステップ402j)。
【0097】
(イ)移動体がとどまっていた時間が短かった場合
「移動時間TM」が上限値TMmaxに達していない場合、すなわち移動体がその画素にとどまっていた時間が短かかった場合、移動時間判定部14はその画素の背景情報中の「移動時間TM」を零に戻し(ステップ402k)、定量化部7へ定量化指令を送る。
【0098】
定量化部7は、移動時間判定部14からの定量化指令を受けて、背景情報保持部9に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ET」を読み出し、その「時系列データ」の平均と分散を求める(ステップ402b)。この場合、移動体無しと判定された画素の「経過時間ET」は上限値ETmaxに達しているので(ステップ402cのYES)、ステップ402g以降の処理が実行される。
【0099】
この処理によって、「安定状態」か「不安定状態」かが判断され、「安定状態」と判断された画素の背景情報中の「画素状態」は「移動状態」から「安定状態」へ遷移し(ステップ402i:図14の遷移▲7▼)、「不安定状態」として判断された画素の背景情報中の「画素状態」は「移動状態」から「不安定状態」へ遷移する(ステップ402h:図14の遷移▲8▼)。
【0100】
(ロ)移動体がとどまっていた時間が長かった場合
「移動時間TM」が上限値TMmaxに達していた場合、すなわち移動体がその画素にとどまっていた時間が長かかった場合、移動時間判定部14はその画素の背景情報中の「時系列データ」をクリするとともに(ステップ402m)、その画素の背景情報中の「経過時間ET」および「移動時間TM」を零に戻し(ステップ402n,102k)、定量化部7へ定量化指令を送る。
【0101】
定量化部7は、移動時間判定部14からの定量化指令を受けて、背景情報保持部9に保持されている移動体無しと判定された画素の「時系列データ」および「経過時間ET」を読み出し、その「時系列データ」の平均と分散を求める(ステップ402b)。この場合、移動体無しと判定された画素の経過時間ETは0に戻されているので(ステップ402cのNO)、ステップ402d以降の処理が実行される。この処理によって、その画素の背景情報中の画素の「画素状態」は、「移動状態」から「未定状態」へ遷移する(ステップ402d:図14の遷移▲9▼)。また、その画素の背景情報中の「経過時間ET」のカウントが開始されるとともに(ステップ402e)、その画素の背景情報中の「時系列データ」の収集が開始される(ステップ402f)。
【0102】
〔移動体有りと判定された画素:直前の「画素状態」に「未定状態」が含まれている場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」に「未定状態」が含まれているものとする。
【0103】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「未定状態」であった場合、その画素について「未定状態」から「移動状態」への遷移と判断し(図14の遷移(10))、すなわちその「画素状態」を「移動状態」の一形態である「未定状態から移動状態」であると判断し、この「未定状態から移動状態」をその画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップさせる(図15に示す処理内容▲3▼参照)。これにより、「未定状態」から「移動状態」へ遷移した画素について、その移動時間TMのカウントが開始される。
【0104】
〔移動体有りと判定された画素:直前の「画素状態」に「未定状態から移動状態」が含まれている場合〕
移動体有無判定部12は、各画素についての移動体有無の判定結果を画素状態確認部13へ送る。画素状態確認部13は、移動体有無判定部12からの各画素についての移動体有無の判定結果を受けて、各画素の背景情報保持部9における「画素状態」(直前の画素状態)を確認する。この例では、説明上、背景情報保持部9における移動体有りと判定された画素の「画素状態」に「未定状態から移動状態」が含まれているものとする。
【0105】
この場合、画素状態確認部13は、移動体有りと判定された全ての画素について、その確認した直前の「画素状態」を画素状態分類部8へ送る。画素状態分類部8は、画素状態確認部13から送られてくる「画素状態」が「未定状態から移動状態」であった場合、その送られてきた「未定状態から移動状態」をそのままその画素の「画素状態」として背景情報保持部9に保持(更新)させる。また、これと同時に、その画素の背景情報中の「移動時間TM」を1アップする(図15に示す処理内容▲6▼参照)。
【0106】
このようにして自動更新された各画素の背景情報より、移動体輪郭画像M(x,y)が得られる毎に、有効/無効領域決定部11は、「安定状態」である画素、「安定状態から移動状態」である画素を有効画素(STATE(x,y)=1)とし、「未定状態」である画素、「不安定状態」である画素、「未定状態から移動状態」である画素「不安定状態から移動状態」である画素を無効画素(STATE(x,y)=0)とし、有効画素を集めた領域を背景差分処理の有効領域S1、無効画素を集めた領域を背景差分処理の無効領域S2として決定する。また、背景画像生成部10は、各画素の「時系列データ」の平均値として背景画像A(x,y)を生成する。
【0107】
【発明の効果】
以上説明したことから明らかなように本発明によれば、画像フレーム内で任意に設定される有効領域を対象として入力画像と背景画像との差分を求め、入力画像の有効領域内における変化物体の像を含む背景差分画像を求め、入力画像中の変化物体の輪郭を含む輪郭抽出画像を求め、背景差分画像中の像に基づいてこの像と連続する輪郭抽出画像中の変化物体の輪郭を抽出するようにしたので、信頼性の高い背景差分画像の物体の像に基づいて、この像と連続する輪郭抽出画像中の変化物体の輪郭が抽出されこれにより、見かけ上、有効領域と無効領域との区別がなくなり、有効/無効領域の自動決定などによって無効領域が広く設定されても、移動体などの検出をより高精度で行うことができるようになる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の一実施の形態を示す移動体検出装置の要部のブロック図である。
【図2】この移動体検出装置における背景情報更新処理部の内部構成の概略を示すブロック図である。
【図3】この移動体検出装置における画素毎の背景情報の要素名および概要を示す図である。
【図4】この移動体検出装置における移動体の有無の判定処理を示すフローチャートである。
【図5】この移動体検出装置における移動体無しと判定された場合の処理を示すフローチャートである。
【図6】この移動体検出装置における移動体の検出処理を説明するための図である。
【図7】この移動体検出装置における輪郭抽出処理部の要部を示すブロック図である。
【図8】この移動体検出装置における統合処理部での背景差分画像と輪郭抽出画像とからの移動体輪郭画像の生成処理を示すフローチャートである。
【図9】この移動体検出装置における統合処理部での移動体輪郭画像を生成する際の移動体書き出し処理を示すフローチャートである。
【図10】このフローチャートに従う移動体書き出し処理を説明するための図である。
【図11】輪郭抽出画像および背景差分画像における最初の探索点(x,y)の周囲8画素を示す図である。
【図12】移動体輪郭画像が出来上がって行く様子を示す図である。
【図13】再度探索点とされないように時期探索点に対応する背景差分画像および輪郭抽出画像における画素の値が「0」とされて行く様子を示す図である。
【図14】画素状態分類部で分類される画素状態の遷移図である。
【図15】移動体有りと判定された画素についての処理内容を示す図である。
【図16】従来の背景差分処理を説明する図である。
【図17】頻繁に変化する物体として例えばネオンが含まれている場合の背景差分処理を説明する図である。
【図18】人為的に有効/無効領域を設定して背景差分処理を行うようにした従来例を説明する図である。
【図19】無効領域が広くなることによる検出性能の劣化を説明する図である。
【符号の説明】
1…撮像手段、2…背景差分処理部、3…輪郭抽出処理部(フレーム間差分処理部)、4…統合処理部、5…背景情報更新処理部、6…画像確保部、7…定量化部、8…画素状態分類部、9…背景情報保持部、10…背景画像生成部、11…有効/無効領域決定部、12…移動体有無判定部、13…画素状態確認部、14…移動時間判定部、15…フレーム間差分処理部、16…画像メモリ、100…移動体検出装置。
Claims (4)
- 画像フレーム内で任意に設定される有効領域を対象として所定の背景を含む入力画像と前記背景からなる背景画像との差分を求め、前記入力画像の前記有効領域内における変化物体の像を含む背景差分画像を求めるステップと、
前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求めるステップと、
前記背景差分画像中の像に基づいてこの像と連続する前記輪郭抽出画像中の前記変化物体の輪郭を抽出するステップと
を備えたことを特徴とする画像処理方法。 - 請求項1に記載された画像処理方法において、
前記輪郭抽出画像を求めるステップは、
前記入力画像の時系列から相前後する2つの前記入力画像の差分を求め、前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める
ことを特徴とする画像処理方法。 - 画像フレーム内で任意に設定される有効領域を対象として所定の背景を含む入力画像と前記背景からなる背景画像との差分を求め、前記入力画像の前記有効領域内における変化物体の像を含む背景差分画像を求める手段と、
前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める手段と、
前記背景差分画像中の像に基づいてこの像と連続する前記輪郭抽出画像中の前記変化物体の輪郭を抽出する手段と
を備えたことを特徴とする画像処理装置。 - 請求項1に記載された画像処理装置において、
前記輪郭抽出画像を求める手段は、
前記入力画像の時系列から相前後する2つの前記入力画像の差分を求め、前記入力画像中の変化物体の輪郭を含む輪郭抽出画像を求める
ことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003056827A JP2004265292A (ja) | 2003-03-04 | 2003-03-04 | 画像処理方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003056827A JP2004265292A (ja) | 2003-03-04 | 2003-03-04 | 画像処理方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004265292A true JP2004265292A (ja) | 2004-09-24 |
Family
ID=33120399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003056827A Pending JP2004265292A (ja) | 2003-03-04 | 2003-03-04 | 画像処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004265292A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007323572A (ja) * | 2006-06-05 | 2007-12-13 | Nec Corp | 物体検出装置、物体検出方法および物体検出プログラム |
JP2008525051A (ja) * | 2004-12-28 | 2008-07-17 | 新世代株式会社 | 反射物体を検出する方法及び装置 |
WO2010026688A1 (ja) * | 2008-09-04 | 2010-03-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、対象物追跡装置および画像処理方法 |
JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
JP2010532898A (ja) * | 2007-07-08 | 2010-10-14 | ユニベルシテ・ド・リエージュ | 視覚背景抽出器 |
JP2016071387A (ja) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2003
- 2003-03-04 JP JP2003056827A patent/JP2004265292A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008525051A (ja) * | 2004-12-28 | 2008-07-17 | 新世代株式会社 | 反射物体を検出する方法及び装置 |
US8311273B2 (en) | 2006-06-05 | 2012-11-13 | Nec Corporation | Object detection based on determination of pixel state |
JP4631806B2 (ja) * | 2006-06-05 | 2011-02-16 | 日本電気株式会社 | 物体検出装置、物体検出方法および物体検出プログラム |
JP2007323572A (ja) * | 2006-06-05 | 2007-12-13 | Nec Corp | 物体検出装置、物体検出方法および物体検出プログラム |
JP2010532898A (ja) * | 2007-07-08 | 2010-10-14 | ユニベルシテ・ド・リエージュ | 視覚背景抽出器 |
JP4699564B2 (ja) * | 2007-07-08 | 2011-06-15 | ユニベルシテ・ド・リエージュ | 視覚背景抽出器 |
WO2010026688A1 (ja) * | 2008-09-04 | 2010-03-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、対象物追跡装置および画像処理方法 |
JP2010061478A (ja) * | 2008-09-04 | 2010-03-18 | Sony Computer Entertainment Inc | 画像処理装置、対象物追跡装置および画像処理方法 |
EP2320379A1 (en) * | 2008-09-04 | 2011-05-11 | Sony Computer Entertainment Inc. | Image processing device, object tracking device, and image processing method |
US8503726B2 (en) | 2008-09-04 | 2013-08-06 | Sony Corporation | Image processing device, object tracking device, and image processing method |
EP2320379A4 (en) * | 2008-09-04 | 2016-06-01 | Sony Computer Entertainment Inc | IMAGE PROCESSING DEVICE, OBJECT TRACKING DEVICE, AND IMAGE PROCESSING METHOD |
JP2010097430A (ja) * | 2008-10-16 | 2010-04-30 | Tokyo Univ Of Agriculture & Technology | 煙検出装置及び煙検出方法 |
JP2016071387A (ja) * | 2014-09-26 | 2016-05-09 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7982774B2 (en) | Image processing apparatus and image processing method | |
JP4764561B2 (ja) | 一連のビデオ画像中のショット変化を検出する方法 | |
US9053355B2 (en) | System and method for face tracking | |
JP3308617B2 (ja) | 動きベクトル検出装置及びその方法 | |
EP4038540B1 (en) | Object detection | |
JP2004265292A (ja) | 画像処理方法および装置 | |
KR101690050B1 (ko) | 지능형 영상보안 시스템 및 객체 추적 방법 | |
CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
JPH07249128A (ja) | 車両用画像処理装置 | |
JP2004265291A (ja) | 背景差分処理法および装置 | |
JPH09284702A (ja) | シーン変化フレーム検出方法および装置 | |
CN106780646B (zh) | 一种适用多场景的无参数背景建模方法 | |
Love et al. | An empirical study of block matching techniques for the detection of moving objects | |
JP6603123B2 (ja) | 動物体の検出装置、検出方法及びプログラム | |
JP3230509B2 (ja) | 動画像処理装置 | |
JP2004295416A (ja) | 画像処理装置 | |
CN115104136A (zh) | 用于基于利用机器学习模型的输出的视觉证据而检测视频信号中的对象的设备、方法和计算机可读存储介质 | |
JP3062394B2 (ja) | 動体像抽出方法 | |
JP4467702B2 (ja) | 影変化領域判定装置、これを用いた画像判定装置および画像生成装置、並びにこれに用いられる影強度比演算装置 | |
JP2021047710A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
JPH09319978A (ja) | 侵入物体監視装置 | |
JP2621806B2 (ja) | 背景特徴マスク生成装置および移動物体特徴抽出装置 | |
JP2003256849A (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
KR102589150B1 (ko) | 누적 차영상을 이용한 원거리 객체 검지 시스템 | |
JP2004118718A (ja) | シーン変化点検出方法および装置並びにプログラム |