JP3336102B2 - 影を消去する画像処理方法および画像監視装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は対象物の画像監視（認
識）装置に係り、特に対象物の影を除去する画像処理方
式に関する。

【０００２】

【従来の技術】不特定の移動物体（人、車など）の位置
や通過量などを画像認識する場合に、移動物体の無い背
景画像と移動物体を含んだ対象監視画像との差分画像を
作成して、対象物の抽出を行っている。

【０００３】ところで、日差しや照明が強い場所あるい
は光が乱反射する場所では、対象物の影が正しい認識に
とって障害になる。このため、対象物体のサイズ、光源
の位置や移動軌跡等を利用して影画像を計算により分離
し、対象物体の正しい形状や位置を認識している。

【０００４】一方、監視画像の濃度値を調べ、この濃度
値から影の部分を特定する方法もある(竹内他、電子情
報通信学会技術報告ＩＥ９０−６０，「画像を利用した
群衆流動解析法に関する研究」、１９９０年)。

【０００５】

【発明が解決しようとする課題】影を消去するための従
来技術は、上記のように対象物や光源等について多くの
情報を必要とし、不特定多数の移動体の認識には困難が
多い。また、濃度差による場合にも、背景の濃度が一様
であること、監視対象物で濃度の一様な部分は小面積で
なければならない等の制約が多く、不特定多数の移動体
や明るさが変動する環境では、影の判定精度が著しく低
下するという問題点があった。

【０００６】本発明の目的は、対象物の形状情報や光源
情報が無くても、影画像を容易に消去できる画像処理方
法を提供することにある。

【０００７】本発明の他の目的は、不特定多数の移動体
あるいは明るさの変動する環境での移動体を、その影を
消去して正確に検出でき且つ、構成の簡単な画像監視方
法及び装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明の目的は、対象物
の画像信号から影を消去する画像処理方法において、監
視エリアに描かれている所定模様を示し対象物を含まな
い背景画像と前記監視エリアに対象物を含む監視画像と
の間で、前記監視画像中の対象物の影を消去すると共
に、対象物の画像領域に対応する前記所定模様を利用し
て対象物を抽出する所定の論理演算を行うことにより達
成される。

【０００９】本発明の他の目的は、監視エリアを撮像す
るカメラと、カメラからの画像をＡ／Ｄ変換して画像処
理する画像処理装置と、画像処理によって認識された移
動体の存在を報知する出力装置を備える画像監視装置に
おいて、前記画像処理装置は、監視エリアに描かれてい
る所定模様を示す移動体を含まない背景画像と前記監視
エリアの状況を周期的に撮像し移動体を含む監視画像と
を各々の記憶領域に記憶する画像メモリと、前記背景画
像と前記監視画像間の所定の論理演算を行って前記監視
画像中の移動体の影を消去すると共に前記所定模様を利
用して前記移動体を再現する論理演算手段と、前記移動
体の位置または位置及び形状を求める特徴量抽出手段
と、前記移動体の位置が前記監視エリアの所定区域に入
っている場合を判定して移動体情報を出力する判定手段
を備えることにより達成される。

【００１０】

【作用】本発明の作用として、影の透過性によって背景
模様が識別できることを利用し、２値の背景画像と監視
画像間の所定の論理演算、たとえば論理積によって一
旦、対象物と影の画像を消去して対象物の画像領域を白
抜きした背景画像を得、これを背景画像との排他的論理
和により反転することによって、対象物は背景模様によ
って具象化され再現する。

【００１１】さらに、背景画像と監視画像の各々は、入
力される濃淡画像を所定量シフトして元画像と差分した
のち２値化するので、差分によって影と重畳する背景模
様の濃度が強調され、濃い影の場合にもその消去を確実
に行うことができる。

【００１２】このような本発明によれば、対象物の形状
情報や光源情報が無くても、影画像を容易に消去できる
画像処理方法を実現できる。

【００１３】また、この影消去方式を車両や侵入者など
移動体の画像監視に適用することにより、不特定多数の
移動体あるいは明るさの変動する環境での移動体から、
その影を消去して、それら移動体の位置や個数あるいは
種別を正確に検出する画像監視方式を実現できる。

【００１４】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。

【００１５】図２は、本発明の画像監視システムを、美
術館等の展示物の監視に適用した例である。展示物５を
盗難や毀損から守るために、侵入禁止区域７を含む展示
ホール６（監視エリア）をテレビカメラ（ＩＴＶやＣＣ
Ｄ）１，２によって監視している。画像処理装置３はカ
メラ１，２から入力され、不特定多数の人や物が移動す
る時々刻々の濃淡画像を２値化し、予め記憶してある移
動物体の無い状態の背景画像と差分して、監視エリア内
の侵入物の有無を判定し、侵入物の有る場合にアラーム
をモニタ装置４に出力する。

【００１６】ところで、同図における２人の人物８、９
は侵入禁止区域７の外にいる。しかし、室内の複数の照
明によって各々の人物に影１０、１１が生じ、このうち
影１１は侵入禁止区域７の内側に到達している。この場
合、監視画像と背景画像の差分のみでは影１０、１１が
残存し、禁止区域７内の影１１は侵入物と誤認される場
合がある。

【００１７】本実施例では、監視ホール６の床や展示物
５の展示台などに、黒線による格子パターンを背景模様
として描いておき、この背景模様を利用して影を消去す
ると共に人物や展示物などの対象物を抽出している。

【００１８】図３は、本発明の画像監視装置の一実施例
を示す機能ブロック図である。画像処理装置３はＣＰＵ
を備え、カメラ１、２から背景画像や対象画像のアナロ
グ情報を入力し、濃淡画像のデジタル情報に変換するＡ
／Ｄ変換器３０、背景画像や対象画像の全画素の情報を
処理段階毎に濃淡画像や２値画像として記憶する画像メ
モリ３１、影画像の除去処理を行い対象物を認識する画
像処理手段３２、認識された対象物などをアナログ画像
に変換してモニタ装置４に出力するＤ／Ａ変換器３３に
よって構成される。

【００１９】画像認識処理手段３２は、Ａ／Ｄ変換され
画像メモリ３１の所定領域に記憶されている入力画像の
情報を任意の方向に画素単位でシフトする画像シフト手
段３２１、入力画像とシフト画像の画素毎の濃淡差分処
理を行なう画像差分手段３２２、設定されている任意の
しきい値で差分画像を２値化する２値化手段３２３、２
値化した背景画像及び対象画像の論理積を求め、さらに
その論理積画像を反転する（背景画像との排他的論理
和）論理演算回路３２４、格子模様で抽出（具象）され
た対象物の包括線を作成する外周確定手段３２５、対象
物の位置座標や形状情報などの特徴量を抽出する特徴量
抽出手段３２６、位置や形状により特定された対象物に
識別符号を付与するラベリング手段３２７、各対象物が
禁止区域内に有るか否かを判定する侵入判定手段３２８
を有している。

【００２０】図１は、上記した画像処理装置３の動作を
説明する画像遷移図で、画像メモリ３０に記憶されてい
る各処理段階での画像情報を模式的に示したものであ
る。以下、図４に示すフローチャートを併用しながら、
本実施例の画像監視装置の動作を説明する。

【００２１】まず、画像監視の前処理として、監視エリ
ア６内に人や不要物が存在しない初期状態の背景画像Ａ
０を、白黒の濃淡画像（たとえば、２５６階調）として
取り込む（ｓ１０１）。本例では、格子模様１２を主体
とする背景画像Ａ０が画像メモリ３２の記憶領域１１０
に格納される。なお、説明を簡単にするために展示物５
は省略している。

【００２２】次ぎに、背景画像Ａ０を水平方向と垂直方
向に１画素だけシフトした背景シフト画像Ａ１を作成し
（ｓ１０２）、このＡ０とＡ１の差分をとった背景差分
画像Ａ２を作成し（ｓ１０３）、所定の濃度範囲に設定
されたしきい値Ｔｈで２値化した背景２値化画像Ａ３を
作成し（ｓ１０４）、前処理を終了する。

【００２３】監視が開始されると、カメラ１，２から監
視領域の監視画像Ｂ０が周期的に取り込まれる。（ｓ１
０５）。この監視対象画像Ｂ０には、背景の格子模様１
２と共に対象物１３とその影１４が含まれる。対象物の
画像１３は不透明で、その背部に格子模様１２が透けて
見えることはない。一方、影の画像１４は透過性があ
り、影の無い背景部分に比べコントラストは弱いものの
格子模様１２が透けて見える。

【００２４】対象画像Ｂ０からは、背景画像の場合と同
様にして監視対象シフト画像Ｂ１、監視対象差分画像Ｂ
２、監視対象２値化画像Ｂ３を作成する（ｓ１０６〜ｓ
１０８）。この過程で、影画像１４と重複する格子模様
１２が差分画像Ｂ２で強調され、２値化画像Ｂ３にて抽
出される。

【００２５】図５に、画像Ｂ１と画像Ｂ２の濃度の差分
によって、影と重複する格子模様１２の濃度が強調され
るしくみを説明する。同図（ａ）は従来の背景に模様の
無い場合で、背景画像Ａ０と監視対象画像Ｂ０および監
視対象差分画像Ｂ２である。各数値は濃度を示し、背景
白：７０、物体：４０、影：４０とする。このとき、画
像Ｂ０と図示を省略しているシフト画像Ｂ１を差分する
と、物体と影の輪郭線の濃度が３０、他は０となる。こ
の差分画像をたとえば、濃度＝２５以上で２値化して
も、得られるのは物体と影の輪郭線が一体化した画像の
みである。

【００２６】同図（ｂ）は本実施例の背景模様の有る場
合で、各々の濃度は背景白：７０、背景模様線：１０、
物体４０、影：４０及び影に重複する背景模様線：６と
する。画像Ｂ０をそのシフト画像Ｂ１を差分してその濃
度を絶対化すると、画像Ｂ２に示すように、影と重複し
ない模様線の濃度は６０、物体及び影の輪郭線の濃度は
３０となる。さらに、影と重複する模様線の濃度は３４
に強調される。

【００２７】この差分画像Ｂ２をたとえば、濃度＝２５
以上で２値化すると、物体と影の輪郭線及びそれら輪郭
線の外の背景模様の他に、影の輪郭線内の背景模様が抽
出される。このように、物体の画像領域には抽出され
ず、影の画像領域に抽出される背景模様を利用すること
で、以下のように影の消去が可能になる。

【００２８】すなわち、背景２値化画像Ａ３と監視対象
２値化画像Ｂ３の排他的論理和（ＸＯＲ）を求め（ｓ１
０９）、排他的論理和画像Ｃ０が得られる。この画像Ｃ
０には、対象物１３と影１４の輪郭線と対象物１３の輪
郭線内の格子模様１５が抽出される。したがって、画像
Ａ３と画像Ｃ０の論理積（ＡＮＤ）を求めると（ｓ１１
０）、論理積画像Ｃ１には影画像１３が消去されて格子
模様１５のみが残る。

【００２９】上記の論理演算は、論理積（ＡＮＤ）を先
行して背景画像Ａ３から対象物１３の輪郭線内を白抜き
し、その後に排他的論理和（ＸＯＲ）による反転画像を
求めても同様の結果が得られる。

【００３０】次ぎに、対象物１３の形状および位置を確
定する。画像Ｃ１は、対象物１３を背景画像の格子模様
を利用して再び具象化したものであり、さらに隣り合う
小さな外側への凸部分を線分で結んで１つの閉曲線を得
る外周確定処理を行い、対象物画像Ｃ２を作成する（ｓ
１１１）。

【００３１】対象物画像Ｃ２の対象物１６は、元の画像
Ｂ０の対象物１３の輪郭に近い形状を再現しているの
で、これより対象物１６の最下点座標を抽出する（ｓ１
１２）。対象物が人物の場合、最下点座標は人物の足元
の位置を示している。この座標位置が、侵入禁止区域７
の内部か否か判定し（ｓ１１３）、禁止区域７の内部で
あれば侵入者検出情報（アラーム）を報知する（ｓ１１
４）。

【００３２】図６は、侵入判定手段３２８の判定処理を
示す説明図である。入力背景画像Ａ０を２値化して、侵
入禁止区域７を示す２値画像Ａ４を予め画像メモリ３０
の領域１１４に格納しておく。一方、対象物画像Ｃ２か
ら求められた最下点座標Ｌを、画像メモリの領域１３３
の２値画像Ｃ３に足し込み、画像Ａ４とＣ３の論理積演
算を行って侵入禁止エリア判定画像Ｃ４を得る。対象物
の最下点座標ＬがＣ４に残っているか否か判定し、残っ
ていれば侵入禁止区域７に侵入者があると判定される。
なお、対象物が複数あるときは、ラベリング手段３２７
によって付与されたラベルによって識別できる。

【００３３】図７は、立入禁止区域に物体が認識された
ときの報知方式を示したものである。画像処理装置３か
らの侵入物体の報知信号は、モニタ４でのメッセージや
画像表示、ブザー、ランプ、ポケットベルなどでのアラ
ーム出力が可能である。また、遡及調査用に、ハードデ
ィスクなどへの画像情報の記憶や、侵入発生時刻や位置
などの記録など種々の報知パターンをとり得る。

【００３４】本実施例によれば、影は透明性があって床
などの背景模様が識別できることを利用し、所定の模様
をもつ背景画像との論理演算により監視画像中の影を消
去して真の対象物体画像を抽出するので、物体の影によ
る誤認識を防止して画像監視の精度を向上できる。特
に、影除去に従来のような物体情報や光源情報を必要と
しないので、処理が容易で構成も簡単になると共に、不
特定多数の移動物体や明るさの変動する環境に広く適用
できる。

【００３５】上記の実施例における背景模様は、白地に
黒線を描いた格子模様を用いたが、これに限られるもの
ではない。図８は、利用可能な背景模様の複数の例を示
し、格子模様（ａ）、細縞模様（ｂ）、ランダム方向の
線分模様（ｃ）、市松模様（ｄ）、太縞模様（ｅ）、ラ
ンダム円模様（ｆ）などがあげられるが、一般には細か
いサイズの模様の方が精度が高くなる。

【００３６】また、元画像からシフト画像を作成するた
めのシフト量は、水平及び垂直方向に１画素分とした
が、差分画像でのコントラストを最大にするには、背景
模様の線幅分に相当する画素数だけシフトするのがよ
い。

【００３７】なお、本実施例の画像監視システムでは、
抽出された物体（人物）の最下点の位置情報(足の位置)
を利用しているが、この位置情報および確定した外周よ
り得られる形状情報(面積、縦長、横長等)を使用して、
複数の監視対象画像を連続して処理し、特定の対象物の
移動軌跡を追跡することにより、より高い精度で侵入物
を検出することができる。

【００３８】次ぎに、本発明の他の応用例として図９を
参照しながら、画像処理による交通量計測システムへの
適用例を説明する。

【００３９】道路上の交通量計測エリアに複数の車両が
存在し、車両の影が発生して１台の車両の影が他の車両
に重なっている状態を想定する。この場合、監視カメラ
から入力される背景画像と対象画像の差分から車両を抽
出しようとすると、影の部分も車両とともに抽出されて
２台の車両が分離できず、１台の車両として認識してし
まう。

【００４０】本実施例では、交通量計測エリアに予め格
子模様を描いておく。上記した第一の実施例の場合と同
様に、入力背景画像Ｄ０、背景シフト画像Ｄ１、背景差
分画像Ｄ２、背景２値画像Ｄ３を予め作成し記憶してい
る。次いで、周期的に計測エリアを監視して交通流画像
を取り込み、交通流入力画像Ｅ０、交通流シフト画像Ｅ
１、交通流差分画像Ｅ２、交通流２値画像Ｅ３を順次作
成する。この後、画像Ｄ３と画像Ｅ３の排他的論理和に
よる画像Ｆ０と、この画像Ｆ０と画像Ｄ３との論理積に
よって車両を背景模様で具現化した画像Ｆ１を作成し、
この画像Ｆ１を包括線処理して計測エリア内の影の無い
２値の車両画像Ｆ２を作成する。

【００４１】次ぎに、車両画像Ｆ２から車両の進行方向
の先端または後端の座標を抽出し、この座標が計測エリ
ア内の所定の計数域に入っているとき台数をカウントす
る。この場合、車両の座標情報および確定した外周より
得られる車両の形状情報(面積、縦長、横長等)から、大
形、小形など車種別に区分した台数計測を行うことも可
能である。

【００４２】さらに、画像Ｆ２の車両にラベリングを行
うと共に複数の交通流画像を連続して処理し、同一ラベ
ルの車両の移動軌跡を追跡することにより、渋滞時など
に同一車両が重複してカウントされるのを回避する。

【００４３】本実施例によれば、交通流画像から車両の
影を除去して１台づつ正しく認識できるので、正確な交
通量計測が可能になる。しかも、従来の計測設備を何ら
変更することなく適用できる。

【００４４】

【発明の効果】本発明の画像処理方式によれば、監視領
域に描かれた所定模様の背景画像を利用することで、物
体情報や光源情報を必要とすることなく簡易に影画像を
除去することができるので、不特定多数の移動物体や明
るさの変動する環境での画像認識の精度を向上できる。

【００４５】これによって、侵入監視システムや交通量
計測システムの基本設備を変更することなく、システム
の監視精度を向上できる。

【図面の簡単な説明】

【図１】本発明の画像監視方法の一実施例の説明図で、
影の消去処理を含む各処理段階の画像遷移図である。

【図２】侵入禁止エリアの画像監視システムを示す外観
図である。

【図３】本発明の画像監視装置の一実施例の機能構成図
である。

【図４】本発明の画像監視方法の一実施例を示すフロー
チャートである。

【図５】影部の透過背景模様を強調する差分画像処理の
説明図である。

【図６】侵入判定手段の画像処理方法を説明する画像遷
移図である。

【図７】侵入者検出情報の報知システムを示す概略構成
図である。

【図８】監視エリアの背景模様として使用可能なパター
ン例である。

【図９】本発明の画像監視方法を、交通量計測システム
に適用した例を説明する画像遷移図である。

【符号の説明】

１，２…テレビカメラ、３…画像処理装置、４…モニタ
装置、６…監視エリア、７…侵入（立入り）禁止区域、
８，９…人物、１０，１１…人物の影、１２…背景模
様、１３…監視（認識）対象物の画像、１４…対象物の
影の画像、１５…対象物の白抜き部、１６…再現された
対象物の画像、３１…画像メモリ、３２…画像処理手
段、３２１…画像シフト手段、３２２…画像差分手段、
３２３…２値化手段、３２４…論理演算手段、３２５…
外周確定手段、３２６…特徴量抽出手段、３２７…ラベ
リング手段、３２８…侵入判定手段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−130687（ＪＰ，Ａ) 特開 平３−265100（ＪＰ，Ａ) 特開 平４−309199（ＪＰ，Ａ) 特開 平５−298594（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 280

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 対象物の画像信号から影を消去する画像
   処理方法において、予め 監視エリアに描かれている背景模様を示す背景画像
   を入力して、該背景画像を少なくとも１画素分シフトし
   て、該シフト画像と前記背景画像とによる背景差分画像
   を取得し、 前記監視エリアに対象物を含む監視画像を入力し、該監
   視画像を少なくとも１画素分シフトして、該シフト画像
   と前記監視画像とによる対象差分画像を取得し、 前記対象差分画像またはその２値画像と前記背景差分画
   像またはその２値画像との排他的論理和を行い、その結
   果と前記背景差分画像またはその２値画像との論理積を
   行なって、前記対象物の影を消去すると共に 前記対象物
   の画像領域を前記背景模様によって具象化することを特
   徴とする影を消去する画像処理方法。
2. 【請求項２】 対象物の画像信号から影を消去する画像
   処理方法において、 予め監視エリアに描かれている背景模様を示す背景画像
   を入力して、該背景画像を少なくとも１画素分シフトし
   て、該シフト画像と前記背景画像とによる背景差分画像
   を取得し、前記監視エリアに対象物を含む監視画像を入力し、該監
   視画像を少なくとも１画素分シフトして、該シフト画像
   と前記監視画像とによる対象差分画像を取得し、 前記対象差分画像またはその２値画像と前記背景差分画
   像またはその２値画像との論理積を行い、その結果と前
   記背景差分画像またはその２値画像との排他的論理和を
   行なって、前記対象物の影を消去すると共に前記対象物
   の画像領域を前記背景模様によって具象化することを特
   徴とする影を消去する画像処理方法。
3. 【請求項３】 請求項１または２において、前記対象物の 画像領域の背景模様に対し、外周確定処理
   を行って対象物の輪郭を再現することを特徴とする影を
   消去する画像処理方法。
4. 【請求項４】 監視エリアを撮像するカメラと、カメラ
   からの画像をＡ／Ｄ変換して画像処理する画像処理装置
   と、画像処理によって認識された対象物の存在を報知す
   る出力装置を備える画像監視装置において、 前記画像処理装置は、予め監視エリアに描かれている背景模様を示す背景画像
   を入力して、該背景画像を少なくとも１画素分シフトし
   て、該シフト画像と前記背景画像とによる背景差分画像
   を取得して記憶し、また、前記監視エリアの状況を周期
   的に撮像し対象物を含む監視画像を少なくとも１画素分
   シフトして、該シフト画像と前記監視画像とによる対象
   差分画像を取得して 記憶する画像メモリと、前記対象差分画像と前記背景差分画像との排他的論理和
   ／論理積を行い、その結果と前記背景差分画像との論理
   積／排他的論理和を行なう論理演算手段と、 前記対象物 の位置または位置及び形状を求める特徴量抽
   出手段と、前記対象物 の位置が前記監視エリアの所定区域に入って
   いる場合を判定して対象物情報を出力する判定手段と、 を備えることを特徴とする画像監視装置。
5. 【請求項５】 請求項４において、 前記背景模様は、白線または黒線による格子状パターン
   であることを特徴とする画像監視装置。