JP2001333420A

JP2001333420A - 画像監視方法および装置

Info

Publication number: JP2001333420A
Application number: JP2000154399A
Authority: JP
Inventors: Chieko Konuma; 小沼　　知恵子; Yoshiki Kobayashi; 小林　　芳樹; Hisao Ootawa; 久雄大田和; Shigehisa Sakimura; 茂寿崎村; Yoshio Sakuma; 喜郎佐久間
Original assignee: Secom Co Ltd; Hitachi Ltd
Current assignee: Secom Co Ltd; Hitachi Ltd
Priority date: 2000-05-22
Filing date: 2000-05-22
Publication date: 2001-11-30

Abstract

(57)【要約】【課題】暗いシーンを監視する画像監視装置で、ダイナ
ミックレンジの拡大と、照明電力の低減を図る。【解決手段】LED照明装置200付きITVカメラ100で撮影す
る監視シーンに対し、画像入力制御部500は照明を強く
したノーマル露光の第１画像と、照明を弱くした高速露
光の第２画像を設定し、画像入力部1000は第１の画像を
入力した後、次のフィールドで第２画像を入力する。画
像合成部2000は第１画像と第２画像に対し、画素毎の輝
度値に応じた重み係数を乗じて加算して合成画像を作
成、物体判定の処理対象画像とする。差分画像作成部30
00は合成画像の直前フレームと現フレーム間で画素毎の
差分処理を行い、変化領域抽出部4000が差分画像を２値
化して変化領域を抽出する。物体検知部50000は変化領
域の統合領域毎に、フレーム間の正規化相関処理による
濃淡パターンマッチングを行って物体判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像入力時に、LE
D照明装置の照度を強くしたノーマル露光画像と、LED照
明装置の照度を弱くした高速露光画像を取り込んで、こ
れらを合成して処理対象画像とすることにより、低消費
電流で昼夜連続の監視を行う画像監視装置に関する。

【０００２】

【従来の技術】動く物体の広ダイナミックレンジの画像
を得る撮像装置（特開平7−75026）が知られている。こ
こでは、第１の露出時間で撮像された第１画像と、第２
の露出時間で撮像された第２画像において、第２画像の
輝度値に応じた２種類の重み付け関数（ｆとｇ）を発生
する。そして、第１画像の輝度値（画素毎）に関数ｆに
よる重み付けを行い、第２画像の輝度値（画素毎）に関
数ｇによる重み付けを行って、これらの加算を行い、広
ダイナミックレンジの合成輝度値を演算して作成した合
成画像を処理対象画像としている。

【０００３】

【発明が解決しようとする課題】上記のように、第１の
露出時間で撮像された第１画像と第２の露出時間で撮像
された第２画像のそれぞれに、異なる重み付けを行なっ
て画像の合成を実現する装置は、監視シーンにおいて、
所定以上の照度が保証されている場合に有効となる。し
かし、夜間や昼間に光が届かないシーンでは、照明装置
を点灯する必要があり、照明装置の点消灯制御や照度の
強弱制御を行なう必要があることの考慮がない。このた
め、昼夜の連続監視等では照明コストがアップする上
に、照明装置の寿命が短くなるという問題がある。

【０００４】本発明の目的は、上記した従来技術の問題
点を克服し、照度を強くした画像と弱くした画像を入力
し、これらを合成して処理対象画像とすることにより、
低消費電流で昼夜連続の監視ができる画像監視装置を提
供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成する本発
明は、画像入力時に、照明装置の照度を強くした第１の
画像と、照明装置の照度を弱くもしくは消灯した第２の
画像を取り込んで、これらを画像合成して処理対象画像
とするところに特徴がある。

【０００６】本発明の画像監視方法では、まず、照明装
置付きITVカメラ等で監視シーンを撮影するとき、第１
の画像として照明装置の照度を強くしてノーマル露光画
像を入力した後、第２の画像として照明装置の照度を弱
くして１フィールドずれた高速露光画像を取り込み、こ
の第１の画像と第２の画像を画素毎の輝度値に応じた重
み係数で加算して合成画像を作成する。ここで、前記第
１の画像の照明は夜間など暗所での物体が認識可能な照
度とし、前記第２の画像の照明は前記第１の画像では飽
和領域となる部分が認識可能な照度または照明オフとす
る。

【０００７】画素毎の輝度値に応じた重み係数は、第１
の画像の画素の輝度値を基準にして、第１の画像の輝度
値が小さい場合には、第１の画像の輝度値の比率を大き
く第２の画像の輝度値の比率を小さくし、第１の画像の
輝度値が大きい場合（飽和状態）には、第１の画像の輝
度値の比率を小さく第２の画像の輝度値の比率を大きく
する。

【０００８】ここで、第１の画像は照明装置の照度を強
くしているため、照明装置から投光した光の反射が大き
い領域は飽和状態となり易く、該領域に物体が存在して
も、第１の画像では認識できない場合がある。しかし、
その他の領域（非飽和領域）は、認識可能な明るさであ
る。一方、第２の画像は、照明装置の照度を弱く若しく
は消灯しているため、照明装置から投光した光の反射が
大きい領域は適切な輝度値となり、物体の存在が認識で
きるが、その他の領域は低輝度となり認識処理に不向き
である。

【０００９】次に、この合成画像を処理対象画像として
フレーム間差分を行い、この差分画像の変化領域ないし
統合領域による追跡元領域をテンプレートパターンと
し、他方の画像で追跡元領域に対応する領域とほぼ同一
領域を探索領域として、正規化相関による濃淡パターン
マッチングを行い、類似度が所定値より高い変化領域を
外乱として除外し、類似度の低い変化領域を監視対象の
物体として検出する。

【００１０】本発明の方法を適用する画像監視装置は、
監視領域の画像を取り込む照明装置付きＩＴＶカメラ等
の撮像手段を備えて、取り込み画像を処理して監視領域
に入る物体を監視する装置において、入力画像のフィー
ルドに応じて前記照明装置の照明状態を強くまたは弱く
制御する画像入力制御手段と、強い照明状態による第１
の画像と弱い照明状態による第２の画像を周期的に取り
込む画像入力手段と、取り込まれた第１の画像と第２の
画像を合成して処理対象画像を作成する画像合成手段
と、フレーム間の処理対象画像を基に画像処理して前記
物体を検出する移動物体検出手段を具備することを特徴
とする。なお、画像入力制御手段は、前記照明状態とと
もに前記撮像手段の露光状態を制御するようにしてもよ
い。

【００１１】本発明によれば、ノーマル露光画像の輝度
値を基準にして、ノーマル露光画像の非飽和領域は、ノ
ーマル露光画像の輝度値の重みを大きくし、ノーマル露
光画像の飽和領域は、高速露光画像の輝度値の重みを大
きくして加算を行うので、広ダイナミックレンジを有す
る合成画像が得られる。更に、高速露光時には、照度を
暗くまたは消灯するので、常時強い照度とするより照明
電力の低減が図れる上に、照明装置が長寿命化できる効
果がある。

【００１２】上記した本発明は昼夜の連続監視に好適で
ある。この場合に最も物体認識の難しくなる夜間などの
暗いシーンで、かつ照明装置による照明光が鏡や白壁等
の高反射率の物に反射し、画像上飽和してしまうシーン
を例に、本発明の作用を説明する。

【００１３】図２に示すように、照明装置付きITVカメ
ラで監視シーンを撮影する。入力タイミングがｉフィー
ルド610では、露光状態をノーマル露光611に設定して、
照明装置の照度612を強くし、第１の画像613を入力す
る。次の入力タイミングｉ＋１フィールド615では、露
光状態を高速露光616の状態に設定して、照明装置の照
度617を弱く（ないし消灯）した状態で、第２の画像618
を入力する。取り込まれた第１の画像613と第２の画像6
18を用いて、画素毎の輝度値に応じた重み係数で加算し
て画像合成630を作成する。画素毎の輝度値に応じた重
み係数は、第１の画像613の画素の輝度値を基準にし
て、第１の画像613の輝度値が小さい場合には、第１の
画像613の輝度値の比率を大きくして第２の画像618の輝
度値の比率を小さくし、第１の画像613の輝度値が大き
い場合（飽和状態）には、第１の画像613の輝度値の比
率を小さくして第２の画像618の輝度値の比率を大きく
する。

【００１４】この例で、第１の画像613は強い照明状態
であり、かつノーマル露光であるため、鏡等に反射光の
受光領域614は飽和状態となり、領域614に物体が存在し
ても、第１の画像613では識別できない。しかし、その
他の領域（非飽和領域）は、強い照明と通常のシャッタ
ー速度によるノーマル露光によって適切な輝度値を得る
ことができる。一方、第２の画像618は、消灯ないし弱
い照明とシャッター速度が高速の高速露光によって、鏡
等による反射光の受光領域614であっても適切な輝度値
となり、領域614に存在する物体619の認識ができる。し
かし、その他の領域は低輝度で暗い。

【００１５】このように、強い照明光状態であり、かつ
ノーマル露光時は、鏡等による反射光の受光領域が飽和
する。一方、弱い照明状態であり、かつ高速露光時は、
鏡等による反射光の受光領域であっても飽和し難くな
る。この照明状態に応じて露光を制御して撮影したノー
マル露光による第１の画像と高速露光による第２の画像
を所定の比率で合成すれば、夜間の暗い部分と鏡等によ
る反射光の受光領域を含む全体シーンについて高感度の
広ダイナミックレンジの画像を取得でき、暗がりの監視
領域で部分的に強力なノイズ光が当る場面でも、精度の
高い移動物体の監視が可能になる。なお、夜間に光がな
い暗いシーンの場合は、照明を点灯したノーマル露光画
像に飽和領域が存在することが少ない。従って、照明を
弱くないし消灯した高速露光画像の必要性は少なく、加
算比率が少なくてすむ。

【００１６】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて説明する。図１は、本発明の一実施例を示す画像
監視装置のブロック図である。本実施例の画像監視装置
は、監視装置本体10、表示装置7000から構成される。ま
たは、監視装置本体20、ITVカメラ100、照明装置200、
表示装置7000で構成してもよい。監視装置本体20は、パ
ーソナルコンピュータに画像処理ボードを装着して実現
してもよい。監視装置本体10は、LED照明とカメラと画
像処理ボードとパーソナルコンピュータを一体とした照
明付きインテリジェントカメラとして実現してもよい。

【００１７】本実施例では、まず、LED照明装置200付き
ITVカメラ100で監視シーンを撮影する。画像入力制御部
500は、第１画像に対し照明装置200の照度を強くし、か
つ通常のシャッター速度のノーマル露光状態に設定し、
第１画像と１フィールドずれた第２画像に対し照明装置
200の照度を弱くし、かつシャッター速度が高速の高速
露光状態に設定する。画像入力部1000は、ｉフィールド
の第１の画像を入力した後、ｉ＋１フィールドの第２画
像を入力する。画像合成部2000は、取り込まれた第１画
像と第２画像を用いて、画素毎の輝度値に応じた重み係
数で加算して画像を合成し、広ダイナミックレンジを有
する画像を作成し処理対象画像とする。

【００１８】差分画像作成部3000は、合成画像部2000で
合成した広ダイナミックレンジ画像を処理対象画像とし
て、処理対象画像のフレーム間で画素毎の差分処理を行
う。変化領域抽出部4000は、差分画像を２値化して変化
領域を抽出する。物体検知部50000は、変化領域抽出部4
000で抽出した変化領域の近隣を一つの統合領域にまと
めて、統合領域毎に直前フレームと現フレーム間の正規
化相関処理による濃淡パターンマッチングを行って物体
判定処理を行う。表示制御部6000は、検知された物体の
検知画像を格納して、監視センター等（図示していな
い）から表示要求のつど、その検知位置等の情報や検知
日や時刻等の情報をリアルタイムに表示装置7000に表示
する。

【００１９】図３は、画像入力制御部500の一実施例を
示すブロック図である。画像入力タイミング設定部510
が画像入力タイミングをｉフィールドに設定すると、露
光状態設定部520は露光状態をノーマル露光に設定し、
照明強度設定部530が出力電流を大きくして照明装置200
の照度を強くして、画像入力部1000の処理を行う。次
に、画像入力タイミング設定部510がｉ＋１フィールド
に設定すると、露光状態設定部520は露光状態を高速露
光に設定し、照明強度設定部530が出力電流を小さくし
てLED等の照明装置の照度を弱くして、画像入力部1000
の処理を行う。これにより、LED照明が強いノーマル露
光画像と１フィールドずれたLED照明の弱い高速露光画
像が取り込まれる。

【００２０】なお、本実施例の画像入力制御部500は照
明強度のみを制御し、露光制御は通常のカメラオートに
よっている。このカメラオートではノーマル露光の周期
が約１／３０秒、高速露光の周期が１／500〜１／1000
秒に設定されている。

【００２１】図４は、画像入力部1000の内部の一実施例
を示すブロック図である。画像入力制御部500がiフィー
ルド目で照明装置200の照度を強くしてノーマル露光状
態に設定すると、Ａ／Ｄ変換部1010はＡ／Ｄ変換を行
い、ノーマル露光画像入力部1020がノーマル露光画像を
取り込む。一方、画像入力制御部500がｉ＋１フィール
ド目で照明装置200の照度を弱くして高速露光状態に設
定すると、Ａ／Ｄ変換部1010はＡ／Ｄ変換を行い、高速
露光画像入力部1030が高速露光画像を取り込む。

【００２２】図５は、画像取り込みと合成画像処理を示
すタイムチャートである。ここでは、監視装置に制御可
能な照明装置を具備し、２４時間連続監視可能な例で説
明する。時間経過１５００ｔにおいて、画像処理の１周
期1510（画像取り込みから物体検出処理までのサイク
ル）をｋ秒とする。オンライン処理の場合、ｋは100mse
c〜数秒である。このｋ秒間隔で照明をオンして画像の
取り込みを行い、取り込み時以外は照明をオフしてい
る。

【００２３】取込む画像には約１／３０秒周期のノーマ
ル露光画像と、１／500〜１／1000秒周期の高速露光画
像がある。ノーマル露光画像に外光による飽和領域があ
る場合、高速露光画像はこの飽和領域を最適に写す照度
があればよいので、通常は照明不要となる。そこで、ノ
ーマル画像の取り込み時1540にのみ照明をオンし、その
後は照明をオフする。なお、合成画像に用いる高速露光
画像は照明による残光の消失したタイミング（○印）で
取り込んでいる。

【００２４】図６は、画像合成部2000の一実施例を示す
ブロック図である。画素の輝度値算出部2100が、まず、
ノーマル露光状態の画像を取り込んで、各画素毎の輝度
値を算出する。ノーマル露光画像の合成比率算出部2200
は、算出された画素（i,j）の輝度値に応じて、低輝度
ならば比率を多くし、高輝度ならば少なくして、ノーマ
ル露光の比率を算出する。また、高速露光画像の合成比
率算出部2300は、合成比率全体を100とすると、100から
ノーマル露光画像の合成比率算出部2200で算出した比率
を減算した残りを高速露光の比率として算出する。即
ち、画素の輝度値算出部2100が算出した画素（i,j）の
輝度値が低輝度ならば少なくし、高輝度ならば多くした
比率を算出する。画像加算部2400は、画素の輝度値算出
部2100で算出した各画素毎の輝度値に、画素（i,j）に
対して、ノーマル露光画像の合成比率算出部2200で算出
した比率を演算し、高速露光画像の合成比率算出部2300
で算出した比率を演算して、画素毎に加算を行い、合成
画像を作成する。

【００２５】図７は画像合成部2000の処理手順の一例を
示すフロー図である。まず、ノーマル露光画像の比率係
数αが設定される（ｓ１０１）。次に、画素（i，j）に
ついてノーマル露光画像及び高速露光画像の輝度値を算
出する（ｓ１０２）。次に、ノーマル画像の画素（i，
j）の輝度値に比率係数αを乗じてノーマル画像比輝度
値（Nnode）を計算する（ｓ１０３）。次に、高速露光
画像の画素（i，j）の輝度値に高速画像の比率係数（１
−α）を乗じて高速画像比輝度値（Hnode）を計算する
（ｓ１０４）。そして、ノーマル画像比輝度値（Nnod
e）と高速画像比輝度値（Hnode）を加算し、合成画像の
画素（i，j）の輝度値を求め（ｓ１０５）、以上の処理
を全ての画素について繰り返す（ｓ１０６）。なお、ス
テップｓ１０５では誤差を低減するため、NnodeとHnode
のそれぞれに２のｎ乗した係数を乗じたのち加算し、加
算後に２のｎ乗した係数で割っている。

【００２６】図８は、合成比率の一例を示す説明図であ
る。この例では、ノーマル露光画像輝度値2410に対し、
高速露光画像合成比率2420は直線2430となり、この直線
の勾配が比率係数１−αとなる。ノーマル露光画像合成
比率は１００％から高速露光画像合成比率を差し引いた
値αで、つまり両者の和は１００％となる。ここでは、
ノーマル露光画像の輝度値（２５６階調）が最低（０）
のときノーマル露光の割合が１００％、最高（２５５）
のとき約７０％で、残りが高速露光の割合となる。これ
により、基準のノーマル露光で取り込んだ画像の画素の
輝度値が低い場合、ノーマル露光の比率が多くなり、輝
度値が高い場合、高速露光の比率が高くなるので、ダイ
ナミックレンジが広くて鮮明な画像を得ることができ
る。

【００２７】図９は、画像合成部2000で広ダイナミック
レンジの画像を得ることができる一原理を示す説明図で
ある。ここでは、画像として、ノーマル露光画像2460と
高速露光画像2470を用い、出力が８ビットの例で説明す
る。ノーマル露光画像2460は、ノーマル露光で飽和する
レンジIsn2465の輝度値が255である。高速露光画像2470
に関し、今、高速露光画像レンジをｎ倍に拡大した場
合、ノーマル飽和のｎ倍のレンジIsh2475となり、レン
ジ2475の輝度値も255である。高速露光画像は、ノーマ
ル露光画像より暗い領域の感度は低下し、明るい領域の
感度がアップする。

【００２８】ここで、ノーマル露光の比率係数α（０≦
α≦１）とし、ノーマル露光画像の画素（i，j）の輝度
値をNnode、高速露光画像の画素（i,j）の輝度値をHnod
eとすると、合成画像の画素（i，j）の輝度値Bnodeは数
１で計算できる。

【００２９】

【数１】

【００３０】数１から、合成画像飽和のレンジIsb2485
は、ノーマルで飽和するレンジIsn2465と高速飽和のレ
ンジIsh2475の間のレンジになり、広ダイナミックレン
ジの合成画像が得られることが分かる。

【００３１】図１０は、差分画像作成部3000の一実施例
を示すブロック図である。ノイズ低減部3100は、画像合
成部2000で合成された処理対象画像に対して、平滑化処
理やメディアンフィルタ処理等を行ってノイズ等を除去
した後、画素間差分部3200は、処理対象画像の画素毎に
フレーム間差分を行い、差分画像を作成する。

【００３２】図１１は、変化領域抽出部4000の一実施例
を示すブロック図である。輝度頻度分布算出部4100は、
差分画像作成部3000でフレーム間の画素毎の差分を行っ
て作成した差分画像の輝度頻度分布を算出する。２値化
しきい値算出部4500は、輝度頻度分布算出部4100で算出
した輝度頻度分布から、差分画像の２値化しきい値をモ
ード法等の汎用的な手法で算出する。２値画像作成部46
00は、２値化しきい値算出部4500で算出したしきい値で
２値化処理して２値画像を作成する。微小面積除去部48
00は、検知対象に不適切な微小面積除外のフィルタリン
グや膨張・収縮等を行ってノイズを除外して変化領域の
２値画像を作成する。

【００３３】図１２は、物体検知部5000の一実施例を示
すブロック図である。抽出領域統合部5100は、変化領域
抽出部4000で作成した２値画像のラベル画像を作成し
て、ラベル間の距離が所定距離以内のラベルか否か判定
し、所定距離以内でかつ所定距離以内のラベル群の外接
矩形が所定サイズか否か判定して、所定サイズ以内のラ
ベル群を統合する。外接矩形算出部5300は、統合したラ
ベル群の外接矩形領域を算出する。外接矩形領域類似度
算出部5500は、直前フレームと現フレームとの画像間
で、いずれか一方の画像の外接矩形領域をテンプレート
パターンとして、もう一方の画像に対し外接矩形領域と
ほぼ同一位置（拡張サイズは±１画素以下）で正規化相
関を行う。正規化相関における類似度の算出は、数２の
正規化相関処理による。

【００３４】

【数２】

【００３５】即ち、登録テンプレートパターンと対象画
像の明るさを正規化して明るさの差を求める（3F−8車
番認識システムの濃淡パターンマッチング処理の応用、
情報処理学会第49回全国大会、平成６年後期、）もので
あり、数１の演算をマッチング領域全体にわたって実行
し、類似度を算出する。物体判定部5700は、数１により
算出した類似度が所定値以下の場合、移動物体と判定
し、それ以外の場合、外乱として除外する。

【００３６】図１３、抽出領域統合部5100の抽出領域の
統合を行う処理手順の一例を示すフロー図である。ステ
ップｓ２１０は、２値画像のラベリングを行い、1〜Ｌ
ｎまでのラベルをつけると、Ｌｎが総ラベル数となる。
総ラベル数Ｌｎを繰り返すため、ステップｓ２２０で処
理対象のラベル番号を（ｉ）を初期化する。次に、ステ
ップｓ２３０で、ラベル番号を一つ大きくして（ｉを＋
１）し、ステップｓ２４０で、全てのラベルが終了した
か否かチェックする。終了しない場合、ｉ番目のラベル
に対し、ステップｓ２５０以降の処理を行う。

【００３７】まず、ステップｓ２５０で、ｉ番目のラベ
ルに対し、重心（中心）座標を算出する。ステップｓ２
６０でｉ番目のラベルとｉ＋１番目〜Ｌｎ番目のラベル
間で、重心（中心）のＸ方向とＹ方向の距離が許容範囲
か否かチェックする。許容範囲でない場合、ステップｓ
２３０へ戻る。許容範囲以内の場合、ステップｓ２７０
で、許容範囲のラベルの外接矩形の大きさが所定の大き
さの範囲以内か否かチェックする。外接矩形が許容範囲
でない場合、新たな統合領域生成処理のためステップｓ
２３０へ戻る。許容範囲以内の場合、ステップｓ２８０
で、許容範囲以内のラベル全てをｉ番目のラベルに加
え、加えたラベルを抹消する。ステップｓ２９０でｉ番
目〜Ｌｎ番目のラベルについて、昇順にソートすると、
ステップｓ２３０へ戻り、新たなｉ番目から統合領域生
成処理を行う。これにより、次々と距離と外接矩形の許
容範囲以内のラベル群が統合されていく。

【００３８】ここで、Ｘ方向とＹ方向の距離の許容範囲
は、例えば、物体が縦に長い人物の場合、Ｘ方向よりＹ
方向の距離や大きくしたり、または、物体が横に長い場
合、Ｙ方向よりＸ方向の距離を大きくしたりして設定す
る。外接矩形の許容範囲も同様であり、いずれにして
も、どこまでの範囲を統合するかにより、検知対象物体
に追随して適切に設定すればよい。

【００３９】図１４は、外接矩形算出部5300の外接矩形
を算出する手順の一例を示す説明図である。抽出領域統
合部5100で統合されたラベル群は、同一ラベル番号を有
するため、該ラベル群のみ抽出すると、ラベルａ5310、
ラベルｂ5320、ラベルｃ5330、ラベルｄ5340、ラベルｅ
5350、ラベルｆ5360、ラベルｇ5370が抽出される。これ
らのラベルに対して、外接している矩形を外接矩形5400
として算出する。

【００４０】図１５は、外接矩形領域類似度算出部5500
での正規化相関処理による類似度により移動物体を判定
する場合の一例を示す説明図である。外接矩形領域5400
は、フレーム間差分により抽出した変化領域であり、現
フレーム画像における変化領域（移動物体領域）であ
る。移動物体は、直前フレームでは、外接矩形5400内部
には存在していない。即ち、直前フレーム5510における
外接矩形領域5400は、移動物体が存在しない背景シーン
であり、現フレーム画像5530における外接矩形領域5400
は、移動物体を含むシーンである。直前フレーム画像と
現フレーム画像間では、外接矩形領域5400を比較して相
関を行うと、背景が大部分隠れるため、類似度がかなり
小さくなる。これにより、移動物体の存在の有無を正確
に判定できる。

【００４１】図１６は、外接矩形領域類似度算出部5500
の処理手順の一例を示すフロー図である。ステップｓ３
１０は、現入力画像に対し、統合領域の外接矩形算出部
で算出した外接矩形領域の濃淡画像をテンプレートパタ
ーンとして登録する。ステップｓ３２０は、直前フレー
ム画像に対し、ステップｓ３１０とほぼ同一位置の外接
矩形領域をパターンマッチング領域として設定する。ス
テップｓ３３０は、ステップｓ３１０で登録したパター
ンとの濃淡パターンマッチングを行い、類似度を算出す
る。類似度の算出は数２による。ステップｓ３４０は、
算出した類似度が所定値以上か否か判定する。所定値以
上の場合、ステップｓ３５０は、背景と類似していない
ため、移動物体と判定する。所定値未満の場合、ステッ
プｓ３６０は、背景と類似しているため、外乱と判定す
る。ステップｓ３７０は、生成した外接矩形領域が全て
終了した否か判定し、終了していない場合、ステップｓ
３１０へ戻る。

【００４２】図１７は、表示装置7000に検知結果を表示
した一例を示す説明図である。人物6200を検知すると、
表示制御部6000が、格納した検知物体の外接矩形位置を
用いて、表示装置7000に現入力画像に重ねて外接矩形枠
6300を表示制御する。図１７において、表示制御部6000
が、検知物体を表示装置7000に表示制御する場合、検知
物体が明示できる表示方法ならば何でもよい。このよう
に表示装置7000に表示することにより、監視者は、例え
ば、人物監視の場合に、人物及び検知情報を表示装置70
00上でオンラインに把握できる。また、表示装置7000が
遠隔地にあれば、テレビ電話等にRS−232C等の標準的な
通信手段で人物を検知したことを報知して、遠方の表示
装置に表示してもよい。

【００４３】

【発明の効果】本発明によれば、まず、照明装置付きIT
Vカメラで監視シーンを撮影する場合に、ｉフィールド
の入力タイミングでは照明を強くしたノーマル露光状態
を設定して第１画像を入力、Ｉ＋１フィールドの入力タ
イミングでは照明を弱くないし消灯した高速露光状態に
設定して第２画像を入力し、両画像を画素毎の輝度値に
応じた重み係数で加算して画像合成を作成するので、広
ダイナミックレンジの監視画像を作成でき、夜間などの
暗いシーンの監視にヘッドライト等の強いノイズ光が当
るような場合にも、高感度の監視が可能になる。また、
ノーマル露光画像の取り込み時に照明を行うので、消費
電流の低減が図れる上に、照明装置が長寿命化できる効
果がある。

【図面の簡単な説明】

【図１】本発明における画像監視装置の一実施例を示す
ブロック図。

【図２】本発明の作用を示す説明図。

【図３】画像入力制御部の一実施例を示すブロック図。

【図４】画像入力部の一実施例を示すブロック図。

【図５】画像の取り込みと照明のタイミングを示すタイ
ムチャート。

【図６】画像合成部の一実施例を示すブロック図。

【図７】画像合成部の処理手順の一例を示すフローチャ
ート。

【図８】画像合成部の合成比率の一例を示す説明図。

【図９】画像合成によるダイナミックレンジの拡大の原
理を示す説明図。

【図１０】差分画像作成部の一実施例を示すブロック
図。

【図１１】変化領域抽出部の一実施例を示すブロック
図。

【図１２】物体検知部の一実施例を示すブロック図。

【図１３】物体検知部の抽出領域の統合を行う手順の一
例を示すフローチャート。

【図１４】外接矩形算出部の外接矩形を算出する一手順
を示す説明図。

【図１５】正規化相関処理による移動物体判定の一例を
示す説明図。

【図１６】外接矩形領域類似度算出部の処理手順の一例
を示すフローチャート。

【図１７】表示装置に表示した検知結果の一例を示す説
明図。

【符号の説明】

100…ITVカメラ、200…照明装置、500…画像入力制御
部、510…画像入力タイミング設定部、520…露光状態設
定部、530…照明強度設定部、1000…画像入力部、1010
…Ａ／Ｄ変換部、1020…ノーマル露光画像入力部、1030
…高速露光画像入力部、2000…画像合成部、3000…差分
画像作成部、4000…変化領域抽出部、5000…物体検知
部、6000…表示制御部、7000…表示装置。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０３Ｂ 15/05 Ｇ０３Ｂ 15/05 ５Ｃ０７６Ｇ０６Ｔ 1/00 ４３０Ｇ０６Ｔ 1/00 ４３０Ｇ５Ｃ０８４ 3/00 ３００ 3/00 ３００５Ｌ０９６ 7/20 7/20 ＡＧ０８Ｂ 13/196 Ｇ０８Ｂ 13/196 Ｈ０４Ｎ 1/387 Ｈ０４Ｎ 1/387 5/225 5/225 Ｃ (72)発明者小林芳樹茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内 (72)発明者大田和久雄茨城県ひたちなか市大字稲田1410番地株式会社日立製作所デジタルメディア製品事業部内 (72)発明者崎村茂寿茨城県日立市大みか町七丁目１番１号株式会社日立製作所日立研究所内 (72)発明者佐久間喜郎東京都三鷹市下連雀六丁目11番23号セコム株式会社内Ｆターム(参考） 2H053 AA01 AB03 AD00 AD21 BA71 BA91 5B047 AA07 AB02 BB06 CA19 5B057 AA19 BA02 CA08 CA13 CB08 CB12 CC01 CE08 CH08 DA02 DA16 DB03 DB09 DC32 5C022 AB15 AC69 5C054 AA01 CA04 CB03 CC03 CH02 EA01 FE12 HA19 5C076 AA12 AA40 BA06 5C084 AA02 AA07 AA08 AA13 BB27 BB32 CC16 CC19 DD12 DD66 GG20 GG39 GG42 GG43 GG44 GG52 GG56 GG57 GG61 GG68 GG73 GG78 5L096 AA09 BA02 CA02 CA17 EA39 GA08

Claims

【特許請求の範囲】

【請求項１】監視領域を撮影した入力画像間の差分画
像を画像処理して監視領域に入る物体を監視する方法に
おいて、周期的な画像入力時に、まず照明を強くして第１の画像
を取り込み、次のフィールドで照明を弱くないしは消灯
して第２の画像を取り込み、前記第１の画像と前記第２
の画像に基づき合成画像を作成し、この合成画像を処理
対象画像とするフレーム間差分により前記差分画像を生
成することを特徴とする画像監視方法。
【請求項２】請求項１において、前記第１の画像の照明は夜間など暗所での物体が認識可
能な照度とし、前記第２の画像の照明は前記第１の画像
では飽和領域となる部分が認識可能な照度または照明オ
フとすることを特徴とする画像監視方法。
【請求項３】請求項１または２において、前記合成画像は、前記第１の画像の画素の輝度値を基準
にして、第１の画像の輝度値が非飽和の領域は第１の画
像の輝度値の重みを大きくし、一方、第１の画像の輝度
値が飽和の領域は第２の画像の輝度値の重みを大きくし
た重み係数で画素ごとの輝度値を加算して作成すること
を特徴とする画像監視方法。
【請求項４】監視領域の画像を取り込む照明装置付き
撮像手段を備えて、取り込み画像を処理して監視領域に
入る物体を監視する装置において、入力画像のフィールドに応じて前記照明装置の照明状態
を強くまたは弱く制御する画像入力制御手段と、強い照
明状態による第１の画像と弱い照明状態による第２の画
像を周期的に取り込む画像入力手段と、取り込まれた第
１の画像と第２の画像を合成して処理対象画像を作成す
る画像合成手段と、フレーム間の処理対象画像を基に画
像処理して前記物体を検出する移動物体検出手段を具備
することを特徴とする画像監視装置。
【請求項５】請求項４において、画像入力制御手段は、前記照明状態とともに前記撮像手
段の露光状態を制御することを特徴とする画像監視装
置。