JPH1023322A

JPH1023322A - カメラ揺れ補正方法および画像監視システム

Info

Publication number: JPH1023322A
Application number: JP8177717A
Authority: JP
Inventors: Chieko Konuma; 小沼　　知恵子; Yoshiki Kobayashi; 小林　　芳樹; Shoji Muramatsu; 彰二村松; Fumio Mochimaru; 文男持丸; Kunizo Sakai; 邦造酒井
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-07-08
Filing date: 1996-07-08
Publication date: 1998-01-23
Anticipated expiration: 2016-07-08
Also published as: JP3776514B2

Abstract

(57)【要約】【課題】監視カメラの揺れによる画像のずれをリアルタ
イムで補正し、その動画像中から対象の移動物体をオン
ラインで識別する。【解決手段】ＩＴＶカメラ100で対象エリアを撮影した
１フレームを基準画像、次のフレームを処理画像として
順次取り込む。テンプレートパターン作成部400で、基
準画像から複数のテンプレートパターンを作成し、カメ
ラ揺れ算出部600で処理画像と各パターンのマッチング
を行ない、パターン毎に移動ベクトルを算出する。カメ
ラ揺れ補正部800は、移動ベクトル同士で移動方向及び
移動量が同一となるベクトルの頻度を求め、最大となる
移動ベクトル（群）の移動方向と移動量からカメラ揺れ
量を算出し、基準画像と処理画像の背景位置を合わせる
補正を行なう。移動物体抽出部1000は基準画像と処理画
像の差分画像から移動体とその特徴量（移動量（画像
間）、面積、形状など）を検出し、移動物体識別部1200
で特徴量を利用して移動体の識別を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像中から特定の
移動物体を識別する画像監視システムに関し、特に監視
カメラの揺れ補正によるオンライン監視方式に関する。

【０００２】

【従来の技術】監視対象エリアの動画像中から人物など
の移動体を認識する場合、設置カメラの振動や風による
揺れ補正が必要になる。類似の技術として、撮影時のカ
メラ手ぶれ補正方法がある。すなわち、カメラ視野範囲
の所定の小ブロックに対し、そのブロックがどこにある
か１画素ずつシフトしてサーチし、最大類似のブロック
の位置を検出してぶれ量を補正する。

【０００３】また、揺れるカメラの動画像中から移動物
体を認識する方法として、複数の注目点を設定して連続
する画像フレーム間のマッチングを行い、その結果をも
とにアフィン変換を２段階に適用することで背景の位置
合わせを行い、さらに、位置合わせした後の時間軸方向
での差分画像から移動物体領域の抽出を行うものが知ら
れている（引用文献：信学技報；PRU95−181、1995年−
12月）。

【０００４】

【発明が解決しようとする課題】従来のカメラの手ぶれ
補正方法は、手ぶれのずれ量が比較的少ないので、視野
範囲の所定位置の小さな基準ブロックをテンプレートパ
ターンとして使用でき、マッチングのサーチ範囲も狭く
てよい。しかし、基準ブロックが小さいあるいは位置が
固定していると、そのブロックに外乱や移動体が進入す
るとマッチングが不可能になる。

【０００５】一方、引用文献による移動物体の抽出方法
は、設定した複数の注目パターンで画像フレーム間のマ
ッチングを行うが、特徴のない注目パターン（規則的な
パターン）が含まれていると、位置合わせに誤りが発生
する。さらに、複数の注目パターンのいくつかでマッチ
ング領域が存在した場合、これらのマッチング結果を基
にアフィン変換を２段階適用して背景の位置合わせを行
うと、時間がかかり過ぎてリアルタイムのオンライン処
理が困難になる。

【０００６】本発明の目的は、従来技術の問題点を克服
し、監視カメラの揺れ量が大きくさらに外乱が存在する
環境下においても、正確にかつ高速にカメラの揺れを補
正するカメラ揺れ補正方法と、それを利用したオンライ
ン処理可能な移動物体の画像監視システムを提供するこ
とにある。

【０００７】

【課題を解決するための手段】上記目的は、監視カメラ
より対象エリアを所定タイミング毎に撮影した画像のカ
メラ揺れを補正する方法において、前記画像の２フレー
ムの一方を基準画像、他方を処理画像とし、前記基準画
像から作成したテンプレートパターンを用いて前記処理
画像のパターンマッチングを行ない、カメラ揺れによる
画像ずれの規則性を利用して特定のマッチング領域を選
択し、その移動ベクトルからカメラ揺れ量を算出して画
像ずれを補正することにより達成される。

【０００８】カメラ揺れによる画像ずれは、処理画像の
全体にわたり同一方向に同一移動量となる規則性を有し
ている。従って、テンプレート領域とマッチング領域の
間の移動ベクトルのうち、この規則性、少なくとも移動
方向が一致する移動ベクトルを特定することで、カメラ
揺れ量を算出できる。なお、上記マッチング領域は、パ
ターンマッチングによって抽出された最大類似度の領域
である。

【０００９】この一方法として、前記基準画像から作成
した複数のテンプレートパターンを用いて前記処理画像
に対するパターンマッチングを行ない、前記テンプレー
トパターン毎にマッチング領域との移動ベクトルを算出
し、移動方向が同一または移動方向及び移動量が同一と
なる頻度最大の移動ベクトル（群）を求め、該移動ベク
トル（群）の移動方向と移動量からカメラ揺れ量を算出
し、該カメラ揺れ量だけ画像シフトして前記基準画像と
前記処理画像の背景を位置合わせすることで、カメラ揺
れの補正が実現できる。

【００１０】前記テンプレートパターンは前記基準画像
の領域中に、１つずつ指定しあるいは所定規則に従って
自動的に位置決めされた所定面積の矩形領域として設定
される。

【００１１】また、上記のように設定された複数のテン
プレートパターンを候補とし、各々の濃度分散値を求
め、濃度の分散値が一定以上となるテンプレートパター
ンのみをパターンマッチングに使用する。このように、
分散値の大きい特徴あるテンプレートパターンを用いる
ことで、パターンマッチングの精度が向上する。また、
パターンが基準画像の全体的に多数設定されるとき、特
徴のないパターンは捨てられるので処理効率が向上す
る。

【００１２】上記目的は、テレビカメラなどの監視カメ
ラで、監視対象エリアを所定タイミング毎に撮影した画
像を順次、入力して移動物体を監視する画像監視システ
ムにおいて、前記入力画像の２フレームの一方を基準画
像、他方を処理画像としてＡ／Ｄ変換する画像入力手
段、基準画像から複数のテンプレートパターンを生成す
るテンプレートパターン作成手段、テンプレートパター
ン毎に前記処理画像に対するパターンマッチングして移
動ベクトルを算出し、移動方向及び移動量が同一となる
頻度が最大の移動ベクトル（群）の前記移動方向と前記
移動量からカメラ揺れ量を算出し、前記基準画像と前記
処理画像の背景を位置合わせするカメラ揺れ補正手段を
設けたことにより達成される。

【００１３】さらに、前記位置合わせ後の基準画像と処
理画像の差分画像を基に、移動画像の移動距離を含む特
徴量を算出し、該特徴量を利用した所定の判定基準に従
って特定の移動物体の識別を行なう移動物体識別手段を
設けたことを特徴とする。

【００１４】また、前記差分画像の濃度頻度分布から２
値化しきい値を決定し、前記差分画像を２値化処理する
２値化処理手段を設け、この２値化画像から前記特徴量
を算出することを特徴とする。

【００１５】また、前記特定の移動物体の位置座標を時
系列に蓄積し、該移動物体の現時点の画像と過去の位置
座標から移動軌跡を表示する表示処理手段を設けたこと
を特徴とする。

【００１６】本発明によれば、監視カメラが振動や風で
揺れている場合に、その揺れを正確に補正した動画像が
得られる。さらに、外乱や対象外の種々の移動体から識
別した監視対象の移動物体の映像をモニタ上でオンライ
ン監視することができる。

【００１７】

【発明の実施の形態】以下、本発明の一実施形態を図面
を用いて詳細に説明する。各図を通して、同等の要素に
は同一の符号を付している。

【００１８】図１は、一実施形態による画像監視システ
ムの機能ブロック図である。本システムでは、ＩＴＶカ
メラ100が対象エリアをサンプリングタイミングで撮影
した映像を、画像入力部200が順次画像信号として取り
込んでＡ／Ｄ変換する。テンプレートパターン作成部40
0は、取り込んだ１フレームの画像を基準画像として複
数のテンプレートパターンを作成し、テンプレートパタ
ーン毎の濃度の分散値を求め、分散値が大きいテンプレ
ートパターンを採用する。

【００１９】カメラ揺れ量算出部600は、次のサンプリ
ングタイミングで、画像入力部200から取り込まれた１
フレームの画像を処理画像として、採用したテンプレー
トパターンによるパターンマッチングを行い、揺れ量を
算出する。カメラ揺れ補正部800は、カメラ揺れ量算出
部600で求めたカメラ揺れ量だけ処理画像を移動し、こ
の移動画像と基準画像の背景の位置合わせを行なう。

【００２０】移動物体抽出部1000は、移動画像と処理画
像の差分を行って差分画像を作成し、差分画像の濃度頻
度分布を算出して、濃度頻度分布のノイズを除去した濃
度情報から算出したしきい値で２値化した２値画像や差
分画像から、移動物体領域を抽出して移動物体領域の特
徴量を算出する。

【００２１】移動物体識別部1200は、移動物体領域の特
徴量を用いて外乱を除外し移動物体の判別を行い、監視
対象の移動物体の存在を認識すると、画像格納部1500に
当該移動物体の画像を格納する。表示制御部1400は、画
像格納部1500に格納した移動物体の画像及びその移動軌
跡を用いて、表示装置1600に表示する制御を行う。これ
ら画像入力部200、テンプレートパターン作成部400、カ
メラ揺れ量算出部600、カメラ揺れ補正部800、移動物体
抽出部1000、移動物体識別部1200、画像格納部1500、表
示制御部1400を順次繰り返して処理し、リアルタイムに
表示装置1600に表示し、監視者は識別した目的の物体が
写っている映像をモニタ等の表示装置1600でオンライン
監視する。

【００２２】図２に、カメラが揺れている動画像から移
動物体を検出する概念図を示す。同図（ａ）のように、
カメラ揺れがある場合、基準画像10の建物30に対して処
理画像40の建物50がずれている。そこで、カメラ揺れで
ずれた分、処理画像40を基準画像10に位置合わせした
後、共通シーン20の領域の差分を行う。この場合は、移
動物体や外乱がないので共通シーン20の領域には何も検
出されない。

【００２３】一方、同図（ｂ）のように、カメラ揺れと
ともにシーンに移動人物がいる場合、カメラ揺れに対し
ては処理画像40を基準画像10に位置合わせして補正す
る。しかし、基準画像10の人物70は処理画像40で人物80
に移動しているため、基準画像10と処理画像40の差分を
行うと、人物70の移動前の画像90と移動後の画像95が正
しい移動距離で検出できる。このように、カメラ揺れの
影響を排除すると、移動距離などの特徴量を利用して特
定の移動物体、たとえば人物を識別できる。

【００２４】図３は、画像入力部の構成を示す機能ブロ
ック図である。ＩＴＶカメラ100が対象シーンを撮影す
ると、一方の画像取り込み部（Ｆｉ）220より取り込ま
れた画像信号を基準画像とし、もう一方の画像取り込み
部（Ｆi+1）240より取り込まれた画像信号を処理画像と
して、Ａ／Ｄ変換部260でＡ／Ｄ変換して、基準画像を
テンプレートパターン作成部400に、処理画像をカメラ
揺れ算出部600に送信する。

【００２５】図４は、テンプレートパターン作成部の構
成を示す機能ブロック図である。テンプレートパターン
作成部400は画像入力部200からの基準画像を取り込み、
テンプレートパターン生成部420で複数のテンプレート
パターンの候補を生成し、テンプレートパターン決定部
440で各候補パターン毎に濃度の分散値を計算して、し
きい値以上の分散値を有する候補パターンをテンプレー
トとして決定し、テンプレートパターン格納部460に格
納する。採用するテンプレートパターンは、例えば窓の
ある事務室等の映像の場合、分散値のしきい値が約３５
〜４０以上である。このように、テンプレートパターン
の分散値が小さい個所は、後述のようにずれ位置の探索
は行わない。

【００２６】図５は、テンプレートパターンの生成方法
を示す説明図で、濃淡テンプレートパターンの生成例で
ある。テンプレートパターン生成部420は、画像入力部2
00からの基準画像に対し、注目点423を与えて注目点423
を中心とする矩形をテンプレートパターン425として生
成する。注目点423は、マウス等の入力装置でその位置
を全て指示したり、基準となる１点の位置を指示し、こ
の点から予め定めた規則的な位置を注目点として、複数
の候補パターンを自動生成する。

【００２７】図６は、テンプレートパターンの別の生成
方法を示す説明図である。この例でのテンプレートパタ
ーン生成部420は、基準画像上でマウス等により直接指
示された矩形427の領域を候補パターンとして生成す
る。

【００２８】上記のテンプレートは２値パターンでもよ
い。２値パターンの場合、テンプレートは、基準画像を
所定のしきい値で２値化した２値画像から生成する。あ
るいは、基準画像のエッジを求めて所定のしきい値で２
値化した２値画像から生成してもよい。

【００２９】図７は、カメラ揺れ算出部の構成を示す機
能ブロック図である。カメラ揺れ算出部600は作成され
たテンプレートと処理画像を入力し、パターンマッチン
グ領域設定部620で処理画像に対しパターンマッチング
を行うパターンマッチングの処理領域を設定する（ウイ
ンドウ設定）。パターンマッチング処理領域は必ずしも
処理画像全体でなくてよい。例えば、テンプレートパタ
ーン領域自身の左右にｍ画素、上下にｎ画素拡大した
り、任意に指定してもよく、カメラの揺れの幅に合わせ
て設定すればよい。

【００３０】パターンマッチング部640は、パターンマ
ッチングの処理領域に対するテンプレートパターン毎の
パターンマッチングを行い、最も一致したマッチング領
域を検出する。テンプレートが濃淡パターンの場合は濃
淡パターンマッチング、２値パターンの場合は２値パタ
ーンマッチングを行う。カメラ揺れベクトル算出部660
は、各パターン毎に移動ベクトルを算出する。

【００３１】図８は、カメラ揺れ算出部の処理手順を示
すフロー図である。まず、テンプレートパターン領域を
含んだパターンマッチング領域を設定する（S650）。次
に、設定したパターンマッチング領域内において、テン
プレートパターンを１画素ずつシフトしながら最も一致
しているマッチング領域をサーチする（S660）。さら
に、ステップS660で最も一致しているマッチング領域と
テンプレートパターンの位置を比較し、その移動方向と
移動量からなる移動ベクトルを算出する（S670）。さら
に、設定したテンプレートパターンによるパターンマッ
チングが全て終了したかチェックし（S680）、終了して
いない場合はステップS650へ戻り、一連の処理ステップ
を繰り返す。

【００３２】図９は、カメラ揺れ算出部で算出した移動
ベクトルの例を示す説明図である。基準画像上で生成し
た複数のテンプレートパタン毎に、処理画像に対してパ
ターンマッチングを行って、所定のしきい値以上で類似
度が最大のマッチング領域を探索する。

【００３３】マッチング領域が検知されると、基準画像
の代表位置（例えば、矩形左上の位置）915に一致した
処理画像の代表位置（例えば、矩形左上の位置）918を
ずれ位置とする。基準画像の代表位置915をベクトルの
始点、見つけた処理画像の代表位置918をベクトルの終
点とし、始点と終点を結ぶベクトル910を移動ベクトル
とする。同様にして、次のテンプレートパターンに対し
ても、パターンマッチングを行ってマッチング領域を見
つけ、基準画像の代表位置925をベクトルの始点、見つ
けた処理画像の代表位置928をベクトルの終点とし、始
点と終点を結ぶベクトル920を移動ベクトルとする。

【００３４】図示の移動人物1430が存在する場合、移動
人物1430に対応する移動ベクトル692は、人物の移動方
向と移動量を示す。しかし、移動人物1430により背景が
変化した部分の移動ベクトル694、696、698などは、そ
の移動方向に規則性がない。また、分散値が小さいテン
プレートパターンは使用しないので（ずれ位置の探索が
行わなれない）、図示のように移動ベクトルが抜けてい
る。

【００３５】図１０は、カメラ揺れ補正部の構成を示す
機能ブロック図である。カメラ揺れ算出部600で算出し
た各テンプレート毎の移動ベクトルに対して、対応ベク
トル間の距離算出部820で、基準とするベクトル（基準
ベクトル）と比較対象のベクトル（対象ベクトル）の始
点間の距離と終点間の距離を算出する。また、対応ベク
トル間の傾き算出部830で、基準ベクトルの傾きと対象
ベクトルの傾きを算出する。

【００３６】さらに、同一ベクトルの頻度分布算出部84
0で、始点間の距離と終点間の距離が等しく、かつ、基
準ベクトルの傾きと対象ベクトルの傾きが等しい場合、
両者を同一ベクトルとして頻度分布を算出する。ここで
の距離と傾きには、若干の誤差が許容される。例えば、
距離及び傾きの差が、±１〜２画素以下では同一として
もよい。

【００３７】Ｘ方向揺れ量算出部850及びＹ方向揺れ量
算出部860は、頻度分布の最大度数のベクトルの始点と
終点から、Ｘ軸の揺れ量（移動量）とＹ軸の揺れ量（移
動量）を算出する。

【００３８】画像シフト部870は、算出したＸ方向及び
Ｙ方向の揺れ量で、処理画像（又は基準画像）をＸ方向
とＹ方向にシフトする。なお、シフトの対象は上記のパ
ターンマッチングの処理領域でよい。

【００３９】図１１は、カメラ揺れ補正部による補正手
順を示すフロー図である。まず、ｉ番目の移動ベクトル
を基準に、ｉ＋１番目〜ｍ番目の移動ベクトルに対し、
始点同士及び終点同士の距離を計算し（S825）、また、
ｉ番目の移動ベクトルを基準に、ｉ＋１番目〜ｍ番目の
移動ベクトルに対し、傾きを計算する（S835）。次に、
始点同士と終点同士の距離が等しくて傾きが同じ移動ベ
クトルを同一ベクトルとし（S845）、同一ベクトルの個
数をカウントして、ベクトルの頻度分布を算出する（S8
55）。全ての移動ベクトルの処理が終了したかチェック
し(S865）、終了してない場合はステップS825へ戻る。
全ベクトルの処理が終了したとき、ベクトルの頻度分布
が作成される。

【００４０】次に、作成された頻度分布から最大頻度の
ベクトルを探し（S875）、そのベクトルの始点と終点よ
りＸ方向揺れ量とＹ方向揺れ量を算出する（S880）。最
後に、算出した揺れ量だけ、Ｘ方向とＹ方向に処理画像
をシフトする（S890）。なお、ステップS875で、最大頻
度が全て１以下の場合は、ベクトルの方向がばらばらで
規則性がないので、カメラ揺れは発生していないものと
みなす。

【００４１】図１２は、対応ベクトル間の距離と傾きの
算出方法を示す説明図である。図９に示した移動ベクト
ル910及び移動ベクトル920を例に説明する。対応ベクト
ル間の距離算出部820は、基準ベクトルＶ_kの始点Ｐ１
（ｘ1，ｙ1）と対象ベクトルＶ_k+1の始点Ｐ２（ｘ2，ｙ
2）の距離Ｌ１を、基準ベクトルＶ_kの終点Ｐ１*（ｘ1*,
y1*）と、対象ベクトルＶ_k+1の終点Ｐ２*（ｘ2*，ｙ2
*）の距離Ｌ２を、数１により計算する。

【００４２】

【数１】Ｌ１＝√（（ｘ2−ｘ1）²＋（ｙ2−ｙ1）²）Ｌ２＝√（（ｘ2*−ｘ1*）²＋（ｙ2*−ｙ1*）²）ここで、基準ベクトルＶ_kと対象ベクトルＶ_k+1が同一で
あるためには、Ｌ１＝Ｌ２を満足すればよい。実際に
は、｜Ｌ１−Ｌ２｜≦１〜２画素を誤差範囲として、同
一ベクトルとみなす。

【００４３】対応ベクトル間の傾き算出部830は、基準
ベクトルＶ_kの傾きＭ１を始点Ｐ１（ｘ1，ｙ1）と終点
Ｐ１*（ｘ1*，ｙ1*）から、対象ベクトルＶ_k+1の傾きＭ
２を始点Ｐ２（ｘ2，ｙ2）と終点Ｐ２*（ｘ2*，ｙ2*）
から、数２により計算する。

【００４４】

【数２】Ｍ１＝(ｙ1*−ｙ1)／(ｘ1*−ｘ1) Ｍ２＝(ｙ2*−ｙ2)／(ｘ2*−ｘ2) ここで、Ｍ１＝Ｍ２を満たす場合に、基準ベクトルＶ_k
と対象ベクトルＶ_k+1の傾きが同一である。実際には、
Ｍ１−Ｍ２＝±１程度までは同一とみなす。

【００４５】図１３は、図９の移動ベクトルの頻度分布
を算出したテーブルである。すなわち、移動ベクトル91
0について、他の移動ベクトル920、692、694…と同一ベ
クトルか次々と判定し、同一の場合に比較したベクトル
番号（たとえば、920）を消去し、移動ベクトル910の度
数を更新する。次に、移動ベクトル692、694と同様の手
法を繰返して、処理画像中における異なる移動ベクトル
とその頻度を集計した頻度分布テーブルが作成される。
同図のテーブルにおいて、移動ベクトル910の頻度が最
大であり、その始点座標と終点座標からカメラの揺れ量
を、数３により決定する。

【００４６】

【数３】Ｘ方向の揺れ量（Δｘ）＝ｘ1*−ｘ1 Ｙ方向の揺れ量（Δｙ）＝ｙ1*−ｙ1 カメラ揺れ補正部800は、上記によるＸ方向揺れ量Δｘ
とＹ方向揺れ量Δｙを用いて、画像シフト部870が処理
画像の位置をＸ方向にΔｘ、Ｙ方向にΔｙシフトして、
基準画像の背景と位置合わせしてカメラ揺れを補正す
る。

【００４７】上記の実施形態では、同一ベクトルの頻度
算出で、移動ベクトルの移動方向と移動量の両方が一致
するものとしたが、カメラ揺れによる画像ずれの規則性
から移動方向のみの一致でも可能である。さらに、複数
のテンプレートパターンを用いたが、予め、カメラ揺れ
によるずれ方向の予測ができる場合は、１つのテンプレ
ートパターンによるパターンマッチングの結果からで
も、カメラ揺れ量の算出が可能となる。

【００４８】図１４は、移動物体抽出部の構成を示す機
能ブロック図である。移動物体抽出部1000は画像入力部
200からの基準画像と、カメラ揺れ補正部800からの補正
後の処理画像を取り込んで、差分画像算出部1020で画像
間の画素毎の差を算出して差分画像を作成する。次に、
濃度頻度分布算出部1040が、差分画像の濃度頻度分布を
算出した後、ノイズ除去部1060が濃度頻度分布Ｈj（j＝
0,1,．．．,n）を、数４により平滑化してノイズ除去を
行う。ｎは濃度の最大値である。

【００４９】

【数４】Ｈ_j＝（Ｈ_j-1＋２Ｈ_j＋Ｈ_j+1）／４−１Ｈ₀＝（２Ｈ₀＋Ｈ₁）／３−１Ｈ_n＝（２Ｈ_n＋Ｈ_n-1）／３−１但し、Ｊ＝１，．．．，ｎ−１である。

【００５０】２値化しきい値算出部1070は、ノイズ除去
部1060で平滑化した濃度頻度分布から差分画像の２値化
しきい値を算出する。２値化処理部1080は、算出された
２値化しきい値で２値化処理し差分画像の２値画像を作
成し、検知対象に不適当な面積をもつ画素ブロックをノ
イズとして除外し、膨張・収縮等を行って整形した２値
画像を作成する。

【００５１】特徴量算出部1090は、２値化処理部1080に
よる２値画像から検知対象の特徴量を算出して、監視対
象物体の識別に用いる。なお、監視場所が暗く、目標物
体が存在しても差分画像を抽出できない場合は、抽出で
きる明るさに照明する。

【００５２】図１５は、２値化しきい値の算出方法を示
す説明図である。２値化しきい値算出部1070は、ノイズ
除去部1060で平滑化した濃度頻度分布から求めた最大濃
度値（ｍａｘ）から、２値化のしきい値ｔｈを自動算出
する。

【００５３】差分画像の変化領域が多い場合、平滑化し
た濃度頻度分布は、（ａ）に示すようになる。最大濃度
値（ｍａｘ）1110から小さい方に濃度を探索すると、少
なくとも１個の極大値1120が存在する。この極大値1120
を基準に、更に小さい方に濃度を探索すると、最大濃度
に最も近い極小値1130が存在する。この極小値1130の濃
度値から最大濃度1110までが、変化部分の濃度分布であ
る。従って、極小値1130の濃度値を２値化しきい値ｔｈ
とする。これは、モード法による２値化しきい値の決定
方法である。

【００５４】一方、差分画像の変化領域が少ない場合
は、変化部分の濃度の度数が少ないため、（ａ）のよう
な極大値1120が存在しないで、（ｂ）に示すような濃度
頻度分布となる。この場合の２値化しきい値ｔｈは、数
５により最大濃度（ｍａｘ）1110から定数Ｃを差し引い
た値に設定する。

【００５５】

【数５】ｔｈ＝ｍａｘ−Ｃ但し、ｔｈ≧thmin（下限しきい値）である。

【００５６】算出したしきい値ｔｈが予め設定したthmi
nより小さくなる場合は、下限しきい値thminとする。定
数Ｃは、対象画像の正常画像から、予め算出した正常状
態での白色ノイズの上限しきい値thmaxと下限しきい値t
hminの差の値とする。又は、対象画像の正常状態におけ
るノイズの最大変動幅を示す値なら何でもよい。例え
ば、昼間の屋外環境を監視するシーンならば、上限しき
い値thmaxは１２〜１４階調程度で、下限しきい値thmin
は４〜５階調程度である。従って、定数Ｃは７〜１０階
調程度となる。なお、変化部分の最大値に白色ノイズが
加味された場合でも、数４の平滑化処理でノイズ低減さ
れるので、濃度差のわずかな変化に対しても精度よく設
定できる。

【００５７】図１６は、２値化処理部の構成を示す機能
ブロック図である。２値化処理部1080は、差分画像と２
値化しきい値を取り込み、２値化部1082が２値化しきい
値で２値画像を作成し、微小面積除去部1084が抽出の対
象外となる微小面積の領域をノイズとして除去し、差分
画像の変化領域の２値画像を作成する。

【００５８】２値化処理部1080が変化領域として２値化
するのは、例えば抽出対象が人物の場合、カメラの視野
範囲に対応して人物としての適当な面積をもっている領
域である。それ以下の領域はノイズである。

【００５９】変化領域の２値画像は抽出対象物体が分離
している場合が多く、画像補正部1086がこれら分離領域
を膨張して連結した後、収縮して２値画像を補正する。
画像補正部1086の膨張回数と収縮回数は同一回数で、例
えば、人物の抽出の例では２〜３回程度である。

【００６０】図１７は、特徴量算出部の構成を示す機能
ブロック図である。本例の特徴量算出部1090は２値画像
から、以下の特徴量を算出する。即ち、面積算出部1094
で算出した面積、縦横比算出部1095で算出した縦横比、
移動距離算出部1096で算出した移動距離であり、これら
を、画像入力のタイミングｉの度に、時系列に算出す
る。

【００６１】面積算出部1094は、２値画像の画素数を計
算して面積を算出する。縦横比算出部1095は、２値画像
をＸ方向に投影してＸ軸の位置毎の画素数を累積したＸ
投影分布と、Ｙ方向に投影してＹ軸の位置毎の画素数を
累積したＹ投影分布の割合を縦横比として算出する。移
動距離算出部1096は、２値画像のうち、最大面積を有す
る領域の重心を用いて、ｉ−１回目とｉ回目の重心間の
長さをｉ回目の距離として算出する。但し、ｉ＝１回目
の移動距離は０とする。

【００６２】図１８は、本実施形態における検出対象と
特徴量の関係を説明するテーブルである。ここでの検出
対象は移動物体で、人物、小動物、車両である。特徴量
は面積、縦横比、移動距離を用いる。検出対象が人物の
場合、人物の特徴として、移動距離が小さく面積が中く
らいで、形状が縦に長い。例えば、昼間の屋外シーンで
目視で明らかに確認できる人物を検出する場合は、移動
距離のしきい値を約２０〜３０画素、縦横比を約３：１
とすればよい。

【００６３】検出対象が小動物の場合、小動物の特徴と
して移動距離が中程度で面積が小さくかつ、形状が横長
もしくは縦横比が１程度である。検出対象が車両の場
合、車両の特徴として、移動距離と面積がともに大きく
かつ、形状が横長の場合や縦横比が１程度である。

【００６４】移動物体識別部1200は、移動距離算出部10
96で求めた移動距離、面積算出部1094で求めた面積、縦
横比算出部1095で求めた縦横比を用いて、検出対象とす
る人物、小動物または車両を識別して検出する。目的の
検出対象が識別されると、その画像を表示制御部1400に
渡し、その重心などの所定位置の座標を画像格納部1500
に時系列に蓄積する。

【００６５】図１９は、移動物体識別部の処理手順を示
すフロー図である。まず、面積をチェックし（S130
0）、面積が中程度の場合、Ｘ投影分布とＹ投影分布を
用いて形状が縦長か否かチェックする（S1310）。形状
が縦長の場合、移動距離をチェックし（S1315）、移動
距離が小ならば人物と判定する（S1320）。ステップS13
10で形状が縦長でない場合やステップS1315で移動距離
が小さくない場合は、ともに外乱と判定する（S133
0）。

【００６６】次に、ステップS1300で面積が小さいと判
定した場合、形状をチェックし（S1340）、形状が横長
又は縦横比が同程度の場合、移動距離をチェックし（S1
350）、移動距離が中程度ならば小動物と判定する（S13
60）。ステップS1340で形状が縦長な場合やステップS13
50で中程度でない場合は、外乱と判定する（S1370）。

【００６７】ステップS1300で面積が大きいと判定した
場合、移動距離をチェックし（S1380）、移動距離がい
大きい場合、形状判定を行い（S1390）、形状が横長又
は縦横比が同程度の場合、車両と判定する（S1395）。
ステップS1380で移動距離が大きくない場合やステップS
1390で形状が縦長な場合は、外乱と判定する（S137
0）。

【００６８】図２０は、識別された人物の移動軌跡の表
示図である。表示制御部1400は、移動物体識別部1200か
ら検出対象の移動物体、例えば人物の識別通知とその画
像データを受信すると、その画像と移動軌跡を表示装置
1600にオンライン表示する。

【００６９】即ち、移動物体識別部1200が、ｉ−１回
目、ｉ回目、ｉ＋１回目等毎に時系列で識別した人物の
ｉ＋１回目の画像1430を表示し、更に、ｉ−１回目とｉ
回目の移動軌跡1450、ｉ回目とｉ＋１回目の移動軌跡14
60を表示する。これにより、監視者は、人物およびその
移動状態を画面上で監視できる。

【００７０】

【発明の効果】本発明のカメラ揺れ補正方法によれば、
監視カメラで対象エリアを撮影した入力画像の１フレー
ムを基準画像、次のフレームを処理画像として取り込
み、基準画像から作成したテンプレートパターンと処理
画像のパターンマッチングを行なってパターン毎の移動
ベクトルを算出し、移動方向または移動方向及び移動量
が同一となる頻度最大の移動ベクトル（群）を求め、そ
の移動方向と移動量からカメラ揺れ量を算出し、基準画
像と処理画像の背景の位置合わせを行なうので、入力画
像に移動体やノイズが存在する場合にも監視カメラの揺
れを正確に検出でき、かつ、揺れ補正の画像シフトが１
回で済むのでリアルタイム処理が可能になる。

【００７１】また、パターンマッチングに使用するテン
プレートパターンは、濃度の分散値が一定以上で特徴の
あるパターンを用いるので、パターンマッチングの信頼
性が高く、かつ、効率処理できる。

【００７２】本発明の画像監視システムによれば、動画
像中における移動物体の移動量を含む特徴量から人物な
どの対象物体の識別を行なう場合に、カメラの揺れによ
る画像のずれを補正して特徴量を正確に把握できるの
で、対象物やその行動の信頼性の高い、オンライン監視
が可能になる。

【図面の簡単な説明】

【図１】本発明の一実施形態による画像監視システムの
構成を示す機能ブロック図。

【図２】カメラが揺れている状態において移動物体を検
知する原理説明図。

【図３】画像入力部の構成を示す機能ブロック図。

【図４】テンプレートパターン作成部の構成を示す機能
ブロック図。

【図５】テンプレートパターンの生成方法を示す説明
図。

【図６】テンプレートパターンの別の生成方法を示す説
明図。

【図７】カメラ揺れ算出部の構成を示す機能ブロック
図。

【図８】移動ベクトル算出の処理手順を示すフロー図。

【図９】１フレームの画像の移動ベクトルの算出例を示
す説明図。

【図１０】カメラ揺れ補正部の構成を示す機能ブロック
図。

【図１１】カメラ揺れ補正の処理手順を示すフロー図。

【図１２】対応ベクトル間の距離と傾きの算出方法を示
す説明図。

【図１３】移動ベクトルの頻度分布の一例を示すテーブ
ル。

【図１４】移動物体抽出部の構成を示す機能ブロック
図。

【図１５】２値化しきい値の算出方法を示す説明図。

【図１６】２値化処理部の構成を示す機能ブロック図。

【図１７】特徴量算出部の構成を示す機能ブロック図。

【図１８】検出対象とその特徴を説明するテーブル。

【図１９】移動物体識別部の識別手順を示すフロー図。

【図２０】移動人物の識別結果を示す表示図。

【符号の説明】

100…ＩＴＶカメラ、200…画像入力部、400…テンプレ
ートパターン作成部、420…テンプレートパターン生成
部、440…テンプレートパターン決定部、600…カメラ揺
れ算出部、640…パターンマッチング部、660…カメラ揺
れベクトル算出部、800…カメラ揺れ補正部、820…対応
ベクトル間の距離算出部、830…対応ベクトル間の傾き
算出部、840…同一ベクトルの頻度分布算出部、850…Ｘ
方向揺れ量算出部、860…Ｙ方向揺れ量算出部、870…画
像シフト部、1000…移動物体抽出部、1020…差分画像算
出部、1040…濃度頻度分布算出部、1060…ノイズ除去
部、1070…２値化しきい値算出部、1080…２値化処理
部、1090…特徴量算出部、1200…移動物体識別部、1400
…表示制御部、1500…画像格納部、1600…表示装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者持丸文男茨城県日立市幸町三丁目１番１号株式会社日立製作所日立工場内 (72)発明者酒井邦造茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内

Claims

【特許請求の範囲】

【請求項１】監視カメラより対象エリアを所定タイミ
ング毎に撮影した画像のカメラ揺れを補正する方法にお
いて、前記画像の２フレームの一方を基準画像、他方を処理画
像とし、前記基準画像から作成したテンプレートパター
ンを用いて前記処理画像のパターンマッチングを行な
い、カメラ揺れによる画像ずれの規則性を利用して特定
のマッチング領域を選択し、その移動ベクトルからカメ
ラ揺れ量を算出して画像ずれを補正することを特徴とす
るカメラ揺れ補正方法。
【請求項２】監視カメラより対象エリアを所定タイミ
ング毎に撮影した画像のカメラ揺れを補正する方法にお
いて、前記画像の２フレームの一方を基準画像、他方を処理画
像とし、前記基準画像から作成した複数のテンプレート
パターンを用いて前記処理画像のパターンマッチングを
行ない、前記テンプレートパターン毎にマッチング領域
との移動ベクトルを算出し、移動方向が同一または移動
方向及び移動量が同一となる頻度が最大の移動ベクトル
（群）を求め、該移動ベクトル（群）の移動方向と移動
量からカメラ揺れ量を算出し、前記カメラ揺れ量だけ画
像シフトして前記基準画像と前記処理画像の背景の位置
合わせを行なうことを特徴とするカメラ揺れ補正方法。
【請求項３】監視カメラより対象エリアを所定タイミ
ング毎に撮影した画像から、移動量などの特徴量を利用
して移動物体を識別する画像監視システムのカメラ揺れ
補正方法において、前記画像の２フレームの一方を基準画像、他方を処理画
像とし、前記基準画像から作成した複数のテンプレート
パターンを用いて前記処理画像のパターンマッチングを
行ない、前記テンプレートパターン毎にマッチング領域
との移動ベクトルを算出し、移動方向及び移動量が同一
となる頻度最大の移動ベクトル（群）を求め、該移動ベ
クトル（群）の移動方向と移動量からカメラ揺れ量を算
出し、前記特徴量を算出する前記基準画像と前記処理画
像の背景を前記カメラ揺れ量に応じて位置合わせするこ
とを特徴とするカメラ揺れ補正方法。
【請求項４】請求項１、２または３において、前記テンプレートパターンは前記基準画像の領域中に、
１つずつ指定された又は所定規則に従って自動的に位置
決めされた所定面積の矩形領域とすることを特徴とする
カメラ揺れ補正方法。
【請求項５】請求項１、２、３または４において、濃度の分散値が一定以上のテンプレートパターンのみを
用いて、前記パターンマッチングを行なうことを特徴と
するカメラ揺れ補正方法。
【請求項６】テレビカメラなどの監視カメラで、監視
対象エリアを所定タイミング毎に撮影した画像を順次、
入力して移動物体を監視する画像監視システムにおい
て、前記入力画像の２フレームの一方を基準画像、他方を処
理画像としてＡ／Ｄ変換する画像入力手段、基準画像か
ら複数のテンプレートパターンを生成するテンプレート
パターン作成手段、テンプレートパターン毎に前記処理
画像に対するパターンマッチングして移動ベクトルを算
出し、移動方向及び移動量が同一となる頻度が最大の移
動ベクトル（群）の前記移動方向と前記移動量からカメ
ラ揺れ量を算出し、前記基準画像と前記処理画像の背景
を位置合わせするカメラ揺れ補正手段を設けたことを特
徴とする画像監視システム。
【請求項７】請求項６において、前記位置合わせ後の基準画像と処理画像の差分画像を基
に、移動画像の移動距離を含む特徴量を算出し、該特徴
量を利用した所定の判定基準に従って特定の移動物体の
識別を行なう移動物体識別手段を設けたことを特徴とす
る画像監視システム。
【請求項８】請求項７において、前記差分画像の濃度頻度分布から２値化しきい値を決定
し、前記差分画像を２値化処理する２値化処理手段を設
け、この２値化画像から前記特徴量を算出することを特
徴とする画像監視システム。
【請求項９】請求項７または８において、前記特定の移動物体の位置座標を時系列に蓄積し、該移
動物体の現時点の画像と過去の位置座標から移動軌跡を
表示する表示処理手段を設けたことを特徴とする画像監
視システム。