JP3963261B2

JP3963261B2 - Automatic tracking imaging method and automatic tracking imaging device for moving images

Info

Publication number: JP3963261B2
Application number: JP2002167309A
Authority: JP
Inventors: 史斎天野; 聡寿石井; 佳則指川; 瑞男月舘
Original assignee: Chuo Electronics Co Ltd
Current assignee: Chuo Electronics Co Ltd
Priority date: 2002-06-07
Filing date: 2002-06-07
Publication date: 2007-08-22
Anticipated expiration: 2022-06-07
Also published as: JP2004015516A

Description

【０００１】
【発明の属する技術分野】
本発明は、セキュリティ・システムを構成する監視用カメラを利用して、動く物体を自動的に視野内に捉え続けて撮影する自動追尾撮影方法およびその装置に関する。
【０００２】
【従来の技術】
監視用カメラによって監視対象物を撮影して、監視領域への侵入者を監視する方法としては、次のような方法が利用されていた。
▲１▼監視する領域全体を広角カメラで撮影する方法。
▲２▼監視する領域全体を通常画角のカメラ複数台を使用して、監視領域を分割して分担撮影する方法。
▲３▼パン・チルト雲台つきのカメラを予めプログラムした向きに、順番に向けさせて撮影する方法。
▲４▼パン・チルト雲台つきのカメラを人手で操作して撮影する方法。
【０００３】
【発明が解決しようとする課題】
上述した従来技術による撮影方法では、解決すべき多くの課題があった。
▲１▼広角カメラで撮影すると、カメラの台数は少なくて済むが、撮影した映像の鮮明さが損われる。
例えば、侵入者が小さく写るので特定しにくい。
▲２▼監視領域を分割して分担撮影する方法では、多数のカメラを必要とする。
▲３▼プログラムを内蔵したパン・チルト雲台つきのカメラで撮影する方法では、侵入者を効果的に撮影し難い。
即ち、侵入者の顔など、重要な映像を撮り逃すおそれがある。
▲４▼パン・チルト雲台つきカメラを人手で操作するのでは、常に所要の人員を配置しておく必要が生ずる。
【０００４】
【課題を解決するための手段】
本発明は上述した従来技術による欠点を解消しようとするものであって、
視野の方向を変更可能な撮影手段１で捉えるべきターゲットを、より広画角の撮影手段２の画像上で指定する動画像撮影手段と、
動画像上に映っている動く物体の位置と形状を、該物体が動き続ける条件下で推定し続ける追尾アルゴリズムと、
ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域でのターゲット誤推定を自動修正する手段と、
によって構成し、動く物体を自動的に撮影手段１の視野内に捉え続けて追尾撮影する方法である。
【０００５】
さらに、動く物体の中央より、むしろ上端側を撮影手段１の視野内に捉え続ける撮影方法と、前記撮影手段１の映像を傾かせずに、動く物体を視野内に捉え続ける撮影方法と、
前記撮影手段１の視野の変更に制約を設けて機械系の摩耗を低減させ、かつ安定した撮影を実現しつつ、動く物体を視野内に捉え続ける撮影方法と、
前記撮影手段１でズーム撮影するときも、機械系の摩耗を低減し、かつ安定した撮影を実現することと、動く物体を視野内に捉え続けることを同時に満足する撮影方法
とによって自動追尾撮影方法を構成した。
【０００６】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。
図１は、本発明に係る動画像の自動追尾撮影装置の構成を示すブロック図である。
【０００７】
パンチルトカメラ１は、パン機能とチルト機能を備えたカメラであって、侵入者（ターゲット）を鮮明に撮影することができる。
パン回転面が水平になるように設置し、パン回転中心とチルト回転中心が一致するように設置するのがよい。
【０００８】
広角カメラ２は、通常の遠近投影法に従うレンズか、魚眼投影法に従う魚眼レンズを備えた動画像撮影手段として使用されるカメラであって、監視対象領域の広い範囲である視野角にして９０°等、少なくともパンチルトカメラ１単体の視野よりは広い視野内に収めることができる。
なお、パンチルトカメラ１と広角カメラ２とは近接して設置しておき、視野中心線であるレンズの光軸は斜め下４５°程度に向けておく。
【０００９】
Ａ／Ｄ変換部３は、広角カメラ２で撮影した動画像（アナログ映像信号）をディジタル動画像データに変換する回路である。
【００１０】
動き検出部４は、Ａ／Ｄ変換部３が出力したディジタル画像データを受け取り、動きを検出した区画の集合Ｓ１を出力するものであって、その内部構成は図２に示す通りである。
フレームバッファ１１はディジタル動画像データに１フレーム時間の遅延を与えるＦＩＦＯメモリであって、１フレーム分のディジタル動画像データを一時的に記憶する。
減算器１２は、入力されたディジタル動画像データのＹ成分から、フレームバッファ１１に記憶されている１フレーム時間前の動画像データのＹ成分を画素ごとに引き算し、その結果（濃度差分）を出力する回路である。
２値化回路Ａ１３は、濃度差分の絶対値が閾値Ｔ_１より大きい画素を１、それ以外の画素を０として出力する回路である。
集計回路１４は、２値化回路Ａ１３により値１となった画素の個数を区画ごとに集計する回路である。
２値化回路Ｂ１５は、集計回路１４による集計値が閾値Ｔ_２より大きい区画を１、そうでない区画を０に変換し出力する。
【００１１】
次に、動き検出部４の処理手順を説明する。
▲１▼現在の１フレームと直前（過去）の１フレームのＹ成分の差分を画素ごとに、フレームバッファ１１と減算器１２を使用して取る。
▲２▼２値化回路Ａ１３が、上記差分が定数Ｔ_１より大きい画素を１、それ以外の画素を０に変換する。
▲３▼集計回路１４が値１となった画素の個数を区画ごとに集計する。例えば、区画は長方形とし、横３２０ピクセル、縦２４０ラインの画像を横３２列、縦１５行に区切る。
▲４▼２値化回路Ｂ１５が上記集計値が定数Ｔ_２より大きい区画を１、そうでない区画を０に変換して集合Ｓ１を出力する。
即ち、本実施例では、「区画の集合」を表現するデータ形式として、１フレーム分の画像を構成する区画の中で、該集合に含まれる区画を１、そうでない区画を０に置き換えたデータ形式を採用しており、図３に示す通りである。
【００１２】
ターゲット追尾部５は、動き検出部４が出力した区画の集合Ｓ１を受け取り、画像上でのターゲット現在位置を推定し、その二次元座標を出力する。
但し、ターゲットが存在しない（広角カメラ２の視野内に動いている物体がない）場合もあるため、ターゲットの検知／未検知も別途ターゲット検出信号１０として出力し、後段に与える。
また、パンチルトカメラ１の拡大率制御のため、ターゲットの画像上での大きさも出力する。
【００１３】
ターゲット追尾部５の内部構成は図４に示す通りである。
ＣＰＵ２１は、ターゲット追尾部５を構成する各ブロックの各種処理を実施する中央制御装置であり、記憶手段１・２２は、ターゲットの現在位置・形状・大きさを、区画の集合として保持するメモリである。
連結領域列挙手段２３は、集合Ｓ１に含まれる連結領域のうち、与えられた集合Ｓ２と共通部分をもつものの集合Ｗを求める演算手段である。
また、連結領域選択手段２４は、連結領域列挙手段２３が出力した集合Ｗから、下記関数ｄ（Ｈ）の値が最小となる集合Ｈを選択して出力する手段である。
ｄ（Ｈ）＝（集合Ｈと集合Ｓ２の共通部分に含まれる区画数）
÷（集合Ｈに含まれる区画数）
記憶手段２・２５は、ターゲット以外の動きがある領域またはターゲットとカメラの間を遮る障害物を被う区画の集合Ｍを記憶するメモリであり、内容は装置起動時に書き込み、追尾実行中は基本的に書き換えない。
包含判定手段２６は、ターゲットの位置と形状の推定結果ＨがＭに含まれるか判定するブロックであり、連結領域出力手段１・２７は、ＨがＭに含まれるとき、Ｈと共通部分をもつＭの連結領域Ｍ_Ｃ（Ｈ）を出力するブロックである。
また、動き検出手段２・２８は、ＨがＭに含まれるとき、Ｍ_Ｃ（Ｈ）周縁上で動きを検知したとき、その位置（区画）Ｂを出力する手段であり、連結領域出力手段２・２９は動き検出手段２・２８が出力した区画Ｂを含む連結領域をＳ１から求め、出力する手段である。
修正手段３０は、包含判定手段２６の結果を受け、記憶手段１・２２に記憶する内容を選択する（Ｈ２として出力）。
外接長方形算出手段３１は、画像上でターゲットに外接する長方形の位置と大きさを求める。
演算手段２・３２は、集合Ｈに含まれる区画の座標の相加平均Ｇを求め、ターゲットの代表位置として出力する。
【００１４】
ターゲット追尾部５は、「ターゲット未検知」、「ターゲット追尾中」、「待機中」の３つの状態をもっている。
「ターゲット未検知」状態は、広角カメラ２の視野内にターゲットが現われるのを待っている状態を示し、「ターゲット追尾中」状態は、広角カメラ２の視野内をターゲットが動いており、それを追尾している状態を示し、「待機中」状態は、広角カメラ２の視野内でターゲットが停止した状態を示している。
【００１５】
次に、ターゲット追尾部５における「ターゲット未検知」状態の処理は次の通りである。
▲１▼画面上に予め設定した領域（センスエリア）で動きを検知するのを待つ。
即ち、動き検出部４が出力した集合Ｓ１に、図５に示すセンスエリアを構成する区画の集合との間に共通部分が発生するのを待つ。
▲２▼センスエリアで動きを検知したときは、
ａ．その動いた部分を含む連結領域を集合Ｓ１から切り出し、記憶手段１・２２に初期値として与える。
ｂ．「ターゲット追尾中」状態に遷移する。
【００１６】
「ターゲット追尾中」状態の処理は次の通りである。
(1) 図４に示すように、記憶手段１・２２の内容（区画の集合Ｓ２）を更新する。
(2) 下記条件が成立したら、「待機中」状態に遷移する。
ａ．更新後Ｓ２⊂更新前Ｓ２
【００１７】
「待機中」状態の処理は次の通りである。
(1) 画面内の予め設定した領域（センスエリア）で動きを検知したかを判定する。
即ち、動き検出部４が出力した集合Ｓ１に、センスエリアを構成する区画が含まれるか判定する。
動きを検知したときは、「ターゲット未検知」における(2)ａ，ｂと同じ処理を行う。
(2) 上記条件が成立、かつ下記条件のいずれかが成立したときは、「ターゲット追尾中」状態に遷移する。
ａ．Ｈ２⊂集合Ｓ２でない（Ｈ２がＳ２からはみ出している）
(3) 上記条件が成立しないままＴ_Ｃ秒経過したときは、「ターゲット未検知」状態に遷移する。
【００１８】
ターゲット検出信号１０は、「ターゲット未検知」状態で０、それ以外の状態において１を出力する。
なお、「待機中」状態を設ける理由は次の通りである。
(1) ターゲットが移動を停止すると、動き検出部４が殆ど動きを検出しないため、集合Ｓ１に含まれる区画がターゲットが動いている最中に比べて少なくなる。
(2) その状態で記憶手段１・２２に記憶されているＳ２の更新を続けると、Ｓ２が空集合になってしまい、以降の追尾に差し支える。
(3) 従って、ターゲットが停止してから再び動き出すまでの間は、記憶手段１・２２の更新を停止する必要がある。
【００１９】
カメラ制御部６は、ターゲット追尾部５が出力したターゲットの座標Ｇ、ターゲット検出信号１０および外接長方形の位置と大きさを受け取り、ターゲットを視野内に捉えるようにパンチルトカメラ１を旋回させ、かつ拡大率を設定するものであって、次のステップから成る。
▲１▼座標Ｇより、広角カメラ２から見てターゲットがどの方向に存在するのかを推定する。（ターゲット見込み方向推定）
▲２▼推定された方向より、パンチルトカメラ１に与えるパンおよびチルトの角度を算出する。（カメラの旋回角度算出）
▲３▼算出したパンおよびチルトの角度をパンチルトカメラ１に与え、旋回させる。
（旋回指令）
▲４▼外接長方形の横サイズが、パンチルトカメラ１で撮影される画像の横サイズの７０％と一致するように、パンチルトカメラ１にズーム指令を与え拡大させる。（ズーム指令）
但し、ターゲット検出信号１０が０（ターゲット未検知）のときは、上記処理は行わず、待機する。
【００２０】
カメラ制御部６には、広角カメラ２で撮影した画像上でのターゲット位置Ｇが入力されており、これをもとに、広角カメラ２の焦点からターゲットに向かうベクトル成分を求める。
ターゲット見込み方向推定には、広角カメラ２で使用するレンズとして、通常の広角レンズ（遠近投影法に従う）と、魚眼レンズ（魚眼投影法に従う）の２種類があり、以下に記載の原理に従って、カメラ焦点からターゲットに向かうベクトル成分を求める。
広角カメラ２のレンズが通常（遠近投影法に従う）である場合におけるターゲット見込み方向の推定を、図６によって説明する。
図６において広角カメラ２の焦点Ｏから、三次元空間中でのターゲット位置Ｐに向かうベクトルが、求めるべきターゲット見込み方向を与える。
ここで、Ｘ軸は水平方向、Ｚ軸は視野中心線（レンズ光軸）に一致するようにとっている。
ベクトル成分の導出を簡単にするために、ＯＰに平行なベクトルＯＧを求める。ここで、Ｇは直線ＯＰと投影面の交点である。
図６において、ＯＧのＸ軸成分をｘ、Ｙ軸成分をｙ，Ｚ軸成分をｚとすると、次式の通りである。
ｘ＝μ
ｙ＝ν
ｚ＝ｄ＝Ｈ_Ｗ／tan（Ｈ_Ａ）……（１）
ここで、
μ：座標ＧのＸ成分
ν：座標ＧのＹ成分
Ｈ_Ｗ：レンズの遠近投影法投影面の全幅の１／２
Ｈ_Ａ：レンズの水平視野角の１／２
ｄ：レンズ焦点から投影面までの距離
ｘ：ベクトルＯＧのＸ成分
ｙ：ベクトルＯＧのＹ成分
ｚ：ベクトルＯＧのＺ成分
【００２１】
広角カメラ２のレンズが魚眼レンズ（魚眼投影法に従う）である場合におけるターゲット見込み方向の推定方法を、図７によって説明する。
図７において、広角カメラ２の焦点Ｏから三次元空間中でのターゲット位置Ｐに向かうベクトルが、求めるべきターゲット見込み方向を与える。
ここで、Ｘ軸は水平方向、Ｚ軸は視野中心線（レンズ光軸）に一致するようにとっている。
ベクトル成分の導出を簡単にするために、ＯＰに平行なベクトルＯＧ´を求める。Ｇ´は平面Ｚ＝γ上の点であり、γは魚眼投影面半径を示す。
図７より、Ｄ_２＝γｓ
Ｒ_０＝γＨ_Ａ
従って、
Ｄ_１＝γtanｓ＝Ｒ_０／Ｈ_Ａ・tan〔（Ｈ_Ａ／Ｒ_０）・Ｄ_２〕…（２）
ここで、
Ｇ_０：平面ｚ＝γ とＺ軸（レンズ光軸）との交点
γ ：魚眼投影法投影半径
Ｄ_１：Ｇ_０からＧ´までの距離
Ｄ_２：Ｇ_０からＧまでの円弧長
Ｈ_Ａ：レンズ視野角÷２（一般的な魚眼レンズでは９０°）
Ｓ：ターゲット見込み方向とＺ軸のなす角
Ｒ_０：画像上での視野角Ｈ_Ａ円の半径
よって、ＯＧ´のＸ成分ｘ、Ｙ成分ｙ、Ｚ成分ｚは次式で与えられる。
【数１】

【００２２】
上述したターゲット見込み方向推定処理において、ターゲット見込み方向ベクトル成分（ｘ，ｙ，ｚ）が得られたので、このベクトルとパンチルトカメラ１の視野中心線（レンズ光軸）が平行になるようなパンおよびチルト角度を図８と図９に従い算出する。
パン角度は、ベクトル（ｘ，ｙ，ｚ）をパン回転面（三次元平面）に射影したベクトルＶ_１を求め、パン回転面上にＸ´軸とＺ´軸からなる正規直交座標系をとり、Ｖ_１のＸ´成分ｘ´と、Ｚ´成分ｚ´を求めると、パン角度Ｐ_Ａは次式によって求められる。
Ｐ_Ａ＝tan^−１（ｘ´／ｚ´）
【００２３】
次に、チルト角度は、パン回転面の法線方向にＹ´軸をとり、ベクトル（ｘ，ｙ，ｚ）をベクトルＶ_１とＹ´軸が張る三次元平面に投射したベクトルＶ_２を求め、ベクトルＶ_２のＹ´成分ｙ´とＶ_１成分ｖ´を求めると、次式によってチルト角度Ｐ_Ｔが得られる。
Ｐ_Ｔ＝tan^−１（ｙ´／ｖ´）
実施例では、広角カメラ２のレンズ光軸（Ｚ軸）が４５°斜め下を向いているのに対し、パンチルトカメラ１のパン回転面が水平である。
広角カメラ２のレンズ光軸とパンチルトカメラ１のパン回転面とのなす角をθとすると、Ｘ−Ｙ−Ｚ座標系とＸ´−Ｙ´−Ｚ´座標系は図１０に示すようになる。
【００２４】
前記原理により求めたパン角度Ｐ_Ａ、チルト角度Ｐ_Ｔを与えると、パンチルトカメラ１は三次元空間中でのターゲット位置Ｐから広角カメラ２の焦点Ｏに入射光が入射してきた側を向き、かつ該パンチルトカメラ１の視野中心線と直線ＯＰ（入射光の入射方向）は平行となるように向く。さらに、パンチルトカメラ１と広角カメラ２が近接して設置されているため、該視野中心線と直線ＯＰは互いに近接している。すなわちパンチルトカメラ１の視野中心線は三次元空間中でのターゲット位置Ｐに近接しており、よってＰはパンチルトカメラ１の撮影像の中心付近に撮影されることになる。
【００２５】
上記原理から分かるように、パンチルトカメラ１と広角カメラ２を近接して設置すればするほど、三次元空間中でのターゲット位置Ｐが正確にパンチルトカメラ１の視野中心に撮影される。
したがって、パンチルトカメラ１の映像上でＰをどれだけ正確に視野中心に捉えたいかによってパンチルトカメラ１と広角カメラ２の距離（どれだけ近接させねばならないか）を決めればよい。
【００２６】
実施例では、パンチルトカメラ１としてパン回転中心とチルト回転中心が一致するものを使用しており、パンチルトカメラ１と広角カメラ２の距離の決め方は容易になっている。すなわち、三次元空間中でのターゲット位置Ｐに対しそれを狙うパンチルトカメラ１の視野中心線が距離ｄ以上それてはならないなら、二点Ｏ^・Ｏ間の距離がｄ未満になるようパンチルトカメラ１と広角カメラ２を設置せねばならない。
ここで、Ｏ：広角カメラ２の焦点
Ｏ^・：パンチルトカメラ１のパンおよびチルトの回転中心
【００２７】
なお、旋回指令とズーム指令は次の通りである。
▲１▼外接長方形の横サイズがパンチルトカメラ１で撮影される画像の横サイズの７０％と一致するようなパンチルトカメラ１の拡大率を算出する。
▲２▼撮影手段１において、ｚ倍ズームで撮影するときの閾値Ｔ_５を算出し、動き検出部４から入力されたＧが、前回入力時のＧと比べ、距離Ｔ_５以上離れていたときは、パンチルトカメラ１にパン（絶対角度Ｐ_Ａ）、チルト（絶対角度Ｐ_Ｔ）、ズーム（拡大率ｚ）を指令する。
▲３▼現在のＧを記憶し、次のＧの入力を待つ。
【００２８】
ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域でのターゲットの位置および形状の誤推定を自動修正する自動修正手段としては、下記の要素を追加している。
(1) 入力画像を構成する区画のうち、ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域を覆う区画の集合Ｍを記憶する記憶手段２・２５。
(2) 追尾中のターゲットが入力画像上に占めると想定される領域を表す区画の集合Ｈが、Ｍに含まれるか否かを判定する包含判定手段２６。
(3) ＨがＭに含まれるとき、Ｈと共通部分をもつＭの連結領域Ｍ_Ｃ（Ｈ）を出力する連結領域出力手段１・２７。
(4) ＨがＭに含まれるとき、連結領域Ｍ_Ｃ（Ｈ）の周縁上の動きを監視し、動きを検出したときその位置区画Ｂを出力する動き検出手段２・２８。
(5) 動き検出手段２・２８が動きを検知してＢを出力したとき、入力画像を構成する区画からＢを含む連結領域Ｓ_１Ｃ（Ｂ）を出力する連結領域出力手段２・２９。
(6) 動き検出手段２が動きを検知したとき、集合Ｈの内容を連結領域Ｓ_１Ｃ（Ｂ）の内容で置き換える修正手段３０。
【００２９】
上記構成要素により、広角カメラ２の画像上でターゲットが映っていると推定される領域Ｈが領域Ｍ内にある（包含されている）間、Ｈをターゲットとして更新するのと並行して連結領域Ｍ_Ｃ（Ｈ）(Ｈを包含するＭの連結領域）の周縁での動きを監視し、該周縁上の区画Ｂで動きを検知したらＨの更新をやめ、Ｂをターゲットの一部であるとみなして追尾しなおすことにより、領域Ｍの中で永久にターゲット以外のものをターゲットとして誤推定しつづけることを抑止する。
【００３０】
【発明の効果】
以上説明したように、本発明による動画像の自動追尾撮影方法および自動追尾撮影装置は、視野の方向を変更可能な撮影手段１で捉えるべきターゲットをより広角度の撮影手段２の画像上で指定する動画像撮影手段と、同じく撮影手段２の画像上で動く物体の位置と形状を推定し続ける追尾アルゴリズムと、さらに、ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域でのターゲット誤推定を自動修正する手段とによって構成しているので、２つのカメラのみによって動く物体を視野内に捉え続けて自動的に追尾撮影することができる極めて高精度のセキュリティ・システムを構築することが可能である。
【図面の簡単な説明】
【図１】本発明による自動追尾撮影装置の構成を示すブロック図。
【図２】動き検出部の構成を示すブロック図。
【図３】区画の集合Ｓ１の例。
【図４】ターゲット追尾部の構成を示すブロック図。
【図５】センスエリアとマスクエリアの例。
【図６】広角カメラのレンズが通常の場合の説明図。
【図７】広角カメラのレンズが魚眼レンズの場合の説明図。
【図８】パン角度算出方法の説明図。
【図９】チルト角度算出方法の説明図。
【図１０】Ｘ−Ｙ−Ｚ座標系とＸ´−Ｙ´−Ｚ´座標系の関係を示す説明図。
【符号の説明】
１パンチルトカメラ
２広角カメラ
３Ａ／Ｄ変換部
４動き検出部
５ターゲット追尾部
６カメラ制御部
７映像記録装置
１１フレームバッファ
１２減算器
１３２値化回路Ａ
１４集計回路
１５２値化回路Ｂ
２０動き検出手段１
２１ＣＰＵ
２２記憶手段１
２３連結領域列挙手段
２４連結領域選択手段
２５マスク領域メモリ
２６包含判定手段
２７連結領域出力手段１
２８動き検出手段２
２９連結領域出力手段２
３０セレクタ
３１外接長方形算出
３２演算手段２[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an automatic tracking imaging method and apparatus for automatically capturing a moving object in a field of view by using a surveillance camera constituting a security system.
[0002]
[Prior art]
The following method has been used as a method of photographing an object to be monitored with a monitoring camera and monitoring an intruder into the monitoring area.
(1) A method of photographing the entire monitored area with a wide-angle camera.
(2) A method in which the entire monitored area is divided and photographed by dividing the monitoring area using a plurality of cameras having a normal angle of view.
(3) A method in which a camera with a pan / tilt head is pointed in a pre-programmed direction in order.
(4) A method of manually operating a camera with a pan / tilt head to shoot.
[0003]
[Problems to be solved by the invention]
The above-described conventional imaging methods have many problems to be solved.
(1) When shooting with a wide-angle camera, the number of cameras is small, but the sharpness of the shot video is lost.
For example, it is difficult to identify an intruder because it appears small.
{Circle around (2)} In the method of dividing the surveillance area and performing shared photography, a large number of cameras are required.
(3) The method of shooting with a camera with a pan / tilt pan head with a built-in program makes it difficult to effectively capture an intruder.
That is, there is a risk that important images such as an intruder's face will be missed.
(4) When a camera with a pan / tilt head is manually operated, it is necessary to always arrange necessary personnel.
[0004]
[Means for Solving the Problems]
The present invention seeks to overcome the disadvantages of the prior art described above,
A moving image photographing means for designating a target to be captured by the photographing means 1 capable of changing the direction of the field of view on an image of the photographing means 2 having a wider angle of view;
A tracking algorithm that continues to estimate the position and shape of a moving object appearing on a moving image under conditions in which the object continues to move;
Means for automatically correcting a target misestimation in a region where there are many moving objects other than the target or where there are obstacles that block the target;
In this method, the moving object is automatically captured in the field of view of the photographing means 1 for tracking photographing.
[0005]
In addition, Ri by middle of a moving object, and the shadow method shooting but rather that continues to capture the upper end side within the field of view of the imaging means 1, without tilting the image of the imaging means 1, that continues to capture a moving object in the field of view and shadow method shooting,
The imaging means imposes constraints on change of the field of view of 1 to reduce the wear of the mechanical system, and while realizing a stable shooting, and shadow methods Taking that continues capturing a moving object within the field of view,
Even when zooming with the photographing means 1, an automatic tracking photographing method is achieved by a photographing method that simultaneously reduces the wear of the mechanical system and realizes stable photographing and that keeps moving objects in the field of view at the same time. Configured.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a moving image automatic tracking imaging apparatus according to the present invention.
[0007]
The pan / tilt camera 1 is a camera having a pan function and a tilt function, and can clearly photograph an intruder (target).
It is preferable that the pan rotation surface is set to be horizontal, and the pan rotation center coincides with the tilt rotation center.
[0008]
Wide angle camera 2, follow the normal far-near projections ripe Nzuka, a camera used as a moving image photographing means having a fish-eye lens according to the fisheye projection, the viewing angle is wide range of monitored area to to 90 ° or the like, can be accommodated in cortex vision have wider than at least the pan-tilt camera 1 single field.
Note that the pan / tilt camera 1 and the wide-angle camera 2 are installed close to each other, and the optical axis of the lens, which is the visual field center line , is obliquely inclined about 45 °.
[0009]
The A / D conversion unit 3 is a circuit that converts a moving image (analog video signal) captured by the wide-angle camera 2 into digital moving image data.
[0010]
The motion detection unit 4 receives the digital image data output from the A / D conversion unit 3 and outputs a set S1 of sections in which the motion is detected. The internal configuration is as shown in FIG.
The frame buffer 11 is a FIFO memory that gives a delay of one frame time to the digital moving image data, and temporarily stores the digital moving image data for one frame.
The subtractor 12 subtracts, for each pixel, the Y component of the moving image data one frame before stored in the frame buffer 11 from the Y component of the input digital moving image data, and the result (density difference). It is a circuit to output.
Binarizing circuit A13 is a circuit for outputting the absolute value of thresholds T ₁ greater than the pixel density difference 1, the other pixels as 0.
The totaling circuit 14 is a circuit that counts the number of pixels having a value of 1 by the binarization circuit A13 for each section.
Binarization circuit B15 is the aggregate value by the summing circuit 14 is the threshold value T ₂ is greater than section 1, to convert the partition otherwise zero output.
[0011]
Next, the processing procedure of the motion detection unit 4 will be described.
(1) The difference between the Y component of the current one frame and the immediately preceding (past) one frame is obtained for each pixel using the frame buffer 11 and the subtractor 12.
▲ 2 ▼ 2 binarization circuit A13 is, the difference is 1 constant T ₁ is greater than the pixel, and converts the other pixels to 0.
(3) The counting circuit 14 adds up the number of pixels having the value 1 for each section. For example, the section is rectangular, and an image of 320 pixels wide and 240 lines high is divided into 32 columns wide and 15 lines high.
▲ 4 ▼ 2 binarization circuit B15 1 a is the aggregate values constant T ₂ greater compartments, and outputs the set S1 and converts the compartments otherwise zero.
That is, in the present embodiment, as a data format expressing a “set of partitions”, data in which a partition included in the set is replaced with 1 and a partition other than that is replaced with 0 among partitions forming an image for one frame. The format is adopted, as shown in FIG.
[0012]
The target tracking unit 5 receives the set S1 of sections output from the motion detection unit 4, estimates the target current position on the image, and outputs the two-dimensional coordinates.
However, since the target may not exist (there is no moving object in the field of view of the wide-angle camera 2), detection / non-detection of the target is also separately output as the target detection signal 10 and given to the subsequent stage.
Also, the size of the target on the image is output for controlling the enlargement ratio of the pan / tilt camera 1.
[0013]
The internal configuration of the target tracking unit 5 is as shown in FIG.
The CPU 21 is a central control device that performs various processes of each block constituting the target tracking unit 5, and the storage means 1 and 22 are memories that hold the current position, shape, and size of the target as a set of sections. is there.
The connected area listing means 23 is an arithmetic means for obtaining a set W of the connected areas included in the set S1 that have a common part with the given set S2.
The connected area selecting means 24 is a means for selecting and outputting the set H that minimizes the value of the function d (H) below from the set W output by the connected area listing means 23.
d (H) = (number of partitions included in the intersection of the set S 2 and set H)
÷ (number of partitions in set H)
Storage means 2, 25 is a memory for storing a set M of partitions covering the obstructions between the region or target and the camera there is motion other than the target, the content is written to when the system starts, the base is being tracked running Do not rewrite.
The inclusion determination means 26 is a block for determining whether the target position and shape estimation result H is included in M. The connected region output means 1 and 27 have a common part with H when H is included in M. This is a block for outputting M connected areas M _C (H).
The motion detection means 2 and 28 are means for outputting a position (section) B when motion is detected on the periphery of M _C (H) when H is included in M. Reference numeral 29 denotes a means for obtaining and outputting a connected area including the section B output by the motion detection means 2 and 28 from S1.
The correction means 30 receives the result of the inclusion determination means 26 and selects the content to be stored in the storage means 1 and 22 (output as H 2 ).
The circumscribed rectangle calculating unit 31 obtains the position and size of the rectangle circumscribing the target on the image.
Calculation means 2-32 obtains a phase Gapyeong average G coordinates of compartments in the set H, and outputs as the representative position of the target.
[0014]
The target tracking unit 5 has three states of “target not detected”, “target tracking”, and “standby”.
The “target undetected” state indicates that the target is waiting in the field of view of the wide-angle camera 2, and the “target tracking” state indicates that the target is moving in the field of view of the wide-angle camera 2. The tracking state is shown, and the “standby” state shows a state where the target is stopped within the field of view of the wide-angle camera 2.
[0015]
Next, the processing in the “target not detected” state in the target tracking unit 5 is as follows.
(1) Wait until motion is detected in a predetermined area (sense area) on the screen.
That is, it waits for a common part to occur between the set S1 output by the motion detection unit 4 and the set of sections constituting the sense area shown in FIG.
(2) When motion is detected in the sense area,
a. The connected area including the moved part is cut out from the set S1 and given to the storage means 1 and 22 as an initial value.
b. Transition to “Target Tracking” state.
[0016]
Processing in the “target tracking” state is as follows.
(1) As shown in FIG. 4, the contents (set of sections S2) of the storage means 1 and 22 are updated.
(2) When the following conditions are satisfied, the state transits to the “waiting” state.
a. After update S2⊂ Before update S2
[0017]
Processing in the “waiting” state is as follows.
(1) Determine whether motion is detected in a preset area (sense area) on the screen.
That is, it is determined whether or not the set S1 output by the motion detection unit 4 includes a section constituting the sense area.
When a motion is detected, the same processing as (2) a and b in “Target not detected” is performed.
(2) When the above condition is satisfied and any of the following conditions is satisfied, the state transits to the “target tracking” state.
a. Not H 2 ⊂ set S2 (H 2 protrudes from S2)
(3) When _TC seconds elapse without the above condition being satisfied, the state transits to the “target not detected” state.
[0018]
The target detection signal 10 outputs 0 in the “target not detected” state and 1 in other states.
The reason for providing the “standby” state is as follows.
(1) When the target stops moving, the motion detection unit 4 hardly detects the motion, so that the number of sections included in the set S1 is smaller than that during the movement of the target.
(2) If the update of S2 stored in the storage means 1 and 22 is continued in this state, S2 becomes an empty set, which is hindered for the subsequent tracking.
(3) Therefore, it is necessary to stop the updating of the storage means 1 and 22 until the target starts moving again after it stops.
[0019]
The camera control unit 6 receives the target coordinates G, the target detection signal 10 and the position and size of the circumscribed rectangle output from the target tracking unit 5, rotates the pan / tilt camera 1 so as to capture the target in the field of view, and enlarges it. The rate is set and consists of the following steps.
(1) From the coordinate G, it is estimated in which direction the target exists as viewed from the wide-angle camera 2. (Target prospective direction estimation)
(2) The pan and tilt angles given to the pan / tilt camera 1 are calculated from the estimated directions. (Camera turning angle calculation)
(3) The calculated pan and tilt angles are given to the pan / tilt camera 1 and turned.
(Turn command)
(4) A zoom command is given to the pan / tilt camera 1 so that the horizontal size of the circumscribed rectangle matches 70% of the horizontal size of the image captured by the pan / tilt camera 1. (Zoom command)
However, when the target detection signal 10 is 0 (target not detected), the above processing is not performed and the process waits.
[0020]
The target position G on the image captured by the wide-angle camera 2 is input to the camera control unit 6, and a vector component from the focal point of the wide-angle camera 2 toward the target is obtained based on this.
There are two types of target prospecting direction estimation: a normal wide-angle lens (according to a perspective projection method) and a fish-eye lens (according to a fish-eye projection method) as lenses used in the wide-angle camera 2, and according to the principle described below, Find the vector component from the focus to the target.
The estimation of the target prospective direction when the lens of the wide-angle camera 2 is normal (according to the perspective projection method) will be described with reference to FIG.
In FIG. 6, the vector from the focal point O of the wide-angle camera 2 toward the target position P in the three-dimensional space gives the target prospective direction to be obtained.
Here, the X axis is aligned with the horizontal direction, and the Z axis is aligned with the field center line (lens optical axis).
In order to simplify the derivation of the vector component, a vector OG parallel to OP is obtained. Here, G is the intersection of the straight line OP and the projection plane.
In FIG. 6, when the X-axis component of OG is x, the Y-axis component is y, and the Z-axis component is z, the following equation is obtained.
x = μ
y = ν
_{z = d = H W / tan} (H A) ...... (1)
here,
μ: X component of coordinate G ν: Y component of coordinate G H _W : Perspective projection method of lens 1/2 of the full width of the projection surface
H _A : 1/2 of the horizontal viewing angle of the lens
d: Distance from lens focus to projection plane x: X component of vector OG y: Y component of vector OG z: Z component of vector OG
A method for estimating a target prospective direction when the lens of the wide-angle camera 2 is a fish-eye lens (following the fish-eye projection method) will be described with reference to FIG.
In FIG. 7, the vector from the focal point O of the wide-angle camera 2 toward the target position P in the three-dimensional space gives the target expected direction to be obtained.
Here, the X axis is aligned with the horizontal direction, and the Z axis is aligned with the field center line (lens optical axis).
In order to simplify the derivation of vector components, a vector OG ′ parallel to OP is obtained. G ′ is a point on the plane Z = γ, and γ represents the fisheye projection plane radius.
From FIG. 7, D ₂ = γs
R ₀ = γH _A
Therefore,
D ₁ = γtans = R ₀ / _HA · tan [( _HA / R ₀ ) · D ₂ ] (2)
here,
G ₀ : intersection point between plane z = γ and Z axis (lens optical axis) γ: fish-eye projection projection radius D ₁ : distance from G ₀ to G ′ D ₂ : arc length H _A from G ₀ to G : Lens viewing angle ÷ 2 (90 ° for a general fisheye lens)
S: Angle formed by the target target direction and the Z axis R ₀ : Viewing angle H _A on the image The X component x, Y component y, and Z component z of OG ′ are given by the following equations.
[Expression 1]

[0022]
In the target target direction estimation process described above, since the target target direction vector component (x, y, z) is obtained, panning and panning such that the vector and the visual field center line (lens optical axis) of the pan / tilt camera 1 are parallel to each other. The tilt angle is calculated according to FIGS.
For the pan angle, a vector V ₁ obtained by projecting the vector (x, y, z) onto the pan rotation plane (three-dimensional plane) is obtained, and an orthonormal coordinate system including the X ′ axis and the Z ′ axis is taken on the pan rotation plane. and X'component x'of _{V 1,} when obtaining the Z'component z ', the pan angle _{P a} is determined by the following equation.
P _A = tan ⁻¹ (x ′ / z ′)
[0023]
Next, the tilt angle is obtained as a vector V ₂ obtained by projecting the vector (x, y, z) onto a three-dimensional plane extending from the vector V ₁ and the Y ′ axis with the Y ′ axis in the normal direction of the pan rotation surface. When the Y ′ component y ′ and the V ₁ component v ′ of the vector V ₂ are obtained, the tilt angle _PT is obtained by the following equation.
P _T = tan ⁻¹ (y ′ / v ′)
In the embodiment, the lens optical axis (Z-axis) of the wide-angle camera 2 is inclined 45 ° obliquely downward, whereas the pan rotation surface of the pan-tilt camera 1 is horizontal.
When the angle formed by the lens optical axis of the wide-angle camera 2 and the pan rotation surface of the pan / tilt camera 1 is θ, the XYZ coordinate system and the X′-Y′-Z ′ coordinate system are as shown in FIG. .
[0024]
Pan angle P _A was determined by the _principle, given a tilt angle P _T, pan tilt camera 1 faces a side of incident light on the focal point O of the wide-angle camera 2 from the target position P has entered in a three-dimensional space, and The pan-tilt camera 1 has a visual field center line and a straight line OP (incident light incident direction) that are parallel to each other. Further, since the pan / tilt camera 1 and the wide-angle camera 2 are installed close to each other, the visual field center line and the straight line OP are close to each other. That is, the visual field center line of the pan / tilt camera 1 is close to the target position P in the three-dimensional space, and thus P is captured near the center of the captured image of the pan / tilt camera 1.
[0025]
As can be seen from the above principle, the closer the pan / tilt camera 1 and the wide-angle camera 2 are installed, the more accurately the target position P in the three-dimensional space is photographed at the center of the visual field of the pan / tilt camera 1.
Therefore, the distance between the pan / tilt camera 1 and the wide-angle camera 2 (how close it should be) should be determined according to how accurately P is to be captured at the center of the field of view on the video of the pan / tilt camera 1.
[0026]
In the embodiment, the pan / tilt camera 1 having the same pan rotation center and the same tilt rotation center is used, and the method of determining the distance between the pan / tilt camera 1 and the wide-angle camera 2 is easy. That is, if the visual field center line of the pan / tilt camera 1 aiming at the target position P in the three-dimensional space should not be more than the distance d, the pan / tilt camera 1 is set so that the distance between the two points O ^and O is less than d. And a wide-angle camera 2 must be installed.
Where: O: focal point of the wide-angle camera 2 O: pan ^/ tilt rotation center of the pan ^/ tilt camera 1
The turn command and zoom command are as follows.
(1) The enlargement ratio of the pan / tilt camera 1 is calculated so that the horizontal size of the circumscribed rectangle matches 70% of the horizontal size of the image captured by the pan / tilt camera 1.
(2) When the photographing means 1 calculates a threshold value T ₅ when photographing with z-fold zoom, and the G input from the motion detector 4 is more than the distance T ₅ compared to the G at the previous input. Instructs the pan / tilt camera 1 to pan (absolute angle P _A ), tilt (absolute angle P _T ), and zoom (enlargement factor z).
(3) Store the current G and wait for the next G input.
[0028]
The following elements are added as automatic correction means for automatically correcting an erroneous estimation of the position and shape of the target in a region where there are many moving objects other than the target or there are obstacles that block the target.
(1) of the separation constituting the input image, the storage unit 2 · 25 for storing the set M of compartments will covering an area or moving objects other than the target is present many or obstructions the target exists.
(2) Inclusion determination means 26 for determining whether or not M includes a set H of sections representing areas assumed to be occupied by the target being tracked on the input image.
(3) Connected region output means 1 and 27 for outputting M connected regions M _C (H) having a common part with H when H is included in M.
(4) When H is contained in M, connecting region M _C monitors the movement of the periphery of the _(H), the

motion detection unit

2, 28 and outputting the position 置区image B when it detects motion.
(5) When the movement detector 2 · 28 Outputs the B detects motion, connecting outputs the connection region S _1C containing B from the compartment constituting an input image _(B) domain output unit 2 · 29 .
(6) when the movement detector 2 detects the motion, modified hand stage to replace the contents of the set H in contents of the connection area S _{1C (B)} 3 0.
[0029]
While the region H where the target is estimated to be reflected on the image of the wide-angle camera 2 is within (included in) the region M, the connected region is updated in parallel with updating H as the target. When the movement at the periphery of M _C (H) (the connected region of M including H) is detected and movement is detected in the section B on the periphery, the update of H is stopped, and B is a part of the target. By recognizing and re-tracking, it is possible to prevent the region M from being erroneously estimated as a target other than the target forever.
[0030]
【The invention's effect】
As described above, the moving image automatic tracking imaging method and the automatic tracking imaging apparatus according to the present invention specify the target to be captured by the imaging unit 1 capable of changing the direction of the field of view on the image of the imaging unit 2 at a wider angle. Moving image capturing means, a tracking algorithm that continues to estimate the position and shape of a moving object on the image of the capturing means 2, and there are many moving objects other than the target, or there are obstacles that block the target System that automatically corrects the target misestimation in the target area, so that it can keep track of moving objects in the field of view by using only two cameras and can automatically track and capture them. It is possible to build
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an automatic tracking photographing apparatus according to the present invention.
FIG. 2 is a block diagram showing a configuration of a motion detection unit.
FIG. 3 shows an example of a set of partitions S1.
FIG. 4 is a block diagram showing a configuration of a target tracking unit.
FIG. 5 shows an example of a sense area and a mask area.
FIG. 6 is an explanatory diagram when a lens of a wide-angle camera is normal.
FIG. 7 is an explanatory diagram when the lens of the wide-angle camera is a fish-eye lens.
FIG. 8 is an explanatory diagram of a pan angle calculation method.
FIG. 9 is an explanatory diagram of a tilt angle calculation method.
FIG. 10 is an explanatory diagram showing a relationship between an XYZ coordinate system and an X′-Y′-Z ′ coordinate system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Pan / tilt camera 2 Wide angle camera 3 A / D conversion part 4 Motion detection part 5 Target tracking part 6 Camera control part 7 Video recording apparatus 11 Frame buffer 12 Subtractor 13 Binary circuit A
14 Total circuit 15 Binary circuit B
20 Motion detection means 1
21 CPU
22 Storage means 1
23 connected area listing means 24 connected area selecting means 25 mask area memory 26 inclusion determination means 27 connected area output means 1
28 Motion detection means 2
29 Connection area output means 2
30 selector 31 circumscribed rectangle calculation 32 calculation means 2

Claims

入力画像の動きを画像を構成する区画ごとに求め、動きを検知した区画の集合Ｓ１を出力する動き検出手段１と、
前記集合Ｓ１に含まれる連結領域のうち、与えられた集合Ｓ２と共通部分を持つ連結領域の集合Ｗを求める連結領域列挙手段と、
前記連結領域列挙手段が出力した集合Ｗから、下記関数ｄ（Ｈ）の値が最小となる連結領域Ｈを選択して出力する連結領域選択手段と、
ｄ（Ｈ）＝（集合Ｈと集合Ｓ２の共通部分に含まれる区画数）
÷（集合Ｈに含まれる区画数）
前記連結領域選択手段が出力した連結領域Ｈを一時的に記憶し、該記憶内容を連結領域列挙手段の要求に応じて集合Ｓ２として出力する記憶手段１と、
連結領域選択手段が出力した連結領域Ｈに含まれる区画の座標の相加平均Ｇを求め、ターゲットの代表位置として出力する演算手段２と、
によって構成し、動画像に映っている動く物体の位置と形状を推定する追尾手段を設けたことを特徴とする動画像の自動追尾撮影方法。A motion detection unit 1 that obtains a motion of an input image for each partition constituting the image and outputs a set S1 of partitions in which the motion is detected;
Among the connected areas included in the set S1, connected area enumeration means for obtaining a set W of connected areas having a common part with the given set S2,
A connected area selecting means for selecting and outputting a connected area H having a minimum value of the following function d (H) from the set W output by the connected area listing means;
d (H) = (the number of partitions included in the common part of the set H and the set S2)
÷ (number of partitions in set H)
Storage means 1 for temporarily storing the connected area H output by the connected area selecting means, and outputting the stored contents as a set S2 in response to a request from the connected area listing means;
An arithmetic means 2 for obtaining an arithmetic mean G of coordinates of sections included in the connected area H output by the connected area selecting means, and outputting it as a representative position of the target;
And a tracking means for estimating the position and shape of a moving object appearing in the moving image is provided.

入力画像を構成する区画のうち、ターゲット以外の動く物体が多数存在するか、もしくはターゲットを遮る障害物が存在する領域を被う区画の集合Ｍを記憶する記憶手段２と、
追尾中のターゲットが入力画像上に占めると推定される領域を表す区画の集合Ｈが前記集合Ｍに含まれるか否かを判定する包含判定手段と、
集合Ｈが集合Ｍに含まれるとき、集合Ｈと共通部分を持つ集合Ｍの連結領域Ｍ_Ｃ（Ｈ）を出力する連結領域出力手段１と、
集合Ｈが集合Ｍに含まれるとき、連結領域Ｍ_Ｃ（Ｈ）の周縁上の動きを監視し、動きを検出したときその区画Ｂを出力する動き検出手段２と、
動き検出手段２が動きを検知したとき、入力画像を構成する区画からＢを含む連結領域Ｓ_１Ｃ（Ｂ）を出力する連結領域出力手段２と、
動き検出手段２が動きを検知したとき、集合Ｈの内容を連結領域Ｓ_１Ｃ（Ｂ）の内容で置き換える修正手段と、
によって構成し、ターゲット以外の動く物体が多数存在する領域でのターゲットの位置および形状の誤推定を自動修正する自動修正手段を設けたことを特徴とする動画像の自動追尾撮影方法。Storage means 2 for storing a set M of sections covering an area where there are many moving objects other than the target among the sections constituting the input image or where there are obstacles blocking the target;
Inclusion determination means for determining whether or not a set H of segments representing an area estimated to occupy the target being tracked on the input image is included in the set M;
When the set H is included in the set M, the connected region output means 1 for outputting the connected region M _C (H) of the set M having a common part with the set H;
When the set H is included in the set M, the motion detection means 2 that monitors the motion on the periphery of the connected region M _C (H) and outputs the section B when the motion is detected;
A connected region output unit 2 that outputs a connected region S _1C (B) including B from a section constituting the input image when the motion detecting unit 2 detects a motion;
Correction means for replacing the contents of the set H with the contents of the connected region S _1C (B) when the motion detection means 2 detects a motion;
Configured, method of automatically tracking and photographing a moving image, characterized in that the target position and shape of the erroneous estimation of at realm moving objects other than the target that exists many provided automatic correction means for automatically corrected by.