JP4848097B2 - 移動体の監視方法および装置 - Google Patents
移動体の監視方法および装置 Download PDFInfo
- Publication number
- JP4848097B2 JP4848097B2 JP2001177897A JP2001177897A JP4848097B2 JP 4848097 B2 JP4848097 B2 JP 4848097B2 JP 2001177897 A JP2001177897 A JP 2001177897A JP 2001177897 A JP2001177897 A JP 2001177897A JP 4848097 B2 JP4848097 B2 JP 4848097B2
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- speed
- motion vector
- turning
- zoom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、港湾、鉄道、空港やプラント等の重要施設において、監視員に代わり、監視用撮像装置の映像から侵入者などの移動体を検知し、撮像装置を旋回・ズームさせながら追尾して記録できるようにした自動監視システムなどにおける移動体の監視方法および装置に関し、さらに詳しくは、旋回・ズームしている撮像装置の撮像データから、移動体を抽出して追尾する技術に関する。
【0002】
【従来の技術】
監視用撮像装置で移動体を認識して追尾する技術としては、特開平5−227463号公報や、特開平9−214945号公報に示されたものがある。まず特開平5−227463号公報に示されたものは、画像データを複数のブロックに分割し、ジョイスティックで座標を入力して移動体を含む複数ブロックを追跡ベクトル検出領域として枠で囲み、その中のブロックを少しずつ移動させながら前の画像との明るさの差を取り、その絶対値和が最も小さくなる位置で動きベクトルを検出し、追尾するものである。
【0003】
しかしながらこの方法では、人がジョイスティックを操作して追跡ベクトル検出領域の座標を入力する必要があり、無人の監視装置には使えない。また被写体をズーミングして拡大、縮小した場合、最初に設定した追跡ベクトル検出領域は使えなくなり、追跡ができなくなる。
【0004】
次の特開平9−214945号公報に示されたものは、まず、相前後する撮像データの中から逐次テンプレートマッチングの手法を用いて移動体の位置を特定し、概略動きベクトルを演算する。一方、移動体の角(コーナー)などの特徴点を抽出し、前記概略動きベクトルからこの特徴点を追跡して正確な移動量や方向を検出する。そしてこのデータから前記概略動きベクトルを補正し、移動体のほぼ正確な位置を特定できるようにして、撮像装置の旋回やズーミング、移動体の回転、伸縮、変形等にも対応して追尾できるようにしたものである。
【0005】
しかしこの方法も、移動体の特徴点が抽出できないと補正ができずに移動体の正確な位置を特定できなくなり、また逐次テンプレートマッチング法は計算負荷が大きく、特殊なハードウェアを必要とするという欠点があった。
【0006】
この他の方法としては、撮像データからオプティカルフローを検出し、投票法により、等速直線運動する移動体領域のみを抽出するものがある。これについては電子情報通信学会論文誌(D−II)Vol.J80−D−II、NO.5(1997)「複雑変動背景下における移動物体の検出」、三菱重工技報Vol.36、NO.2(1999)「動画像処理技術を用いた移動体監視システムの開発」等に詳細に述べられている。
【0007】
これは、まず相前後する撮像データから被写体の同一点の移動量をオプティカルフローとして検出し、そのオプティカルフローの長さ、方向成分の頻度を投票して移動体と背景を分離するもので、今、撮像装置が右から左に旋回し、そこに車が右方から左方に向かって撮像装置の旋回速度より速いスピードで現れたとすると、そのオプティカルフローは図8の(A)に矢印で示したようになる。
【0008】
すなわちこの図8の(A)において、点線で示した81は最初の撮像データにおける車の位置で、82の実線で示したものは次の撮像データにおける車の位置であり、この場合、車のオプティカルフローは左向きの矢印83のようになり、背景は、画面上左から右に流れているように見えるため、右向きの矢印84のようになる。そのため、このそれぞれのオプティカルフローの水平速度u、垂直速度vを、図8(B)に示した水平速度u、垂直速度vの平面の対応した場所に投票して頻度を出すと、背景が85、移動体が86のようになり、背景と移動体が識別できる。
【0009】
この方法だと、撮像装置を旋回させても安定して移動体と背景を区別でき、また、日照変化や波や風に揺らぐ木々などのような外乱要因による背景変動は、投票したときに頻度の高いところが現れないからこれも移動体とは区別できる。しかし、撮像装置のレンズをズーミングさせると、ズーミングによる画面中央からの放射状の動きが現れ、これが旋回による動きと合わさって複雑なオプティカルフローとなり、移動体のみを分離するのが難しくなって対応できなくなる。
【0010】
しかし侵入者の行動を記録する場合、監視員が人物を特定したり、その行動が十分判別できる程度にズームし、かつ侵入者を撮像装置の中心に維持するように撮像装置を旋回させる必要がある。
【0011】
【発明が解決しようとする課題】
以上の事情に鑑み本発明においては、撮像装置を旋回させながらズーミングしても、移動体を安定して追尾できる移動体の監視方法および装置を簡単な構成で実現することが課題であり、さらに詳しくは、撮像データから撮像装置の旋回速度とズーム速度を算出し、それによって背景と移動体を識別して移動体を安定に追尾できる移動体の監視方法および装置を提供することが課題である。
【0012】
【課題を解決するための手段】
そして、請求項1は方法発明であって、
撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出するステップと、該移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする。
【0013】
また、この請求項1の方法発明を実施するための装置である請求項7に記載された発明は、
一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置に旋回及びズームを指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする。
【0014】
このように、オプティカルフローから動きベクトルを算出して撮像装置のズーム速度と旋回速度を計算することで、移動体領域を確実に抽出して移動速度、方向を計算することができ、それによってズーム、旋回している撮像データで安定して移動体を追尾することができる。
【0015】
しかしながらこのように構成した場合、画像データ全体からズーム速度と旋回速度を計算しているため、移動体が現れると誤差が生じる。それを解決するため請求項2に記載した発明においては、
撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域と背景領域を分離するステップと、分離した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出するステップと、該再算出したズーム速度及び旋回速度と前記移動体領域の動きベクトルとから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする。
【0016】
また、この請求項2の方法発明を実施するための装置である請求項8に記載された発明は、
一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出し、残り領域を背景領域とする移動体領域抽出部と、該移動体領域抽出部が抽出した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再計算する動きベクトル補正部と、前記移動体領域の動きベクトルと前記再計算したズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置にズーム及び旋回を指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする。
【0017】
このように、背景領域と移動体領域を分離した後、背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出することで、より正確なズーム速度と旋回速度を得ることができ、追尾を正確に行えるようになる。
【0018】
また、このズーム速度と旋回速度を計算で得るのではなく、撮像装置の旋回装置の実旋回量、及びズームレンズの実ズーム量を検出するようにしてもよい。この場合は、
撮像装置を旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出するステップと、撮像装置の実ズーム速度と実旋回速度を検出し、該検出した実ズーム速度及び実旋回速度と前記動きベクトルとから移動体領域を抽出するステップと、該移動体領域の動きベクトルと前記実ズーム速度及び実旋回速度とから移動体の移動方向と速度を算出し、撮像装置のズーム量と旋回量を再算出して移動体を追尾するとよい。
【0019】
また、この方法発明を実施するための装置は、
旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出する動きベクトル検出部と、撮像装置の実ズーム速度と実旋回速度を検出して前記動きベクトルとから移動体領域の移動方向と速度を算出し、撮像装置のズーム速度と旋回速度を再算出して撮像装置に指示するズーム旋回制御部と、該ズーム旋回制御部が検出した撮像装置の前記実ズーム量及び実旋回量と前記動きベクトルとから移動体領域を抽出して前記ズーム旋回制御部に送る移動体領域抽出部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾するとよい。
【0020】
すなわち、このように撮像装置の実ズーム量と実旋回量を検出することで、これらの値を別途算出する課程を1つ省くことができ、それだけ制御装置の負荷を少なくすることができる。
【0021】
また、オプティカルフローの算出手段として従来ではマッチング法が用いられているが、この方法は前記したように計算負荷が高い。それを解決するため本発明においては、
前記オプティカルフローを、オプティカルフローのx成分の空間微分とy成分の空間微分とから計算する勾配法で算出することを特徴とする。
【0022】
このように計算手段として勾配法を採用することで、マッチング法に比べて計算負荷を少なくし、さらに特別なハードなどを用意する必要が無くなり、経済的に構成することができる。
【0023】
またこの勾配法を実施するときは、勾配法の推定精度が画素ピッチに制約されないことを利用し、撮像した画像を縮小することでさらに計算負荷を軽減できる。これを実現するため請求項3に記載した発明においては、
撮像データからオプティカルフローを求める際は撮像データを大きな縮小率で縮小して算出することを特徴とする。
【0024】
このように撮像データを縮小することで、オプティカルフローの推定精度を損なうことなく計算負荷を大幅に軽減できる。
【0025】
また、移動体領域を抽出して背景領域と分離する方法は、請求項4または5に記載したように、
移動体領域を抽出するステップは、前記ズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以上の領域を移動体領域として抽出することを特徴とする。
移動体領域と背景領域を分離するステップは、前記再算出したズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以下の領域を背景領域とし、残りを移動体領域として分離することを特徴とする。
【0026】
また、同じく移動体領域を抽出して背景領域と分離する他の方法として、請求項6に記載したように、
移動体領域を抽出するステップ、または移動体領域と背景領域を分離するステップは、前記動きベクトルからズーム速度成分を除いたベクトルの頻度を算出する投票法で抽出することを特徴とする。
【0027】
このようにすることで、簡単、確実に移動体領域と背景領域を分離できる。
【0028】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を例示的に詳しく説明する。但しこの実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限りは、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【0029】
図1は本発明になる移動体の監視装置の第1実施例であり、図2はそのフロー図、図3は、撮像装置をズーム、旋回させた場合における撮像データ上の被写体の動きの説明図である。図において1はズームレンズ2、パン・チルトを含む旋回をおこなわせる旋回装置3を持つ撮像装置、4は撮像装置1からのデータをアナログ・デジタル変換すると共に、動きベクトル検出のために撮像データを複数記憶するメモリを持つ画像入力部、5は画像入力部4に記憶された撮像データから動きベクトルを検出する動きベクトル検出部、6は動きベクトル検出部5の検出結果を元に、撮像装置1のズーム量と旋回量を検出するズーム量旋回量検出部、8は動きベクトル検出部5とズーム量旋回量検出部6からのデータを元に移動体領域を抽出する移動体領域抽出部、9は動きベクトル検出部5、ズーム量旋回量検出部6、移動体領域抽出部8からの信号で移動体を画面の中心に位置させる旋回量を計算すると共に、移動体を適度な大きさに拡大するズーム量を計算するズーム旋回制御部、10はズーム旋回制御部9からの信号で旋回装置3のパン・チルトを含む旋回を制御する旋回制御部、11はズーム旋回制御部9からの信号でズームレンズ2のズーミングを制御するズーム制御部である。
【0030】
撮像装置1が撮像したデータは画像入力部4のメモリに記憶され、動きベクトル検出部5がまず図2のステップ21で、相前後する撮像データから、被写体の同一点の移動量をオプティカルフローとして動きベクトルを算出する。
【0031】
オプティカルフローの算出は、マッチング法か勾配法を基本としておこなわれているものが多い。マッチング法は、相前後する撮像データにおける対応するドットの明るさの差をとり、その絶対値の和を計算すると共に、互いの画像の位置を少しずつずらせて同じことを繰り返し、この絶対値和が最小になるずらし量を移動量としてオプティカルフローを設定するもので、演算方法は単純だが前記したように計算負荷が高い為、多数のフローを実時間で求めるには特殊なハードウェアを必要とする。
【0032】
それに対して勾配法は、時系列画像間の運動物体の微少運動による明るさの時空間変化に対し、数値計算でオプティカルフローを求めるもので計算負荷が小さくて済む。今、画像中の点(x、y)の時刻tにおける輝度をF(x、y、t)とし、u(x、y)、v(x、y)がその点におけるオプティカルフローベクトルのx成分、y成分であるとしたとき、時刻tにおける輝度は時刻t+δtにおける輝度と等しいと期待できる。すなわち、
【数1】
が小さい時間間隔δtに対して成り立つ。もし輝度が、x、y、tに関してなめらかに変化するなら、式(1)の左辺をテイラー級数に展開でき、
【数2】
【数3】
のように表記し、Fx、Fyをそれぞれx方向、y方向の空間微分、Ftを時間微分とすると、次式が得られる。
【数4】
そこで、式(4)に最小二乗法を適用し、動きベクトル(u、v)を推定する。
【0033】
なお、このとき、勾配法の推定精度が画素ピッチに制約されない点を利用し、画像を水平、垂直方向にそれぞれ1/nに縮小したスケール画像Snを使ってフローを求め、これをn倍することで、さらに計算負荷を削減することができる。すなわち、画像サイズは1/n2になるので、小さな領域のフローを求める場合には推定精度が問題になるが、大幅な高速化が可能となる。また勾配法ではフローが大きくなると推定誤差が大きくなるが、Sn上ではフローの大きさも1/nとなるため、大きなフローについてはむしろ推定精度の向上が期待できる。
【0034】
そこで画面全体のオプティカルフローを求める場合は、縮小スケールnの大きな画像で求めた画像全体の粗いオプティカルフローを利用すれば良い。これにより計算処理がより高速化できる。
【0035】
こうして動きベクトルが計算されると、次のステップ22で図1におけるズーム量旋回量検出部6が撮像装置のズーム速度と旋回速度を算出する。最初にズームのみの場合について説明すると、図3(a)における30のような物体を撮像してズーミングした場合、この像は図3(b)の31のようにズーム中心Oから離れながら拡大されてゆく。そのため、時刻t1、t2(t 2 >t 1 )での点P1、P2の関係は、mをズーム速度、Δt=t2−t1とすると、
【数5】
【数6】
となる。
【0036】
ここでズームに加えて旋回を考えると、背景の動きは並進成分のみと考えて問題ないから、先の図形31は図3の(c)に32で示したような位置になる。そのため、撮像装置の旋回速度V0=(u0、v0)は、撮像装置旋回により生じる背景の画像上での見かけの動きベクトルとなり、u0、v0を速度V0のx成分、y成分とすると、上記(5)、(6)式は次のようになる。
【数7】
【数8】
【0037】
そのため、動きベクトルV(u、v)から、ズーム速度mと旋回速度V0=(u0、v0)を求めるには、点P=(x、y)の検出された動きベクトルVの誤差e2が、
【数9】
となるから、全てのベクトルでズーム速度m、旋回速度V0が一定と考えられるので、
【数10】
としてEを最小にするズーム速度m、旋回速度V0を最小二乗法で求めることができる。
【0038】
こうしてズーム速度m、旋回速度V0が算出されると、先に動きベクトル検出部5が計算した動きベクトルを用い、次のステップ23、24で図1の移動体領域抽出部8が移動体領域の抽出をおこなう。これにはステップ23で、先に算出したズーム速度m、旋回速度V0を用いて画面上の各点の予測動きベクトルを計算し、次のステップ24で、この各点の予測動きベクトルと先に算出した動きベクトルの差を取り、その絶対値が閾値以上の点を移動体上の点として移動体領域を特定する。
【0039】
こうして移動体領域が特定されたら、ステップ25で移動体が有るか無いか、すなわち閾値以上の点が有るかどうかが判断され、移動体が無い場合はステップ21に戻る。移動体が有る場合はステップ26で、ズーム旋回制御部9が移動体領域の動きベクトルとズーム速度m、旋回速度V0から移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ27で移動体を画面中央に位置させるための撮像装置1の旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【0040】
そしてこの旋回速度と旋回方向を旋回制御部10に、ズーム量をズーム制御部11に送り、旋回装置3にパン・チルトを含む旋回をおこなわせ、ズームレンズ2にはズーミングをおこなわせる。そのため移動体は、画面中央で、その移動体が何であるか確認できる程度の大きさで撮像される。
【0041】
なお、ステップ21で勾配法を用いてオプティカルフローを算出するとき、先に説明したように撮像画像を1/nに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ24で移動体領域が特定された後、ステップ26で移動体の移動方向と移動速度を算出する前に、この特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。
【0042】
また以上の説明は、撮像装置が旋回、及びズーミングしている時を例として説明してきたが、カメラが静止しているところに移動体が現れた場合、ステップ21で移動体のみの動きベクトルが算出され、また、ズームのない旋回動作のみの場合はステップ22で旋回速度V0のみが算出されるから、後はこれらの値を用いて前記したステップを順次進めることで移動体の追尾が可能になる。
【0043】
さらに以上の説明では、移動体領域を特定するのに、ステップ23でズーム速度m、旋回速度V0から各点の予測動きベクトルを算出し、ステップ24でこの予測動きベクトルと動きベクトルとの差が閾値以上の領域を移動体領域とした。しかし移動体領域を特定する方法はこれだけではなく、例えばステップ23と24の代わりに図2(ロ)のステップ28と29を用い、まずステップ28で、先にステップ21で計算した動きベクトルからズーム速度mの成分を除き、これを図8の(B)に示したu、v平面に投票し、ステップ29で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【0044】
このような構成と方法により、撮像装置が旋回しながらズーミングしても、撮像データから旋回による旋回速度V0とズーム速度mを計算することができ、その計算結果に基づいて移動体を特定して追尾をおこなうことができる。
【0045】
しかしながら以上の説明では、旋回速度V0とズーム速度mを(10)式で計算するとき、撮像データ全体を用いて計算していたが、こうすると画像中に移動体が含まれていると誤差が大きくなる。そのため、一度求めたズーム速度mと旋回速度V0から、撮像データの各点Pでの動きベクトルを予測し、予測値との差の絶対値が閾値以下の点を背景領域とし、この背景領域のみの動きベクトルを用いて再計算することにより、ズーム速度mと旋回速度V0の計算精度を向上させることができる。
【0046】
図4は、このようにズーム速度mと旋回速度V0を再計算する場合の本発明になる監視装置の第2実施例であり、図5はそのフロー図である。図中、図1、図2と同一構成要素には同一番号を付した。図4中7は、動きベクトルを再計算する動きベクトル補正部である。
【0047】
図4の撮像装置1が撮像したデータは、図1と図2で説明したように図5のステップ21で動きベクトル検出部5で処理され、相前後する撮像データから被写体の同一点の移動量がオプティカルフローとして動きベクトルが算出される。そして次のステップ22で、ズーム量旋回量検出部6が、撮像装置のズーム速度mと旋回速度V0を算出する。そしてこれらの値を元に移動体領域抽出部8が、ステップ23で、先に算出したズーム速度m、旋回速度V0を用いて画面上の各点の予測動きベクトルを計算し、次のステップ24で、この各点の予測動きベクトルと先に算出した動きベクトルの差を取り、その絶対値が閾値以上の点を移動体上の点として移動体領域を特定し、それ以外の領域を背景領域とする。
【0048】
そして、移動体がある場合は次のステップ25でそれが判断され、その次のステップ50で動きベクトル補正部7が、まず、背景領域の動きベクトルのみを用いて前記(10)式によりズーム速度m、旋回速度V0を再計算する。そしてこの再計算したズーム速度m、旋回速度V0を用い、ステップ51でズーム旋回制御部9が、移動体の動きベクトルから移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出する。そしてステップ27で、移動体の動きベクトル、再計算したズーム速度m、旋回速度V0を用い、移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【0049】
そしてこの旋回速度と旋回方向を旋回制御部10に、ズーム量をズーム制御部11に送り、旋回装置3にパン・チルトを含む旋回をおこなわせ、ズームレンズ2にはズーミングをおこなわせる。そのため移動体は、画面中央で、その移動体が何であるか確認できる程度の大きさで撮像される。
【0050】
なお、ステップ21で勾配法を用いてオプティカルフローを算出するとき、先に説明したように撮像画像を1/nに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ24で移動体領域が特定された後、ステップ51で移動体の移動方向と移動速度を算出する前に、特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。また、移動体領域を特定する際前記したように、ステップ23と24の代わりに図2(ロ)のステップ28と29を用い、ステップ28で、ステップ51で再計算した動きベクトルからズーム速度mの成分を除き、これを図8の(B)に示したu、v平面に投票し、ステップ29で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【0051】
このようにすることで、実施例1の場合に比してズーム速度m、旋回速度V0が正確に算出でき、移動体をより正確に追尾できる。
【0052】
図6は、ズーム速度mと旋回速度V0を計算で求めるのではなく、撮像装置の実際のズーム速度と旋回速度を検出して移動体を追尾する本発明の第3実施例であり、図7はそのフロー図である。図中図1、図2と同一構成要素には、同一番号を付した。図6中12は、動きベクトル検出部5と移動体領域抽出部8からの信号で移動体を画面の中心に位置させると共に、適度な大きさに拡大する旋回速度とズーム量を計算し、併せて移動体領域抽出部8にその計算結果を知らせるズーム旋回制御部である。
【0053】
撮像装置1が撮像したデータは、図1と図2で説明したようにステップ21で動きベクトル検出部5で処理され、相前後する撮像データから被写体の同一点の移動量がオプティカルフローとして動きベクトルが算出される。いま、撮像装置1が静止して監視しており、移動体が無いとすると、動きベクトル検出部5からは動きベクトル0の信号が、ズーム旋回制御部12からはズーム量旋回量0の信号が出る。そのためステップ70、23、24でズーム速度0、旋回速度0、移動体領域無しという結果が出され、ステップ25で移動体が無いとして処理がステップ21に戻る。
【0054】
このとき移動体が撮像装置1で捕らえられると、動きベクトル検出部5がステップ21で移動体のオプティカルフローから動きベクトルを算出し、移動体領域抽出部8に送る。しかし、この時点ではまだ撮像装置1は動いていないので、ステップ70でズーム旋回制御部12から移動体領域抽出部8に、ズーム速度、旋回速度共に0という信号が送られ、移動体領域抽出部8はステップ23、24で移動体の動きベクトルのあるところを移動体領域としてズーム旋回制御部12に通知する。
【0055】
そのためズーム旋回制御部12は、ステップ26で移動体の動きベクトルから、移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ27で移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出する。
【0056】
そしてこの旋回速度と旋回方向を旋回制御部10に、ズーム量をズーム制御部11に送り、旋回装置3にパン・チルトを含む旋回をおこなわせ、ズームレンズ2にはズーミングをおこなわせて移動体を追尾させる。また、この算出したズーム速度と旋回速度を移動体領域抽出部8に知らせ、次のサイクルで使用する。
【0057】
こうして移動体の追尾が撮像装置1のズームと旋回を伴って開始されると、前記したように撮像装置1が撮像したデータは、ステップ21で動きベクトル検出部5で処理され、動きベクトルが算出される。いま、撮像装置1は前記したようにズームと旋回を開始しており、ステップ70の実ズーム速度mと実旋回速度V0はすでにわかっているから、ステップ23、24で移動体領域抽出部8は、前記したように各点の予測動きベクトルを計算し、実際の動きベクトルとの差を取って閾値より大きな点を移動体領域として抽出し、ズーム旋回制御部12に通知する。
【0058】
そのためズーム旋回制御部12は、ステップ26で移動体の動きベクトルから、移動体の移動方向と速度、及び移動体領域の中心と画面中心との偏差を算出し、ステップ27で移動体を画面中央に位置させるための旋回速度と旋回方向、及び移動体が何であるかを判別できる程度に拡大するためのズーム量を算出し、旋回速度と旋回方向を旋回制御部10に、ズーム量をズーム制御部11に送り、旋回装置3にパン・チルトを含む旋回をおこなわせ、ズームレンズ2にはズーミングをおこなわせて移動体を追尾させる。そして、以下全く同じ動作が繰り返される。
【0059】
なお、勾配法でオプティカルフローを算出するとき、先に説明したように撮像画像を1/nに縮小して求めることで計算負荷を減少させることができるが、この場合、ステップ24で移動体領域が特定された後、ステップ26で移動体の移動方向と移動速度を算出する前に、この特定された移動体領域のみの動きベクトルを小さな縮小率で再計算することで、移動体領域の動きベクトルが正確に計算できる。また、移動体領域を特定する際前記したように、ステップ23と24の代わりに図2(ロ)のステップ28と29を用い、ステップ28で動きベクトルからズーム速度mの成分を除き、これを図8の(B)に示したu、v平面に投票し、ステップ29で頻度の一番多かったオプティカルフローを背景とし、二番目に多かったオプティカルフローを移動体として特定する方法を採ることもできる。
【0060】
また以上の説明では、撮像装置1の実ズーム速度mと実旋回速度V0は、ズーム旋回制御部12から得ると説明してきたが、撮像装置1から機械的に直接検出しても良く、旋回制御部10とズーム制御部11から得るようにしても良い。
【0061】
【発明の効果】
以上記載の如く請求項1、9に記載した本発明によれば、オプティカルフローから動きベクトルを算出して撮像装置のズーム速度と旋回速度を計算することで、移動体領域を確実に抽出して移動速度、方向を計算することができ、それによってズーム、旋回している撮像データで安定して移動体を追尾することができる。
【0062】
また請求項2、10に記載した発明によれば、背景領域と移動体領域を分離した後、背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出することで、より正確なズーム速度と旋回速度を得ることができ、追尾を正確に行えるようになる。
【0063】
また請求項3、11に記載したように、実ズーム量と実旋回量を撮像装置から検出することで、これらの値を別途算出する課程を1つ省くことができ、それだけ制御装置の負荷を少なくすることができる。
【0064】
またオプティカルフローの計算は請求項4に記載したように、勾配法を採用することで、マッチング法に比べて計算負荷を少なくでき、さらに特別なハードなどを用意する必要が無くなり、経済的に構成することができる。
【0065】
さらにオプティカルフローの計算は、請求項5に記載したように、撮像データを縮小することで、オプティカルフローの推定精度を損なうことなく計算負荷を大幅に軽減できる。
【0066】
また移動体領域の抽出も、請求項6、7、8に記載したように、ズーム速度と旋回速度から各点の予測動きベクトルを計算して動きベクトルとの差を求めたり、動きベクトルからズーム速度成分を除いて投票することで、簡単、確実に移動体領域と背景領域を分離でき、マッチング法を使うときのように計算処理に特別なハードを必要としたりせず、経済的に構成できる。
【0067】
以上、種々述べてきたように本発明は、撮像装置を旋回させ、かつ、その移動体が何であるか確認できる程度にズーミングしながら、安定して追尾する事ができる移動体の監視方法および装置を簡単で安価な構成で実現することができ、監視方法および装置として大きな効果をもたらすものである。
【図面の簡単な説明】
【図1】 本発明の第1実施例の要部構成を示すブロック図である。
【図2】 本発明の第1実施例のフロー図である。
【図3】 撮像装置をズームさせながら旋回させたときの、画面上の被写体の動きの説明図である。
【図4】 本発明の第2実施例の要部構成を示すブロック図である。
【図5】 本発明の第2実施例のフロー図である。
【図6】 本発明の第3実施例の要部構成を示すブロック図である。
【図7】 本発明の第3実施例のフロー図である。
【図8】 オプティカルフローを投票して移動体を特定する従来方法の説明図である。
【符号の説明】
1 撮像装置
2 ズームレンズ
3 旋回装置
4 画像入力部
5 動きベクトル検出部
6 ズーム量旋回量検出部
7 動きベクトル補正部
8 移動体領域抽出部
9 ズーム旋回制御部
10 旋回制御部
11 ズーム制御部
12 ズーム旋回制御部
Claims (8)
- 撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出するステップと、該移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする移動体の監視方法。 - 撮像装置を一定のズーム速度及び旋回速度で旋回及びズーミングしながら撮像したデータから移動体を認識して追尾する移動体の監視方法において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出するステップと、該動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するステップと、該算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域と背景領域を分離するステップと、分離した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再算出するステップと、該再算出したズーム速度及び旋回速度と前記移動体領域の動きベクトルとから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、移動体を追尾することを特徴とする移動体の監視方法。 - 撮像データからオプティカルフローを求める際は撮像データを大きな縮小率で縮小して算出することを特徴とする請求項1に記載した移動体の監視方法。
- 移動体領域を抽出するステップは、前記ズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以上の領域を移動体領域として抽出することを特徴とする請求項1または2に記載した移動体の監視方法。
- 移動体領域と背景領域を分離するステップは、前記再算出したズーム速度と旋回速度を元に画像上の各点の予測動きベクトルを算出し、該予測動きベクトルと前記動きベクトルとの差が閾値以下の領域を背景領域とし、残りを移動体領域として分離することを特徴とする請求項2に記載した移動体の監視方法。
- 移動体領域を抽出するステップ、または移動体領域と背景領域を分離するステップは、前記動きベクトルからズーム速度成分を除いたベクトルの頻度を算出する投票法で抽出することを特徴とする請求項1または2に記載した移動体の監視方法。
- 一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した移動体領域の動きベクトルと前記ズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置に旋回及びズームを指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする移動体の監視装置。 - 一定のズーム速度及び旋回速度で旋回及びズーミングしている撮像装置の撮像データから移動体を認識して追尾する移動体の監視装置において、
相前後する撮像データから、勾配法によって被写体の同一点の移動量をオプティカルフローとして動きベクトルを推定することにより算出する動きベクトル検出部と、該動きベクトル検出部が計算した動きベクトルから撮像装置のズーム速度mと旋回速度V 0 を、前記算出された動きベクトルV(x、y)の前記被写体の各点についての合計誤差
が最小になるように最小二乗法により算出するズーム量旋回量検出部と、該ズーム量旋回量検出部が算出したズーム速度及び旋回速度と前記動きベクトルとから移動体領域を抽出し、残り領域を背景領域とする移動体領域抽出部と、該移動体領域抽出部が抽出した背景領域のみの動きベクトルから撮像装置のズーム速度と旋回速度を再計算する動きベクトル補正部と、前記移動体領域の動きベクトルと前記再計算したズーム速度及び旋回速度とから移動体の移動方向と速度を算出して撮像装置のズーム量と旋回速度を算出し、前記撮像装置にズーム及び旋回を指示するズーム旋回制御部とからなり、撮像データから移動体を認識して旋回及びズーミングしながら追尾することを特徴とする移動体の監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001177897A JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001177897A JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002374521A JP2002374521A (ja) | 2002-12-26 |
JP4848097B2 true JP4848097B2 (ja) | 2011-12-28 |
Family
ID=19018673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001177897A Expired - Lifetime JP4848097B2 (ja) | 2001-06-13 | 2001-06-13 | 移動体の監視方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4848097B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5080273B2 (ja) * | 2005-01-07 | 2012-11-21 | クアルコム,インコーポレイテッド | オプティカルフローに基づく傾きセンサー |
JP4241742B2 (ja) * | 2006-01-31 | 2009-03-18 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
JP4607836B2 (ja) * | 2006-09-15 | 2011-01-05 | 富士通株式会社 | 画像領域へのメタデータ自動付与装置,メタデータ自動付与方法およびメタデータ自動付与プログラム |
JP4847303B2 (ja) * | 2006-12-01 | 2011-12-28 | 富士通株式会社 | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 |
JP4293236B2 (ja) | 2006-12-20 | 2009-07-08 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP2009031760A (ja) * | 2007-07-04 | 2009-02-12 | Sanyo Electric Co Ltd | 撮像装置及びオートフォーカス制御方法 |
JP4876065B2 (ja) * | 2007-12-14 | 2012-02-15 | キヤノン株式会社 | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム |
US8111942B2 (en) | 2008-02-06 | 2012-02-07 | O2Micro, Inc. | System and method for optimizing camera settings |
JP5083142B2 (ja) * | 2008-09-19 | 2012-11-28 | 三菱自動車工業株式会社 | 車両周辺監視装置 |
JP5155110B2 (ja) * | 2008-11-17 | 2013-02-27 | 株式会社日立国際電気 | 監視装置 |
JP4780205B2 (ja) * | 2009-02-23 | 2011-09-28 | カシオ計算機株式会社 | 撮像装置、画角調節方法、及び、プログラム |
KR101149329B1 (ko) * | 2010-06-30 | 2012-05-23 | 아주대학교산학협력단 | 감시카메라를 이용한 능동적 객체 추적 장치 및 방법 |
KR20160027459A (ko) * | 2014-08-29 | 2016-03-10 | 도로교통공단 | 트램용 안전운행시스템 |
JP6702736B2 (ja) * | 2016-01-26 | 2020-06-03 | キヤノン株式会社 | 撮像制御装置および撮像装置の制御方法、プログラム |
KR101865173B1 (ko) * | 2017-02-03 | 2018-06-07 | (주)플레이솔루션 | 가상현실 콘텐츠의 영상 분석을 통한 모션 시뮬레이터의 운동 생성 방법 |
CN111524166B (zh) * | 2020-04-22 | 2023-06-30 | 北京百度网讯科技有限公司 | 视频帧的处理方法和装置 |
CN115035144A (zh) * | 2022-04-20 | 2022-09-09 | 北京航空航天大学 | 一种基于稠密光流的火箭整流罩分离角速度测量方法 |
-
2001
- 2001-06-13 JP JP2001177897A patent/JP4848097B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002374521A (ja) | 2002-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4848097B2 (ja) | 移動体の監視方法および装置 | |
JP3603737B2 (ja) | 移動体追尾方法及びその装置 | |
KR100792283B1 (ko) | 이동물체 자동 추적장치 및 방법 | |
JP5269707B2 (ja) | 画像合成装置及び方法 | |
JP4715909B2 (ja) | 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム | |
JP2953712B2 (ja) | 移動物体検知装置 | |
Senior et al. | Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration | |
US20070291104A1 (en) | Systems and methods of capturing high-resolution images of objects | |
KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
JPH07168932A (ja) | ビデオ画像中の人間を探索する方法 | |
JP2005128619A (ja) | 物体計測装置、物体計測方法、およびプログラム | |
JP2004180321A (ja) | ビデオ追跡システム及び方法 | |
JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
CN106488115A (zh) | 控制装置和图像传感设备的控制方法 | |
Koller et al. | Towards realtime visual based tracking in cluttered traffic scenes | |
KR20010043423A (ko) | 카메라 신호 처리 장치 및 카메라 신호 처리 방법 | |
JP6579727B1 (ja) | 動体検出装置、動体検出方法、動体検出プログラム | |
JP2011097217A (ja) | 動き補正装置およびその方法 | |
JP2009260564A (ja) | 移動体画像追尾装置 | |
KR100541618B1 (ko) | 감시용 카메라의 제어장치 및 방법 | |
JP2008217330A (ja) | 速度推定方法および速度推定プログラム | |
US20240202898A1 (en) | Method of measuring structure displacement based on fusion of asynchronous vision measurement data of natural target and acceleration data of structure, and system for the same | |
JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
CN116980755A (zh) | 产生滑动变焦效果的制作方法、装置及*** | |
JP3615970B2 (ja) | 移動体の検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110107 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110930 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111017 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4848097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |