JP2004109009A

JP2004109009A - 目標角速度計測装置および目標角速度計測方法

Info

Publication number: JP2004109009A
Application number: JP2002273686A
Authority: JP
Inventors: Minoru Kikuchi; 菊池　稔
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-09-19
Filing date: 2002-09-19
Publication date: 2004-04-08
Anticipated expiration: 2022-09-19
Also published as: US20040071319A1; US7430304B2; US7536035B2; US20080013791A1; JP3702260B2

Abstract

【課題】目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供する。
【解決手段】２値化処理によりコントラストの強調された撮像フレームの個々の画素ごとに目標が抽出された回数をカウントし、現フレームから過去に連続するＮフレームのうち少なくともＭ（Ｍ＜Ｎ）回にわたって目標が検出された画素の集合を目標領域として抽出する。そして、抽出された目標領域の重心位置座標を算出し、この重心位置座標のフレーム間における移動量から目標の角速度を算出するようにしている。また、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標をセグメントの面積を重みとして荷重平均することにより、分離されたセグメントからなる目標領域の重心位置座標を算出する。
【選択図】　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置などにより撮像された画像から目標を抽出し、視野に対する２次元的な目標の移動速度を撮像画面内における移動速度である角速度に対応付けて計測する目標角速度計測装置および目標角度計測方法に関する。
【０００２】
【従来の技術】
この種の装置は目標追尾装置や監視カメラなどに応用され、目標を特徴づけるパラメータとして、撮像画面内における移動速度である角速度を検出する。撮影された画像から目標角速度を計測するには、入力画像に対してブロックマッチングなどによる動ベクトル処理を施すことにより目標角速度を計測する手法が知られている。このほか、連続する画像フレーム間で目標位置による相関を取りつつフレーム間の目標位置座標の変化を計測し、その計測値から目標角速度を算出する手法が知られている。
【０００３】
しかしながら、特にブロックマッチングによる動ベクトル処理においては撮像面における目標サイズが小さい場合、移動領域の検出が困難となる。また、ブロックマッチングによるため、角速度の計測精度は画素単位であるブロック単位までが限度である。
【０００４】
一方、野外のように周囲の環境の変化が激しい状態で撮影された画像においては、目標の信号成分の減少やノイズ成分の増加などにより、目標を一時的に検出できなくなることがある。この場合にはフレーム間での目標位置の相関を取ることが困難となる。さらに、画像から抽出された目標領域の一部がフレーム毎に分離したり結合したりすることがあり、この場合にはフレーム間に渡ってのセグメントの相関を取ることが困難となる。このような事情から、特に野外における目標に対してはその角速度を計測できない場合がある。
【０００５】
【発明が解決しようとする課題】
このように従来から知られている手法により目標角速度を検出するには、その精度に限界があり、さらに高精度に計測可能な手法が要望されている。また周囲の環境変化が激しい状況においては角速度を検出できなくなる場合が有り、より頑健に角速度を計測できる手法の提供が待たれている。
【０００６】
本発明は上記事情によりなされたもので、その目的は、目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明は、所定のフレームレートで撮影され複数の画素から形成される複数の撮像フレームから撮像視野内における目標の角速度を計測する目標角速度計測装置において、現フレームを含み連続するＮフレームのうち少なくともＭ（Ｍ＜Ｎ）フレームにわたり目標が検出された画素の集合を目標領域として抽出する目標領域抽出手段と、前記抽出された目標領域の前記撮像視野内における重心位置座標を算出する重心算出手段と、角速度算出手段とを具備する。そして、重心算出手段において算出された重心位置座標の異なるフレーム間における移動量から、角速度算出手段により前記目標の角速度を算出するようにしたことを特徴とする。
【０００８】
このような構成であるから、現フレームから過去のＮフレームの全てではなく、少なくともＭ（Ｍ＜Ｎ）フレームにおいて目標の検出された画素の集合が目標領域として抽出される。Ｍ個のフレームは時間的に連続する必要はない。これにより撮影された画像から一時的に目標が消滅した場合でも処理を連続して継続することが可能となり、その結果、より頑健な処理を実現することが可能になる。また本発明では目標領域の重心を算出し、その移動量から角速度を算出するようにしている。目標領域の重心位置座標は、画素の大きさよりも小さいオーダでの計算が可能であり、その結果、処理の精度を高めることが可能になる。
【０００９】
また本発明では、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標を前記撮像視野内における当該セグメントの面積を重みとして荷重平均して当該目標領域の前記撮像視野内における重心位置座標を算出するようにしている。
【００１０】
このような手段を講じたことにより、分離したセグメント全体を含む目標領域の重心位置座標を容易かつ正確に算出することができ、従ってノイズや乱反射などによる耐性を高められ、頑健かつ正確な処理を実現することができる。
【００１１】
【発明の実施の形態】
図１は、本発明に係わる目標角速度計測装置１の実施の形態を示す機能ブロック図である。すなわち目標角速度計測装置１は、強調処理部１ａと、抽出処理部１ｂと、重心計算処理部１ｃと、角速度計算処理部１ｄとを備える。
【００１２】
強調処理部１ａには、図示しない撮像装置などからの入力画像Ｐが与えられる。入力画像Ｐは所定のフレームレートで撮影され、複数の画素から形成される。強調処理部１ａは、入力画像Ｐの各画素の輝度を所定の閾値と比較することにより各画素に対して２値化処理を行なう。これによりコントラストの強調された画像を得ることができる。
【００１３】
抽出処理部１ｂは、２値化処理された画像から目標領域を抽出するための処理を行なう。すなわち抽出処理部１ｂは、順次入力される入力画像Ｐに対して現時点でのフレームを含み連続するＮフレームを画像メモリ（図示せず）などに蓄積する。そして、この蓄積された画像データを構成する画素のうち少なくともＭ（Ｍ＜Ｎ）フレームにわたり目標が検出された画素を判別して、その集合を目標領域として抽出する。
【００１４】
重心計算処理部１ｃは、抽出された目標領域の撮像視野内における重心位置座標を算出する。特に、重心計算処理部１ｃは、同一の目標に対応する目標領域が複数のセグメントに分離した場合、まず各セグメントの面積と重心位置座標とを求める。次に、重心計算処理部１ｃは、撮像視野内における各セグメントの面積を重みとして各セグメントの重心位置座標の荷重平均をとることにより、分離セグメントを含む目標領域の重心位置座標を算出する。
【００１５】
角速度計算処理部１ｄは、重心計算処理部１ｃで算出された各目標領域の重心位置座標フレーム間の時間あたりの（ないしはフレームレートあたり）移動量を目標の角速度として算出し、出力データを得る。
【００１６】
図２は、抽出処理部１ｂの処理を説明するための模式図である。図２（ａ）に示されるように、現時点での撮像フレーム（現フレーム）を（Ｘ）フレーム目とする。各フレームは複数の画素からなり、このうちハッチング部分において目標が検出されているとする。このフレームの一つ前のフレームは、図２（ｂ）のように（Ｘ−１）フレーム目であり、以下、順次連続するＮフレームの画像データが利用される。図２（ｃ）に示されるように、Ｘ番目のフレームに対して時間的にＮフレーム過去のフレームは、（Ｘ−（Ｎ−１））フレーム目となる。
【００１７】
さて、図２（ａ）〜（ｃ）に示される画像は、それぞれ異なる形状のイメージを映し出している。すなわち図２（ｄ）に示されるように、複数の画素のうち目標が必ず抽出される画素と、目標が抽出されない場合が有る画素と、目標が一度も抽出されない画素とがある。
【００１８】
抽出処理部１ｂは、目標が抽出された回数を各画素ごとにカウントし、このカウント数がＮに対して一定の割合となる数Ｍ（Ｎ，Ｍは自然数）に達した場合には、その画素において目標が抽出されたと見做す。そして、抽出処理部１ｂは、目標の抽出された画素の集合を目標領域として重心計算処理部１ｃの処理に供する。
【００１９】
図３は、抽出処理部１ｂの処理により得られる効果を説明するための模式図である。図３においては、Ｎ＝３，Ｍ＝２とする。図３（ａ）〜（ｃ）の各フレームには、固定的に撮影される背景画像ＡおよびＢと、移動する物体としての対象物候補ＣおよびＤが映し出されている。図３（ａ）〜（ｃ）は時間的に連続するフレームを示すが、このうち図３（ｂ）においては電波ノイズや赤外線の乱反射などにより対象物候補Ｃのイメージが一時的に途切れ、このフレームにおけるかぎりでは目標像が抽出されなかったとする。
【００２０】
しかしながら、他のフレーム図３（ａ）、図３（ｃ）においてははっきりとしたイメージが得られており、従って３フレームのうち２フレームにおいては対象物候補Ｃを抽出することができる。よって図３（ｄ）に示されるように、重心計算処理に使用する抽出画像においては対象物候補Ｃが目標として抽出される。このように一時的に目標画像を抽出できなくとも３フレームのうち少なくとも２フレームにおいて抽出することができれば、目標候補としてのイメージを抽出することができ、その結果、ノイズや擾乱に対してより頑健な処理を実施することができる。
【００２１】
図４は、重心計算処理部１ｃの処理を説明するための模式図である。図４（ａ）に示される目標領域はセグメントに分離することなく、ひとまとまりの画素の集合として抽出されている。これに対し図４（ｂ）においては、目標領域が２つのセグメントに分離した状態が示される。
【００２２】
本実施形態においては、この分離した領域全体での重心を求め、その座標を追跡することで目標の角速度を算出する。分離した領域全体での重心を求めるには、まず各セグメントの重心位置座標および面積（画素の個数に代えても良い）を求める。次に、各セグメントの重心位置座標を各セグメントの面積を重みとして荷重平均することにより、全体での重心位置座標を算出する。
【００２３】
図４におけるセグメント１の重心位置座標ベクトルをＧ１、面積をＳ１、セグメント２の重心位置座標ベクトルをＧ２、面積をＳ２とすると、全体での重心位置ベクトルＧ_{ＴＯＴＡＬ}は、本実施形態においては以下の式（１）により算出される。
【００２４】
【数１】

【００２５】
この演算においては、各セグメントの重心位置と全体の重心位置との互いの間隔は、セグメントの面積に反比例する。すなわち図４においてはＳ２（セグメント２の面積）がＳ１（セグメント１の面積）よりも大きい。よってこれに反比例して、間隔（Ｇ１−Ｇ_{ＴＯＴＡＬ}）よりも間隔（Ｇ２−Ｇ_{ＴＯＴＡＬ}）が狭くなっている。つまりＧ_{ＴＯＴＡＬ}は、Ｇ２により近い位置に設定されることになる。
【００２６】
以上のように本実施形態では、２値化処理によりコントラストの強調された撮像フレームの個々の画素ごとに目標が抽出された回数をカウントし、現フレームから過去に連続するＮフレームのうち少なくともＭ（Ｍ＜Ｎ）回にわたって目標が検出された画素の集合を目標領域として抽出する。そして、抽出された目標領域の重心位置座標を算出し、この重心位置座標のフレーム間における移動量から目標の角速度を算出するようにしている。また本実施形態では、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標をセグメントの面積を重みとして荷重平均することにより、分離されたセグメントからなる目標領域の重心位置座標を算出するようにしている。
【００２７】
このように、適応的な２値化処理により抽出された目標領域の重心位置座標を求め、その変化を計測することにより角速度を高精度に算出することができる。重心を求めることにより画素のサイズ以下の精度で座標を計算できるので、高い精度を得られ、またセグメントの大きさが制限されず、小目標にも対応することが可能になる。
【００２８】
また上記した処理は、目標の大きさと速度が同じであれば、得られる角速度データは目標の距離の影響を受けないという利点を有する。すなわち目標が近ければ角速度は大きくなるが、撮影される目標のサイズも大きくなる。逆に目標が遠ければ目標は小さく撮影されるが、角速度も小さくなる。すなわち撮影される目標のサイズ、および角速度はいずれも距離に反比例するので、角速度の精度は距離の影響を受けない。
【００２９】
以上述べたように本実施形態によれば、連続するＮフレームのうち少なくともＭフレーム（Ｍ＜Ｎ）にわたり目標を検出できた画素の集合を目標領域とするようにしているので、ノイズや擾乱に強く、例えば野外において撮影された画像のように不安定な信号成分からも角速度を頑健に計測することができる。また、目標領域の重心を算出してその値から角速度を算出するようにしているので、動画像中における例えば航空機などの小目標の角速度を高精度で計測することができる。これらのことから、目標の角速度を高精度かつ頑健に計測することが可能になる。
【００３０】
なお、本発明は上記実施の形態に限定されるものではない。例えば抽出処理部１ｂにおけるＮおよびＭの値は固定的ではなく、例えば目標の角速度、目標領域の撮像視野内における大きさ、あるいはフレームレートなどに応じて適応的に可変するようにしても良い。要するに、Ｍ＜Ｎであれば本発明の目的は達成され、この条件を満たす範囲でＮおよびＭの値を可変すれば良い。
【００３１】
また目標領域が３以上の複数のセグメントに分離した場合でも、重み付け平均による重心計算を実施することができる。分離したセグメントの数をｎ、各セグメントの面積をＳｉ（ｉ＝１〜ｎ）、各セグメントの重心位置ベクトルをＧｉとすると、全体での重心位置ベクトルＧ_{ＴＯＴＡＬ}は次式（２）で表される。
【００３２】
【数２】

【００３３】
このほか、本発明の要旨を逸脱しない範囲で種々の変形実施を行うことができる。
【００３４】
【発明の効果】
以上詳述したように本発明によれば、目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供することができる。
【図面の簡単な説明】
【図１】本発明に係わる目標角速度計測装置１の実施の形態を示す機能ブロック図。
【図２】図１に示される抽出処理部１ｂの処理を説明するための模式図。
【図３】図１に示される抽出処理部１ｂの処理により得られる効果を説明するための模式図。
【図４】図１に示される重心計算処理部１ｃの処理を説明するための模式図。
【符号の説明】
１…目標角速度計測装置
１ａ…強調処理部
１ｂ…抽出処理部
１ｃ…重心計算処理部
１ｄ…角速度計算処理部

Claims

所定のフレームレートで撮影され複数の画素から形成される複数の撮像フレームから撮像視野内における目標の角速度を計測する目標角速度計測装置において、
現フレームを含み連続するＮフレームのうち少なくともＭ（Ｍ＜Ｎ）フレームにわたり目標が検出された画素の集合を目標領域として抽出する目標領域抽出手段と、
前記抽出された目標領域の前記撮像視野内における重心位置座標を算出する重心算出手段と、
この算出された重心位置座標の異なるフレーム間における移動量から前記目標の角速度を算出する角速度算出手段とを具備することを特徴とする目標角速度計測装置。
前記重心算出手段は、同一の目標に対応する目標領域が複数のセグメントに分離した場合には各セグメントの重心位置座標を前記撮像視野内における当該セグメントの面積を重みとして荷重平均して当該目標領域の前記撮像視野内における重心位置座標を算出することを特徴とする請求項１に記載の目標角速度計測装置。
前記目標領域抽出手段は、前記ＮまたはＭの少なくとも一方を、前記目標の角速度、前記目標領域の前記撮像視野内における大きさ、および前記フレームレートの少なくとも一つに応じて適応的に可変することを特徴とする請求項１に記載の目標角速度計測装置。
さらに、前記撮像フレームにおける各画素に対してその輝度に関して所定の閾値に基づく２値化処理を施し、前記目標領域抽出手段における処理に供する２値化処理手段を具備することを特徴する請求項１に記載の目標角速度計測装置。
所定のフレームレートで撮影され複数の画素から形成される複数の撮像フレームから撮像視野内における目標の角速度を計測する目標角速度計測方法において、
現フレームを含み連続するＮフレームのうち少なくともＭ（Ｍ＜Ｎ）フレームにわたり目標が検出された画素の集合を目標領域として抽出する第１ステップと、
前記抽出された目標領域の前記撮像視野内における重心位置座標を算出する第２ステップと、
この算出された重心位置座標の異なるフレーム間における移動量から前記目標の角速度を算出する第３ステップとを具備することを特徴とする目標角速度計測方法。
前記第２ステップにおいて、同一の目標に対応する目標領域が複数のセグメントに分離した場合には各セグメントの重心位置座標を前記撮像視野内における当該セグメントの面積を重みとして荷重平均して当該目標領域の前記撮像視野内における重心位置座標を算出することを特徴とする請求項５に記載の目標角速度計測方法。
前記第１ステップにおいて、前記ＮまたはＭの少なくとも一方を、前記目標の角速度、前記目標領域の前記撮像視野内における大きさ、および前記フレームレートの少なくとも一つに応じて適応的に可変することを特徴とする請求項５に記載の目標角速度計測方法。
さらに、前記撮像フレームにおける各画素に対してその輝度に関して所定の閾値に基づく２値化処理を施し、前記第１ステップにおける処理に供する第４ステップを具備することを特徴する請求項５に記載の目標角速度計測方法。