JP2004109009A - 目標角速度計測装置および目標角速度計測方法 - Google Patents
目標角速度計測装置および目標角速度計測方法 Download PDFInfo
- Publication number
- JP2004109009A JP2004109009A JP2002273686A JP2002273686A JP2004109009A JP 2004109009 A JP2004109009 A JP 2004109009A JP 2002273686 A JP2002273686 A JP 2002273686A JP 2002273686 A JP2002273686 A JP 2002273686A JP 2004109009 A JP2004109009 A JP 2004109009A
- Authority
- JP
- Japan
- Prior art keywords
- target
- angular velocity
- center
- gravity
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供する。
【解決手段】2値化処理によりコントラストの強調された撮像フレームの個々の画素ごとに目標が抽出された回数をカウントし、現フレームから過去に連続するNフレームのうち少なくともM(M<N)回にわたって目標が検出された画素の集合を目標領域として抽出する。そして、抽出された目標領域の重心位置座標を算出し、この重心位置座標のフレーム間における移動量から目標の角速度を算出するようにしている。また、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標をセグメントの面積を重みとして荷重平均することにより、分離されたセグメントからなる目標領域の重心位置座標を算出する。
【選択図】 図2
【解決手段】2値化処理によりコントラストの強調された撮像フレームの個々の画素ごとに目標が抽出された回数をカウントし、現フレームから過去に連続するNフレームのうち少なくともM(M<N)回にわたって目標が検出された画素の集合を目標領域として抽出する。そして、抽出された目標領域の重心位置座標を算出し、この重心位置座標のフレーム間における移動量から目標の角速度を算出するようにしている。また、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標をセグメントの面積を重みとして荷重平均することにより、分離されたセグメントからなる目標領域の重心位置座標を算出する。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、撮像装置などにより撮像された画像から目標を抽出し、視野に対する2次元的な目標の移動速度を撮像画面内における移動速度である角速度に対応付けて計測する目標角速度計測装置および目標角度計測方法に関する。
【0002】
【従来の技術】
この種の装置は目標追尾装置や監視カメラなどに応用され、目標を特徴づけるパラメータとして、撮像画面内における移動速度である角速度を検出する。撮影された画像から目標角速度を計測するには、入力画像に対してブロックマッチングなどによる動ベクトル処理を施すことにより目標角速度を計測する手法が知られている。このほか、連続する画像フレーム間で目標位置による相関を取りつつフレーム間の目標位置座標の変化を計測し、その計測値から目標角速度を算出する手法が知られている。
【0003】
しかしながら、特にブロックマッチングによる動ベクトル処理においては撮像面における目標サイズが小さい場合、移動領域の検出が困難となる。また、ブロックマッチングによるため、角速度の計測精度は画素単位であるブロック単位までが限度である。
【0004】
一方、野外のように周囲の環境の変化が激しい状態で撮影された画像においては、目標の信号成分の減少やノイズ成分の増加などにより、目標を一時的に検出できなくなることがある。この場合にはフレーム間での目標位置の相関を取ることが困難となる。さらに、画像から抽出された目標領域の一部がフレーム毎に分離したり結合したりすることがあり、この場合にはフレーム間に渡ってのセグメントの相関を取ることが困難となる。このような事情から、特に野外における目標に対してはその角速度を計測できない場合がある。
【0005】
【発明が解決しようとする課題】
このように従来から知られている手法により目標角速度を検出するには、その精度に限界があり、さらに高精度に計測可能な手法が要望されている。また周囲の環境変化が激しい状況においては角速度を検出できなくなる場合が有り、より頑健に角速度を計測できる手法の提供が待たれている。
【0006】
本発明は上記事情によりなされたもので、その目的は、目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するために本発明は、所定のフレームレートで撮影され複数の画素から形成される複数の撮像フレームから撮像視野内における目標の角速度を計測する目標角速度計測装置において、現フレームを含み連続するNフレームのうち少なくともM(M<N)フレームにわたり目標が検出された画素の集合を目標領域として抽出する目標領域抽出手段と、前記抽出された目標領域の前記撮像視野内における重心位置座標を算出する重心算出手段と、角速度算出手段とを具備する。そして、重心算出手段において算出された重心位置座標の異なるフレーム間における移動量から、角速度算出手段により前記目標の角速度を算出するようにしたことを特徴とする。
【0008】
このような構成であるから、現フレームから過去のNフレームの全てではなく、少なくともM(M<N)フレームにおいて目標の検出された画素の集合が目標領域として抽出される。M個のフレームは時間的に連続する必要はない。これにより撮影された画像から一時的に目標が消滅した場合でも処理を連続して継続することが可能となり、その結果、より頑健な処理を実現することが可能になる。また本発明では目標領域の重心を算出し、その移動量から角速度を算出するようにしている。目標領域の重心位置座標は、画素の大きさよりも小さいオーダでの計算が可能であり、その結果、処理の精度を高めることが可能になる。
【0009】
また本発明では、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標を前記撮像視野内における当該セグメントの面積を重みとして荷重平均して当該目標領域の前記撮像視野内における重心位置座標を算出するようにしている。
【0010】
このような手段を講じたことにより、分離したセグメント全体を含む目標領域の重心位置座標を容易かつ正確に算出することができ、従ってノイズや乱反射などによる耐性を高められ、頑健かつ正確な処理を実現することができる。
【0011】
【発明の実施の形態】
図1は、本発明に係わる目標角速度計測装置1の実施の形態を示す機能ブロック図である。すなわち目標角速度計測装置1は、強調処理部1aと、抽出処理部1bと、重心計算処理部1cと、角速度計算処理部1dとを備える。
【0012】
強調処理部1aには、図示しない撮像装置などからの入力画像Pが与えられる。入力画像Pは所定のフレームレートで撮影され、複数の画素から形成される。強調処理部1aは、入力画像Pの各画素の輝度を所定の閾値と比較することにより各画素に対して2値化処理を行なう。これによりコントラストの強調された画像を得ることができる。
【0013】
抽出処理部1bは、2値化処理された画像から目標領域を抽出するための処理を行なう。すなわち抽出処理部1bは、順次入力される入力画像Pに対して現時点でのフレームを含み連続するNフレームを画像メモリ(図示せず)などに蓄積する。そして、この蓄積された画像データを構成する画素のうち少なくともM(M<N)フレームにわたり目標が検出された画素を判別して、その集合を目標領域として抽出する。
【0014】
重心計算処理部1cは、抽出された目標領域の撮像視野内における重心位置座標を算出する。特に、重心計算処理部1cは、同一の目標に対応する目標領域が複数のセグメントに分離した場合、まず各セグメントの面積と重心位置座標とを求める。次に、重心計算処理部1cは、撮像視野内における各セグメントの面積を重みとして各セグメントの重心位置座標の荷重平均をとることにより、分離セグメントを含む目標領域の重心位置座標を算出する。
【0015】
角速度計算処理部1dは、重心計算処理部1cで算出された各目標領域の重心位置座標フレーム間の時間あたりの(ないしはフレームレートあたり)移動量を目標の角速度として算出し、出力データを得る。
【0016】
図2は、抽出処理部1bの処理を説明するための模式図である。図2(a)に示されるように、現時点での撮像フレーム(現フレーム)を(X)フレーム目とする。各フレームは複数の画素からなり、このうちハッチング部分において目標が検出されているとする。このフレームの一つ前のフレームは、図2(b)のように(X−1)フレーム目であり、以下、順次連続するNフレームの画像データが利用される。図2(c)に示されるように、X番目のフレームに対して時間的にNフレーム過去のフレームは、(X−(N−1))フレーム目となる。
【0017】
さて、図2(a)〜(c)に示される画像は、それぞれ異なる形状のイメージを映し出している。すなわち図2(d)に示されるように、複数の画素のうち目標が必ず抽出される画素と、目標が抽出されない場合が有る画素と、目標が一度も抽出されない画素とがある。
【0018】
抽出処理部1bは、目標が抽出された回数を各画素ごとにカウントし、このカウント数がNに対して一定の割合となる数M(N,Mは自然数)に達した場合には、その画素において目標が抽出されたと見做す。そして、抽出処理部1bは、目標の抽出された画素の集合を目標領域として重心計算処理部1cの処理に供する。
【0019】
図3は、抽出処理部1bの処理により得られる効果を説明するための模式図である。図3においては、N=3,M=2とする。図3(a)〜(c)の各フレームには、固定的に撮影される背景画像AおよびBと、移動する物体としての対象物候補CおよびDが映し出されている。図3(a)〜(c)は時間的に連続するフレームを示すが、このうち図3(b)においては電波ノイズや赤外線の乱反射などにより対象物候補Cのイメージが一時的に途切れ、このフレームにおけるかぎりでは目標像が抽出されなかったとする。
【0020】
しかしながら、他のフレーム図3(a)、図3(c)においてははっきりとしたイメージが得られており、従って3フレームのうち2フレームにおいては対象物候補Cを抽出することができる。よって図3(d)に示されるように、重心計算処理に使用する抽出画像においては対象物候補Cが目標として抽出される。このように一時的に目標画像を抽出できなくとも3フレームのうち少なくとも2フレームにおいて抽出することができれば、目標候補としてのイメージを抽出することができ、その結果、ノイズや擾乱に対してより頑健な処理を実施することができる。
【0021】
図4は、重心計算処理部1cの処理を説明するための模式図である。図4(a)に示される目標領域はセグメントに分離することなく、ひとまとまりの画素の集合として抽出されている。これに対し図4(b)においては、目標領域が2つのセグメントに分離した状態が示される。
【0022】
本実施形態においては、この分離した領域全体での重心を求め、その座標を追跡することで目標の角速度を算出する。分離した領域全体での重心を求めるには、まず各セグメントの重心位置座標および面積(画素の個数に代えても良い)を求める。次に、各セグメントの重心位置座標を各セグメントの面積を重みとして荷重平均することにより、全体での重心位置座標を算出する。
【0023】
図4におけるセグメント1の重心位置座標ベクトルをG1、面積をS1、セグメント2の重心位置座標ベクトルをG2、面積をS2とすると、全体での重心位置ベクトルGTOTALは、本実施形態においては以下の式(1)により算出される。
【0024】
【数1】
【0025】
この演算においては、各セグメントの重心位置と全体の重心位置との互いの間隔は、セグメントの面積に反比例する。すなわち図4においてはS2(セグメント2の面積)がS1(セグメント1の面積)よりも大きい。よってこれに反比例して、間隔(G1−GTOTAL)よりも間隔(G2−GTOTAL)が狭くなっている。つまりGTOTALは、G2により近い位置に設定されることになる。
【0026】
以上のように本実施形態では、2値化処理によりコントラストの強調された撮像フレームの個々の画素ごとに目標が抽出された回数をカウントし、現フレームから過去に連続するNフレームのうち少なくともM(M<N)回にわたって目標が検出された画素の集合を目標領域として抽出する。そして、抽出された目標領域の重心位置座標を算出し、この重心位置座標のフレーム間における移動量から目標の角速度を算出するようにしている。また本実施形態では、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標をセグメントの面積を重みとして荷重平均することにより、分離されたセグメントからなる目標領域の重心位置座標を算出するようにしている。
【0027】
このように、適応的な2値化処理により抽出された目標領域の重心位置座標を求め、その変化を計測することにより角速度を高精度に算出することができる。重心を求めることにより画素のサイズ以下の精度で座標を計算できるので、高い精度を得られ、またセグメントの大きさが制限されず、小目標にも対応することが可能になる。
【0028】
また上記した処理は、目標の大きさと速度が同じであれば、得られる角速度データは目標の距離の影響を受けないという利点を有する。すなわち目標が近ければ角速度は大きくなるが、撮影される目標のサイズも大きくなる。逆に目標が遠ければ目標は小さく撮影されるが、角速度も小さくなる。すなわち撮影される目標のサイズ、および角速度はいずれも距離に反比例するので、角速度の精度は距離の影響を受けない。
【0029】
以上述べたように本実施形態によれば、連続するNフレームのうち少なくともMフレーム(M<N)にわたり目標を検出できた画素の集合を目標領域とするようにしているので、ノイズや擾乱に強く、例えば野外において撮影された画像のように不安定な信号成分からも角速度を頑健に計測することができる。また、目標領域の重心を算出してその値から角速度を算出するようにしているので、動画像中における例えば航空機などの小目標の角速度を高精度で計測することができる。これらのことから、目標の角速度を高精度かつ頑健に計測することが可能になる。
【0030】
なお、本発明は上記実施の形態に限定されるものではない。例えば抽出処理部1bにおけるNおよびMの値は固定的ではなく、例えば目標の角速度、目標領域の撮像視野内における大きさ、あるいはフレームレートなどに応じて適応的に可変するようにしても良い。要するに、M<Nであれば本発明の目的は達成され、この条件を満たす範囲でNおよびMの値を可変すれば良い。
【0031】
また目標領域が3以上の複数のセグメントに分離した場合でも、重み付け平均による重心計算を実施することができる。分離したセグメントの数をn、各セグメントの面積をSi(i=1〜n)、各セグメントの重心位置ベクトルをGiとすると、全体での重心位置ベクトルGTOTALは次式(2)で表される。
【0032】
【数2】
【0033】
このほか、本発明の要旨を逸脱しない範囲で種々の変形実施を行うことができる。
【0034】
【発明の効果】
以上詳述したように本発明によれば、目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供することができる。
【図面の簡単な説明】
【図1】本発明に係わる目標角速度計測装置1の実施の形態を示す機能ブロック図。
【図2】図1に示される抽出処理部1bの処理を説明するための模式図。
【図3】図1に示される抽出処理部1bの処理により得られる効果を説明するための模式図。
【図4】図1に示される重心計算処理部1cの処理を説明するための模式図。
【符号の説明】
1…目標角速度計測装置
1a…強調処理部
1b…抽出処理部
1c…重心計算処理部
1d…角速度計算処理部
【発明の属する技術分野】
本発明は、撮像装置などにより撮像された画像から目標を抽出し、視野に対する2次元的な目標の移動速度を撮像画面内における移動速度である角速度に対応付けて計測する目標角速度計測装置および目標角度計測方法に関する。
【0002】
【従来の技術】
この種の装置は目標追尾装置や監視カメラなどに応用され、目標を特徴づけるパラメータとして、撮像画面内における移動速度である角速度を検出する。撮影された画像から目標角速度を計測するには、入力画像に対してブロックマッチングなどによる動ベクトル処理を施すことにより目標角速度を計測する手法が知られている。このほか、連続する画像フレーム間で目標位置による相関を取りつつフレーム間の目標位置座標の変化を計測し、その計測値から目標角速度を算出する手法が知られている。
【0003】
しかしながら、特にブロックマッチングによる動ベクトル処理においては撮像面における目標サイズが小さい場合、移動領域の検出が困難となる。また、ブロックマッチングによるため、角速度の計測精度は画素単位であるブロック単位までが限度である。
【0004】
一方、野外のように周囲の環境の変化が激しい状態で撮影された画像においては、目標の信号成分の減少やノイズ成分の増加などにより、目標を一時的に検出できなくなることがある。この場合にはフレーム間での目標位置の相関を取ることが困難となる。さらに、画像から抽出された目標領域の一部がフレーム毎に分離したり結合したりすることがあり、この場合にはフレーム間に渡ってのセグメントの相関を取ることが困難となる。このような事情から、特に野外における目標に対してはその角速度を計測できない場合がある。
【0005】
【発明が解決しようとする課題】
このように従来から知られている手法により目標角速度を検出するには、その精度に限界があり、さらに高精度に計測可能な手法が要望されている。また周囲の環境変化が激しい状況においては角速度を検出できなくなる場合が有り、より頑健に角速度を計測できる手法の提供が待たれている。
【0006】
本発明は上記事情によりなされたもので、その目的は、目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するために本発明は、所定のフレームレートで撮影され複数の画素から形成される複数の撮像フレームから撮像視野内における目標の角速度を計測する目標角速度計測装置において、現フレームを含み連続するNフレームのうち少なくともM(M<N)フレームにわたり目標が検出された画素の集合を目標領域として抽出する目標領域抽出手段と、前記抽出された目標領域の前記撮像視野内における重心位置座標を算出する重心算出手段と、角速度算出手段とを具備する。そして、重心算出手段において算出された重心位置座標の異なるフレーム間における移動量から、角速度算出手段により前記目標の角速度を算出するようにしたことを特徴とする。
【0008】
このような構成であるから、現フレームから過去のNフレームの全てではなく、少なくともM(M<N)フレームにおいて目標の検出された画素の集合が目標領域として抽出される。M個のフレームは時間的に連続する必要はない。これにより撮影された画像から一時的に目標が消滅した場合でも処理を連続して継続することが可能となり、その結果、より頑健な処理を実現することが可能になる。また本発明では目標領域の重心を算出し、その移動量から角速度を算出するようにしている。目標領域の重心位置座標は、画素の大きさよりも小さいオーダでの計算が可能であり、その結果、処理の精度を高めることが可能になる。
【0009】
また本発明では、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標を前記撮像視野内における当該セグメントの面積を重みとして荷重平均して当該目標領域の前記撮像視野内における重心位置座標を算出するようにしている。
【0010】
このような手段を講じたことにより、分離したセグメント全体を含む目標領域の重心位置座標を容易かつ正確に算出することができ、従ってノイズや乱反射などによる耐性を高められ、頑健かつ正確な処理を実現することができる。
【0011】
【発明の実施の形態】
図1は、本発明に係わる目標角速度計測装置1の実施の形態を示す機能ブロック図である。すなわち目標角速度計測装置1は、強調処理部1aと、抽出処理部1bと、重心計算処理部1cと、角速度計算処理部1dとを備える。
【0012】
強調処理部1aには、図示しない撮像装置などからの入力画像Pが与えられる。入力画像Pは所定のフレームレートで撮影され、複数の画素から形成される。強調処理部1aは、入力画像Pの各画素の輝度を所定の閾値と比較することにより各画素に対して2値化処理を行なう。これによりコントラストの強調された画像を得ることができる。
【0013】
抽出処理部1bは、2値化処理された画像から目標領域を抽出するための処理を行なう。すなわち抽出処理部1bは、順次入力される入力画像Pに対して現時点でのフレームを含み連続するNフレームを画像メモリ(図示せず)などに蓄積する。そして、この蓄積された画像データを構成する画素のうち少なくともM(M<N)フレームにわたり目標が検出された画素を判別して、その集合を目標領域として抽出する。
【0014】
重心計算処理部1cは、抽出された目標領域の撮像視野内における重心位置座標を算出する。特に、重心計算処理部1cは、同一の目標に対応する目標領域が複数のセグメントに分離した場合、まず各セグメントの面積と重心位置座標とを求める。次に、重心計算処理部1cは、撮像視野内における各セグメントの面積を重みとして各セグメントの重心位置座標の荷重平均をとることにより、分離セグメントを含む目標領域の重心位置座標を算出する。
【0015】
角速度計算処理部1dは、重心計算処理部1cで算出された各目標領域の重心位置座標フレーム間の時間あたりの(ないしはフレームレートあたり)移動量を目標の角速度として算出し、出力データを得る。
【0016】
図2は、抽出処理部1bの処理を説明するための模式図である。図2(a)に示されるように、現時点での撮像フレーム(現フレーム)を(X)フレーム目とする。各フレームは複数の画素からなり、このうちハッチング部分において目標が検出されているとする。このフレームの一つ前のフレームは、図2(b)のように(X−1)フレーム目であり、以下、順次連続するNフレームの画像データが利用される。図2(c)に示されるように、X番目のフレームに対して時間的にNフレーム過去のフレームは、(X−(N−1))フレーム目となる。
【0017】
さて、図2(a)〜(c)に示される画像は、それぞれ異なる形状のイメージを映し出している。すなわち図2(d)に示されるように、複数の画素のうち目標が必ず抽出される画素と、目標が抽出されない場合が有る画素と、目標が一度も抽出されない画素とがある。
【0018】
抽出処理部1bは、目標が抽出された回数を各画素ごとにカウントし、このカウント数がNに対して一定の割合となる数M(N,Mは自然数)に達した場合には、その画素において目標が抽出されたと見做す。そして、抽出処理部1bは、目標の抽出された画素の集合を目標領域として重心計算処理部1cの処理に供する。
【0019】
図3は、抽出処理部1bの処理により得られる効果を説明するための模式図である。図3においては、N=3,M=2とする。図3(a)〜(c)の各フレームには、固定的に撮影される背景画像AおよびBと、移動する物体としての対象物候補CおよびDが映し出されている。図3(a)〜(c)は時間的に連続するフレームを示すが、このうち図3(b)においては電波ノイズや赤外線の乱反射などにより対象物候補Cのイメージが一時的に途切れ、このフレームにおけるかぎりでは目標像が抽出されなかったとする。
【0020】
しかしながら、他のフレーム図3(a)、図3(c)においてははっきりとしたイメージが得られており、従って3フレームのうち2フレームにおいては対象物候補Cを抽出することができる。よって図3(d)に示されるように、重心計算処理に使用する抽出画像においては対象物候補Cが目標として抽出される。このように一時的に目標画像を抽出できなくとも3フレームのうち少なくとも2フレームにおいて抽出することができれば、目標候補としてのイメージを抽出することができ、その結果、ノイズや擾乱に対してより頑健な処理を実施することができる。
【0021】
図4は、重心計算処理部1cの処理を説明するための模式図である。図4(a)に示される目標領域はセグメントに分離することなく、ひとまとまりの画素の集合として抽出されている。これに対し図4(b)においては、目標領域が2つのセグメントに分離した状態が示される。
【0022】
本実施形態においては、この分離した領域全体での重心を求め、その座標を追跡することで目標の角速度を算出する。分離した領域全体での重心を求めるには、まず各セグメントの重心位置座標および面積(画素の個数に代えても良い)を求める。次に、各セグメントの重心位置座標を各セグメントの面積を重みとして荷重平均することにより、全体での重心位置座標を算出する。
【0023】
図4におけるセグメント1の重心位置座標ベクトルをG1、面積をS1、セグメント2の重心位置座標ベクトルをG2、面積をS2とすると、全体での重心位置ベクトルGTOTALは、本実施形態においては以下の式(1)により算出される。
【0024】
【数1】
【0025】
この演算においては、各セグメントの重心位置と全体の重心位置との互いの間隔は、セグメントの面積に反比例する。すなわち図4においてはS2(セグメント2の面積)がS1(セグメント1の面積)よりも大きい。よってこれに反比例して、間隔(G1−GTOTAL)よりも間隔(G2−GTOTAL)が狭くなっている。つまりGTOTALは、G2により近い位置に設定されることになる。
【0026】
以上のように本実施形態では、2値化処理によりコントラストの強調された撮像フレームの個々の画素ごとに目標が抽出された回数をカウントし、現フレームから過去に連続するNフレームのうち少なくともM(M<N)回にわたって目標が検出された画素の集合を目標領域として抽出する。そして、抽出された目標領域の重心位置座標を算出し、この重心位置座標のフレーム間における移動量から目標の角速度を算出するようにしている。また本実施形態では、同一の目標に対応する目標領域が複数のセグメントに分離した場合には、各セグメントの重心位置座標をセグメントの面積を重みとして荷重平均することにより、分離されたセグメントからなる目標領域の重心位置座標を算出するようにしている。
【0027】
このように、適応的な2値化処理により抽出された目標領域の重心位置座標を求め、その変化を計測することにより角速度を高精度に算出することができる。重心を求めることにより画素のサイズ以下の精度で座標を計算できるので、高い精度を得られ、またセグメントの大きさが制限されず、小目標にも対応することが可能になる。
【0028】
また上記した処理は、目標の大きさと速度が同じであれば、得られる角速度データは目標の距離の影響を受けないという利点を有する。すなわち目標が近ければ角速度は大きくなるが、撮影される目標のサイズも大きくなる。逆に目標が遠ければ目標は小さく撮影されるが、角速度も小さくなる。すなわち撮影される目標のサイズ、および角速度はいずれも距離に反比例するので、角速度の精度は距離の影響を受けない。
【0029】
以上述べたように本実施形態によれば、連続するNフレームのうち少なくともMフレーム(M<N)にわたり目標を検出できた画素の集合を目標領域とするようにしているので、ノイズや擾乱に強く、例えば野外において撮影された画像のように不安定な信号成分からも角速度を頑健に計測することができる。また、目標領域の重心を算出してその値から角速度を算出するようにしているので、動画像中における例えば航空機などの小目標の角速度を高精度で計測することができる。これらのことから、目標の角速度を高精度かつ頑健に計測することが可能になる。
【0030】
なお、本発明は上記実施の形態に限定されるものではない。例えば抽出処理部1bにおけるNおよびMの値は固定的ではなく、例えば目標の角速度、目標領域の撮像視野内における大きさ、あるいはフレームレートなどに応じて適応的に可変するようにしても良い。要するに、M<Nであれば本発明の目的は達成され、この条件を満たす範囲でNおよびMの値を可変すれば良い。
【0031】
また目標領域が3以上の複数のセグメントに分離した場合でも、重み付け平均による重心計算を実施することができる。分離したセグメントの数をn、各セグメントの面積をSi(i=1〜n)、各セグメントの重心位置ベクトルをGiとすると、全体での重心位置ベクトルGTOTALは次式(2)で表される。
【0032】
【数2】
【0033】
このほか、本発明の要旨を逸脱しない範囲で種々の変形実施を行うことができる。
【0034】
【発明の効果】
以上詳述したように本発明によれば、目標の角速度を高精度かつ頑健に計測することの可能な目標角速度計測装置および目標角速度計測方法を提供することができる。
【図面の簡単な説明】
【図1】本発明に係わる目標角速度計測装置1の実施の形態を示す機能ブロック図。
【図2】図1に示される抽出処理部1bの処理を説明するための模式図。
【図3】図1に示される抽出処理部1bの処理により得られる効果を説明するための模式図。
【図4】図1に示される重心計算処理部1cの処理を説明するための模式図。
【符号の説明】
1…目標角速度計測装置
1a…強調処理部
1b…抽出処理部
1c…重心計算処理部
1d…角速度計算処理部
Claims (8)
- 所定のフレームレートで撮影され複数の画素から形成される複数の撮像フレームから撮像視野内における目標の角速度を計測する目標角速度計測装置において、
現フレームを含み連続するNフレームのうち少なくともM(M<N)フレームにわたり目標が検出された画素の集合を目標領域として抽出する目標領域抽出手段と、
前記抽出された目標領域の前記撮像視野内における重心位置座標を算出する重心算出手段と、
この算出された重心位置座標の異なるフレーム間における移動量から前記目標の角速度を算出する角速度算出手段とを具備することを特徴とする目標角速度計測装置。 - 前記重心算出手段は、同一の目標に対応する目標領域が複数のセグメントに分離した場合には各セグメントの重心位置座標を前記撮像視野内における当該セグメントの面積を重みとして荷重平均して当該目標領域の前記撮像視野内における重心位置座標を算出することを特徴とする請求項1に記載の目標角速度計測装置。
- 前記目標領域抽出手段は、前記NまたはMの少なくとも一方を、前記目標の角速度、前記目標領域の前記撮像視野内における大きさ、および前記フレームレートの少なくとも一つに応じて適応的に可変することを特徴とする請求項1に記載の目標角速度計測装置。
- さらに、前記撮像フレームにおける各画素に対してその輝度に関して所定の閾値に基づく2値化処理を施し、前記目標領域抽出手段における処理に供する2値化処理手段を具備することを特徴する請求項1に記載の目標角速度計測装置。
- 所定のフレームレートで撮影され複数の画素から形成される複数の撮像フレームから撮像視野内における目標の角速度を計測する目標角速度計測方法において、
現フレームを含み連続するNフレームのうち少なくともM(M<N)フレームにわたり目標が検出された画素の集合を目標領域として抽出する第1ステップと、
前記抽出された目標領域の前記撮像視野内における重心位置座標を算出する第2ステップと、
この算出された重心位置座標の異なるフレーム間における移動量から前記目標の角速度を算出する第3ステップとを具備することを特徴とする目標角速度計測方法。 - 前記第2ステップにおいて、同一の目標に対応する目標領域が複数のセグメントに分離した場合には各セグメントの重心位置座標を前記撮像視野内における当該セグメントの面積を重みとして荷重平均して当該目標領域の前記撮像視野内における重心位置座標を算出することを特徴とする請求項5に記載の目標角速度計測方法。
- 前記第1ステップにおいて、前記NまたはMの少なくとも一方を、前記目標の角速度、前記目標領域の前記撮像視野内における大きさ、および前記フレームレートの少なくとも一つに応じて適応的に可変することを特徴とする請求項5に記載の目標角速度計測方法。
- さらに、前記撮像フレームにおける各画素に対してその輝度に関して所定の閾値に基づく2値化処理を施し、前記第1ステップにおける処理に供する第4ステップを具備することを特徴する請求項5に記載の目標角速度計測方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002273686A JP3702260B2 (ja) | 2002-09-19 | 2002-09-19 | 目標角速度計測装置および目標角速度計測方法 |
US10/629,632 US7430304B2 (en) | 2002-09-19 | 2003-07-30 | Object velocity measuring apparatus and object velocity measuring method |
US11/774,228 US7536035B2 (en) | 2002-09-19 | 2007-07-06 | Object velocity measuring apparatus and object velocity measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002273686A JP3702260B2 (ja) | 2002-09-19 | 2002-09-19 | 目標角速度計測装置および目標角速度計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004109009A true JP2004109009A (ja) | 2004-04-08 |
JP3702260B2 JP3702260B2 (ja) | 2005-10-05 |
Family
ID=32063492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002273686A Expired - Fee Related JP3702260B2 (ja) | 2002-09-19 | 2002-09-19 | 目標角速度計測装置および目標角速度計測方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7430304B2 (ja) |
JP (1) | JP3702260B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4766333B2 (ja) * | 2004-12-21 | 2011-09-07 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム |
JP2009510827A (ja) * | 2005-09-27 | 2009-03-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 動き検出装置 |
JP5279517B2 (ja) * | 2009-01-09 | 2013-09-04 | キヤノン株式会社 | 物体検知装置及び物体検知方法 |
US8116527B2 (en) * | 2009-10-07 | 2012-02-14 | The United States Of America As Represented By The Secretary Of The Army | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
US8687060B1 (en) | 2009-12-28 | 2014-04-01 | Cognex Corporation | System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system |
US8787444B2 (en) * | 2010-07-16 | 2014-07-22 | Sony Corporation | Differential coding of intra directions (DCIC) |
KR101172747B1 (ko) * | 2010-08-16 | 2012-08-14 | 한국표준과학연구원 | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 |
US8586955B2 (en) * | 2010-09-22 | 2013-11-19 | Ko Khee Tay | Apparatus and method for attenuating high energy radiation based on detected vehicle type |
WO2013012335A1 (en) * | 2011-07-21 | 2013-01-24 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
CN103093204B (zh) * | 2013-01-21 | 2016-08-31 | 信帧电子技术(北京)有限公司 | 行为监测方法及装置 |
JP6044522B2 (ja) * | 2013-11-19 | 2016-12-14 | 横河電機株式会社 | 緩徐変化検出システム |
US10453150B2 (en) * | 2017-06-16 | 2019-10-22 | Nauto, Inc. | System and method for adverse vehicle event determination |
WO2019169031A1 (en) | 2018-02-27 | 2019-09-06 | Nauto, Inc. | Method for determining driving policy |
CN111080963A (zh) * | 2019-12-18 | 2020-04-28 | 广州穗能通能源科技有限责任公司 | 施工现场告警方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05284501A (ja) | 1992-04-06 | 1993-10-29 | Mitsubishi Electric Corp | 侵入監視画像装置 |
US6167143A (en) * | 1993-05-03 | 2000-12-26 | U.S. Philips Corporation | Monitoring system |
JPH06331380A (ja) | 1993-05-25 | 1994-12-02 | Fujitsu Ltd | 物体の運動同定方法および運動同定装置 |
US6298143B1 (en) | 1997-04-03 | 2001-10-02 | Kabushiki Kaisha Toshiba | Moving target detecting system and moving target detecting method |
US6400830B1 (en) * | 1998-02-06 | 2002-06-04 | Compaq Computer Corporation | Technique for tracking objects through a series of images |
JP4224748B2 (ja) * | 1999-09-13 | 2009-02-18 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 |
JP3649277B2 (ja) | 2000-12-21 | 2005-05-18 | 日本電気株式会社 | 画像認識による速度測定システム及び速度測定方法 |
JP4596203B2 (ja) * | 2001-02-19 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
-
2002
- 2002-09-19 JP JP2002273686A patent/JP3702260B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-30 US US10/629,632 patent/US7430304B2/en active Active
-
2007
- 2007-07-06 US US11/774,228 patent/US7536035B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US20040071319A1 (en) | 2004-04-15 |
US7430304B2 (en) | 2008-09-30 |
US7536035B2 (en) | 2009-05-19 |
US20080013791A1 (en) | 2008-01-17 |
JP3702260B2 (ja) | 2005-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100519782B1 (ko) | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
US7536035B2 (en) | Object velocity measuring apparatus and object velocity measuring method | |
CN106952274B (zh) | 基于立体视觉的行人检测与测距方法 | |
JP4002919B2 (ja) | 移動体高さ判別装置 | |
JP4663966B2 (ja) | 映像信号から対象物を追跡する方法及びその装置 | |
CN102737370B (zh) | 检测图像前景的方法及设备 | |
CN105427342B (zh) | 一种水下小目标声呐图像目标检测跟踪方法和*** | |
CN109939432B (zh) | 一种智能跳绳计数方法 | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
EP2858037B1 (en) | Moving object detector | |
KR20110084028A (ko) | 이미지 데이터를 이용한 거리 측정 장치 및 방법 | |
US20180268522A1 (en) | Electronic device with an upscaling processor and associated method | |
CN104331907B (zh) | 一种基于orb特征检测测量载体速度的方法 | |
JP4818285B2 (ja) | 混雑滞留検知システム | |
CN104471436B (zh) | 用于计算对象的成像比例的变化的方法和设备 | |
JP2006318064A (ja) | 画像センサ | |
CN113409334B (zh) | 一种基于质心的结构光角点检测方法 | |
US8351653B2 (en) | Distance estimation from image motion for moving obstacle detection | |
CN104937608B (zh) | 道路区域检测 | |
JP6558831B2 (ja) | オブジェクト追跡装置、方法およびプログラム | |
JP2004046464A (ja) | 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体 | |
CN108573497B (zh) | 客流统计装置和方法 | |
JP3609679B2 (ja) | 動画像処理装置及びその方法 | |
JP5419925B2 (ja) | 通過物体数計測方法、通過物体数計測装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050715 |
|
LAPS | Cancellation because of no payment of annual fees |