JP4343325B2 - 移動物体検知装置 - Google Patents
移動物体検知装置 Download PDFInfo
- Publication number
- JP4343325B2 JP4343325B2 JP13348199A JP13348199A JP4343325B2 JP 4343325 B2 JP4343325 B2 JP 4343325B2 JP 13348199 A JP13348199 A JP 13348199A JP 13348199 A JP13348199 A JP 13348199A JP 4343325 B2 JP4343325 B2 JP 4343325B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement
- moving
- moving object
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、カメラにより撮像される画像を処理することで、移動物体の有無を検知する移動物体検知装置に関し、特に、自然界に存在する外乱に影響されることなく、移動物体の有無を正確に検知できるようにする移動物体検知装置に関する。
【0002】
ビルなどでの侵入者監視システムのように、カメラにより撮像される画像を処理することで移動物体の有無を検知する検知システムが広く使用されつつある。この検知システムを実用的なものとするためには、自然界に存在する外乱に影響されることなく、移動物体の有無を正確に検知できるようにする技術を構築していく必要がある。
【0003】
【従来の技術】
カメラにより撮像される画像を処理することで移動物体の有無を検知する方法として、(1)背景差分法、(2)動き差分法、(3)動きベクトル法、(4)相関値判定法がある。
【0004】
(1)背景差分法は、移動物体のない画像を予め保存しておき、それとの差分を画素毎に求め、差が一定値以上であれば移動物体があるとするという方法である。
【0005】
(2)動き差分法は、ある時刻の画像と次の時刻の画像に対して画素毎の差分を求め、それが一定値以上であれば移動物体があるとするという方法である。
【0006】
(3)動きベクトル法は、相関演算によって動きベクトルを求め、その大きさが例えば1以上である場合に動きがあると判定する方法である。
【0007】
動きベクトルの計測は、図13に示すように、あるフレームfにおける局所画像(参照ブロック)と、次のフレーム(f+1)における局所画像(候補ブロック)との間の相関演算を、候補ブロックの位置を変えながら繰り返すもので、相関が最大となる候補ブロックの位置から、両フレーム間での物体の動きベクトルを求めることができる。
【0008】
相関演算は、具体的には、
D(h,v)=Σx=1 m Σy=1 n |If (x,y) −If+1(h+x,v+y)|
但し、−p≦h,v≦q
の式で表される。
【0009】
ここで、If はフレームfの画像、If+1 はフレーム(f+1)の画像であり、参照ブロックのサイズをm×n画素、動きベクトルの探索範囲(探索ブロック)を水平垂直方向共に−p〜+q画素としている。また、便宜上、参照ブロックの左上を座標原点としている。
【0010】
この式に基づく演算の結果、図14に示すような2次元の相関値配列D(h,v)が得られ、相関値D(h,v)が最小となる(h,v)が動きベクトルとなる。
【0011】
(4)相関値判定法は、最小相関値D(h,v)と、動きベクトル0の場合の相関値D(0,0)とを比較し、適当な閾値Tを使って、「D(0,0)−D(h,v)>T」の場合に動きがあると判定する方法である。
【0012】
この方法は、参照ブロック内の画像に顕著なパターンがない場合(例えば真っ白な場合)に、動きベクトルが不安定となる問題点を回避すべく考案されたものである。
【0013】
すなわち、顕著なパターンがない場合、相関値D(h,v)は一様に小さな値となることから、動きベクトルを一意に定めることができない。従って、最小相関値D(h,v)から単純に求めた動きベクトルは、実際の物体の移動に対応しない。これに対して、相関値判定法では、一様な相関値D(h,v)に対しては、「D(0,0)−D(h,v)」は必ず小さな値になるので、閾値Tを越えることはない。従って、顕著なパターンがない場合には、動きなしと検知され、誤った動きベクトルを出力することがないという効果を生む。
【0014】
【発明が解決しようとする課題】
しかしながら、背景差分法、動き差分法、動きベクトル法、相関値判定法といういずれの従来技術も、瞬間的な動きを検知するものであることから、自然界に存在する木々や波などの揺れなどについても、動きがあると検知してしまうという問題点がある。
【0015】
これから、従来技術に従っていると、自然界に存在する木々や波などの揺れなどにより、移動物体が存在しないにもかかわらず、移動物体が存在すると誤検知してしまうという問題点がある。
【0016】
本発明はかかる事情に鑑みてなされたものであって、自然界に存在する外乱に影響されることなく、移動物体の有無を正確に検知できるようにする新たな移動物体検知装置の提供を目的とする。
【0017】
【課題を解決するための手段】
この目的を達成するために、本発明に関連する第1の関連発明では、カメラにより撮像される画像を処理することで、移動物体の有無を検知する移動物体検知方法において、動きのある画像領域を検出する第1の処理過程と、第1の処理過程で検出された画像領域を処理対象として、規定時間の間、その画像領域の動きを追跡する第2の処理過程と、第2の処理過程で追跡した動きが移動物体の動きを示すのか否かを判断することで、移動物体の有無を検知する第3の処理過程とを備える構成を採る。
【0018】
このように構成される本発明に関連する第1の関連発明では、第1の処理過程で、動きのある画像領域を検出すると、第2の処理過程で、規定時間の間、その画像領域の動きを追跡し、これを受けて、第3の処理過程で、その追跡された動きが移動物体の動きを示すのか否かを判断することで、移動物体の有無を検知する。
【0019】
本発明の検知対象となる人や車両などの移動物体は、短い時間で見ると、一定方向に0でない速度で動くのに対して、自然界に存在する木々や波などの揺れは、振動的な動きを示し、短い周期で動きの方向や大きさが変化するという特徴がある。
【0020】
そこで、本発明に関連する第1の関連発明では、一旦動きを検知した後、しばらくその動きを追跡して、その動きが振動的でない場合に、初めて移動物体であると判断することで、自然界に存在する外乱に影響されずに、移動物体を検知することを実現している。
【0021】
一方、本発明に関連する第2の関連発明では、カメラにより撮像される画像を処理することで、移動物体の有無を検知する移動物体検知方法において、動きのある画像領域を検出する第1の処理過程と、第1の処理過程で検出された画像領域を処理対象として、規定時間の間、その画像領域の動きを追跡するとともに、その画像領域の動きの検出の信頼性を評価して、その評価が低いときには、それまで追跡してきた画像領域に動きがないことを判断してその追跡を中止する第2の処理過程と、第2の処理過程で追跡した動きが移動物体の動きを示すのか否かを判断することで、移動物体の有無を検知する第3の処理過程とを備える構成を採る。
【0022】
このように構成される本発明に関連する第2の関連発明では、第1の処理過程で、動きのある画像領域を検出すると、第2の処理過程で、規定時間の間、その画像領域の動きを追跡するとともに、その画像領域の動きの検出の信頼性を評価して、その評価が低いときには、それまで追跡してきた画像領域に動きがないことを判断してその追跡を中止していき、これを受けて、第3の処理過程で、その追跡された動きが移動物体の動きを示すのか否かを判断することで、移動物体の有無を検知する。
【0023】
自然界に存在する木々や波などの揺れは、本発明の検知対象となる人や車両などの移動物体と異なって、振動的な動きを示し、短い周期で動きの方向や大きさが変化するという特徴があることに加えて、常時画像パターンが変化するという特徴がある。例えば波は、光の反射が光ったり消えたりすることによって、ちらちらと動いて見える性質を持ち、画像パターンとしてみれば、光る点がある状態と何もない状態とを繰り返している。
【0024】
そこで、本発明に関連する第2の関連発明では、一旦動きを検知した後、しばらくその動きを追跡して、その動きが振動的でない場合に、初めて移動物体であると判断するという構成を採るときにあって、画像領域の動きの検出の信頼性を評価して、画像パターンが変化することでその評価が低くなるときには、一旦移動物体として検知したものを直ちに移動物体ではないと判断していくことで、自然界に存在する外乱に影響されずに、移動物体を検知することを実現している。
【0025】
一方、本発明の移動物体検知装置では、カメラにより撮像される画像を処理することで、移動物体の有無を検知するときにあって、動きのある画像領域を検出する第1の検出手段と、第1の検出手段の検出した画像領域を処理対象として、規定時間の間、その画像領域の動きの検出に用いるマトリックス値を算出して、そのマトリックス値に従って、その画像領域の動きを追跡するとともに、そのマトリックス値を累積加算する実行手段と、実行手段の累積加算したマトリックス値から、実行手段の追跡した動きが移動物体の動きを示すのか否かを判断することで、移動物体の有無を検知する第2の検出手段とを備える構成を採る。
【0026】
このように構成される本発明の移動物体検知装置では、第1の検出手段が、動きのある画像領域を検出すると、実行手段が、規定時間の間、その画像領域の動きの検出に用いるマトリックス値を算出して、そのマトリックス値に従って、その画像領域の動きを追跡するとともに、そのマトリックス値を累積加算し、これを受けて、第2の検出手段が、その累積加算されたマトリックス値から、その追跡された動きが移動物体の動きを示すのか否かを判断することで、移動物体の有無を検知する。
【0027】
本発明に関連する第2の関連発明では、例えば、画像領域の動きの検出に用いるマトリックス値に従って、画像領域の動きの検出の信頼性を評価して、画像パターンが変化することでその評価が低くなるときには、直ちに移動物体ではないと判断する構成を採るのに対して、本発明では、そのマトリックス値を累積加算して、最後に信頼性評価を行うことで、平均的な信頼性を評価する構成を採っている。従って、瞬間的には信頼性が低くても、平均的には信頼性が高い場合には、動きがあると判定できるようになる。
【0028】
例えば、移動物体のコントラストが低い場合には、画像パターンがはっきりせず、瞬間的にその動きの検出の信頼性が低くなることが起こる。また、歩いている人を検出する場合に、人の歩く速度はわずかながら周期的に変動するので、瞬間的には速度0となる場合も起こり、瞬間的にその動きの検出の信頼性が低くなることが起こる。このような場合にも、本発明では、移動物体を正確に検知できるようになる。
【0029】
このような構成を採るときにあって、本発明では、カメラの振動やパンチルト移動による画像の動きを考慮して、第1の検出手段が、画像全体の並進的な動きを検出することでカメラの動きを検出して、それによる画像の動きを考慮しつつ、動きのある画像領域を検出し、実行手段が、画像全体の並進的な動きを検出することでカメラの動きを検出して、それによる画像の動きを考慮しつつ、画像領域の動きを追跡する構成を採ることで、カメラの振動やパンチルト移動の影響を受けることなく移動物体を検知できるようにすることを実現している。
【0030】
また、本発明では、カメラの振動やパンチルト移動による画像の動きと、カメラのレンズズームによる画像の動きを考慮して、第1の検出手段が、画像全体の並進的及び放射状的な動きを検出することで、カメラの動きとカメラのレンズズームとを検出して、それによる画像の動きを考慮しつつ、動きのある画像領域を検出し、実行手段が、画像全体の並進的及び放射状的な動きを検出することで、カメラの動きとカメラのレンズズームとを検出して、それによる画像の動きを考慮しつつ、画像領域の動きを追跡する構成を採ることで、カメラの振動やパンチルト移動やレンズズームの影響を受けることなく移動物体を検知できるようにすることを実現している。
【0031】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【0032】
図1に、本発明を具備する移動物体検知装置1の一実施例を図示する。
【0033】
この図に示すように、本発明の移動物体検知装置1は、カメラ2の撮像する画像を入力として、その入力画像を処理することで、移動物体の有無を検知するものであって、第1の画像メモリ10と、第2の画像メモリ11と、デマルチプレクサ12と、相関演算器13と、移動物体検知プログラム14とを備える。
【0034】
この第1の画像メモリ10は、「フレーム1→フレーム3→フレーム5→・・・」という順番に従ってカメラ2の撮像する画像を格納していく。第2の画像メモリ11は、「フレーム2→フレーム4→フレーム6→・・・」という順番に従ってカメラ2の撮像する画像を格納していく。デマルチプレクサ12は、カメラ2の撮像する画像を入力として、それを第1の画像メモリ10と第2の画像メモリ11とに振り分けていく。
【0035】
相関演算器13は、ハードウェアで構成され、第1の画像メモリ10に格納される画像と第2の画像メモリ11に格納される画像とを処理対象として、移動物体検知プログラム14の指示する画像領域に対して相関演算を実行して、図14に示したような相関値配列と、その相関値配列に含まれる最小相関値とを求めて、移動物体検知プログラム14に渡す。
【0036】
移動物体検知プログラム14は、相関演算器13を使って規定の検知処理を実行することで、カメラ2の撮像する画像の中に移動物体が含まれているのか否かを検知する。
【0037】
図2及び図3に、移動物体検知プログラム14の実行する処理フローの一例を図示する。次に、この処理フローに従って、本発明に関連する発明について詳細に説明する。
【0038】
移動物体検知プログラム14は、規定の検知周期に到達することで起動されると、図2及び図3の処理フローに示すように、先ず最初に、ステップ1で、画像全体を複数の矩形ブロックに分割する。続いて、ステップ2で、未処理の矩形ブロックの中から矩形ブロックを1つ選択し、続くステップ3で、全ての矩形ブロックの選択を終了したのか否かを判断する。
【0039】
この判断処理により、全ての矩形ブロックの選択を終了していないことを判断するとき、すなわち、ステップ2で矩形ブロックを選択できたことを判断するときには、ステップ4に進んで、選択した矩形ブロックを指定して、相関演算器13に演算を指示する。
【0040】
この演算指示を受け取ると、相関演算器13は、第1の画像メモリ10or第2の画像メモリ11に格納されるフレームfの画像から、指定された矩形ブロックの画像部分を参照ブロック(図13に示したもの)として切り出すとともに、第1の画像メモリ10or第2の画像メモリ11に格納されるフレーム(f+1)の画像から、それに対応する候補ブロック/探索ブロック(図13に示したもの)の画像部分を切り出して相関演算を実行し、その演算結果となる相関値配列/最小相関値を出力する。
【0041】
これから、このステップ4では、相関演算器13に演算を指示した後、その演算指示に応答して相関演算器13から出力される相関値配列/最小相関値を受け取る。
【0042】
続いて、ステップ5で、相関演算器13から受け取った最小相関値D(h0,v0) と、相関演算器13から受け取った相関値配列の持つ動きがない場合の相関値D(0,0) とから、「D(0,0) −D(h0,v0) 」を算出して、その値が規定の閾値T以上を示すときには、選択した矩形ブロックに動きがあることを判断して、それを移動領域として設定してから、ステップ2に戻っていく。
【0043】
このようにして、ステップ2ないしステップ5の処理(以下、このステップ1〜ステップ5の処理を初期動き検知処理と称することがある)を繰り返していくことで、移動領域を検知することになるが、これらの移動領域の中には、自然界の外乱が含まれている可能性があるので、続いて、これらの移動領域が本来の移動物体であるのか否かの検知処理に入る。
【0044】
すなわち、続いて、ステップ6で、時間経過を示す変数tに0をセットする。続いて、ステップ7で、未処理の移動領域の中から移動領域を1つ選択し、続くステップ8で、全ての移動領域の選択を終了したのか否かを判断する。
【0045】
この判断処理により、全ての移動領域の選択を終了していないことを判断するとき、すなわち、ステップ7で移動領域を選択できたことを判断するときには、ステップ9に進んで、選択した移動領域を指定して、相関演算器13に演算を指示する。
【0046】
この演算指示を受け取ると、相関演算器13は、第1の画像メモリ10or第2の画像メモリ11に格納されるフレームf(この時点では未だフレームfである)の画像から、指定された移動領域の画像部分を参照ブロックとして切り出すとともに、第1の画像メモリ10or第2の画像メモリ11に格納されるフレーム(f+1)(この時点では未だフレーム(f+1)である)の画像から、それに対応する候補ブロック/探索ブロックの画像部分を切り出して相関演算を実行し、その演算結果となる相関値配列/最小相関値を出力する。
【0047】
これから、このステップ9では、相関演算器13に演算を指示した後、その演算指示に応答して相関演算器13から出力される相関値配列/最小相関値を受け取り、その最小相関値D(h0,v0) で規定される動きベクトル(h0,v0 )を特定してから、ステップ7に戻っていく。
【0048】
このようにして、ステップ7ないしステップ9の処理を繰り返していくことで、初期動き検知処理により検知された移動領域の動きベクトルを算出することになるが、この時点で求める動きベクトルは、ステップ4で受け取った最小相関値D(h0,v0) で規定されるものと同じものであるので、この関連発明のように相関演算を使って初期動き検知処理を実行する構成を採る場合には、ステップ4で受け取った最小相関値D(h0,v0) で規定される動きベクトルをそのまま使用することでもよい。
【0049】
一方、ステップ8で、全ての移動領域の選択を終了したことを判断するときには、ステップ10(図3の処理フロー)に進んで、変数tの値が規定の最大値tmax を越えたのか否かを判断する。ここで、この最大値tmax は、検知エリアに含まれる木々や波などの動きに合わせて設定される。例えば、木々の揺れが1秒周期程度であれば、その1/2である0.5秒以上に設定されることになる。
【0050】
この判断処理により、変数tの値が最大値tmax を越えていないことを判断するときには、ステップ11に進んで、各移動領域をステップ9で特定した動きベクトル分移動させることで各移動領域を追跡し、続くステップ12で、変数tの値を1つインクリメントしてから、ステップ7に戻っていく。
【0051】
このようにして、ステップ12を経由してステップ7に戻ると、上述したステップ7ないしステップ9の処理を繰り返していくことで、前回がフレームfの画像とフレーム(f+1)の画像とを使って移動領域の動きベクトルを求めた場合には、今回はフレーム(f+1)の画像とフレーム(f+2)の画像とを使って移動領域の動きベクトルを求め、前回がフレーム(f+1)の画像とフレーム(f+2)の画像とを使って移動領域の動きベクトルを求めた場合には、今回はフレーム(f+2)の画像とフレーム(f+3)の画像とを使って移動領域の動きベクトルを求めるという形態に従って、初期動き検知処理により検知された移動領域の動きベクトルを求めていくことになる。
【0052】
一方、ステップ10で、変数tの値が最大値tmax を越えたことを判断するときには、ステップ13に進んで、未処理の移動領域の中から移動領域を1つ選択し、続くステップ14で、全ての移動領域の選択を終了したのか否かを判断する。
【0053】
この判断処理により、全ての移動領域の選択を終了していないことを判断するとき、すなわち、ステップ13で移動領域を選択できたことを判断するときには、ステップ15に進んで、選択した移動領域の動きベクトル(h0,v0 )の時系列データから、選択した移動領域の動きベクトルは一定方向で、かつ0でないのかを判断(設定される許容値を使って判断する)して、そのような状態にあることを判断するときには、ステップ16に進んで、その選択した移動領域を移動物体であると検知し、そのような状態にないことを判断するときには、ステップ17に進んで、その選択した移動領域を移動物体でなくて自然界に存在する外乱であると検知する。
【0054】
すなわち、動きベクトルの追跡対象が移動物体である場合には、時間tmax の間は、常に、相関演算器13から受け取る最小相関値D(h0,v0) の位置(h0,v0 )は概略同一の値を示すことになるのに対して、動きベクトルの追跡対象が自然界に存在する外乱である場合には、この最小相関値D(h0,v0) の位置(h0,v0 )は揺らぎにより振動的に変動するので、その違いを使って、移動物体であるのか、自然界に存在する外乱であるのかを判断するのである。
【0055】
そして、ステップ14で、全ての移動領域の選択を終了したことを判断するときには、ステップ18に進んで、ステップ16で検知した移動物体の位置を出力して、処理を終了する。
【0056】
このようにして、移動物体検知プログラム14は、図2及び図3の処理フローに従う場合には、一旦動きを検知した後、しばらくその動きを追跡して、その動きが振動的でない場合に、初めて移動物体であると判断することで、自然界に存在する外乱に影響されずに移動物体を検知するように処理している。
【0057】
このように、移動物体検知プログラム14は、図2及び図3の処理フローに従う場合には、動きの周期性を調べることで、自然界に存在する外乱に影響されずに移動物体を検知するように処理しているが、これから説明する図4及び図5の処理フローに従う場合には、動きの周期性と画像パターンの定常性とを調べることで、自然界に存在する外乱に影響されずに移動物体を検知するように処理している。
【0058】
次に、図4及び図5に示す処理フローに従って、本発明に関連する他の発明について詳細に説明する。
【0059】
移動物体検知プログラム14は、図4及び図5の処理フローに従う場合には、先ず最初に、ステップ1で、初期動き検知処理(図2の処理フローのステップ1〜ステップ5で説明した移動領域の検知処理)を実行することで、移動領域を抽出する。
【0060】
続いて、ステップ2で、時間経過を示す変数tに0をセットする。続いて、ステップ3で、未処理の移動領域の中から移動領域を1つ選択し、続くステップ4で、全ての移動領域の選択を終了したのか否かを判断する。
【0061】
この判断処理により、全ての移動領域の選択を終了していないことを判断するとき、すなわち、ステップ3で移動領域を選択できたことを判断するときには、ステップ5に進んで、選択した移動領域を指定して、相関演算器13に演算を指示する。
【0062】
この演算指示を受け取ると、相関演算器13は、第1の画像メモリ10or第2の画像メモリ11に格納されるフレームfの画像から、指定された移動領域の画像部分を参照ブロックとして切り出すとともに、第1の画像メモリ10or第2の画像メモリ11に格納されるフレーム(f+1)の画像から、それに対応する候補ブロック/探索ブロックの画像部分を切り出して相関演算を実行し、その演算結果となる相関値配列/最小相関値を出力する。
【0063】
これから、このステップ5では、相関演算器13に演算を指示した後、その演算指示に応答して相関演算器13から出力される相関値配列/最小相関値を受け取る。なお、この時点で受け取る相関値配列/最小相関値は、初期動き検知処理で受け取るものと同じものであるので、それを使用することでもよい。
【0064】
続いて、ステップ6で、受け取った相関値配列の信頼性を評価する。この信頼性の評価処理は、例えば、最小相関値D(h0,v0) の近傍(例えば、(h0,v0) の周囲±w)を除いた配列部分が持つ最も小さな相関値D(h1,v1) を求めて、「D(h1,v1) −D(h0,v0) 」の値が閾値T1よりも大きいときには、信頼性が高いと評価し、閾値T1よりも小さいときには、信頼性が低いと評価することで行う。
【0065】
この評価処理は、相関演算器13から受け取った相関値配列が図6(a)に示すように深い凹部を持つとき、すなわち、局所的に高い相関を示すときには信頼性が高いと判断し、図6(b)に示すように平坦に近いとき、すなわち、局所的に高い相関を示さないときには信頼性が低いと判断することを意味している。
【0066】
その他に、相関演算器13から受け取った最小相関値D(h0,v0) と、相関演算器13から受け取った相関値配列の持つ動きがない場合の相関値D(0,0) とから、「D(0,0) −D(h0,v0) 」を算出して、その値が規定の閾値T以上を示すときには、信頼性が高いと評価し、閾値Tよりも小さいときには、信頼性が低いと評価することで行うことも可能である。
【0067】
ステップ6で相関値配列の信頼性を評価すると、続いて、ステップ7で、信頼性が低いという評価が得られたのか否かを判断して、信頼性が低いという評価が得られたことを判断するときには、ステップ8に進んで、ステップ3で選択した移動領域を移動領域から除外し、信頼性が高いという評価が得られたことを判断するときには、ステップ9に進んで、受け取った相関値配列の持つ最小相関値D(h0,v0) で規定される移動領域の動きベクトル(h0,v0 )を特定してから、ステップ3に戻っていく。
【0068】
このようにして、ステップ3ないしステップ9の処理を繰り返していくことで、初期動き検知処理により検知された移動領域の信頼性を評価して、信頼性が低いときには、移動領域から除外しつつ、移動領域の動きベクトルを特定していくことになる。
【0069】
一方、ステップ4で、全ての移動領域の選択を終了したことを判断するときには、ステップ10に進んで、移動領域があるのか否かを判断して、移動領域がないことを判断するときには、ステップ11に進んで、直ちに、移動物体が存在しない旨を示す検知結果を出力して、処理を終了する。
【0070】
一方、ステップ10で移動領域があることを判断するときには、ステップ12(図5の処理フロー)に進んで、変数tの値が規定の最大値tmax を越えたのか否かを判断する。
【0071】
この判断処理により、変数tの値が最大値tmax を越えていないことを判断するときには、ステップ13に進んで、各移動領域をステップ9で特定した動きベクトル分移動させることで各移動領域を追跡し、続くステップ14で、変数tの値を1つインクリメントしてから、ステップ3に戻っていく。
【0072】
このようにして、ステップ14を経由してステップ3に戻ると、上述したステップ3ないしステップ9の処理を繰り返していくことで、信頼性の低い移動領域については除外しつつ、前回がフレームfの画像とフレーム(f+1)の画像とを使って移動領域の動きベクトルを求めた場合には、今回はフレーム(f+1)の画像とフレーム(f+2)の画像とを使って移動領域の動きベクトルを求め、前回がフレーム(f+1)の画像とフレーム(f+2)の画像とを使って移動領域の動きベクトルを求めた場合には、今回はフレーム(f+2)の画像とフレーム(f+3)の画像とを使って移動領域の動きベクトルを求めるという形態に従って、初期動き検知処理により検知された移動領域の動きベクトルを求めていくことになる。
【0073】
一方、ステップ12で、変数tの値が最大値tmax を越えたことを判断するときには、ステップ15に進んで、未処理の移動領域の中から移動領域を1つ選択し、続くステップ16で、全ての移動領域の選択を終了したのか否かを判断する。
【0074】
この判断処理により、全ての移動領域の選択を終了していないことを判断するとき、すなわち、ステップ15で移動領域を選択できたことを判断するときには、ステップ17に進んで、選択した移動領域の動きベクトル(h0,v0 )の時系列データから、選択した移動領域の動きベクトルは一定方向で、かつ0でないのかを判断して、そのような状態にあることを判断するときには、ステップ18に進んで、その選択した移動領域を移動物体であると検知し、そのような状態にないことを判断するときには、ステップ19に進んで、その選択した移動領域を移動物体でなくて自然界に存在する外乱であると検知する。
【0075】
すなわち、動きベクトルの追跡対象が移動物体である場合には、時間tmax の間は、常に、相関演算器13から受け取る最小相関値D(h0,v0) の位置(h0,v0 )は概略同一の値を示すことになるのに対して、動きベクトルの追跡対象が自然界に存在する外乱である場合には、この最小相関値D(h0,v0) の位置(h0,v0 )は揺らぎにより振動的に変動するので、その違いを使って、移動物体であるのか、自然界に存在する外乱であるのかを判断するのである。
【0076】
そして、ステップ16で、全ての移動領域の選択を終了したことを判断するときには、ステップ20に進んで、ステップ18で検知した移動物体の位置を出力して、処理を終了する。
【0077】
このようにして、移動物体検知プログラム14は、図4及び図5の処理フローに従う場合には、一旦動きを検知した後、しばらくその動きを追跡して、その追跡中に、画像パターンの定常性がないことで高い信頼性をもって動きを検出できない場合には、直ちに移動物体ではないと判断しつつ、その動きが振動的でない場合に、初めて移動物体であると判断することで、自然界に存在する外乱に影響されずに移動物体を検知するように処理している。
【0078】
このように、移動物体検知プログラム14は、図4及び図5の処理フローに従う場合には、動きの周期性と画像パターンの定常性とを同時に調べることで、自然界に存在する外乱に影響されずに移動物体を検知するように処理している。
【0079】
図7及び図8に、本発明を実現すべく移動物体検知プログラム14が実行する処理フローの一実施例を図示する。次に、この処理フローに従って、本発明の実施例について詳細に説明する。
【0080】
移動物体検知プログラム14は、図7及び図8の処理フローに従う場合には、先ず最初に、ステップ1で、初期動き検知処理(図2の処理フローのステップ1ないしステップ5で説明した移動領域の検知処理)を実行することで、移動領域を抽出する。
【0081】
続いて、ステップ2で、抽出した移動領域に合わせて相関値バッファを作成して、それらをクリアする。続いて、ステップ3で、時間経過を示す変数tに0をセットする。続いて、ステップ4で、未処理の移動領域の中から移動領域を1つ選択し、続くステップ5で、全ての移動領域の選択を終了したのか否かを判断する。
【0082】
この判断処理により、全ての移動領域の選択を終了していないことを判断するとき、すなわち、ステップ4で移動領域を選択できたことを判断するときには、ステップ6に進んで、選択した移動領域を指定して、相関演算器13に演算を指示する。
【0083】
この演算指示を受け取ると、相関演算器13は、第1の画像メモリ10or第2の画像メモリ11に格納されるフレームfの画像から、指定された移動領域の画像部分を参照ブロックとして切り出すとともに、第1の画像メモリ10or第2の画像メモリ11に格納されるフレーム(f+1)の画像から、それに対応する候補ブロック/探索ブロックの画像部分を切り出して相関演算を実行し、その演算結果となる相関値配列/最小相関値を出力する。
【0084】
これから、このステップ6では、相関演算器13に演算を指示した後、その演算指示に応答して相関演算器13から出力される相関値配列/最小相関値を受け取り、その最小相関値D(h0,v0) で規定される動きベクトル(h0,v0 )を特定する。なお、この時点で受け取る相関値配列/最小相関値は、初期動き検知処理で受け取るものと同じものであるので、それを使用することでもよい。
【0085】
続いて、ステップ7で、受け取った相関値配列を、割り付けられる相関値バッファに累積加算(配列要素毎に累積加算する)してから、ステップ4に戻っていく。
【0086】
このようにして、ステップ4ないしステップ7の処理を繰り返していくことで、初期動き検知処理により検知された移動領域の持つ相関値配列を取得して、それを相関値バッファに格納していくことになる。
【0087】
一方、ステップ5で、全ての移動領域の選択を終了したことを判断するときには、ステップ8に進んで、変数tの値が規定の最大値tmax を越えたのか否かを判断する。
【0088】
この判断処理により、変数tの値が最大値tmax を越えていないことを判断するときには、ステップ9に進んで、各移動領域をステップ6で特定した動きベクトル分移動させることで各移動領域を追跡し、続くステップ10で、変数tの値を1つインクリメントしてから、ステップ4に戻っていく。
【0089】
このようにして、ステップ10を経由してステップ4に戻ると、上述したステップ4ないしステップ7の処理を繰り返していくことで、前回がフレームfの画像とフレーム(f+1)の画像とを使って移動領域の相関値配列/動きベクトルを求めた場合には、今回はフレーム(f+1)の画像とフレーム(f+2)の画像とを使って移動領域の相関値配列/動きベクトルを求めて、相関値配列を累積加算し、前回がフレーム(f+1)の画像とフレーム(f+2)の画像とを使って移動領域の相関値配列/動きベクトルを求めた場合には、今回はフレーム(f+2)の画像とフレーム(f+3)の画像とを使って移動領域の相関値配列/動きベクトルを求めて、相関値配列を累積加算動するという形態に従って、初期動き検知処理により検知された移動領域の動きベクトルを求めていくとともに、相関値配列を累積加算していくことになる。
【0090】
一方、ステップ8で、変数tの値が最大値tmax を越えたことを判断するときには、ステップ11(図8の処理フロー)に進んで、未処理の移動領域の中から移動領域を1つ選択し、続くステップ12で、全ての移動領域の選択を終了したのか否かを判断する。
【0091】
この判断処理により、全ての移動領域の選択を終了していないことを判断するとき、すなわち、ステップ11で移動領域を選択できたことを判断するときには、ステップ13に進んで、その選択した移動領域に割り付けられる相関値バッファに累積加算した相関値配列の信頼性を評価する。
【0092】
この信頼性の評価処理は、例えば、最小相関値D(h0,v0) の近傍(例えば、(h0,v0) の周囲±w)を除いた配列部分が持つ最も小さな相関値D(h1,v1) を求めて、「D(h1,v1) −D(h0,v0) 」の値が閾値T1よりも大きいときには、信頼性が高いと評価し、閾値T1よりも小さいときには、信頼性が低いと評価することで行ったり、最小相関値D(h0,v0) と動きがない場合の相関値D(0,0) とから、「D(0,0) −D(h0,v0) 」を算出して、その値が規定の閾値T以上を示すときには、信頼性が高いと評価し、閾値Tよりも小さいときには、信頼性が低いと評価することなどにより行う。
【0093】
動きベクトルの追跡対象が移動物体である場合には、時間tmax の間は、常に、相関演算器13から受け取る最小相関値D(h0,v0) の位置(h0,v0 )は概略同一の値を示すことになり、これから、相関値バッファに累積加算した相関値配列は、最小相関値D(h0,v0) の位置の所の一箇所に深い凹部を形成するので、そのような形態を示すのか否かを判断することで、移動領域の動きの追跡の信頼性を評価するのである。
【0094】
続いて、ステップ14で、その信頼性の評価処理により、累積加算した相関値配列が、高い信頼性をもって、選択した移動領域の動きベクトルが一定方向で、かつ0でないことを示しているのか否かを判断して、そのような状態にあることを判断するときには、ステップ15に進んで、その選択した移動領域を移動物体であると検知し、そのような状態にないことを判断するときには、ステップ16に進んで、その選択した移動領域を移動物体でなくて自然界に存在する外乱であると検知する。
【0095】
すなわち、選択した移動領域の動きベクトルが一定方向で、かつ0でないときには、累積加算した相関値配列が一箇所に深い凹部を持ち、一方、動きベクトルが揺らいでいるときには、累積加算した相関値配列がランダムな位置に複数の浅い凹部を持つので、累積加算した相関値配列が、高い信頼性をもって、選択した移動領域の動きベクトルが一定方向で、かつ0でないことを示しているのか否かを判断して、そのような状態にあることを判断するときには、その選択した移動領域を移動物体であると判断していくのである。
【0096】
そして、ステップ12で、全ての移動領域の選択を終了したことを判断するときには、ステップ17に進んで、ステップ15で検知した移動物体の位置を出力して、処理を終了する。
【0097】
このようにして、移動物体検知プログラム14は、図7及び図8の処理フローに従う場合には、図4及び図5の処理フローと異なって、瞬間的には信頼性が低くても、平均的に信頼性が高い場合には、動き有りと判断することで移動物体をより確実に捕らえるように処理している。
【0098】
例えば、図4及び図5の処理フローに従う場合には、移動物体のコントラストが低い場合に、パターンがはっきりせず、瞬間的に信頼性が低いとみなされることで移動物体ではない判断されることが起こるのに対して、図7及び図8の処理フローに従う場合には、そのようなものでも移動物体であると正確に検知できるようになる。
【0099】
また、歩いている人を検知したい場合に、人が歩く速度はわずかながら周期的に変動しているので、瞬間的には速度が0となることがある。これから、図4及び図5の処理フローに従う場合には、一瞬でも速度が0となると、移動物体ではないと判断されることが起こるのに対して、図7及び図8の処理フローに従う場合には、そのような場合にも移動物体であると正確に検知できるようになる。
【0100】
これまでに説明した実施例などでは、カメラ2の動きを考慮していなかった。カメラ2は、固定されていても風などの影響により振動することがあるし、また、旋回台によりパンチルト移動することがある。
【0101】
カメラ2が動くと、上述した初期動き検知処理で実行する移動領域の検知に誤りがでるとともに、初期動き検知処理に続いて実行する上述した移動領域の追跡に誤りがでる。
【0102】
そこで、移動物体検知プログラム14は、初期動き検知処理を実行する際と、初期動き検知処理に続いて実行する移動領域の追跡処理を実行する際に、カメラ2の動きに相当する画像全体の動きベクトル(hg,vg )を求めて、
D(h,v)=Σx=1 m Σy=1 n |If (x,y) −If+1(hg+h+x,vg+v+y)|
但し、−p≦h,v≦q
という式に従って相関演算を実行していくことで、図9に示すように、カメラ2の動きを差し引いて、その動きに影響を受けない形で、移動領域の検知と移動領域の追跡とを実行するように処理する。
【0103】
カメラ2の動きは、図10(a)の処理フローに示すように、相関演算器13に対して、外枠部分を取り除いたフレームfの画像全体と、フレーム(f+1)の画像全体との相関演算を指示することで、相関値配列を受け取り、その相関値配列の持つ最小相関値D(h0,v0) の規定する動きベクトルを特定することで行う。すなわち、図10(b)に示すような外枠部分を取り除いた画像全体を参照ブロックとして指定して相関演算を行うことで、画像全体の動きベクトルを求めて、それをカメラ2の動きとして特定することで行うのである。
【0104】
ここで、外枠部分を取り除いた画像全体を参照ブロックとするのではなくて、画像全体を参照ブロックとしてもカメラ2の動きを求めることは可能であり、また、画像の四隅などを参照ブロックとしてもカメラ2の動きを求めることは可能である。
【0105】
カメラ2にはレンズズームがあり、このレンズズームにより画像全体が放射状に動く。これから、カメラ2のレンズズームが発生すると、上述した初期動き検知処理で実行する移動領域の検知に誤りがでるとともに、初期動き検知処理に続いて実行する上述した移動領域の追跡に誤りがでる。
【0106】
レンズズームも考慮する場合には、移動物体検知プログラム14は、初期動き検知処理を実行する際と、初期動き検知処理に続いて実行する移動領域の追跡処理を実行する際に、図11の処理フローを実行することで、レンズズーム量Cと画像全体の動きベクトル(hg,vg )とを求めて、それに従って、移動領域の検知と移動領域の追跡とを実行する。
【0107】
すなわち、移動物体検知プログラム14は、図11の処理フローに示すように、先ず最初に、ステップ1で、レンズズーム量Cを設定する。
【0108】
このレンズズーム量Cは、図12に示すように、ズーム中心O(xo,yo) と矩形ブロックR(xr,yr) との距離z
z=((xo −xr )2 +(yo −yr )2 )1/2
と、ズーム中心から放射状に変位するオフセット量dzとの間を、「dz=C×z」という関係式に従って定義付けるものである。
【0109】
続いて、ステップ2で、予め用意される全てのレンズズーム量Cの設定を終了したのか否かを判断して、全てのレンズズーム量Cの設定を終了していないことを判断するとき、すなわち、ステップ1でレンズズーム量を設定できたことを判断するときには、ステップ3に進んで、未処理の矩形ブロック(画像全体を分割することで設定されている)の中から矩形ブロックを1つ選択し、続くステップ4で、全ての矩形ブロックの選択を終了したのか否かを判断する。
【0110】
この判断処理により、全ての矩形ブロックの選択を終了していないことを判断するとき、すなわち、ステップ3で矩形ブロックを選択できたことを判断するときには、ステップ5に進んで、相関演算器13に対して、その選択した矩形ブロックを参照ブロック(フレームfの画像)とし、その選択した矩形ブロックをオフセット量移動した矩形ブロックを候補ブロック(フレーム(f+1)の画像)として指定して相関演算を指示することで、相関値配列を受け取る。
【0111】
続いて、ステップ6で、予め用意する相関値バッファ(設定されるレンズズーム量に合わせて用意する)に、その受け取った相関値配列を累積加算してから、ステップ3に戻っていく。
【0112】
このようにして、ステップ3ないしステップ6の処理を繰り返していくことで、設定されたレンズズーム量における画像全体の相関値配列を累積加算していくことで、ステップ4で、全ての矩形ブロックの選択の終了を判断すると、ステップ7に進んで、その累積加算した相関値配列を保存してから、ステップ1に戻っていくことで、次のレンズズーム量における画像全体の相関値配列の累積加算値を求めていく。
【0113】
そして、ステップ2で、全てのレンズズーム量Cの設定の終了を判断すると、ステップ8に進んで、レンズズーム量Cに対応付けて保存した複数の累積加算の相関値配列を検索することで、最小の相関値を示すレンズズーム量Cを求めるとともに、そのときの動きベクトル(hg,vg )を求める。
【0114】
このようにして求まるレンズズーム量Cがカメラ2のレンズズーム量(C=0ならばズームしていないことを表し、C>0ならばズームアップしていることを表す)を表しており、動きベクトル(hg,vg )がカメラ2の動きを表している。
【0115】
これから、移動領域の検知と移動領域の追跡とを実行するときの相関演算を実行する際に、参照ブロックが与えられると、ズーム中心を中心として放射状に、この求めたレンズズーム量Cの規定するオフセット量dz(=C×z)だけずらし、次に、動きベクトル(hg,vg )だけずらした位置に、候補ブロックを設定するとともに、その周囲に探索ブロックを設定することで、カメラ2の動きやレンズズームに影響されずに、移動領域の検知と移動領域の追跡とを実行できるようになる。
【0116】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、初期動き検知処理で実行する移動領域の検知方法として、相関演算を用いる方法を採ったが、背景差分法や動き差分法などといった別の方法を用いることでもよい。また、実施例では、初期動き検知処理で検知された移動領域の追跡方法として、相関演算を用いるという方法を採ったが、それ以外の方法を用いることでもよい。
【0117】
また、実施例では、フレームfの画像とフレーム(f+1)の画像とを処理することで、移動領域の検知や追跡を実行する構成を採ったが、フレームfの画像とフレーム(f+Δ)(但し、Δ>1)の画像とを処理することで、移動領域の検知や追跡を実行する構成を採ってもよい。
【0118】
また、実施例では、ハードウェア構成の相関演算器13を用いる構成を採ったが、ソフトウェア構成の相関演算器を用いることも可能である。
【0119】
【発明の効果】
以上説明したように、本発明によれば、カメラにより撮像される画像を処理することで、移動物体の有無を検知する構成を採るときにあって、自然界に存在する外乱に影響されることなく、移動物体があるのか否かを正確に検知できるようになる。
【0120】
そして、本発明によれば、カメラの動きやレンズズームに影響されることなく、移動物体があるのか否かを正確に検知できるようになる。
【図面の簡単な説明】
【図1】本発明の一実施例図である。
【図2】移動物体検知プログラムの処理フローである。
【図3】移動物体検知プログラムの処理フローである。
【図4】移動物体検知プログラムの処理フローである。
【図5】移動物体検知プログラムの処理フローである。
【図6】相関値配列の信頼性評価処理の説明図である。
【図7】移動物体検知プログラムの処理フローである。
【図8】移動物体検知プログラムの処理フローである。
【図9】移動物体検知プログラムの処理の説明図である。
【図10】移動物体検知プログラムの処理の説明図である。
【図11】移動物体検知プログラムの処理フローである。
【図12】移動物体検知プログラムの処理の説明図である。
【図13】相関演算の説明図である。
【図14】相関値配列の説明図である。
【符号の説明】
1 移動物体検知装置
2 カメラ
10 第1の画像メモリ
11 第2の画像メモリ
12 デマルチプレクサ
13 相関演算器
14 移動物体検知プログラム
Claims (3)
- カメラにより撮像される画像を処理することで、移動物体の有無を検知する移動物体検知装置において、
動きのある画像領域を検出する第1の検出手段と、
前記第1の検出手段の検出した画像領域を処理対象として、規定時間の間、該画像領域の動きの検出に用いるマトリックス値を算出して、該マトリックス値に従って、該画像領域の動きを追跡するとともに、該マトリックス値を累積加算する実行手段と、
前記実行手段の累積加算したマトリックス値から、前記実行手段の追跡した動きが移動物体の動きを示すのか否かを判断することで、移動物体の有無を検知する第2の検出手段とを備えることを、
特徴とする移動物体検知装置。 - 請求項1に記載の移動物体検知装置において、
前記第1の検出手段は、画像全体の並進的な動きを検出することでカメラの動きを検出して、それによる画像の動きを考慮しつつ、動きのある画像領域を検出し、
前記実行手段は、画像全体の並進的な動きを検出することでカメラの動きを検出して、それによる画像の動きを考慮しつつ、画像領域の動きを追跡することを、
特徴とする移動物体検知装置。 - 請求項1に記載の移動物体検知装置において、
前記第1の検出手段は、画像全体の並進的及び放射状的な動きを検出することで、カメラの動きとカメラのレンズズームとを検出して、それによる画像の動きを考慮しつつ、動きのある画像領域を検出し、
前記実行手段は、画像全体の並進的及び放射状的な動きを検出することで、カメラの動きとカメラのレンズズームとを検出して、それによる画像の動きを考慮しつつ、画像領域の動きを追跡することを、
特徴とする移動物体検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13348199A JP4343325B2 (ja) | 1999-05-14 | 1999-05-14 | 移動物体検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13348199A JP4343325B2 (ja) | 1999-05-14 | 1999-05-14 | 移動物体検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000322581A JP2000322581A (ja) | 2000-11-24 |
JP4343325B2 true JP4343325B2 (ja) | 2009-10-14 |
Family
ID=15105788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13348199A Expired - Fee Related JP4343325B2 (ja) | 1999-05-14 | 1999-05-14 | 移動物体検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4343325B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344949A (ja) * | 2001-05-18 | 2002-11-29 | Toshiba Corp | 動画像監視装置 |
JP2004241945A (ja) * | 2003-02-05 | 2004-08-26 | Nippon Telegr & Teleph Corp <Ntt> | 画像監視装置、画像監視方法、画像監視プログラム及びそのプログラムを記録した記録媒体 |
JP4623368B2 (ja) | 2005-03-16 | 2011-02-02 | ソニー株式会社 | 移動物体検出装置、移動物体検出方法及びプログラム |
JP4241742B2 (ja) | 2006-01-31 | 2009-03-18 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
JP5347874B2 (ja) * | 2009-09-28 | 2013-11-20 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5644097B2 (ja) | 2009-12-08 | 2014-12-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2011191973A (ja) * | 2010-03-15 | 2011-09-29 | Fujifilm Corp | 動きベクトル計測装置および方法 |
WO2015122161A1 (ja) * | 2014-02-14 | 2015-08-20 | 日本電気株式会社 | 映像解析システム |
WO2020022362A1 (ja) * | 2018-07-24 | 2020-01-30 | 国立研究開発法人国立精神・神経医療研究センター | 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体 |
-
1999
- 1999-05-14 JP JP13348199A patent/JP4343325B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000322581A (ja) | 2000-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11538232B2 (en) | Tracker assisted image capture | |
US8170277B2 (en) | Automatic tracking apparatus and automatic tracking method | |
JP4653235B2 (ja) | フレーム選択を用いるパノラマ画像の構成 | |
US9852511B2 (en) | Systems and methods for tracking and detecting a target object | |
US9646389B2 (en) | Systems and methods for image scanning | |
US20170153646A1 (en) | Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof | |
JP5148669B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
US7173652B2 (en) | Method for detecting movement of image sensors | |
JP4826315B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP4343325B2 (ja) | 移動物体検知装置 | |
JP2006079594A (ja) | 移動物体検出装置及び方法 | |
JP5155110B2 (ja) | 監視装置 | |
JP2012008021A5 (ja) | ||
JP2016076791A (ja) | 物体追尾装置、物体追尾方法、およびプログラム | |
JP4171310B2 (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
JP6954367B2 (ja) | 計測システム、補正処理装置、補正処理方法、及びプログラム | |
JP2010154287A (ja) | 撮像装置及びその追尾方法 | |
JP4402764B2 (ja) | 移動物体追跡装置 | |
JP2019220895A (ja) | 画像処理装置、画像処理方法、プログラム、および画像処理システム | |
Zingaretti et al. | Imaging approach to real-time tracking of submarine pipeline | |
JP7204356B2 (ja) | 監視装置 | |
JP2002027480A (ja) | 動画像処理方法および動画像処理装置 | |
JP2003219398A (ja) | 災害監視装置 | |
US20230196584A1 (en) | Object detection method and object detection system for video | |
KR101070448B1 (ko) | 표적 추적 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090604 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090604 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090709 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |