JP4398533B2 - 画像追跡装置及び記録媒体 - Google Patents
画像追跡装置及び記録媒体 Download PDFInfo
- Publication number
- JP4398533B2 JP4398533B2 JP06593599A JP6593599A JP4398533B2 JP 4398533 B2 JP4398533 B2 JP 4398533B2 JP 06593599 A JP06593599 A JP 06593599A JP 6593599 A JP6593599 A JP 6593599A JP 4398533 B2 JP4398533 B2 JP 4398533B2
- Authority
- JP
- Japan
- Prior art keywords
- correlation value
- block
- tracking
- image
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Control Of Position Or Direction (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、例えば、道路上の交通量の監視など、ビデオカメラの画像を使って、対象とする移動物体を追跡する場合などに利用される画像追跡装置及び記録媒体に関する。
【0002】
【従来の技術】
以下、従来例を説明する。
図12は従来例の説明図(その1)であり、A図は相関演算による動きベクトル計測説明図、B図は移動物体の追跡説明図である。また、図13は従来例の説明図(その2)、図14は従来例の説明図(その3)、図15は従来例の説明図(その4)、図16は従来例の説明図(その5)である。以下、図12〜図16に基づいて従来例を説明する。
【0003】
従来、ビデオカメラから取り込んだ画像データを基に、対象とする移動物体を追跡する画像追跡装置が知られていた。この画像追跡装置では、相関演算を利用したパターンマッチングによる画像追跡処理が行われていた。その原理を図12、図13に基づいて説明する。図12において、フレームfは、或る時点でフレームメモリに格納された画像、フレームf+1は、次の時点でフレームメモリに格納された画像である。
【0004】
図12のA図に示すように、相関演算では、追跡対象なる矩形領域1(フレームfの画像領域)を参照ブロック(以下「テンプレート」とも記す)として抽出した上で、次の候補ブロック3(フレームf+1の画像領域)との間の相関値を計算する。
【0005】
この場合、候補ブロック3を1画素づつ移動させながら、2次元的にスキャンし、相関が一番高い(=相関値が一番小さい)位置を求めれば、特定の目標、例えば、図12のB図に示したヘリコプタ等の移動物体4が次のフレームのどこに動いたかを示す動きベクトル5が求まる。この相関値の計算には以下の式を用いる。
【0006】
【数1】
【0007】
前記式では、参照ブロック(テンプレート)1を8×8画素の画像とし、参照ブロック1内の各画素の濃度差の絶対値の総和を求めている。ここで、R(x,y)は参照ブロック1、S(x,y)は探索ブロック2の画像データである。
【0008】
この場合、2次元座標X,Yは、図の右方向と下方向が+、上方向と左方向が−に設定してあり、探索ブロック2は、候補ブロック3を、該候補ブロック3の端からそれぞれ、図の右方向へ7画素、左方向へ−8画素、上方向へ−8画素、下方向へ7画素移動できる大きさに設定してある。
【0009】
この手法は、SAD(Sum of Absolute Difference)と呼ばれている手法であり、前記D(x,y)を相関値(又はディストーション)と呼び、相関値が小さい程、相関が高く、最も相関値が小さい位置を求めて動きベクトル5を算出する。動きベクトル5が求まれば、追跡したい画像の移動量が分かるので、繰り返しこの動きベクトル5を求めることで、特定の移動物体を追跡することが可能になる。
【0010】
この際、図12のB図に示したように、前記探索ブロック2の位置を求めた動きベクトル5に従って移動させる。前記の例では、8×8画素の領域の追跡であるが、この局所相関演算を組み合わせることにより、広い領域の画像の相関演算を行うことができる。これは、累積相関と呼ばれ、その式は次のようになる。
【0011】
【数2】
【0012】
図13に、8×8画素の相関演算結果を4回累積することで、16×16画素の領域の相関演算を行う方法の原理を示す。図示のように、16×16画素の領域を、それぞれ8×8画素のB1、B2、B3、B4からなる4つの領域に分割する。そして、分割後の各8×8画素の領域B1、B2、B3、B4について、それぞれ相関演算を行い、相関値マップを作成する。
【0013】
例えば、領域B1の相関値マップ=S1、領域B2の相関値マップ=S2、領域B3の相関値マップ=S3、領域B4の相関値マップ=S4とすると、全体の相関値マップSは、S=S1+S2+S3+S4となる。
【0014】
しかしながら、前記の方法では、追跡画像の背景が変化した場合や、追跡している物体の一部が隠れた場合に相関が悪くなり(相関値が大きくなり)、安定した追跡ができなくなることがある。この様子を図14に示す。図14において、例えば、追跡物体が自動車7の場合、該自動車7が走行して、その一部が木8に隠れた時(一部隠れ)、或いは、自動車7の背景に、山9や木8が現れた時(背景変化)には、木8や山9により相関が悪くなり(相関値が大きくなり)、安定した追跡ができなくなることがある。
【0015】
また、追跡している移動物体が回転した場合(例えば、図12のB図のように、ヘリコプタを追跡していて、該ヘリコプタが空中で回転した場合)には、画像上で追跡物体の形状が大きく変化することがある。このような場合、テンプレートを順次更新することで対応する方法が従来から提案されているが、背景や、一部隠れが発生した場合は、追跡が続行できなくなることがある。この様子を図15に示す。
【0016】
図15の例では、更新したテンプレートに変化した背景が含まれており、追跡対象が移動したにも関わらず、背景部分の相関が高いので、追跡ブロックがその場にとどまってしまう例である。この例では、最初のテンプレートに自動車7が含まれており、該自動車7の背景は無い(無背景)とする。
【0017】
このような状態から自動車7が走行し、やがて背景が変化し、木8や山9が背景に現れたとする。このような場合、木8や山9を背景にした自動車7の画像にテンプレートを更新して追跡を続行する。しかし、この時、木8や山9の背景に相関が高くなってしまう。そして、自動車7が走行して別の背景が現れると、この画像は相関が低いとして無視されてしまう。従って、追跡ブロックがその場にとどまってしまう。
【0018】
また、形状が類似した複数の物体がすれ違う場合、追跡がもう一方の物体に移ってしまうことがある。この様子を図16に示す。図16の例では、2台の自動車7がすれ違う状態を示している。この場合、2台の自動車7の形状が類似していると、追跡対象でない別の自動車7へ追跡対象が移動してしまうことがある。従って、追跡物体の追跡が不可能になってしまう。
【0019】
【発明が解決しようとする課題】
前記のような従来のものにおいては、次のような課題があった。
【0020】
(1) :追跡画像の背景が変化した場合や、追跡している物体の一部が隠れた場合に相関値が悪くなり、安定した追跡ができなくなることがある。
【0021】
(2) :追跡している移動物体が回転した場合には、画像上で追跡物体の形状が大きく変化することがある。このような場合、テンプレートを順次更新することで対応する方法が従来から提案されているが、背景や、一部隠れが発生した場合は、追跡が続行できなくなることがある。
【0022】
(3) :更新したテンプレートに変化した背景が含まれた場合、追跡対象が移動したにも関わらず、背景部分の相関が高くなり、追跡ブロックがその場にとどまってしまうことがある。
【0023】
(4) :形状が類似した複数の物体がすれ違う場合、追跡がもう一方の物体に移ってしまうことがある。このような場合、追跡物体の追跡が不可能になってしまうことがある。
【0024】
本発明は、このような従来の課題を解決し、追跡物体の背景変化の影響を受け難くして追跡物体の一部隠れが発生した場合にも安定した追跡ができるようにすることを目的とする。また、追跡物体に一部隠れが発生した場合に、追跡を続行可能にして、形状変化と一部隠れの双方に対応しながらの追跡を可能にすることを目的とする。更に、動き予測を加味することにより、2物体がすれ違う場合にも追跡を続行可能にすることを目的とする。
【0025】
【課題を解決するための手段】
図1は本発明の原理説明図であり、A図は装置構成図、B図は画像追跡処理説明図である。図1において、32は制御部(例えば、CPU)、21はメモリ、27は相関演算部、12はディスプレイ装置、、31は撮像相関(例えば、ビデオカメラ)を示す。本発明は前記目的を達成するため、次のように構成した。
【0026】
(1) :入力画像のフレームデータ(撮像装置31から画像追跡装置本体に入力し、メモリ21に格納されたデータ)から追跡する画像領域(追跡ブロック)を設定し、この画像領域を対象として、追跡対象となる矩形領域を参照ブロックとして抽出した上で、前記参照ブロックを抽出したフレームデータの次の時点におけるフレームデータから抽出した候補ブロックとの間の相関値を計算し、候補ブロックを1画素づつ移動させながら二次元的にスキャンし、相関値が一番高い位置から移動体の動きベクトルを求めることで画像追跡処理を行う画像追跡装置において、前記参照ブロックと前記候補ブロックのそれぞれを複数の小ブロックに分割する画像領域分割手段(制御部32の一部)と、前記画像領域分割手段により分割された、前記参照ブロックと候補ブロックのそれぞれ対応する小ブロック毎に相関演算を行って相関値を求める相関演算手段(相関演算部27)と、求められた小ブロック毎の相関値を評価して、有効な小ブロック(図1のB図に示した太枠のブロックを除外したもの)の相関値のみを、前記追跡する画像領域全体の相関値計算に用いる相関値処理手段(制御部32の一部)を備えると共に、前記相関値処理手段は、前記分割した小ブロックの中で最も相関が高い小ブロックの相関値を基準にして、その相関値との差が、予め設定した閾値以内であれば、有効な小ブロックであると判定する有効ブロック判定手段(制御部32の一部)を備えている。
【0028】
(2) :前記(1) の画像追跡装置において、前記相関値処理手段は、追跡する画像領域全体の平均輝度と、分割した各小ブロック毎の平均輝度を予め計算して、画像領域全体の平均輝度より高い平均輝度を有する小ブロックのみを有効な小ブロックと判定する有効ブロック判定手段(制御部32の一部)を備えている。
【0029】
(3) :前記(1) の画像追跡装置において、追跡開始時の有効な小ブロックの配置パターン及びブロック数を記憶しておく記憶手段(メモリ21)と、前記記憶手段の前記記憶データと、追跡する画像領域の配置パターン及びブロック数とを比較し、追跡開始時の配置パターンを維持している場合は、前記追跡する画像領域(追跡ブロック)から取得したテンプレートを更新し、追跡開始時の配置パターンが変化した場合は、テンプレートの更新を停止するテンプレート制御手段(制御部32の一部)を備えている。
【0030】
(4) :前記(1) の画像追跡装置において、過去複数フレーム分の相関値を履歴データを保存しておく相関値保存手段(メモリ21)と、前記履歴データから、過去複数フレーム分の平均の相関値を求め、この平均の相関値を追跡物体の動きの予測値として、現フレームで求めた相関値に累積する相関値累積手段(制御部32の一部)を備えている。
【0031】
(5) :入力画像のフレームデータから追跡する画像領域を設定し、この画像領域を対象として、追跡対象となる矩形領域を参照ブロックとして抽出した上で、前記参照ブロックを抽出したフレームデータの次の時点におけるフレームデータから抽出した候補ブロックとの間の相関値を計算し、候補ブロックを1画素づつ移動させながら二次元的にスキャンし、相関値が一番高い位置から移動体の動きベクトルを求めることで画像追跡処理を行う画像追跡装置に、前記参照ブロックと前記候補ブロックのそれぞれを複数の小ブロックに分割する画像領域分割手段と、前記画像領域分割手段により分割された、前記参照ブロックと候補ブロックのそれぞれ対応する小ブロック毎に相関演算を行って相関値を求める相関演算手段と、求められた小ブロック毎の相関値を評価して、有効な小ブロックの相関値のみを、前記追跡する画像領域全体の相関値計算に用いる相関値処理手段の機能及び、前記相関値処理手段が備えている、前記分割した小ブロックの中で最も相関が高い小ブロックの相関値を基準にして、その相関値との差が、予め設定した閾値以内であれば、有効な小ブロックであると判定する有効ブロック判定手段の機能を実現させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
【0032】
(作用)
前記構成に基づく本発明の作用を説明する。
【0033】
(a) :前記(1) では、画像追跡処理を行う場合、画像領域分割手段は参照ブロックと前記候補ブロックのそれぞれを複数の小ブロックに分割し、相関演算手段は画像領域分割手段により分割された、参照ブロックと候補ブロックのそれぞれ対応する小ブロック毎に相関演算を行って相関値を求め、相関値処理手段は求められた小ブロック毎の相関値を評価(有効/無効の評価)して、無効の小ブロックを除外し、有効な小ブロックの相関値のみを、前記追跡する画像領域全体の相関値計算に用いる。また、有効ブロック判定手段は、分割した小ブロックの中で最も相関が高い小ブロックの相関値を基準にして、その相関値との差が予め設定した閾値以内であれば、有効な小ブロックであると判定し、それ以外を無効な小ブロックと判定する。
【0034】
このようにすれば、背景画像の変化による追跡への影響を軽減し、追跡物体の一部が隠れた場合にも対応可能である。すなわち、従来の装置では、追跡画像の背景が変化した場合や、追跡している物体の一部が隠れた場合に相関値が悪くなり、安定した追跡ができなくなることがあったが、本発明ではこのような従来の欠点は解消し、常に安定した画像追跡処理ができる。また、小ブロックの有効、無効の判定が簡単、かつ確実に行える。そして、背景画像の変化による追跡への影響を軽減し、追跡物体の一部が隠れた場合にも安定した画像追跡処理ができる。
【0037】
(b) :前記(2) では、有効ブロック判定手段は、追跡する画像領域全体の平均輝度と、分割した各小ブロック毎の平均輝度を予め計算して、画像領域全体の平均輝度より高い平均輝度を有する小ブロックのみを有効な小ブロックと判定する。
【0038】
このようにすれば、赤外線撮像カメラから入力した画像を基に画像追跡処理を行う場合、小ブロックの有効/無効の判定を確実に行うことができる。すなわち、赤外線撮像カメラから入力した画像を使って移動物体を追跡する場合、追跡の対象となる物体は車両や人など熱源となるものが多いので、追跡対象物体の画像上の輝度が背景より高いことを利用して、最初に小ブロックを設定する時に、予め有効ブロックを絞り込む。このようにすれば、小ブロックの有効/無効の判定を確実に行うことができ、画像追跡処理において、背景の変化の影響を受け難くすることができる。
【0039】
(c) :前記(3) では、制御部32の制御により、記憶手段に追跡開始時の有効な小ブロックの配置パターン及びブロック数を記憶しておく。そして、テンプレート制御手段は、前記記憶手段の前記記憶データと、追跡する画像領域の配置パターン及びブロック数とを比較し、追跡開始時の配置パターンを維持している場合は、前記追跡する画像領域から取得したテンプレートを更新し、追跡開始時の配置パターンが変化した場合は、テンプレートの更新を停止する。
【0040】
このようにすれば、テンプレート更新による追跡物体の形状変化追従と、物体の一部隠れへの対応を両立させることが可能になる。
【0041】
(d) :前記(4) では、制御部32の制御により、相関値保存手段に過去複数フレーム分の相関値を履歴データを保存しておく。そして、相関値累積手段は前記履歴データから過去複数フレーム分(例えば、数フレーム分)の平均の相関値を求め、この平均の相関値を追跡物体の動きの予測値として、現フレームで求めた相関値に累積する。このようにすれば、すれ違い等で安定して追跡を続行することができる。
【0042】
(e) :前記(5) では、制御部32(例えば、CPU)が前記記録媒体のプログラムを読み出して実行することにより、参照ブロックと候補ブロックのそれぞれを複数の小ブロックに分割して、前記分割された、参照ブロックと候補ブロックのそれぞれ対応する小ブロック毎に相関演算を行って相関値を求め、求められた小ブロック毎の相関値を評価して、有効な小ブロックの相関値のみを、前記追跡する画像領域全体の相関値計算に用いる。また、分割した小ブロックの中で最も相関が高い小ブロックの相関値を基準にして、その相関値との差が予め設定した閾値以内であれば、有効な小ブロックであると判定し、それ以外を無効な小ブロックと判定する。このようにすれば、背景画像の変化による追跡への影響を軽減し、追跡物体の一部が隠れた場合にも対応可能である。
【0043】
【発明の実施の形態】
以下、発明の実施の形態を図面に基づいて詳細に説明する。
【0044】
§1:画像追跡装置の説明
図2は装置構成図である。本実施の形態では図2に示す装置を使用して以下に説明する画像追跡処理を行う。この例は、パーソナルコンピュータ、ワークステーション等の各種コンピュータを使用して画像追跡装置を構成した例であり、コンピュータ本体11と、該コンピュータ本体11に接続されたディスプレイ装置12、キーボード13、リムーバブルディスクドライブ(以下「RDD」と記す)14、ハードディスク装置(以下「HDD」と記す)15と、ビデオカメラ16、赤外線撮像カメラ17等で構成する。
【0045】
そして、前記コンピュータ本体11には、コンピュータ内の各種制御等を行うCPU20と、各種データの書き込みや読み出しを行うためのメモリ21と、プログラムや各種データを格納しておくROM22を設けると共に、画像の相関演算を行うためのビデオボード23を設ける。
【0046】
前記ビデオボード23は、前記SADの手法を実現するために市販されているものであり、ビデオカメラ16や赤外線撮像カメラ17とのインタフェース制御を行うためのインタフェース制御部(以下「I/F制御部」と記す)25と、フレーム毎の入力画像を格納するためのフレームメモリ26と、相関演算を行うための相関演算部27と、コマンド用共用メモリ28と、データ用共用メモリ29等が設けてある。
【0047】
前記コマンド用共用メモリ28と、データ用共用メモリ29は、CPU20と相関演算部27が共用するメモリであり、両者の間でコマンドやデータの受け渡しを行うものである。I/F制御部25は、ビデオカメラ16や赤外線撮像カメラ17とのインタフェース制御を行うものであり、前記カメラから入力した入力画像を制御し、フレーム単位の画像をフレームメモリ26に順次格納するものである。
【0048】
この場合、前記カメラの出力画像がアナログ画像データであれば、ADC(アナログ/ディジタル変換器)により入力画像データをディジタルデータに変換し、変換後のディジタルデータをフレーム単位でフレームメモリ26に順次格納する。また、前記カメラの出力がディジタル画像データであれば、カメラからのディジタル画像データをデータ変換し、フレーム単位でフレームメモリ26に順次格納する。
【0049】
なお、CPU20が実行するプログラムや各種パラメータ等のデータは、予め、HDD15の記憶媒体、或いはROM22に格納しておき、CPU20が必要なデータを読み出して画像追跡処理を行う。この処理を行う過程でCPU20はメモリ21をワーク用メモリとして使用する。
【0050】
画像追跡処理はCPU20の制御により行うが、その概要は次の通りである。ビデオカメラ16や赤外線撮像カメラ17からの入力画像データは、I/F制御部25が制御し、フレーム単位でフレームメモリ26に順次格納する。そして、CPU20の指示コマンドにより相関演算部27が相関演算を行い、演算結果のデータをCPU20が取得し、メモリ21に格納して処理を行う。
【0051】
この場合、CPU20が相関演算部27に指示するコマンドをコマンド用共用メモリ28に格納すると、このコマンドを相関演算部27が読み出す。そして、相関演算部27は前記読み出したコマンドに従って、フレームメモリ26から該当する画像を読み出し、相関演算を行う。前記相関演算を行った結果のデータは、相関演算部27がデータ用共用メモリ29に格納し、このデータをCPU20が読み出すことで、CPU20は相関演算結果のデータを得る。前記の処理を行う場合、CPU20は各種データ(フレームメモリ26から取得した画像データ、相関値データ等)をメモリ21に格納し、作業を行う。
【0052】
なお、前記相関演算部27は、ハード構成の演算部であるが、このような例に限らず、CPU20が実行するプログラムにより実現(ソフト構成の相関演算部とする)してもよい。
【0053】
§2:画像追跡処理の概要・・・図3参照
図3は画像追跡処理の概要説明図である。この例は、32×32画素の追跡ブロックを用いた例である。この例では、フレームfの32×32画素の領域をテンプレートとして取得し、フレームf+1と比較する。この場合、前記領域に例えば、自動車7が存在し、フレームf+1では自動車7の一部が木8の影になっている。このような例について以下に処理の概要を説明する。
【0054】
本発明では、背景変化の影響を受け難く、追跡物体の一部が隠れた場合にも、安定に追跡が続行できるようにする。また、通常はテンプレート更新により追跡物体の形状変化に対応しながら、一部隠れが起こった場合にはテンプレートの更新を一時停止することで、追跡を破綻させることなく形状変化と一部隠れの双方に対応しながらの追跡を可能にする。更に、動き予測を加味することにより、2物体のすれ違う場合にも追跡を続行可能にする。
【0055】
そのため、図3に示すように、32×32画素の追跡ブロックを幾つかの小ブロック35(この例では、8×8画素)に分割してぞそれの小ブロック35に対して相関演算を行い、相関値を算出する。この小ブロック35毎の相関値を全て累積すると追跡ブロック全体の相関値に等しくなるが、この時相関が低い小ブロック35の相関値を累積の対象から外すことにより安定した追跡を実現する。
【0056】
そして、背景の変化(従来例参照)や、一部隠れ(例えば、図3のフレームf+1では、木8により自動車7の一部が隠れている)がある場合は、その背景変化や隠れがある小ブロックの相関値が悪くなるので、その小ブロックの相関値を累積しないようにして、背景変化や隠れの影響を排除する。
【0057】
すなわち、図3の例では、木8により自動車7の一部が隠れている小ブロック(太線により図示した4つの小ブロック)を前記相関値の累積から排除する除外領域36とする。そして、前記除外領域36にされた4つの小ブロックを除く、残りの小ブロック(この例では、12の小ブロック)の相関値を累積する。
【0058】
§3:画像追跡処理の説明・・・図4〜図7参照
図4は画像追跡処理フローチャート(その1)、図5は画像追跡処理フローチャート(その2)である。また、図6は画像追跡処理説明図(その1)、図7は画像追跡処理説明図(その2)であり、A〜Hは各処理説明図である。以下、図6、図7を参照しながら、図4、図5の処理フローチャートに基づいて画像追跡処理を説明する。なお、S1〜S16は各処理ステップを示す。
【0059】
先ず、CPU20は、図6のA図のように追跡ブロックを設定し、テンプレートを取得する(S1)。この場合、追跡ブロックは、例えば、32×32画素の領域とする。次に、CPU20は、図6のB図のように、設定した追跡ブロックを複数の小ブロック(例えば、8×8画素)に分割する(S2)。そして、図6のC図のように、CPU20の制御に基づいて相関演算部27が前記分割した小ブロック(1〜n)毎に相関演算を行い(S3)、CPU20は、小ブロック毎に相関値d1〜dnを得る。
【0060】
次に、CPU20は、図6のD図のように、小ブロック毎の最小相関値Di(i=1〜n)を検出し(S4)、図7のE図のように、全小ブロック中の最小相関値(以下「mind」と記す)を検出する(S5)。次に、CPU20は、任意のパラメータiをi=1に設定し(S6)、図7のF図のように、(Di−mind)<閾値Thの条件を満たしているか否かを判定する(S7)。
【0061】
その結果、前記(Di−mind)<閾値Thの条件を満たしていれば、相関値を累積し(S8)、i≦nかどうかを判定する(S9)。その結果、i≦nの条件を満たしていれば、パラメータiをインクリメントしてi=i+1とし(S10)、前記S7の処理から繰り返して行う。また、前記S7の処理で、前記(Di−mind)<閾値Thの条件を満たしていない場合は、前記S9の処理を行う。
【0062】
前記のようにして処理を行い、前記S9の条件を満たさなくなったら、すなわち、i>nとなったら、CPU20は、図7のG図のように、予測値を計算し、相関値マップを作成する(S11)。そして、前記予測値の判定を行う(S12)。その結果、予測値が有効ならば予測値を累積する(S13)。
【0063】
すなわち、有効ブロックの相関値の累積結果と有効ブロックの数から小ブロック1個当たりの平均相関値を算出し、これを過去数フレーム分(複数フレーム分)記憶して、それらを累積し、フレーム数で割ることにより、予測値を算出し、現フレームの相関値に累積することにより、すれ違い等で安定した追跡を実現する。
【0064】
この際、予測値に重み計数kを掛けて、予測の割合を調整できるようにする。なお、Stは現在のフレームで算出した相関値マップ、Sfは過去のフレームの相関から算出した予測の相関値マップ、Sは、S=(St+k・Sf)/(k+1)で求めた相関値マップである(詳細は後述する)。
【0065】
その後、CPU20は、図7のHのように、追跡ブロックの動きベクトルを計算して(S14)、追跡ブロックの位置更新を行う(S15)。しかし、前記S12の処理で、予測値が無効ならば、前記S14の処理を行う。このようにして、全ての処理が終了するまで(S16)、前記S2からの処理を繰り返して行い、全ての処理が終了したら、この処理を終了する。
【0066】
なお、前記処理において、S11〜S13の処理を行わずに、S9の処理でi≧nとなったら、S14の処理を行うことも可能である。
【0067】
§4:画像追跡処理の詳細な説明・・・図8〜図11参照
図8は画像追跡処理の具体例、図9は配置パターン及びブロック数の処理説明図、図10は予測値の累積処理説明図、図11は予測値の処理説明図である。以下、前記図8〜図11に基づいて、前記画像追跡処理を更に詳細に説明する。
【0068】
(1) :画像追跡処理は、前記の通りであるが、相関値の累積対象処理から除外する小ブロックの判定は、最も相関が高い(=最も相関値が小さい)小ブロックを基準にして行う。最も相関が高い小ブロックの相関値との差が、予め設定した閾値Th未満であれば累積の対象とし、閾値Th以上であれば累積の対象から除外する。
【0069】
(2) :赤外線撮像カメラ17(図2参照)から入力した画像を使って移動物体を追跡する場合、追跡の対象となる物体は車両や人など熱源となるものが多いので、追跡対象物体の画像上の輝度が背景より高いことを利用して、最初に小ブロックを設定する時に、予め有効ブロックを絞り込む。この処理により、背景の変化の影響を受け難くすることができる。
【0070】
例えば、図8のA図に示したように、CPU20は、予め追跡ブロック全体の平均輝度と、小ブロックの平均輝度を計算し、全体の平均輝度より平均輝度が高い小ブロックのみを累積の対象とする。通常、追跡物体の形状変化へ追従するために、テンプレートを順次更新する方法をとるが、隠れが発生した場合には、隠れが発生した状態でテンプレートの更新を行ってしまうため、追跡がスタックする(追跡が破綻する)場合がある。
【0071】
これに対し、前記の方法で設定した有効ブロックの数や配置パターンをCPU20の制御により、メモリ21(図2参照)に記憶しておき、この数やパターンが変化した場合にCPU20は、一部隠れが発生したと判断し、テンプレートの更新を停止する。このような制御を行うことで、テンプレート更新による追跡物体の形状変化追従と、物体の一部隠れへの対応を両立させることが可能になる。この様子を図8のA図〜C図に示す。
【0072】
図8のA図に示した追跡ブロックを、例えば、32×32画素とし、小ブロックを8×8画素とする。そして、追跡ブロックの平均輝度と、小ブロックの平均輝度を計算し、(追跡ブロックの平均輝度)<(小ブロックの平均輝度)の条件を満たした小ブロック(図の太い黒線で示した範囲内の小ブロック)のみを累積対象とする。なお、前記輝度は、画像上で濃度となって現れるので、画像上では前記平均輝度は平均濃度と同じである。
【0073】
そして、図8のB図のように、累積対象のブロックの配置パターンと、累積したブロック数(この例ではブロック数=6)をCPU20の制御により、メモリ21に記憶しておく(記憶方法は後述する)。その後、CPU20は、次のフレームにおいて、前のフレームのデータ(配置パターン及び累積したブロック数のデータ)と比較し、累積対象のブロックの配置とブロック数が変化しない場合は、テンプレートを更新するが、累積対象のブロックの配置やブロック数が変化した場合はテンプレートの更新を停止する処理を行う。
【0074】
例えば、或るフレームfにおいて、図8のB図に示した配置パターンとブロック数(=6)を有していたものが、次のフレームf+1で、図8のC図のようになったとする。この場合、追跡対象である自動車7の一部が木8の影に隠れてしまったため、配置パターンと累積対象のブロック数(=3)が変化している。この場合、テンプレートの更新を停止する。
【0075】
すなわち、通常、追跡物体の形状変化へ追従するために、テンプレートを順次更新する方法をとるが、追跡対象物体の一部に隠れが発生した場合でもテンプレートの更新を行なってしまうため、追跡がスタックする(追跡不可能となる)場合がある。
【0076】
しかし、前記の方法では、設定した有効ブロックの数や配置パターンをメモリ21に記憶しておき、該記憶された配置パターンやブロック数が変化した場合に一部隠れが発生したと判断し、テンプレートの更新を停止させることで、テンプレート更新による追跡物体の形状変化追従と物体の一部隠れへの対応を両立させることが可能になる。
【0077】
(3) :前記(2) で説明した配置パターンと累積対象ブロック数の記憶処理、及び比較処理を図9に基づいて説明する。前記配置パターンを記憶する場合、累積対象の小ブロックを「1」とし、その他の累積対象でない小ブロックを「0」とするビット列を作成し、それを配置パターンのデータとして保存しておく(例えば、メモリ21に格納しておく)。
【0078】
そして、配置パターンをフレーム間で比較する場合は、前記保存しておいたビット列を単純に比較することで、一致するか否かを判断すればよい。例えば、32×32画素の追跡対象ブロックを、4×4の小ブロックに分割した例を図9に示す。なお、分割数を多くした場合は、単純に記憶するビット列の幅を大きくするだけでよい。
【0079】
図9のD図に示したように、追跡ブロックを4×4の小ブロックに分割し、行1、行2、行3、行4をそれぞれ図示矢印の方向に展開して1列にする。このようにして、追跡ブロックの各小ブロックを1列に並べ、各小ブロック毎に、1(累積対象の小ブロック=1)、又は0(累積対象以外の小ブロック=0)を入れて配置パターンのビット列を作成する。
【0080】
例えば、図9のE図に示した配置パターン(図8の例と同じ)の場合、図9のF図に示したように、黒い部分(黒く塗り潰した小ブロック)を1(累積対象)とし、他の部分を全て0(累積対象外)とする。この場合、配置パターンのビット列は、「0000011011110000」となる。
【0081】
従って、このビット列をメモリ21に保存しておく。例えば、前記ビット列を16進数で表現すると、0x06F0なので、これを変数に代入して(pattern=0x06F0)メモリ21に記憶させればよい。そして、フレーム間での配置パターンの比較を行う場合は、前記メモリ21に記憶してあるデータ(pattern=0x06F0)を使用すればよい。
【0082】
(4) :前記予測値の累積処理は次の通りである。前記追跡処理において、CPU20は、有効ブロック(累積対象の小ブロック)の相関値の累積結果と有効ブロックの数から小ブロック1個当たりの平均相関値を算出し、これを過去数フレーム分(複数フレーム分)メモリ21に記憶して、それらを累積し、フレーム数で割ることにより予測値を算出し、現フレームの相関値に累積する。
【0083】
このようにすれば、移動物体のすれ違い等が発生した場合でも安定した追跡を実現する。この際、予測値に重み計数を掛けて、予測の割合を調整できるようにする。
【0084】
例えば、図10に示したように、現在のフレームで算出した相関値マップを、St、過去のフレームで算出した相関マップをそれぞれSt−1、St−2、St−3・・・St−nとする。この場合、St−1はStより1つ前のフレームの相関値マップ、St−2はSt−1より1つ前のフレームの相関値マップ、St−3はSt−2より1つ前のフレームの相関値マップである。
【0085】
このような過去のフレームで算出した相関値マップSt−1、St−2、St−3・・・St−nを順次メモリ21に記憶させておき、これらを累積して平均化処理を行い、予測の相関値マップSfを作成する。そして、現在のフレームで算出した相関値マップStに、前記予測の相関値マップSfを加算し、相関値マップSを算出する。この場合、重み計数をkとし、S=(St+k・Sf)/(k+1)の式により相関値マップSを算出する。
【0086】
このようにすれば、有効ブロック(累積対象の小ブロック)が少ない時は、予測の割合を大きくするなど、適応的に作用させることができる。また、予測値を累積する際に、予測値が有効かどうか判定を行い、有効な場合のみ累積を行うようにする。この予測値の判定方法を図11のA図に示す。
【0087】
図11のA図において、Ccは中心の相関値、Csは最も相関が高い位置の相関値、Thは閾値である。相関値マップ上の中心の相関値Ccと相関が最も高い位置の相関値Csとの差の絶対値(Cc−Cs)を算出して、それが予め設定した閾値Thを越えていれば(Cc−Cs≧Th)有効、越えていなければ(Cc−Cs<Th)無効であると判定する。
【0088】
これは、追跡物体の振動的な動きの場合は、相関値が平均的な変化のない値を示すことから、そのような場合には予測値が有効でないと判断するものである。例えば、図11のB図に示すように、波間に漂う船を追跡する場合には、波の上下に合わせて追跡物体である船が上下に振動する。
【0089】
この場合には、予測値が追跡に悪影響を与えることになる。このような振動的な運動の場合は、相関値マップ上の各相関値が平均的となり、CcとCsの差が無くなることにより判定できる。
【0090】
§7:記録媒体とプログラムの説明
前記画像追跡装置が行う処理は、画像追跡装置内のCPU20が、ROM22又はHDD15のディスクに記憶されたプログラムを実行することにより行うが、このような例に限らず、次のようにしても実現できる。この場合、HDD15のディスクに格納するプログラムは、次のようにして記録(記憶)する。
【0091】
▲1▼:リムーバブルディスクに格納されているプログラム(他の装置で作成したプログラムデータ)を、RDD14により読み取り、HDD15の記録媒体(ハードディスク)に格納する。
【0092】
▲2▼:光磁気ディスク、或いはCD−ROM等の記憶媒体に格納されているデータを、前記コンピュータ本体11に設けたドライブ装置(CD−ROMドライブ等)により読み取り、HDD15の記録媒体(ハードディスク)に格納する。
【0093】
▲3▼:LAN等の通信回線を介して他の装置から伝送されたプログラム等のデータを、コンピュータ本体11が通信制御部を介して受信し、そのデータをHDD15の記録媒体(ハードディスク)に格納する。
【0094】
【発明の効果】
以上説明したように、本発明によれば次のような効果がある。
【0095】
(1) :画像追跡処理を行う場合、追跡物体の背景変化の影響を受け難くし、追跡物体の一部隠れが発生した場合にも安定した追跡ができる。
【0096】
(2) :追跡物体に一部隠れが発生した場合でも、追跡を続行できる。また、追跡物体の形状変化と、一部隠れの双方に対応しながらの追跡も可能になる。
【0097】
(3) :追跡物体の動き予測データを加味することにより、2物体がすれ違う場合にも追跡を続行可能にできる。
【0098】
(4) :画像追跡処理を行う場合、画像領域分割手段は追跡する画像領域を複数の小ブロックに分割し、相関演算手段は分割した小ブロック毎に相関演算を行って相関値を求め、相関値処理手段は求められた小ブロック毎の相関値を評価して、無効の小ブロックを除外し、有効な小ブロックの相関値のみを、前記追跡する画像領域全体の相関値計算に用いる。
【0099】
このようにすれば、背景画像の変化による追跡への影響を軽減し、追跡物体の一部が隠れた場合にも対応可能になる。すなわち、従来の装置では、追跡画像の背景が変化した場合や、追跡している物体の一部が隠れた場合に相関値が悪くなり、安定した追跡ができなくなることがあったが、本発明ではこのような従来の欠点は解消し、常に安定した画像追跡処理ができる。
【0100】
(5) :有効ブロック判定手段は、分割した小ブロックの中で最も相関が高い小ブロックの相関値を基準にして、その相関値との差が、予め設定した閾値以内であれば、有効な小ブロックであると判定し、それ以外を無効な小ブロックと判定する。
【0101】
このようにすれば、小ブロックの有効、無効の判定が簡単、かつ確実に行える。そして、背景画像の変化による追跡への影響を軽減し、追跡物体の一部が隠れた場合にも安定した画像追跡処理ができる。
【0102】
(6) :有効ブロック判定手段は、追跡する画像領域全体の平均輝度と、分割した各小ブロック毎の平均輝度を予め計算して、画像領域全体の平均輝度より高い平均輝度を有する小ブロックのみを、有効な小ブロックと判定する。
【0103】
このようにすれば、赤外線撮像カメラから入力した画像を基に画像追跡処理を行う場合、小ブロックの有効/無効の判定を確実に行うことができる。すなわち、赤外線撮像カメラから入力した画像を使って移動物体を追跡する場合、追跡の対象となる物体は車両や人など熱源となるものが多いので、追跡対象物体の画像上の輝度が背景より高いことを利用して、最初に小ブロックを設定する時に、予め有効ブロックを絞り込む。このようにすれば、小ブロックの有効/無効の判定を確実に行うことができ、画像追跡処理において、背景の変化の影響を受け難くすることができる。
【0104】
(7) :記憶手段に追跡開始時の有効な小ブロックの配置パターン及びブロック数を記憶しておき、テンプレート制御手段は、前記記憶手段の前記記憶データと、追跡する画像領域の配置パターン及びブロック数とを比較し、追跡開始時の配置パターンを維持している場合は、前記追跡する画像領域から取得したテンプレートを更新し、追跡開始時の配置パターンが変化した場合は、テンプレートの更新を停止する。このようにすれば、テンプレート更新による追跡物体の形状変化追従と、物体の一部隠れへの対応を両立させることが可能になる。
【0105】
(8) :相関値保存手段に過去複数フレーム分の相関値を履歴データを保存しておき、相関値累積手段は前記履歴データから過去複数フレーム分(例えば、数フレーム分)の平均の相関値を求め、この平均の相関値を追跡物体の動きの予測値として、現フレームで求めた相関値に累積する。このようにすれば、すれ違い等で安定して追跡を続行することができる。
【0106】
(9) :記録媒体のプログラムを読み出して実行することにより、追跡する画像領域を複数の小ブロックに分割する手順と、分割した小ブロック毎に相関演算を行って相関値を求める手順と、求められた小ブロック毎の相関値を評価して、有効な小ブロックの相関値のみを、前記追跡する画像領域全体の相関値計算に用いる手順とを実行する。このようにすれば、背景画像の変化による追跡への影響を軽減し、追跡物体の一部が隠れた場合にも対応可能である。
【図面の簡単な説明】
【図1】本発明の原理説明図である。
【図2】本発明の実施の形態における装置構成図である。
【図3】本発明の実施の形態における画像追跡処理の概要説明図である。
【図4】本発明の実施の形態における画像追跡処理フローチャート(その1)である。
【図5】本発明の実施の形態における画像追跡処理フローチャート(その2)である。
【図6】本発明の実施の形態における画像追跡処理説明図(その1)である。
【図7】本発明の実施の形態における画像追跡処理説明図(その2)である。
【図8】本発明の実施の形態における画像追跡処理の具体例である。
【図9】本発明の実施の形態における配置パターン及びブロック数の処理説明図である。
【図10】本発明の実施の形態における予測値の累積処理説明図である。
【図11】本発明の実施の形態における予測値の処理説明図である。
【図12】従来例の説明図(その1)である。
【図13】従来例の説明図(その2)である。
【図14】従来例の説明図(その3)である。
【図15】従来例の説明図(その4)である。
【図16】従来例の説明図(その5)である。
【符号の説明】
1 参照ブロック(テンプレート)
2 探索ブロック
3 候補ブロック
4 移動物体
5 動きベクトル
7 自動車
8 木
9 山
11 コンピュータ本体
12 ディスプレイ装置
13 キーボード
14 リムーバブルディスクドライブ(RDD)
15 ハードディスク装置(HDD)
16 ビデオカメラ
17 赤外線撮像カメラ
20 CPU(中央処理装置)
21 メモリ
22 ROM(リードオンリーメモリ)
23 ビデオボード
25 インタフェース制御部(I/F制御部)
26 フレームメモリ
27 相関演算部
28 コマンド用共用メモリ
29 データ用共用メモリ
31 撮像装置
32 制御部
35 小ブロック
36 除外領域
Claims (5)
- 入力画像のフレームデータから追跡する画像領域を設定し、この画像領域を対象として、追跡対象となる矩形領域を参照ブロックとして抽出した上で、前記参照ブロックを抽出したフレームデータの次の時点におけるフレームデータから抽出した候補ブロックとの間の相関値を計算し、候補ブロックを1画素づつ移動させながら二次元的にスキャンし、相関値が一番高い位置から移動体の動きベクトルを求めることで画像追跡処理を行う画像追跡装置において、
前記参照ブロックと前記候補ブロックのそれぞれを複数の小ブロックに分割する画像領域分割手段と、
前記画像領域分割手段により分割された、前記参照ブロックと候補ブロックのそれぞれ対応する小ブロック毎に相関演算を行って相関値を求める相関演算手段と、
求められた小ブロック毎の相関値を評価して、有効な小ブロックの相関値のみを、前記追跡する画像領域全体の相関値計算に用いる相関値処理手段を備えると共に、
前記相関値処理手段は、
前記分割した小ブロックの中で最も相関が高い小ブロックの相関値を基準にして、その相関値との差が、予め設定した閾値以内であれば、有効な小ブロックであると判定する有効ブロック判定手段を備えている、
ことを特徴とする画像追跡装置。 - 前記相関値処理手段は、
追跡する画像領域全体の平均輝度と、分割した各小ブロック毎の平均輝度を予め計算して、画像領域全体の平均輝度より高い平均輝度を有する小ブロックのみを、有効な小ブロックと判定する有効ブロック判定手段を備えている、
ことを特徴とする請求項1記載の画像追跡装置。 - 追跡開始時の有効な小ブロックの配置パターン及びブロック数を記憶しておく記憶手段と、
前記記憶手段の記憶データと、追跡する画像領域の配置パターン及びブロック数とを比較し、追跡開始時の配置パターンを維持している場合は、追跡する画像領域から取得したテンプレートを更新し、追跡開始時の配置パターンが変化した場合は、テンプレートの更新を停止するテンプレート制御手段を備えている、
ことを特徴とする請求項1記載の画像追跡装置。 - 過去複数フレーム分の相関値を履歴データを保存しておく相関値保存手段と、
前記履歴データから、過去複数フレーム分の平均の相関値を求め、この平均の相関値を追跡物体の動きの予測値として、現フレームで求めた相関値に累積する相関値累積手段を備えている、
ことを特徴とする請求項1記載の画像追跡装置。 - 入力画像のフレームデータから追跡する画像領域を設定し、この画像領域を対象として、追跡対象となる矩形領域を参照ブロックとして抽出した上で、前記参照ブロックを抽出したフレームデータの次の時点におけるフレームデータから抽出した候補ブロックとの間の相関値を計算し、候補ブロックを1画素づつ移動させながら二次元的にスキャンし、相関値が一番高い位置から移動体の動きベクトルを求めることで画像追跡処理を行う画像追跡装置に、
前記参照ブロックと前記候補ブロックのそれぞれを複数の小ブロックに分割する画像領域分割手段と、
前記画像領域分割手段により分割された、前記参照ブロックと候補ブロックのそれぞれ対応する小ブロック毎に相関演算を行って相関値を求める相関演算手段と、
求められた小ブロック毎の相関値を評価して、有効な小ブロックの相関値のみを、前記追跡する画像領域全体の相関値計算に用いる相関値処理手段の機能及び、
前記相関値処理手段が備えている、
前記分割した小ブロックの中で最も相関が高い小ブロックの相関値を基準にして、その相関値との差が、予め設定した閾値以内であれば、有効な小ブロックであると判定する有効ブロック判定手段の機能を実現させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06593599A JP4398533B2 (ja) | 1999-03-12 | 1999-03-12 | 画像追跡装置及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06593599A JP4398533B2 (ja) | 1999-03-12 | 1999-03-12 | 画像追跡装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000259838A JP2000259838A (ja) | 2000-09-22 |
JP4398533B2 true JP4398533B2 (ja) | 2010-01-13 |
Family
ID=13301327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06593599A Expired - Fee Related JP4398533B2 (ja) | 1999-03-12 | 1999-03-12 | 画像追跡装置及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4398533B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4161659B2 (ja) * | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
JP2008217803A (ja) * | 2002-02-27 | 2008-09-18 | Nec Corp | 画像認識システム及びその認識方法並びにプログラム |
JP4597543B2 (ja) * | 2004-02-18 | 2010-12-15 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
JP2006318350A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2007115129A (ja) * | 2005-10-21 | 2007-05-10 | Sumitomo Electric Ind Ltd | 障害物検出システム、障害物検出方法及びコンピュータプログラム |
JP2008102589A (ja) * | 2006-10-17 | 2008-05-01 | Toa Corp | 動画像処理装置および動画像処理方法ならびに動画像処理プログラム |
JP4716266B2 (ja) * | 2007-02-26 | 2011-07-06 | カシオ計算機株式会社 | 画像処理装置、撮像装置及びそのプログラム |
JP5024033B2 (ja) * | 2007-12-27 | 2012-09-12 | カシオ計算機株式会社 | 被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法 |
JP5076971B2 (ja) * | 2008-02-29 | 2012-11-21 | 富士通株式会社 | 画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラム |
JP5445313B2 (ja) * | 2010-04-30 | 2014-03-19 | 大同特殊鋼株式会社 | 製品判定方法 |
JP2016186703A (ja) * | 2015-03-27 | 2016-10-27 | ルネサスエレクトロニクス株式会社 | 画像認識方法、画像認識装置および画像認識プログラム |
JP6569385B2 (ja) * | 2015-08-20 | 2019-09-04 | 株式会社Jvcケンウッド | 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム |
DE112017008095T5 (de) * | 2017-11-13 | 2020-07-16 | Mitsubishi Electric Corporation | Objekterkennungsvorrichtung und Objekterkennungsverfahren |
-
1999
- 1999-03-12 JP JP06593599A patent/JP4398533B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000259838A (ja) | 2000-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4181473B2 (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
JP4398533B2 (ja) | 画像追跡装置及び記録媒体 | |
US9667991B2 (en) | Local constraints for motion matching | |
US7925053B2 (en) | Motion detection method, motion detection program, storage medium in which motion detection program is stored, and motion detection apparatus | |
KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
US5654772A (en) | Method for change detection in moving images | |
EP1574992A1 (en) | Method and device for tracing moving object in image | |
JP2001307105A (ja) | 画像処理装置およびその方法 | |
KR20040028911A (ko) | 비디오 프레임간 움직임 추정용 방법 및 장치 | |
KR100651034B1 (ko) | 대상 물체 검출 시스템 및 그 방법 | |
JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
JP2007034733A (ja) | 対象物領域検出装置、方法およびプログラム | |
CN111161309A (zh) | 一种车载视频动态目标的搜索与定位方法 | |
JP4626158B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JPH10134193A (ja) | 移動ベクトル算出方法及び装置 | |
JP7078295B2 (ja) | 変状検出装置、変状検出方法、及びプログラム | |
US6650362B1 (en) | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame | |
JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
JP3321936B2 (ja) | 移動物体検出装置 | |
CN111435117A (zh) | 裂纹线检测装置、裂纹线检测方法和记录介质 | |
JPH09223218A (ja) | 走路検出方法及び装置 | |
JP3903890B2 (ja) | 画像処理装置および画像処理方法 | |
JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
JP4758272B2 (ja) | 移動物体追跡装置及びプログラム | |
CN113362390A (zh) | 一种基于椭圆检测的快速圆形目标定位视频处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090213 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090213 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090512 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090609 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090908 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091023 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |