JP3784113B2 - 画像特徴抽出方法および装置 - Google Patents
画像特徴抽出方法および装置 Download PDFInfo
- Publication number
- JP3784113B2 JP3784113B2 JP21641596A JP21641596A JP3784113B2 JP 3784113 B2 JP3784113 B2 JP 3784113B2 JP 21641596 A JP21641596 A JP 21641596A JP 21641596 A JP21641596 A JP 21641596A JP 3784113 B2 JP3784113 B2 JP 3784113B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- small
- image
- displacement amount
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連続した時系列画像からの速度ベクトルの検出をしたり、２つのカメラ画像からの視差を検出するなど、画像処理により対象物の変位ベクトルを検出する画像特徴抽出方法および装置に関し、本発明は、例えば、ロボットの眼、あるいはマルチメディアにおける画像解析・画像認識等に広く適用することができる。
【０００２】
【従来の技術】
画像処理を行う際、画像全体をまとめて処理すると演算量が膨大となり、また、異なった対象領域を同一に扱うことによる精度の低下が問題となる。
その解決法として、画像を小領域に分割し、それらの各領域毎に独立に線分検出あるいは速度検出等の処理を行う方法が取られている。この方法を用いれば、各領域の演算量は大幅に小さくなり、それらの並列分散処理による高速化も可能となる。
【０００３】
上記手法の一つとして図２３，図２４に示す方法が提案されている。すなわち、図２３（ａ）に示す画像１、画像２を分割し、（ｂ）に示すように小領域を切り出す。ついで、（ｃ）に示すようにそれぞれの局所画像をハフ変換あるいは投影処理などの手法によってρθデータに変換する。なお、以下ではこれらの各手法を含めてハフ変換として統一して説明する。ここで、上記ρは直線の位置（原点から垂線の足までの長さ）、θは小領域内の直線の方位（直線への垂線とＸ軸との角度）であり、τ１、τ２はρθ平面における直線１、直線２の移動量である。これらパラメータを空間表示すると図２４のＡに示すようになる。
【０００４】
次に図２４（ｄ）に示すように、ρθデータ間で相関処理を行い、一次元的移動量を求める。そして、それを逆ハフ変換（ハフ変換の逆の操作）して同図（ｅ）に示す２次元的移動量を求める。
上記図２３、図２４において、画像１と画像２が時間的に連続した画像であれば、速度の検出となり、左右のカメラからの画像であれば両眼視差（奥行き）の検出となる。また、分割した小領域毎に図２３、図２４の処理を施せば、オプティカルフローあるいはデプスマップなどを得ることができる（上記処理については、例えば本出願人が先に提案した特開平６−４４３６４号公報を参照されたい）。
【０００５】
【発明が解決しようとする課題】
図２３，図２４に示す方法では、例えば時間的に連続した２フレームの画像において、分割した小領域のサイズを越える動きを検出することは不可能である。
すなわち、図２５に示す画像２のように小領域を越えて移動すると、小領域を切り出したとき、小領域に直線が存在しないため検出が不可能となる（ρθτデータ以降は省略）。これは、相関をとるべき２つのρθデータの一方で何も線分が検出されなくなるためである。
【０００６】
しかし、単純に分割するサイズを大きくしたのでは、ハフ変換の演算量が増大し、画像を分割することによる効果がなくなってしまう。
したがって、もとの画像分割サイズを変更することなく大きな移動量（高速の動き、あるいは大きな両眼視差）を検出することが求められる。
また、大きな移動量を検出するという目的中には、ある特定の方向の移動ベクトルだけを検出する場合、任意の方向の移動ベクトルを検出する場合、あるいは特定の小領域の移動ベクトルではなく複数の小領域を含めた広範な画像領域全体の移動ベクトルを検出する場合などの様々なケースへの効果的な対処も含まれている。
【０００７】
本発明は上記事情に鑑みなされたものであり、本発明の第１の目的は、分割した小領域のサイズを越える大きさの移動量を検出することができる画像特徴抽出方法および装置を提供することである。
本発明の第２の目的は、分割した小領域のサイズを越える大きさの特定方向の移動量、任意の方向の移動量、もしくは分割した小領域のサイズより広い領域の全体的な移動量を効率よく正確に検出することができる画像特徴抽出方法および装置を提供することである。
【０００８】
【課題を解決するための手段】
図１〜図８は本発明の原理を説明する図であり、図１、図２は本発明の請求項１，６の発明、図３、図４は請求項２，７の発明、図５、図６は請求項３の発明、図７は請求項４の発明、図８は請求項５の発明にそれぞれ対応している。
【０００９】
以下、図１〜図８により本発明の原理を説明する。
(a) 以下、図１で説明するように、移動した対象物が含まれる異なった位置の小領域のρθデータの間で相関を取ることにより移動量を検出することができる。但し、ここで得られた移動量は見かけの移動ベクトルであり、図２に示すように小領域の相対位置に基づく補正が必要である。
すなわち、図１に示すように、画像１，２を小領域に分割し〔同図の（ａ）〕、小領域を切り出す〔同図（ｂ）〕。ついで、それぞれをハフ変換し〔同図（ｃ）〕、相関処理を行いθτデータを得る〔同図（ｄ）〕。
次に、θτデータを逆ハフ変換することにより見かけの移動ベクトルが求まる〔同図（ｅ）〕。
そして、図２に示すように、画像１の小領域Ａに対する画像２の小領域Ｂの相対位置ベクトルを（Ｄx ，Ｄy ）とし、見かけの移動ベクトルをＶ（τx0，τy0）とすると、真の移動ベクトルＶ’（τx0' ，τy0' ）は次の式で求まる。ここで、上記移動ベクトルＶ，Ｖ’を２次元的移動量という。
Ｖ（τx0' ，τy0' ）＝Ｖ（τx0，τy0）＋（Ｄx ，Ｄy ）
【００１０】
(b) 小領域の位置関係による座標シフトをパラメータτに対して行うことも可能である。シフト量を加えることによりθτ平面のτの範囲は拡大するが、新たに得られたθτ’をそのまま逆ハフ変換することにより真の移動ベクトルが求まる。
すなわち、図３に示すように画像１の小領域Ａに対する画像２の小領域Ｂの相対位置ベクトルを（Ｄx ，Ｄy ）、見かけの移動量（直線の垂線方向の移動量）をτ0 とし、それぞれを図４に示すようにハフ変換する。
ここで、τのシフト量Δτは、相対位置（Ｄx ，Ｄy ）と線分方位θの簡単な関係式で決定されΔτ＝Ｄx cosθ＋Ｄy sinθで表されるので、真の移動量τ’は図４に示すように、次式で表される。
τ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ）
θτ平面は、方位θの直線がその垂線方向にどれだけ移動しているかという量を示しており、その移動量τ0 あるいはτ' を一次元的移動量と呼ぶ。
【００１１】
(c) 上記のようにして移動ベクトルを求める際、特定方向の移動ベクトルを求めるのであれば、単一の小領域の相関結果だけから移動ベクトルを求めればよい。
すなわち、図５、図６に示すように、画像１，２を小領域に分割し〔図５（ａ）〕、対象物が含まれる画像１と画像２の一つずつの小領域だけを切り出し〔図５（ｂ）〕、それぞれをハフ変換する〔図５（ｃ）〕。そして、相関処理を行い、真の移動量を得るため上記(b) で説明したようにτ座標シフトを行ってθτ’データを得る〔図５、図６（ｄ）〕。
次に、θτ’データを逆ハフ変換し、そのピーク座標位置を検出すればその点が移動ベクトルを示している〔図６（ｅ）〕。
この方法は、小領域間の相対位置を基準とする特定の方向の移動量しか求めることができないが、処理量は非常に少なくて済む。また、小領域サイズの小さな対象物の移動量を正確に検出することができる。
なお、上記(b) で説明したτ座標シフトではなく、前記(a) で説明したＶ座標シフトによっても同様の結果が得られる。
【００１２】
(d) ある特定の小領域に対して、もう一方の画像の複数あるいは周囲全てとの間で相関処理をすることにより、より広範な移動方向を同時に検出することができる。
すなわち、図７（ａ）に示すように、画像１の小領域Ａ１に対して、画像２の複数の小領域Ａ２，Ｂ２，Ｃ２，Ｄ２との相関を取り、それらの結果を全て統合すれば、検出可能な移動ベクトルの分布方向が増加する。
さらに進めて、図７（ｂ）に示すように周囲全ての小領域との相関結果を統合すれば、任意の方向の移動ベクトルを求めることができる。
【００１３】
(e) 複数の小領域に着目し、それぞれの小領域の相関結果を統合することで、広い領域の移動ベクトルを検出することができる。
すなわち、図８に示すように、画像１の小領域Ａ１，Ｂ１，Ｃ１，Ｄ１につい、その相関処理結果を統合すればＡ１，Ｂ１，Ｃ１，Ｄ１からなる広い領域の全体的な移動ベクトルを求めることができる。
【００１４】
本発明は上記(a) 〜(e) で説明したように、次のようにして前記課題を解決する。
（１）画像を小領域に分割し、その局所画像を直線成分の位置ρ、方位θで表す平面に変換し、異なる画像フレームの２つの小領域から得られた上記２つのρθ平面に対して、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τであらわすθτ平面に変換し、該平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、各小領域内の画像の見かけの移動ベクトルを求め、上記２つの小領域の一方の小領域に対する他方の小領域の相対位置から、 2 つの小領域の相対位置ベクトルを求め、上記見かけの移動ベクトルと上記相対位置ベクトルとに基づき真の移動ベクトルを求めて小領域のサイズを超える大きさの移動ベクトルを求める。
【００１５】
（２）画像を小領域に分割し、その局所画像を直線成分の位置ρ、方位θで表す平面に変換し、異なる画像フレームの２つの小領域から得られた上記２つのρθ平面に対して、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換し、 上記２つの一方の小領域に対する他方の小領域の相対位置から、２つの小領域の相対位置に応じたシフト量Δτを求め、上記シフト量Δτに基づき、上記θτ平面を真の移動量τ’、直線方位θで表すθτ’平面に変換し、上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、その平面上のピーク位置の検出によって各小領域の画像の移動ベクトルを検出する。
ことを特徴とする画像特徴抽出方法。
【００１６】
（３）画像特徴抽出装置を、第１および第２の画像を入力する画像入力手段と、上記第１、第２の画像から位置の異なる２つの小領域を切り出す手段と、上記第１、第２の画像から切り出された位置の異なる２つの小領域を直線成分の位置ρ、方位θで表す平面に変換し、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換する手段と、上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、各小領域内の画像の見かけの移動ベクトルを検出する手段と、上記２つの小領域の一方の小領域に対する他方の小領域の相対位置から、２つの小領域の相対位置ベクトルを求める手段と、上記見かけの移動ベクトルと相対位置ベクトルとに基づき真の移動ベクトルを求める手段とから構成する。
【００１７】
（４）画像特徴抽出装置を、第１および第２の画像を入力する画像入力手段と、上記第１、第２の画像から位置の異なる２つの小領域を切り出す手段と、上記第１、第２の画像から切り出された２つの小領域を直線成分の位置ρ、方位θで表す平面に変換し、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換する手段と、上記小領域の相対位置に応じたシフト量Δτを求める手段と、上記シフト量Δτに基づき、上記θτ平面を真の移動量τ’、直線方位θで表すθτ’平面に変換する手段と、該平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、その平面上のピーク位置の検出によって各小領域内の画像の移動ベクトルを検出する手段とから構成する。
【００１８】
本発明の請求項１，３の発明においては、上記（１）（３）のようにしたので、分割した小領域のサイズを越える移動量を検出することができる。
本発明の請求項２，４の発明においては、上記（２）（４）のようにしたので、対象物を構成する直線成分の小領域のサイズを越える大きさの一次元的な移動量を検出することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、以下の説明では、画像を間隔一定の直交格子状に分割する場合を考えているが、任意の位置関係にある小領域に対して本発明を適用することができる。また、以下の説明では、画像１、画像２を連続する時系列画像の内の２フレームとして説明するが、任意の画像（同一の画像も含む）に適用可能である。また、原画像に対してのみならず、何らかの前処理を施した画像（微分画像など）に対しても有効である。
【００２０】
また、着目している小領域の周囲の小領域を隣接する８方向で扱っているが、さらに広い範囲の領域を含めて処理することもできる。
さらに、画像を直線方位θ・位置ρのパラメータ空間に変換する手法としてハフ変換を用いているが、同様の作用をもたらす変換であればどのような処理手法を用いてもよい。逆ハフ変換についても、θとτからなるパラメータ平面によりその平面上の正弦波状曲線を一点に変換するものであれば同様に利用することができる。また、ハフ変換後のρθデータに対して、ρ方向の一次元フィルタリング処理を行うことも考えられる。
【００２１】
（１）実施例１
図９は本発明の第１の実施例の装置構成図、図１０は本発明の第１の実施例の処理を示すフローチャートであり、同図により本発明の第１の実施例について説明する。なお、本実施例は請求項１，３の発明に対応する。
図９において、１はカメラ等から構成される画像入力部、２ａ，２ｂは入力された全体画像を格納する全体画像格納部、３は全体画像格納部２ａ，２ｂに格納された全体画像から小領域選定部５により選定された局所画像を切り出す小領域切り出し部、４ａ，４ｂは切り出された局所画像を格納する局所画像格納部である。また、６ａ，６ｂは上記局所画像をハフ変換するハフ変換部、７はハフ変換したρθデータの相関演算を行う相関処理部、８は相関演算結果を逆ハフ変換する逆ハフ変換部である。
【００２２】
９は小領域選定部５により選定された小領域の相対位置からＶシフト量（Ｄx ，Ｄy ）を得るＶシフト計算部、１０は逆ハフ変換部８により得たＶデータをＶシフト計算部９で求めたシフト量だけシフトしたＶ’平面データを格納するＶ’平面格納部、１１はピーク検出部でありピーク検出部１１により求めた速度ベクトルは速度ベクトル格納部１２に格納される。
【００２３】
次に、前記図１、図２を参照しながら、図１０により本実施例の処理を説明する。
ステップＳ１、ステップＳ１’において、画像１，２を入力し、ステップＳ２，Ｓ２’において、図１（ａ）に示したように画像分割する。
ステップＳ３，Ｓ３’において、対象領域を選定し、ステップＳ４，Ｓ４’において局所画像切り出しを行い、図１（ｂ）に示したように小領域Ａ，Ｂi を切り出す。ついで、切り出した小領域について、ステップＳ５、Ｓ５’においてハフ変換を行い図１（ｃ）に示したようにρθデータを得る。
【００２４】
ステップＳ６において、相関演算を行い図１（ｄ）に示したようなθτデータを得て、ステップＳ７において逆ハフ変換を行い、図１（ｅ）に示したようなＶデータ（見かけの移動速度）を得る。
次に、ステップＳ８において、上記小領域Ａ，Ｂの相対位置から前記図２に示したようにＶシフト量（Ｄx ，Ｄy ）を計算し、ステップＳ９においてＶシフト量に基づき上記ＶデータをシフトしＶ’平面書き込みを行うことにより真の速度平面が求められる。
ついで、ステップＳ１０において、隣接領域の処理が全て終了したかを調べ、終了していない場合には、小領域Ａに隣接する小領域を新たな領域Ｂi としてステップＳ３’に戻る。そして、上記処理を繰り返し得られたデータをＶ’平面に書き加えていくことにより最終的な速度平面Ｖ’を得る。
【００２５】
そしてステップＳ１１において、上記のようにして得られたＶ’平面上での最大のピーク（相関値が最大の座標位置）を抽出し、ステップＳ１２において速度ベクトルを得る。これにより隣接する小領域までの大きさの速度ベクトルを検出することができる。
次いでステップＳ１３において、全画像の処理が終了したかを調べ、終了していない場合にはステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
【００２６】
なお、上記説明ではＶ’平面上でピーク検出を行っているが、Ｖ’平面上でピーク検出を行わず、Ｖ’平面をそのまま次の処理に用いてもよい。
以上のように分割した画像１の全領域に渡って、小領域Ａを順次置き換えながら処理を繰り返すことにより、画像１と画像２の間のオプティカルフローが求まる。
【００２７】
（２）実施例２
図１１は本発明の第２の実施例の装置構成図、図１２は本発明の第２の実施例の処理を示すフローチャートであり、同図により本発明の第２の実施例について説明する。なお、本実施例は請求項２，４の発明に対応する。
本実施例においては、図１１に示すように前記図９のＶシフト計算部９とＶ’平面格納部１０に代え、τシフト計算部１３とτ’θ平面格納部１４を設けたものであり、τシフト量計算部１３は、小領域の相対位置（Ｄx ，Ｄy ）と線分方位θによりτシフト量Δτを前記式Δτ＝Ｄx cosθ＋Ｄy sinθで求める。また、τ’θ平面格納部１４は、相関演算結果を上記τシフト量だけシフトしてτ’θ平面に格納する。
【００２８】
次に前記図３、図４を参照しながら図１２により本実施例の処理を説明する。
図１２において、ステップＳ１からステップＳ６までの処理は前記図１０と同じであり、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ４，Ｓ１’〜Ｓ４’）。ついで、切り出した小領域Ａ，Ｂi についてハフ変換を行ったのち、相関演算を行い、見かけの一次元速度τを得る（ステップＳ５，Ｓ５’、ステップＳ６）。
【００２９】
ついで、ステップＳ７において、図３に示したように小領域の相対位置（Ｄx ，Ｄy ）からτシフト量を求め、ステップＳ８において、図４に示したようにτ’θ平面に書き込み、真の一次元速度τ’を下記式により得る。
τ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ）
ステップＳ９において上記τ’θ平面を逆ハフ変換することにより、速度平面Ｖ’が得られる。
【００３０】
ついで、ステップＳ１０において、前記図１０と同様に、隣接領域の処理が全て終了したか調べ、終了していない場合には、小領域Ａに隣接する小領域を新たな領域Ｂi としてステップＳ３’に戻り、上記処理を繰り返す。
そしてステップＳ１１において、前記したように最大のピーク（相関値が最大の座標位置）を抽出し、ステップＳ１２において速度ベクトルを得る。これにより隣接する小領域までの大きさの速度ベクトルを検出することができる。
【００３１】
次いでステップＳ１３において、全画像の処理が終了したかを調べ、終了していない場合にはステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
本実施例においては、上記のような処理を行うことにより、上記第１の実施例と同等な結果を得ることができる。
【００３２】
（３）実施例３
図１３、図１７は本発明の第３の実施例の処理を示すフローチャートである。また、本実施例を実現するための装置としては、Ｖ座標シフトを用いる場合には前記図９、τ座標シフトを用いる場合には前記図１１に示したものを使用することができる。
【００３３】
▲１▼ 特定位置の小領域Ｂと小領域Ａとの間だけで移動量を計算する場合
図１３は特定位置の小領域Ｂと小領域Ａとの間だけで移動量を計算する実施例を示している。
次に、図１３により本実施例の処理を説明する。本実施例の処理は、前記図１０に示した第１の実施例におけるステップＳ１０による繰り返し処理を省略したものであり、その他は基本的に前記図１０の処理と同じである。
【００３４】
図１３において、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ４，Ｓ１’〜Ｓ４’）。ついで、切り出した小領域Ａ，Ｂについてハフ変換を行ってρθ平面を得たのち、相関演算を行いθτ平面を得る（ステップＳ５，Ｓ５’、ステップＳ６）。
次に相関演算結果を逆ハフ変換するとともに、Ｖシフト量を計算し、Ｖ’平面に書き込む（ステップＳ７，Ｓ８，Ｓ９）。そして、Ｖ’平面上での最大のピーク（相関値が最大の座標位置）を抽出し、速度ベクトルを得る（ステップＳ１０，Ｓ１１）。さらに、ステップＳ１２において、全画像について処理が終了したか調べ、終了していない場合には、ステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
【００３５】
以上のように、位置の異なった小領域ＡとＢの各々のハフ変換データに対して相関処理を施すことによりθτ平面が得られる。さらに、このθτ平面に逆ハフ変換を施せば速度平面を得ることができ、見かけの速度を検出することができる。この速度は見かけの速度であるので、上記したように小領域Ａ，Ｂの相対位置に基づきＶ座標シフトを行うか、あるいは前記した第２の実施例で説明したτ座標シフトを行うことにより、真の一次元速度Ｖ’、あるいは真の一次元速度τ’を得ることができる。
【００３６】
図１４、図１５は上記Ｖ座標シフトとτ座標シフトを説明する図である。
図１４に示すように小領域Ａ，Ｂの相対位置関係が（Ｄx ，Ｄy ）であるとき、ρθ平面の相関処理を行いθτ平面を得る。
そして、Ｖ座標シフトにおいては、図１５（ａ）に示すように、θτデータの逆ハフ変換を行って見かけの移動速度を得たのち、上記Ｖシフト量（Ｄx ，Ｄy ）に基づき同図のａに示すＶ座標シフトを行って真の移動速度Ｖ’平面を得る。
【００３７】
一方、τ座標シフトにおいては、図１５（ｂ）に示すようにρθ平面の相関処理を行うことによりθτ平面を得て、前記したようにτ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ）によりτ座標シフトを行って逆ハフ変換を行うことにより真の速度平面Ｖ’を得る。
図１４、図１５ではデータ平面全てのシフトをしているが、特定のデータのみを同じ数式で補正することも可能である。
なお、τ座標シフトは、上記したようにθτデータに対してのみならず、その前のρθτデータに対しても行うことができる。
【００３８】
図１６は上記した特定位置の小領域Ｂと小領域Ａ間の相関処理を説明する図である。同図（ｂ）に示すように時刻ｔおよび時刻ｔ＋１におけるハフ平面（ρθデータ）の配列を用意しておき、分割画像ａにおいて、時刻ｔにおける小領域Ａの対象物が時刻ｔ＋１において小領域Ｂに移動したとき、それぞれのρθデータを対応する位置の配列に格納し、２つのρθデータ間に対して相関処理を行うことにより、速度ベクトルを得ることができる。対象物が小さい場合には、上記のように単一の小領域だけとの相関から速度ベクトルを検出した方が検出精度が向上する場合もある。
【００３９】
▲２▼ 個々の小領域との相関演算を複数独立に行う場合
また、個々の小領域との相関を複数独立に行うことも考えられる。
図１７は上記した個々の小領域との相関を複数独立に行う場合のフローチャートであり、図１７により本実施例の処理を説明する。
図１７において、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ４，Ｓ１’〜Ｓ４’）。ついで、切り出した小領域Ａ，Ｂについてハフ変換を行ってρθ平面を得たのち、相関演算を行いθτ平面を得る（ステップＳ５，Ｓ５’、ステップＳ６）。
【００４０】
次に相関演算結果を逆ハフ変換して最大ピークを検出し、Ｖシフト量計算を行って、速度ベクトルを検出する。（ステップＳ７，Ｓ８，Ｓ９，Ｓ１０）。そして、ステップＳ１１において、隣接領域の処理が全て終了したかを調べ、終了していない場合には、ステップＳ３’に戻り新たな隣接領域を選択して上記処理を繰り返す。
以上のようにして、個々の小領域との相関を複数独立に行うことにより複数の速度を検出する（ステップＳ１２）。そして、全画像について処理が終了したか調べ（ステップＳ１３）、終了していない場合には、ステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
【００４１】
図１８は上記した複数の速度を検出する場合の処理を説明する図である。前記した図１６と同様、同図に示すように時刻ｔおよび時刻ｔ＋１におけるハフ平面（ρθデータ）の配列を用意し、それぞれのρθデータを対応する位置の配列に格納する。そして、例えば小領域Ａから複数方向に対象物が移動した場合、小領域Ａと小領域Ｂ１および小領域Ａと小領域Ｂ２から個々独立に速度検出を行うことにより複数の速度検出を行う。
【００４２】
対象物が小さい場合には、上記▲１▼、▲２▼のように単一の小領域との相関から速度ベクトルを検出した方が検出精度が向上する場合もある。また、上記▲２▼のように小領域Ａから複数の対象物が別々の方向に動き出すような場合にも、個々の速度検出を独立に行うことで複数の速度を正確に検出することが可能となる。これらの独立の速度平面を統合することももちろん可能である。
【００４３】
（４）実施例４
本実施例は隣接する全ての小領域との相関結果を加算し、速度ベクトルを検出する実施例であり、本実施例により任意の方向の速度を同時に検出することができる。
本実施例は前記した図１０、図１２のフローチャートにより実現することができ、また、本実施例を実現するための装置としては、Ｖ座標シフトを用いる場合には前記図９、τ座標シフトを用いる場合には前記図１１に示したものを使用することができる。
【００４４】
図１９は本実施例を説明する図であり、同図に示すように、小領域Ａに対して、それと隣接する３×３の小領域Ｂi （小領域Ａも含む）との相関結果を全て統合すれば、３倍のサイズの速度平面を得られ、その分だけ高速度の検出を実現することができる。そして、同図に示す統合した速度平面Ｖ’に対してピーク抽出などの処理を施すことにより、小領域Ａ内の画像がどれだけ移動したかを求めることができる。
【００４５】
また、左右のカメラからとられたステレオ画像からの視差検出の場合など特定方向の移動量のみを求める場合には、周囲の全小領域と相関処理を行う必要はなく、図２０に示すように必要な方向に存在する複数の小領域のみを処理の対象とすればよい。
上記場合においても、前記したＶ座標シフト、τ座標シフトのいずれの手法を用いてもよい。
【００４６】
（５）実施例５
本実施例は、複数の小領域に着目しそれぞれの小領域の相関結果を統合することにより広い領域の移動ベクトルを検出できるようにしたものである。
すなわち、図２１に示すように、小領域Ａの周囲の小領域Ａk において、そのＡK の周囲の小領域Ｂi との間で前記図１９に示したように相関をとって統合し、各小領域Ａk の画像の平面速度を求め、各Ａk について得られた速度平面を更に加算することにより小領域Ａを含む広い範囲の全体速度ベクトルを求める。
【００４７】
図２２は本実施例の処理を示すフローチャートであり、また、本実施例を実現するための装置としては、Ｖ座標シフトを用いる場合には前記図９、τ座標シフトを用いる場合には前記図１１に示したものを使用することができる。
図２２において、ステップＳ１からステップＳ９までの処理は前記図１０と同じであり、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ３，Ｓ１’〜Ｓ３’）。ついで、切り出した小領域Ａ，Ｂi についてハフ変換を行ってρθ平面を得たのち、相関演算を行いθτ平面を得る（ステップＳ４，Ｓ４’、ステップＳ５）。
【００４８】
次に相関演算結果を逆ハフ変換するとともに、Ｖシフト量を計算し、Ｖ’平面に書き込む（ステップＳ６，Ｓ７，Ｓ８）。
ついで、ステップＳ９において、隣接領域の処理が全て終了したかを調べ、終了していない場合には、小領域Ａに隣接する小領域を新たな領域Ｂi としてステップＳ２’に戻る。
【００４９】
小領域Ａの周囲の領域Ｂi の処理が終わると、ステップＳ１０に行き、小領域Ａに隣接する小領域Ａk についての処理が全て終了したかを調べ、終了していない場合には、ステップＳ２に戻り、新たな小領域Ａk について上記と同様な処理を行う。以上のようにして小領域Ａk について処理が終了すると、ステップＳ１２において、全画像の処理が終了したかを調べ、終了していない場合にはステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
以上のように本実施例においては、分割した領域のサイズ（小領域Ａ）よりも広い範囲（図２１ではＡの３×３倍分）内の平均速度を得ることができる。
このため、全体が一様に動いているような場合、あるいは、小領域サイズよりも大きい対象物が動いている場合にはノイズ抑制の効果も大きく現れる。
【００５０】
【発明の効果】
以上説明したように本発明においては、以下の効果を得ることができ、連続した時系列画像からの速度ベクトルの検出や、２つのカメラ画像からの視差の検出等において、分割した小領域のサイズを越える動きを少ない演算量で効率的かつ正確に検出することができる。
【００５１】
（１）移動した対象物が含まれる異なった位置の小領域のρθデータの間で相関を取っているので、分割した小領域のサイズを越える移動量を検出することができる。
（２）上記（１）において、位置の異なる２つの小領域の相対位置に応じて、上記変位量τに対して、方位θの座標シフトを行っているので、対象物を構成する直線成分の小領域のサイズを越える大きさの一次元的な移動量を検出することができる。
（３）上記（１）（２）において、それぞれの小領域間で単独の相関結果を求め、求めた相関結果を独立して処理しているので、分割小領域のサイズを越える大きさの、特定方向の移動量を効率的かつ正確に検出することができる。
【００５２】
（４）上記（１）（２）において、特定の１小領域に対して、複数の領域と相関を取り、それらの相関結果をまとめて処理しているので、分割した小領域のサイズを越える大きさのあらゆる方向の移動量を検出することができる。
（５）上記（１）（２）において、複数の小領域に対して、その各小領域と複数の小領域と相関をとり、上記複数の各小領域についての相関結果をさらにまとめて処理しているので、分割した小領域のサイズよりも広い領域の、全体的な移動量を検出することができる。
【図面の簡単な説明】
【図１】 本発明の原理を説明する図である。
【図２】 本発明の原理を説明する図（続き）である。
【図３】 本発明の原理を説明する図（続き）である。
【図４】 本発明の原理を説明する図（続き）である。
【図５】 本発明の原理を説明する図（続き）である。
【図６】 本発明の原理を説明する図（続き）である。
【図７】 本発明の原理を説明する図（続き）である。
【図８】 本発明の原理を説明する図（続き）である。
【図９】 第１の実施例のシステム構成図である。
【図１０】 第１の実施例の処理を示すフローチャートである。
【図１１】 第２の実施例のシステム構成図である。
【図１２】 第２の実施例の処理を示すフローチャートである。
【図１３】 第３の実施例(1) の処理を示すフローチャートである。
【図１４】 Ｖ座標シフトとτ座標シフトを説明する図である。
【図１５】 Ｖ座標シフトとτ座標シフトを説明する図（続き）である。
【図１６】 特定位置の小領域Ｂと小領域Ａ間の相関処理を説明する図である。
【図１７】 第３の実施例(2) のフローチャートである。
【図１８】 複数の速度を検出する場合の処理を説明する図である。
【図１９】 第４の実施例を説明する図である。
【図２０】 第４の実施例において特定方向の移動量のみを求める場合を示す図である。
【図２１】 第５の実施例を説明する図である。
【図２２】 第５の実施例の処理を示すフローチャートである。
【図２３】 従来の移動ベクトル検出方法を示す図である。
【図２４】 従来の移動ベクトル検出方法を示す図（続き）である。
【図２５】 移動量が大きい場合を説明する図である。
【符号の説明】
１ 画像入力部
２ａ，２ｂ 全体画像格納部
３ 局所画像格納部
５ 小領域選定部
４ａ，４ｂ 局所画像格納部
６ａ，６ｂ ハフ変換部
７ 相関処理部
８ 逆ハフ変換部
９ Ｖシフト計算部
１０ Ｖ’平面格納部
１１ ピーク検出部
１２ 速度ベクトル格納部
１３ τシフト計算部
１４ τ’θ平面格納部
【発明の属する技術分野】
本発明は、連続した時系列画像からの速度ベクトルの検出をしたり、２つのカメラ画像からの視差を検出するなど、画像処理により対象物の変位ベクトルを検出する画像特徴抽出方法および装置に関し、本発明は、例えば、ロボットの眼、あるいはマルチメディアにおける画像解析・画像認識等に広く適用することができる。
【０００２】
【従来の技術】
画像処理を行う際、画像全体をまとめて処理すると演算量が膨大となり、また、異なった対象領域を同一に扱うことによる精度の低下が問題となる。
その解決法として、画像を小領域に分割し、それらの各領域毎に独立に線分検出あるいは速度検出等の処理を行う方法が取られている。この方法を用いれば、各領域の演算量は大幅に小さくなり、それらの並列分散処理による高速化も可能となる。
【０００３】
上記手法の一つとして図２３，図２４に示す方法が提案されている。すなわち、図２３（ａ）に示す画像１、画像２を分割し、（ｂ）に示すように小領域を切り出す。ついで、（ｃ）に示すようにそれぞれの局所画像をハフ変換あるいは投影処理などの手法によってρθデータに変換する。なお、以下ではこれらの各手法を含めてハフ変換として統一して説明する。ここで、上記ρは直線の位置（原点から垂線の足までの長さ）、θは小領域内の直線の方位（直線への垂線とＸ軸との角度）であり、τ１、τ２はρθ平面における直線１、直線２の移動量である。これらパラメータを空間表示すると図２４のＡに示すようになる。
【０００４】
次に図２４（ｄ）に示すように、ρθデータ間で相関処理を行い、一次元的移動量を求める。そして、それを逆ハフ変換（ハフ変換の逆の操作）して同図（ｅ）に示す２次元的移動量を求める。
上記図２３、図２４において、画像１と画像２が時間的に連続した画像であれば、速度の検出となり、左右のカメラからの画像であれば両眼視差（奥行き）の検出となる。また、分割した小領域毎に図２３、図２４の処理を施せば、オプティカルフローあるいはデプスマップなどを得ることができる（上記処理については、例えば本出願人が先に提案した特開平６−４４３６４号公報を参照されたい）。
【０００５】
【発明が解決しようとする課題】
図２３，図２４に示す方法では、例えば時間的に連続した２フレームの画像において、分割した小領域のサイズを越える動きを検出することは不可能である。
すなわち、図２５に示す画像２のように小領域を越えて移動すると、小領域を切り出したとき、小領域に直線が存在しないため検出が不可能となる（ρθτデータ以降は省略）。これは、相関をとるべき２つのρθデータの一方で何も線分が検出されなくなるためである。
【０００６】
しかし、単純に分割するサイズを大きくしたのでは、ハフ変換の演算量が増大し、画像を分割することによる効果がなくなってしまう。
したがって、もとの画像分割サイズを変更することなく大きな移動量（高速の動き、あるいは大きな両眼視差）を検出することが求められる。
また、大きな移動量を検出するという目的中には、ある特定の方向の移動ベクトルだけを検出する場合、任意の方向の移動ベクトルを検出する場合、あるいは特定の小領域の移動ベクトルではなく複数の小領域を含めた広範な画像領域全体の移動ベクトルを検出する場合などの様々なケースへの効果的な対処も含まれている。
【０００７】
本発明は上記事情に鑑みなされたものであり、本発明の第１の目的は、分割した小領域のサイズを越える大きさの移動量を検出することができる画像特徴抽出方法および装置を提供することである。
本発明の第２の目的は、分割した小領域のサイズを越える大きさの特定方向の移動量、任意の方向の移動量、もしくは分割した小領域のサイズより広い領域の全体的な移動量を効率よく正確に検出することができる画像特徴抽出方法および装置を提供することである。
【０００８】
【課題を解決するための手段】
図１〜図８は本発明の原理を説明する図であり、図１、図２は本発明の請求項１，６の発明、図３、図４は請求項２，７の発明、図５、図６は請求項３の発明、図７は請求項４の発明、図８は請求項５の発明にそれぞれ対応している。
【０００９】
以下、図１〜図８により本発明の原理を説明する。
(a) 以下、図１で説明するように、移動した対象物が含まれる異なった位置の小領域のρθデータの間で相関を取ることにより移動量を検出することができる。但し、ここで得られた移動量は見かけの移動ベクトルであり、図２に示すように小領域の相対位置に基づく補正が必要である。
すなわち、図１に示すように、画像１，２を小領域に分割し〔同図の（ａ）〕、小領域を切り出す〔同図（ｂ）〕。ついで、それぞれをハフ変換し〔同図（ｃ）〕、相関処理を行いθτデータを得る〔同図（ｄ）〕。
次に、θτデータを逆ハフ変換することにより見かけの移動ベクトルが求まる〔同図（ｅ）〕。
そして、図２に示すように、画像１の小領域Ａに対する画像２の小領域Ｂの相対位置ベクトルを（Ｄx ，Ｄy ）とし、見かけの移動ベクトルをＶ（τx0，τy0）とすると、真の移動ベクトルＶ’（τx0' ，τy0' ）は次の式で求まる。ここで、上記移動ベクトルＶ，Ｖ’を２次元的移動量という。
Ｖ（τx0' ，τy0' ）＝Ｖ（τx0，τy0）＋（Ｄx ，Ｄy ）
【００１０】
(b) 小領域の位置関係による座標シフトをパラメータτに対して行うことも可能である。シフト量を加えることによりθτ平面のτの範囲は拡大するが、新たに得られたθτ’をそのまま逆ハフ変換することにより真の移動ベクトルが求まる。
すなわち、図３に示すように画像１の小領域Ａに対する画像２の小領域Ｂの相対位置ベクトルを（Ｄx ，Ｄy ）、見かけの移動量（直線の垂線方向の移動量）をτ0 とし、それぞれを図４に示すようにハフ変換する。
ここで、τのシフト量Δτは、相対位置（Ｄx ，Ｄy ）と線分方位θの簡単な関係式で決定されΔτ＝Ｄx cosθ＋Ｄy sinθで表されるので、真の移動量τ’は図４に示すように、次式で表される。
τ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ）
θτ平面は、方位θの直線がその垂線方向にどれだけ移動しているかという量を示しており、その移動量τ0 あるいはτ' を一次元的移動量と呼ぶ。
【００１１】
(c) 上記のようにして移動ベクトルを求める際、特定方向の移動ベクトルを求めるのであれば、単一の小領域の相関結果だけから移動ベクトルを求めればよい。
すなわち、図５、図６に示すように、画像１，２を小領域に分割し〔図５（ａ）〕、対象物が含まれる画像１と画像２の一つずつの小領域だけを切り出し〔図５（ｂ）〕、それぞれをハフ変換する〔図５（ｃ）〕。そして、相関処理を行い、真の移動量を得るため上記(b) で説明したようにτ座標シフトを行ってθτ’データを得る〔図５、図６（ｄ）〕。
次に、θτ’データを逆ハフ変換し、そのピーク座標位置を検出すればその点が移動ベクトルを示している〔図６（ｅ）〕。
この方法は、小領域間の相対位置を基準とする特定の方向の移動量しか求めることができないが、処理量は非常に少なくて済む。また、小領域サイズの小さな対象物の移動量を正確に検出することができる。
なお、上記(b) で説明したτ座標シフトではなく、前記(a) で説明したＶ座標シフトによっても同様の結果が得られる。
【００１２】
(d) ある特定の小領域に対して、もう一方の画像の複数あるいは周囲全てとの間で相関処理をすることにより、より広範な移動方向を同時に検出することができる。
すなわち、図７（ａ）に示すように、画像１の小領域Ａ１に対して、画像２の複数の小領域Ａ２，Ｂ２，Ｃ２，Ｄ２との相関を取り、それらの結果を全て統合すれば、検出可能な移動ベクトルの分布方向が増加する。
さらに進めて、図７（ｂ）に示すように周囲全ての小領域との相関結果を統合すれば、任意の方向の移動ベクトルを求めることができる。
【００１３】
(e) 複数の小領域に着目し、それぞれの小領域の相関結果を統合することで、広い領域の移動ベクトルを検出することができる。
すなわち、図８に示すように、画像１の小領域Ａ１，Ｂ１，Ｃ１，Ｄ１につい、その相関処理結果を統合すればＡ１，Ｂ１，Ｃ１，Ｄ１からなる広い領域の全体的な移動ベクトルを求めることができる。
【００１４】
本発明は上記(a) 〜(e) で説明したように、次のようにして前記課題を解決する。
（１）画像を小領域に分割し、その局所画像を直線成分の位置ρ、方位θで表す平面に変換し、異なる画像フレームの２つの小領域から得られた上記２つのρθ平面に対して、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τであらわすθτ平面に変換し、該平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、各小領域内の画像の見かけの移動ベクトルを求め、上記２つの小領域の一方の小領域に対する他方の小領域の相対位置から、 2 つの小領域の相対位置ベクトルを求め、上記見かけの移動ベクトルと上記相対位置ベクトルとに基づき真の移動ベクトルを求めて小領域のサイズを超える大きさの移動ベクトルを求める。
【００１５】
（２）画像を小領域に分割し、その局所画像を直線成分の位置ρ、方位θで表す平面に変換し、異なる画像フレームの２つの小領域から得られた上記２つのρθ平面に対して、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換し、 上記２つの一方の小領域に対する他方の小領域の相対位置から、２つの小領域の相対位置に応じたシフト量Δτを求め、上記シフト量Δτに基づき、上記θτ平面を真の移動量τ’、直線方位θで表すθτ’平面に変換し、上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、その平面上のピーク位置の検出によって各小領域の画像の移動ベクトルを検出する。
ことを特徴とする画像特徴抽出方法。
【００１６】
（３）画像特徴抽出装置を、第１および第２の画像を入力する画像入力手段と、上記第１、第２の画像から位置の異なる２つの小領域を切り出す手段と、上記第１、第２の画像から切り出された位置の異なる２つの小領域を直線成分の位置ρ、方位θで表す平面に変換し、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換する手段と、上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、各小領域内の画像の見かけの移動ベクトルを検出する手段と、上記２つの小領域の一方の小領域に対する他方の小領域の相対位置から、２つの小領域の相対位置ベクトルを求める手段と、上記見かけの移動ベクトルと相対位置ベクトルとに基づき真の移動ベクトルを求める手段とから構成する。
【００１７】
（４）画像特徴抽出装置を、第１および第２の画像を入力する画像入力手段と、上記第１、第２の画像から位置の異なる２つの小領域を切り出す手段と、上記第１、第２の画像から切り出された２つの小領域を直線成分の位置ρ、方位θで表す平面に変換し、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換する手段と、上記小領域の相対位置に応じたシフト量Δτを求める手段と、上記シフト量Δτに基づき、上記θτ平面を真の移動量τ’、直線方位θで表すθτ’平面に変換する手段と、該平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、その平面上のピーク位置の検出によって各小領域内の画像の移動ベクトルを検出する手段とから構成する。
【００１８】
本発明の請求項１，３の発明においては、上記（１）（３）のようにしたので、分割した小領域のサイズを越える移動量を検出することができる。
本発明の請求項２，４の発明においては、上記（２）（４）のようにしたので、対象物を構成する直線成分の小領域のサイズを越える大きさの一次元的な移動量を検出することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、以下の説明では、画像を間隔一定の直交格子状に分割する場合を考えているが、任意の位置関係にある小領域に対して本発明を適用することができる。また、以下の説明では、画像１、画像２を連続する時系列画像の内の２フレームとして説明するが、任意の画像（同一の画像も含む）に適用可能である。また、原画像に対してのみならず、何らかの前処理を施した画像（微分画像など）に対しても有効である。
【００２０】
また、着目している小領域の周囲の小領域を隣接する８方向で扱っているが、さらに広い範囲の領域を含めて処理することもできる。
さらに、画像を直線方位θ・位置ρのパラメータ空間に変換する手法としてハフ変換を用いているが、同様の作用をもたらす変換であればどのような処理手法を用いてもよい。逆ハフ変換についても、θとτからなるパラメータ平面によりその平面上の正弦波状曲線を一点に変換するものであれば同様に利用することができる。また、ハフ変換後のρθデータに対して、ρ方向の一次元フィルタリング処理を行うことも考えられる。
【００２１】
（１）実施例１
図９は本発明の第１の実施例の装置構成図、図１０は本発明の第１の実施例の処理を示すフローチャートであり、同図により本発明の第１の実施例について説明する。なお、本実施例は請求項１，３の発明に対応する。
図９において、１はカメラ等から構成される画像入力部、２ａ，２ｂは入力された全体画像を格納する全体画像格納部、３は全体画像格納部２ａ，２ｂに格納された全体画像から小領域選定部５により選定された局所画像を切り出す小領域切り出し部、４ａ，４ｂは切り出された局所画像を格納する局所画像格納部である。また、６ａ，６ｂは上記局所画像をハフ変換するハフ変換部、７はハフ変換したρθデータの相関演算を行う相関処理部、８は相関演算結果を逆ハフ変換する逆ハフ変換部である。
【００２２】
９は小領域選定部５により選定された小領域の相対位置からＶシフト量（Ｄx ，Ｄy ）を得るＶシフト計算部、１０は逆ハフ変換部８により得たＶデータをＶシフト計算部９で求めたシフト量だけシフトしたＶ’平面データを格納するＶ’平面格納部、１１はピーク検出部でありピーク検出部１１により求めた速度ベクトルは速度ベクトル格納部１２に格納される。
【００２３】
次に、前記図１、図２を参照しながら、図１０により本実施例の処理を説明する。
ステップＳ１、ステップＳ１’において、画像１，２を入力し、ステップＳ２，Ｓ２’において、図１（ａ）に示したように画像分割する。
ステップＳ３，Ｓ３’において、対象領域を選定し、ステップＳ４，Ｓ４’において局所画像切り出しを行い、図１（ｂ）に示したように小領域Ａ，Ｂi を切り出す。ついで、切り出した小領域について、ステップＳ５、Ｓ５’においてハフ変換を行い図１（ｃ）に示したようにρθデータを得る。
【００２４】
ステップＳ６において、相関演算を行い図１（ｄ）に示したようなθτデータを得て、ステップＳ７において逆ハフ変換を行い、図１（ｅ）に示したようなＶデータ（見かけの移動速度）を得る。
次に、ステップＳ８において、上記小領域Ａ，Ｂの相対位置から前記図２に示したようにＶシフト量（Ｄx ，Ｄy ）を計算し、ステップＳ９においてＶシフト量に基づき上記ＶデータをシフトしＶ’平面書き込みを行うことにより真の速度平面が求められる。
ついで、ステップＳ１０において、隣接領域の処理が全て終了したかを調べ、終了していない場合には、小領域Ａに隣接する小領域を新たな領域Ｂi としてステップＳ３’に戻る。そして、上記処理を繰り返し得られたデータをＶ’平面に書き加えていくことにより最終的な速度平面Ｖ’を得る。
【００２５】
そしてステップＳ１１において、上記のようにして得られたＶ’平面上での最大のピーク（相関値が最大の座標位置）を抽出し、ステップＳ１２において速度ベクトルを得る。これにより隣接する小領域までの大きさの速度ベクトルを検出することができる。
次いでステップＳ１３において、全画像の処理が終了したかを調べ、終了していない場合にはステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
【００２６】
なお、上記説明ではＶ’平面上でピーク検出を行っているが、Ｖ’平面上でピーク検出を行わず、Ｖ’平面をそのまま次の処理に用いてもよい。
以上のように分割した画像１の全領域に渡って、小領域Ａを順次置き換えながら処理を繰り返すことにより、画像１と画像２の間のオプティカルフローが求まる。
【００２７】
（２）実施例２
図１１は本発明の第２の実施例の装置構成図、図１２は本発明の第２の実施例の処理を示すフローチャートであり、同図により本発明の第２の実施例について説明する。なお、本実施例は請求項２，４の発明に対応する。
本実施例においては、図１１に示すように前記図９のＶシフト計算部９とＶ’平面格納部１０に代え、τシフト計算部１３とτ’θ平面格納部１４を設けたものであり、τシフト量計算部１３は、小領域の相対位置（Ｄx ，Ｄy ）と線分方位θによりτシフト量Δτを前記式Δτ＝Ｄx cosθ＋Ｄy sinθで求める。また、τ’θ平面格納部１４は、相関演算結果を上記τシフト量だけシフトしてτ’θ平面に格納する。
【００２８】
次に前記図３、図４を参照しながら図１２により本実施例の処理を説明する。
図１２において、ステップＳ１からステップＳ６までの処理は前記図１０と同じであり、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ４，Ｓ１’〜Ｓ４’）。ついで、切り出した小領域Ａ，Ｂi についてハフ変換を行ったのち、相関演算を行い、見かけの一次元速度τを得る（ステップＳ５，Ｓ５’、ステップＳ６）。
【００２９】
ついで、ステップＳ７において、図３に示したように小領域の相対位置（Ｄx ，Ｄy ）からτシフト量を求め、ステップＳ８において、図４に示したようにτ’θ平面に書き込み、真の一次元速度τ’を下記式により得る。
τ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ）
ステップＳ９において上記τ’θ平面を逆ハフ変換することにより、速度平面Ｖ’が得られる。
【００３０】
ついで、ステップＳ１０において、前記図１０と同様に、隣接領域の処理が全て終了したか調べ、終了していない場合には、小領域Ａに隣接する小領域を新たな領域Ｂi としてステップＳ３’に戻り、上記処理を繰り返す。
そしてステップＳ１１において、前記したように最大のピーク（相関値が最大の座標位置）を抽出し、ステップＳ１２において速度ベクトルを得る。これにより隣接する小領域までの大きさの速度ベクトルを検出することができる。
【００３１】
次いでステップＳ１３において、全画像の処理が終了したかを調べ、終了していない場合にはステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
本実施例においては、上記のような処理を行うことにより、上記第１の実施例と同等な結果を得ることができる。
【００３２】
（３）実施例３
図１３、図１７は本発明の第３の実施例の処理を示すフローチャートである。また、本実施例を実現するための装置としては、Ｖ座標シフトを用いる場合には前記図９、τ座標シフトを用いる場合には前記図１１に示したものを使用することができる。
【００３３】
▲１▼ 特定位置の小領域Ｂと小領域Ａとの間だけで移動量を計算する場合
図１３は特定位置の小領域Ｂと小領域Ａとの間だけで移動量を計算する実施例を示している。
次に、図１３により本実施例の処理を説明する。本実施例の処理は、前記図１０に示した第１の実施例におけるステップＳ１０による繰り返し処理を省略したものであり、その他は基本的に前記図１０の処理と同じである。
【００３４】
図１３において、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ４，Ｓ１’〜Ｓ４’）。ついで、切り出した小領域Ａ，Ｂについてハフ変換を行ってρθ平面を得たのち、相関演算を行いθτ平面を得る（ステップＳ５，Ｓ５’、ステップＳ６）。
次に相関演算結果を逆ハフ変換するとともに、Ｖシフト量を計算し、Ｖ’平面に書き込む（ステップＳ７，Ｓ８，Ｓ９）。そして、Ｖ’平面上での最大のピーク（相関値が最大の座標位置）を抽出し、速度ベクトルを得る（ステップＳ１０，Ｓ１１）。さらに、ステップＳ１２において、全画像について処理が終了したか調べ、終了していない場合には、ステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
【００３５】
以上のように、位置の異なった小領域ＡとＢの各々のハフ変換データに対して相関処理を施すことによりθτ平面が得られる。さらに、このθτ平面に逆ハフ変換を施せば速度平面を得ることができ、見かけの速度を検出することができる。この速度は見かけの速度であるので、上記したように小領域Ａ，Ｂの相対位置に基づきＶ座標シフトを行うか、あるいは前記した第２の実施例で説明したτ座標シフトを行うことにより、真の一次元速度Ｖ’、あるいは真の一次元速度τ’を得ることができる。
【００３６】
図１４、図１５は上記Ｖ座標シフトとτ座標シフトを説明する図である。
図１４に示すように小領域Ａ，Ｂの相対位置関係が（Ｄx ，Ｄy ）であるとき、ρθ平面の相関処理を行いθτ平面を得る。
そして、Ｖ座標シフトにおいては、図１５（ａ）に示すように、θτデータの逆ハフ変換を行って見かけの移動速度を得たのち、上記Ｖシフト量（Ｄx ，Ｄy ）に基づき同図のａに示すＶ座標シフトを行って真の移動速度Ｖ’平面を得る。
【００３７】
一方、τ座標シフトにおいては、図１５（ｂ）に示すようにρθ平面の相関処理を行うことによりθτ平面を得て、前記したようにτ’＝τ0 ＋Δτ＝τ0 ＋（Ｄx cosθ＋Ｄy sinθ）によりτ座標シフトを行って逆ハフ変換を行うことにより真の速度平面Ｖ’を得る。
図１４、図１５ではデータ平面全てのシフトをしているが、特定のデータのみを同じ数式で補正することも可能である。
なお、τ座標シフトは、上記したようにθτデータに対してのみならず、その前のρθτデータに対しても行うことができる。
【００３８】
図１６は上記した特定位置の小領域Ｂと小領域Ａ間の相関処理を説明する図である。同図（ｂ）に示すように時刻ｔおよび時刻ｔ＋１におけるハフ平面（ρθデータ）の配列を用意しておき、分割画像ａにおいて、時刻ｔにおける小領域Ａの対象物が時刻ｔ＋１において小領域Ｂに移動したとき、それぞれのρθデータを対応する位置の配列に格納し、２つのρθデータ間に対して相関処理を行うことにより、速度ベクトルを得ることができる。対象物が小さい場合には、上記のように単一の小領域だけとの相関から速度ベクトルを検出した方が検出精度が向上する場合もある。
【００３９】
▲２▼ 個々の小領域との相関演算を複数独立に行う場合
また、個々の小領域との相関を複数独立に行うことも考えられる。
図１７は上記した個々の小領域との相関を複数独立に行う場合のフローチャートであり、図１７により本実施例の処理を説明する。
図１７において、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ４，Ｓ１’〜Ｓ４’）。ついで、切り出した小領域Ａ，Ｂについてハフ変換を行ってρθ平面を得たのち、相関演算を行いθτ平面を得る（ステップＳ５，Ｓ５’、ステップＳ６）。
【００４０】
次に相関演算結果を逆ハフ変換して最大ピークを検出し、Ｖシフト量計算を行って、速度ベクトルを検出する。（ステップＳ７，Ｓ８，Ｓ９，Ｓ１０）。そして、ステップＳ１１において、隣接領域の処理が全て終了したかを調べ、終了していない場合には、ステップＳ３’に戻り新たな隣接領域を選択して上記処理を繰り返す。
以上のようにして、個々の小領域との相関を複数独立に行うことにより複数の速度を検出する（ステップＳ１２）。そして、全画像について処理が終了したか調べ（ステップＳ１３）、終了していない場合には、ステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
【００４１】
図１８は上記した複数の速度を検出する場合の処理を説明する図である。前記した図１６と同様、同図に示すように時刻ｔおよび時刻ｔ＋１におけるハフ平面（ρθデータ）の配列を用意し、それぞれのρθデータを対応する位置の配列に格納する。そして、例えば小領域Ａから複数方向に対象物が移動した場合、小領域Ａと小領域Ｂ１および小領域Ａと小領域Ｂ２から個々独立に速度検出を行うことにより複数の速度検出を行う。
【００４２】
対象物が小さい場合には、上記▲１▼、▲２▼のように単一の小領域との相関から速度ベクトルを検出した方が検出精度が向上する場合もある。また、上記▲２▼のように小領域Ａから複数の対象物が別々の方向に動き出すような場合にも、個々の速度検出を独立に行うことで複数の速度を正確に検出することが可能となる。これらの独立の速度平面を統合することももちろん可能である。
【００４３】
（４）実施例４
本実施例は隣接する全ての小領域との相関結果を加算し、速度ベクトルを検出する実施例であり、本実施例により任意の方向の速度を同時に検出することができる。
本実施例は前記した図１０、図１２のフローチャートにより実現することができ、また、本実施例を実現するための装置としては、Ｖ座標シフトを用いる場合には前記図９、τ座標シフトを用いる場合には前記図１１に示したものを使用することができる。
【００４４】
図１９は本実施例を説明する図であり、同図に示すように、小領域Ａに対して、それと隣接する３×３の小領域Ｂi （小領域Ａも含む）との相関結果を全て統合すれば、３倍のサイズの速度平面を得られ、その分だけ高速度の検出を実現することができる。そして、同図に示す統合した速度平面Ｖ’に対してピーク抽出などの処理を施すことにより、小領域Ａ内の画像がどれだけ移動したかを求めることができる。
【００４５】
また、左右のカメラからとられたステレオ画像からの視差検出の場合など特定方向の移動量のみを求める場合には、周囲の全小領域と相関処理を行う必要はなく、図２０に示すように必要な方向に存在する複数の小領域のみを処理の対象とすればよい。
上記場合においても、前記したＶ座標シフト、τ座標シフトのいずれの手法を用いてもよい。
【００４６】
（５）実施例５
本実施例は、複数の小領域に着目しそれぞれの小領域の相関結果を統合することにより広い領域の移動ベクトルを検出できるようにしたものである。
すなわち、図２１に示すように、小領域Ａの周囲の小領域Ａk において、そのＡK の周囲の小領域Ｂi との間で前記図１９に示したように相関をとって統合し、各小領域Ａk の画像の平面速度を求め、各Ａk について得られた速度平面を更に加算することにより小領域Ａを含む広い範囲の全体速度ベクトルを求める。
【００４７】
図２２は本実施例の処理を示すフローチャートであり、また、本実施例を実現するための装置としては、Ｖ座標シフトを用いる場合には前記図９、τ座標シフトを用いる場合には前記図１１に示したものを使用することができる。
図２２において、ステップＳ１からステップＳ９までの処理は前記図１０と同じであり、入力画像を画像分割して対象領域を選定し、局所画像を切り出す（ステップＳ１〜ステップＳ３，Ｓ１’〜Ｓ３’）。ついで、切り出した小領域Ａ，Ｂi についてハフ変換を行ってρθ平面を得たのち、相関演算を行いθτ平面を得る（ステップＳ４，Ｓ４’、ステップＳ５）。
【００４８】
次に相関演算結果を逆ハフ変換するとともに、Ｖシフト量を計算し、Ｖ’平面に書き込む（ステップＳ６，Ｓ７，Ｓ８）。
ついで、ステップＳ９において、隣接領域の処理が全て終了したかを調べ、終了していない場合には、小領域Ａに隣接する小領域を新たな領域Ｂi としてステップＳ２’に戻る。
【００４９】
小領域Ａの周囲の領域Ｂi の処理が終わると、ステップＳ１０に行き、小領域Ａに隣接する小領域Ａk についての処理が全て終了したかを調べ、終了していない場合には、ステップＳ２に戻り、新たな小領域Ａk について上記と同様な処理を行う。以上のようにして小領域Ａk について処理が終了すると、ステップＳ１２において、全画像の処理が終了したかを調べ、終了していない場合にはステップＳ３に戻り、新たな対象領域を設定し、上記処理を繰り返す。
以上のように本実施例においては、分割した領域のサイズ（小領域Ａ）よりも広い範囲（図２１ではＡの３×３倍分）内の平均速度を得ることができる。
このため、全体が一様に動いているような場合、あるいは、小領域サイズよりも大きい対象物が動いている場合にはノイズ抑制の効果も大きく現れる。
【００５０】
【発明の効果】
以上説明したように本発明においては、以下の効果を得ることができ、連続した時系列画像からの速度ベクトルの検出や、２つのカメラ画像からの視差の検出等において、分割した小領域のサイズを越える動きを少ない演算量で効率的かつ正確に検出することができる。
【００５１】
（１）移動した対象物が含まれる異なった位置の小領域のρθデータの間で相関を取っているので、分割した小領域のサイズを越える移動量を検出することができる。
（２）上記（１）において、位置の異なる２つの小領域の相対位置に応じて、上記変位量τに対して、方位θの座標シフトを行っているので、対象物を構成する直線成分の小領域のサイズを越える大きさの一次元的な移動量を検出することができる。
（３）上記（１）（２）において、それぞれの小領域間で単独の相関結果を求め、求めた相関結果を独立して処理しているので、分割小領域のサイズを越える大きさの、特定方向の移動量を効率的かつ正確に検出することができる。
【００５２】
（４）上記（１）（２）において、特定の１小領域に対して、複数の領域と相関を取り、それらの相関結果をまとめて処理しているので、分割した小領域のサイズを越える大きさのあらゆる方向の移動量を検出することができる。
（５）上記（１）（２）において、複数の小領域に対して、その各小領域と複数の小領域と相関をとり、上記複数の各小領域についての相関結果をさらにまとめて処理しているので、分割した小領域のサイズよりも広い領域の、全体的な移動量を検出することができる。
【図面の簡単な説明】
【図１】 本発明の原理を説明する図である。
【図２】 本発明の原理を説明する図（続き）である。
【図３】 本発明の原理を説明する図（続き）である。
【図４】 本発明の原理を説明する図（続き）である。
【図５】 本発明の原理を説明する図（続き）である。
【図６】 本発明の原理を説明する図（続き）である。
【図７】 本発明の原理を説明する図（続き）である。
【図８】 本発明の原理を説明する図（続き）である。
【図９】 第１の実施例のシステム構成図である。
【図１０】 第１の実施例の処理を示すフローチャートである。
【図１１】 第２の実施例のシステム構成図である。
【図１２】 第２の実施例の処理を示すフローチャートである。
【図１３】 第３の実施例(1) の処理を示すフローチャートである。
【図１４】 Ｖ座標シフトとτ座標シフトを説明する図である。
【図１５】 Ｖ座標シフトとτ座標シフトを説明する図（続き）である。
【図１６】 特定位置の小領域Ｂと小領域Ａ間の相関処理を説明する図である。
【図１７】 第３の実施例(2) のフローチャートである。
【図１８】 複数の速度を検出する場合の処理を説明する図である。
【図１９】 第４の実施例を説明する図である。
【図２０】 第４の実施例において特定方向の移動量のみを求める場合を示す図である。
【図２１】 第５の実施例を説明する図である。
【図２２】 第５の実施例の処理を示すフローチャートである。
【図２３】 従来の移動ベクトル検出方法を示す図である。
【図２４】 従来の移動ベクトル検出方法を示す図（続き）である。
【図２５】 移動量が大きい場合を説明する図である。
【符号の説明】
１ 画像入力部
２ａ，２ｂ 全体画像格納部
３ 局所画像格納部
５ 小領域選定部
４ａ，４ｂ 局所画像格納部
６ａ，６ｂ ハフ変換部
７ 相関処理部
８ 逆ハフ変換部
９ Ｖシフト計算部
１０ Ｖ’平面格納部
１１ ピーク検出部
１２ 速度ベクトル格納部
１３ τシフト計算部
１４ τ’θ平面格納部
Claims (4)
- 画像を小領域に分割し、その局所領域を直線成分の位置ρ、方位θで表す平面に変換し、
異なる画像フレームの２つの小領域から得られた上記２つのρθ平面に対して、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換し、上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、各小領域内の画像の見かけの移動ベクトルを求め、
上記２つの小領域の一方の小領域に対する他方の小領域の相対位置から、 2 つの小領域の相対位置ベクトルを求め、
上記見かけの移動ベクトルと上記相対位置ベクトルとに基づき真の移動ベクトルを求めて小領域のサイズを超える大きさの移動ベクトルを求める
ことを特徴とする画像特徴抽出方法。 - 画像を小領域に分割し、その局所画像を直線成分の位置ρ、方位θで表す平面に変換し、
異なる画像フレームの２つの小領域から得られた上記２つのρθ平面に対して、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換し、 上記２つの一方の小領域に対する他方の小領域の相対位置から、２つの小領域の相対位置に応じたシフト量Δτを求め、
上記シフト量Δτに基づき、上記θτ平面を真の移動量τ’、直線方位θで表すθτ’平面に変換し、
上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、その平面上のピーク位置の検出によって各小領域の画像の移動ベクトルを検出する
ことを特徴とする画像特徴抽出方法。 - 第１および第２の画像を入力する画像入力手段と、
上記第１、第２の画像から位置の異なる２つの小領域を切り出す手段と、
上記第１、第２の画像から切り出された位置の異なる２つの小領域を直線成分の位置ρ、方位θで表す平面に変換し、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換する手段と、
上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、各小領域内の画像の見かけの移動ベクトルを検出する手段と、
上記２つの小領域の一方の小領域に対する他方の小領域の相対位置から、２つの小領域の相対位置ベクトルを求める手段と、
上記見かけの移動ベクトルと相対位置ベクトルとに基づき真の移動ベクトルを求める手段とを備えた
ことを特徴とする画像特徴抽出装置。 - 第１および第２の画像を入力する画像入力手段と、
上記第１、第２の画像から位置の異なる２つの小領域を切り出す手段と、
上記第１、第２の画像から切り出された2 つの小領域を直線成分の位置ρ、方位θで表す平面に変換し、そのθ軸のデータ毎の相関を取ることによって直線方位θ・変位量τで表すθτ平面に変換する手段と、
上記小領域の相対位置に応じたシフト量Δτを求める手段と、
上記シフト量Δτに基づき、上記θτ平面を真の移動量τ’、直線方位θで表すθτ’平面に変換する手段と、
上記平面をさらにｘ方向変位量Δｘとｙ方向変位量Δｙで表す平面に変換し、その平面上のピーク位置の検出によって各小領域内の画像の移動ベクトルを検出する手段とを備えた
ことを特徴とする画像特徴抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21641596A JP3784113B2 (ja) | 1996-08-16 | 1996-08-16 | 画像特徴抽出方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21641596A JP3784113B2 (ja) | 1996-08-16 | 1996-08-16 | 画像特徴抽出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1063860A JPH1063860A (ja) | 1998-03-06 |
| JP3784113B2 true JP3784113B2 (ja) | 2006-06-07 |
Family
ID=16688211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21641596A Expired - Lifetime JP3784113B2 (ja) | 1996-08-16 | 1996-08-16 | 画像特徴抽出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3784113B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101016095B1 (ko) * | 2009-02-20 | 2011-02-17 | 성균관대학교산학협력단 | 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법 |
-
1996
- 1996-08-16 JP JP21641596A patent/JP3784113B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1063860A (ja) | 1998-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5719954A (en) | Stereo matching method and disparity measuring method | |
| Zhou et al. | Homography-based ground detection for a mobile robot platform using a single camera | |
| Mohr et al. | It can be done without camera calibration | |
| Andaló et al. | Efficient height measurements in single images based on the detection of vanishing points | |
| Wan et al. | High-precision six-degree-of-freedom pose measurement and grasping system for large-size object based on binocular vision | |
| US20190072579A1 (en) | Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion | |
| JP3784113B2 (ja) | 画像特徴抽出方法および装置 | |
| Lim et al. | Use of log polar space for foveation and feature recognition | |
| CN117291930A (zh) | 一种基于图片序列中目标物体分割的三维重建方法和*** | |
| JP3512919B2 (ja) | 物体形状・カメラ視点移動の復元装置及び復元方法 | |
| Russo et al. | Blurring prediction in monocular slam | |
| JP3066137B2 (ja) | パターンマッチング方法 | |
| Murmu et al. | Lane and obstacle detection system based on single camera-based stereo vision system | |
| JPH05122602A (ja) | 距離動画像入力処理方法 | |
| Chen et al. | Planning of a multi stereo visual sensor system for a human activities space | |
| JP4037503B2 (ja) | 画像特徴抽出方法および装置 | |
| JP3040575B2 (ja) | 時系列距離画像入力処理方法 | |
| Żak et al. | Stereoscopic technique for a motion parameter determination of remotely operated vehicles | |
| Adorni et al. | Cellular automata based inverse perspective transform as a tool for indoor robot navigation | |
| Liu et al. | Algorithm for camera parameter adjustment in multicamera systems | |
| Mini et al. | Visual tracking of objects using multiresolution | |
| JP2788829B2 (ja) | 三次元形状測定方法および装置 | |
| JP2938520B2 (ja) | ３次元形状計測装置 | |
| Dalmia et al. | Real-time implementation of structure estimation using image streams | |
| van de Wouw et al. | Real-time estimation of the 3D transformation between images with large viewpoint differences in cluttered environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |