JP3969984B2 - Recognition method for moving objects - Google Patents
Recognition method for moving objects Download PDFInfo
- Publication number
- JP3969984B2 JP3969984B2 JP2001290759A JP2001290759A JP3969984B2 JP 3969984 B2 JP3969984 B2 JP 3969984B2 JP 2001290759 A JP2001290759 A JP 2001290759A JP 2001290759 A JP2001290759 A JP 2001290759A JP 3969984 B2 JP3969984 B2 JP 3969984B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- reference image
- calculation
- vehicle
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、自車に搭載した撮像手段により走行中に撮像して得られる所定時間相前後した２つのフレーム画像における同一点の移動をオプティカルフローとして検出し、自車周辺の移動物体を認識する移動物体の認識方法に関する。
【０００２】
【従来の技術】
従来、自車の走行中に、自車に搭載した撮像手段により後側方を撮像して得られる画像を処理し、車両や路側構造物等の移動物体を認識する手法として勾配法や相関演算法があり、ハードウェア化が容易である点から後者の相関演算法がよく利用されている。
【０００３】
この相関演算法は、テンプレートマッチング法とも呼ばれ、画像中に対象物の動きベクトル、つまりオプティカルフローを計算するのに利用される手法であり、例えば図１０に示すように、所定時間相前後した２つのフレーム画像（時刻ｔと時刻ｔ＋１のフレーム画像）に対して、
Ｄ（ｕ，ｖ）＝Σｘ，ｙ∈Ｒ｜Ｉｆ（ｘ，ｙ）−Ｉｆ＋１（ｘ＋ｕ，ｙ＋ｖ）｜で定義される各画素毎の輝度差の和、つまり残差Ｄ（ｕ，ｖ）が最小となるかどうかを探索し、最小となればそのときの移動ベクトル（ｕ，ｖ）をもって、その座標位置（ｘ，ｙ）での対象物の動き量とするものである。
【０００４】
尚、上記した式において、ｆはフレーム、Ｒは参照画像領域、Ｉｆ（ｘ，ｙ）はフレームｆでの画像上の座標（ｘ，ｙ）での輝度、Ｉｆ＋１（ｘ＋ｕ，ｙ＋ｖ）はフレームｆ＋１での画像上の座標（ｘ＋ｕ，ｙ＋ｖ）での輝度である。
【０００５】
ところで、このような相関演算法の場合、上記したような２つのフレーム画像におけるある対象物について所定値以上のマッチング正解率を期待すると、参照画像領域を大きくする必要があり、その際探索方向を２次元にすると計算量が勢い増加してしまう。
【０００６】
【発明が解決しようとする課題】
このような観点から、例えば図１１に示すように、計算方向を１次元方向、つまり撮像方向を示す１点に対応する無限遠点からの放射状方向に限定し、計算量を低減することが従来行われている。
【０００７】
また、車速と組み合わせることによって、車両運動から計算される移動量と、画像処理によって求めたオプティカルフローとの一致、不一致によってフロー精度を向上することも提案されている。例えば図１２に示すように、自車速ｖと２次元−３次元投影式から、風景の無限遠点への画像上における移動量ｄ＿ｍｉｎｕｓと、無限遠点から自車との相対速度で迫る追い越し車両等の移動物体の画像上での最大移動量ｄ−ｐｌｕｓとを計算することができる。
【０００８】
しかしながら、これらの手法では、依然として計算量が多く、高速演算が可能なＣＰＵが必要となるため、実用化において大きな支障となり、自車との相対速度の大きい移動物体を認識することが非常に困難であるという問題があった。
【０００９】
そこで、本発明は、相関演算法におけるオプティカルフローの計算量を大幅に低減し、自車との相対速度の大きい移動物体の認識も可能にすることを目的とする。
【００１０】
【課題を解決するための手段】
上記した目的を達成するために、本発明にかかる移動物体の認識方法は、走行中に自車に搭載した撮像手段により自車後側方を撮像し、所定時間相前後した２つのフレーム画像中にそれぞれ所定の大きさに設定される参照画像領域内における各画素毎の輝度差の累積和が最小となるかどうかを探索し、最小となれば前記両参照画像領域が同一物体を表わすべくマッチングしていると判断して前記両参照画像領域の移動をオプティカルフローとして導出し、導出した前記オプティカルフローの方向及び大きさから自車後側方の移動物体を認識する移動物体の認識方法において、前記フレーム画像について、走行中の自車から撮像方向を示す１点に対応する無限遠点から放射状の探索ライン上にそれぞれ複数の計算点を定め、現在より所定時間前の前フレーム画像中のある計算点に前記参照画像領域を設定すると共に、前記前フレーム画像から前記所定時間後の現在フレーム画像中に、前記探索ラインに沿って移動した位置に前記参照画像領域を設定し、前記前フレーム画像の前記参照画像領域、及び、前記現在フレーム画像の前記参照画像領域について、これら参照画像領域内における各画素毎の輝度差の累積和を演算してこの累積和の最小値を求めて保持しておき、ある時刻における前記フレーム画像中の前記計算点に設定される前記参照画像領域と、その所定時間後の次フレーム画像中の前記計算点に設定される前記参照画像領域との前記累積和を演算してマッチングを判断する際に、その演算途中で前記最小値を超えるときには超えた時点で演算を中止し、演算終了時に前記最小値を下回るときには前記最小値を更新するものであって、前記撮像手段と同じ方向を観測する距離検出手段を設け、前記距離検出手段により、前記累積和の最小値を与える前記計算点を定めるための基準となる反射点を特定することを特徴としている。
【００１１】
このような構成によれば、ある時刻におけるフレーム画像と、その所定時間後の次フレーム画像について、参照画像領域内の各画素毎の輝度差の累積和を演算している途中で、その累積和が保持しておいた最小値を超えるときにはその時点でその演算を中止するため、従来に比べてオプティカルフローの計算量を大幅に低減することができ、自車との相対速度の大きい移動物体であっても容易にそのオプティカルフローを計算して認識することができる。このとき、距離検出手段により検出される距離変化から、ある対象物の相対速度がわかり、累積和の最小値を与える計算点を定める際に、そこが風景部分であるのかどうか簡単に判断することでき、累積和の最小値を与える計算点の設定を容易に行うことができる。
【００１２】
このとき、演算終了時に累積和が保持しておいた最小値を超えなければ、今回の演算による累積和が新たな最小値をとして更新されるため、マッチングの精度が低下することはない。
【００１３】
また、本発明にかかる移動物体の認識方法は、前記前フレーム画像に最初に前記参照画像領域を設定する際には、前記前フレーム画像中において自車速と同じ大きさの相対速度で移動する風景部分に設定して、前記前フレーム画像から前記所定時間後の前記現在フレーム画像中に、自車速に応じた量だけ所定の前記探索ラインを前記無限遠点に向かう方向に移動した位置に前記参照画像領域を設定することを特徴としている。
【００１４】
このような構成によれば、風景部分は自車速と同じ大きさの相対速度で、自車と反対方向に移動するため、そのような風景部分に累積和の最小値を与える計算点を設定することで、輝度差の累積和の最小値を容易に求めることができる。
【００１５】
また、本発明にかかる移動物体の認識方法は、前記前フレーム画像に最初に前記参照画像領域を設定する際には、前記前フレーム画像中において自車速に対してある相対速度で移動する移動部分に設定して、前記前フレーム画像から前記所定時間後の前記現在フレーム画像中に、自車速に対する相対速度に応じた量だけ所定の前記探索ラインに沿って移動した位置に前記参照画像領域を設定し、前記自車に対する相対速度が自車速よりも大きいかどうかにより、前記現在フレーム画像に設定すべき前記参照画像領域の位置を前記探索ラインに沿って前記無限遠点から離れる方向にするかその反対方向にするかを決定することを特徴としている。
【００１６】
このような構成によれば、例えば自車を追い越す追い越し車両の場合には、相対速度は無限遠点から離れる方向であることから、現在フレーム画像中に無限遠点から離れる方向に相対速度に応じた量だけ移動した位置に参照画像領域を設定することにより、追い越し車両についてのマッチングの基準となる累積和を容易に得ることができる。
【００１７】
また、本発明にかかる移動物体の認識方法は、前記無限遠点付近では前記計算点の数を密にし、前記撮像手段付近では前記計算点の数を粗にすることを特徴としている。このような構成によれば、例えば自車の後側方を撮像中に、追い越し車両が自車に接近しても、計算量に大きな影響を与える自車近辺の計算点の数が少ないことから、いたずらに計算量が増加することもなく、追い越し車両の認識を迅速に行うことができる。
【００１８】
また、本発明にかかる移動物体の認識方法は、前記各計算点について、前記現在フレーム画像においてマッチングにより得られたオプティカルフローの方向を保持しておき、前記次フレーム画像では、その保持したオプティカルフローの方向から探索を開始することを特徴としている。
【００１９】
このような構成によれば、前のフレームにおけるオプティカルフローの方向から探索を開始するため、オプティカルフローの計算における上記した輝度差の累積和が最小値を超えて計算が中止される確率が非常に高くなり、自車との相対速度の大きい移動物体のオプティカルフローを計算するときに、その計算量の低減に大きく寄与することができる。
【００２２】
また、本発明にかかる移動物体の認識方法は、前記距離検出手段が、レーザ光をその照射方向と直交方向に走査しつつ照射し、反射光を観測するまでの時間を計測して反射点までの距離を検出するスキャンレーザレーダであり、前記スキャンレーザレーダの走査時間が前記所定時間に設定されていることを特徴としている。
【００２３】
このような構成によれば、スキャンレーザレーダは、ある程度の水平視野をもって距離検出を行うことができるため、撮像手段による撮像範囲とほぼ同じ範囲内で距離検出を行い、累積和の最小値を与える計算点の設定をより容易に行うことができる。
【００２４】
【発明の実施の形態】
（第１実施形態）
この発明の第１実施形態について図１ないし図５を参照して説明する。但し、図１はブロック図、図２ないし図５は動作説明図である。
【００２５】
図１に示すように、自車に撮像手段としての単眼ＣＣＤカメラ１が搭載され、このＣＣＤカメラ１により自車の後側方が撮像され、得られた各時刻毎のフレーム画像がＣＰＵ２によりＲＡＭ等から成るメモリ３に保存される。そして、ＣＰＵ２は各フレーム画像を処理して画像中の対象物のオプティカルフローを計算してその移動量を求め、その対象物が車両かどうか認識する。
【００２６】
即ち、ＣＰＵ２により、各フレーム画像について、走行中の自車から撮像方向を示す１点に対応する無限遠点から放射状の探索ライン上にそれぞれ複数の計算点が定められ、図２に示すように、現在より所定時間であるΔｔ時間前の時刻Ｔにおける前フレーム画像中のある計算点に、所定の大きさの参照画像領域（図２中の矩形）が設定されると共に、前フレーム画像から所定時間であるΔｔ時間後の時刻Ｔ＋１における現在フレーム画像に、探索ライン（図２中の直線）上を移動した位置に参照画像領域が設定され、前フレーム画像の参照画像領域、及び、現在フレーム画像の参照画像領域について、これら参照画像領域内における各画素毎の輝度差の累積和が演算されてこの累積和の最小値Ｃｏｒｒ＿ｍｉｎが早い段階で求められてメモリ３に保持される。
【００２７】
このとき、前フレーム画像に最初に参照画像領域を設定する際、その前フレーム画像中において自車速ｖと同じ大きさの相対速度で自車と反対方向に移動する風景部分に設定し、前フレーム画像からΔｔ時間後の現在フレーム画像中には、自車速に応じた量だけ探索ラインを無限遠点に向かう方向に移動した位置に参照画像領域を設定するとよい。
【００２８】
その理由として、風景部分は自車速ｖと同じ大きさの相対速度で、自車と反対方向に移動するため、そのような風景部分に累積和の最小値Ｃｏｒｒ＿ｍｉｎを与える計算点を設定することで、輝度差の累積和の最小値Ｃｏｒｒ＿ｍｉｎをかなりの高確率で簡単に求めることができるからである。
【００２９】
一方、前フレーム画像に最初に参照画像領域を設定する際、前フレーム画像中において自車速に対してある相対速度で移動する例えば追い越し車両部分に設定し、前フレーム画像からΔｔ時間後の現在フレーム画像中には、自車速ｖに対する相対速度に応じた量だけ探索ラインに沿って移動した位置に参照画像領域を設定し、そのとき追い越し車両は自車に対する相対速度が自車速よりも大きいことから、現在フレーム画像に設定すべき参照画像領域の位置を探索ラインに沿って無限遠点から離れる方向に設定すればよい。
【００３０】
こうすると、かなりの高確率で追い越し車両部分に参照画像領域を設定して輝度差の累積和の最小値Ｃｏｒｒ＿ｍｉｎを比較的簡単に求めることができる。
【００３１】
また、無限遠点付近では前記計算点の数を密にし、前記撮像手段付近では前記計算点の数を粗にするのが望ましい。こうすれば、自車の後側方を撮像中に、追い越し車両が自車に接近しても、計算量に大きな影響を与える自車近辺の計算点の数が少ないことから、いたずらに計算量が増加することもなく、追い越し車両の認識を迅速に行うことができる。
【００３２】
そして、ＣＰＵ２により、ある時刻Ｔ＋１におけるフレーム画像中の計算点に設定される参照画像領域と、その所定時間であるΔｔ時間後の時刻Ｔ＋２における次フレーム画像において、探索ライン（図２中の直線）を無限遠点に向かう方向に移動した計算点に設定される参照画像領域との各画素毎の輝度差の累積和が演算され、その演算途中において、図３に示すように、演算中の累積和が予め求めておいた最小値Ｃｏｒｒ＿ｍｉｎを超えるときには、その時点で演算が中止されるようになっている。
【００３３】
尚、演算終了時の累積和が予め求めておいた最小値Ｃｏｒｒ＿ｍｉｎを超えなければ、ＣＰＵ２により、新たにそのときの累積和が最小値Ｃｏｒｒ＿ｍｉｎとしてメモリ３に更新保持される。こうすれば、マッチング精度の低下を防止することができる。
【００３４】
また、図４（ａ）に示すように、各計算点（図中の○印）について、時刻Ｔ＋１の現在フレーム画像において、無限遠点からの探索ラインにおいてマッチングにより得られたオプティカルフローの方向が、例えば無限遠点から離れる方向にであれば、同図（ａ）中の“−（マイナス）”、無限遠点に向かう方向であれば、同図（ａ）中の“＋（プラス）”というように、マッチング方向を保持しておき、Δ時間後の時刻Ｔ＋２の次フレーム画像では、同図（ｂ）に示すように、前回保持したオプティカルフローの方向から探索が開始されるようになっている。
【００３５】
こうすると、次のフレーム画像について、前のフレームにおけるオプティカルフローの方向から探索を開始するため、オプティカルフローの計算における上記した輝度差の累積和が最小値を超えて計算が中止される確率が非常に高くなり、自車との相対速度の大きい移動物体のオプティカルフローを計算するときにもその計算量のいっそうの低減を図ることができる。
【００３６】
更に、次のフレームでは、前のフレームにおいてマッチングしてオプティカルフローの方向が得られた位置を中心にして、図５中に付した番号“１”，“２”，…順に＋、−の両方向に交互に探索を繰り返すようにしてもよい。こうすれば、ほとんどの場合、前回のマッチング位置の近傍で今回もマッチングが得られるため、より計算量の低減を図ることができる。
【００３７】
従って、第１実施形態によれば、ある時刻Ｔにおけるフレーム画像と、その所定時間であるΔｔ時間後の時刻Ｔ＋１における次フレーム画像について、参照画像領域内の各画素毎の輝度差の累積和を演算している途中で、その累積和が保持しておいた最小値を超えるときにはその時点でその演算を中止するため、従来に比べてオプティカルフローの計算量を大幅に低減することができ、自車との相対速度の大きい移動物体であっても容易にそのオプティカルフローを計算して認識することが可能になる。
【００３８】
更に、演算終了時に累積和が保持しておいた最小値を超えなければ、今回の演算による累積和が新たな最小値として更新されるため、マッチングの精度が低下することを防止できる。
【００３９】
（第２実施形態）
この発明の第２実施形態について図６ないし図９を参照して説明する。但し、図６はブロック図、図７ないし図９は動作説明図である。尚、本実施形態において、ＣＰＵ２の基本的な機能は第１実施形態と略同じであるため、以下では、主として第１実施形態と異なる点について説明することとし、重複した説明は省略する。
【００４０】
本実施形態では、図６に示すように、ＣＣＤカメラ１と同じ自車後側方を観測する距離検出手段として、レーザ光をその照射方向と直交する水平方向に走査しつつ照射し、反射光を観測するまでの時間を計測して反射点までの距離を検出するスキャンレーザレーダ４を設け、このスキャンレーザレーダ４により、自車速と同じ大きさの相対速度で自車と反対方向に移動する反射点を特定し、特定したその反射点を、累積和の最小値を与える計算点とするようにしている。
【００４１】
但し、キャンレーザレーダ４の走査時間は、上記したマッチングを得るためのフレーム画像のサンプリング周期であるΔｔ（本発明における所定時間）に設定するのが望ましい。
【００４２】
こうすると、図７に示すように、時刻ｔ及び時刻ｔ＋１において、自車に対する障害物Ａ，Ｂがどのように移動したかがスキャンレーザレーダ４の出力変化からわかり、障害物Ａ，Ｂの自車に対する相対速度及び方向がわかる。
【００４３】
ところで、スキャンレーザレーダ４による１サンプリング周期での反射点データの距離変化は、そのまま自車に対する障害物の相対速度を表わし、また図９に示す３次元空間と２次元画像平面の投影式より、図８に示すように、３次元空間中での移動ベクトルは２次元画像平面での移動ベクトルに変換することができる。
【００４４】
つまり、図８に示す参照画像領域Ｉａの画像がどの部分に移動したかを探索する上記の輝度差計算を、参照画像領域Ｉｂの近辺だけで行うことができるようになり、風景などの反射データがない部分に対しては、輝度差計算を一切行わなくても、スキャンレーザレーダ４による測定結果から、障害物が存在しないことをある程度裏付けることができるため、風景部分に対する計算量を第１実施形態の場合よりもかなり低減することができる。
【００４５】
また、スキャンレーザレーダ４は、不検出を防止するために、通常高感度に設定されノイズを計測しやすいが、本発明の場合、例えばベクトルａｂが誤検出であったときには、参照画像領域ＩａとＩｂの相関演算値が一致しないため、スキャンレーザレーダ４のノイズであると判定することができ、移動物体の認識精度の向上に寄与することができる。
【００４６】
従って、第２実施形態によれば、スキャンレーザレーダ４により検出される距離変化から、ある対象物の相対速度がわかり、上記した２つのフレーム画像中の参照画像領域内における各画素毎の輝度差の累積和の最小値を与える計算点を定める際に、そこが風景部分であるのか自車以外の車両であるのかを簡単に判断することできるため、累積和の最小値を与える計算点の設定を容易に行うことができる。
【００４７】
さらに、スキャンレーザレーダ４は、ある程度の水平視野をもって距離検出を行うことができるため、ＣＣＤカメラによる撮像範囲とほぼ同じ範囲内で距離検出を行い、累積和の最小値を与える計算点の設定をより容易に行うことができる。
【００４８】
なお、第２実施形態では、距離検出手段として、スキャンレーザレーダ４を用いた場合について説明したが、距離検出手段はスキャンレーザレーダに限定されるものでないのは勿論である。
【００４９】
更に、上記した各実施形態では、撮像手段として単眼のＣＣＤカメラ１を用いた場合について説明したが、撮像手段は上記したＣＣＤカメラに限定されるものでないのはいうまでもない。
【００５０】
また、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００５１】
【発明の効果】
以上のように、請求項１に記載の発明によれば、ある時刻におけるフレーム画像と、その所定時間後の次フレーム画像について、参照画像領域内の各画素毎の輝度差の累積和を演算している途中で、その累積和が保持しておいた最小値を超えるときにはその時点でその演算を中止するため、従来に比べてオプティカルフローの計算量を大幅に低減することができ、自車との相対速度の大きい移動物体であっても容易にそのオプティカルフローを計算して認識することが可能になる。このとき、距離検出手段により検出される距離変化から、ある対象物の相対速度がわかり、累積和の最小値を与える計算点を定める際に、そこが風景部分であるのかどうか簡単に判断することでき、累積和の最小値を与える計算点の設定を容易に行うことが可能になり、高度で快適な運転支援システムの提供に貢献することができる。
【００５２】
更に、演算終了時に累積和が保持しておいた最小値を超えなければ、今回の演算による累積和が新たな最小値をとして更新されるため、マッチングの精度が低下することを防止できる。
【００５３】
また、請求項２に記載の発明によれば、風景部分は自車速と同じ大きさの相対速度で、自車と反対方向に移動するため、そのような風景部分に累積和の最小値を与える計算点を設定することで、輝度差の累積和の最小値を容易に求めることが可能になる。
【００５４】
また、請求項３に記載の発明によれば、例えば自車を追い越す追い越し車両の場合には、相対速度は無限遠点から離れる方向であることから、現在フレーム画像中に無限遠点から離れる方向に相対速度に応じた量だけ移動した位置に参照画像領域を設定することにより、追い越し車両についてのマッチングの基準となる累積和を容易に得ることが可能になる。
【００５５】
また、請求項４に記載の発明によれば、例えば自車の後側方を撮像中に、追い越し車両が自車に接近しても、計算量に大きな影響を与える自車近辺の計算点の数が少ないことから、いたずらに計算量が増加することもなく、追い越し車両の認識を迅速に行うことが可能になる。
【００５６】
また、請求項５に記載の発明によれば、前のフレームにおけるオプティカルフローの方向から探索を開始するため、オプティカルフローの計算における上記した輝度差の累積和が最小値を超えて計算が中止される確率が非常に高くなり、自車との相対速度の大きい移動物体のオプティカルフローを計算するときに、その計算量の低減に大きく寄与することが可能になる。
【００５８】
また、請求項６に記載の発明によれば、スキャンレーザレーダは、ある程度の水平視野をもって距離検出を行うことができるため、撮像手段による撮像範囲とほぼ同じ範囲内で距離検出を行い、累積和の最小値を与える計算点の設定をより容易に行うことが可能になる。
【図面の簡単な説明】
【図１】この発明の第１実施形態のブロック図である。
【図２】この発明の第１実施形態の動作説明図である。
【図３】この発明の第１実施形態の動作説明図である。
【図４】この発明の第１実施形態の動作説明図である。
【図５】この発明の第１実施形態の動作説明図である。
【図６】この発明の第２実施形態のブロック図である。
【図７】この発明の第２実施形態の動作説明図である。
【図８】この発明の第２実施形態の動作説明図である。
【図９】この発明の第２実施形態の動作説明図である。
【図１０】従来例の動作説明図である。
【図１１】従来例の動作説明図である。
【図１２】従来例の動作説明図である。
【符号の説明】
１ ＣＣＤカメラ（撮像手段）
２ ＣＰＵ
３ メモリ
４ スキャンレーザレーダ（距離検出手段）[0001]
BACKGROUND OF THE INVENTION
According to the present invention, the movement of the same point in two frame images that are obtained before and after a predetermined time phase obtained by imaging by an imaging means mounted on the own vehicle is detected as an optical flow, and a moving object around the own vehicle is recognized. The present invention relates to a moving object recognition method.
[0002]
[Prior art]
Conventionally, the gradient method and correlation calculation are used as a method to recognize moving objects such as vehicles and roadside structures by processing the image obtained by imaging the rear side with the imaging means installed in the vehicle while the vehicle is running. The latter correlation calculation method is often used because there is a method and hardware is easy.
[0003]
This correlation calculation method is also called a template matching method, and is a method used to calculate a motion vector of an object in an image, that is, an optical flow. For example, as shown in FIG. For two frame images (frame images at time t and time t + 1),
D (u, v) = Σx, yεR | I f (x, y) −I f + 1 (x + u, y + v) | The sum of the luminance differences for each pixel, that is, the residual D (u, Whether or not v) is minimized is searched, and if it is minimized, the movement vector (u, v) at that time is used as the amount of movement of the object at the coordinate position (x, y).
[0004]
In the above equation, f is a frame, R is a reference image region, I f (x, y) is a luminance at coordinates (x, y) on the image in frame f, and I f + 1 (x + u, y + v) is It is the luminance at the coordinates (x + u, y + v) on the image in the frame f + 1.
[0005]
By the way, in the case of such a correlation calculation method, if a matching accuracy rate exceeding a predetermined value is expected for a certain object in the two frame images as described above, it is necessary to enlarge the reference image area. If it is two-dimensional, the amount of calculation will increase rapidly.
[0006]
[Problems to be solved by the invention]
From this point of view, for example, as shown in FIG. 11, the calculation direction is limited to a one-dimensional direction, that is, a radial direction from an infinite point corresponding to one point indicating the imaging direction, and the calculation amount is conventionally reduced. Has been done.
[0007]
It has also been proposed to improve flow accuracy by matching or mismatching the amount of movement calculated from vehicle motion and the optical flow obtained by image processing by combining with the vehicle speed. For example, as shown in FIG. 12, an overtaking vehicle that approaches the moving amount d_minus on the image from the own vehicle speed v and the two-dimensional and three-dimensional projection formula to the infinite point of the landscape and the relative speed from the infinite point to the own vehicle. The maximum moving amount d-plus on the image of the moving object such as can be calculated.
[0008]
However, these methods still require a large amount of calculation and a CPU capable of high-speed computation, which is a major obstacle in practical use and it is very difficult to recognize a moving object having a high relative speed with the own vehicle. There was a problem of being.
[0009]
Therefore, an object of the present invention is to greatly reduce the amount of calculation of optical flow in the correlation calculation method and to recognize a moving object having a large relative speed with respect to the own vehicle.
[0010]
[Means for Solving the Problems]
In order to achieve the above-described object, the moving object recognition method according to the present invention is based on two frame images obtained by capturing an image of the rear side of the host vehicle with an imaging unit mounted on the host vehicle while traveling and before and after a predetermined time phase. The reference image area set to a predetermined size is searched for whether or not the cumulative sum of the luminance differences for each pixel is minimized, and if it is minimized, the two reference image areas are matched to represent the same object. In the method for recognizing a moving object, the movement of both reference image regions is derived as an optical flow by determining that the moving object is recognized, and the moving object behind the vehicle is recognized from the direction and size of the derived optical flow. For the frame image, a plurality of calculation points are determined on a radial search line from an infinite point corresponding to one point indicating the imaging direction from the traveling vehicle, and a predetermined time before the present The reference image area is set at a certain calculation point in the previous frame image, and the reference image area is set at a position moved along the search line in the current frame image after the predetermined time from the previous frame image. Then, for the reference image area of the previous frame image and the reference image area of the current frame image, a cumulative sum of luminance differences for each pixel in the reference image area is calculated, and the minimum value of the cumulative sum is calculated. The reference image area set at the calculation point in the frame image at a certain time and the reference image area set at the calculation point in the next frame image after a predetermined time When calculating the cumulative sum of the two and determining the matching, if the minimum value is exceeded during the calculation, the calculation is stopped when the value exceeds the minimum value, and the calculation is completed when the calculation is completed. When below the value be one that updates the minimum value, the distance detection means for observing the same direction as the imaging means is provided, by the distance detecting means, for determining the calculated point which gives the minimum value of the cumulative sum It is characterized by specifying a reflection point as a reference for the above.
[0011]
According to such a configuration, during the calculation of the cumulative sum of the luminance differences for each pixel in the reference image area for the frame image at a certain time and the next frame image after the predetermined time, the cumulative sum is calculated. When the value exceeds the minimum value, the calculation is stopped at that time, so the amount of calculation of the optical flow can be greatly reduced compared to the conventional method. Even if it exists, the optical flow can be easily calculated and recognized. At this time, the relative speed of a certain object is known from the distance change detected by the distance detecting means, and when determining a calculation point that gives the minimum value of the cumulative sum, it is easy to determine whether it is a landscape part. The calculation point that gives the minimum value of the cumulative sum can be easily set.
[0012]
At this time, if the cumulative sum does not exceed the minimum value held at the end of the computation, the cumulative sum of the current computation is updated as a new minimum value, so matching accuracy does not decrease.
[0013]
In the moving object recognition method according to the present invention, when the reference image area is first set in the previous frame image, the scene moves at a relative speed that is the same as the vehicle speed in the previous frame image. The reference is set to a position where the predetermined search line is moved in the direction toward the infinity point by an amount corresponding to the vehicle speed in the current frame image after the predetermined time from the previous frame image. It is characterized by setting an image area .
[0014]
According to such a configuration, since the landscape portion moves in the opposite direction to the own vehicle at the same relative speed as the own vehicle speed, a calculation point that gives the minimum cumulative sum to such a landscape portion is set. Thus, the minimum value of the cumulative sum of luminance differences can be easily obtained.
[0015]
In the moving object recognition method according to the present invention, when the reference image area is first set in the previous frame image, the moving part moves at a relative speed with respect to the vehicle speed in the previous frame image. The reference image area is set at a position moved along the predetermined search line by an amount corresponding to the relative speed with respect to the own vehicle speed in the current frame image after the predetermined time from the previous frame image. The position of the reference image area to be set in the current frame image is set in a direction away from the infinity point along the search line depending on whether the relative speed with respect to the own vehicle is larger than the own vehicle speed. It is characterized by determining the opposite direction .
[0016]
According to such a configuration, for example, in the case of an overtaking vehicle that overtakes the host vehicle, the relative speed is a direction away from the infinity point, so that the current frame image corresponds to the relative speed in the direction away from the infinity point. By setting the reference image area at the position moved by the amount, it is possible to easily obtain a cumulative sum serving as a matching criterion for the overtaking vehicle .
[0017]
Further, the moving object recognition method according to the present invention is characterized in that the number of calculation points is made dense near the infinity point and the number of calculation points is made coarse near the imaging means. According to such a configuration, for example, even if the overtaking vehicle approaches the own vehicle while imaging the rear side of the own vehicle, the number of calculation points in the vicinity of the own vehicle that greatly affects the calculation amount is small. The overtaking vehicle can be quickly recognized without unnecessarily increasing the amount of calculation.
[0018]
In the moving object recognition method according to the present invention, the direction of the optical flow obtained by matching in the current frame image is retained for each calculation point, and the retained optical flow is retained in the next frame image. The search is started from the direction of.
[0019]
According to such a configuration, since the search is started from the direction of the optical flow in the previous frame, there is a very high probability that the cumulative sum of the luminance differences in the optical flow calculation exceeds the minimum value and the calculation is stopped. When the optical flow of a moving object having a high relative speed with respect to the own vehicle is calculated, it can greatly contribute to the reduction of the calculation amount.
[0022]
In the moving object recognition method according to the present invention, the distance detecting unit irradiates the laser beam while scanning it in a direction orthogonal to the irradiation direction, and measures the time until the reflected light is observed to the reflection point. The scanning laser radar detects the distance of the scanning laser radar, and the scanning time of the scanning laser radar is set to the predetermined time.
[0023]
According to such a configuration, the scan laser radar can perform distance detection with a certain horizontal field of view, and therefore performs distance detection within substantially the same range as the imaging range by the imaging means and gives the minimum value of the cumulative sum. Calculation points can be set more easily.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS. However, FIG. 1 is a block diagram, and FIGS.
[0025]
As shown in FIG. 1, a
[0026]
That is, for each frame image, the
[0027]
At this time, when the reference image area is set for the first time in the previous frame image, it is set to a landscape portion that moves in the opposite direction to the own vehicle at the same relative speed as the own vehicle speed v in the previous frame image. In the current frame image after Δt time from the image, the reference image region may be set at a position where the search line is moved in the direction toward the infinity point by an amount corresponding to the own vehicle speed.
[0028]
The reason is that the scenery portion moves in the opposite direction to the own vehicle at the same relative speed as the own vehicle speed v. Therefore, by setting a calculation point that gives the minimum cumulative value Corr_min to such a scenery portion. This is because the minimum value Corr_min of the cumulative sum of luminance differences can be easily obtained with a considerably high probability.
[0029]
On the other hand, when the reference image area is set for the first time in the previous frame image, the current frame is set to, for example, an overtaking vehicle portion that moves at a relative speed with respect to the vehicle speed in the previous frame image, and Δt time after the previous frame image. In the image, a reference image area is set at a position moved along the search line by an amount corresponding to the relative speed with respect to the own vehicle speed v. At that time, the passing vehicle has a relative speed higher than the own vehicle speed. The position of the reference image area to be set in the current frame image may be set in a direction away from the infinity point along the search line.
[0030]
In this way, it is possible to relatively easily determine the minimum value Corr_min of the cumulative sum of the luminance differences by setting the reference image area in the overtaking vehicle portion with a very high probability.
[0031]
In addition, it is desirable that the number of the calculation points is dense near the infinity point, and the number of the calculation points is coarse near the imaging means. In this way, the number of calculation points in the vicinity of the own vehicle that has a large effect on the calculation amount is small even if the overtaking vehicle approaches the own vehicle while imaging the rear side of the own vehicle. The passing vehicle can be quickly recognized without increasing.
[0032]
Then, the search line (straight line in FIG. 2) in the reference image area set at the calculation point in the frame image at a certain time T + 1 by the
[0033]
If the cumulative sum at the end of the calculation does not exceed the minimum value Corr_min obtained in advance, the
[0034]
Further, as shown in FIG. 4A, for each calculation point (circle mark in the figure), the direction of the optical flow obtained by matching in the search line from the infinity point in the current frame image at time T + 1 is For example, if the direction is away from the infinity point, “− (minus)” in FIG. 10A, and if the direction is toward the infinity point, “+ (plus)” in FIG. Thus, the matching direction is held, and in the next frame image at time T + 2 after Δ time, as shown in FIG. 5B, the search is started from the optical flow direction held last time. ing.
[0035]
In this way, since the search for the next frame image starts from the direction of the optical flow in the previous frame, the cumulative sum of the luminance differences in the optical flow calculation exceeds the minimum value, and there is a high probability that the calculation will be stopped. Even when calculating the optical flow of a moving object having a high relative speed with respect to the host vehicle, the amount of calculation can be further reduced.
[0036]
Further, in the next frame, the numbers “1”, “2”,..., Both in the order of + and − in the order shown in FIG. 5 centering on the position where the optical flow direction is obtained by matching in the previous frame. The search may be repeated alternately. In this case, in most cases, matching is obtained in the vicinity of the previous matching position, so that the amount of calculation can be further reduced.
[0037]
Therefore, according to the first embodiment, for the frame image at a certain time T and the next frame image at the time T + 1 after the predetermined time Δt, the cumulative sum of the luminance differences for each pixel in the reference image area is calculated. If the cumulative sum exceeds the retained minimum value during computation, the computation is stopped at that point, so the amount of optical flow calculation can be greatly reduced compared to the conventional method. Even a moving object having a large relative speed with respect to a vehicle can easily calculate and recognize the optical flow.
[0038]
Furthermore, if the cumulative sum does not exceed the minimum value held at the end of the computation, the cumulative sum of the current computation is updated as a new minimum value, so that it is possible to prevent the matching accuracy from being lowered.
[0039]
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIGS. However, FIG. 6 is a block diagram, and FIGS. In the present embodiment, the basic functions of the
[0040]
In the present embodiment, as shown in FIG. 6, as the distance detecting means for observing the same rear side of the host vehicle as the
[0041]
However, the scanning time of the
[0042]
Then, as shown in FIG. 7, at time t and
[0043]
By the way, the change in the distance of the reflection point data in one sampling period by the
[0044]
That is, the above-described luminance difference calculation for searching to which part the image of the reference image area Ia shown in FIG. 8 has moved can be performed only in the vicinity of the reference image area Ib. For a portion having no error, it is possible to confirm that there is no obstacle from the measurement result by the
[0045]
The
[0046]
Therefore, according to the second embodiment, the relative speed of a certain object can be determined from the distance change detected by the
[0047]
Furthermore, since the
[0048]
In the second embodiment, the case where the
[0049]
Further, in each of the above-described embodiments, the case where the
[0050]
The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention.
[0051]
【The invention's effect】
As described above, according to the first aspect of the present invention, for the frame image at a certain time and the next frame image after the predetermined time, the cumulative sum of the luminance differences for each pixel in the reference image area is calculated. If the cumulative sum exceeds the retained minimum value, the calculation is stopped at that point, so the amount of calculation of the optical flow can be greatly reduced compared to the conventional method. even large moving object relative velocity easily it is possible to ing to recognize by calculating the optical flow. At this time, the relative speed of a certain object is known from the distance change detected by the distance detecting means, and when determining a calculation point that gives the minimum value of the cumulative sum, it is easy to determine whether it is a landscape part. This makes it possible to easily set the calculation point that gives the minimum value of the cumulative sum, thereby contributing to the provision of an advanced and comfortable driving support system.
[0052]
Furthermore, if the cumulative sum does not exceed the minimum value held at the end of the computation, the cumulative sum of the current computation is updated as a new minimum value, so that it is possible to prevent the matching accuracy from being lowered.
[0053]
According to the second aspect of the present invention, since the landscape portion moves in the opposite direction to the own vehicle at the same relative speed as the own vehicle speed, a minimum cumulative sum is given to such a landscape portion. By setting the calculation points, it is possible to easily obtain the minimum value of the cumulative sum of luminance differences .
[0054]
According to the invention described in
[0055]
According to the invention described in
[0056]
According to the invention described in claim 5, since the search is started from the direction of the optical flow in the previous frame, the calculation is stopped when the cumulative sum of the luminance differences in the calculation of the optical flow exceeds the minimum value. This makes it possible to greatly contribute to the reduction of the amount of calculation when calculating the optical flow of a moving object having a high relative speed with the host vehicle.
[0058]
According to the sixth aspect of the present invention, since the scan laser radar can detect the distance with a certain horizontal visual field, the distance is detected within the same range as the imaging range by the imaging means, and the cumulative sum is obtained. It is possible to more easily set the calculation point that gives the minimum value of.
[Brief description of the drawings]
FIG. 1 is a block diagram of a first embodiment of the present invention.
FIG. 2 is an operation explanatory diagram of the first embodiment of the present invention.
FIG. 3 is an operation explanatory diagram of the first embodiment of the present invention.
FIG. 4 is an operation explanatory diagram of the first embodiment of the present invention.
FIG. 5 is an operation explanatory diagram of the first embodiment of the present invention.
FIG. 6 is a block diagram of a second embodiment of the present invention.
FIG. 7 is an operation explanatory diagram of a second embodiment of the present invention.
FIG. 8 is an operation explanatory diagram of a second embodiment of the present invention.
FIG. 9 is an operation explanatory diagram of the second embodiment of the present invention.
FIG. 10 is an operation explanatory diagram of a conventional example.
FIG. 11 is an operation explanatory diagram of a conventional example.
FIG. 12 is an operation explanatory diagram of a conventional example.
[Explanation of symbols]
1 CCD camera (imaging means)
2 CPU
3
Claims (6)
前記フレーム画像について、走行中の自車から撮像方向を示す１点に対応する無限遠点から放射状の探索ライン上にそれぞれ複数の計算点を定め、
現在より所定時間前の前フレーム画像中のある計算点に前記参照画像領域を設定すると共に、前記前フレーム画像から前記所定時間後の現在フレーム画像中に、前記探索ラインに沿って移動した位置に前記参照画像領域を設定し、
前記前フレーム画像の前記参照画像領域、及び、前記現在フレーム画像の前記参照画像領域について、これら参照画像領域内における各画素毎の輝度差の累積和を演算してこの累積和の最小値を求めて保持しておき、
ある時刻における前記フレーム画像中の前記計算点に設定される前記参照画像領域と、その所定時間後の次フレーム画像中の前記計算点に設定される前記参照画像領域との前記累積和を演算してマッチングを判断する際に、その演算途中で前記最小値を超えるときには超えた時点で演算を中止し、演算終了時に前記最小値を下回るときには前記最小値を更新するものであって、
前記撮像手段と同じ方向を観測する距離検出手段を設け、前記距離検出手段により、前記累積和の最小値を与える前記計算点を定めるための基準となる反射点を特定することを特徴とする移動物体の認識方法。Luminance for each pixel in the reference image area that is set to a predetermined size in two frame images before and after a predetermined time phase by imaging the rear side of the vehicle by imaging means mounted on the host vehicle while traveling A search is made to determine whether the cumulative sum of differences is minimized, and if it is minimized, it is determined that the two reference image areas match to represent the same object, and the movement of both reference image areas is derived as an optical flow. In the moving object recognition method for recognizing a moving object behind the vehicle from the derived direction and size of the optical flow,
For the frame image, a plurality of calculation points are determined on the radial search line from the infinity point corresponding to one point indicating the imaging direction from the traveling vehicle,
The reference image area is set at a certain calculation point in the previous frame image a predetermined time before the current time, and is moved to the position moved along the search line in the current frame image after the predetermined time from the previous frame image. Set the reference image area,
For the reference image area of the previous frame image and the reference image area of the current frame image, a cumulative sum of luminance differences for each pixel in the reference image area is calculated to obtain a minimum value of the cumulative sum. Hold
The cumulative sum of the reference image area set at the calculation point in the frame image at a certain time and the reference image area set at the calculation point in the next frame image after a predetermined time is calculated. When determining the matching, the calculation is stopped when the minimum value is exceeded during the calculation, and the minimum value is updated when the calculation is completed ,
A distance detecting means for observing the same direction as the imaging means, and the distance detecting means specifies a reflection point serving as a reference for determining the calculation point that gives the minimum value of the cumulative sum; Object recognition method.
ことを特徴とする請求項１に記載の移動物体の認識方法。 When the reference image area is first set in the previous frame image, the reference image area is set to a landscape portion that moves at a relative speed that is the same as the vehicle speed in the previous frame image, and the predetermined frame is determined from the previous frame image. The reference image area is set at a position where the predetermined search line is moved in the direction toward the infinity point by an amount corresponding to the vehicle speed in the current frame image after time. The method for recognizing a moving object according to claim 1.
ことを特徴とする請求項１に記載の移動物体の認識方法。 When the reference image region is first set in the previous frame image, the reference image region is set to a moving part that moves at a relative speed with respect to the vehicle speed in the previous frame image, and the predetermined time from the previous frame image is set. In the subsequent current frame image, the reference image area is set at a position moved along the predetermined search line by an amount corresponding to the relative speed with respect to the own vehicle speed, and the relative speed with respect to the own vehicle is higher than the own vehicle speed. Determining whether the position of the reference image region to be set in the current frame image is in a direction away from the infinity point or in the opposite direction along the search line, depending on whether it is large or not. The method for recognizing a moving object according to claim 1 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290759A JP3969984B2 (en) | 2001-09-25 | 2001-09-25 | Recognition method for moving objects |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290759A JP3969984B2 (en) | 2001-09-25 | 2001-09-25 | Recognition method for moving objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003099784A JP2003099784A (en) | 2003-04-04 |
| JP3969984B2 true JP3969984B2 (en) | 2007-09-05 |
Family
ID=19113016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001290759A Expired - Fee Related JP3969984B2 (en) | 2001-09-25 | 2001-09-25 | Recognition method for moving objects |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3969984B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007233440A (en) * | 2006-02-27 | 2007-09-13 | Omron Corp | On-vehicle image processor |
| DE102009055776A1 (en) * | 2009-11-25 | 2011-05-26 | Conti Temic Microelectronic Gmbh | Method for estimating the roll angle in a moving vehicle |
| JP2012038031A (en) * | 2010-08-05 | 2012-02-23 | Kyushu Institute Of Technology | Detection method of object jumping out in front of mobile and device therefor |
| JP6602286B2 (en) * | 2016-12-07 | 2019-11-06 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| WO2018138584A1 (en) | 2017-01-26 | 2018-08-02 | Mobileye Vision Technologies Ltd. | Vehicle navigation based on aligned image and lidar information |
| CN109952857B (en) * | 2019-04-22 | 2024-04-05 | 山东交通学院 | Orchard mower capable of automatically completing mowing operation and method |
| CN113075716A (en) * | 2021-03-19 | 2021-07-06 | 地平线(上海)人工智能技术有限公司 | Image-based vehicle positioning method and device, storage medium and electronic equipment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3452268B2 (en) * | 1993-08-06 | 2003-09-29 | 矢崎総業株式会社 | Rear side monitoring method for vehicles |
| JP2962266B2 (en) * | 1996-05-31 | 1999-10-12 | 日本電気株式会社 | Image alignment method |
| JP2000251199A (en) * | 1999-03-01 | 2000-09-14 | Yazaki Corp | Rear side part monitoring device for vehicle |
-
2001
- 2001-09-25 JP JP2001290759A patent/JP3969984B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003099784A (en) | 2003-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6956469B2 (en) | Method and apparatus for pedestrian detection | |
| JP5407898B2 (en) | Object detection apparatus and program | |
| JP3861781B2 (en) | Forward vehicle tracking system and forward vehicle tracking method | |
| JP3367170B2 (en) | Obstacle detection device | |
| US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
| US20040057599A1 (en) | Image processing apparatus and method | |
| JP2002352225A (en) | Obstacle detector and its method | |
| JP2004530144A (en) | How to provide image information | |
| US7321669B2 (en) | Method and apparatus for refining target position and size estimates using image and depth data | |
| JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
| JP2003084064A (en) | Device and method for recognizing vehicle in front side | |
| WO2005086079A1 (en) | Method and apparatus for differentiating pedestrians, vehicles, and other objects | |
| JP3727400B2 (en) | Crossing detection device | |
| JP4102885B2 (en) | Parked vehicle detection method and parked vehicle detection system | |
| JP2009186260A (en) | Object detecting device and distance measuring method | |
| JP2003098424A (en) | Range finder based on image processing | |
| JP6547841B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
| JP2009098025A (en) | Object detector | |
| JP3969984B2 (en) | Recognition method for moving objects | |
| JP2007233440A (en) | On-vehicle image processor | |
| JP3319401B2 (en) | Roadway recognition device | |
| JP3740531B2 (en) | Parked vehicle detection method, detection system, and parked vehicle detection device | |
| JP2003172780A (en) | Recognition device and recognition method of preceding vehicle | |
| JP4106163B2 (en) | Obstacle detection apparatus and method | |
| JPH11259792A (en) | Method and device for recognizing vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070115 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070315 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |