JP3898157B2 - 赤外線画像認識装置 - Google Patents
赤外線画像認識装置 Download PDFInfo
- Publication number
- JP3898157B2 JP3898157B2 JP2003159914A JP2003159914A JP3898157B2 JP 3898157 B2 JP3898157 B2 JP 3898157B2 JP 2003159914 A JP2003159914 A JP 2003159914A JP 2003159914 A JP2003159914 A JP 2003159914A JP 3898157 B2 JP3898157 B2 JP 3898157B2
- Authority
- JP
- Japan
- Prior art keywords
- objects
- pedestrian
- image
- infrared image
- shielding object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Optical Distance (AREA)
Description
【発明の属する技術分野】
この発明は、自車両の走行に影響を与える対象物を認識する赤外線画像認識装置に関する。
【0002】
【従来の技術】
従来、赤外線カメラにより捉えられた車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する表示処理装置が提案されている。この装置は、赤外線画像を2値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる(例えば、特許文献1参照。)。
【0003】
また、ステレオ赤外線カメラにより捉えられた車両周辺の左画像から類似対象物を探索し、複数の類似対象物が存在するときは、それらを包含するクラスタリングブロックを設定すると共に、右画像内から対応するブロックをSAD(Sum of Absolute difference )を用いて抽出し、左画像内のクラスタリングブロックと、右画像から抽出したブロックとの相関性を示す相関値が、所定値以下であって高い相関性を示すときは、クラスタリングブロックに含まれる複数の対象物を単一対象物とみなして距離を算出するものもある(例えば、特許文献2参照。)。
【0004】
【特許文献1】
特開平11−328364号公報
【特許文献2】
特開2001−147117号公報
【0005】
【発明が解決しようとする課題】
しかし、特許文献1に記載の技術では、最初に歩行者の頭部の領域を決定することにより、この領域に基づいて赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができるものの、図8に示すように、例えば道路上の端部には自動販売機や看板、壁等があり、それらより道路側に電柱や標識がある道路環境においては、発熱体である自動販売機または太陽光により高温となった看板等が、温度が低く赤外線の放出量の少ない状態の電柱や標識の柱により遮蔽され、2つに分割されて検出された場合、歩行者が二人存在すると判定する可能性があるという問題があった。
【0006】
また、特許文献2に記載の技術では、例えば信号機のライト部分のような物体が複数あるような場合に、いずれの物体がどの信号機等の人工構造物に属するものかを判定することができるものの、本来なら1つであるべき物体が遮蔽物により2つ、あるいはそれ以上に分割されたものであるかどうかまでは判定することができなかった。
【0007】
本発明は、上記課題に鑑みてなされたもので、赤外線画像上の物体の見え方によらず、1つの物体は1つの物体として認識することで歩行者等の生体のみを高精度で検出することができる赤外線画像認識装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記課題を解決するために、請求項1の発明に係る赤外線画像認識装置は、車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行う赤外線画像認識装置であって、1つの対象物が遮蔽物により分離されて複数の対象物として検出されたと推測する遮蔽物分離推測手段(例えば実施の形態のステップS41からステップS48)を備え、該遮蔽物分離推定手段は、前記複数の対象物が、お互いに前記車両から等距離でかつ横方向に所定値より小さい間隔を有して存在していると共に、前記複数の対象物上部が形状の連続性を有する場合、該複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする。
【0009】
以上の構成を備えた赤外線画像認識装置は、遮蔽物分離推測手段が、検出された複数の対象物を、1つの対象物が遮蔽物により分離されて検出された物体と推測することで、1つの対象物とそれを遮蔽する遮蔽物の両方の存在を一度に認識することができる。
また、遮蔽物分離推測手段が、お互いに車両から等距離でかつ横方向に所定の間隔を有して存在していると共に、その上部が形状の連続性を有する複数の対象物を、遮蔽物により分離されて検出された1つの対象物と判断することで、例えば、2人並んだ歩行者と、電柱のような人工構造物により遮蔽されて2つに見える発熱体または蓄熱体とを区別して認識することができる。
【0010】
請求項2の発明に係る赤外線画像認識装置は、請求項1に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記所定値として、前記複数の対象物の実際の幅を映像上の幅に変換した値を適用することを特徴とする。
請求項3の発明に係る赤外線画像認識装置は、請求項1又は2に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の上部の高さが等しいときに、前記複数の対象物が連続性を有すると判断することを特徴とする。
請求項4の発明に係る赤外線画像認識装置は、請求項1又は2に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の上部の直線の連続性から、前記複数の対象物が連続性を有すると判断することを特徴とする。
【0011】
請求項5の発明に係る赤外線画像認識装置は、請求項1〜4のいずれか一項に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の歩行者の頭部と推定される部分の輝度平均値が等しいと判定されたときに、前記複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする。
請求項6の発明に係る赤外線画像認識装置は、請求項1〜5のいずれか一項に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、前記複数の対象物の歩行者の頭部と推定される部分の輝度分散値がいずれも所定値よりも小さいときに、前記複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする。
請求項7の発明に係る赤外線画像認識装置は、請求項1〜6のいずれか一項に記載の赤外線画像認識装置において、前記遮蔽物分離推定手段が、遮蔽物にて分離されて検出されたと判断された複数の対象物を人工構造物と判断する人工構造物判断手段を備えたことを特徴とする。
請求項8の発明に係る赤外線画像認識装置は、請求項7に記載の赤外線画像認識装置において、前記対象物から歩行者の可能性のある対象物を認識する歩行者認識手段と、該歩行者認識手段にて認識された歩行者を警報出力する警報手段とを備え、該警報手段は、前記歩行者認識手段にて歩行者の可能性があると判断された対象物のうち、前記人工構造物判断手段にて人工構造物と判断された対象物を警報対象から除外することを特徴とする。
以上の構成を備えた赤外線画像認識装置は、遮蔽物分離推測手段が、お互いに車両から等距離でかつ横方向に所定の間隔を有して存在していると共に、その上部が形状の連続性を有する複数の対象物を、遮蔽物により分離されて検出された1つの対象物と判断することで、例えば、2人並んだ歩行者と、電柱のような人工構造物により遮蔽されて2つに見える発熱体または蓄熱体とを区別して認識することができる。
【0012】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の一実施の形態の赤外線画像認識装置の構成を示すブロック図である。
図1において、符号1は、本実施の形態の赤外線画像認識装置を制御するCPU(中央演算装置)を備えた画像処理ユニットであって、遠赤外線を検出可能な2つの赤外線カメラ2R、2Lと当該車両のヨーレートを検出するヨーレートセンサ3、更に、当該車両の走行速度(車速)を検出する車速センサ4とブレーキの操作を検出するためのブレーキセンサ5が接続される。これにより、画像処理ユニット1は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【0013】
また、画像処理ユニット1には、音声で警報を発するためのスピーカ6と、赤外線カメラ2R、2Lにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Displayや自車両のコンソールに設置されるNAVIDisplay、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(Head Up Display )7a等を含む画像表示装置7が接続されている。
【0014】
また、画像処理ユニット1は、入力アナログ信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(中央演算装置)、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)、スピーカ6の駆動信号、HUD7a等の表示信号などを出力する出力回路を備えており、赤外線カメラ2R、2L及びヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
【0015】
また、図2に示すように、赤外線カメラ2R、2Lは、自車両10の前部に、自車両10の車幅方向中心部に対してほぼ対称な位置に配置されており、2つの赤外線カメラ2R、2Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ2R、2Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
また、HUD7aは、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0016】
次に、本実施の形態の動作について図面を参照して説明する。
(対象物検出・警報動作)
図3は、本実施の形態の赤外線画像認識装置の画像処理ユニット1における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット1は、赤外線カメラ2R、2Lの出力信号である赤外線画像を取得して(ステップS1)、A/D変換し(ステップS2)、グレースケール画像を画像メモリに格納する(ステップS3)。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
【0017】
ステップS3においてグレースケール画像が得られたら、次に、赤外線カメラ2Rにより得られた右画像を基準画像とし、その画像信号の2値化処理、すなわち、輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う(ステップS4)。
図4(a)は、赤外線カメラ2Rにより得られたグレースケール画像を示し、これに2値化処理を行うことにより、図4(b)に示すような画像を得る。なお、図4(b)において、例えばP1からP4の枠で囲った物体を、表示画面上に白色として表示される対象物(以下「高輝度領域」という)とする。
赤外線画像から2値化された画像データを取得したら、2値化した画像データをランレングスデータに変換する処理を行う(ステップS5)。ランレングスデータにより表されるラインは、2値化により白となった領域を画素レベルで示したもので、いずれもy方向には1画素の幅を有しており、またx方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【0018】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(ステップS6)ことにより、対象物を抽出する処理を行う(ステップS7)。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを1つの対象物とみなすことにより、例えば図4(b)に示す高輝度領域P1からP4が、それぞれ対象物(2値化対象物)として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心G、面積S及び外接四角形の縦横比ASPECTを算出する(ステップS8)。
【0019】
ここで、面積Sは、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)(i=0,1,2,・・・N−1)とすると、ランレングスデータの長さ(run[i]−1)を同一対象物(N個のランレングスデータ)について積算することにより算出する。また、対象物Aの重心Gの座標(xc、yc)は、各ランレングスデータの長さ(run[i]−1)と各ランレングスデータの座標x[i]、またはy[i]とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Sで割ることにより算出する。更に、縦横比ASPECTは、対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。
なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する(1を減算する)必要がある(=run[i]−1)。また、重心Gの位置は、外接四角形の重心位置で代用してもよい。
【0020】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う(ステップS9)。時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出したら、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。そして、対象物A、Bと対象物C、Dとが同一であると判定されたら、対象物C、Dをそれぞれ対象物A、Bというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【0021】
なお、以上説明したステップS4〜S9の処理は、2値化した基準画像(本実施の形態では、右画像)について実行する。
次に、車速センサ4により検出される車速VCAR及びヨーレートセンサ3より検出されるヨーレートYRを読み込み、ヨーレートYRを時間積分することにより、自車両10の回頭角θrを算出する(ステップS10)。
【0022】
一方、ステップS9とステップS10の処理に平行して、ステップS11〜S13では、対象物と自車両10との距離zを算出する処理を行う。この演算はステップS9、及びステップS10より長い時間を要するため、ステップS9、S10より長い周期(例えばステップS1〜S10の実行周期の3倍程度の周期)で実行される。
まず、基準画像(右画像)の2値化画像によって追跡される対象物の中の1つを選択することにより、右画像から探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(ステップS11)。
【0023】
次に、左画像中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(ステップS12)。具体的には、探索画像R1の各頂点座標に応じて、左画像中に探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を算出し、この総和値C(a,b)が最小となる領域を対応画像として抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2aを探索領域として設定する。
【0024】
ステップS12の処理により、基準画像(右画像)中に探索画像R1と、左画像中にこの対象物に対応する対応画像R4とが抽出されるので、次に、探索画像R1の重心位置と対応画像R4の重心位置と視差Δd(画素数)を求め、これから自車両10と対象物との距離zを算出する(ステップS13)。
次に、ステップS10における回頭角θrの算出と、ステップS13における対象物との距離算出が完了したら、画像内の座標(x,y)及び距離zを実空間座標(X,Y,Z)に変換する(ステップS14)。
ここで、実空間座標(X,Y,Z)は、図2に示すように、赤外線カメラ2R、2Lの取り付け位置の中点の位置(自車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をx、垂直方向をyと定めている。
【0025】
また、実空間座標が求められたら、自車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う(ステップS15)。回頭角補正は、時刻kから(k+1)までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、回頭角θrと車両の横移動のため、カメラによって得られる画像上では、画像の範囲がΔxだけx方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。
【0026】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個(例えばN=10程度)の実空間位置データ、すなわち時系列データから、対象物と自車両10との相対移動ベクトルに対応する近似直線LMVを求める。
次いで、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の位置座標P(Nー1)=(X(N−1),Y(N−1),Z(N−1))を近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))及びPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を求める。
【0027】
これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる(ステップS16)。
このようにモニタ期間ΔT内の複数(N個)のデータから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【0028】
また、ステップS16において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う(ステップS17)。なお、警報判定処理については、詳細を後述する。
ステップS17において、自車両10と検出した対象物との衝突の可能性がないと判定された場合(ステップS17のNO)、ステップS1へ戻り、上述の処理を繰り返す。
また、ステップS17において、自車両10と検出した対象物との衝突の可能性があると判定された場合(ステップS17のYES)、ステップS18の警報出力判定処理へ進む。
【0029】
ステップS18では、ブレーキセンサ5の出力BRから自車両10の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う(ステップS18)。
もし、自車両10の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gsが所定閾値GTHより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し(ステップS18のNO)、ステップS1へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【0030】
また、加速度Gsが所定閾値GTH以下であるとき、または自車両10の運転者がブレーキ操作を行っていなければ、直ちにステップS19の処理へ進み(ステップS18のYES)、対象物と接触する可能性が高いので、スピーカ6を介して音声による警報を発する(ステップS19)とともに、画像表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像を出力し、接近してくる対象物を自車両10の運転者に対する強調映像として表示する(ステップS20)。
【0031】
なお、所定閾値GTHは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、対象物と自車両10との距離Zv(0)以下の走行距離で自車両10が停止する条件に対応する値である。
【0032】
(警報判定処理)
以上が、本実施の形態の赤外線画像認識装置の画像処理ユニット1における対象物検出・警報動作であるが、次に、図5に示すフローチャートを参照して、図3に示したフローチャートのステップS17における警報判定処理について更に詳しく説明する。
図5は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両10と検出した対象物との衝突の可能性を判定する処理である。以下、図6に示すように、自車両10の進行方向に対してほぼ90°の方向から、速度Vpで進行してくる対象物20がいる場合を例に取って説明する。
【0033】
図5において、まず、画像処理ユニット1は衝突判定処理を行う(ステップS31)。衝突判定処理は、図6において、対象物20が時間ΔTの間に距離Zv(N−1)から距離Zv(0)に接近した場合に、自車両10とのZ方向の相対速度Vsを求め、両者が高さH以内で相対速度Vsを維持して移動すると仮定して、余裕時間T以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Tは、衝突の可能性を予測衝突時刻より時間Tだけ前に判定することを意図したものである。従って、余裕時間Tは例えば2〜5秒程度に設定される。またHは、高さ方向の範囲を規定する所定高さであり、例えば自車両10の車高の2倍程度に設定される。
【0034】
次に、ステップS31において、余裕時間T以内に自車両10と対象物とが衝突する可能性がある場合(ステップS31のYES)、更に判定の信頼性を上げるために、画像処理ユニット1は対象物が接近判定領域内に存在するか否かの判定処理を行う(ステップS32)。接近判定領域内か否かの判定処理は、図7に示すように、赤外線カメラ2R、2Lで監視可能な領域を太い実線で示す外側の三角形の領域AR0とすると、領域AR0内の、Z1=Vs×Tより自車両10に近い領域であって、対象物が自車両10の車幅αの両側に余裕β(例えば50〜100cm程度とする)を加えた範囲に対応する領域AR1、すなわち対象物がそのまま存在し続ければ自車両10との衝突の可能性がきわめて高い接近判定領域AR1内に存在するか否かを判定する処理である。なお、接近判定領域AR1も所定高さHを有する。
【0035】
更に、ステップS32において、対象物が接近判定領域内に存在しない場合(ステップS32のNO)、画像処理ユニット1は対象物が接近判定領域内へ進入して自車両10と衝突する可能性があるか否かを判定する進入衝突判定処理を行う(ステップS33)。進入衝突判定処理は、上述の接近判定領域AR1よりX座標の絶対値が大きい(接近判定領域の横方向外側の)領域AR2、AR3を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域AR1に進入すると共に自車両10と衝突するか否かを判定する処理である。なお、進入判定領域AR2、AR3も所定高さHを有する。
【0036】
一方、ステップS32において、対象物が接近判定領域内に存在している場合(ステップS32のYES)、画像処理ユニット1は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う(ステップS34)。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。
【0037】
歩行者判定処理について、例えば具体的に一例を挙げて説明すると、まず歩行者の頭部が存在するか否かを判定する頭部判定を行うために、グレースケール画像で抽出された対象物領域の中にプロジェクションエリアを設定し、縦方向の輝度プロジョクション(画素毎の輝度を縦方向に積算した積算輝度の横方向の分布)を算出すると共に、映像左上原点を基準にして最大ピークを示す横方向座標を検出する。
【0038】
次に、検出した横方向位置を基準に、歩行者の頭部位置に相当すると推定される領域に基準領域マスクを設定すると共に、その左右位置に肩上部空間に相当すると推定される2つの対象領域マスクを設定する。
そして、基準領域マスクの平均輝度、及び2つの対象領域マスクの平均輝度を算出すると共に、求められた各領域の平均輝度から、歩行者の頭部が存在するか否かを判定する。具体的には、頭部の左右(背景)の輝度階調に対して高輝度である歩行者頭部の輝度階調が認められる場合、頭部が存在すると判定する。
【0039】
もし、歩行者の頭部が存在すると判定された場合、次に、歩行者では捉えやすい肩から腕にかけての部分の存在有無を判定するために、「歩行者の左右の肩から腕にかけての部分は頭部位置と同距離に存在すると共に、歩行者の肩から腕にかけての輝度階調は、歩行者の肩上方空間に位置する頭部の左右(背景)の輝度階調とは異なる」という画像上の各領域(各部)の輝度の特徴を用いて、歩行者の肩から腕にかけての部分が存在するか否かを判定する。
【0040】
具体的には、頭部判定で使用した頭部左右の対象領域マスクの下方に、肩から腕にかけての部分に相当する別の対象領域マスクを設定する。そして、歩行者の肩から腕にかけての部分は形状や距離が変化しやすいので、頭部左右の対象領域マスクと、肩から腕にかけての部分に相当する別の対象領域マスクとの相関度を比較し、SAD(Sum of Absolute difference)の平均誤差を用いて算出した相関度エラー値が所定値以上である場合、肩から腕にかけての部分の存在の可能性があると判定する。
【0041】
また、歩行者の肩から腕にかけての部分が存在すると判定された場合、歩行者全体の距離と肩から腕にかけての部分の距離とは等しいはずであるから、歩行者全体の距離と肩から腕にかけての部分に相当する別の対象領域マスクの距離とが等しい場合、肩から腕にかけての部分が存在する対象物が歩行者であると判定することができる。
【0042】
また、ステップS34において、対象物は歩行者の可能性があると判定された場合(ステップS34のYES)、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う(ステップS35)。人工構造物判定処理は、ステップS34において歩行者の可能性があると判定された対象物画像に、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。なお、人工構造物判定処理については、詳細を後述する。
【0043】
従って、上述のステップS33において、対象物が接近判定領域内へ進入して自車両10と衝突する可能性がある場合(ステップS33のYES)、及びステップS35において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合(ステップS35のNO)、画像処理ユニット1は、自車両10と検出した対象物との衝突の可能性がある(警報の対象である)と判定し(ステップS36)、図3に示すステップS17のYESとしてステップS18へ進み、警報出力判定処理(ステップS18)を行う。
【0044】
一方、上述のステップS31において、余裕時間T以内に自車両10と対象物とが衝突する可能性がない場合(ステップS31のNO)、あるいはステップS33において、対象物が接近判定領域内へ進入して自車両10と衝突する可能性がない場合(ステップS33のNO)、あるいはステップS34において、対象物は歩行者の可能性がないと判定された場合(ステップS34のNO)、更にはステップS35において、歩行者の可能性があると判定された対象物が人工構造物であった場合(ステップS35のYES)のいずれかであった場合は、画像処理ユニット1は、自車両10と検出した対象物との衝突の可能性がない(警報の対象ではない)と判定し(ステップS37)、図3に示すステップS17のNOとしてステップS1へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【0045】
(人工構造物判定処理)
次に、図9に示すフローチャートを参照して、図5に示したフローチャートのステップS35における人工構造物判定処理について更に詳しく説明する。図9は、本実施の形態の人工構造物判定処理動作を示すフローチャートである。ここでは、図5のステップS34において歩行者の可能性があると判定された対象物が、遮蔽物により2つに分割された人工構造物であるか否かを再度判定する。
【0046】
そこで、図9において、まず画像処理ユニット1は、図5のステップS34で実行された歩行者判定処理で歩行者の可能性があると判定された2値化対象物(以下、2値化対象物OBJ[A]とする。)と、比較対象とする比較対象2値化対象物(以下、2値化対象物OBJ[B]とする。)との自車両10からの距離が同一であるか否かを判定する(ステップS41)。具体的には、図10に示す映像面D上の2値化対象物OBJ[A]の視差(距離)を「OBJ_disparity」、比較対象とする2値化対象物OBJ[B]の視差(距離)を「disparity[i]」として、下記(1)式により、その差の絶対値がしきい値TH1より小さい場合、両者が自車両10から同距離の位置に存在すると判定する。
【0047】
|OBJ_disparity−disparity[i]|<TH1 ・・・(1)
【0048】
もし、ステップS41において、2値化対象物OBJ[A]と2値化対象物OBJ[B]との自車両10からの距離が同一である場合(ステップS41のYES)、2値化対象物OBJ[A]と2値化対象物OBJ[B]とが同一の高さに存在するか否かを判定する(ステップS42)。
【0049】
具体的には、図10に示すように、映像面Dの上端からの2値化対象物OBJ[A]の映像上端位置を「OBJ_ys」、映像面Dの上端からの2値化対象物OBJ[B]の映像上端位置を「ys[i]」として、下記(2)式により、その差の絶対値がしきい値TH2より小さい場合、2値化対象物OBJ[A]と2値化対象物OBJ[B]とが同一の高さに存在すると判定する。すなわち、自動販売機や看板等が電柱により遮蔽された場合は、2つの2値化対象物の上端の形状の連続性に特徴があり、両方の物体は同一の高さがあることから、2つの2値化対象物について、高さを判定することにより上端の形状の連続性が認められた場合、この物体を人工構造物として判定することができる。尚、本実施の形態の説明では、人工構造物であるか否かの判定において、高さの同一性を用いたが、上端部の直線の連続性を判断材料として用いても良い。
【0050】
|OBJ_ys−ys[i]|<TH2 ・・・(2)
【0051】
もし、ステップS42において、2値化対象物OBJ[A]と2値化対象物OBJ[B]とが同一の高さに存在する場合(ステップS42のYES)、2値化対象物OBJ[A]と2値化対象物OBJ[B]との間の距離Δxが規定値より小さいかを判定する(ステップS43)。具体的には、映像面Dの左端からの2値化対象物OBJ[A]の映像上の左位置を「OBJ_xl」、右位置を「OBJ_xr」とし、映像面Dの左端からの2値化対象物OBJ[B]の映像上の左位置を「xl[i]」、右位置を「xr[i]」とする。そして、図11(a)に示すように、2値化対象物OBJ[A]が2値化対象物OBJ[B]より左側に存在する場合、下記(3)式により両者の間の距離Δxを求める。
【0052】
Δx=OBJ_xr−xl[i] ・・・(3)
【0053】
また、図11(b)に示すように、2値化対象物OBJ[A]が2値化対象物OBJ[B]より右側に存在する場合、下記(4)式により両者の間の距離Δxを求める。
【0054】
Δx=OBJ_xl−xr[i] ・・・(4)
【0055】
そして、下記(5)式により、2値化対象物OBJ[A]と2値化対象物OBJ[B]との間の距離Δxの絶対値がしきい値TH3より小さい場合、両者の距離が規定値より小さいと判定する。なお、しきい値TH3は、例えば電柱等の人工構造物の実際の幅を映像上の幅に変換した値を適用する。
【0056】
|Δx|<TH3 ・・・(5)
【0057】
もし、ステップS43において、2値化対象物OBJ[A]と2値化対象物OBJ[B]との間の距離Δxが規定値より小さい場合(ステップS43のYES)、図12(a)に示すように、2値化対象物OBJ[A]と2値化対象物OBJ[B]とにおいて、歩行者の頭部と推定される部分に頭部マスク(MASK_A、MASK_B)をそれぞれ設定する(ステップS44)。
【0058】
ここで、頭部マスクMASK_A及び頭部マスクMASK_Bの大きさは同一とし、図12(b)に示すように、その高さは、歩行者の頭部に相当する実際の大きさを、2値化対象物と自車両10との距離に基づいて映像上に変換したDy[pixel]とする。一方、その幅は、図12(b)に示すように、2値化対象物OBJ[A]と2値化対象物OBJ[B]の映像幅のうち、小さい方の映像幅dxP[pixel]から、映像上での2値化対象物の左右の誤差を考慮して2x[pixel]を引いた値とする。
【0059】
次に、設定した頭部マスクMASK_Aの輝度平均と頭部マスクMASK_Bの輝度平均とが等しいか否かを判定する(ステップS45)。具体的には、図12に示す頭部マスクMASK_A内の輝度平均を「OBJ_ave」、頭部マスクMASK_B内の輝度平均を「ave[i]」として、下記(6)式により、その差の絶対値がしきい値TH4より小さい場合、両者の輝度平均が等しいと判定する。これは、2つの対象物の同一性を確認するものである。
【0060】
|OBJ_ave−ave[i]|<TH4 ・・・(6)
【0061】
もし、ステップS45において、頭部マスクMASK_Aの輝度平均と頭部マスクMASK_Bの輝度平均とが等しい場合(ステップS45のYES)、頭部マスクMASK_A及び頭部マスクMASK_Bにおいて、輝度分散が所定値より小さいか否かを判定する(ステップS46)。具体的には、頭部マスクMASK_Aの輝度分散を「OBJ_var」、頭部マスクMASK_Bの輝度分散を「var[i]」として、下記(7)式及び(8)式により、頭部マスクMASK_Aの輝度分散「OBJ_var」がしきい値TH5より小さく、かつ頭部マスクMASK_Bの輝度分散「var[i]」がしきい値TH5より小さい場合、頭部マスクMASK_A及び頭部マスクMASK_Bの輝度分散が所定値より小さいと判定する。これは、マスク内に人間の頭部及びその背景が含まれる場合とマスク内に看板等の物体のみが含まれる場合とではマスク内の輝度分散が異なることに基づいて、人工構造物の存在を確認をするものである。
【0062】
OBJ_var<TH5 ・・・(7)
【0063】
var[i]<TH5 ・・・(8)
【0064】
もし、ステップS46において、頭部マスクMASK_A及び頭部マスクMASK_Bの輝度分散が所定値より小さい場合(ステップS46のYES)、2値化対象物OBJ[A]と2値化対象物OBJ[B]は、図10に示すように、遮蔽物により分割されて検出された1つの対象物OBJ[X]、すなわち人工構造物であると判定して(ステップS47)人工構造物判定処理を終了し、図5に示すステップS35のYESとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。以上の如く、ステップS44からステップS46の処理は、同一の人工構造物が持つパターンを確認する処理である。
【0065】
一方、ステップS41において、2値化対象物OBJ[A]と2値化対象物OBJ[B]との自車両10からの距離が同一ではない場合(ステップS41のNO)、あるいはステップS42において、2値化対象物OBJ[A]と2値化対象物OBJ[B]とが同一の高さに存在しない場合(ステップS42のNO)、あるいはステップS43において、2値化対象物OBJ[A]と2値化対象物OBJ[B]との間の距離Δxが規定値以上の場合(ステップS43のNO)のいずれかの場合、2値化対象物OBJ[A]と2値化対象物OBJ[B]は、遮蔽物により分割されて検出された人工構造物ではないと判定して(ステップS48)人工構造物判定処理を終了し、図5に示すステップS35のNOとして図5のステップS36へ進み、対象物は警報対象であると判定する。
【0066】
同様に、ステップS45において、頭部マスクMASK_Aの輝度平均と頭部マスクMASK_Bの輝度平均とが等しくない場合(ステップS45のNO)、あるいはステップS46において、頭部マスクMASK_A、あるいは頭部マスクMASK_Bのいずれかの輝度分散が所定値以上の場合(ステップS46のNO)のいずれかの場合、2値化対象物OBJ[A]と2値化対象物OBJ[B]は、遮蔽物により分割されて検出された人工構造物ではないと判定して(ステップS48)人工構造物判定処理を終了し、図5に示すステップS35のNOとして図5のステップS36へ進み、対象物は警報対象であると判定する。
【0067】
なお、本実施の形態では、画像処理ユニット1が、遮蔽物分離推測手段を含んでいる。より具体的には、図9のステップS41からステップS48が遮蔽物分離推測手段に相当する。
【0068】
以上説明したように、本実施の形態の赤外線画像認識装置は、遮蔽物分離推測手段が、歩行者判定処理で歩行者の可能性があると判定された2値化対象物OBJ[A]と、比較対象とする2値化対象物OBJ[B]との自車両10からの距離が同一であり、2値化対象物OBJ[A]と2値化対象物OBJ[B]とが同一の高さに存在し、2値化対象物OBJ[A]と2値化対象物OBJ[B]との間の距離が規定値より小さく、更に2値化対象物OBJ[A]と2値化対象物OBJ[B]とにおいて歩行者の頭部と推定される部分にそれぞれ設定された、頭部マスクMASK_Aの輝度平均と頭部マスクMASK_Bの輝度平均とが等しく、両者の輝度分散がいずれも所定値より小さい場合、2値化対象物OBJ[A]と2値化対象物OBJ[B]は、遮蔽物により分割されて検出された人工構造物であると判定する。
【0069】
従って、赤外線画像上の物体の見え方によらず、温度が低く赤外線の放出量が少ない遮蔽物(人工構造物)に遮蔽され、2つに分割されて検出された発熱体(人工構造物)を除外し、歩行者等の生体のみを高精度で検出することができる赤外線画像認識装置を実現することができるという効果が得られる。
【0070】
【発明の効果】
以上の如く、本発明の赤外線画像認識装置によれば、遮蔽物分離推測手段が、検出された2つの対象物を、1つの対象物が遮蔽物により分離されて検出された物体と推測することで、1つの対象物とそれを遮蔽する遮蔽物の両方の存在を一度に認識することができる。また、遮蔽物分離推測手段が、お互いに車両から等距離でかつ横方向に所定の間隔を有して存在していると共に、その上部が形状の連続性を有する複数の対象物を、遮蔽物により分離されて検出された1つの対象物と判断することで、例えば、2人並んだ歩行者と、電柱のような人工構造物により遮蔽されて2つに見える発熱体または蓄熱体とを区別して認識することができる。
【0071】
従って、赤外線画像上の物体の見え方によらず、1つの物体は1つの物体として認識することで歩行者等の生体のみを高精度で検出することができる赤外線画像認識装置を実現することができるという効果が得られる。
【図面の簡単な説明】
【図1】 本発明の一実施の形態の赤外線画像認識装置の構成を示すブロック図である。
【図2】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図3】 同実施の形態の赤外線画像認識装置の対象物検出・警報動作を示すフローチャートである。
【図4】 赤外線カメラにより得られるグレースケール画像とその2値化画像を示す図である。
【図5】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図6】 衝突が発生しやすい場合を示す図である。
【図7】 車両前方の領域区分を示す図である。
【図8】 同実施の形態の赤外線カメラで撮像された赤外線画像の一例を示す図である。
【図9】 同実施の形態の人工構造物判定処理動作を示すフローチャートである。
【図10】 同実施の形態の人工構造物判定処理において判定される2値化対象物の高さ方向の位置関係について示す図である。
【図11】 同実施の形態の人工構造物判定処理において判定される2値化対象物の横方向の位置関係について示す図である。
【図12】 同実施の形態の人工構造物判定処理において設定される頭部マスクについて示す図である。
【符号の説明】
1 画像処理ユニット
2R、2L 赤外線カメラ
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 スピーカ
7 画像表示装置
10 自車両
S41〜S48 遮蔽物分離推測手段
Claims (8)
- 車両に搭載されると共に、赤外線を検知する撮像手段により撮像された画像に基づいて前記車両の周囲に存在する物体の認識を行う赤外線画像認識装置であって、
1つの対象物が遮蔽物により分離されて複数の対象物として検出されたと推測する遮蔽物分離推測手段を備え、該遮蔽物分離推測手段は、前記複数の対象物が、お互いに前記車両から等距離でかつ横方向に所定値より小さい間隔を有して存在していると共に、前記複数の対象物の上部が形状の連続性を有する場合、該複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする赤外線画像認識装置。 - 前記遮蔽物分離推定手段は、前記所定値として、前記複数の対象物の実際の幅を映像上の幅に変換した値を適用することを特徴とする請求項1に記載の赤外線画像認識装置。
- 前記遮蔽物分離推定手段は、前記複数の対象物の上部の高さが等しいときに、前記複数の対象物が連続性を有すると判断することを特徴とする請求項1又は2に記載の赤外線画像認識装置。
- 前記遮蔽物分離推定手段は、前記複数の対象物の上部の直線の連続性から、前記複数の対象物が連続性を有すると判断することを特徴とする請求項1又は2に記載の赤外線画像認識装置。
- 前記遮蔽物分離推定手段は、前記複数の対象物の歩行者の頭部と推定される部分の輝度平均値が等しいと判定されたときに、前記複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする請求項1〜4のいずれか一項に記載の赤外線画像認識装置。
- 前記遮蔽物分離推定手段は、前記複数の対象物の歩行者の頭部と推定される部分の輝度分散値がいずれも所定値よりも小さいときに、前記複数の対象物が遮蔽物により分離されて検出されたと推測することを特徴とする請求項1〜5のいずれか一項に記載の赤外線画像認識装置。
- 前記遮蔽物分離推定手段は、遮蔽物にて分離されて検出されたと判断された複数の対象物を人工構造物と判断する人工構造物判断手段を備えたことを特徴とする請求項1〜6のいずれか一項に記載の赤外線画像認識装置。
- 前記対象物から歩行者の可能性のある対象物を認識する歩行者認識手段と、該歩行者認識手段にて認識された歩行者を警報出力する警報手段とを備え、
該警報手段は、前記歩行者認識手段にて歩行者の可能性があると判断された対象物のうち、前記人工構造物判断手段にて人工構造物と判断された対象物を警報対象から除外することを特徴とする請求項7に記載の赤外線認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159914A JP3898157B2 (ja) | 2003-06-04 | 2003-06-04 | 赤外線画像認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159914A JP3898157B2 (ja) | 2003-06-04 | 2003-06-04 | 赤外線画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004362265A JP2004362265A (ja) | 2004-12-24 |
JP3898157B2 true JP3898157B2 (ja) | 2007-03-28 |
Family
ID=34052852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003159914A Expired - Fee Related JP3898157B2 (ja) | 2003-06-04 | 2003-06-04 | 赤外線画像認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3898157B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006268097A (ja) * | 2005-03-22 | 2006-10-05 | Nissan Motor Co Ltd | 車載物体検出装置、および物体検出方法 |
JP2006264416A (ja) * | 2005-03-22 | 2006-10-05 | Takata Corp | 対象物検知システム、保護システム、車両 |
JP4794253B2 (ja) * | 2005-09-22 | 2011-10-19 | 株式会社デンソーアイティーラボラトリ | 歩行者保護装置 |
JP5228926B2 (ja) * | 2009-01-12 | 2013-07-03 | 株式会社デンソー | 歩行者検出装置 |
JP5173991B2 (ja) * | 2009-11-18 | 2013-04-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5948984B2 (ja) * | 2012-03-09 | 2016-07-06 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2013186819A (ja) * | 2012-03-09 | 2013-09-19 | Omron Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0659038A (ja) * | 1992-08-07 | 1994-03-04 | Nissan Motor Co Ltd | 車両用レーザレーダ |
JP3367170B2 (ja) * | 1993-11-05 | 2003-01-14 | 株式会社豊田中央研究所 | 障害物検出装置 |
JP3674400B2 (ja) * | 1999-08-06 | 2005-07-20 | 日産自動車株式会社 | 周囲環境認識装置 |
JP2001351107A (ja) * | 2000-06-05 | 2001-12-21 | Mitsubishi Electric Corp | 交通監視装置および交通監視方法 |
JP3738719B2 (ja) * | 2001-09-26 | 2006-01-25 | 日産自動車株式会社 | 車両用障害物地図作成装置 |
JP3739693B2 (ja) * | 2001-11-09 | 2006-01-25 | 本田技研工業株式会社 | 画像認識装置 |
-
2003
- 2003-06-04 JP JP2003159914A patent/JP3898157B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004362265A (ja) | 2004-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3934119B2 (ja) | 車両周辺監視装置 | |
JP4104867B2 (ja) | ナイトビジョンシステム | |
JP3987057B2 (ja) | 車両周辺監視装置 | |
JP3764086B2 (ja) | 車両用情報提供装置 | |
JP4060159B2 (ja) | 車両周辺監視装置 | |
JP3987048B2 (ja) | 車両周辺監視装置 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
JP3987013B2 (ja) | 車両周辺監視装置 | |
US20060115115A1 (en) | Vehicle surroundings monitoring apparatus | |
JP2006155388A (ja) | 車両周辺監視装置 | |
JP4128562B2 (ja) | 車両周辺監視装置 | |
JP4425852B2 (ja) | 車両周辺監視装置 | |
JP3898157B2 (ja) | 赤外線画像認識装置 | |
JP3839329B2 (ja) | ナイトビジョンシステム | |
JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
JP3970876B2 (ja) | 車両周辺監視装置 | |
JP4943403B2 (ja) | 車両の周辺監視装置 | |
JP4298699B2 (ja) | 車両周辺監視装置 | |
JP4647648B2 (ja) | 車両周辺監視装置 | |
JP4372746B2 (ja) | 車両周辺監視装置 | |
JP4283266B2 (ja) | 車両周辺監視装置 | |
JP2004135034A (ja) | 車両周辺監視装置 | |
JP4358183B2 (ja) | 車両周辺監視装置 | |
JP4472623B2 (ja) | 車両周辺監視装置 | |
JP3939580B2 (ja) | 障害物警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061220 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |