JP4794764B2 - 車外監視装置 - Google Patents
車外監視装置 Download PDFInfo
- Publication number
- JP4794764B2 JP4794764B2 JP2001216957A JP2001216957A JP4794764B2 JP 4794764 B2 JP4794764 B2 JP 4794764B2 JP 2001216957 A JP2001216957 A JP 2001216957A JP 2001216957 A JP2001216957 A JP 2001216957A JP 4794764 B2 JP4794764 B2 JP 4794764B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- vehicle
- fail determination
- width
- monitoring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、強逆光等の光学的な影響によって、撮像された画像に異常が生じた場合に、フェールセーフを行う車外監視装置に関する。
【0002】
【従来の技術】
近年、CCD等の固体撮像素子を内蔵した車載カメラを用いて撮像された画像に基づいて、走行環境(例えば、白線等に基づく自車走行路や先行車等の立体物)を認識し、必要に応じて、ドライバーに注意を喚起したり、シフトダウン等の車両制御を行う車外監視装置が数多く提案され、実用化されている。
【0003】
このような車外監視装置を実用化するにあたっては、装置の安全動作を確保するために、フェールセーフ機能を設ける必要がある。この類の装置で検出すべきフェールの一つとして、太陽から車載カメラに強い光が射し込み(強逆光)、自車走行路や立体物の認識が正しく行われない状況が挙げられる。すなわち、強逆光状況が生じると、画像の一部にスミアやフレアが発生する。そして、このような場合、画像中のスミアやフレアを白線や立体物として誤認識してしまう虞がある。
【0004】
これに対処し、例えば特開平10ー141921号公報には、走行路検出用のカメラとは別に、当該カメラと同じ撮像領域を有し、スミアが発生しないように露光制御される低感度のカメラを設け、走行路検出用のカメラで撮像された画像と低感度のカメラで撮像された画像との差分演算を行うことで高輝度領域を検出し、高輝度領域内の高輝度点を走行路の検出候補から除外する技術が開示されている。
【0005】
【発明が解決しようとする課題】
しかしながら、上述の特開平10ー141921号公報に開示された技術のように、スミアの検出を行うためだけに低感度のカメラを新たに追加することは、必要以上に構成を複雑化させることとなる。また、車外監視はリアルタイムで行う必要があるのでフェール判定に要する演算量はできるだけ少ないことが好ましいが、上述の技術のように画像間の差分計算等を行うことは、走行環境の認識以外の演算量を大幅に増大させる結果となる。
【0006】
本発明は上記事情に鑑みてなされたもので、立体物として誤認識されたスミアやフレアを、簡単な構成で精度良く判定することのできる車外監視装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記課題を解決するため、第1の発明は、車外の同一対称を異なる視点で撮像する複数の撮像手段と、上記撮像手段で撮像された複数の画像から立体物を認識する立体物認識手段とを備えた車外監視装置において、上記立体物認識手段で認識された各立体物のフェール判定を行うフェール判定手段を有し、上記フェール判定手段は、自車から上記立体物までの距離が閾値よりも短く、且つ、上記立体物幅が閾値以下であるとき、上記立体物はスミア或いはフレアを立体物として誤認識したものであると判定して当該立体物をフェールと判定することを特徴とする。
【0008】
また、第2の発明による車外監視装置は、上記第1の発明において、上記フェール判定手段は、上記立体物幅が上記閾値以下であっても、上記立体物が所定の立体物幅の範囲内で所定時間以上連続的に検出された際には、当該立体物をフェールと判定しないことを特徴とする。
【0009】
また、第3の発明による車外監視装置は、上記第1または第2の発明において、上記フェール判定手段は、上記撮像手段の露光時間が閾値以上であるとき、上記立体物をフェールと判定しないことを特徴とする。
【0010】
また、第4の発明による車外監視装置は、上記第1乃至第3の何れかの発明において、上記フェール判定手段は、上記画像上における上記立体物の平均輝度が閾値よりも小さいとき、上記立体物をフェールと判定しないことを特徴とする。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図1は車外監視装置のブロック図、図2はフェール判定ルーチンのフローチャート、図3はスミア並びにフレアを立体物として認識したときの立体物までの距離に関するヒストグラム、図4はスミア並びにフレアを立体物として認識したときの立体物幅に関するヒストグラムである。
【0012】
図1において、符号1,2は、CCD等のイメージセンサを内蔵した撮像手段としてのカメラを示す。これら一対のカメラ1,2は、自動車等の車両の車幅方向において所定の間隔で取り付けられており、車両前方の風景を撮像する。メインカメラ1は、ステレオ処理を行う際に必要な基準画像(右画像)を撮像し、サブカメラ2は、この処理における比較画像(左画像)を撮像する。互いの同期している状態において、カメラ1,2から出力された各アナログ信号は、A/Dコンバータ3,4により、所定の輝度階調(例えば、256階調のグレースケール)のデジタル画像に変換される。デジタル化された画像は、画像補正部5において輝度の補正や幾何学的な変換等が行われる。通常、一対のカメラ1,2の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。このずれを補正するために、画像補正部5では、アフィン変換等を用いて、画像の回転や並行移動等の幾何学的な変換が行われる。このようにして補正された基準画像および比較画像は、元画像メモリ8に格納される。
【0013】
一方、ステレオ処理部6は、画像補正部5により補正された基準画像および比較画像から、画像中の同一対象物の三次元位置(自車両から対象物までの距離を含む)を算出する。この距離は、左右画像における同一対象物の位置に関する相対的なずれから、三角測量の原理に基づき算出することができる。このようにして算出された画像の距離情報は、距離データメモリ7に格納される。
【0014】
マイコン9は、元画像メモリ8および距離データメモリ7に格納された各情報に基づき、道路認識部10において車両前方の道路状態等の認識を行ったり、立体物認識手段としての立体物認識部11において車両前方の立体物(走行車等)の認識を行う。そして、処理部13は、これらの認識部10,11からの情報から警報が必要と判定された場合、モニタやスピーカー等の警報装置19によりドライバーに対して注意を促したり、或いは、必要に応じて、各種制御部14〜18を制御する。例えば、AT(自動変速機)制御部に対して、シフトダウンを実行する旨を指示する。また、エンジン制御部18に対してエンジン出力を低下する旨指示してもよい。その他にも、アンチロックブレーキシステム(ABS)制御部15、トラクションコントロールシステム(TCS)制御部16、或いは、各車輪のトルク配分や回転数を制御する車両挙動制御部17に対して、適切な車両制御を指示することも可能である。
【0015】
さらに、フェール判定手段としてのフェール判定部12は、立体物認識部11で認識された各立体物に対し、後述するルーチンに従ってフェール判定を行う。そして、フェール判定部12は、処理部13に対し、フェールと判定された立体物(すなわち、後述するフェール判定ルーチンによりフェール判定フラグNGが”1”にセットされた立体物)に対する警報制御や車両制御を行わない旨を指示する。換言すれば、フェール判定部12が立体物のフェール判定フラグNGを”1”にセットすると、処理部13は、フェールと判定された立体物が実空間上に存在しないものとして、警報制御や車両制御を行う。
【0016】
次に、フェール判定部12による立体物のフェール判定について、図2に示すフェール判定ルーチンのフローチャートに従って説明する。このルーチンは立体物認識部11で認識された各立体物に対するフェール判定を順次行うもので、フェール判定部12は、先ず、ステップS101において、立体物認識部11で認識された各立体物の情報を読み込むとともに、読み込まれた各立体物に対応する元画像の情報を基画像メモリ8から読み込む。
【0017】
次いで、フェール判定部12は、ステップS102において、元画像撮像時におけるカメラ1,2の露光時間が3000μsecよりも短いか否かを調べる。ここで、露光時間が3000μsecよりも短い場合とは、画像上にスミアやフレアが出現する頻度が極めて高い昼間等の撮像条件下の場合であり、この閾値(3000μsec)は予め実験等によって求められている。そこで、フェール判定部12は、カメラ1,2の露光時間が3000μsec以上である場合には、画像上にスミアやフレアが出現する可能性が極めて低いと判断してステップS114に進み、全ての立体物に対するフェール判定フラグNGを”0”に設定する。すなわち、フェール判定部12は、カメラ1,2の露光時間が3000μsec以上である場合には、立体物認識部11で認識された各立体物をフェールと判定しない。
【0018】
一方、ステップS102においてカメラ1,2の露光時間が3000μsecよりも短いと判定されると、フェール判定部12は、各立体物のフェール判定を順次行うべく、予め設定された抽出順序に従って、各立体物の中から所定の立体物を抽出する(ステップS103)。
【0019】
そして、フェール判定部12は、ステップS104において、自車から、今回抽出された立体物までの距離が10mよりも短いか否かを調べる。ここで、図3に示すように、スミアやフレアが立体物として誤認識された場合、これらの立体物は実空間上で自車から10m以内の距離に分布されることが本出願人らの実験等によって確認されている。そこで、フェール判定部12は、今回抽出された立体物までの距離が10m以上である場合には、この立体物はスミアやフレアに起因するものではないと判断してステップS112に進み、当該立体物に対するフェール判定フラグNGを”0”に設定する。
【0020】
一方、ステップS104において自車から立体物までの距離が10mよりも短いと判定されると、フェール判定部12は、以下のステップS105〜ステップS109の処理によって立体物の幅に基づく更なる判定を行う。ここで、図4に示すように、スミアやフレアが立体物として誤認識された場合、これらの立体物は実空間上で幅20cm以内の立体物として認識されることが本出願人らの実験等によって確認されている。この場合、特に、スミアやフレアが5cm〜10cmの幅の立体物として連続的に検出される時間は30secよりも短く、10cm〜20cmの幅の立体物として連続的に検出される時間は5secよりも短いことが確認されている。そこで、フェール判定部12は、先ず、ステップS104において、立体物幅が5cm以下であるか否かを調べる。
【0021】
ステップS104の処理により立体物幅が5cmよりも大きいと判定されると、フェール判定部12は、立体物幅が10cm以下であるか否かを調べる(ステップS106)。
【0022】
ステップS106の処理により立体物幅が10cm以下(すなわち、5cm<立体物幅≦10cm)であると判定されると、フェール判定部12は、上記立体物幅範囲内の立体物が連続して検出された時間が30secよりも短いか否かを調べ(ステップS107)、上記検出時間が30秒以上であると判定された場合には、今回抽出された立体物に対するフェール判定フラグNGを”0”に設定する(ステップS112)。
【0023】
一方、ステップS106の処理により立体物幅が10cmよりも大きいと判定されると、フェール判定部12は、立体物幅が20cm以下であるか否かを調べる(ステップS108)。そして、ステップS108において立体物幅が20cmよりも大きいと判定されると、フェール判定部12は、今回抽出された立体物に対するフェール判定フラグNGを”0”に設定する(ステップS112)。
【0024】
また、ステップS108の処理により立体物幅が20cm以下(すなわち、10cm<立体物幅≦20cm)であると判定されると、フェール判定部12は、上記立体物幅範囲内の立体物が連続して検出された時間が5secよりも短いか否かを調べ(ステップS109)、上記検出時間が30秒以上であると判定された場合には、今回抽出された立体物に対するフェール判定フラグNGを”0”に設定する(ステップS112)。
【0025】
一方、ステップS105の処理により立体物幅が5cm以下であると判定された場合、ステップS107の処理により5cm〜10cmの立体物幅範囲内ので連続的な立体物の検出時間が30secよりも短いと判定された場合、或いは、ステップS109の処理により10cm〜20cmの立体物範囲内での連続的な立体物の検出時間が5secよりも短いと判定された場合には、フェール判定部12は、今回抽出された立体物の平均輝度を元画像から算出し(ステップS110)、この平均輝度が閾値以上であるか否かを調べる(ステップS111)。ここで、画像上におけるスミアやフレアの平均輝度は実際の立体物の平均輝度よりも高くなることが知られており、各露出時間等においてスミアやフレアと実際の立体物とを区別するための平均輝度の閾値は予め実験等により求められている。そこで、フェール判定部12は、ステップS111において、立体物の平均輝度が閾値以上であると判定した場合には、今回抽出された立体物に対するフェール判定フラグNGを”1”に設定する(ステップS113)。一方、ステップS111において、立体物の平均輝度が閾値よりも小さいと判定した場合には、今回抽出された立体物に対するフェール判定フラグNGを”0”に設定する(ステップS112)。
【0026】
ステップS112、ステップS113、或いは、ステップS114からステップS115の処理に進むと、フェール判定部12は、全ての立体物に対するフェール判定が終了したか否かを調べ、全ての立体物に対するフェール判定が終了したと判定した場合には、そのままルーチンを抜ける。一方、ステップS115において、全ての立体物に対するフェール判定が未だ終了していないと判定されると、フェール判定部12は、ステップS103の処理に戻る。
【0027】
このような実施の形態によれば、一対のカメラ1,2で撮像した画像に基づいて立体物を三次元的に認識する車外監視装置において、自車から立体物までの距離と立体物幅とに基づいて当該立体物が実空間上に実際に存在するか否かのフェール判定を行うので、立体物として誤認識されたスミアやフレアを、簡単な構成で精度良く判定することができる。すなわち、立体物として誤認識されたスミアやフレアの判定を、当該スミアやフレアが立体物として認識された際に予想される三次元的な特徴に基づいて行うので、低感度カメラ等の新たな構成を追加することなく、しかも簡単な処理で精度良く立体物のフェール判定を行うことができる。
【0028】
この場合、立体物幅が閾値以下(20cm以下)であっても、立体物が所定の立体物幅の範囲内(立体物幅が5cm〜10cmの範囲内、或いは、10cm〜20cmの範囲内)で所定時間以上(30sec以上、或いは、5sec以上)連続的に検出された際には、当該立体物をフェールと判定しないことにより、フェール判定の精度を向上することができる。すなわち、スミアやフレアが5cm〜10cmの幅の立体物として連続的に検出される時間は30secよりも短く、10cm〜20cmの幅の立体物として連続的に検出される時間は5secよりも短いという実験結果等を用いて立体物幅に対するフェール判定を詳細に行うことにより、フェール判定の精度を向上することができる。
【0029】
また、カメラ1,2の露光時間に基づく判定を上記フェール判定に加えることにより、フェール判定処理を効率的に行うことができる。すなわち、露光時間が閾値(3000μsec)よりも短い場合には、画像上にスミアやフレアが出現する可能性が極めて低いと判断して、自車から立体物までの距離による判定や立体物幅(及び検出時間)による判定を行うことなく、全ての立体物に対するフェール判定フラグNGを”0”に設定するのでフェール判定を効率的に行うことができる。
【0030】
また、上記フェール判定に、立体物の平均輝度に基づく判定を加えることにより、フェール判定の精度をより向上することができる。この場合、自車から立体物までの距離と立体物幅(及び検出時間)とに基づいてスミアやフレアの可能性が高いと判定された立体物に対してのみ、立体物の平均輝度を算出すれば事足りるので、このような判定を加えた場合にも、演算量を大幅に増大させることがない。
【0031】
なお、上述の実施の形態においては、自車から立体物までの距離に基づく判定及び立体物幅に基づく判定に加え、カメラ1,2の露光時間に基づく判定及び立体物の平均輝度に基づく判定を行うことで、立体物のフェール判定を行う一例について説明したが、本発明はこれに限定されるものではなく、例えば、自車から立体物までの距離に基づく判定及び立体物幅に基づく判定のみによって立体物のフェール判定を行ってもよく、また、これら2種類の判定に加え、カメラ1,2の露光時間に基づく判定或いは立体物の平均輝度に基づく判定を行うことで立体物のフェール判定を行ってもよい。
【0032】
また、各判定に用いる各閾値(カメラ1,2の露光時間、自車から立体物までの距離、立体物幅、立体物が連続的に検出される時間、立体物の平均輝度等)は、車両に搭載されるカメラ1,2の諸元や取付位置等によって変更可能であることは勿論である。
【0033】
【発明の効果】
以上説明したように本発明によれば、立体物として誤認識されたスミアやフレアを、簡単な構成で精度良く判定することができる。
【図面の簡単な説明】
【図1】車外監視装置のブロック図
【図2】フェール判定ルーチンのフローチャート
【図3】スミア並びにフレアを立体物として認識したときの立体物までの距離に関するヒストグラム
【図4】スミア並びにフレアを立体物として認識したときの立体物幅に関するヒストグラム
【符号の説明】
1 メインカメラ(撮像手段)
2 サブカメラ(撮像手段)
11 立体物認識部(立体物認識手段)
12 フェール判定部(フェール判定手段)
Claims (4)
- 車外の同一対称を異なる視点で撮像する複数の撮像手段と、上記撮像手段で撮像された複数の画像から立体物を認識する立体物認識手段とを備えた車外監視装置において、
上記立体物認識手段で認識された各立体物のフェール判定を行うフェール判定手段を有し、
上記フェール判定手段は、自車から上記立体物までの距離が閾値よりも短く、且つ、上記立体物幅が閾値以下であるとき、上記立体物はスミア或いはフレアを立体物として誤認識したものであると判定して当該立体物をフェールと判定することを特徴とする車外監視装置。 - 上記フェール判定手段は、上記立体物幅が上記閾値以下であっても、上記立体物が所定の立体物幅の範囲内で所定時間以上連続的に検出された際には、当該立体物をフェールと判定しないことを特徴とする請求項1記載の車外監視装置。
- 上記フェール判定手段は、上記撮像手段の露光時間が閾値以上であるとき、上記立体物をフェールと判定しないことを特徴とする請求項1または請求項2記載の車外監視装置。
- 上記フェール判定手段は、上記画像上における上記立体物の平均輝度が閾値よりも小さいとき、上記立体物をフェールと判定しないことを特徴とする請求項1乃至請求項3の何れかに記載の車外監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001216957A JP4794764B2 (ja) | 2001-07-17 | 2001-07-17 | 車外監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001216957A JP4794764B2 (ja) | 2001-07-17 | 2001-07-17 | 車外監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003030794A JP2003030794A (ja) | 2003-01-31 |
JP4794764B2 true JP4794764B2 (ja) | 2011-10-19 |
Family
ID=19051360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001216957A Expired - Lifetime JP4794764B2 (ja) | 2001-07-17 | 2001-07-17 | 車外監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4794764B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4807733B2 (ja) * | 2005-09-28 | 2011-11-02 | 富士重工業株式会社 | 車外環境認識装置 |
JP5276140B2 (ja) * | 2011-05-19 | 2013-08-28 | 富士重工業株式会社 | 環境認識装置および環境認識方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3683072B2 (ja) * | 1997-07-02 | 2005-08-17 | 本田技研工業株式会社 | 車両の障害物検知装置 |
JP3819551B2 (ja) * | 1997-08-07 | 2006-09-13 | 本田技研工業株式会社 | 車両用距離測定装置 |
JP3272696B2 (ja) * | 1999-07-30 | 2002-04-08 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
-
2001
- 2001-07-17 JP JP2001216957A patent/JP4794764B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003030794A (ja) | 2003-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6310546B1 (en) | Stereo type vehicle monitoring apparatus with a fail-safe function | |
JP3287117B2 (ja) | 撮像装置を用いた車両用の環境認識装置 | |
CN102826093B (zh) | 车道脱离警报装置 | |
JP4953498B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
US20110216938A1 (en) | Apparatus for detecting lane-marking on road | |
JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP3255360B2 (ja) | 距離データの検査方法およびその検査装置 | |
JP2002230530A (ja) | 車線離脱防止方法 | |
JP2009110173A (ja) | 物体検出装置 | |
JP3301995B2 (ja) | ステレオ式車外監視装置 | |
JP5027710B2 (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP4925498B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP3235831B2 (ja) | ステレオ式車外監視装置 | |
JP2007018451A (ja) | 道路区画線検出装置 | |
JP3272694B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP3272701B2 (ja) | 車外監視装置 | |
JP4794764B2 (ja) | 車外監視装置 | |
JP3272696B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP3649327B2 (ja) | フェールセーフ機能を有するステレオ式車外監視装置 | |
JP4532089B2 (ja) | 車外監視装置 | |
JP4601376B2 (ja) | 画像異常判定装置 | |
JP2001180404A (ja) | 車両の後方監視装置 | |
JP4316710B2 (ja) | 車外監視装置 | |
JP3349077B2 (ja) | 画像処理システム | |
JP2003271968A (ja) | 移動体検出装置および移動体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4794764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |