JP5083959B2 - 車両の運転支援装置 - Google Patents

車両の運転支援装置 Download PDF

Info

Publication number
JP5083959B2
JP5083959B2 JP2007288904A JP2007288904A JP5083959B2 JP 5083959 B2 JP5083959 B2 JP 5083959B2 JP 2007288904 A JP2007288904 A JP 2007288904A JP 2007288904 A JP2007288904 A JP 2007288904A JP 5083959 B2 JP5083959 B2 JP 5083959B2
Authority
JP
Japan
Prior art keywords
risk level
vehicle
risk
driving support
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007288904A
Other languages
English (en)
Other versions
JP2009116614A (ja
Inventor
慎司 澤田
裕一郎 塚崎
健彦 藤岡
温史 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Fuji Jukogyo KK filed Critical University of Tokyo NUC
Priority to JP2007288904A priority Critical patent/JP5083959B2/ja
Publication of JP2009116614A publication Critical patent/JP2009116614A/ja
Application granted granted Critical
Publication of JP5083959B2 publication Critical patent/JP5083959B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Regulating Braking Force (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、ステレオカメラ、単眼カメラ、ミリ波レーダ等で検出した自車両周辺の白線や立体物に対して危険度を設定し、最適経路を走行させるべく操舵制御を行い、或いは、制動制御を行わせる車両の運転支援装置に関する。
近年、車両においては、車載したカメラやレーザレーダ装置等により前方の走行環境を検出し、この走行環境データから障害物や先行車を認識して、警報や自動ブレーキ、自動操舵を実行して安全性を向上させる様々な技術が開発され実用化されている。
例えば、特開2004−110346号公報や特開2007−253745号公報では、自車両の周囲に存在する障害物を検出し、自車両の障害物に対する現状のリスクポテンシャルを算出して、このリスクポテンシャルに基づき、ドライバによる自車両の前後運動および左右運動に関わる運転操作を促すように車両機器の動作を制御する技術や、障害物を回避するように操舵量を算出する技術が開示されている。
特開2004−110346号公報 特開2007−253745号公報
しかしながら、上述の特許文献1で開示される技術では、あくまでも現状のリスクポテンシャルに応じた制御となるため、自車両や障害物が移動することにより変化する危険度に対して有効に対応することができないという問題がある。すなわち、現状では最適と思われる経路であっても、将来的には却って危険度が増加してしまうような場合も多く存在し、そうした時々刻々変化する交通環境に適切に対応することが難しいという問題がある。また、最適な回避ルートは、可能な限り無駄な加速をすることなく走行できるルートを選定することが自然であり望ましい。
一方、上述の特許文献2には、将来の危険度を考慮して回避ルートを演算する技術が開示されている。しかしながら、その技術では、将来の危険度を微小時間毎の加算により算出しているため、障害物の大きさ(道路上の縦横の長さ)で危険度を設定した場合、障害物が小さく自車両に対する相対速度の差が大きいと、障害物に対する距離分解能が粗くなり、適切な回避ルートを得られなくなる虞がある。具体的には、障害物を回避せずとも、車速を上げて短時間で危険領域を走破するという回避ルートを演算してしまう虞がある。
本発明は上記事情に鑑みてなされたもので、障害物の大きさや車速が異なる状況においても、現在のみならず将来予測される危険度を考慮して最適な回避ルートを通過するように制御して安全性を向上させることができ、また、無駄な加速を抑制して自然な回避ルートの走行を可能とする車両の運転支援装置を提供することを目的としている。
本発明は、自車両の周辺環境を認識する周辺環境認識手段と、上記認識した周辺環境の各対象に現在の危険度を設定する危険度設定手段と、上記危険度を設定した各対象の位置の時間的変化を予測して上記危険度の時間的変化を予測する危険度変化予測手段と、上記危険度変化予測手段で予測した上記危険度の時間的変化に基づき自車両前方の各距離毎に変換して、該距離毎の上記危険度を示す第1の演算項と少なくとも上記各距離毎の時間における自車両の前後方向と横方向の加速状態を示す第2の演算項とを有する評価関数を設定する評価関数設定手段と、上記評価関数が最小となる上記自車両の前後方向と横方向の加速状態を演算し、該自車両の前後方向と横方向の加速状態を制御量として出力する制御量演算手段とを備えたことを特徴としている。
本発明による車両の運転支援装置によれば、障害物の大きさや車速が異なる状況においても、現在のみならず将来予測される危険度を考慮して最適な回避ルートを通過するように制御して安全性を向上させることができ、また、無駄な加速を抑制して自然な回避ルートの走行が可能となる。
以下、図面に基づいて本発明の実施の形態を説明する。
図1乃至図6は本発明の実施の一形態を示し、図1は車両に搭載した運転支援装置の概略構成図、図2は運転支援制御プログラムのフローチャート、図3は立体物に設定するリスク関数の説明図、図4は前後方向の長さが不明な立体物に設定するリスク関数の説明図、図5は前方に設定されるリスク関数の一例を示す説明図、図6は生成される回避ルートの一例を示す説明図である。
図1において、符号1は自動車等の車両(自車両)で、この車両1には、運転支援装置2が搭載されている。この運転支援装置2は、ステレオカメラ3、ステレオ画像認識装置4、制御ユニット5等を主要部として構成されている。
また、自車両1には、自車速Vを検出する車速センサ11、運転支援制御のON−OFF信号が入力されるメインスイッチ12等が設けられており、自車速Vはステレオ画像認識装置4と制御ユニット5に入力され、運転支援制御のON−OFF信号等は制御ユニット5に入力される。
ステレオカメラ3は、ステレオ光学系として例えば電荷結合素子(CCD)等の固体撮像素子を用いた1組の(左右の)CCDカメラで構成される。これら左右のCCDカメラは、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置4に入力する。
ステレオ画像認識装置4における、ステレオカメラ3からの画像の処理は、例えば以下のように行われる。まず、ステレオカメラ3で撮像した自車両1の進行方向の1組のステレオ画像対に対し、対応する位置のずれ量から距離情報を求め、距離画像を生成する。そして、このデータを基に、周知のグルーピング処理を行い、予め記憶しておいた3次元的な道路形状データ、側壁データ、立体物データ等の枠(ウインドウ)と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。
上述の認識した各データは、図3(a)に示すように、自車両1を原点とし、自車両1の前後方向をX軸、幅方向をY軸とする座標系におけるそれぞれの位置が演算され、特に、立体物においては、それぞれの幅Wyと、2輪車、普通車両、大型車両の車両データにおいては、その前後方向長さWxが、例えば、3m、4.5m、10m等と予め推定される。そして、これら立体物の幅Wyと前後方向長さWxを基に、その立体物の現在存在する中心位置が(xobstacle,yobstacle)の座標で演算される。尚、車車間通信等により、車両の前後方向長さWxが精度良く得られる場合には、その長さデータを用いて、上述の中心位置を演算するようにしても良い。また、立体物の種別が分類できない場合等により、立体物の前後方向長さWxが得られない場合は、例えば、図4に示すように、立体物を正方形として考え、前後方向長さWxを幅Wyと同じ値とみなすようにしても良い。
更に、立体物データにおいては、自車両1からの距離のX軸方向変化及びY軸方向変化から自車両1に対する相対速度が演算され、この相対速度に自車両1の速度Vをベクトル量を考慮して演算することにより、それぞれの立体物のX軸方向速度、Y軸方向速度(vxobstacle,vyobstacle)が演算される。
こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ(種別、自車両1からの距離、中心位置(xobstacle,yobstacle)、速度(vxobstacle,vyobstacle)等)の各データは制御ユニット5に入力される。このように、本実施の形態においては、ステレオカメラ3及びステレオ画像認識装置4は、周辺環境認識手段として設けられている。
制御ユニット5は、車速センサ11から自車速V、ステレオ画像認識装置4から白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ(種別、自車両1からの距離、中心位置(xobstacle,yobstacle)、速度(vxobstacle,vyobstacle)等)の各データが入力される。そして、後述する運転支援制御プログラムに従って、上述の各入力信号に基づき、前方に存在する白線、ガードレール、側壁、及び、立体物のそれぞれを対象として、現在の危険度をリスク関数Dline、Dobstacleとして設定し、これらリスク関数Dline、Dobstacleから現在のトータルリスク関数Dを設定する。その後、トータルリスク関数Dを設定した各対象の位置の時間的変化を予測してトータルリスク関数Dの時間的変化を予測し、このトータルリスク関数Dを自車両前方の各距離毎に変換し、この変換したトータルリスク関数Dと自車両の前後加速度ax0と横加速度ay0と走行時間の重みを表すパラメータとで評価関数Jを設定し、この評価関数Jが最小となる自車両の前後加速度ax0と横加速度ay0を制御量として演算する。そして、この横加速度ay0を目標操舵角δftに変換して操舵制御手段としての自動操舵制御装置23に制御信号を出力して操舵制御を実行させ、また、前後加速度ax0を制動制御手段としての自動ブレーキ制御装置22に信号を出力してブレーキ制御を実行させる。尚、自動ブレーキ制御装置22、自動操舵制御装置23に信号出力された場合は、ディスプレイ21によりその信号を視覚的に表示させ、ドライバに報知する。すなわち、制御ユニット5は、危険度設定手段、危険度変化予測手段、評価関数設定手段、及び、制御量演算手段としての機能を有して構成されている。
次に、運転支援装置2で実行される運転支援制御プログラムを図2のフローチャートで説明する。
まず、ステップ(以下、「S」と略称)101で必要パラメータ、具体的には、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ(種別、自車両1からの距離、中心位置(xobstacle,yobstacle)、速度(vxobstacle,vyobstacle)等)、自車速Vの各データを読み込む。
次に、S102に進み、白線(ガードレール、側壁も白線と同等に扱うものとする)を対象とする現在のリスク関数Dlineを、以下の(1)式により、演算する。
Dline=exp(aR・y)−1 …(1)
aR=(2/WR)・log(Ds+1) …(2)
ここで、WRは道路幅、Dsは道路端(すなわち、y=±WR/2)における予め設定した危険度を示す。
次いで、S103に進み、立体物(2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物)を対象とする現在のリスク関数Dobstacleを、危険度が滑らかに分布されるように、以下の(3)式により、演算する。
Dobstacle=DG・exp(−px・(x−xobstacle)
−py・(y−yobstacle)) …(3)
DG=DEx・(DEy/DR)Wy・Wy/(4・q・(Wy+q)) …(4)
px=−(2/Wx)・log(DEx/DR) …(5)
py=(1/(b・(Wy+q)))・log(DEy/DR) …(6)
ここで、DEx、DEy、DR、qは、図3に示すように、予め設定される。すなわち、立体物は、前後方向に設定する危険度と左右方向に設定する危険度とが異なるように設定されており、前後方向に設定する危険度は、図3(c)の中心位置(xobstacle,yobstacle)を通るX方向断面に示すように、前後の上端部の危険度が予め設定した値DExとなるように設定される。また、左右方向に設定する危険度は、図3(b)の中心位置(xobstacle,yobstacle)を通るY方向断面に示すように、左右の上端部の危険度が予め設定した値DEyとなるように設定され、更に、左右の縁部から距離q離れた位置の危険度が予め設定した値DRとなるように設定される。すなわち、存在する立体物に対し、制駆動制御して回避する場合と立体物の横をすり抜けて回避する場合とではドライバが感じる感覚が異なり、このように、前後方向に設定する危険度と左右方向に設定する危険度とを異なるように設定することで、実際の回避運転に則した自然な回避制御を行えるようになっている。
次に、S104に進み、現在のトータルリスク関数Dを、以下の(7)式により、演算する。これにより、前方のトータルリスク関数Dは、例えば、図5に示すように、表現される。
D=Dline+Dobstacle …(7)
次いで、S105に進み、t秒後の立体物位置(xobstacle(t),yobstacle(t))を、以下の(8)式により推定する。
(xobstacle(t),yobstacle(t))
=(xobstacle+vxobstacle・t,yobstacle+vyobstacle・t) …(8)
次に、S106に進み、上述のS105で推定したt秒後の立体物位置(xobstacle(t),yobstacle(t))を、上述のS104で演算したトータルリスク関数Dのx及びyにそれぞれ代入し、t秒後のトータルリスク関数D(xobstacle(t),yobstacle(t))を設定する。
次いで、S107に進み、前方距離Sにおける自車位置情報を演算する。t秒後における自車位置は、自車両の前後方向速度をvx0、横方向速度をvy0、前後加速度をax0、横加速度をay0を用いて表すと、
(vx0・t+(1/2)・ax0・t
vy0・t+(1/2)・ay0・t)…(9)
そして、S=vx0・t+(1/2)・ax0・tとおいて、時間tを逆算すると、前方距離Sに到達するのに必要な時間tsは、以下の(10)式により与えられる。
ts=(−vx0+(vx0+2・ax0・S)1/2)/ax0 …(10)
また、前方距離Sにおける自車両の横方向位置は上述の(10)式で得られる時間tsを(9)式のY座標に代入することで得ることができる。
次に、S108に進み、上述のS107で演算した前方距離Sにおける自車位置情報を、前述のS106で設定したt秒後のトータルリスク関数D(xobstacle(t),yobstacle(t))に代入して自車両前方の各距離S毎に変換したトータルリスク関数D(s)を設定し、以下の(11)式に示す評価関数Jを設定する。
J=∫(K1・D(s))ds(積分範囲0〜S)
+∫(C+K2・ax0+K3・ay0)dt(積分範囲0〜Tf)…(11)
ここで、Cは走行時間の重みを表すパラメータ、K1は危険度の重みパラメータ、K2は前後加速度の重みパラメータ、K3は横加速度の重みパラメータである。
すなわち、上述の評価関数Jの∫(K1・D(s))ds(積分範囲0〜S)の演算項が第1の演算項であり、∫(C+K2・ax0+K3・ay0)dt(積分範囲0〜Tf)の演算項が第2の演算項となっている。
そして、S109に進み、上述のS108で設定した評価関数Jを最小とする前後加速度ax0と横加速度ay0を周知の最適化計算により求め、これを制御量として、前後加速度ax0は、自動ブレーキ制御装置22に出力し、横加速度ay0は、例えば、以下の(12)式により目標操舵角δftに変換して自動操舵制御装置23に出力して、プログラムを抜ける。評価関数Jを最小とする前後加速度ax0と横加速度ay0で走行する回避ルートの一例を図6に示す。
δft=((N・(1+A0・V))/V)・ay0 …(12)
ここで、Nはステアリングギヤ比、A0はスタビリティファクタである。
すなわち、本実施形態で設定する評価関数Jは、トータルリスク関数Dに基づく第1の演算項により危険をできるかぎり少なくし、自車両の前後加速度ax0と横加速度ay0に基づく第2の演算項により無駄な加速を抑制し、また、この第2の演算項に走行時間の重みを表すパラメータを含ませることで、時間のかからない効率の良い回避ルートを走行させることを可能とするものである。
尚、本実施の形態では、ブレーキ制御と操舵制御の2つが行える例を説明しているが、どちらか1つを行うものであっても良い。
また、本実施の形態で説明したブレーキ制御は、あくまでもその一例であり、他の周知のブレーキ制御、例えば、スロットル開度の閉鎖や自動変速機におけるシフトダウンと併用するようにしても良い。
更に、本実施の形態では、周辺環境をステレオカメラ3からの撮像画像を基に認識するようになっているが、他に、単眼カメラ、ミリ波レーダ等で検出するものであっても良い。
また、本実施の形態では、自車両1の前方における白線や立体物等を対象として、現在のトータルリスク関数Dを設定し、その時間的変化を予測する構成について述べたが、これに限らず、自車両1の側方や側後方の立体物をも対象として、トータルリスク関数Dの設定やその時間的変化を予測するようにしても良い。
車両に搭載した運転支援装置の概略構成図 運転支援制御プログラムのフローチャート 立体物に設定するリスク関数の説明図 前後方向の長さが不明な立体物に設定するリスク関数の説明図 前方に設定されるリスク関数の一例を示す説明図 生成される回避ルートの一例を示す説明図
符号の説明
1 自車両
2 運転支援装置
3 ステレオカメラ(周辺環境認識手段)
4 ステレオ画像認識装置(周辺環境認識手段)
5 制御ユニット(危険度設定手段、危険度変化予測手段、評価関数設定手段、制御量演算手段)
11 車速センサ
12 メインスイッチ
21 ディスプレイ
22 自動ブレーキ制御装置(制動制御手段)
23 自動操舵制御装置(操舵制御手段)

Claims (4)

  1. 自車両の周辺環境を認識する周辺環境認識手段と、
    上記認識した周辺環境の各対象に現在の危険度を設定する危険度設定手段と、
    上記危険度を設定した各対象の位置の時間的変化を予測して上記危険度の時間的変化を予測する危険度変化予測手段と、
    上記危険度変化予測手段で予測した上記危険度の時間的変化に基づき自車両前方の各距離毎に変換して、該距離毎の上記危険度を示す第1の演算項と少なくとも上記各距離毎の時間における自車両の前後方向と横方向の加速状態を示す第2の演算項とを有する評価関数を設定する評価関数設定手段と、
    上記評価関数が最小となる上記自車両の前後方向と横方向の加速状態を演算し、該自車両の前後方向と横方向の加速状態を制御量として出力する制御量演算手段と、
    を備えたことを特徴とする車両の運転支援装置。
  2. 上記危険度設定手段は、周囲に存在する立体物に対応する危険度と走行レーンに対応する危険度とにより上記危険度を設定することを特徴とする請求項1記載の車両の運転支援装置。
  3. 上記周囲に存在する立体物に対応する危険度は、立体物の前後方向に設定する危険度と左右方向に設定する危険度とを異なる危険度に設定することを特徴とする請求項2記載の車両の運転支援装置。
  4. 上記制御量演算手段で演算した上記制御量に基づいて操舵制御を行う操舵制御手段と制動制御を行う制動制御手段の少なくとも一方を備えたことを特徴とする請求項1乃至請求項3の何れか一つに記載の車両の運転支援装置。
JP2007288904A 2007-11-06 2007-11-06 車両の運転支援装置 Expired - Fee Related JP5083959B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007288904A JP5083959B2 (ja) 2007-11-06 2007-11-06 車両の運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007288904A JP5083959B2 (ja) 2007-11-06 2007-11-06 車両の運転支援装置

Publications (2)

Publication Number Publication Date
JP2009116614A JP2009116614A (ja) 2009-05-28
JP5083959B2 true JP5083959B2 (ja) 2012-11-28

Family

ID=40783698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007288904A Expired - Fee Related JP5083959B2 (ja) 2007-11-06 2007-11-06 車両の運転支援装置

Country Status (1)

Country Link
JP (1) JP5083959B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6838218B2 (ja) * 2017-06-07 2021-03-03 日立Astemo株式会社 車両運動制御装置
JP6592074B2 (ja) * 2017-12-28 2019-10-16 本田技研工業株式会社 車両制御装置、車両制御方法、プログラム、および情報取得装置
CN113076641B (zh) * 2021-03-31 2022-09-20 同济大学 基于风险评估的智能车人机协同转向控制并行计算方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2748287B2 (ja) * 1992-02-28 1998-05-06 三菱自動車工業株式会社 4輪操舵装置
JP3832403B2 (ja) * 2002-08-23 2006-10-11 日産自動車株式会社 運転操作補助装置
JP3991843B2 (ja) * 2002-11-08 2007-10-17 日産自動車株式会社 車両用推奨操作量生成装置
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法

Also Published As

Publication number Publication date
JP2009116614A (ja) 2009-05-28

Similar Documents

Publication Publication Date Title
JP4970156B2 (ja) 車両の運転支援装置
JP4949063B2 (ja) 車両の運転支援装置
JP5167051B2 (ja) 車両の運転支援装置
JP5345350B2 (ja) 車両の運転支援装置
JP4980076B2 (ja) 車両の運転支援装置
US8224564B2 (en) Vehicle drive assist system
JP2020163900A (ja) 車両制御装置、車両制御方法、及びプログラム
JP2018095143A (ja) 車両制御装置
JP2010018062A (ja) 車両の運転支援装置
JP7250825B2 (ja) 車両の走行制御方法及び走行制御装置
CN103748622A (zh) 驾驶辅助装置
JP2004265238A (ja) 車両用運転支援装置
JP2018158709A (ja) 運転支援装置
JP2008179251A (ja) 車両用走行支援装置及び車両用走行支援方法
JP2009286279A (ja) 車両の運転支援装置
JP5210064B2 (ja) 車両の衝突防止装置
WO2019039275A1 (ja) 車両制御装置
JP2004314843A (ja) 車両用運転支援装置
JP5595186B2 (ja) 目標軌道算出装置
JP5452004B2 (ja) 車両の運転支援装置
WO2020148561A1 (ja) 運転支援方法及び運転支援装置
JP5083959B2 (ja) 車両の運転支援装置
JP5249696B2 (ja) 車両の運転支援装置
JP5336800B2 (ja) 車両の運転支援装置
JP5261045B2 (ja) 車両の運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120831

R150 Certificate of patent or registration of utility model

Ref document number: 5083959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees