JP4159049B2 - 人間支援システム、人間支援方法及び人間支援プログラム - Google Patents
人間支援システム、人間支援方法及び人間支援プログラム Download PDFInfo
- Publication number
- JP4159049B2 JP4159049B2 JP2004026951A JP2004026951A JP4159049B2 JP 4159049 B2 JP4159049 B2 JP 4159049B2 JP 2004026951 A JP2004026951 A JP 2004026951A JP 2004026951 A JP2004026951 A JP 2004026951A JP 4159049 B2 JP4159049 B2 JP 4159049B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- position information
- pedestrian
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000004364 calculation method Methods 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims 3
- 230000015654 memory Effects 0.000 description 43
- 230000006399 behavior Effects 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000005484 gravity Effects 0.000 description 8
- 230000002265 prevention Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 229920001690 polydopamine Polymers 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000003449 preventive effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000002627 Cordeauxia edulis Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007595 memory recall Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
図1は本発明の一実施形態に係る人間支援システムが適用されるネットワークシステムの一例を示す図である。
a)現実世界の数値データと人間が思考する記号を融合処理できる。
b)物理量から高次概念へのボトムアップ処理と、高次概念から物理量へのトップダウン処理を融合できる。
概念ファジイ61は、連想メモリ上にファジイ知識が分散的に表現されているだけでなく、連想メモリの想起過程を用いてファジイ知識処理も行う機構も持ち合わせている。また、概念ファジイ61は連想メモリで実現されていることから、状況依存性の扱いや多層結合による複雑な処理などのメリットが得られる。
M1〜Mnは個別の概念ファジイを、Mは合成された概念ファジイ集合を示す。Normは規格化を示している。一般のニューラルネットワークでは、学習結果には明示的な知識表現が行われていないが、本実施形態の方法では明示的な表現が得られる。
推論は、ネットワーク全体で同期をとりながら活性値の伝搬を繰り返すことによって行う。まず、入力をメンバーシップ関数で評価した値をIf(X)レイヤに入力する。そして、連想マトリクスMxr,Mrr,Mryを式(3.1),式(3.2)に適用することによって、設定した連想ステップ数だけ活性値の伝播を繰り返す。たとえば、複数のINrレイヤに連想マトリクスMrでつながるOUTレイヤの各ノードの出力outjは式(11)で求められる。
以上により、N個の個性データが連想マトリクスとして求められる。
まず、意図認識部36は、入力された車両の速度Vv、顔方向θp、位置VLに基づき、それぞれ速度メンバーシップ関数μvs、μvB、顔方向メンバーシップ関数μθs、μθB、位置メンバーシップ関数μLS、μLBにより関数値(速度グレードμvs(Vv)、μvB(Vv)、顔方向グレードμθs(θp)、μθB(θp)、位置グレードμLS(VL)、μLB(VL))を算出する。
具体的には、まず、μvs(Vv)、μvB(Vv)、顔方向グレードμθs(θp)、μθB(θp)、位置グレードμLS(VL)、μLB(VL)を連想メモリ入力INvs、INvB、INps、INpB、INLs、INLBとする。そして、これら連想メモリ入力に対して、N個の個性データに対応したマトリクスMxr1〜MxrNを用いてN個の行列計算を行い、それぞれ連想メモリ中間出力R1〜RNを得る。この連想メモリ中間出力R1〜RNは算出されるたびに、マトリクスMrrで正規化される。また、得られた連想メモリ中間出力R1〜RNはさらにそれぞれマトリクスMry1〜MryNを用いてN個の行列計算を行い、左折、直進、右折で表される連想メモリ出力OUTL1、OUTS1、OUTR1〜OUTLN、OUTSN、OUTRNを得る。連想メモリ出力OUTL1〜OUTLNは、運転意図“左折”に対応する出力値、連想メモリ出力OUTs1〜OUTsNは、運転意図“直進”に対応する出力値、連想メモリ出力OUTR1〜OUTRNは、運転意図“右折”に対応する出力値である。
得られた連想メモリ出力OUTL1、OUTS1、OUTR1〜OUTLN、OUTSN、OUTRNに基づき連想マトリクスMT ry1〜MT ryNを用いてN個の行列計算を行い、連想メモリ中間出力R1〜RNを得る。この連想メモリ中間出力R1〜RNの各々は、複数のノードについて得られる。そして、得られた連想メモリ中間出力R1〜RNに対し、マトリクスMT xr1〜MT xrNを用いてN個の行列計算を行い、連想メモリ入力INvs、INvB、INps、INpB、INLs、INLBを得る。
従来のハード的なシステムとして、物体検出などでセンサ・カメラなどハードウェア素材の精度の向上を目的としたシステムがある。このようなシステムでは、正確に最も危険な事象を表示することはできるが、ある認知科学実験においては、特にお年寄りにおいて、ハード的な突然の表示が視界に入ることにより、周辺の視野が極端に見えにくくなるという特性が顕著にみられた。よって、危険を前もってやさしく運転者に知らせておくことで、周辺の視野が狭まることのないようにすることが必要となる。
前述のような問題点を解決するために、本実施形態では、以下に示すソフト指向的な運転支援を行う。ソフト指向的な運転支援とは、認知科学的な人間の弱点などを考慮した柔軟性を備えたシステムである。危険の直前に運転者に対して危険警告を行っても、運転者の視野はその表示にくぎ付けになり、周辺が見えにくくなる。提案する表示の一例は、前述の通り、画像を危険の度合いから青、黄、赤と色が変化し、その都度音声提示も行い運転者に対して危険警告を行う機構が生成される。青の画像では、運転者に対してバックグラウンド的に頭に残るぐらいの視覚的効果を与える。そして、黄、赤と変化していくたびに、フォアグラウンド的に運転者に対して視覚的効果を与える。危険を前もってやさしく運転者に知らせておくことで、周辺の視野が狭まることのないようにすることができる。
歩行者及び車両検出機構によって、歩行者及び運転者の顔の方向情報を得ることができる。運転者の顔の方向情報から運転者が注目していない位置に歩行者が存在する場合、歩行者情報を運転者に対して提示する。運転者の意図を推論することで情報過多にならないため、運転者の混乱を招くことはない。また、歩行者情報はHTML形式で表示する。歩行者の速度により情報が急激に変化するとかえって運転者に対して混乱を招く。サーバから得た情報をユーザの設定により、ブラウザの更新を行うことができる。また、歩行者に対しても、携帯情報端末により車両の存在を提示することができる。
人間を取り巻く空間において、人間をサポートする知的エージェントが各種センサや知能を分散的に持ち(分散感覚知能)、それぞれの知的エージェントが自律的に協調し合うことにより、人間に対して適切なサポート及び、ガイドを提示する必要がある。このような空間を分散感覚知能空間と呼ぶ。分散感覚知能はカメラとCPUで構成されている。本実施形態では、分散感覚知能空間を、人間の生活する都市空間へと広げ、日常生活から災害時の緊急支援までを視野に入れた、災害に強く、真の安心感を得る福祉・防災サイバー都市構築の実現が可能となる。
Claims (15)
- 車両の進路に設置されたカメラと、
前記カメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信する通信制御手段と、
前記車両に搭載され、車両の運転者を撮像する車両搭載カメラと、
前記車両の運転者に固定され、運転者の視野の画像を撮像する視野画像撮像カメラと、
前記車両搭載カメラで得られた運転者撮像画像と前記視野画像撮像カメラで得られた視野画像とに基づき運転者の顔の方向を算出する顔方向情報算出部と、
を具備してなることを特徴とする人間支援システム。 - さらに、車両の運転者の意図を認識して意図認識結果を出力する意図認識部を備え、
前記人間支援管理部は、前記意図認識部で得られた意図認識結果に基づき前記歩行支援情報又は運転支援情報を生成することを特徴とする請求項1に記載の人間支援システム。 - 歩行者により携帯され、前記歩行支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項1に記載の人間支援システム。
- 車両に搭載され、前記運転支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項1に記載の人間支援システム。
- 前記通信制御手段は、前記車両の速度と前記車両の運転者の顔の方向とを受信し、
前記意図認識部は、前記通信制御手段で受信された前記車両の速度と、前記顔の方向と、前記車両位置情報算出部で算出された前記車両の位置情報とに基づき運転者の意図を認識することを特徴とする請求項1に記載の人間支援システム。 - 車両の進路に設置されたカメラと、
前記カメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信し、前記車両の速度と前記車両の運転者の顔の方向とを受信する通信制御手段と、
前記車両の速度と前記顔の方向と前記車両の位置情報とからなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶する記憶装置と、
前記通信制御手段で受信された前記車両の速度と前記顔の方向及び前記車両位置情報算出部で算出された前記車両の位置情報に対して、前記記憶装置から読み出された連想マトリクスに基づき反響動作に伴う状態推移により運転者の運転意図を認識する意図認識部と、
を具備してなることを特徴とする人間支援システム。 - 前記人間支援管理部は、意図認識部で得られた意図認識結果に基づき前記歩行支援情報又は運転支援情報を生成することを特徴とする請求項6に記載の人間支援システム。
- 歩行者により携帯され、前記歩行支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項6に記載の人間支援システム。
- 車両に搭載され、前記運転支援情報を受信して表示する表示装置をさらに備えることを特徴とする請求項6に記載の人間支援システム。
- 前記連想マトリクスは、一運転者の複数の異なる状態について記憶されることを特徴とする請求項6に記載の人間支援システム。
- 前記意図認識部は、前記複数の運転者ごとの連想マトリクスに対して算出された運転意図のうち、最も強く想起された運転意図を運転者の運転意図に決定する判定手段を備えることを特徴とする請求項6に記載の人間支援システム。
- 車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出するステップと、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出するステップと、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成するステップと、
前記歩行支援情報又は前記運転支援情報を送信するステップと、
前記車両に搭載された車両搭載カメラにより車両の運転者を撮像するステップと、
前記車両の運転者に固定された視野画像撮像カメラにより運転者の視野の画像を撮像するステップと、
前記車両搭載カメラで得られた運転者撮像画像と前記視野画像撮像カメラで得られた視野画像とに基づき運転者の顔の方向を算出するステップと、
を具備することを特徴とする人間支援方法。 - コンピュータを、
車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信する通信制御手段と、
前記車両に搭載された車両搭載カメラで運転者を撮像して得られた運転者撮像画像と前記車両の運転者に固定された視野画像撮像カメラで運転者の視野の画像を撮像して得られた視野画像とに基づき運転者の顔の方向を算出する顔方向情報算出部
として機能させることを特徴とする人間支援プログラム。 - 車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出するステップと、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出するステップと、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成するステップと、
前記歩行支援情報又は前記運転支援情報を送信するステップと、
前記車両の速度と前記車両の運転者の顔の方向とを受信するステップと、
受信された前記車両の速度と前記顔の方向及び前記算出された前記車両の位置情報に対して、前記車両の速度と前記顔の方向と前記車両の位置情報とからなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶する記憶装置から読み出された連想マトリクスに基づき反響動作に伴う状態推移により運転者の運転意図を認識するステップと、
を具備することを特徴とする人間支援方法。 - コンピュータを、
車両の進路に設置されたカメラで撮像された進路画像情報を画像処理し車両の位置情報を算出する車両位置情報算出部と、
前記カメラで撮像された進路画像情報を画像処理し歩行者の位置情報を算出する歩行者位置情報算出部と、
前記車両位置情報と前記歩行者位置情報とに基づき、歩行者に車両の存在を知らせるための歩行支援情報を生成し、又は前記車両に歩行者の存在を知らせるための運転支援情報を生成する人間支援管理部と、
前記歩行支援情報又は前記運転支援情報を送信し、前記車両の速度と前記車両の運転者の顔の方向とを受信する通信制御手段と、
前記車両の速度と前記顔の方向と前記車両の位置情報とからなる入力パラメータと、運転者の運転意図を示す出力パラメータとの関係を関連づけた連想マトリクスを運転者ごとに複数記憶する記憶装置と、
前記通信制御手段で受信された前記車両の速度と前記顔の方向及び前記車両位置情報算出部で算出された前記車両の位置情報に対して、前記記憶装置から読み出された連想マトリクスに基づき反響動作に伴う状態推移により運転者の意図を認識する意図認識部
として機能させることを特徴とする人間支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004026951A JP4159049B2 (ja) | 2004-02-03 | 2004-02-03 | 人間支援システム、人間支援方法及び人間支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004026951A JP4159049B2 (ja) | 2004-02-03 | 2004-02-03 | 人間支援システム、人間支援方法及び人間支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005222153A JP2005222153A (ja) | 2005-08-18 |
JP4159049B2 true JP4159049B2 (ja) | 2008-10-01 |
Family
ID=34997747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004026951A Expired - Lifetime JP4159049B2 (ja) | 2004-02-03 | 2004-02-03 | 人間支援システム、人間支援方法及び人間支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4159049B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087337A (ja) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | 車輌周囲情報表示装置 |
JP5008118B2 (ja) * | 2006-08-28 | 2012-08-22 | 公立大学法人首都大学東京 | 不審者判別システム及びプロファイル配布システム |
JP4848244B2 (ja) * | 2006-10-19 | 2011-12-28 | 富士電機株式会社 | 情報案内システムおよび情報案内プログラム |
US10225525B2 (en) | 2014-07-09 | 2019-03-05 | Sony Corporation | Information processing device, storage medium, and control method |
CN104217615B (zh) * | 2014-09-16 | 2016-08-24 | 武汉理工大学 | 一种基于车路协同的行人防碰撞***和方法 |
-
2004
- 2004-02-03 JP JP2004026951A patent/JP4159049B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005222153A (ja) | 2005-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Alkinani et al. | Detecting human driver inattentive and aggressive driving behavior using deep learning: Recent advances, requirements and open challenges | |
US20220126878A1 (en) | Autonomous vehicle system | |
Gupta et al. | Deep learning for object detection and scene perception in self-driving cars: Survey, challenges, and open issues | |
Li et al. | Detection of driver manual distraction via image-based hand and ear recognition | |
Tran et al. | A human-vehicle collaborative driving framework for driver assistance | |
US9786192B2 (en) | Assessing driver readiness for transition between operational modes of an autonomous vehicle | |
US11587329B2 (en) | Method and apparatus for predicting intent of vulnerable road users | |
EP3675121A2 (en) | Two-way in-vehicle virtual personal assistant | |
JP5278419B2 (ja) | 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置 | |
JP2009073465A (ja) | 安全運転支援システム | |
Lee et al. | Continuous car driving intent detection using structural pattern recognition | |
JP2020119120A (ja) | 案内システム、案内方法、およびプログラム | |
Alluhaibi et al. | Driver behavior detection techniques: A survey | |
JP4159049B2 (ja) | 人間支援システム、人間支援方法及び人間支援プログラム | |
Zhang et al. | Recognition method of abnormal driving behavior using the bidirectional gated recurrent unit and convolutional neural network | |
Rendon-Velez et al. | Progress with situation assessment and risk prediction in advanced driver assistance systems: A survey | |
Soultana et al. | Context-awareness in the smart car: Study and analysis | |
CN115713738A (zh) | 使用神经网络模型的凝视和意识预测 | |
CN117546219A (zh) | 信息处理***和信息处理装置 | |
JP4264944B2 (ja) | 人間状態推定システム、人間状態推定方法及び人間状態推定プログラム | |
Fasanmade et al. | Context-Aware Quantitative Risk Assessment Machine Learning Model for Drivers Distraction | |
Rasouli | The Role of Context in Understanding and Predicting Pedestrian Behavior in Urban Traffic Scenes | |
US20230304800A1 (en) | Method of augmenting human perception of the surroundings | |
Fasanmade | A Context Aware Classification System for Monitoring Drivers' Distraction Levels | |
EP4365049A1 (en) | Method of assisting a driver if a passenger encounters a health issue |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080711 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |