JP6471654B2 - 表示制御装置、表示制御方法 - Google Patents
表示制御装置、表示制御方法 Download PDFInfo
- Publication number
- JP6471654B2 JP6471654B2 JP2015175108A JP2015175108A JP6471654B2 JP 6471654 B2 JP6471654 B2 JP 6471654B2 JP 2015175108 A JP2015175108 A JP 2015175108A JP 2015175108 A JP2015175108 A JP 2015175108A JP 6471654 B2 JP6471654 B2 JP 6471654B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- display
- safety
- image
- display request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 230000008859 change Effects 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 21
- 238000013468 resource allocation Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Traffic Control Systems (AREA)
Description
ところが、複数の車載機器がモニター画面を共用する場合、画像を生成する機能をそれぞれの車載機器に設けたのでは、同じような機能が重複して存在することになるので無駄が生じる。
そして、表示の要求(以下、表示要求)を受けた表示制御装置は、受け取ったデータに基づいて、自らのリソース(例えば、内蔵するCPUの計算能力や、メモリー、画像処理回路など)を使って画像を生成して、生成した画像をモニター画面に表示する。また、複数の車載機器からの表示要求が重なった場合には、それぞれの表示要求に対してリソースを割り当てて画像を生成することによって、それぞれの表示要求に対応する画像を並行してモニター画面に表示することができる。
尚、以下では、走行の安全を支援するために表示される画像を「走行安全画像」と称し、走行安全画像ではないその他の画像を「一般画像」と称することにする。
これは、走行安全画像を生成しようとした時に、一般画像の生成に多くのリソースが使用されていた場合には、走行安全画像を生成するためのリソースが不足してしまい、画像を迅速に生成することができなくなる虞があるためである。
A.第1実施例 :
A−1.第1実施例の装置構成 :
図1には、第1実施例による表示制御装置10を搭載した車両1が示されている。図示されるように、車両1の内部には、データ通信のための車載ネットワーク2が設けられており、表示制御装置10を含めて様々な車載機器が接続されている。また、表示制御装置10にはモニター画面3が接続されており、表示制御装置10は、車載ネットワーク2から取得した情報に基づいてモニター画面3の表示を制御する。モニター画面3は運転席から見やすい位置に搭載されており、運転者はモニター画面3から様々な情報を得ることができる。図に示す例では、モニター画面3に表示される情報は、車載ネットワーク2に接続されたオーディオ機器4や、カーナビゲーション機器(以下、カーナビ機器5と呼ぶ)、前方安全機器6、車線変更安全機器7などから出力される。
カーナビ機器5は、運転者に対して目的地までの経路を表示するための車載機器であり、モニター画面3に地図上での車両1の位置や周囲の状況などを表示するための情報を出力する。
車線変更安全機器7は、車線変更時の安全確保を支援するための車載機器である。例えば、車両1が車線変更する際に隣車線にいる他車両と衝突する可能性が高まった等の所定の状況を検出した場合には、車線変更安全機器7は、モニター画面3に運転者の注意を促す表示をするための情報を出力する。
前方安全機器6および車線変更安全機器7には、カメラ8F,8Rや、レーダー9a〜9dが接続されており、カメラ8Fは車両1の前方の動画を撮影し、カメラ8Rは後方の動画を撮影する。更に、レーダー9a〜9dはそれぞれ、車両1の左前方、右前方、左後方、右後方に存在する他車両や歩行者などを検出する。前方安全機器6および車線変更安全機器7は、これらの情報に基づいて車両1の周囲の状況を把握することにより、安全確保の支援を行う。
時刻は、「時」を表す2桁の数字と、「分」を表す2桁の数字とを用いて表すことができる。いわゆるデジタル時計では、このような形態で時刻を表示する。また、いわゆるアナログ時計のように、短針が指し示す位置によって「時」を表し、長針が指し示す位置によって「分」を表すことによって、時刻を表示することもできる。コンピューターの内部では、時刻はデジタル時計のような形態で取り扱われているが、人間にとっては、デジタル時計のような形態よりも、アナログ時計のような形態で時刻が表示された方が、容易に理解できることが知られている。従って、モニター画面3に時刻を表示する場合には、アナログ時計のような形態で表示した方が望ましい。
尚、文字盤の画像や、短針の画像、長針の画像を表示制御装置10に出力する場合には、これらの画像のデータも「画像を生成するための情報」に含まれる。
そして、同様なこと(すなわち、情報を視覚的に把握できるように画像として表示すること)は、時刻に限らず、様々な情報について広く行われるようになっている。そして、情報の内容によっては、アナログ時計のような単純な画像ではなく、より複雑な画像が表示されることも珍しいことではない。
表示制御装置10は、各車載機器から受け取った情報に基づいて、その情報を視覚的に把握できるような画像を生成して、モニター画面3に表示させる処理を行う。また、表示制御装置10には、このような処理を実行するためのリソース(例えば、CPUの演算能力や、メモリー量など)が搭載されている。表示する画像が複雑な場合や、画像を生成するために複雑な処理が必要な場合などには、多くのリソースを搭載しておく必要がある。
そこで、モニター画面3に画像を表示しようとする車載機器は、前述した表示要求(すなわち、画像を表示して欲しい旨の要求)を表示制御装置10に出力して、画像を生成するための情報を出力する。表示制御装置10では、車載機器からの表示要求を受け取ると、その表示要求に対してリソースを割り当てる。そして、続いて送られてくる情報を、割り当てたリソースを用いて処理することによって、モニター画面3に表示する画像を生成する。
尚、これらの「部」は、表示制御装置10が画像を生成して表示する機能に着目して、表示制御装置10の内部を分類した抽象的な概念であり、表示制御装置10の内部が、これらの「部」に物理的に区分されていることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIやメモリーなどを含む電子回路として実現することもできるし、これらを組み合わせることによって実現することもできる。本実施例の表示制御装置10は、CPUや、画像処理回路、メモリーなどがバスを介して相互にデータ通信可能に接続されたマイクロコンピューターによって実現されている。
画像生成表示部12は、表示要求をした車載機器から出力された情報に基づいて、その情報を視覚化した画像を生成し、モニター画面3に表示する。画像の生成ないし表示の処理を実行する際には、車載機器毎にリソース割当部11が割り当てた分のリソースを限度に使用する。
予測部14は、情報取得部13が取得した車両1の周囲の状況を示す情報に基づいて、前方安全機器6または車線変更安全機器7の何れかから表示要求を受け取ることを予測する。この予測の方法については後で詳しく説明する。
図3には、表示制御装置10が実行する走行安全表示処理(S100)のフローチャートが示されている。走行安全表示処理(S100)は、各車載機器のうち、前方安全機器6または車線変更安全機器7から出力される情報を表示するための処理である。
走行安全表示処理(S100)を開始すると、先ず始めに、車両1の周囲の状況を示す情報を取得する(S101)。以下では、車両1の周囲の状況を示す情報として、車両1の周囲に存在する他車両との相対位置を取得するものとして説明する。
続いて、自車両と他車両との相対位置の時間変化を取得する(S102)。後述するように、走行安全表示処理は、一定周期で繰り返し実行されており、一定周期毎にS101で周囲の状況(ここでは他車両との相対位置)が取得されている。そこで、S102では、過去に取得された相対位置と、この度の周期で取得した相対位置との変化から、相対位置の時間変化を取得する。
そして、取得した相対位置の時間変化に基づいて、走行安全の表示要求を受けると予測されるか否かを判断する(S103)。
また、単に衝突時間を算出するのではなく、所定の時間周期で衝突時間を算出して、時間の経過と共に衝突時間が長くなっているのか、短くなっているのかを検出する。そして、衝突時間が時間の経過と共に短くなっており、且つ、衝突時間の値が既にある程度まで短くなっている場合には、走行安全の表示要求があると予測するようにしてもよい。
図3に示した走行安全表示処理のS103では、以上のようにして、走行安全の表示要求を受けると予測されるか否かを判断する。その結果、表示要求を受けると予測されなかった場合は(S103:no)、処理の先頭に戻って、再度、周囲の情報を取得する(S101)。
例えば、前方安全機器6からの表示要求を受けると予測した場合には、前方安全機器6からの表示要求に対する処理を実行するためのリソースを確保する。また、車線変更安全機器7からの表示要求を受けると予測した場合には、車線変更安全機器7用にリソースを確保する。
尚、リソースを確保するに際しては、実際に表示要求があったときに必要となる全量のリソースを確保するようにしても良いが、あくまでも予測に対してリソースを確保するので、確保したリソースが無駄になる場合も起こりえる。従って、全量のリソースを確保するのではなく、所定割合(例えば50%、あるいは75%など)のリソースを確保するようにしても良い。また、表示要求がある可能性が高くなるほど、高い割合でリソースを確保するようにしても良い。
例えば、図5(a)に示したように、オーディオ機器4からの表示要求に応じて、オーディオ機器4に関する画像(以下、オーディオ画像)を表示している状態で、カーナビ機器5からの表示要求を受け取ると、リソース使用率は増加する。そして、その状態から更に、前方安全機器6または車線変更安全機器7からの走行安全のための表示要求を受け取っても、十分なリソースを割り当てることができないことが生じ得る。このような事態が生じると、前方安全機器6または車線変更安全機器7による安全支援のための画像(以下、走行安全画像)を迅速に表示することができなくなる。走行安全画像を迅速に表示できない事態は、走行の安全を確保する観点から好ましいことではない。
このような事態が生じると、カーナビ機器5のための画像を迅速に表示することができなくなる。尚、前方安全機器6または車線変更安全機器7以外の車載機器(例えばオーディオ機器4や「カーナビ機器5など)のための画像を、走行安全画像と区別して、一般画像と呼ぶことがあるものとする。
しかし、前方安全機器6または車線変更安全機器7からの表示要求があった場合には、予め確保しておいたリソースを割り当てることができるので、走行安全画像を迅速に表示することが可能となる。もちろん、カーナビ機器5のための画像などの一般画像についても迅速に表示可能な方が望ましいが、一般画像の表示が遅れても走行の安全に影響することはない。これに対して、走行安全画像の表示が遅れると走行の安全に大きく影響し得る。従って、図5(b)に例示したように、走行安全の表示要求を予測してリソースを確保しておくことで、車両1の走行安全を確保することが可能となる。
更には、走行安全の表示要求があると予測した状況に応じて、モニター画面3にどのような走行安全画像が表示されるかは、ある程度は予測できるから、その予測に応じた分量のリソースを確保するようにしても良い。
また、複数の車載機器から走行安全の表示要求を受けると予測し、それぞれの車載機器に対してリソースを確保する場合には、予測された可能性が高い表示要求に対して、多くのリソースを確保するようにしてもよい。
続いて、走行安全の表示要求を受けたか否かを判断する(S105)。その結果、走行安全の表示要求を受けたと判断されたら(S105:yes)、走行安全画像を表示して(S106)、走行安全表示処理(S100)の先頭に戻る。
先ず、こうした走行安全画像の表示要求をした車線変更安全機器7からは、車両1に対する他車両Bの相対位置を表す情報と、車両1の後部を表す画像情報と、他車両Bの後部を表す画像情報と、道路を表す画像情報とが出力される。これを受けて、表示制御装置10は、車両1と他車両Bとの位置関係に即して、道路を表す画像上に車両1の後部を表す画像と他車両Bの後部を表す画像とを配置することによって、走行安全画像を生成した後、生成した走行安全画像をモニター画面3に表示する。
例えば、図6に示した走行安全画像を生成する場合、表示制御装置10は、車線変更安全機器7から出力される様々な情報を使用する。これらの情報には、車両1に対する他車両Bの相対位置や、他車両Bの車種や色などの情報が含まれている。そして、これらの情報は、車両1の後部に搭載されたカメラ8Rの撮影画像を解析すれば取得できる。また、道路を表す画像についても撮影画像から取得できる。後続車両である他車両Bを後ろから見た画像については、撮影画像からは直接取得することができないが、他車両Bの車種や色が分かれば、予め備えておいたデータベースに照合して、その車種および色の車両の後部を表す画像を取得することができる。このように、表示制御装置10は、車載機器から出力される前であっても、走行安全画像を生成するために必要な情報を取得することができる。
このように、走行安全画像を生成するために必要な情報を取得して、走行安全画像を予め準備しておけば、実際に表示要求を受け取ったときに、走行安全画像の表示を遅延なく確実に開始することができる。
また、車線変更安全機器7が実行する安全支援の機能が運転者の注意喚起に留まらず、車線変更を禁止するようにステアリング操作に介入する場合には、故障が発生したなどと運転者が誤解しないように「ステアリング介入中」などとモニター画面3に表示することが考えられる。こうした内容を表示する画像であっても、上記と同様にして表示要求を受けることを予測できるし、リソースを確保して迅速に表示する利益があるため、本実施例の走行安全画像に該当する。
上述した第1実施例の表示制御装置10は、カメラ8F,8Rおよびレーダー9a〜9dから車両1の周囲の状況を示す情報を取得し、その情報に基づいて前方安全機器6または車線変更安全機器7から走行安全の表示要求を受けることを予測していた。そして、この予測は、車両1と他車両との相対位置を解析することによって行われていた。しかし、前方安全機器6および車線変更安全機器7はそれぞれ、車両1が他車両と衝突する可能性が高まったという状況を検出するために、車両1と他車両との相対位置を、表示制御装置10とは別個に解析している。このことに着目して、第2実施例の表示制御装置20は、前方安全機器6および車線変更安全機器7から情報を取得し、その情報に基づいて走行安全の表示要求を受けることを予測する。以下では、このような第2実施例について、第1実施例と共通する点については説明を援用し、異なる点に焦点を当てて説明する。
図7には、表示制御装置20の内部の構造を表すブロック図が示されている。図示されるように、表示制御装置20は、リソース割当部21と、画像生成表示部22と、予備情報取得部23と、予測部24とを備えている。
リソース割当部21は、第1実施例と同様に、オーディオ機器4や、カーナビ機器5、前方安全機器6、車線変更安全機器7の何れかの車載機器から受け取った表示要求に対してリソースを割り当てる。また、画像生成表示部22についても第1実施例と同様に、表示要求をした車載機器から出力された情報に基づいて、その情報を視覚化した画像を生成し、その画像をモニター画面3に表示する。
図8には、表示制御装置20が実行する走行安全表示処理(S200)のフローチャートが示されている。走行安全表示処理(S200)を開始すると、先ず始めに、前方安全機器6または車線変更安全機器7の車載機器から予備情報を取得したか否かを判断する(S201)。その結果、予備情報を取得していなければ(S201:no)、この判断を繰り返す。そして、予備情報を取得したら(S201:yes)、その予備情報を出力した車載機器から走行安全の表示要求を受けることを予測する(S202)。
このS204の判断の結果、走行安全の表示要求を受けたら(S204:yes)、車載機器から出力された情報に基づいて走行安全画像を表示し(S205)、走行安全表示処理(S200)の先頭に戻る。リソースの確保や走行安全画像の表示については第1実施例と同様にして行う。
これに対して、車載機器からの回答が、所定の閾値を超えていない旨の回答であれば、走行安全の表示要求を受けると引き続き予測されないことになる(S207:no)。この場合、確保していたリソースを解放して(S208)、走行安全表示処理(S200)の処理の先頭に戻る。
4…オーディオ機器、 5…カーナビ機器、 6…前方安全機器、
7…車線変更安全機器、 8F,8R…カメラ、 9a〜9d…レーダー、
10…表示制御装置、 11…リソース割当部、 12…画像生成表示部、
13…情報取得部、 14…予測部、 20…表示制御装置、
21…リソース割当部、 22…画像生成表示部、 23…予備情報取得部、
24…予測部。
Claims (5)
- 走行安全用の車載機器(6,7)を含む複数の車載機器(4〜7)とモニター画面(3)とを備える車両(1)に搭載されて、前記モニター画面への表示要求を前記車載機器から受け取ると、該車載機器からの情報に基づいて画像を生成した後、該生成した画像を前記モニター画面に表示する制御を行う表示制御装置(10)であって、
前記車両の周囲の状況を示す情報を取得する情報取得部(13)と、
前記車両の周囲の状況を示す情報に基づいて、前記走行安全用の車載機器から前記表示要求を受け取るか否かを予測する予測部(14)と、
前記走行安全用の車載機器から前記表示要求を受け取ると予測された場合には、予測された前記表示要求に対する処理を実行するためのリソースを割り当てるリソース割当部(11)と、
前記走行安全用の車載機器から前記表示要求を受け取ったら、該表示要求に対して割り当てられた前記リソースを用いて、前記画像を生成して前記モニター画面に表示する画像生成表示部(12)と
を備えることを特徴とする表示制御装置。 - 請求項1に記載の表示制御装置であって、
前記情報取得部は、前記車両の周囲の状況を示す情報として、前記車両に対する他車両または歩行者または障害物の位置の時間変化を示す情報を取得し、
前記予測部は、前記車両に対する他車両または歩行者または障害物の位置の時間変化に基づいて、前記走行安全用の車載機器から前記表示要求を受け取るか否かを予測する
ことを特徴とする表示制御装置。 - 請求項1または請求項2に記載の表示制御装置であって、
前記予測部は、前記走行安全用の車載機器から前記表示要求を受け取るか否かを、該表示要求を受け取る可能性と共に予測しており、
前記リソース割当部は、前記表示要求を受け取る可能性に応じて、割り当てるリソース量を異ならせる
ことを特徴とする表示制御装置。 - 請求項1ないし請求項3の何れか一項に記載の表示制御装置であって、
前記リソース割当部は、前記走行安全用の車載機器から前記表示要求を受け取ると予測されて前記リソースを割り当てた後も、該予測の内容が、該表示要求を受け取らないとの内容に変更された場合には、該表示要求に対して割り当てていたリソースを解放する
ことを特徴とする表示制御装置。 - 走行安全用の車載機器(6,7)を含む複数の車載機器(4〜7)とモニター画面(3)とを備える車両(1)に適用されて、前記モニター画面への表示要求を前記車載機器から受け取ると、該車載機器からの情報に基づいて画像を生成した後、該生成した画像を前記モニター画面に表示する制御を行う表示制御方法(S100)であって、
前記車両の周囲の状況を示す情報を取得する工程(S101)と、
前記車両の周囲の状況を示す情報に基づいて、前記走行安全用の車載機器から前記表示要求を受け取るか否かを予測する工程(S103)と、
前記走行安全用の車載機器から前記表示要求を受け取ると予測された場合には、予測された前記表示要求に対する処理を実行するためのリソースを割り当てる工程(S104)と、
前記走行安全用の車載機器から前記表示要求を受け取ったか否かを判断する工程(S105)と、
前記走行安全用の車載機器から前記表示要求を受け取ったら、該表示要求に対して割り当てられた前記リソースを用いて、前記画像を生成して前記モニター画面に表示する工程(S106)と
を備える表示制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015175108A JP6471654B2 (ja) | 2015-09-04 | 2015-09-04 | 表示制御装置、表示制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015175108A JP6471654B2 (ja) | 2015-09-04 | 2015-09-04 | 表示制御装置、表示制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017047869A JP2017047869A (ja) | 2017-03-09 |
JP6471654B2 true JP6471654B2 (ja) | 2019-02-20 |
Family
ID=58279019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015175108A Active JP6471654B2 (ja) | 2015-09-04 | 2015-09-04 | 表示制御装置、表示制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6471654B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7151631B2 (ja) * | 2019-06-11 | 2022-10-12 | 株式会社デンソー | 車両用制御装置、車両用表示システム、及び車両用表示制御方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4774849B2 (ja) * | 2005-07-27 | 2011-09-14 | 日産自動車株式会社 | 車両の障害物表示装置 |
JP4855797B2 (ja) * | 2006-02-17 | 2012-01-18 | 株式会社東芝 | 監視システム及び画像処理装置 |
JP4286876B2 (ja) * | 2007-03-01 | 2009-07-01 | 富士通テン株式会社 | 画像表示制御装置 |
JP2010003110A (ja) * | 2008-06-20 | 2010-01-07 | Panasonic Corp | 車載用動画像データ記録装置 |
-
2015
- 2015-09-04 JP JP2015175108A patent/JP6471654B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017047869A (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6112054B2 (ja) | 電子機器、電子機器の制御方法及び電子機器の制御プログラム | |
JP7040399B2 (ja) | 情報処理システム及び情報処理方法 | |
US10353394B2 (en) | Driving assistance device and driving assistance method | |
CN111108031B (zh) | 行驶控制装置、车辆以及行驶控制方法 | |
JP5938518B2 (ja) | 衝突安全制御装置 | |
JPWO2014203333A1 (ja) | 追い越し支援システム | |
JP2007261432A (ja) | 車両用制御装置 | |
JP2020027606A (ja) | 情報処理方法、情報処理装置、及び、情報処理システム | |
JP6388079B2 (ja) | 発進制御装置及び発進制御方法 | |
JP2018077828A (ja) | 画像処理アルゴリズム | |
JP2024052803A (ja) | 情報処理方法、情報処理装置、及び、情報処理システム | |
JP6676789B2 (ja) | 車両におけるアダプティブクルーズコントロールのための追い越し加速支援 | |
JP6471654B2 (ja) | 表示制御装置、表示制御方法 | |
US20140139672A1 (en) | Notification control method and notification control device | |
US20210264786A1 (en) | Warning device of vehicle and warning method thereof | |
JP2020113194A (ja) | 情報処理装置 | |
JP2011118723A (ja) | 車両の衝突を回避するための装置 | |
US20230356746A1 (en) | Presentation control device and non-transitory computer readable medium | |
CN112298175B (zh) | 列队行驶控制器、包括其的***及列队行驶控制方法 | |
EP3153360B1 (en) | Intelligent control of a wiper nozzle of a car | |
US11981255B2 (en) | Vehicle control device, vehicle, operation method for vehicle control device, and storage medium | |
JP2005115531A (ja) | Etcレーン検出装置及びetcレーン検出方法 | |
JP7444539B2 (ja) | 運転支援装置 | |
JP5443930B2 (ja) | 車両の走行安全装置 | |
CN113954766A (zh) | 用于基于状况地处理机动车的传感器数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6471654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |