JP6374834B2 - 車両用情報提供装置 - Google Patents

車両用情報提供装置 Download PDF

Info

Publication number
JP6374834B2
JP6374834B2 JP2015128341A JP2015128341A JP6374834B2 JP 6374834 B2 JP6374834 B2 JP 6374834B2 JP 2015128341 A JP2015128341 A JP 2015128341A JP 2015128341 A JP2015128341 A JP 2015128341A JP 6374834 B2 JP6374834 B2 JP 6374834B2
Authority
JP
Japan
Prior art keywords
information
occupant
vehicle
driver
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015128341A
Other languages
English (en)
Other versions
JP2017007619A (ja
Inventor
隆司 塩田
隆司 塩田
行生 鈴木
行生 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2015128341A priority Critical patent/JP6374834B2/ja
Priority to US15/185,954 priority patent/US9815371B2/en
Priority to DE102016211034.9A priority patent/DE102016211034A1/de
Publication of JP2017007619A publication Critical patent/JP2017007619A/ja
Priority to US15/673,199 priority patent/US10207584B2/en
Application granted granted Critical
Publication of JP6374834B2 publication Critical patent/JP6374834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両用情報提供装置に関する。
従来より、種々の情報を車両の乗員に提供する車両用情報提供装置が知られている。車両用情報提供装置は、乗員の求めに応じて情報を提供するものであるが、近年では、利便性の観点から、乗員の求めがない場合であっても装置側で情報提供が必要なシーンを判断し、情報を自動的に提供する手法が知られている。
例えば特許文献1には、ナビゲーション用の表示画面上に所定の付加情報を表示する場合に、表示画面の一部の表示領域を点滅させるナビゲーション装置が開示されている。この装置によれば、付加情報が表示されたことを、運転者が容易に気付くことができる。
また、例えば特許文献2には、車載機器を制御する車載機器制御装置が開示されている。この装置では、車載機器の制御を行うか否かを問い合わせるメッセージを読み出すと、乗員が所定の方向を見ながら顔を縦に振る動きを肯定のリアクション、又は、乗員が所定の方向を見ながら顔を横に振る動きを否定のリアクションとして検出する。そして、肯定のリアクションを検出したときには、車載機器に対して、そのメッセージに係る制御を行うための制御信号を送信する。
特開2009−145270号公報 特開2010−76602号公報
しかしながら、情報提供のシーンを判断して情報を自動的に提供したとしても、乗員側においてはその情報を受け取る態勢が整っていない場合がある。そのため、情報の提供を煩わしいと感じたり、お節介と感じたりしてしまう可能性がある。
本発明はかかる事情に鑑みてなされたものであり、その目的は、乗員にとって受け取りやすい情報提供を行うことができる車両用情報提供装置を提供する。
かかる課題を解決するために、本発明は、車両内において授受される車両信号と、走行状況毎に車両信号のパターンを予めモデル化した行動モデルとに基づいて、現在の走行状況を判定する状況判定部と、乗員の感覚に働きかけて乗員の意識を促す誘導制御を行うとともに、誘導制御に対する乗員の状態を判定する乗員状態判定部と、状況判定部により判定された現在の走行状況と、乗員状態判定部により判定された乗員の状態とに基づいて、乗員への情報の提供を行う対話制御部と、を有する車両用情報提供装置を提供する。この場合、乗員状態判定部は、提供する情報について緊急性の高いものか否かを判定し、緊急性の高い情報については誘導制御を行わず、緊急性の高くない情報については誘導制御を行う。そして、対話制御部は、緊急性の高い情報については当該情報の提供タイミングにおいて乗員への情報の提供を行い、緊急性の高くない情報については情報を提供すべきシーンにおいて乗員が情報を受け取る態勢が整ったと判断した場合に、乗員への情報の提供を行う。
また、本発明において、対話制御部は、乗員に提供した情報に対する乗員の応答に基づいて乗員の意思を判定し、当該判定した意思に基づいて、車両に搭載された機能を動作させる動作指令を出力することが好ましい。
また、本発明において、乗員状態判定部は、乗員の音声及び乗員の視線方向の少なくとも一方を認識し、当該認識結果に基づいて誘導制御に対する乗員の状態を判定することが好ましい。
本発明によれば、あらかじめ乗員の意識を促すことで、乗員が情報を受け取る態勢を作りだすことができる。そして、受け取り態勢があることを前提に情報の提供を行うので、煩わしさやお節介といった感覚を抱きにくく、乗員にとって受け取りやすい情報提供を行うことができる。
本実施形態に係る車両用情報提供装置の構成を示すブロック図 メータユニットを示す説明図 本実施形態の車両用情報提供装置の動作手順を示すフローチャート 車両用情報提供装置1の動作を概念的に示すブロック図
図1は、本実施形態に係る車両用情報提供装置1の構成を示すブロック図である。本実施形態に係る車両用情報提供装置1は、車両の乗員(典型的には運転者)に情報の提供や、所定のサービスを行う装置である。
この車両用情報提供装置1は、制御部10、記憶部11と、通信IF12と、マイクロフォン13と、カメラ14と、スピーカ15と、ディスプレイ16と、LED17と、スイッチ18とを主体に構成されている。
制御部10は、車両用情報提供装置1全体の制御を司るものであり、CPU、ROM、RAM、I/Oインターフェースを主体に構成されたマイクロコンピュータを用いることができる。CPUは、制御プログラムに従い、各種の制御を行う。ROMは、CPUが実行するプログラム、又はそのプログラムを実行するために必要なデータを記憶する。RAMは、CPUがプログラムを実行する際の作業領域である。
記憶部11は、例えばハードディスク装置等の記憶装置で構成されており、記憶部11には、行動モデルデータベース11aが格納されている。また、記憶部11には、車両用情報提供装置1が情報提供を行うために必要な各種のデータが格納されている。
行動モデルデータベース11aは、後述する車両信号のパターンと走行状況とを対応付けたデータベースであり、種々の走行状況に対応した車両信号のパターンが格納されている。行動モデルデータベース11aは、種々の走行状況毎に、一般的な運転者によってなされる運転操作のパターンに対応する車両信号のパターンを統計的に処理することにより作成されており、実験やシミュレーションを通じて予め作成されている。換言すれば、行動モデルデータベース11aは、走行状況毎に車両信号のパターンを予めモデル化した行動モデルに相当する。
通信IF12は、制御部10と車両側の各種制御装置(ECU:Electric Control Unit)20等との間の通信を行うためのインターフェースであり、例えばCAN(Controller Area Network)規格に対応している。通信IF12を介して、走行速度、ハンドル舵角、ブレーキ、ウインカー等の車両内において授受される車両状態に関する車両信号が、車両側から制御部10に入力される。また、この通信IF12を介して、ナビゲーションECUが有する車両位置(例えば、高速道路や一般道の情報、上り車線や下り車線の情報)に関する車両信号が、車両側から制御部10に入力される。
マイクロフォン13は、運転席の近傍に配置されており、運転者によって発話される音声を入力する。マイクロフォン13に入力した音声は音声信号として出力され、制御部10に入力される。
カメラ14は、運転席前方(例えばインストルメントパネル)に配置されており、運転者の顔を含む所定範囲を撮影し、当該撮影した画像を出力する。カメラ14から出力された画像はA/D変換や画像処理が施され、画像データとして制御部10に入力される。
スピーカ15は、制御部10によって制御され、所定の音声メッセージや音を出力する。
ディスプレイ16は、制御部10によって制御され、所定の情報に対応した画像やテキスト、グラフィックを表示する表示装置である。ディスプレイ16としては、例えばLCDやTFTなどを用いることができる。本実施形態では、図2に示すように、ディスプレイ16は、メータユニット30に各種計器とともに配設されるメータ用ディスプレイによって実現されている。
LED17は、制御部10によって制御され、点灯、消灯を行う表示手段である。図2に示すように、LED17は、ディスプレイ16の周囲に複数配置されている。
スイッチ18は、運転者の操作に応じた操作信号を制御部10に入力するためのものであり、例えばハンドルに設けられたステアリングスイッチで構成されている。
本実施形態において、マイクロフォン13、カメラ14、スピーカ15、ディスプレイ16、LED17及びスイッチ18は、運転者と制御部10との間でコミュニケーションを行う装置(コミュニケーション装置)に該当する。すなわち、マイクロフォン13、カメラ14及びスイッチ18を利用して、運転者の状態を把握したり、スピーカ15、ディスプレイ16及びLED17を利用して、運転者に対する情報の発信を行うことができる。
本実施形態の特徴の一つとして、制御部10は、運転者に情報を提供する機能を担っており、運転者の求めに応じて、或いは、運転者の求めに拘わらず情報提供が必要なシーンを判断した場合には、情報を運転者に提供することができる。運転者に対する情報提供は、制御部10によりそのシーンが判断され、当該情報が作成される。そして、運転者に対する情報提供の方法としては、スピーカ15を用いた音声メッセージの出力や、ディスプレイ16を用いた表示出力などが挙げられる。
制御部10は、これを機能的に捉えた場合、状況判定部10aと、乗員状態判定部10bと、対話制御部10cとを有している。
状況判定部10aは、通信IF12を介して取得される車両信号と、行動モデルデータベース11aとに基づいて、現在の走行状況を判定する。状況判定部10aにより判定された現在の走行状況は、乗員状態判定部10bに出力される。
乗員状態判定部10bは、運転者の感覚(視覚・聴覚)に働きかけて、運転者の意識を促す誘導制御を行う。換言すれば、この誘導制御は、車両用情報提供装置1によって自動的になされる情報提供に対し、これを受け取る態勢を促すための制御に相当する。乗員状態判定部10bは、スピーカ15から音声メッセージ又は音を出力したり、LED17を点灯させたりすることで、誘導制御を行う。
そして、乗員状態判定部10bは、この誘導制御に対する運転者の状態(反応)を判定する。運転者の状態は、運転者の音声の認識、又は運転者の視線の認識などにより判定される。
(音声認識)
乗員状態判定部10bは、マイクロフォン13から入力される音声信号を処理して、運転者の発した音声を認識する。そして、乗員状態判定部10bは、認識した音声によって運転者の状態を判定する。例えば、誘導制御を行っても運転者が何ら音声を発しない場合には、誘導制御に対して運転者が反応していないと判定する。一方、誘導制御に対応して運転者が何かしらの音声を発した場合には、誘導制御に対して運転者が反応したと判定するといった如くである。
(視線認識)
乗員状態判定部10bは、カメラ14から入力される画像データを処理して、運転者の視線方向を認識する。そして、乗員状態判定部10bは、認識した視線方向によって運転者の状態を判定する。例えば、誘導制御を行っても運転者が視線を車外に向けたままの場合には、誘導制御に対して運転者が反応していないと判定する。一方、誘導制御に対応して運転者が視線を車内(例えばメータユニット30やスピーカ15)に移動させた場合には、誘導制御に対して運転者が反応したと判定するといった如くである。
なお、運転者の状態は、スイッチ18への入力操作によって判定してもよい。例えば、誘導制御を行っても運転者がスイッチ18を操作しない場合には、誘導制御に対して運転者が反応していないと判定する。一方、誘導制御に対応して運転者がスイッチ18を操作した場合には、誘導制御に対して運転者が反応したと判定するといった如くである。
対話制御部10cは、状況判定部10aにより判定された現在の走行状況と、乗員状態判定部10bにより判定された運転者の状態とに基づいて、運転者への情報の提供を行う。具体的には、対話制御部10cは、現在の走行状況から情報を提供すべきシーンを判定し、そして、運転者の状態から運転者が情報を受け取る態勢が整っているか否かを判定する。これにより、対話制御部10cは、情報を提供すべきシーン、かつ、運転者が情報を受け取る態勢が整った場合において、運転者への情報の提供を行うことができる。
また、対話制御部10cは、運転者に提供した情報に対する運転者の応答に基づいて運転者の意思を確認する。そして、対話制御部10cは、この確認した意思に基づいて制御装置20(車両に搭載された機能)を動作させる動作指令を出力する。
以下、本実施形態に係る車両用情報提供装置1による情報提供の動作を説明する。ここで、図3は、本実施形態の車両用情報提供装置1の動作手順を示すフローチャートである。また、図4は、車両用情報提供装置1の動作を概念的に示すブロック図である。
まず、ステップ10(S10)において、制御部10は、通信IF12を介して取得される車両信号のパターンに基づいて行動モデルデータベース11aを検索し、現在の走行状況を判定する(図4(A))。例えば、速度に関する車両信号のパターン(例えば97km/hを5分間)と、車両位置に関する車両信号のパターン(例えば、高速道路の上り車線)とに基づいて、現在の走行状況が「高速走行中で速度が安定している」と判定されるといった如くである(図4(B))。
ステップ10において走行状況が判定されると、ステップ11(S11)において、制御部10は、スピーカ15又はLED17に対して制御指令を出力する(図4(C))。この制御指令に伴い、スピーカ15から音(音声メッセージを含む)が出力されたり、LED17が点灯したり、或いは、その両方が行われる(誘導制御)。音又は光を利用して運転者の聴覚・視覚に働きかけることで、情報提供に先立ち、運転者の意識、すなわち、情報を受け取るという運転者の態勢を促すことができる(図4(D))。なお、この段階では、運転者の意識を促すことが目的であることから、運転者が煩わしさ等を感じることがない程度の音又は光であることが好ましい。
ステップ12(S12)において、制御部10は、誘導制御に対する運転者の状態、すなわち、運転者が音又は光に気付いたか否かを判定する。運転者が音又は光に気付いたか否かは、運転者の発話又は運転者の視線による意思表示から判定される(図4(E))。制御部10は、マイクロフォン13を介して入力される音声信号を処理し、運転者の音声を認識することで、運転者が音又は光に気付いたか否かを判断する(図4(F))。或いは、制御部10は、カメラ14から出力される画像を処理して運転者の視線方向が所定の方向に向いたことを認識することで、運転者が音又は光に気付いたか否かを判断する(図4(F))。なお、制御部10は、スイッチ18への操作入力があったことを条件に、運転者が音又は光に気付いたか否かを判断することもできる。
運転者が音又は光に気付いた場合には(図4(G))、ステップ12において肯定判定され、後述するステップ15(S15)に進む。一方、運転者が音又は光に気付かない場合には、ステップ12において否定判定され、ステップ13(S13)に進む。
ステップ13において、制御部10は、スピーカ15又はLED17に対して、制御指令を再度出力する(図4(C))。この制御指令に伴い、スピーカ15から音(音声メッセージを含む)が出力されたり、LED17が点灯したり、或いは、その両方が行われる(再度の誘導制御)。このステップ13は再度の誘導制御となるため、音又は光の出力態様は、ステップ12において実行した誘導制御とは異なる態様で行うことが望ましい。例えば、スピーカ15の音量を増加させる、或いは、LED17を点滅させるといった如くである。
ステップ14(S14)において、制御部10は、ステップ12と同様、運転者が音又は光に気付いたか否かを判断する(図4(E),(F))。運転者が音又は光に気付いた場合には(図4(G))、ステップ14において肯定判定され、後述するステップ15に進む。一方、運転者が音又は光に気が付かない場合には、ステップ14において否定判定され、ステップ13に戻る。
ステップ15において、制御部10は、運転者が情報を受け取る態勢にあることから、スピーカ15又はディスプレイ16を制御して所定の情報を提供する。例えば、制御部10は、「定速度走行」の提案情報を提供する(図4(H))。
ステップ16(S16)において、制御部10は、提供した情報に対する運転者の応答を受け取り、運転者の意思を確認する(図4(I))。運転者の意思の確認は、運転者の発話を認識する方法、運転者によるスイッチ18の入力操作を検出する方法、運転者の視線方向を認識する方法などで行うことができる。
ステップ17(S17)において、制御部10は、提供した情報に対する同意(運転者の意思)を確認した場合には、制御装置20に対して所定の動作命令を出力する(図4(J))。例えば、エンジン制御を司る制御装置20に対して、定速走行を行う動作指令を出力するといった如くである。
このように本実施形態において、車両用情報提供装置1は、車両内において授受される車両信号と走行状況毎に車両信号のパターンを予めモデル化した行動モデル(行動モデルデータベース11a)とに基づいて現在の走行状況を判定する状況判定部10aと、運転者の感覚に働きかけて運転者の意識を促す誘導制御を行うとともに誘導制御に対する運転者の状態を判定する乗員状態判定部10bと、状況判定部10aにより判定された現在の走行状況と乗員状態判定部10bにより判定された運転者の状態とに基づいて運転者への情報の提供を行う対話制御部10cと、を有している。
ここで、対話制御部10cは、情報を提供すべきシーンにおいて運転者が情報を受け取る態勢が整ったと判断した場合に、運転者への情報の提供を行う。
この構成によれば、あらかじめ運転者の意識を促すことで、運転者が情報を受け取る態勢を作りだすことができる。そして、この態勢がある上で情報の提供を行っているので、煩わしさやお節介といった感覚にならず、運転者にとって受け取りやすい情報提供を行うことができる。また、運転者の状態を把握して情報提供を行っているので、運転タスクへの負担を軽減することができる。
また、運転者が情報を受け取る態勢を作りだすことで、運転者自らが情報を取得するように行動するため、情報が押しつけられるといった運転者の感覚を抑制することができる。
また、本実施形態において、対話制御部10cは、運転者に提供した情報に対する運転者の応答に基づいて運転者の意思を判定し、当該判定した意思に基づいて、車両に搭載された機能を動作させる動作指令を出力する。
この構成によれば、現在の走行状況と運転者の状態とにあった情報を提供することができる。これにより、車両に搭載されている機能を有効に活用することができる。
また、本実施形態において、乗員状態判定部10bは、運転者の音声及び運転者の視線方向の少なくとも一方を認識し、当該認識結果に基づいて誘導制御に対する運転者の状態を判定する。
この構成によれば、運転者の状態を簡単な方法で判定することができる。そのため、状態を判定するために、高価なセンサや装置を搭載する必要がないので、コストアップすることなく情報提供を行うことができる。
なお、車両用情報提供装置1が提供する情報のなかには、緊急性の高い情報も含まれる。そこで、制御部10は、提供する情報について緊急性の高いものか否かを判定してもよい。この場合、緊急性の高い情報については、上述したような誘導制御を行わず、その提供タイミングにおいて当該情報を提供し、一方、緊急性の高くない情報については、上述したように運転者が情報を受け入れる態勢を整えたことを条件に情報を提供してもよい。
以上、本発明の実施形態にかかる車両用情報提供装置について説明したが、本発明は上述した実施形態に限定されることなく、その発明の範囲内において種々の変形が可能であることはいうまでもない。
1 車両用情報提供装置
10 制御部
10a 状況判定部
10b 乗員状態判定部
10c 対話制御部
11 記憶部
11a 行動モデルデータベース
12 通信IF
13 マイクロフォン
14 カメラ
15 スピーカ
16 ディスプレイ
17 LED
18 スイッチ

Claims (3)

  1. 車両内において授受される車両信号と、走行状況毎に前記車両信号のパターンを予めモデル化した行動モデルとに基づいて、現在の走行状況を判定する状況判定部と、
    乗員の感覚に働きかけて乗員の意識を促す誘導制御を行うとともに、前記誘導制御に対する乗員の状態を判定する乗員状態判定部と、
    前記状況判定部により判定された現在の走行状況と、前記乗員状態判定部により判定された乗員の状態とに基づいて、乗員への情報の提供を行う対話制御部と、を有し、
    前記乗員状態判定部は、提供する情報について緊急性の高いものか否かを判定し、緊急性の高い情報については前記誘導制御を行わず、緊急性の高くない情報については前記誘導制御を行い、
    前記対話制御部は、緊急性の高い情報については当該情報の提供タイミングにおいて乗員への情報の提供を行い、緊急性の高くない情報については情報を提供すべきシーンにおいて乗員が情報を受け取る態勢が整ったと判断した場合に、乗員への情報の提供を行う車両用情報提供装置。
  2. 前記対話制御部は、前記乗員に提供した情報に対する乗員の応答に基づいて乗員の意思を判定し、当該判定した意思に基づいて、車両に搭載された機能を動作させる動作指令を出力することを特徴とする請求項1に記載された車両用情報提供装置。
  3. 前記乗員状態判定部は、乗員の音声及び乗員の視線方向の少なくとも一方を認識し、当該認識結果に基づいて前記誘導制御に対する乗員の状態を判定することを特徴とする請求項1又は2に記載された車両用情報提供装置。
JP2015128341A 2015-06-23 2015-06-26 車両用情報提供装置 Active JP6374834B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015128341A JP6374834B2 (ja) 2015-06-26 2015-06-26 車両用情報提供装置
US15/185,954 US9815371B2 (en) 2015-06-23 2016-06-17 Information providing apparatus for vehicle
DE102016211034.9A DE102016211034A1 (de) 2015-06-23 2016-06-21 Informationsbereitstellungsvorrichtung für ein Fahrzeug
US15/673,199 US10207584B2 (en) 2015-06-23 2017-08-09 Information providing apparatus for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015128341A JP6374834B2 (ja) 2015-06-26 2015-06-26 車両用情報提供装置

Publications (2)

Publication Number Publication Date
JP2017007619A JP2017007619A (ja) 2017-01-12
JP6374834B2 true JP6374834B2 (ja) 2018-08-15

Family

ID=57761084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015128341A Active JP6374834B2 (ja) 2015-06-23 2015-06-26 車両用情報提供装置

Country Status (1)

Country Link
JP (1) JP6374834B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4728839B2 (ja) * 2006-03-02 2011-07-20 株式会社デンソーアイティーラボラトリ 車載機器制御装置
JP5228716B2 (ja) * 2007-10-04 2013-07-03 日産自動車株式会社 情報提示システム
JP2014021833A (ja) * 2012-07-20 2014-02-03 Denso Corp 車両用の映像制御装置
JP5821859B2 (ja) * 2013-01-18 2015-11-24 株式会社デンソー 表示システム

Also Published As

Publication number Publication date
JP2017007619A (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP7060031B2 (ja) 運転者監視システム
US10192171B2 (en) Method and system using machine learning to determine an automotive driver's emotional state
JP6565859B2 (ja) 車両制御システム
CN108028015B (zh) 信息处理装置、信息处理方法和存储介质
JP6342856B2 (ja) 車両制御装置
US20170217445A1 (en) System for intelligent passenger-vehicle interactions
JP5931208B2 (ja) 車載情報処理装置
JP4534925B2 (ja) 車両用情報提供装置
KR102396993B1 (ko) 자율주행 차량에서 수동주행 모드로의 전환 조건
JPWO2015151243A1 (ja) 車両用情報呈示装置
JP2018167775A (ja) 車両運転支援システム及び車両運転支援方法
US20170355379A1 (en) Driving support device
WO2020035897A1 (ja) 車両の走行制御方法及び走行制御装置
WO2012077234A1 (ja) 車両用情報収集システム
JP2018167773A (ja) 車両運転支援システム
JP6075577B2 (ja) 運転支援装置
JP2018158614A (ja) 車両制御装置
JP2020050204A (ja) 車両の走行制御方法及び走行制御装置
JP6124745B2 (ja) 車載システム
JP6374834B2 (ja) 車両用情報提供装置
KR101324082B1 (ko) 운전수행도와 생체신호를 이용한 운전 중 인지부하 평가장치 및 그 방법
WO2017150466A1 (ja) 運転者監視システム
JP7390329B2 (ja) 認識度指数設定装置
CN112406886B (zh) 车辆的控制装置及控制方法、车辆以及存储介质
JP7445696B2 (ja) 制御装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180720

R150 Certificate of patent or registration of utility model

Ref document number: 6374834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250