JP2012101685A - 車両用表示装置および車両用表示方法 - Google Patents

車両用表示装置および車両用表示方法 Download PDF

Info

Publication number
JP2012101685A
JP2012101685A JP2010251927A JP2010251927A JP2012101685A JP 2012101685 A JP2012101685 A JP 2012101685A JP 2010251927 A JP2010251927 A JP 2010251927A JP 2010251927 A JP2010251927 A JP 2010251927A JP 2012101685 A JP2012101685 A JP 2012101685A
Authority
JP
Japan
Prior art keywords
vehicle
frequency
light emission
display
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010251927A
Other languages
English (en)
Other versions
JP5810511B2 (ja
Inventor
Koichi Kuroda
浩一 黒田
Ken Oizumi
大泉  謙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2010251927A priority Critical patent/JP5810511B2/ja
Publication of JP2012101685A publication Critical patent/JP2012101685A/ja
Application granted granted Critical
Publication of JP5810511B2 publication Critical patent/JP5810511B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Indicating Measured Values (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】車両用の表示において、気づき易くかつ煩わしさを与えることなく情報を報知することを課題とする。
【解決手段】車両の運転者に報知しようとする情報を表示する表示ユニット11と、車両の走行環境を示す情報を取得する車両情報取得手段12と、車両情報取得手段12で取得された情報に基づいて、運転者が正面から視線を外す頻度を推定し、推定された運転者が正面から視線を外す頻度ならびに車外の明るさに基づいて、表示ユニット11の表示パターンを定める発光輝度のピーク値、発光の時間周波数ならびにサイクル数を決める走行環境推定手段13と、走行環境推定手段13で定められた表示パターンで表示ユニット11を表示制御するコントローラ14とを備えて構成される。
【選択図】図1

Description

本発明は、車両で得られた情報を乗員に報知する車両用表示装置および車両用表示方法に関する。
従来、この種の技術としては、例えば以下に示す文献に記載されたものが知られている(特許文献1参照)。この文献1には、車両の運転者に警報を表示する際に、運転者の固視対象またはその近傍の情報表示を消去し、所定時間後に警報表示を行う技術が記載されている。このような技術を採用することで、警報が表示されてから運転者が警報を認識するまでの時間を短縮することができる。
特許第3134667号公報
上記従来の表示技術においては、運転者の視点に応じてその周辺の情報を単に消去した後警報表示を行うので、気づき易さ(認識され易さ)の表示制御が不十分で、運転者に煩わしさを与えてしまうといった不具合を招くおそれがあった。
そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、気づき易くかつ煩わしさを与えることなく情報を報知できる車両用表示装置および車両用表示方法を提供することにある。
上記目的を達成するために、本発明は、車両の走行環境を示す情報に基づいて、運転者が正面から視線を外す頻度を推定し、推定された頻度ならびに車外の明るさに基づいて、表示パターンを定める発光輝度のピーク値、発光の時間周波数ならびにサイクル数を決めることを特徴とする。
本発明によれば、走行環境に基づいて推定された運転者が正面から視線を外す頻度、ならびに車外の明るさに基づいて、表示パターンを定める発光輝度のピーク値、発光の時間周波数ならびにサイクル数が決められるので、車両の走行環境や車外の明るさに応じて気づき易くかつ煩わしさを与えることなく情報を表示することができる。
本発明の実施形態1に係る車両用表示装置の構成を示す図である。 表示ユニットの一配置例を示す図である。 表示ユニットの他の配置例を示す図である。 表示ユニットの構造を示す断面図である。 表示ユニットの視認状態、ならびにこの視認状態における輝度と発光幅との関係を示す図である。 表示ユニットの輝度変化と時間周波数との関係を示す図である。 表示ユニットの発光パターンに関する出力要素を示す波形図である。 表示ユニットの発光パターンを決定する入力要素と出力要素との関係を示す図である。 表示ユニットの発光パターンを生成する演算処理の流れを示す図である。 車外の明るさと発光パターンにおける発光輝度、サイクル数との関係を示す図である。 車速と発光パターンにおける時間周波数、サイクル数との関係を示す図である。 操舵角と発光パターンにおける時間周波数、サイクル数との関係を示す図である。 車間時間と発光パターンにおける時間周波数、サイクル数との関係を示す図である。 道路種別と発光パターンにおける時間周波数、サイクル数との関係を示す図である。 時間周波数の統合処理の手順を示すフローチャートである。 サイクル数の統合処理の手順を示すフローチャートである。 統合処理した時間周波数の値を調整する際の一例を示す図である。 本発明の実施形態2に係る、車間時間と発光パターンにおける時間周波数との関係を示す図である。
以下、図面を用いて本発明を実施するための実施形態を説明する。
(実施形態1)
図1は本発明の実施形態1に係る車両用表示装置の構成を示す図である。図1に示す実施形態1の車両用表示装置は、表示ユニット11、車両情報取得手段12、走行環境推定手段13ならびにコントローラ14を備えて構成されている。
表示ユニット11は、車両の乗員、特に運転者に報知しようとする情報を表示する表示手段として機能し構成される。表示ユニット11は、図2の符号111に示すように、運転者により視認可能な、例えばスピードメーターやウォーニングランプ等が配置された車両のインストルメントパネル内に設けられている。なお、表示ユニット11は、インストルメントパネル内に限らず、例えば図3の符号111−1および符号111−2に示すような運転者が視認可能な位置、例えばインストルメントパネルの左右のダッシュボードに適宜配置することができる。
表示ユニット11は、図2の断面A−Aを表す図4に示すように、ケース41と、基板42と、LED(発光ダイオード)43と、拡散板44とを備えて構成されている。ケース41の内部に基板42が設置され、この基板42にLED43が取り付けられて支持されている。ケース41の表示面側には、拡散板44がケース41に固定されて設けられている。LED43から発せられた光は、拡散板44で例えば円形に拡散され、拡散板44を透過して車室内に向けて発光する。
LED43の光は、拡散板44によって拡散され、図5(a)に示すように、輝度変化を生じさせて発光する。すなわち、運転者が拡散板44を視認した場合に、図5(a)に示すように、中心部の輝度が最も高く、同心円上に周方向に向かうにつれて輝度が徐々に低くなる(緩やかな輝度変化となる)ように発光した見え方となる。このような空間周波数が低い表示をすると運転者の注意を輝点の方へ必要以上に引かずに周辺視で認識できるようになる。ここで、周辺視とは、網膜の周辺部を使って視野の周辺部を漠然と見る視野であり、この周辺視は、動きや位置を捉えるのに適している。
図5(b)は、同図(a)に示す発光状態における、輝度(縦軸)と発光幅(横軸 円形の場合には直径)との関係を示す図である。図5(b)に示す発光幅は、5mm〜30mm程度に設定され、この範囲内で用途やデザインに応じて適宜設定される。
一方、図5(c)に示すような明暗の境界領域が明確で輪郭がはっきりした表示形態における輝度と発光幅の関係は、図5(d)に示すようになり空間周波数が高くエッジが存在するので、運転者の注意を輝点の方へ強く引きつけるようになる。
LED43の輝度の変化は、LED43に供給される電流を制御することで実現される。例えば、公知の技術として知られている、パルス幅変調(PWM)方式を用いてLED43を駆動制御する際に、そのデューティー比を変えることで輝度を変化させることが可能となる。このような手法は、例えばPWM方式によりLEDの電流を制御するように構成された、既存のLEDドライバユニットなどを用いることで実現することができる。
従来車両のインジケータなどで用いられている点滅動作では、エッジのある(コントラストの高い)輝度変化となる。すなわち、LEDのON(点灯)とOFF(消灯)の繰り返しとなる。これに対して、本発明におけるLED43の輝度は、連続的に徐々に変化している。例えば、図6に示す曲線のような変化となる。すなわち、従来のような単純なON/OFFの変化ではなく、時間に対して緩やかに(徐々に)連続的に輝度変化する。輝度変化の時間周波数は、例えば図6に示すように、0.1〜5(もしくは5以上)sec(10Hz〜0.5Hz(もしくは0.5Hz以下))程度の範囲内で設定され、この範囲内で用途やデザインに応じて適宜設定される。なお、図6では、LED43を1回点灯させる際の周期(時間周波数)を示しているが、点灯回数に制約を与えるものではなく、適宜設定される。なお、後述する実施形態3で説明する「空間周波数」と区別するために、輝度の時間的な変化を「時間周波数」と呼ぶ。
図6に示すように、輝度変化の時間周波数を10Hz程度以上(図6に符号aで示す輝度変化)にして輝度の変化を速くすると、運転者の注意を輝点の方へ強く引くことができる。次に、輝度変化の時間周波数を0.5〜10Hz程度(図6に符号bで示す輝度変化)の間に設定すると、運転者の注意を輝点の方へ必要以上に引きつけることなく運転者の周辺視で表示の変化を運転者に認知させることができる。最後に、輝度変化の時間周波数を0.5Hz程度以下(図6に符号cで示す輝度変化)にして緩やかに変化させた場合には、運転者が変化にほとんど気付かないようにすることができる。
図1に戻って、車両情報取得手段12は、車載センサー121、車両の走行案内などを行うナビゲーション装置122、オーディオ装置123などで構成される。車載センサー121は、コンピュータを制御中枢とした、ECU(エンジン・コントロール・ユニット)、車間維持支援システムやインテリジェントクルーズコントロールシステムなどの車両の走行を制御する構成の動作処理に必要となる各種情報を収集するために設けられている。
車載センサー121は、照度センサー121−1、車輪速センサー121−2、舵角センサー121−3、車間距離センサー121−4、シートベルトセンサー121−5を備えて構成される。照度センサー121−1は、表示の見やすさに大きく影響する光環境を示す車外の明るさを検出し、例えばオートライトシステムなどで必要となる制御入力を収集するために車載されたセンサーを用いることができる。車輪速センサー121−2は、車両の走行環境を推定する際の入力となる車速を検出する。舵角センサー121−3は、車両の走行環境を推定する際の入力となるステアリングの操舵角を左右を区別して検出する。車間距離センサー121−4は、レーザーレーダやミリ波レーダなどで構成され、車両の走行環境を推定する際の入力となり、自車両と前走車両との車間距離を検出する。シートベルトセンサー121−5は、助手席や後席のシートベルトホルダーなどに設けられて、走行環境としての車内環境を推定する際の入力となるシートベルトが装着されているか否かを検出する。
ナビゲーション装置122は、外部通信手段1221を介して外部と通信して自車両の現在位置を検出し、道路形状のデータを含む地図DB(データベース)1222から自車両の現在位置における道路種別の情報を道路情報取得手段1223により取得する。道路種別は、車両の走行環境を推定する際の入力となり、例えば「高速道路」、「郊外路」、「市街地」、「細街路」といったように種別される。
ナビゲーション装置122ならびにオーディオ装置123では、タッチパネル動作やスイッチ入力などの車載機器の操作動作が取得される。車載機器の操作動作は、走行環境としての車内の環境を推定する際の入力となる。なお、車載機器としては、上記装置の他に運転者の操作を必要とする例えば空調装置や車載テレビの操作動作を取得するようにしてもよい。
車載センサー121、ナビゲーション装置122ならびにオーディオ装置123で取得された上記各種車両情報は、車内通信網となる車内LAN15を介して走行環境推定手段13に与えられる。
車両情報取得手段12、ならびに図示しないが従来の車両が備えている他の各種センサーなどで取得された車両の走行にかかわる各種情報、例えば他の車両の接近、経路案内情報、各種警告灯の作動などの情報は、表示ユニット11によって適宜表示されて運転者に提示される。
走行環境推定手段13は、車両情報取得手段12によって取得された各種情報、車輪速や操舵角、車外の明るさ、車間距離、自車位置の道路種別、車載機器の操作動作などを読み込む。走行環境推定手段13は、読み込んだ各種情報から走行環境を推定し、推定結果に応じてLED43の発光パターンを決定する各種パラメータを演算し、演算結果に基づいて発光パターンを生成する。走行環境推定手段13は、プログラムに基づいて動作処理を制御するコンピュータに必要な、CPU、記憶装置、入出力装置等の資源を備えた例えばマイクロコンピュータ等により実現される。
走行環境推定手段13において、発光パターンを決定するパラメータは、図7に示すように発光輝度のピーク値(B)、1回の発光表示に要する時間を示す時間周波数(T)と発光する回数を示すサイクル数(N)で構成される。
走行環境推定手段13において、車両情報取得手段12より取得された各種情報を用いて発光パターンを定める各種パラメータを決定する基本的な考え方を図8に示す。図8において、気付き易くかつ煩わしくない発光パターンに大きく寄与する走行環境に関連した要素は、車外の明るさと運転者が正面から視線を外す頻度である。運転者が正面から視線を外す頻度は、車両の走行状態(車速、操舵角)と周囲の交通環境(車間時間(TTC)、道路種別)、車内環境(車載機器の操作、同乗者の有無)といった走行環境の情報より推定する。
車外の明るさは、発光パターンを決定する各種パラメータのうち発光輝度のピーク値(B)に最も大きく寄与している。したがって、車外が暗い場合は、表示が眩しくないように発光輝度のピーク値(B)を小さくする必要がある一方、車外が明るい場合には、表示が周辺の明るさに埋もれないよう発光輝度のピーク値(B)を大きくする必要がある。なお、発光輝度のピーク値(B)がLED43の発光輝度の上限値に達してしまった場合は、車外の明るさに比例して発光のサイクル数(N)を増やすことで、更に運転者が表示に気付き易くする。
運転者が正面から視線を外す頻度については、発光の時間周波数(T)に最も大きく寄与する。即ち、運転者が正面から視線を外す頻度が高くなるほど時間周波数(T)の値を大きくすることで、運転者が周辺視で情報提示を認知し易くする。ここでの時間周波数(T)の範囲は図6の説明で述べたように、0.5〜10Hz程度(図6に符号bで示す輝度変化)の間に設定する。この値は、運転者の注意を輝点の方へ必要以上に引きつけることなく運転者の周辺視で表示の変化を運転者に認知させることができるものである。時間周波数(T)の値がこの間の上限値(10Hz程度)に達してしまった場合には、運転者が正面から視線を外す頻度に比例してサイクル数(N)を増やすことで、更に運転者が表示に気付き易くする。
このような発光パターンを決定する時間周波数、発光輝度ならびにサイクル数には、優先度が付けられている。すなわち、車外の明るさに対しては、発光輝度のピーク値(B)はサイクル数(N)よりも高くなるように優先度が設定され、車速、操舵角、車間時間、道路種別に対しては時間周波数(T)はサイクル数(N)よりも高くなるように優先度が設定されている。
運転者が正面から視線を外す頻度を推定するための各種情報と時間周波数(T)およびサイクル数(N)との関係について以下に説明する。
先ず車速については、高速で走行するほど運転者は正面を注視する頻度が高くなる一方で、低速で走行する時は市街地等の周囲を注意しながら走行する必要があるシーンの可能性が高いため正面から視線を外す頻度が高くなる。したがって、車速が低くなるほど気付き易さを高める必要があるので、車速に対応した時間周波数(Tv)を高く設定する。
操舵角については、運転者がハンドルを左右どちらかに大きく切るほどその方向を注視する頻度が高くなる、即ち、正面から視線を外す頻度が高くなる。したがって、操舵角が大きくなるほど気付き易さを高める必要があるので、操舵角に対応した時間周波数(Ts)を高く設定する。但し、操舵角を所定値以上大きく切っている場合は交差点の右左折などでその方向を常に注意して見ている可能性が高いので、情報提示そのものを行わないようにする。
車間時間については、車間時間が短くなるほど運転者は前走車に注意を集中するため正面から視線を外す頻度が低くなる一方で、長くなるほど周囲にも注意を分散するため正面から視線を外す頻度が高くなる。したがって、車間時間が大きくなるほど気付き易さを高める必要があるので、車間時間に対応した時間周波数(Tt)を高く設定する。なお、車間時間が予め設定された所定値よりも小さくなり前走車との衝突の可能性が高まった場合は、衝突警報を別システムから提示するため本装置からの情報提示は行わないようにする。
道路種別については、高速道路のように交差点や横断歩道がなく正面から視線を外す頻度が低い場合は、道路種別に対応した時間周波数(Tr)を低く設定し、市街地のように交差点や横断歩道などを確認するため正面から視線を外す頻度が高くなる場合は道路種別に対応した時間周波数(Tr)を高く設定して気付き易さを高める。
一方、ナビゲーション装置やオーディオ装置等の車載機器を操作中の場合や、同乗者がいる場合には、運転者が正面から視線を外す頻度が高くなる。したがって、気付き易さをより高めるために、例えばサイクル数(N)に予め設定された所定値を加算することで増加して情報提示時間を延長したり、または時間周波数(T)に予め設定された所定値を加算することで高く設定する。このようにして決定された、発光パターンを決定する各種パラメータはコントローラ14に与えられる。
コントローラ14は、表示ユニット11におけるLED43の発光を制御する表示制御手段として機能する。コントローラ14は、プログラムに基づいて動作処理を制御するコンピュータに必要な、CPU、記憶装置、入出力装置等の資源を備えた例えばマイクロコンピュータ等により実現される。コントローラ14は、上記走行環境推定手段13から与えられた発光パターンを制御する各種パラメータを読み込み、読み込んだパラメータ(発光輝度のピーク値、時間周波数、サイクル数)、ならびに予め内部に保有する制御ロジック(プログラム)に基づいて、LED43の輝度を制御する。
図9は走行環境推定手段13における演算処理の流れを示す図である。図9において、演算処理の概略として、先ず処理S101〜処理S105では、車載センサー121から発光パターンに関する各種パラメータを演算するために必要な入力情報を取得する。次に、処理S111〜処理S120では入力情報毎に発光パターンに関する各種パラメータを演算する。最後に、処理S121〜処理S125では、入力情報毎に演算された各パラメータを調整、統合して最終的な発光パターンを生成し、生成した発光パターンをコントローラ14へ送信する。
以下に、図9の各処理における演算動作を詳細に説明する。
処理S101では、例えばオートライトシステムなどに設けられた照度センサー121−1から車外の明るさの情報を取得する。処理S111および処理S112では、図10(a)に示すように、先ず発光輝度のピーク値(B)を車外の明るさが明るいほど大きくなるように設定する。発光輝度のピーク値(B)がLED43の発光輝度の上限値に達してしまった場合は、図10(b)に示すようにさらに車外の明るさに比例して明るさに基づくサイクル数(Nb)を増やすように設定する。
処理S102では、車輪速センサー121−2から車速を取得する。処理S113および処理S114では、図11(a)に示すように先ず車速に基づく時間周波数(Tv)を車速が低くなるほど高くなるように設定する。時間周波数(Tv)が運転者の注意を輝点の方へ必要以上に引きつけることなく周辺視で表示の変化を認知させることができる時間周波数の上限値近くに到達した場合は、図11(b)に示すようにさらに車速が低くなるほど車速に基づくサイクル数(Nv)を増やすように設定する。
処理S103では、舵角センサー121−3から操舵角を取得する。通常、操舵角の検出結果は左右を区別するために左右どちらかを負の値で出力されるので、ここでは操舵角の絶対値を使用する。処理S115および処理S116では、図12(a)に示すように先ず操舵角に基づく時間周波数(Ts)を操舵角が大きくなるほど高くなるように設定する。時間周波数(Ts)が運転者の注意を輝点の方へ必要以上に引きつけることなく周辺視で表示の変化を認知させることができる時間周波数の上限値近くに到達した場合は、図12(b)に示すようにさらに操舵角が大きくなるほど操舵角に基づくサイクル数(Ns)を増やすように設定する。なお、操舵角が予め設定された所定値(例えば90°)以上になった場合は、時間周波数(Ts)、サイクル数(Ns)共に値を設定せず、情報提示を行わないようにする。
処理S104では、車間距離センサー121−4から得られる車間距離(L)および前走車との相対速度(Vf)を用いて次式(1)より車間時間(TTC)を算出する。
TTC=L/Vf ・・・ (1)
処理S117および処理S118では、図13(a)に示すように先ず車間時間に基づく時間周波数(Tt)を車間時間(TTC)が大きくなるほど高くなるよう設定する。時間周波数(Tt)が運転者の注意を輝点の方へ必要以上に引きつけることなく周辺視で表示の変化を認知させることができる時間周波数の上限値近くに到達した場合は、図13(b)に示すようにさらに車間時間(TTC)が大きくなるほど車間時間に基づくサイクル数(Nt)を増やすように設定する。なお、車間時間(TTC)が予め設定された所定値(例えば5.0[sec ])以下になった場合は、時間周波数(Tt)、サイクル数(Nt)共に値を設定せず、情報提示を行わないようにする。
処理S105では、ナビゲーション装置122から自車位置と地図DBとに基づいて現在の自車位置における道路種別情報を取得する。処理S119および処理S120では、例えば図14(a)に示すように道路種別に応じて「細街路」および「市街地」、「郊外路」、「高速道路」の順で道路種別に基づく時間周波数(Tr)を高く設定する。「市街地」「細街路」は、時間周波数(Tr)が運転者の注意を輝点の方へ必要以上に引きつけることなく周辺視で表示の変化を認知させることができる時間周波数の上限値近くに設定している。このため、「細街路」は、図14(b)に示すように更に道路種別に基づくサイクル数(Nr)を他よりも増やすように設定して気付き易さが増すようにしている。
処理S121では、処理S113、処理S115、処理S117、処理S119でそれぞれ算出した時間周波数(Tv、Ts、Tt、Tr)を、図15のフローチャートに示す一連の手順にしたがって優先順位付けをして統合する。
図15において、先ずステップS201では、操舵角が図12に示すような非表示領域となる所定値以上であるか否かを判別する。判別の結果、所定値以上である場合は、ステップS205へ進み情報表示を実施しないようにし、所定値以上でない場合にはステップS202へ進む。
ステップS202では、車間時間(TTC)が図13に示すような警報領域となる所定値以下であるか否かを判別する。判別の結果、所定値以下である場合は、ステップS205へ進み情報表示を実施しないようにし、所定値以下でない場合には、ステップS203へ進む。
ステップS203では、自車両の走行環境としての道路環境で決まる要素が大きな車速や操舵角、道路種別によって算出した車速に基づく時間周波数(Tv)、操舵角に基づく時間周波数(Ts)、道路種別に基づく時間周波数(Tr)については、表示を最も気付き易くするようにその中から最大値を選択して第1統合時間周波数(T1)とする。
ステップS204では、車間時間に基づく時間周波数(Tt)については、前走車への接近度合いを示す車間時間(TTC)より算出しているため、前走車への注意を優先する観点から気づき難くする。このため、ステップS203で算出した第1統合時間周波数(T1)と車間時間に基づく時間周波数(Tt)とのうち最小値を選択して第2統合時間周波数(T2)として統合し、一連の統合処理を終了する。
図9に戻って、処理S122では、処理S111、処理S114、処理S116、処理S118、処理S120でそれぞれ算出したサイクル数(Nb、Nv、Ns、Nt、Nr)を、図16のフローチャートに示す一連の手順にしたがって優先順位付けをして統合する。
図16において、ステップS301、ステップS302、ステップS306の処理内容は、それぞれ図15に示すフローチャートのステップS201、ステップS202、ステップS205と同様である。
ステップS303では、図15に示すフローチャートのステップS203と同様の優先順位付けの考え方で車速に基づくサイクル数(Nv)、操舵角に基づくサイクル数(Ns)、道路種別に基づくサイクル数(Nr)の中から最大値を選択して第1統合サイクル数(N1)とする。
ステップS304では、図15に示すフローチャートのステップS204と同様の優先順位付けの考え方でステップS303で算出した第1統合サイクル数(N1)と車間時間に基づくサイクル数(Nt)のうち最小値を選択して第2統合サイクル数(N2)とする。
ステップS305では、車外の明るさに基づいて算出したサイクル数(Nb)とステップS304で算出した第2統合サイクル数(N2)のうち最大値を選択して第3統合サイクル数(N3)とし、サイクル数を統合する。なお、ステップS305の処理を行う技術的意味は、車外の明るさは図8に示す他の入力要素と比較して表示の見易さに対しては影響度が大きく、車外が非常に明るい場合に表示そのものが埋もれてしまうことを避けるためである。このようにして、一連のサイクル数の統合処理を終了する。
図9に戻って、処理S123では、ナビゲーション装置122やオーディオ装置123等の車載機器の操作入力を取得する。操作入力がある間は、サイクル数に例えば所定値を加算することでサイクル数を増やし情報提示を継続して延長するようにする。操作入力がなくなった後から、先の処理S122で算出した第3統合サイクル数(N3)分の表示する。
処理S124では、シートベルトセンサー121−5で得られたセンサー信号を用いて助手席や後席のシートベルトが装着されているか否かを判別して同乗者の有無を検出する。検出の結果、同乗者がある場合は、先の処理S122で算出した第3統合サイクル数(N3)に予め設定された所定値(例えば3秒分延長するためにT=1.0Hzの場合は3回)を加算する。一方、同乗者がいない場合には、所定値の加算は行わない。
なお、処理S123および処理S124において、処理S121で統合した第2統合時間周波数(T2)が運転者の注意を輝点の方へ必要以上に引きつけることなく周辺視で表示の変化を認知させることができる時間周波数の上限値近くまで達していない場合は、図17に示すように第2統合時間周波数(T2)に予め設定された所定値△Tを加算してもよい。この所定値△Tを加算すると前記の上限値を超えてしまう場合には、上限値を超えることなく上限値よりも僅かに小さな値に設定する。なお、上述した、周辺視で表示の変化を認知させることができる周辺視提示領域の上限値は、例えば実機を用いた実験等によって定めることができる。
処理S125では、処理S124までの一連の処理で算出した発光輝度のピーク値、時間周波数ならびにサイクル数を、LED43の発光パターンの指令値としてコントローラ14へ送信する。
このように、上記実施形態1では、表示の見易さに大きく影響する光環境を示す車外の明るさと、気付き易さに大きく影響する運転者が正面から視線を外す頻度に対応する車両走行状態(車速、操舵角、車間時間)や道路環境(道路種別)、車内状況(車載機器の操作、同乗者)といった走行環境に応じて表示パターンを決定している。これにより、走行環境に応じた最適な気付き易さの表示パターンで情報を提示することができる。
車載センサー121で取得された情報に基づいて算出された時間周波数を総合するする際に、先ず車速、操舵角、道路種別を用いてそれぞれ算出した値の最大値を選択する。続いて、選択した値と車間時間を用いて算出した値とのうち最小の値を時間周波数として用いている。このような優先順位で統合することで、情報提示への気付き易さと前走車への注意のし易さをバランス良く両立した表示パターンで情報提示することができる。
車載センサー121で取得された情報に基づいて算出されたサイクル数を総合する際に、先ず車速、操舵角、道路種別を用いてそれぞれ算出した値の最大値を選択する。続いて、選択した値と車間時間を用いて算出した値とのうち最小の値を選択する。引き続いて、選択した値と車外の明るさを用いて算出してサイクル値とのうち最大値をサイクル数として用いている。このような優先順位で統合することで、情報提示への気付き易さ、前走車への注意のし易さおよび周囲の光環境に応じた表示の見易さをバランス良く両立した表示パターンで情報提示することができる。
発光輝度のピーク値を車外の明るさが明るいほど大きくなるように設定し、その値が上限値に達した場合には、車外の明るさが明るいほどサイクル数を増やすように設定する。このような設定により、眩しすぎずかつ周囲の明るさに埋もれて見難くなることのない輝度で情報提示することができる。
時間周波数を車速が低くなるほど高くなるように設定し、その値が所定値近くに到達した場合は車速が低くなるほどサイクル数を増やすように設定する。このような設定により、車速が低下して運転者が正面から視線を外す頻度が高くなる場合でも、気づき易い表示パターンで情報提示することができる。
時間周波数を操舵角が大きくなるほど高くなるように設定し、その値が所定値近くに到達した場合はさらに操舵角が大きくなるほどサイクル数を増やすように設定し、操舵角が所定値以上となった場合は情報提示を中止する。このような設定により、操舵角が増加して運転者が正面から視線を外す頻度が高くなる場合でも、気づき易い表示パターンで情報提示することができる。さらに、操舵角が大きな場合には情報提示を中止することで、運転者の操舵方向への注意を妨げないようにすることができる。
時間周波数を車間時間が大きくなるほど高くなるように設定し、その値が所定値近くに到達した場合はさらに車間時間が大きくなるほどサイクル数を増やすように設定し、車間時間が所定値以下となった場合は情報提示を中止する。このような設定により、車間時間が長くなって運転者が正面から視線を外す頻度が高くなる場合でも、気づき易い表示パターンで情報提示することができる。さらに、車間時間が短い場合には情報提示を中止することで、運転者の前走車への注意を妨げないようにすることができる。
時間周波数を分岐や交差点が多く道幅が狭い道路種別になるほど高くなるように設定し、その値が所定値近くに到達した場合はさらに分岐や交差点が多く道幅が狭い道路種別になるほどサイクル数を増やすように設定する。このような設定により、市街地や細街路のように交差点や分岐が多く道幅が狭いため周囲にも注意を払うために正面から視線を外す頻度が高くなる場合でも、気づき易い表示パターンで情報提示することができる。
車載機器が操作されている場合には、時間周波数やサイクル数を増加させることで、車載機器の操作がなされている間は、情報の提示を継続して行う。このような設定により、車載機器が操作されている場合であっても、気づき易さを確保した表示パターンで情報を提示することができる。
同乗者がいる場合には、時間周波数やサイクル数を増加させることで、同乗者がいない場合に比べて情報の提示時間を長く設定している。このような設定により、同乗者に気を遣わなければならない場合でも、気づき易さを確保した表示パターンで情報を提示することができる。
(実施形態2)
次に、本発明の実施形態2について説明する。
この実施形態2は、先の実施形態1と異なる点は、走行環境推定手段13において車両情報取得手段12で取得される各種情報を用いて発光パターンに関する各種パラメータを決定する際の演算処理の手順を示す図9の処理S117および処理S118における処理であり、他は先の実施形態1と同様である。
先の実施形態1において、処理S117および処理S118では、車間時間(TTC)に対応した時間周波数(Tt)およびサイクル数(Nt)を演算している。これに対して、この実施形態2では、車間時間(TTC)が予め設定された所定値(TTC1)よりも小さくなり前走車との衝突の可能性が高まる警報領域となった場合に、図18に示すように時間周波数(Tt)を運転者の注意を輝点の方へ強く引きつけることができる領域まで高く設定する。上記所定値(TTC1)は、前走車との衝突の可能性が高まると推定判断される車間時間として設定される。
ここで、時間周波数(Tt)は、図18に示すように、周辺視提示領域として設定された上限値以上の時間周波数よりも高く、かつ車間時間(TTC)が所定値(TTC1)より小さくなるほど高くして運転者の注意をより強く引くようにすることで追突の可能性があることを表すようにする。これにより、表示ユニット11を活用して追突警報表示を行うことができる。
このように、この実施形態2における車両表示装置では、実施形態1で得られる効果に加えて、1つの表示ユニット11で交通情報などの一般的な情報提示と警報表示の双方を実施することが可能となる。
(実施形態3)
次に、本発明の実施形態2について説明する。
この実施形態3で先の実施形態1と異なる点は、コントローラ14の制御の下に、時間周波数に代えて空間周波数を制御して表示ユニット11の輝度を変化させるようにした点であり、他は先の実施形態1と同様である。ここで、空間周波数とは、最も暗い部分(最小輝度)と最も明るい部分(最大輝度)と間の輝度変化(輝度差)の度合い(コントラスト)を表している。輝度が徐々に変化して輝度の変化量が緩やかなほど空間周波数が低く(コントラストが低い)、従来の例えば車両に搭載されたインジケータのように点灯時に明暗の境界が明確で輪郭が鮮明な発光では空間周波数が高い(コントラストが高い)ものとする。
例えば、運転者の注意を必要以上に輝点の方へ引かずに周辺視で表示の変化を認知させる場合には、先の図5(a)に示すような発光状態とする。このような表示形態では、従来のインジケータに用いられていた枠のついた点灯(明暗の境界が明確で輪郭が鮮明な発光)と比較して、輝度と輝点の大きさとの関係が同図(b)に示すように緩やかな輝度変化となり、輝度変化のエッジがなくなる。すなわち、従来の枠のついた点灯の表示形態に比べて空間周波数が低く設定されて、コントラストが低くなっている。
一方、運転者の注意を輝点の方へ強く引く場合には、図5(c)に示すような発光状態とする。図5(c)は同図(d)に示す発光状態における、輝度と輝点の大きさとの関係を示す図である。図5(d)に示すような輝度変化は、輝度がステップ状に変化して輝点にエッジが生じ、輝度の変化が先の図5(b)に示す発光状態に比べて大きくなっている。すなわち、同図(a)に示す発光状態に比べて空間周波数が高く設定されて、コントラストが高くなっている。
この空間周波数の値の演算は、先の図9の処理S113、処理S115、処理S117、処理S119および処理S121における時間周波数(T)の演算と同様な考え方の処理で実施することができる。すなわち、時間周波数(T)に代えて空間周波数に対して時間周波数(T)で行ったと同様の処理を行うようにする。
なお、上記表示ユニット11には、輝点のエッジの輝度を変化させることが可能なデバイスとして、例えば液晶モニターやヘッドアップディスプレイ(HUD)などを用いることもできる。
このように、上記実施形態3では、表示ユニット11が表示する輝点の空間周波数を制御することで、運転者の注意を引く度合いを調整することができる。その結果、実施形態1と同様に走行環境に応じた表示の気付き易さを制御することができる。
また、空間周波数を制御する表示形態では、表示面積が比較的に大きな表示形態や連続的に流れるような表示形態にも好適となり、表示形態のデザインの自由度を高めることができる。
11…表示ユニット(表示手段)
12…車両情報取得手段
13…走行環境推定手段
14…コントローラ(表示制御手段)
15…車内LAN
41…ケース
42…基板
43…LED
44…拡散板
121…車載センサー
121−1…照度センサー
121−2…車輪速センサー
121−3…舵角センサー
121−4…車間距離センサー
121−5…シートベルトセンサー
122…ナビゲーション装置
123…オーディオ装置
1221…外部通信手段
1222…地図DB(データベース)
1223…道路情報取得手段

Claims (14)

  1. 車両の運転者に報知しようとする情報を表示する表示手段と、
    車両の走行環境を示す情報を取得する車両情報取得手段と、
    前記車両情報取得手段で取得された情報に基づいて、運転者が正面から視線を外す頻度を推定し、推定された運転者が正面から視線を外す頻度ならびに車外の明るさに基づいて、前記表示手段の表示パターンを定める発光輝度のピーク値、発光の時間周波数ならびにサイクル数を決める走行環境推定手段と、
    前記走行環境推定手段で定められた表示パターンで前記表示手段を表示制御する表示制御手段と
    を有することを特徴とする車両用表示装置。
  2. 前記車両情報取得手段は、車外の明るさ、車速、操舵角、車間距離、道路種別、車載機器の操作の有無、同乗者の有無を取得し、
    前記走行環境推定手段は、前記車両情報取得手段で取得された車速、操舵角、車間距離に基づいて算出された車間時間、道路種別、車載機器の操作の有無、同乗者の有無のそれぞれに基づいて、運転者が正面から視線を外す頻度を推定する
    ことを特徴とする請求項1に記載の車両用表示装置。
  3. 前記走行環境推定手段は、車速から推定された、運転者が正面から視線を外す頻度に基づいて設定された発光の時間周波数、操舵角から推定された、運転者が正面から視線を外す頻度に基づいて設定された発光の時間周波数、道路種別から推定された、運転者が正面から視線を外す頻度に基づいて設定された発光の時間周波数、の内最大値を第1統合時間周波数とし、この第1統合時間周波数と、車間時間から推定された運転者が正面から視線を外す頻度に基づいて設定された発光の時間周波数との内最小値を表示パターンの時間周波数に定めて時間周波数を統合する
    ことを特徴とする請求項2に記載の車両用表示装置。
  4. 前記走行環境推定手段は、車速から推定された、運転者が正面から視線を外す頻度に基づいて設定された発光のサイクル数、操舵角から推定された、運転者が正面から視線を外す頻度に基づいて設定された発光のサイクル数、道路種別から推定された、運転者が正面から視線を外す頻度に基づいて設定された発光のサイクル数、の内最大値を第1統合サイクル数とし、この第1統合サイクル数と、車間時間から推定された、運転者が正面から視線を外す頻度に基づいて設定された発光のサイクル数との内最小値を第2統合サイクル数とし、この第2統合サイクル数と、車外の明るさに基づいて設定された発光のサイクル数との内最大値を表示パターンのサイクル数に定めてサイクル数を統合する
    ことを特徴とする請求項2または3に記載の車両用表示装置。
  5. 前記走行環境推定手段は、車外の明るさが明るくなるほど発光輝度のピーク値が大きくなるように設定し、発光輝度のピーク値が予め設定された上限ピーク値に達した場合には、車外の明るさが明るくなるほど発光のサイクル数を増やす
    ことを特徴とする請求項2〜4のいずれか1項に記載の車両用表示装置。
  6. 前記走行環境推定手段は、車速が遅くなるほど運転者が正面から視線を外す頻度が高くなるものと推定し、車速が遅くなるほど発光の時間周波数が高くなるように設定し、発光の時間周波数が予め設定された所定車速値に達した場合には、車速が遅くなるほど発光のサイクル数を増やす
    ことを特徴とする請求項2〜5のいずれか1項に記載の車両用表示装置。
  7. 前記走行環境推定手段は、操舵角が大きくなるほど運転者が正面から視線を外す頻度が高くなるものと推定し、操舵角が大きくなるほど発光の時間周波数が高くなるように設定し、発光の時間周波数が予め設定された第1の所定操舵角の近傍に達した場合には、操舵角が大きくなるほど発光のサイクル数を増やし、操舵角が前記第1の所定操舵角よりも大きく設定された第2の所定操舵角以上になった場合には、前記表示手段の表示を中止する
    ことを特徴とする請求項2〜6のいずれか1項に記載の車両用表示装置。
  8. 前記走行環境推定手段は、車間時間が長くなるほど運転者が正面から視線を外す頻度が高くなるものと推定し、車間時間が長くなるほど発光の時間周波数が高くなるように設定し、発光の時間周波数が予め設定された第1の所定車間時間の近傍に達した場合には、車間時間が大きくなるほど発光のサイクル数を増やし、車間時間が第1の所定車間時間よりも短く設定された第2の所定車間時間以下になった場合には、前記表示手段の表示を中止する
    ことを特徴とする請求項2〜7のいずれか1項に記載の車両用表示装置。
  9. 前記走行環境推定手段は、道幅が狭い道路種別になるほど運転者が正面から視線を外す頻度が高くなるものと推定し、道幅が狭い道路種別になるほど発光の時間周波数が高くなるように設定し、発光の時間周波数が予め設定された上限時間周波数に達した場合には、道幅が狭い道路種別になるほど発光のサイクル数を増やす
    ことを特徴とする請求項2〜8のいずれか1項に記載の車両用表示装置。
  10. 前記走行環境推定手段は、車載機器が操作されているときには運転者が正面から視線を外す頻度が高くなるものと推定し、車載機器が操作されているときには発光のサイクル数を延長して表示を継続し、車載機器の操作が終了した後、設定された発光のサイクル数分表示する
    ことを特徴とする請求項2〜9のいずれか1項に記載の車両用表示装置。
  11. 前記走行環境推定手段は、同乗者がいる場合には運転者が正面から視線を外す頻度が高くなるものと推定し、同乗者がいる場合には発光のサイクル数に予め設定された所定サイクル数を加算して発光サイクル数を増やす
    ことを特徴とする請求項2〜10のいずれか1項に記載の車両用表示装置。
  12. 前記走行環境推定手段は、車間時間が予め設定された所定車間時間以下になった場合には、発光の時間周波数を予め設定された所定時間周波数以上で、かつ車間時間が短くなるほど発光の時間周波数が高くなるように設定する
    ことを特徴とする請求項2〜11のいずれか1項に記載の車両用表示装置。
  13. 前記走行環境推定手段は、表示パターンを定めるパラメータとして、発光の時間周波数に代えて、発光の最も暗い部分(最小輝度)と最も明るい部分(最大輝度)との輝度変化(輝度差)の度合い(コントラスト)を表す発光の空間周波数を用いる
    ことを特徴とする請求項1〜12のいずれか1項に記載の車両用表示装置。
  14. 車両の運転者に報知しようとする情報を表示する表示ステップと、
    車両の走行環境を示す情報を取得する車両情報取得ステップと、
    前記車両情報取得ステップで取得された情報に基づいて、運転者が正面から視線を外す頻度を推定し、推定された運転者が正面から視線を外す頻度ならびに車外の明るさに基づいて、前記表示ステップの表示パターンを定める発光輝度のピーク値、発光の時間周波数ならびにサイクル数を決める走行環境推定ステップと、
    前記走行環境推定ステップで定められた表示パターンで前記表示ステップを表示制御する表示制御ステップと
    を有することを特徴とする車両用表示方法。
JP2010251927A 2010-11-10 2010-11-10 車両用表示装置および車両用表示方法 Expired - Fee Related JP5810511B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010251927A JP5810511B2 (ja) 2010-11-10 2010-11-10 車両用表示装置および車両用表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010251927A JP5810511B2 (ja) 2010-11-10 2010-11-10 車両用表示装置および車両用表示方法

Publications (2)

Publication Number Publication Date
JP2012101685A true JP2012101685A (ja) 2012-05-31
JP5810511B2 JP5810511B2 (ja) 2015-11-11

Family

ID=46392630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010251927A Expired - Fee Related JP5810511B2 (ja) 2010-11-10 2010-11-10 車両用表示装置および車両用表示方法

Country Status (1)

Country Link
JP (1) JP5810511B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014083924A (ja) * 2012-10-22 2014-05-12 Denso Corp 表示装置
JP2014238708A (ja) * 2013-06-07 2014-12-18 株式会社デンソー 車両用注意喚起装置
US10647251B2 (en) 2017-12-20 2020-05-12 Hyundai Motor Company Vehicle and method of controlling the same
WO2021112071A1 (ja) * 2019-12-04 2021-06-10 株式会社デンソー 覚醒装置
CN114187863A (zh) * 2020-09-15 2022-03-15 比亚迪半导体股份有限公司 一种led点阵屏、车辆及车辆控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09123790A (ja) * 1995-08-28 1997-05-13 Mitsubishi Motors Corp 車両運転状態検出装置
JP2002264689A (ja) * 2001-03-12 2002-09-18 Nissan Motor Co Ltd 車両用表示装置
JP2005253590A (ja) * 2004-03-10 2005-09-22 Nissan Motor Co Ltd 運転支援装置
JP2007323598A (ja) * 2006-06-05 2007-12-13 Denso Corp 車両用運転支援システム
JP2008030729A (ja) * 2006-07-05 2008-02-14 Nissan Motor Co Ltd 車両用表示装置
JP2008097055A (ja) * 2006-10-05 2008-04-24 Tokai Rika Co Ltd 車両発進報知装置
JP2008282168A (ja) * 2007-05-09 2008-11-20 Toyota Motor Corp 意識状態検出装置
JP2009196630A (ja) * 2008-01-25 2009-09-03 Denso Corp 表示装置
JP2009540459A (ja) * 2006-06-11 2009-11-19 ボルボ テクノロジー コーポレイション 視覚的関心場所の決定および分析のための方法および装置
JP2010132025A (ja) * 2008-12-02 2010-06-17 Honda Motor Co Ltd 車両用警報装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09123790A (ja) * 1995-08-28 1997-05-13 Mitsubishi Motors Corp 車両運転状態検出装置
JP2002264689A (ja) * 2001-03-12 2002-09-18 Nissan Motor Co Ltd 車両用表示装置
JP2005253590A (ja) * 2004-03-10 2005-09-22 Nissan Motor Co Ltd 運転支援装置
JP2007323598A (ja) * 2006-06-05 2007-12-13 Denso Corp 車両用運転支援システム
JP2009540459A (ja) * 2006-06-11 2009-11-19 ボルボ テクノロジー コーポレイション 視覚的関心場所の決定および分析のための方法および装置
JP2008030729A (ja) * 2006-07-05 2008-02-14 Nissan Motor Co Ltd 車両用表示装置
JP2008097055A (ja) * 2006-10-05 2008-04-24 Tokai Rika Co Ltd 車両発進報知装置
JP2008282168A (ja) * 2007-05-09 2008-11-20 Toyota Motor Corp 意識状態検出装置
JP2009196630A (ja) * 2008-01-25 2009-09-03 Denso Corp 表示装置
JP2010132025A (ja) * 2008-12-02 2010-06-17 Honda Motor Co Ltd 車両用警報装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014083924A (ja) * 2012-10-22 2014-05-12 Denso Corp 表示装置
JP2014238708A (ja) * 2013-06-07 2014-12-18 株式会社デンソー 車両用注意喚起装置
US10647251B2 (en) 2017-12-20 2020-05-12 Hyundai Motor Company Vehicle and method of controlling the same
WO2021112071A1 (ja) * 2019-12-04 2021-06-10 株式会社デンソー 覚醒装置
JP2021087621A (ja) * 2019-12-04 2021-06-10 株式会社デンソー 覚醒装置
CN114187863A (zh) * 2020-09-15 2022-03-15 比亚迪半导体股份有限公司 一种led点阵屏、车辆及车辆控制方法

Also Published As

Publication number Publication date
JP5810511B2 (ja) 2015-11-11

Similar Documents

Publication Publication Date Title
US20180118109A1 (en) Information presentation apparatus
CN109204305B (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
JP7039855B2 (ja) 運転支援装置
US8878660B2 (en) Vehicle meter cluster
JP5568345B2 (ja) 安全確認支援装置及びプログラム
EP1878616B1 (en) Vehicle light warning system and method
JP5810511B2 (ja) 車両用表示装置および車両用表示方法
US9969266B2 (en) Display control device, projection device, and non-transitory storage medium for vehicle speed limit notifications
CN110573399B (zh) 自动驾驶时的信息传达方法和车载信息提示装置
JP2016199072A (ja) 車両用表示システム
US20220314982A1 (en) Control device
JP5954169B2 (ja) 制御装置
US20210197863A1 (en) Vehicle control device, method, and program
JP2018034622A (ja) 車両用表示制御装置及び車両用表示システム
JP2016022919A (ja) ヘッドアップディスプレイ装置及び車両
JP5510202B2 (ja) 車両用視覚能力訓練装置
JP2014240228A (ja) 情報提示装置
JP2017039461A (ja) 車両用表示装置とその制御方法
CN114103980B (zh) 车辆的驾驶辅助装置、车辆的驾驶辅助方法以及存储介质
CN112590809B (zh) 车载界面装置和车辆
JP2011240768A (ja) 車両用表示装置
JP2013047740A (ja) 車両用運転操作トレーニング装置および車両
JP5799613B2 (ja) 車両用表示装置
JP6287969B2 (ja) 自動車の運転支援装置
JP2019215620A (ja) 情報提示方法及び情報提示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150831

R151 Written notification of patent or utility model registration

Ref document number: 5810511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees