JPWO2019049355A1 - 車載機器制御装置および車載機器制御方法 - Google Patents

車載機器制御装置および車載機器制御方法 Download PDF

Info

Publication number
JPWO2019049355A1
JPWO2019049355A1 JP2019540275A JP2019540275A JPWO2019049355A1 JP WO2019049355 A1 JPWO2019049355 A1 JP WO2019049355A1 JP 2019540275 A JP2019540275 A JP 2019540275A JP 2019540275 A JP2019540275 A JP 2019540275A JP WO2019049355 A1 JPWO2019049355 A1 JP WO2019049355A1
Authority
JP
Japan
Prior art keywords
vehicle
drowsiness
occupant
vehicle device
device control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019540275A
Other languages
English (en)
Other versions
JP6818897B2 (ja
Inventor
正之 井作
正之 井作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019049355A1 publication Critical patent/JPWO2019049355A1/ja
Application granted granted Critical
Publication of JP6818897B2 publication Critical patent/JP6818897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/01Occupants other than the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/227Position in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

車載機器制御装置(10)は、自車両の走行予定経路上に居眠り防止区間を設定する居眠り防止区間設定部(11)と、自車両の位置を取得する車両位置取得部(12)と、運転者とは異なる自車両の搭乗者の眠気を検知する眠気検知部(13)と、車載機器(30)を制御する車載機器制御部(14)とを備える。自車両の位置が居眠り防止区間内のときに搭乗者の眠気が検知された場合、車載機器制御部(14)は、その眠気を覚ますように車載機器(30)を制御する。自車両の位置が居眠り防止区間外のときに搭乗者の眠気が検知された場合、車載機器制御部(14)は、その眠気を助長するように車載機器(30)を制御する。

Description

本発明は、車両に搭載された機器(車載機器)を制御して、車両の搭乗者の眠気を制御する技術に関するものである。
車両の走行中、運転者は目を覚ましておく必要があるが、運転者以外の搭乗者は車内で睡眠をとることがある。例えば下記の特許文献1には、運転者以外の搭乗者の眠気を検知すると、その搭乗者の睡眠に適した動作を車載機器に行わせる車載機器制御装置が開示されている。
特開2010−068941号公報
特許文献1の技術は、搭乗者の眠気を助長する動作のみを行うものであるが、状況によっては、搭乗者の意に反して眠気が助長されることが考えられる。例えば、車両が目的地点や立ち寄り地点、観光スポットなどに近づいたときなどは、搭乗者も目を覚ましておきたいことが多い。
本発明は以上のような課題を解決するためになされたものであり、状況に応じて搭乗者の眠気を助長したり覚ましたりすることが可能な車載機器制御装置を提供することを目的とする。
本発明に係る車載機器制御装置は、自車両の走行予定経路上に居眠り防止区間を設定する居眠り防止区間設定部と、自車両の位置を取得する車両位置取得部と、運転者とは異なる自車両の搭乗者の眠気を検知する眠気検知部と、自車両の位置が居眠り防止区間内のときに搭乗者の眠気が検知されると、その眠気を覚ますように車載機器を制御し、自車両の位置が居眠り防止区間外のときに搭乗者の眠気が検知されると、その眠気を助長するように車載機器を制御する車載機器制御部と、を備える。
本発明によれば、自車両の位置が居眠り防止区間外のときは搭乗者の眠気を助長させ、居眠り防止区間内のときは搭乗者の眠気を覚ますことができる。例えば、目的地点、立ち寄り地点あるいは観光スポットなど、搭乗者が目を覚ましておきたい地点の手前に居眠り防止区間を設定することで、搭乗者の意に反して眠気が助長されることを防止できる。
この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る車載機器制御システムの構成を示す図である。 車載機器(オーディオ機器および表示装置)の配置例を示す図である。 居眠り防止区間の設定例を示す図である。 眠気助長動作および眠気覚まし動作の例を示す図である。 実施の形態1に係る車載機器制御装置の動作を示すフローチャートである。 車載機器制御装置のハードウェア構成の例を示す図である。 車載機器制御装置のハードウェア構成の例を示す図である。 実施の形態3に係る車載機器制御システムの構成を示す図である。 実施の形態3に係る車載機器制御装置の動作を示すフローチャートである。 実施の形態3における眠気助長動作および眠気覚まし動作の例を示す図である。
<実施の形態1>
図1は、実施の形態1に係る車載機器制御システムの構成を示す図である。当該システムは、車載機器制御装置10、GPS(Global Positioning System)受信機21、ナビゲーション装置22、生体情報取得装置23および車載機器30を含んでいる。以下、当該システムを搭載した車両を「自車両」という。また、特に説明のない限り、「搭乗者」とは運転者以外の搭乗者を指すものとする。
GPS受信機21は、GPS衛星からの測位信号を受信し、受診した測位信号に基づいて自車両の位置(緯度、経度)を算出する。
ナビゲーション装置22は、GPS受信機21が算出した自車両の位置と、地図情報とを用いて、地図上の自車両の位置を特定すると共に、自車両の現在地点から目的地点までの経路を探索し、検出された経路を自車両の走行予定経路として設定する。さらに、ナビゲーション装置22は、自車両の運転者に対し、自車両を走行予定経路に沿って走行させるための経路案内を行う。本実施の形態では、ナビゲーション装置22は、自車両の走行予定経路を車載機器制御装置10に提供する手段として用いられる。そのため、ナビゲーション装置22に代えて、自車両の走行予定経路を作成できる他の装置(例えば、車載機器制御装置10と通信可能な外部のサーバなど)を用いてもよい。
生体情報取得装置23は、自車両の各搭乗者の目の動き、瞼の動き、脈拍、脳波といった生体情報を取得するカメラやセンサを含んでいる。生体情報は、搭乗者の覚醒度、具体的には眠気を有しているか否かを判断できる情報を含んでいればよく、本実施の形態では、搭乗者の目の動き、瞼の動き、脈拍、脳波うちの少なくとも1つが含まれるものとする。
車載機器30は、音声を出力するオーディオ機器31と、画像を表示する表示装置32とを含んでいる。通常、オーディオ機器31および表示装置32は、メディアの再生、テレビやラジオの視聴、ナビゲーション装置22の地図表示などの用途で使用されるが、本実施の形態では、それらの通常の用途の他、搭乗者の眠気を制御する用途にも用いられる。
図2は、自車両内におけるオーディオ機器31および表示装置32の配置の例を示す図である。図2のように、オーディオ機器31は、搭乗者ごとに音声を提供できるよう、搭乗者シートそれぞれのヘッドレスト付近に配置されている。また、表示装置32は、搭乗者ごとに画像を提供できるよう、各搭乗者用シートの前方に配置されている。オーディオ機器31および表示装置32は、搭乗者ごとに音声および画像を提供できればよいため、例えば、オーディオ機器31としてヘッドフォンを用いたり、表示装置32としてヘッドマウントディスプレイを用いたりしてもよい。
図1の説明に戻り、車載機器制御装置10は、居眠り防止区間設定部11、車両位置取得部12、眠気検知部13および車載機器制御部14を備えている。
居眠り防止区間設定部11は、ナビゲーション装置22から自車両の走行予定経路の情報を取得し、その走行予定経路上に、搭乗者の居眠りを防止する区間である居眠り防止区間を設定する。本実施の形態では、居眠り防止区間設定部11が、図3のように、走行予定経路上の観光スポット直前の一定区間、立ち寄り地点直前の一定区間、目的地点直前の一定区間を、居眠り防止区間として設定するものとする。ただし、居眠り防止区間の位置は、図3の例に限られず、運転者または搭乗者の要求に応じて任意の場所に設定されればよい。
また、居眠り防止区間の長さは、距離を基準にして設定されてもよいし、自車両の走行時間を基準にして設定されてもよい。例えば、目的地の直前に居眠り防止区間を設定する場合、居眠り防止区間の始点は、目的地の一定距離だけ手前の地点としてもよいし、目的地に到達する一定時間前の地点としてもよい。
車両位置取得部12は、ナビゲーション装置22から自車両の位置の情報を取得する。車両位置取得部12は、GPS受信機21から自車両の位置情報を取得してもよいが、居眠り防止区間設定部11がナビゲーション装置22から取得する走行予定経路との整合性の観点から、ナビゲーション装置22によるマップマッチング処理後の位置情報を取得することが好ましい。
眠気検知部13は、生体情報取得装置23から各搭乗者の目の動き、瞼の動き、脈拍、脳波などの生体情報を取得し、取得した生体情報に基づいて各搭乗者の眠気を検知する。
車載機器制御部14は、居眠り防止区間設定部11が設定した居眠り防止区間と、車両位置取得部12が取得した自車両の位置と、眠気検知部13が取得した各搭乗者の眠気の検知結果とに基づいて、自車両の各搭乗者の眠気を制御するように車載機器30を制御する。具体的には、自車両の位置が居眠り防止区間内のときに、眠気検知部13によって搭乗者の眠気が検知されると、車載機器制御部14は、その搭乗者の眠気を覚ますように車載機器30を制御する。また、自車両の位置が居眠り防止区間外のときに、眠気検知部13によって搭乗者の眠気が検知されると、車載機器制御部14は、その搭乗者の眠気を助長するように車載機器30を制御する。なお、眠気検知部13によって搭乗者の眠気が検知されていない間は、車載機器制御部14による車載機器30の制御は行われず、車載機器30は搭乗者の操作に従って動作する。
以下、車載機器30が搭乗者の眠気を助長させる動作を「眠気助長動作」といい、車載機器30が搭乗者の眠気を覚ます動作を「眠気覚まし動作」という。眠気助長動作および眠気覚まし動作の具体例を図4に示す。
図4に示すように、オーディオ機器31が行う眠気助長動作としては、出力している音声の音量を下げること、再生中の音楽のテンポを下げること、再生中の音楽の曲調の激しさを下げることなどが考えられる。音量を下げることには、音量を0にすることや、オーディオ機器31の電源をオフすることも含まれる。また、音楽のテンポを下げることには、再生する曲をよりスローテンポの曲に切り替えることも含まれる。音楽の曲調の激しさを下げることには、再生する曲をより穏やかな曲調のものに切り替えることも含まれる。
また、表示装置32が行う眠気助長動作としては、画面の輝度を下げることが考えられる。これには、画面を消すこと(黒表示にすること)や、表示装置32の電源をオフにすることも含まれる。
オーディオ機器31が行う眠気覚まし動作としては、出力している音声の音量を上げること、再生中の音楽のテンポを上げること、再生中の音楽の曲調の激しさを上げることなどが考えられる。音量を上げることには、オフになっていたオーディオ機器31の電源をオンにすることも含まれる。また、音楽のテンポを上げることには、再生中の曲をよりアップテンポの曲に切り替えることも含まれる。音楽の曲調の激しさを上げることには、音楽をより激しい調子のものに切り替えることも含まれる。
また、表示装置32が行う眠気覚まし動作としては、画面の輝度を上げることが考えられる。これには、オフになっていた表示装置32の電源をオンにすることも含まれる。また、眠気覚まし動作として、表示装置32の画面の色を周期的に切り替えてもよい。
図5は、実施の形態1に係る車載機器制御装置10の動作を示すフローチャートである。以下、図5を参照しつつ、車載機器制御装置10の動作を説明する。ここでは説明の簡単のため、搭乗者が1人であるものとして説明する。
車載機器制御装置10は、ナビゲーション装置22によって自車両の走行予定経路が決定されると図5のフローを開始する。まず、居眠り防止区間設定部11が、ナビゲーション装置22から走行予定経路を取得する(ステップS101)。そして、居眠り防止区間設定部11は、その走行予定経路上に居眠り防止区間を設定する(ステップS102)。
次に、車両位置取得部12が、ナビゲーション装置22から自車両の位置を取得する(ステップS103)。また、眠気検知部13が、生体情報取得装置23から搭乗者の生体情報を取得する(ステップS104)。
眠気検知部13は、搭乗者の生体情報に基づいて、搭乗者が眠気を有しているか否か判断する(ステップS105)。このとき、搭乗者の眠気が検知されなければ(ステップS105でNO)、ステップS103に戻り、ステップS103〜S105が繰り返し実行される。
一方、搭乗者の眠気が検知されれば(ステップS105でYES)、車載機器制御部14は、ステップS102で設定された居眠り防止区間の位置と、ステップS103で取得された自車両の位置とを比較して、自車両の位置が居眠り防止区間内か否か確認する(ステップS106)。このとき、自車両の位置が居眠り防止区間内であれば(ステップS106でYES)、車載機器制御部14は、搭乗者の眠気を覚ますために、車載機器30に眠気覚まし動作を行わせる(ステップS107)。しかし、自車両の位置が居眠り防止区間外であれば(ステップS106でNO)、車載機器制御部14は、搭乗者の眠気を助長させるために、車載機器30に眠気助長動作を行わせる(ステップS108)。
ステップS107またはステップS108の後は、ステップS103へ戻る。ステップS103〜S108の動作は、自車両が目的地点に到着するまで繰り返し実行される。図5では省略しているが、例えば、ナビゲーション装置22によって走行予定経路が変更された場合には、ステップS101に戻って処理が再開される。
なお、搭乗者が複数存在する場合には、上記のステップS103〜S108の処理が、搭乗者ごとに行われる。
以上のように、実施の形態1に係る車載機器制御装置10は、自車両の位置が居眠り防止区間外のときに搭乗者の眠気を検知すると、その眠気を助長させるように車載機器30を制御する。一方、自車両の位置が居眠り防止区間内のときに搭乗者の眠気を検知すると、その眠気を覚ますように車載機器30を制御する。よって、図3の例のように、目的地点、立ち寄り地点あるいは観光スポットなど、搭乗者が目を覚ましておきたい地点の手前に居眠り防止区間を設定することで、搭乗者の意に反して眠気が助長されることを防止できる。
図6および図7は、それぞれ車載機器制御装置10のハードウェア構成の一例を示す図である。図1に示した車載機器制御装置10の各要素は、例えば図6に示す処理回路50により実現される。すなわち、処理回路50は、自車両の走行予定経路上に居眠り防止区間を設定する居眠り防止区間設定部11と、自車両の位置を取得する車両位置取得部12と、運転者とは異なる自車両の搭乗者の眠気を検知する眠気検知部13と、自車両の位置が居眠り防止区間内のときに搭乗者の眠気が検知されると、その眠気を覚ますように車載機器を制御し、自車両の位置が居眠り防止区間外のときに搭乗者の眠気が検知されると、その眠気を助長するように車載機器を制御する車載機器制御部14と、を備える。処理回路50には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ(中央処理装置(CPU:Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)が適用されてもよい。
処理回路50が専用のハードウェアである場合、処理回路50は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものなどが該当する。車載機器制御装置10の各要素の機能のそれぞれは、複数の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
図7は、処理回路50がプロセッサを用いて構成されている場合における車載機器制御装置10のハードウェア構成を示している。この場合、車載機器制御装置10の各要素の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ52に格納される。処理回路50としてのプロセッサ51は、メモリ52に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、車載機器制御装置10は、処理回路50により実行されるときに、自車両の走行予定経路上に居眠り防止区間を設定する処理と、自車両の位置を取得する処理と、運転者とは異なる自車両の搭乗者の眠気を検知する処理と、自車両の位置が居眠り防止区間内のときに搭乗者の眠気が検知されると、その眠気を覚ますように車載機器を制御する処理と、自車両の位置が居眠り防止区間外のときに搭乗者の眠気が検知されると、その眠気を助長するように車載機器を制御する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ52を備える。換言すれば、このプログラムは、車載機器制御装置10の各要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
ここで、メモリ52は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリー、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
以上、車載機器制御装置10の各要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、車載機器制御装置10の一部の要素を専用のハードウェアで実現し、別の一部の要素をソフトウェア等で実現する構成であってもよい。例えば、一部の要素については専用のハードウェアとしての処理回路50でその機能を実現し、他の一部の要素についてはプロセッサ51としての処理回路50がメモリ52に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、車載機器制御装置10は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
<実施の形態2>
図8は、実施の形態2に係る車載機器制御システムの構成を示す図である。図8の車載機器制御システムの構成は、図1の構成に対し、車載機器制御装置10に、睡眠優先者設定部15を設けたものとなっている。睡眠優先者設定部15は、眠気を覚ます必要のない搭乗者(眠気覚まし動作の対象から除外する搭乗者)を、「睡眠優先者」として設定することができる。
また、本実施の形態の車載機器制御部14は、搭乗者の眠気が検知されたとき、その搭乗者が睡眠優先者か否かを確認し、睡眠優先者であった場合には、自車両の位置が居眠り防止区間の内か外かに関わらず、車載機器30に眠気助長動作を行わせる。
睡眠優先者設定部15における睡眠優先者の設定方法は、任意の方法でよい。例えば、ユーザ(運転者または搭乗者)が車載機器制御装置10を操作して、睡眠優先者として設定する搭乗者を登録する方法や、睡眠優先者が座るシートを指定する方法などが考えられる。また、予め登録した搭乗者の情報(年齢、性別など)に基づいて、睡眠優先者設定部15が、睡眠優先者として登録する搭乗者を自動的に選択する方法でもよい。また、睡眠優先者設定部15が、生体情報取得装置23が取得した搭乗者の生体情報(例えば体温や心拍数など)に基づいて各搭乗者の体調を判断し、体調不良と判断された搭乗者を睡眠優先者として登録する方法でもよい。その他、睡眠優先者設定部15が、自車両内のチャイルドシートの設置状況を検出し、チャイルドシートを利用している搭乗者を自動的に睡眠優先者として登録してもよい。
図9は、実施の形態2に係る車載機器制御装置10の動作を示すフローチャートである。図9のフローは、図5のフローに対し、ステップS102の後にステップS201を挿入し、ステップS106の後にステップS202を挿入したものとなっている。
以下、図9を参照しつつ、車載機器制御装置10の動作を説明する。ここでも説明の簡単のため、搭乗者が1人であるものとして説明する。
車載機器制御装置10は、ナビゲーション装置22によって自車両の走行予定経路が決定されると図9のフローを開始する。まず、居眠り防止区間設定部11が、ナビゲーション装置22から走行予定経路を取得する(ステップS101)。そして、居眠り防止区間設定部11は、その走行予定経路上に居眠り防止区間を設定する(ステップS102)。さらに、睡眠優先者設定部15が、必要に応じた睡眠優先者を設定する(ステップS201)。
次に、車両位置取得部12が、ナビゲーション装置22から自車両の位置を取得する(ステップS103)。また、眠気検知部13が、生体情報取得装置23から搭乗者の生体情報を取得する(ステップS104)。
眠気検知部13は、搭乗者の生体情報に基づいて、搭乗者が眠気を有しているか否か判断する(ステップS105)。このとき、搭乗者の眠気が検知されなければ(ステップS105でNO)、ステップS103に戻り、ステップS103〜S105が繰り返し実行される。
一方、搭乗者の眠気が検知されれば(ステップS105でYES)、車載機器制御部14は、ステップS102で設定された居眠り防止区間の位置と、ステップS103で取得された自車両の位置とを比較して、自車両の位置が居眠り防止区間内か否か確認する(ステップS106)。このとき、自車両の位置が居眠り防止区間内であり(ステップS106でYES)、且つ、搭乗者が睡眠優先者でなければ(ステップS202でNO)、車載機器制御部14は、搭乗者の眠気を覚ますために、車載機器30に眠気覚まし動作を行わせる(ステップS107)。搭乗者が睡眠優先者であった場合には(ステップS202でYES)、自車両の位置が居眠り防止区間内であったとしても、車載機器制御部14は、搭乗者の眠気を助長するために、車載機器30に眠気助長動作を行わせる(ステップS108)。
また、自車両の位置が居眠り防止区間外である場合には(ステップS106でNO)、車載機器制御部14は、搭乗者の眠気を助長させるために、車載機器30に眠気助長動作を行わせる(ステップS108)。
ステップS107またはステップS108の後は、ステップS103へ戻る。ただし、ナビゲーション装置22によって走行予定経路が変更された場合には、ステップS101に戻って処理が再開される。
なお、搭乗者が複数存在する場合には、上記のステップS103〜S108(ステップS201を含む)の処理が、搭乗者ごとに行われる。
このように、眠気覚まし動作の対象から除外する搭乗者を設定することができるため、例えば、体調の悪い者や、幼児など充分な睡眠が必要な搭乗者の眠気が妨げられることを防止でき、車載機器制御装置10の利便性が高くなる。
<実施の形態3>
実施の形態3では、搭乗者が眠気を持った状態(以下「入眠状態」という)であるときと、搭乗者が眠っている状態(以下「睡眠状態」という)であるときとで、車載機器30に行わせる眠気助長動作および眠気覚まし動作の内容を変更する構成の車載機器制御装置10を提案する。本実施の形態は、実施の形態1,2のいずれにも適用可能である。
実施の形態3では、眠気検知部13は、搭乗者の生体情報(目の動き、瞼の動き、脈拍、脳波のうちの少なくとも1つ)に基づいて、搭乗者が眠気を持っているか否かだけでなく、さらに、搭乗者が入眠状態か睡眠状態かを判断するように構成される。さらに、車載機器制御部14は、搭乗者が入眠状態か睡眠状態かに応じて、車載機器30に行わせる眠気助長動作および眠気覚まし動作の内容を変更するように構成される。
まず、搭乗者が入眠状態である場合、自車両の位置が居眠り防止区間内であれば、車載機器制御部14は、搭乗者の眠気を覚ますための眠気覚まし動作を車載機器30に行わせる(搭乗者が実施の形態2の睡眠優先者である場合を除く)。また、自車両の位置が居眠り防止区間外であれば、車載機器制御部14は、搭乗者の眠気を助長するための眠気助長動作を車載機器30に行わせる。
一方、搭乗者が睡眠状態になった場合には、車載機器制御部14は、自車両の位置が居眠り防止区間内であれば、搭乗者の睡眠を覚ますために、搭乗者が入眠状態のときよりも効果的な眠気覚まし動作を車載機器30に行わせる(搭乗者が実施の形態2の睡眠優先者である場合を除く)。また、自車両の位置が居眠り防止区間外であれば、車載機器制御部14は、搭乗者の睡眠を持続させるために、搭乗者が入眠状態のときよりも効果的な眠気助長動作を車載機器30に行わせる。
なお、車載機器制御装置10の全体構成および基本的な動作は、実施の形態1または2と同様でよいため、ここでの説明は省略する。
図10は、実施の形態3における眠気助長動作および眠気覚まし動作の例を示す図である。図10に示すように、眠気助長動作および眠気覚まし動作の内容は、搭乗者が入眠状態のときと睡眠状態のときとで変化する。
搭乗者が入眠状態のときにオーディオ機器31が行う眠気助長動作としては、出力している音声の音量を下げること、再生中の音楽のテンポを下げること、再生中の音楽の曲調の激しさを下げることなどが考えられる。音楽のテンポを下げることには、再生する曲をよりスローテンポの曲に切り替えることも含まれる。音楽の曲調の激しさを下げることには、再生する曲をより穏やかな曲調のものに切り替えることも含まれる。
また、搭乗者が睡眠状態のときにオーディオ機器31が行う眠気助長動作としては、出力している音声の音量、再生中の音楽のテンポ、再生中の音楽の曲調の激しさのいずれかを、搭乗者が睡眠状態になる前(搭乗者が入眠状態のとき)よりも下げることが考えられる。あるいは、音量を0にしたり、オーディオ機器31の電源をオフにしたりしてもよい。
搭乗者が入眠状態のときに表示装置32が行う眠気助長動作としては、画面の輝度を下げることが考えられる。
また、搭乗者が睡眠状態のときに表示装置32が行う眠気助長動作としては、画面の輝度を搭乗者が睡眠状態になる前よりも下げることが考えられる。あるいは、画面を消したり、表示装置32の電源をオフにしたりしてもよい。
搭乗者が入眠状態のときにオーディオ機器31が行う眠気覚まし動作としては、出力している音声の音量を上げること、再生中の音楽のテンポを上げること、再生中の音楽の曲調の激しさを上げることなどが考えられる。音量を上げることには、オフになっていたオーディオ機器31の電源をオンにすることも含まれる。また、音楽のテンポを上げることには、再生中の曲をよりアップテンポの曲に切り替えることも含まれる。音楽の曲調の激しさを上げることには、音楽をより激しい調子のものに切り替えることも含まれる。
また、搭乗者が入眠状態のときにオーディオ機器31が行う眠気覚まし動作としては、出力している音声の音量、再生中の音楽のテンポ、再生中の音楽の曲調の激しさのいずれかを、搭乗者が睡眠状態になる前よりも上げることが考えられる。
このように、搭乗者が入眠状態のときと睡眠状態のときとで、車載機器30に行わせる眠気助長動作および眠気覚まし動作の内容を変更することにより、搭乗者の眠気の制御をより効果的に行うことができる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
10 車載機器制御装置、11 居眠り防止区間設定部、12 車両位置取得部、13 眠気検知部、14 車載機器制御部、15 睡眠優先者設定部、21 GPS受信機、22 ナビゲーション装置、23 生体情報取得装置、30 車載機器、31 オーディオ機器、32 表示装置、50 処理回路、51 プロセッサ、52 メモリ。

Claims (18)

  1. 自車両の走行予定経路上に居眠り防止区間を設定する居眠り防止区間設定部と、
    前記自車両の位置を取得する車両位置取得部と、
    運転者とは異なる前記自車両の搭乗者の眠気を検知する眠気検知部と、
    前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者の眠気が検知されると、その眠気を覚ますように車載機器を制御し、前記自車両の位置が前記居眠り防止区間外のときに前記搭乗者の眠気が検知されると、その眠気を助長するように前記車載機器を制御する車載機器制御部と、
    を備える車載機器制御装置。
  2. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者の眠気が検知されると、前記車載機器が出力する音声の音量またはテンポ、あるいは音楽の曲調の激しさを前記搭乗者の眠気が検知される前よりも上げる、
    請求項1に記載の車載機器制御装置。
  3. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者の眠気が検知されると、前記車載機器が表示する画像の輝度を前記搭乗者の眠気が検知される前よりも上げる、
    請求項1に記載の車載機器制御装置。
  4. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者の眠気が検知されると、前記車載機器が表示する画像の色を周期的に変化させる、
    請求項1に記載の車載機器制御装置。
  5. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間外のときに前記搭乗者の眠気が検知されると、前記車載機器が出力する音声の音量またはテンポ、あるいは音楽の曲調の激しさを前記搭乗者の眠気が検知される前よりも下げる、
    請求項1に記載の車載機器制御装置。
  6. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間外のときに前記搭乗者の眠気が検知されると、前記車載機器が表示する画像の輝度を前記搭乗者の眠気が検知される前よりも下げる、
    請求項1に記載の車載機器制御装置。
  7. 前記搭乗者を、眠気を覚ます必要のない睡眠優先者として設定可能な睡眠優先者設定部をさらに備え、
    前記車載機器制御部は、前記睡眠優先者の眠気が検知された場合、前記居眠り防止区間の内か外かに関わらず、その眠気を助長するように前記車載機器を制御する、
    請求項1に記載の車載機器制御装置。
  8. 前記睡眠優先者設定部は、前記搭乗者を前記睡眠優先者として設定するか否かを、ユーザの操作に応じて切り替える、
    請求項7に記載の車載機器制御装置。
  9. 前記睡眠優先者設定部は、前記搭乗者の年齢、性別または体調に基づいて、前記搭乗者が睡眠優先者として設定するか否かを自動的に切り替える、
    請求項7に記載の車載機器制御装置。
  10. 前記眠気検知部は、前記搭乗者が睡眠状態になったか否かを判断し、
    前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者が睡眠状態になると、前記搭乗者の睡眠を覚ます動作を前記車載機器に行わせ、前記自車両の位置が前記居眠り防止区間外のときに前記搭乗者が睡眠状態になると、前記搭乗者の睡眠を持続させる動作を前記車載機器に行わせる、
    請求項1に記載の車載機器制御装置。
  11. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者が睡眠状態になると、前記車載機器が出力する音声の音量またはテンポ、あるいは音楽の曲調の激しさを前記搭乗者が睡眠状態になる前よりも上げる、
    請求項10に記載の車載機器制御装置。
  12. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者が睡眠状態になると、前記車載機器が表示する画像の輝度を前記搭乗者が睡眠状態になる前よりも上げる、
    請求項10に記載の車載機器制御装置。
  13. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者の眠気が検知されると、前記車載機器が表示する画像の色を周期的に変化させ、
    前記車載機器制御部は、さらに、前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者が睡眠状態になると、前記車載機器が表示する画像の色を前記搭乗者が睡眠状態になる前よりも短い周期で変化させる、
    請求項10に記載の車載機器制御装置。
  14. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間外のときに前記搭乗者が睡眠状態になると、前記車載機器が出力する音声の音量またはテンポ、あるいは音楽の曲調の激しさを前記搭乗者が睡眠状態になる前よりも下げる、
    請求項10に記載の車載機器制御装置。
  15. 前記車載機器制御部は、前記自車両の位置が前記居眠り防止区間外のときに前記搭乗者が睡眠状態になると、前記車載機器が表示する画像の輝度を前記搭乗者が睡眠状態になる前よりも下げる、
    請求項10に記載の車載機器制御装置。
  16. 前記眠気検知部は、前記搭乗者の目の動き、瞼の動き、脈拍、脳波のいずれかに基づいて、前記搭乗者の眠気を検知する、
    請求項1に記載の車載機器制御装置。
  17. 前記眠気検知部は、前記搭乗者の目の動き、瞼の動き、脈拍、脳波のいずれかに基づいて、前記搭乗者が睡眠状態か否かを判断する、
    請求項10に記載の車載機器制御装置。
  18. 車載機器制御装置における車載機器制御方法であって、
    前記車載機器制御装置の居眠り防止区間設定部が、自車両の走行予定経路上に居眠り防止区間を設定し、
    前記車載機器制御装置の車両位置取得部が、前記自車両の位置を取得し、
    前記車載機器制御装置の眠気検知部が、運転者とは異なる前記自車両の搭乗者の眠気を検知し、
    前記自車両の位置が前記居眠り防止区間内のときに前記搭乗者の眠気が検知されると、前記車載機器制御装置の車載機器制御部が、その眠気を覚ますように車載機器を制御し、
    前記自車両の位置が前記居眠り防止区間外のときに前記搭乗者の眠気が検知されると、前記車載機器制御部が、その眠気を助長するように前記車載機器を制御する、
    車載機器制御方法。
JP2019540275A 2017-09-11 2017-09-11 車載機器制御装置および車載機器制御方法 Active JP6818897B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/032627 WO2019049355A1 (ja) 2017-09-11 2017-09-11 車載機器制御装置および車載機器制御方法

Publications (2)

Publication Number Publication Date
JPWO2019049355A1 true JPWO2019049355A1 (ja) 2019-12-19
JP6818897B2 JP6818897B2 (ja) 2021-01-27

Family

ID=65633802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540275A Active JP6818897B2 (ja) 2017-09-11 2017-09-11 車載機器制御装置および車載機器制御方法

Country Status (3)

Country Link
US (1) US10946874B2 (ja)
JP (1) JP6818897B2 (ja)
WO (1) WO2019049355A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6835009B2 (ja) * 2018-02-21 2021-02-24 株式会社デンソー 車両用空調装置
CN112947740A (zh) * 2019-11-22 2021-06-11 深圳市超捷通讯有限公司 基于动作分析的人机交互方法、车载装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113962A (ja) * 2012-12-11 2014-06-26 Denso Corp 機器用制御装置
JP2015019857A (ja) * 2013-07-19 2015-02-02 日産自動車株式会社 睡眠状態制御装置、睡眠状態制御方法
JP2016192127A (ja) * 2015-03-31 2016-11-10 パイオニア株式会社 楽曲情報更新装置
JP2017110990A (ja) * 2015-12-16 2017-06-22 アルパイン株式会社 走行支援装置および走行支援方法
JP2017148604A (ja) * 2015-07-22 2017-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06333183A (ja) * 1993-05-24 1994-12-02 Toyota Central Res & Dev Lab Inc 覚醒度検出装置
JP2008200486A (ja) 2007-01-25 2008-09-04 Matsushita Electric Works Ltd リフレッシュ装置および当該リフレッシュ装置を搭載した乗り物
JP2010068941A (ja) 2008-09-17 2010-04-02 Denso Corp 入眠装置および入眠方法
JP5136321B2 (ja) * 2008-09-24 2013-02-06 株式会社デンソー 覚醒装置および覚醒方法
JP2015130907A (ja) 2014-01-09 2015-07-23 株式会社ニコン 音楽再生装置、音楽情報共有システム、および音楽再生プログラム
CN206417004U (zh) * 2016-12-30 2017-08-18 河南辉煌科技股份有限公司 一种火车智能叫醒座椅
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
US20190034847A1 (en) * 2017-07-26 2019-01-31 J. J. Keller & Associates, Inc. Method and system for planning routes for commercial motor vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113962A (ja) * 2012-12-11 2014-06-26 Denso Corp 機器用制御装置
JP2015019857A (ja) * 2013-07-19 2015-02-02 日産自動車株式会社 睡眠状態制御装置、睡眠状態制御方法
JP2016192127A (ja) * 2015-03-31 2016-11-10 パイオニア株式会社 楽曲情報更新装置
JP2017148604A (ja) * 2015-07-22 2017-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
JP2017110990A (ja) * 2015-12-16 2017-06-22 アルパイン株式会社 走行支援装置および走行支援方法

Also Published As

Publication number Publication date
JP6818897B2 (ja) 2021-01-27
US10946874B2 (en) 2021-03-16
WO2019049355A1 (ja) 2019-03-14
US20200369289A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
JP5228970B2 (ja) 居眠り防止装置
JP6230764B1 (ja) 車載装置、居眠り運転防止方法及び居眠り運転防止プログラム
JP2015162087A (ja) 車載システム、情報処理装置、及びプログラム
JP2017110990A (ja) 走行支援装置および走行支援方法
JP2008217274A (ja) 運転者状態判定装置、及び運転支援装置
JP2009213768A (ja) 運転者状態判定装置
JP2017220097A (ja) 運転支援装置
JP2019067385A (ja) 運転支援装置、運転支援システム、及び、運転支援方法
JP2013195351A (ja) 車載機及び車両用乗員覚醒システム
JP6818897B2 (ja) 車載機器制御装置および車載機器制御方法
JP2008120164A (ja) 乗員覚醒システム
JP2008203217A (ja) 車載型世話実行装置、方法及びプログラム
CN111976626A (zh) 模式控制方法、装置、车辆及计算机可读存储介质
JP7087286B2 (ja) 覚醒維持装置
JP2009137336A (ja) 車載警報装置
JP2008140156A (ja) 車両制御装置、車両制御プログラムおよび車両制御方法
JP5340660B2 (ja) 車両用乗員覚醒装置
JP2008204224A (ja) 覚醒支援装置、覚醒支援方法および制御プログラム
JP2019016160A (ja) 覚醒維持装置
JP2008210163A (ja) 覚醒支援装置、覚醒支援方法および制御プログラム
JP2019129441A (ja) 楽曲提供システム及び楽曲提供方法
JP2019008468A (ja) 覚醒維持装置
JP7117221B2 (ja) 睡眠提案方法及び睡眠提案装置
JP2008230280A (ja) 車載制御装置
JP7456355B2 (ja) 乗員検知システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R150 Certificate of patent or registration of utility model

Ref document number: 6818897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250