JPWO2018020546A1 - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
JPWO2018020546A1
JPWO2018020546A1 JP2018530211A JP2018530211A JPWO2018020546A1 JP WO2018020546 A1 JPWO2018020546 A1 JP WO2018020546A1 JP 2018530211 A JP2018530211 A JP 2018530211A JP 2018530211 A JP2018530211 A JP 2018530211A JP WO2018020546 A1 JPWO2018020546 A1 JP WO2018020546A1
Authority
JP
Japan
Prior art keywords
wind
display control
display
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018530211A
Other languages
English (en)
Other versions
JP6968069B2 (ja
Inventor
重明 山田
重明 山田
下谷 光生
光生 下谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018020546A1 publication Critical patent/JPWO2018020546A1/ja
Application granted granted Critical
Publication of JP6968069B2 publication Critical patent/JP6968069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本発明は、ドライバーが風向きを直感的に把握することが可能な表示制御装置および表示制御方法を提供することを目的とする。本発明による表示制御装置は、少なくとも車両の周辺の風向きを含む気象情報を取得する気象情報取得部と、気象情報取得部が取得した気象情報に基づいて、風向きを含む風情報を立体視可能に表示する制御を行う表示制御部とを備える。

Description

本発明は、車両の周辺における風の情報を立体視可能に表示する制御を行う表示制御装置および表示制御方法に関する。
従来、車両周辺における風の状態をドライバーに知らせる技術が提案されている。例えば、風が車両のステアリングにどちらの方向から影響を与えるかを表示する技術が開示されている(例えば、特許文献1参照)。特許文献1では、風速が大きさに従って、当該風速の大きさを示す矢印の太さおよび大きさを変化させている、矢印の点滅周期を変化させている、または矢印の色を変化させている。
また、風力が予め定められた風力以上である場合に、表示ディスプレイにおける風上側の視界を確保するように、表示ディスプレイに表示させる情報の表示形態を変更して表示する技術が開示されている(例えば、特許文献2参照)。
特開2006−256548号公報 特開2014−223824号公報
特許文献1,2では、風に関する情報をモニターまたはHUD(Head Up Display)に平面的、すなわち2次元で表示している。風に関する情報を2次元で表示する場合は、上下左右方向の風向きを表現することはできるが、奥行き方向の風向きを表現することができない。従って、ドライバーは、直感的に風向きを把握することができなかった。
本発明は、このような問題を解決するためになされたものであり、ドライバーが風向きを直感的に把握することが可能な表示制御装置および表示制御方法を提供することを目的とする。
上記の課題を解決するために、本発明による表示制御装置は、少なくとも車両の周辺の風向きを含む気象情報を取得する気象情報取得部と、気象情報取得部が取得した気象情報に基づいて、風向きを含む風情報を立体視可能に表示する制御を行う表示制御部とを備える。
また、本発明による表示制御方法は、少なくとも車両の周辺の風向きを含む気象情報を取得し、取得した気象情報に基づいて、風向きを含む風情報を立体視可能に表示する制御を行う。
本発明によると、表示制御装置は、少なくとも車両の周辺の風向きを含む気象情報を取得する気象情報取得部と、気象情報取得部が取得した気象情報に基づいて、風向きを含む風情報を立体視可能に表示する制御を行う表示制御部とを備えるため、ドライバーが風向きを直感的に把握することが可能となる。
また、表示制御方法は、少なくとも車両の周辺の風向きを含む気象情報を取得し、取得した気象情報に基づいて、風向きを含む風情報を立体視可能に表示する制御を行うため、ドライバーが風向きを直感的に把握することが可能となる。
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の実施の形態による表示制御装置の構成の一例を示すブロック図である。 本発明の実施の形態による表示制御装置の構成の一例を示すブロック図である。 本発明の実施の形態による表示制御装置のハードウェア構成の一例を示す図である。 本発明の実施の形態による表示制御装置の動作の一例を示すフローチャートである。 2次元表示と3次元表示との違いを説明するための図である。 2次元表示と3次元表示との違いを説明するための図である。 2次元表示と3次元表示との違いを説明するための図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態による風情報の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態によるシミュレーション結果の表示の一例を示す図である。 本発明の実施の形態による表示制御システムの構成の一例を示すブロック図である。 本発明の実施の形態による表示制御システムの構成の一例を示すブロック図である。
本発明の実施の形態について、図面に基づいて以下に説明する。
<実施の形態>
<構成>
まず、本発明の実施の形態1による表示制御装置の構成について説明する。
図1は、本実施の形態による表示制御装置1の構成の一例を示すブロック図である。なお、図1では、本実施の形態による表示制御装置を構成する必要最小限の構成要素を示している。また、表示制御装置1は、車両に搭載されているものとする。
図1に示すように、表示制御装置1は、気象情報取得部2と表示制御部3とを備えている。気象情報取得部2は、少なくとも車両の周辺の風向きを含む気象情報を取得する。表示制御部3は、気象情報取得部2が取得した気象情報に基づいて、風向きを含む風情報を立体視可能に表示する制御を行う。
ここで、立体視可能な表示とは、例えば3次元表示が可能なHUDに虚像を表示すること、または両眼視差を利用して立体的なオブジェクトを表示することをいい、奥行きを持った立体的なオブジェクトを表示することをいう。以下では、立体視可能な表示のことを3次元表示という。なお、立体視可能な表示には、平面上に立体的に描かれた立体的なオブジェクトの表示は含まれない。
次に、図1に示す気象情報取得部2および表示制御部3を含む表示制御装置1の他の構成について説明する。
図2は、表示制御装置4の構成の一例を示すブロック図である。
図2に示すように、表示制御装置4は、インフラ情報取得部5と、車両周辺情報取得部6と、自車両情報取得部7と、地図データ記憶部8と、走行道路特定部9と、経路探索部10と、制御部11と、表示情報生成部12と、HUD出力制御部13と、モニター出力制御部14とを備えている。また、車両周辺情報取得部6はカメラ15に接続され、HUD出力制御部13はHUD16に接続され、モニター出力制御部14はモニター17に接続され、制御部11は操作入力部18に接続されている。
インフラ情報取得部5は、気象情報取得部2を有しており、気象情報を含む種々のインフラ情報を取得する。インフラ情報としては、気象情報の他に、例えば交通情報および災害情報などが挙げられる。インフラ情報取得部5は、VICS(Vehicle Information and Communication System)(登録商標)、DSRC(Dedicated Short Range Communication)(登録商標)、無線LAN(Local Area Network)、および携帯電話などの無線通信手段を用いて、インフラ情報を外部から取得する。
気象情報取得部2は、風向きおよび風速などの風情報を取得する。風速は、風の強さを表す。なお、気象情報取得部2は、予め定められたエリアごとの風情報を取得してもよく、局所的な風情報を取得してもよい。局所的な風情報は、地形などを考慮して予測したものであってもよい。地形などを考慮した局所的な風情報は、外部で予測されたものであってもよく、制御部11が予測してもよい。
車両周辺情報取得部6は、カメラ15が撮影した映像を車両周辺情報として取得する。カメラ15は、少なくとも車両の運転席から見える景色が撮影可能なように車両に設置されている。
自車両情報取得部7は、自車両情報として、車両に設定された図示しない車速センサから車速に関する情報である車速情報を取得し、図示しない傾斜角センサから傾斜角に関する情報を取得し、図示しないGPS(Global Positioning System)から車両の現在位置に関する情報である位置情報を取得する。すなわち、自車両情報取得部7は、車両の現在の位置情報を取得する位置情報取得部としての機能を有しており、車両の速度情報を取得する速度情報取得部としての機能を有している。
地図データ記憶部8は、例えば、ハードディスクドライブまたはRAM(Random Access Memory)などの記憶装置から構成されており、地図データを記憶している。なお、地図データ記憶部8は、外部から地図データを取得してもよい。例えば、地図データ記憶部8は、外部のサーバなどから通信ネットワークを介してダウンロードすることによって取得してもよい。あるいは、DVD(Digital Versatile Disk)または半導体メモリなどの記憶媒体から読み出すことによって取得してもよい。
走行道路特定部9は、自車両情報取得部7が取得した車両の現在位置と、地図データ記憶部8に記憶されている地図データとに基づいて、車両の現在位置、および車両が走行中の道路である走行道路を特定する。
経路探索部10は、地図データ記憶部8に記憶されている地図データを用いて、自車両情報取得部7が取得した車両の現在位置から目的地までの経路を探索する。
制御部11は、表示制御部3を有しており、表示制御装置4の各構成要素の制御を行う。表示制御部3は、気象情報取得部2が取得した風情報を立体視可能な情報として生成するように表示情報生成部12を制御する。表示制御部3は、風情報に限らず、HUD16またはモニター17に表示すべき情報を生成するように表示情報生成部12を制御する。
表示情報生成部12は、HUD16またはモニター17に表示すべき情報である表示情報を生成する。HUD出力制御部13は、表示情報生成部12が生成した表示情報をHUD16に出力する制御を行う。モニター出力制御部14は、表示情報生成部12が生成した表示情報をモニター17に出力する制御を行う。
HUD16は、3次元表示が可能であり、フロントガラスを介して見える景色に虚像を重畳して表示する。モニター17は、例えば、車両のダッシュボードに設置されており、2次元表示または3次元表示の切り替えが可能である。ここで、2次元表示とは、平面上に描かれた2次元のオブジェクトを表示することをいう。操作入力部18は、ユーザによる種々の入力を受け付ける。例えば、操作入力部18は、風情報をHUD16およびモニター17のうちの少なくとも一方に表示する旨の操作を受け付ける、各種設定を受け付ける、または経路探索時における目的地の設定を受け付ける。
図3は、表示制御装置4のハードウェア構成の一例を示す図である。なお、表示制御装置1についても同様である。
表示制御装置4における気象情報取得部2、表示制御部3、インフラ情報取得部5、車両周辺情報取得部6、自車両情報取得部7、走行道路特定部9、経路探索部10、制御部11、表示情報生成部12、HUD出力制御部13、およびモニター出力制御部14の各機能は、処理回路により実現される。すなわち、表示制御装置4は、気象情報を取得し、表示の制御を行い、インフラ情報を取得し、車両周辺情報を取得し、自車両情報を取得し、車両の現在位置および走行道路を特定し、経路を探索し、表示制御装置4の各構成要素の制御を行い、表示情報を生成し、表示情報をHUDに出力する制御を行い、表示情報をモニターに出力する制御を行うための処理回路を備える。処理回路は、メモリ20に格納されるプログラムを実行するプロセッサ19(中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)である。
表示制御装置4における気象情報取得部2、表示制御部3、インフラ情報取得部5、車両周辺情報取得部6、自車両情報取得部7、走行道路特定部9、経路探索部10、制御部11、表示情報生成部12、HUD出力制御部13、およびモニター出力制御部14の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ20に格納される。処理回路は、メモリ20に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置4は、気象情報を取得するステップ、表示の制御を行うステップ、インフラ情報を取得するステップ、車両周辺情報を取得するステップ、自車両情報を取得するステップ、車両の現在位置および走行道路を特定するステップ、経路を探索するステップ、表示制御装置4の各構成要素の制御を行うステップ、表示情報を生成するステップ、表示情報をHUDに出力する制御を行うステップ、表示情報をモニターに出力する制御を行うステップが結果的に実行されることになるプログラムを格納するためのメモリ20を備える。また、これらのプログラムは、気象情報取得部2、表示制御部3、インフラ情報取得部5、車両周辺情報取得部6、自車両情報取得部7、走行道路特定部9、経路探索部10、表示情報生成部12、HUD出力制御部13、およびモニター出力制御部14の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、RAM、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等が該当する。
<動作>
次に、表示制御装置4の動作について説明する。
図4は、表示制御装置4の動作の一例を示すフローチャートである。
ステップS1において、車両がエンジンを駆動すると以降の処理を行う。
ステップS2において、制御部11は、風情報を表示するか否かを判断する。具体的には、制御部11は、ユーザが操作入力部18を介して風情報を表示する旨の操作を行ったか否かを判断する。風情報を表示する場合は、ステップS3に移行する。一方、風情報を表示しない場合は、ステップS11に移行する。
ステップS3において、インフラ情報取得部5は、インフラ情報を取得する。具体的には、気象情報取得部2は、風向きおよび風の強さのうちの少なくとも一方の情報を含む気象情報を取得する。
ステップS4において、自車両情報取得部7は、自車両情報を取得する。具体的には、自車両情報取得部7は、少なくとも車速に関する情報と、車両の現在位置に関する情報とを取得する。
ステップS5において、車両周辺情報取得部6は、車両周辺情報を取得する。具体的には、車両周辺情報取得部6は、カメラ15が撮影した映像を取得する。
ステップS6において、走行道路特定部9は、車両の現在位置を特定する。具体的には、走行道路特定部9は、自車両情報取得部7が取得した車両の現在位置と、地図データ記憶部8に記憶されている地図データとに基づいて、地図上における車両の現在位置を特定する。
ステップS7において、走行道路特定部9は、車両が走行中の道路である走行道路を特定する。具体的には、走行道路特定部9は、ステップS6で特定した地図上における車両の現在位置と、地図データ記憶部8に記憶されている地図データとに基づいて走行道路を特定する。
ステップS8において、表示情報生成部12は、表示情報を生成する表示情報生成処理を行う。なお、表示情報生成処理の詳細については後述する。
ステップS9において、表示情報生成部12は、ステップS8で生成した表示情報を合成する表示合成処理を行う。具体的には、表示情報生成部12は、表示情報をHUD16に表示する場合において、表示情報がHUD16の予め定められた位置に表示されるように表示合成処理を行う。また、表示情報生成部12は、表示情報をモニター17に表示する場合において、表示情報がモニター17の予め定められた位置に表示されるように表示合成処理を行う。
ステップS10において、HUD出力制御部13は、表示情報生成部12が生成した表示情報をHUD16に出力する制御を行う。また、モニター出力制御部14は、表示情報生成部12が生成した表示情報をモニター17に出力する制御を行う。
ステップS11において、制御部11は、車両のエンジンが停止したか否かを判断する。車両のエンジンが停止している場合は、処理を終了する。一方、車両のエンジンが停止していない場合は、ステップS2に移行する。
<表示情報生成処理>
次に、図4のステップS8で表示情報生成部12が行う表示情報生成処理について説明する。なお、以下では、表示情報生成部12は、表示情報として風情報を生成する場合について説明する。表示情報生成部12は、HUD16およびモニター17のうちの少なくとも一方に3次元表示される風情報を生成する。
ここで、2次元表示と3次元表示との違いについて、図5〜7を用いて説明する。図5〜7に示すように、2次元表示の場合は、X軸方向に沿った左から右への矢印となる。一方、3次元表示の場合は、点Cmを中心とした点Csから点Ceへ奥行きを持った矢印となる。図5の例では、奥行きの方向はY軸方向である。
図8〜11は、表示情報生成部12が生成する風情報の一例を示す図である。
図8の例では、表示情報生成部12は、矢印である1次元の第1のオブジェクト21を風情報として生成する。図8に示すように、第1のオブジェクト21は、風向きを示しており、点Cmを中心として点Csから点Ceへ奥行きを有している。
図9の例では、表示情報生成部12は、矢印である第1のオブジェクト21と、第1のオブジェクト21に付随する2次元の第2のオブジェクト22とを風情報として生成する。図9に示すように、第1のオブジェクト21は、風向きを示しており、点Cmを中心として点Csから点Ceへ奥行きを有している。また、第2のオブジェクト22は、第1のオブジェクト21に対して平行に配置された3つの円環である。
図10の例では、表示情報生成部12は、矢印である第1のオブジェクト21と、第1のオブジェクト21に付随する第2のオブジェクト22とを風情報として生成する。図10に示すように、第1のオブジェクト21は、風向きを示しており、点Cmを中心として点Csから点Ceへ奥行きを有している。また、第2のオブジェクト22は、第1のオブジェクト21に対して直交して配置され、第1のオブジェクト21に対して直交する方向に沿って配置された3つの円環である。当該3つの円環は、第1のオブジェクト21を中心としている。
図11の例では、表示情報生成部12は、矢印である第1のオブジェクト21と、第1のオブジェクト21に付随する第2のオブジェクト22とを風情報として生成する。図11に示すように、第1のオブジェクト21は、風向きを示しており、点Cmを中心として点Csから点Ceへ奥行きを有している。また、第2のオブジェクト22は、第1のオブジェクト21に対して直交して配置され、第1のオブジェクト21に対して平行な方向に沿って配置された3つの円環である。当該3つの円環は、第1のオブジェクト21を中心としており、各円環の大きさは、それぞれ風向きが示す風が吹いて行く方向に向かうほど大きい。
上記の図8〜11に示す各風情報について、図8,9に示す風情報を3次元表示すると、見る角度によっては矢印が指し示す方向が分かりにくく、風情報を適切に表示することが難しくなる場合がある。一方、図10,11に示す風情報は、3次元を明確に表現しているため、3次元表示したときに分かり易いという利点がある。
なお、図9〜11では、第2のオブジェクト22が3つの円環である場合を示しているが、これに限るものではなく、少なくとも1つ以上の円環であればよい。また、第2のオブジェクト22は、円環ではなく、任意の形状であってもよい。
図8〜11に示す第1のオブジェクト21は、風向きを示す形状であればどのような形状であってもよく、例えば図12,13に示すような形状であってもよい。なお、図12は、第1のオブジェクト21を上から見た図であり、図13は、第1のオブジェクト21を横から見た図である。
図14は、図10に示す風情報の表示の一例を示す図であり、ドライバーから見た風情報の見え方を示している。図14では、風の強さが強くなるに従って、第1のオブジェクト21の長さを長くしかつ色を変化させ、第2のオブジェクト22の色を変化させている。風の強さは、3段階に分けられており、各段階は予め定められた風速の閾値に基づいて区別される。このように、風向きがどの方向であっても、ドライバーは容易に風向きおよび風の強さを把握することができる。なお、図14では、風向きが分かり易いように矢印の先端部分の色を濃くしている。
図15は、風情報の表示の一例を示す図であり、ドライバーから見た風情報の見え方を示している。図15では、風の強さが強くなるに従って、第1のオブジェクト21および第2のオブジェクト22の色を変化させている。風の強さは、3段階に分けられており、各段階は予め定められた風速の閾値に基づいて区別される。このように、風向きがどの方向であっても、ドライバーは容易に風向きおよび風の強さを把握することができる。なお、図15では、風向きが分かり易いように矢印の先端部分の色を濃くしている。
図16は、図11に示す風情報の表示の一例を示す図であり、ドライバーから見た風情報の見え方を示している。図16に示すように、第2のオブジェクト22は、円環a,b,cからなる。風の強さは、3段階に分けられており、各段階は予め定められた風速の閾値に基づいて区別される。図16では、風の強さが強くなるに従って、第2のオブジェクト22の色を変化させている。具体的には、最も風が強い場合は円環aの色を変化させ、2番目に風が強い場合は円環bの色を変化させ、最も風が弱い場合は円環cの色を変化させている。図16に示す風情報は、図15に示す風情報よりも、ドライバーが風情報を見る角度が変わっても風向きおよび風の強さを分かり易く表現することができる。
上記の図14〜16では、3段階の風の強さを示しているが、これに限るものではなく、複数段階の風の強さを表示してもよい。この場合、図16では、風の強さの段階の数と同じ数の円環を第2のオブジェクト22とする必要がある。
上記の図14〜16において、風の強さの閾値は、車速に従って変更してもよい。例えば、車速が速いときは、風の強さの閾値を低くする。また、風の強さの閾値は、風向きに従って変更してもよい。例えば、車両に対して横方向の風のときは、風の強さの閾値を低くする。
図17〜図20は、風情報の表示の一例を示す図であり、第1のオブジェクト21のみを表示する場合について示している。
図17の例では、第1のオブジェクト21を振動させることによって、風向きを強調している。なお、図17に示す風情報をそのまま表示してもよい。この場合、例えば、風向きを示す第1のオブジェクト21の色を濃くし、他の2つの第1のオブジェクト21の色を薄くすればよい。
図18の例では、第1のオブジェクト21を両矢印に沿って円弧状に振動させている。また、風の変化が大きいほど振動の幅を大きくする。なお、図18に示す風情報をそのまま表示してもよい。すなわち、第1のオブジェクト21と両矢印とをともに表示してもよい。この場合、風の変化に応じて両矢印の長さを変化させてもよい。
図19の例では、風が強くなるに従って、第1のオブジェクト21の長さを長くしている。図20の例では、予め定められた風の強さを基準dとし、基準dよりも風が強くなったときの変化量をdで表現している。具体的には、予め定められた基準dとなる風の強さよりも強い風が吹いた場合において、その変化量d分だけ第1のオブジェクト21の長さを長くする。
<実施例>
次に、表示情報生成部12が生成した表示情報を実際に表示する実施例について説明する。
図21,22は、風情報の表示の一例を示す図である。図21は、風が一定の強さで吹いている場合を示している。図22は、場所によって風の強さが異なる場合を示している。
図21,22に示すように、風情報は、HUD16に表示されている。ハンドル24を操作して運転しているドライバーは、フロントガラス23越しに見える景色に対して、風情報が虚像として重畳して表示されているように見える。風情報は、車両の現在位置から走行方向に向かって10m、100m、200mの地点に表示されている。
なお、風情報を表示する位置の間隔は、車速に応じて変更してもよい。例えば、車速が速くなると風情報を現在位置から10m、500m、1000mの地点に表示し、車速が遅くなると、風情報を現在位置から5m、50m、100mの地点に表示してもよい。このような処理は、表示制御部3で行われる。
図21,22では、3つの地点における風情報を表示しているが、これに限るものではない。風情報は、少なくとも1つの地点について表示すればよい。
図21,22では、車両が今後走行する経路に基づいて、予め定められた地点における風情報を表示している。車両が今後走行する経路は、経路探索部10が探索した経路を用いればよいが、経路探索をしていない場合は、車両の現在位置の軌跡と地図データとに基づいて車両が今後走行する経路を推測してもよい。
図23,24は、風情報をアニメーション表示した場合の一例を示す図である。図23は、風情報である第1のオブジェクト21が移動する軌跡を示している。図24は、図23の軌跡を1コマずつ分けた図である。図24に示す表示情報を連続して順に表示することによって、図23に示すようなアニメーション表示となる。アニメーション表示することによって、ドライバーは風の流れを容易に把握することができる。
図25〜27は、風情報をアニメーション表示した場合の一例を示す図である。図25は、図21に示す風情報をアニメーション表示したものである。図26は、図22に示す風情報をアニメーション表示したものである。図27は、風の流れに安定性がない場合を示している。図27に示すように、風の流れに安定性がない場合であっても、ドライバーは風の流れを容易に把握することができる。
図28は、地理的条件を考慮した風情報の表示の一例を示す図である。図28に示すように、車両の前方にビル25が存在する場所については風情報を表示せず、ビル25が存在していない場所についてのみ風情報を表示している。ビルの情報は、地図データ記憶部8に記憶されている。なお、図28では、ビル25を一例として示しているが、これに限るものではなく、風を妨げる障害物であればいかなるものであってもよい。ビル25などの障害物がある場所は、車両に影響する程度の風が吹いていないことが多く、このような場所について風情報を表示する必要はない。図28に示すように、車両に影響する場所についてのみ風情報を表示することによって、ドライバーは風情報を容易に把握することができる。
図29,30は、車両がトンネルを出入りするときの風情報の表示の一例を示す図である。図29は、トンネルの入り口付近の風情報を表示している。図30は、トンネルの出口付近の風情報を表示している。トンネルの情報は、地図データ記憶部8に記憶されている。トンネル内外では風向きおよび風の強さが異なることが多く、図29,30に示すような風情報を表示することはドライバーにとって有用である。なお、トンネル内では風情報は表示しない。
図31は、風が上から吹き下した場合における風情報の表示の一例を示す図である。図32は、風が下から吹き上げた場合における風情報の表示の一例を示す図である。このような場合であっても、ドライバーは風情報を容易に把握することができる。
図33,34は、車両が受ける風の方向に対応するHUD16の予め定められた表示領域の色を変化させる場合の一例を示す図である。図33では、HUD16の右端の領域の色が変化しており、車両の現在位置から前方10mの地点において風が車両の右側から吹いてきていることを示している。図34では、HUD16の右上端の領域の色が変化しており、車両の現在位置から前方10mの地点において風が車両の右上から吹いてきていることを示している。このように、風向きが視認可能なように予め定められた表示領域の色を変化させることによって、ドライバーは風向きを容易に把握することができる。なお、図33,34では、車両の現在位置から前方10mの地点において車両が受ける風の方向について説明したが、これに限るものではなく、車両の現在位置から前方の任意の地点において車両が受ける風の方向であればよい。
図35は、車両の現在位置から予め定められた距離を走行した時に車両が受ける風向きおよび風の強さのシミュレーション結果の表示の一例を示す図である。図36〜43は、モニター17に表示するシミュレーション結果の一例を示している。図44〜57は、HUD16の表示領域27に表示するシミュレーション結果の一例を示している。
図35に示すように、HUD16の予め定められた表示領域27には、車両が現在位置から10m走行したときに受ける風向きおよび風の強さのシミュレーション結果が表示されている。また、モニター17には、カメラ15が撮影した車両前方の映像にシミュレーション結果が重畳して表示されている。このとき、モニター17は、3次元表示可能なように切り替えられている。
図36は、車両が右から風を受ける様子を示している。図37は、車両が前から風を受ける様子を示している。図38は、車両が左から風を受ける様子を示している。図39は、車両が左前から風を受ける様子を示している。図40は、車両が右前から風を受ける様子を示している。図41は、車両が左斜め上から風を受ける様子を示している。図42は、車両の右から風を受ける様子のアニメーションを示している。図43は、車両が後ろから風を受ける様子を示している。
図44,45は、車両が右から風を受ける様子を示している。図46,47は、車両が前から風を受ける様子を示している。図48,49は、車両が左から風を受ける様子を示している。図50,51は、車両が左前から風を受ける様子を示している。図52,53は、車両が右前から風を受ける様子を示している。図54,55は、車両が左斜め上から風を受ける様子を示している。図56,57は、車両が後ろから風を受ける様子を示している。
図36〜57に示すように、車両が受ける風向きに対して垂直方向に正方形または長方形の板が表示されている。当該板を表示することによって、ドライバーは風向きを容易に把握することができる。
なお、図35〜57では、車両が現在位置から10m走行したときに受ける風向きおよび風の強さのシミュレーション結果を表示する場合を一例として説明したが、これに限るものではなく、車両が現在位置から任意の距離を走行したときに受ける風向きおよび風の強さのシミュレーション結果を表示すればよい。
以上のことから、本実施の形態によれば、風情報を3次元表示することによって奥行き方向の風向きを表現しているため、ドライバーは風向きを直感的に把握することが可能となる。また、車両の現在位置から予め定められた地点の風情報を表示することよって、ドライバーは走行先の風情報を事前に知ることができる。
以上で説明した表示制御装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なPND(Portable Navigation Device)および携帯通信端末(例えば、携帯電話、スマートフォン、およびタブレット端末など)、並びにサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、表示制御装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。
具体的には、一例として、表示制御装置の機能をサーバに配置することができる。例えば、図58に示すように、車両側にカメラ15、HUD16、モニター17、および操作入力部18を備え、サーバ28に気象情報取得部2、表示制御部3、インフラ情報取得部5、車両周辺情報取得部6、自車両情報取得部7、地図データ記憶部8、走行道路特定部9、経路探索部10、制御部11、表示情報生成部12、HUD出力制御部13、およびモニター出力制御部14を備えることによって、表示制御システムを構築することができる。
また、他の一例として、表示制御装置の機能をサーバおよび携帯通信端末に配置することができる。例えば、図59に示すように、車両側にカメラ15、HUD16、モニター17、および操作入力部18を備え、サーバ29に表示制御部3、車両周辺情報取得部6、自車両情報取得部7、地図データ記憶部8、走行道路特定部9、経路探索部10、制御部11、表示情報生成部12、HUD出力制御部13、およびモニター出力制御部14を備え、携帯通信端末30に気象情報取得部2およびインフラ情報取得部5を備えることによって、表示制御システムを構築することができる。
上記の構成とした場合であっても、上記の実施の形態と同様の効果が得られる。
また、上記の実施の形態における動作を実行するソフトウェア(表示制御方法)を、例えばサーバや通信端末に組み込んでもよい。
具体的には、一例として、上記の表示制御方法は、少なくとも車両の周辺の風向きを含む気象情報を取得し、取得した気象情報に基づいて、風向きを含む風情報を立体視可能に表示する制御を行う。
上記より、上記の実施の形態における動作を実行するソフトウェアをサーバまたは通信端末に組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
1 表示制御装置、2 気象情報取得部、3 表示制御部、4 表示制御装置、5 インフラ情報取得部、6 車両周辺情報取得部、7 自車両情報取得部、8 地図データ記憶部、9 走行道路特定部、10 経路探索部、11 制御部、12 表示情報生成部、13 HUD出力制御部、14 モニター出力制御部、15 カメラ、16 HUD、17 モニター、18 操作入力部、19 プロセッサ、20 メモリ、21 第1のオブジェクト、22 第2のオブジェクト、23 フロントガラス、24 ハンドル、25 ビル、26 トンネル、27 表示領域、28、29 サーバ、30 携帯通信端末。

Claims (17)

  1. 少なくとも車両の周辺の風向きを含む気象情報を取得する気象情報取得部と、
    前記気象情報取得部が取得した前記気象情報に基づいて、前記風向きを含む風情報を立体視可能に表示する制御を行う表示制御部と、
    を備える、表示制御装置。
  2. 前記気象情報は、前記風向きに対応する風の強さを含み、
    前記表示制御部は、前記風の強さを含む前記風情報を表示する制御を行うことを特徴とする、請求項1に記載の表示制御装置。
  3. 前記表示制御部は、前記風向きを示す1次元の第1のオブジェクトを前記風情報として表示する制御を行うことを特徴とする、請求項1に記載の表示制御装置。
  4. 前記第1のオブジェクトは、矢印であることを特徴とする、請求項3に記載の表示制御装置。
  5. 前記表示制御部は、前記第1のオブジェクトと、当該第1のオブジェクトに付随する2次元の第2のオブジェクトとの組み合わせを前記風情報として表示する制御を行うことを特徴とする、請求項3に記載の表示制御装置。
  6. 前記第2のオブジェクトは、前記第1のオブジェクトに対して平行に配置されていることを特徴とする、請求項5に記載の表示制御装置。
  7. 前記第2のオブジェクトは、前記第1のオブジェクトに対して直交して配置されていることを特徴とする、請求項5に記載の表示制御装置。
  8. 前記第2のオブジェクトは、前記第1のオブジェクトに対して直交する方向に沿って配置された複数の円環であることを特徴とする、請求項7に記載の表示制御装置。
  9. 前記第2のオブジェクトは、前記第1のオブジェクトに対して平行な方向に沿って配置された複数の円環であり、
    各前記円環の大きさは、前記風向きが示す風が吹いて行く方向に向かうほど大きいことを特徴とする、請求項7に記載の表示制御装置。
  10. 前記車両の現在の位置情報を取得する位置情報取得部をさらに備え、
    前記表示制御部は、前記位置情報取得部が取得した前記車両の現在位置から走行方向に向かって予め定められた間隔で前記風情報を表示する制御を行うことを特徴とする、請求項1に記載の表示制御装置。
  11. 前記車両の速度情報を取得する速度情報取得部をさらに備え、
    前記表示制御部は、前記速度情報取得部が取得した前記速度情報に基づいて前記間隔を変化させることを特徴とする、請求項10に記載の表示制御装置。
  12. 前記気象情報は、前記風向きに対応する風の強さを含み、
    前記表示制御部は、前記風の強さに基づいて前記第1のオブジェクトおよび前記第2のオブジェクトのうちの少なくとも一方の色を変化させることを特徴とする、請求項5に記載の表示制御装置。
  13. 前記気象情報は、前記風向きに対応する風の強さを含み、
    前記表示制御部は、前記風の強さに基づいて前記第1のオブジェクトの長さを変化させることを特徴とする、請求項5に記載の表示制御装置。
  14. 前記表示制御部は、前記風向きが視認可能なように予め定められた表示領域の色を変化させることを特徴とする、請求項1に記載の表示制御装置。
  15. 前記車両の現在の位置情報を取得する位置情報取得部をさらに備え、
    前記表示制御部は、前記位置情報取得部が取得した前記車両の現在位置から予め定められた距離を走行したときに前記車両が受ける前記風向きおよび前記風の強さのシミュレーション結果を表示する制御を行うことを特徴とする、請求項2に記載の表示制御装置。
  16. 前記表示制御部は、前記風情報をHUD(Head Up Display)に表示する制御を行うことを特徴とする、請求項1に記載の表示制御装置。
  17. 少なくとも車両の周辺の風向きを含む気象情報を取得し、
    前記取得した前記気象情報に基づいて、前記風向きを含む風情報を立体視可能に表示する制御を行う、表示制御方法。
JP2018530211A 2016-07-25 2016-07-25 表示制御装置および表示制御方法 Active JP6968069B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/071706 WO2018020546A1 (ja) 2016-07-25 2016-07-25 表示制御装置および表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2018020546A1 true JPWO2018020546A1 (ja) 2018-10-18
JP6968069B2 JP6968069B2 (ja) 2021-11-17

Family

ID=61015806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018530211A Active JP6968069B2 (ja) 2016-07-25 2016-07-25 表示制御装置および表示制御方法

Country Status (3)

Country Link
JP (1) JP6968069B2 (ja)
CN (1) CN109476232B (ja)
WO (1) WO2018020546A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7447039B2 (ja) 2021-03-10 2024-03-11 矢崎総業株式会社 車両用表示装置
JP2022138171A (ja) 2021-03-10 2022-09-26 矢崎総業株式会社 車両用表示装置
CN114578968B (zh) * 2022-03-09 2022-09-23 润芯微科技(江苏)有限公司 一种仪表3d/2d显示状态的切换方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11179052A (ja) * 1997-12-17 1999-07-06 Konami Co Ltd ビデオゲーム装置、ビデオゲームにおける予測ガイド表示方法及び予測ガイド表示プログラムが記録された記録媒体
JP2005055567A (ja) * 2003-08-01 2005-03-03 Sony Corp 3次元画像表示装置
JP2006050173A (ja) * 2004-08-03 2006-02-16 Onepass:Kk 地域別情報表示装置およびその画面構成
JP2006171850A (ja) * 2004-12-13 2006-06-29 Mitsubishi Electric Corp 道路情報提供装置
JP2006292656A (ja) * 2005-04-14 2006-10-26 Alpine Electronics Inc ナビゲーション装置および気象情報表示方法
JP2008203860A (ja) * 2008-03-04 2008-09-04 Navitime Japan Co Ltd 地図表示システム、地図表示装置、地図表示方法および地図配信サーバ
JP2014113905A (ja) * 2012-12-10 2014-06-26 Honda Motor Co Ltd 外乱抑制制御システムおよび外乱表示装置
JP2014173958A (ja) * 2013-03-07 2014-09-22 Furuno Electric Co Ltd 状況表示装置、状況表示プログラム及び状況表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0743241A (ja) * 1993-07-26 1995-02-14 Chiyoda Corp ガス漏洩監視方法
JP2006256548A (ja) * 2005-03-18 2006-09-28 Nippon Seiki Co Ltd 運転支援装置
CN102530143B (zh) * 2012-02-28 2014-01-15 华北电力大学 一种集储能与导航一体的智能自行车
KR101640579B1 (ko) * 2015-11-06 2016-07-19 콘티넨탈 오토모티브 일렉트로닉스 유한회사 헤드업 디스플레이

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11179052A (ja) * 1997-12-17 1999-07-06 Konami Co Ltd ビデオゲーム装置、ビデオゲームにおける予測ガイド表示方法及び予測ガイド表示プログラムが記録された記録媒体
JP2005055567A (ja) * 2003-08-01 2005-03-03 Sony Corp 3次元画像表示装置
JP2006050173A (ja) * 2004-08-03 2006-02-16 Onepass:Kk 地域別情報表示装置およびその画面構成
JP2006171850A (ja) * 2004-12-13 2006-06-29 Mitsubishi Electric Corp 道路情報提供装置
JP2006292656A (ja) * 2005-04-14 2006-10-26 Alpine Electronics Inc ナビゲーション装置および気象情報表示方法
JP2008203860A (ja) * 2008-03-04 2008-09-04 Navitime Japan Co Ltd 地図表示システム、地図表示装置、地図表示方法および地図配信サーバ
JP2014113905A (ja) * 2012-12-10 2014-06-26 Honda Motor Co Ltd 外乱抑制制御システムおよび外乱表示装置
JP2014173958A (ja) * 2013-03-07 2014-09-22 Furuno Electric Co Ltd 状況表示装置、状況表示プログラム及び状況表示方法

Also Published As

Publication number Publication date
JP6968069B2 (ja) 2021-11-17
CN109476232B (zh) 2021-12-31
CN109476232A (zh) 2019-03-15
WO2018020546A1 (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
JP4423114B2 (ja) ナビゲーション装置およびその交差点案内方法
KR102603817B1 (ko) 전자 장치, 전자 장치의 경로 안내 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JPWO2007129382A1 (ja) ナビゲーション装置およびその方法
JP2014181927A (ja) 情報提供装置、及び情報提供プログラム
EP3224574A1 (en) Street-level guidance via route path
JP2007198962A (ja) 車両用案内表示装置
JP6968069B2 (ja) 表示制御装置および表示制御方法
JPWO2007142084A1 (ja) ナビゲーション装置
EP2988097B1 (en) Driving support system, method, and program
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
KR20240014555A (ko) 커브 안내 방법, 커브 안내 장치, 전자 장치 및 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
JP6186905B2 (ja) 車載表示装置およびプログラム
JP2005265573A (ja) 車載ナビゲーション装置、ナビゲーションシステム
WO2019171528A1 (ja) 運転支援装置および運転支援方法
JP6654697B2 (ja) ナビゲーションシステムおよびナビゲーションプログラム
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP2008002965A (ja) ナビゲーション装置およびその方法
JP4835035B2 (ja) 地図表示制御装置および地図表示制御用プログラム
JPWO2011121788A1 (ja) ナビゲーション装置、情報表示装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
WO2009118911A1 (ja) 地図表示装置、ナビゲーション装置、生成方法、地図画像生成プログラム、およびコンピュータに読み取り可能な記録媒体
JP2019117435A (ja) 画像生成装置
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
US10876853B2 (en) Information presentation device, information presentation method, and storage medium
JP2014153262A (ja) 情報表示装置、情報表示方法及び情報表示用プログラム
JP2009276266A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200205

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200212

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200403

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200407

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200721

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201208

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210209

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210713

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210921

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211026

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211026

R150 Certificate of patent or registration of utility model

Ref document number: 6968069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150