JP2020112668A - ヘッドアップディスプレイ装置 - Google Patents

ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
JP2020112668A
JP2020112668A JP2019002932A JP2019002932A JP2020112668A JP 2020112668 A JP2020112668 A JP 2020112668A JP 2019002932 A JP2019002932 A JP 2019002932A JP 2019002932 A JP2019002932 A JP 2019002932A JP 2020112668 A JP2020112668 A JP 2020112668A
Authority
JP
Japan
Prior art keywords
display
emission intensity
light source
time
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019002932A
Other languages
English (en)
Other versions
JP7163781B2 (ja
Inventor
雄一郎 早川
Yuichiro Hayakawa
雄一郎 早川
大翔 坂野
Taisho Sakano
大翔 坂野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019002932A priority Critical patent/JP7163781B2/ja
Publication of JP2020112668A publication Critical patent/JP2020112668A/ja
Application granted granted Critical
Publication of JP7163781B2 publication Critical patent/JP7163781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Instrument Panels (AREA)

Abstract

【課題】虚像の視認性が良好なHUD装置を提供する。【解決手段】HUD装置は、車両に搭載されるように構成され、画像の表示光を透過部材に投影することにより、車両外の景色と重畳するような虚像を表示する。HUD装置は、画像による表示コンテンツが配置される画面に複数の画面領域を有する画像表示部、及び、画像表示部に対して分離され、複数の光源により画像表示部を照明する照明部を有する表示器と、画像表示部を制御すると共に、各光源のうち各画面領域に対応した対応光源を、各画面領域での表示コンテンツの配置に基づいて点灯させるようにローカルディミング制御する表示制御部と、を備える。表示制御部は、画面領域に表示コンテンツを配置状態である表示期間に、対応光源を点灯させると共に、画面領域での表示コンテンツの配置状態が停止された停止時から所定時間設定される停止後期間にも、対応光源の点灯を継続させる。【選択図】図6

Description

この明細書による開示は、ヘッドアップディスプレイ装置(以下、HUD装置を略称とする)に関する。
従来、車両に搭載されるように構成されたHUD装置が知られている。特許文献1に開示の装置は、画像の表示光を透過部材に投影することにより、車両外の景色と重畳するような虚像を表示している。より詳細に、特許文献1に開示の装置は、画像表示部及び複数の光源を有する照明部を有する表示器を備えている。各光源は、表示コンテンツが表示される画面領域に対応した対応光源が点灯されるように、ローカルディミング制御されている。
特許第6299523号公報
さて、車両外の景色と重畳するように虚像を表示する場合では、車両の移動又は振動に応じて、適時に表示コンテンツの配置を変更し、当該景色との適切な重畳を可能とすることが考えられる。車両の移動又は振動状況によって、短時間での表示コンテンツの配置変更を行なった方がよい場合もある。
ところが、このような短時間での表示コンテンツの配置変更に対応して、ローカルディミング制御を実施すると、各光源における点灯及び消灯の切り換えが頻発し得る。その結果、虚像にちらつきが発生し、視認性が低下することが懸念されている。
この明細書の開示による目的のひとつは、虚像の視認性が良好なHUD装置を提供することにある。
ここに開示された態様のひとつは、車両(1)に搭載されるように構成され、画像の表示光を透過部材(3)に投影することにより、車両外の景色と重畳するような虚像(VDP)を表示するヘッドアップディスプレイ装置であって、
画像による表示コンテンツ(DC)が配置される画面(22a)に複数の画面領域(DPA)を有する画像表示部(22)、及び、画像表示部に対して分離され、複数の光源(25)により画像表示部を照明する照明部(24)を有する表示器(21)と、
画像表示部を制御すると共に、各光源のうち各画面領域に対応した対応光源(25a)を、各画面領域での表示コンテンツの配置に基づいて点灯させるようにローカルディミング制御する表示制御部(52)と、を備え、
表示制御部は、画面領域に表示コンテンツを配置状態である表示期間に、対応光源を点灯させると共に、画面領域での表示コンテンツの配置状態が停止された停止時から所定時間設定される停止後期間にも、対応光源の点灯を継続させる。
このような態様によると、ある画面領域に対応した対応光源は、表示期間に点灯されるだけでなく、停止後期間にも、点灯が継続される。すなわち、画面領域での表示コンテンツの配置状態が停止された後、所定時間、点灯が継続される。そうすると、例えば虚像を車両外の景色と適切に重畳させるために、表示コンテンツが移動されて、所定時間内に表示コンテンツの位置が戻された場合に、一時的にある画面領域の表示コンテンツの配置状態が停止されたとしても、停止後期間に対応光源が消灯されることなく再び表示期間に戻る。故に、ローカルディミング制御を実施していても、短時間での表示コンテンツの配置変更に伴う光源の点灯及び消灯の切り換え頻度を低減することができるので、虚像のちらつき発生を抑制できる。以上により、虚像の視認性が良好なHUD装置を提供することができる。
なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
第1実施形態のHUD装置の車両への搭載状態を示す図である。 第1実施形態の表示器の構成を模式的に示す図である。 第1実施形態の表示器と表示制御部との関係を示すブロック図である。 第1実施形態の表示コンテンツの配置変更と光源との関係を説明するための模式図であって、(a)振動を受けていない場合の照明及び表示の例である。(b)振動を受けて一時的に配置変更をした場合の照明及び表示の例である。 第1実施形態の表示制御部によるフローチャートである。 第1実施形態の対応光源の点灯及びその発光強度を示すタイムチャートである。 第2実施形態の対応光源の点灯及びその発光強度を示すタイムチャートである。 第3実施形態の対応光源の点灯及びその発光強度を示すタイムチャートである。 第4実施形態の対応光源の点灯及びその発光強度を示すタイムチャートである。 第5実施形態の対応光源の点灯及びその発光強度を示すタイムチャートである。 第6実施形態の対応光源の点灯及びその発光強度を示すタイムチャートである。
以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
(第1実施形態)
図1に示すように、本開示の第1実施形態によるHUD装置10は、車両1に搭載されるように構成され、当該車両1のインストルメントパネル2内に収容されている。HUD装置10は、車両1のウインドシールド3へ向けて画像の表示光を投影する。これにより、画像を、乗員により視認可能な虚像VDPとして表示する。すなわちウインドシールド3にて反射される画像の表示光が、車両1の室内に設定された視認領域EBに到達することにより、視認領域EBにアイポイントEPが位置する乗員が各種情報を認識することができる。
特に本実施形態では、乗員は、ウインドシールド3越しに、車両1外の景色と重畳するような虚像VDPを視認することができる。すなわち、HUD装置10による虚像VDPは、例えば路面又は建物等と重畳する表示コンテンツDC(図4も参照)により、現実を拡張する拡張現実(Augmented Reality;AR)表示を含んでいる。
以下において、特に断り書きがない限り、前、後、上、下、左及び右が示す各方向は、水平面HP上の車両1を基準として記載される。
なお、本実施形態における車両1とは、自動車に限らず、鉄道車両の他、航空機、船舶、移動しないゲーム用筐体(例えば、筐体自ら振動するようなものを含む)等の各種乗り物を含むように広義に解される。
車両1のウインドシールド3は、例えばガラスないし合成樹脂により透光性の板状に形成された透過部材であり、インストルメントパネル2よりも上方に配置されている。ウインドシールド3は、前方から後方へ向かう程、インストルメントパネル2とは離間するように傾斜して配置されている。ウインドシールド3は、画像の表示光が投影される反射部3aを、滑らかな凹面状又は平面状に形成している。なお、画像の表示光は、ウインドシールド3に代えて、例えば車両1と別体となっているコンバイナに投影されてもよい。
視認領域EBは、虚像VDPが視認可能となる空間領域であって、アイボックスとも称される。視認領域EBは、典型的には、車両1に設定されたアイリプスと重なるように設定される。アイリプスは、乗員のアイポイントEPの空間分布を統計的に表したアイレンジに基づいて、仮想の楕円体状に設定されている。アイリプスは、通常、座席のヘッドレストから少し前方の空間に設定される。
このようなHUD装置10の具体的構成を、図2,3も用いて、以下に説明する。HUD装置10は、ハウジング11、表示器21、拡大導光部41及び制御ユニット51等により構成されている。
図1に示すように、ハウジング11は、例えば合成樹脂ないし金属等により、表示器21、拡大導光部41、及び制御ユニット51等を収容する中空形状を有しており、車両1のインストルメントパネル2内に設置されている。ハウジング11は、ウインドシールド3とは上下方向に対向する上面部に、光学的に開口する窓部12を有している。窓部12は、例えば表示光を透過可能な防塵シート13で覆われている。
表示器21は、画面22aに画像を表示し、その画像の表示光を拡大導光部41へ向けて投射する。本実施形態の表示器21は、透過型の液晶表示器となっている。図2,3に示すように、表示器21は、画面22aを有する画像表示部22及び画像表示部22を照明する照明部24を有し、例えば遮光性を有する箱状のケーシングにこれらを収容して構成されている。
図1に示すように、拡大導光部41は、表示器21の画面22aから発せられた画像の表示光を導光する光路を形成している。拡大導光部41は、例えば平面鏡42及び凹面鏡44を有している。
平面鏡42は、例えば合成樹脂ないしガラスからなる基材の表面に、アルミニウムを蒸着させること等により、滑らかな平面状の反射面を形成している。表示器21から平面鏡42に入射した表示光は、その反射面により凹面鏡44へ向けて反射される。
凹面鏡44は、例えば合成樹脂ないしガラスからなる基材の表面に、アルミニウムを蒸着させること等により、凹状に湾曲する滑らかな凹面状の反射面を形成している。平面鏡42から凹面鏡44に入射した表示光は、その反射面によりウインドシールド3へ向けて反射される。ここで、正の光学パワーを有する凹面鏡44の反射面での反射によって、虚像VDPを画面22a上の画像に対して拡大することが可能となっている。
また、凹面鏡44は、制御ユニット51によって制御されているステッピングモータの駆動に応じて、左右方向に伸びる回転軸44aのまわりに回動可能となっている。こうした回動によって、虚像VDPの表示位置を上下方向に変位するように調整することができる。
以下では、本実施形態の表示器21及びその制御について詳細に説明する。特に図2に示すように、表示器21の画像表示部22は、薄膜トランジスタ(Thin Film Transistor;TFT)を用いたTFT液晶パネルであって、例えば二次元配列にて配列された複数の液晶画素から形成されたアクティブマトリクス型の液晶パネルである。
画像表示部22は、一対の偏光板及び一対の偏光板に挟まれた液晶層等が積層されて形成されていることで、平板状を呈している。各偏光板は、互いに実質直交する透過軸及び吸収軸を有し、透過軸方向に偏光した光を透過させ、吸収軸方向に偏光した光を吸収する性質を有する。一対の偏光板は、透過軸を互いに直交させて配置されている。液晶層は、液晶画素毎の電圧の印加により、印加電圧に応じて液晶層に入射する光の偏光方向を回転させることが可能となっている。こうして画像表示部22は、偏光方向の回転により拡大導光部41側の偏光板を透過する光の割合、すなわち透過率を、液晶画素毎に変えることができる。
したがって、画像表示部22は、照明部24側の表面である照明対象面22bからの光源光の入射に対応して、液晶画素毎の透過率が制御されることで、画面22aに画像を表示する。ここで、隣り合う液晶画素には、互いに異なる色(例えば赤、緑及び青)のカラーフィルタが設けられており、これらの組み合わせにより様々な色が実現されるようになっている。
照明部24は、照明対象面22bを介して画像表示部22を照明する。照明部24は、いわゆる直下型又は直下型に準じたバックライトであり、複数の光源25、当該複数の光源25を保持する基板24a、及び複数の光源25と照明対象面22bとの間に配置されたバックライト光学系30等により構成されている。
本実施形態において各光源25は、1つの発光ダイオード素子を主体として構成されている。各光源25は、基板24a上の照明用回路による配線パターンを通じて、電源と電気的に接続されている。より詳細に、各光源25は、チップ状の青色発光ダイオードを、透光性を有する合成樹脂に黄色蛍光剤を混合した黄色蛍光体により封止することにより形成されている。青色発光ダイオードから電流量に応じて発せられた青色光により、黄色蛍光体が励起されて黄色光を発光し、青色光と黄色光との混合により、各光源25から疑似白色の光源光が発せられる。各光源25は、個別に点灯状態と消灯状態とを切り替え可能に構成され、点灯状態においては、発光強度を適宜変更できるように制御される。
本実施形態では、画像表示部22とは分離した基板24aの表面に沿って複数の光源25が配列されている。例えば、複数の光源25は、矩形状の格子をなすように二次元方向に配列される(図4も参照)。こうした基板24aの表面に対して画像表示部22は、傾斜して配置されている。これにより、各光源25において基板24aの表面に実質垂直な方向を強度ピーク方向として光源光が発せられると、表示に寄与する光源光は、互いに実質平行な照明対象面22bと画面22aとの間を、斜めに透過することとなる。
各光源25は、画像表示部22の照明対象面22bないし画面22aのうち、個別に対応する部分的な領域を、主として照明するようになっている。換言すると、画面22aには、光源25の配置に対応して仮想的に分割された画面領域DPAが設定されている。こうして図4に示すように、1つの画面領域DPAと、1つの対応光源25aとが個別対応関係を構成している。
図2に示すバックライト光学系30は、各画面領域DPAと各光源25との個別対応関係を保持しつつ、光源光の指向性を調整する。バックライト光学系30は、例えばレンズアレイ31、フレネルレンズ32及び拡散板33を有している。
レンズアレイ31は、複数の凸レンズ素子31aが光源25の数及び配置に合わせて配列されて形成されている。各凸レンズ素子31aは、個別に対応する光源25と対向して配置されている。各凸レンズ素子31aは、例えば合成樹脂ないしガラス等により透光性に形成され、対応する光源25からの光源光を集光する。
フレネルレンズ32は、例えば合成樹脂ないしガラス等により透光性に形成されている。フレネルレンズ32は、レンズアレイ31側から入射した光源光をさらに集光して平行化する。
拡散板33は、照明対象面22bに対して近接状態又は接着状態に配置され、例えば透光性合成樹脂からなる基材にマイクロビーズ等の拡散粒子を混合することにより、シート状に形成されている。拡散板33は、フレネルレンズ32側から入射した光を拡散して、画像表示部22に入射する光源光の指向性をさらに調整する。
図1に示す制御ユニット51は、いわゆるコンピュータであり、少なくとも1つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路を主体として構成されている。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラムを非一時的に格納するための非遷移的実体的記憶媒体である。
制御ユニット51は、表示器21及び凹面鏡44のステッピングモータ等と通信可能に接続されている。加えて、制御ユニット51は、通信を用いた電気信号の入力によって車両1のECU(Electric Control Unit)等からの各種情報を取得可能に構成されている。なお、制御ユニット51と各要素との間の通信においては、有線通信、無線通信を問わず各種の好適な通信方式が採用され得る。
制御ユニット51は、表示制御部52等の制御部を、コンピュータプログラムの実行により演算処理を行なう機能部として備える。図3に示すように、表示制御部52は、サブ機能部として、画像制御部53及び照明制御部54を有する。
画像制御部53は、ECUが生成し、当該ECUから入力された画像が画面22aに表示されるように、画像表示部22を制御する。あるいは、画像制御部53は、ECUからの情報に応じて画像を生成し、当該画像が画面22aに表示されるように、画像表示部22を制御する。
画面22aに表示される画像は、車両1外の景色と重畳する虚像VDPとして結像されることを前提にレイアウトされている1つ以上の表示コンテンツDCを含んで構成されている。具体的に、画面22aの一部分に、表示コンテンツDCが配置される。表示コンテンツDCの表示部分では、液晶画素の透過率が適正値に設定されて文字又は図柄が表示される。表示部分を除く他部には、実質的に何も表示されない空白部分が設定される。空白部分では、後述する停止後期間を除いては、液晶画素の透過率が最小値に設定されて表示光が画面22aから極力射出されないように、画像表示部22が制御される。
また、こうした表示コンテンツDCの画面22a上の配置は、車両1の位置情報を基に変更される。車両1の位置情報には、例えばGPS等により検出された車両1の緯度、経度等の情報、及び、ジャイロセンサ等により検出された車両1の向き、振動等の情報等が含まれる。
一例として、車両1が右左折して向きが変更されると、虚像VDPと車両1外の景色の位置関係が変更される。正面に位置していた建物が側方に移動していくと、その建物との位置関係に合わせてその建物の情報を示す表示コンテンツDCが配置変更される。
他の一例として、路面の凹凸により車両1が上下に振動すると、路面と重畳するように表示されるべき矢印虚像の表示コンテンツDCが高速で上下に振動して視認されてしまうことが懸念される。図4に示すように、この矢印虚像が振動して視認されることを抑制するため、振動と逆向きに(振動を相殺するように)、矢印虚像の表示コンテンツDCが配置変更される。
画像がECUにより生成される場合には、この配置変更は、ECUにより実施されてもよいし、画像制御部53が実施してもよい。画像が画像制御部53により生成される場合には、この配置変更は、画像制御部53が実施する(図5のステップもS110参照)。
照明制御部54は、画像制御部53と連携して、照明部24の複数の光源25を、ローカルディミング制御(部分駆動制御ともいう)する(図5のステップもS111参照)。具体的に照明制御部54は、各光源25の点灯状態と消灯状態とを、個別に切り替える。照明制御部54は、複数の光源25のうち、表示コンテンツDCの配置状態にある各画面領域DPAに対応する対応光源25aを、それぞれ点灯させる。したがって、表示コンテンツDCの配置変更に応じて、各光源25の点灯状態と消灯状態との切り替えが発生する。
なお、図4では、点灯状態の光源25がハッチングなしの四角形で表現され、消灯状態の光源25がドットハッチング入りの四角形で表現されている。画面22aにおいては、表示コンテンツDCがハッチングなしで表現され、空白部分のうち照明部24に照明されている部分が薄いドットハッチングで表現され、空白部分のうち照明部24に照明されていない部分が濃いドットハッチングで表現されている。二点鎖線は画面領域DPAの区画を表している。
ここで、個別対応関係を構成する1の画面領域DPA及びそれに対応するある1つの対応光源25aについて、詳細に説明する。他の個別対応関係を構成する画面領域及び対応光源についても、同様に制御されるため、説明を省略する。
第1実施形態の照明制御部54は、画面領域DPAに表示コンテンツDCを配置状態である表示期間に、対応光源25aを点灯させる。表示期間においては、表示コンテンツDCを表示させるために十分な発光強度で、同じ発光強度を保ったまま対応光源25aが点灯する。
これと共に、照明制御部54は、画面領域DPAでの表示コンテンツDCの配置状態が停止された(すなわち表示コンテンツDCがその画面領域DPAに配置されなくなった)停止時から、所定時間設定される停止後期間にも、対応光源25aの点灯を継続させる。照明制御部54は、この停止後期間においては、停止時の発光強度と同じ発光強度を保ったまま対応光源25aの点灯を継続させる。
停止後期間の長さを規定する所定時間は、例えば500msec以上に設定される。そうすると、通常1〜2Hz程度である車両1の振動に応じて、500〜1000msec毎に表示コンテンツDCの配置変更が実施された場合に、対応光源25aの点灯及び消灯の切り換えが頻発することを抑制することができる。
また、照明制御部54は、所定時間内に、画面領域DPAでの再び表示コンテンツDCの配置状態が開始された場合に、直ちに停止後期間を終了し、表示期間を再開する。
図6を用いて、具体的な制御例1を説明する。この例では、所定時間が例えば1000msecであるものとする。
最初に、本制御例1における表示コンテンツDCの配置変更のタイミングを説明する。時刻t1まで画面領域DPAに表示コンテンツDCが配置されていない状態の期間であり、時刻t1に表示コンテンツDCが配置変更されて、表示期間となる。表示期間は、例えば600msec後の時刻t2まで継続する。時刻t2に表示コンテンツDCが配置変更され、表示コンテンツDCの配置状態が停止され(すなわち時刻t2が停止時に相当する)、停止後期間となる。さらに500msec後の時刻t3に再び表示コンテンツDCが配置変更されて、表示期間となる。表示期間は、例えば500msec後の時刻t4まで継続する。時刻t4に表示コンテンツDCが配置変更され、表示コンテンツDCの配置状態が停止され(すなわち時刻t4が停止時に相当する)、停止後期間となる。その後表示コンテンツDCの配置変更はなく、停止後期間は、例えば1000msec後の時刻t5まで継続する。
このような表示コンテンツDCの配置変更に対して、対応光源25aは、以下のように制御される。時刻t1までは、対応光源25aが消灯している。時刻t1から時刻t2までは、表示期間であるから、対応光源25aが点灯され、同じ発光強度を保ったままとなる。時刻t2から時刻t3までは、停止後期間であるから、対応光源25aの点灯が継続され、停止時と同じ発光強度を保ったままとなる。時刻t3から時刻t4までは、表示期間であるから、対応光源25aの点灯がさらに継続され、同じ発光強度を保ったままとなる。
時刻t4から時刻t5までは、停止後期間であるから、対応光源25aの点灯が継続され、停止時と同じ発光強度を保ったままとなる。時刻t5にて停止後期間が終了するので、対応光源25aが消灯する。
以上まとめると、時刻t1,t2,t3,t4にて、この画面領域DPAに関わる表示コンテンツDCの配置変更が合計4回実施されたにも関わらず、対応光源25aの点灯及び消灯の切り換えは、時刻t1での点灯への切り替え及び時刻t5の消灯への切り替えの合計2回に留まっている。
(作用効果)
以上説明した第1実施形態の作用効果を以下に改めて説明する。
第1実施形態によると、ある画面領域DPAに対応した対応光源25aは、表示期間に点灯されるだけでなく、停止後期間にも、点灯が継続される。すなわち、画面領域DPAでの表示コンテンツDCの配置状態が停止された後、所定時間、点灯が継続される。そうすると、例えば虚像VDPを車両1外の景色と適切に重畳させるために、表示コンテンツDCが移動されて、所定時間内に表示コンテンツDCの位置が戻された場合に、一時的にある画面領域DPAの表示コンテンツDCの配置状態が停止されたとしても、停止後期間に対応光源25aが消灯されることなく再び表示期間に戻る。故に、ローカルディミング制御を実施していても、短時間での表示コンテンツDCの配置変更に伴う光源25の点灯及び消灯の切り換え頻度を低減することができるので、虚像VDPのちらつき発生を抑制できる。以上により、虚像VDPの視認性が良好なHUD装置10を提供することができる。
また、第1実施形態によると、停止後期間における対応光源25aの点灯では、停止時の発光強度と同じ発光強度が保たれる。故に、停止後期間から再び表示期間に戻る場合の発光強度の変化を抑制できるので、短時間での表示コンテンツDCの配置変更に伴う虚像VDPのちらつきを抑制することができる。
(第2実施形態)
図7に示すように、第2実施形態は第1実施形態の変形例である。第2実施形態について、第1実施形態とは異なる点を中心に説明する。
第2実施形態にて個別対応関係を構成する1の画面領域DPA及びそれに対応するある1つの対応光源25aについて、詳細に説明する。他の個別対応関係を構成する画面領域及び対応光源についても、同様に制御されるため、説明を省略する。
第2実施形態の照明制御部54は、表示期間において、第1実施形態と同様に対応光源25aを点灯させ、停止後期間にも、対応光源25aの点灯を継続させる。ただし、第2実施形態の照明制御部54は、この停止後期間においては、停止時の発光強度から、線形的に発光強度を減少させるように、対応光源25aの点灯を継続させる。
図7を用いて、具体的な制御例2を説明する。所定時間の設定及び表示コンテンツDCの配置変更のタイミングについては、第1実施形態における制御例1と同様であるものとする。
対応光源25aは、以下のように制御される。時刻t1までは、対応光源25aが消灯している。時刻t1から時刻t2までは、表示期間であるから、対応光源25aが点灯され、同じ発光強度を保ったままとなる。時刻t2から時刻t3までは、停止後期間であるから、対応光源25aの点灯が継続されるが、停止時の発光強度から線形的に発光強度が漸次減少する。時刻t3にて、発光強度が瞬間的かつ離散的に増大される。時刻t3から時刻t4までは、表示期間であるから、対応光源25aの点灯が継続され、同じ発光強度を保ったままとなる。
時刻t4から時刻t5までは、停止後期間であるから、対応光源25aの点灯が継続されるが、停止時の発光強度から線形的に発光強度が漸次減少する。発光強度の漸次減少により、時刻t5の停止後期間の終了時に丁度発光強度が0となり、対応光源25aが消灯する。
以上説明した第2実施形態によると、停止後期間における対応光源25aの点灯では、停止時の発光強度から、線形的に発光強度が減少する。故に、停止後期間を満了した瞬間での消灯状態への移行において、発光強度の変化量を低減することができるので、虚像VDPのちらつきを抑制することができる。
(第3実施形態)
図8に示すように、第3実施形態は第1実施形態の変形例である。第3実施形態について、第1実施形態とは異なる点を中心に説明する。
第3実施形態にて個別対応関係を構成する1の画面領域DPA及びそれに対応するある1つの対応光源25aについて、詳細に説明する。他の個別対応関係を構成する画面領域及び対応光源についても、同様に制御されるため、以下の説明を以って代える。
第3実施形態の照明制御部54は、表示期間において、第1実施形態と同様に対応光源25aを点灯させ、停止後期間にも、対応光源25aの点灯を継続させる。ただし、第3実施形態の照明制御部54は、この停止後期間においては、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に増大する態様にて発光強度を減少させるように、対応光源25aの点灯を継続させる。
図8を用いて、具体的な制御例3を説明する。所定時間の設定及び表示コンテンツDCの配置変更のタイミングについては、第1実施形態における制御例1と同様であるものとする。
対応光源25aは、以下のように制御される。時刻t1までは、対応光源25aが消灯している。時刻t1から時刻t2までは、表示期間であるから、対応光源25aが点灯され、同じ発光強度を保ったままとなる。時刻t2から時刻t3までは、停止後期間であるから、対応光源25aの点灯が継続されるが、停止時の発光強度から、減少幅が時間経過と共に増大するように連続的に発光強度が減少する。時刻t2の前後において、発光強度の時間一次微分の値は連続する。時刻t3にて、発光強度が瞬間的かつ離散的に増大される。時刻t3から時刻t4までは、表示期間であるから、対応光源25aの点灯が継続され、同じ発光強度を保ったままとなる。
時刻t4から時刻t5までは、停止後期間であるから、対応光源25aの点灯が継続されるが、停止時の発光強度から、減少幅が時間経過と共に増大するように連続的に発光強度が減少する。発光強度の漸次減少により、時刻t5の停止後期間の終了時に丁度発光強度が0となり、対応光源25aが消灯する。時刻t5の前後において、発光強度の時間一次微分の値は不連続となる。
以上説明した第3実施形態によると、停止後期間における対応光源25aの点灯では、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に増大する態様にて発光強度が減少する。すなわち、発光強度の減少によって、停止後期間を満了した瞬間での消灯状態への移行において、発光強度の変化量を低減することができる。さらには、停止後期間の開始直後の減少幅が小さいので、例えば車両1の高周波の振動等に対応して短時間で停止後期間から再び表示期間に戻る場合の発光強度の変化量を低減できる。各状況にて発光量の変化量が低減されるので、虚像VDPのちらつきを抑制することができる。
(第4実施形態)
図9に示すように、第4実施形態は第1実施形態の変形例である。第4実施形態について、第1実施形態とは異なる点を中心に説明する。
第4実施形態にて個別対応関係を構成する1の画面領域DPA及びそれに対応するある1つの対応光源25aについて、詳細に説明する。他の個別対応関係を構成する画面領域及び対応光源についても、同様に制御されるため、以下の説明を以って代える。
第4実施形態の照明制御部54は、表示期間において、第1実施形態と同様に対応光源25aを点灯させ、停止後期間にも、対応光源25aの点灯を継続させる。ただし、第4実施形態の照明制御部54は、この停止後期間においては、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に減少する態様にて発光強度を減少させるように、対応光源25aの点灯を継続させる。
図9を用いて、具体的な制御例4を説明する。所定時間の設定及び表示コンテンツDCの配置変更のタイミングについては、第1実施形態における制御例1と同様であるものとする。
対応光源25aは、以下のように制御される。時刻t1までは、対応光源25aが消灯している。時刻t1から時刻t2までは、表示期間であるから、対応光源25aが点灯され、同じ発光強度を保ったままとなる。時刻t2から時刻t3までは、停止後期間であるから、対応光源25aの点灯が継続されるが、停止時の発光強度から、減少幅が時間経過と共に減少するように連続的に発光強度が減少する。時刻t2の前後において、発光強度の時間一次微分の値は不連続となる。時刻t3にて、発光強度が瞬間的かつ離散的に増大される。時刻t3から時刻t4までは、表示期間であるから、対応光源25aの点灯が継続され、同じ発光強度を保ったままとなる。
時刻t4から時刻t5までは、停止後期間であるから、対応光源25aの点灯が継続されるが、停止時の発光強度から、減少幅が時間経過と共に減少するように連続的に発光強度が減少する。発光強度の漸次減少により、時刻t5の停止後期間の終了時に丁度発光強度が0となり、対応光源25aが消灯する。時刻t5の前後において、発光強度の時間一次微分の値は連続する。
以上説明した第4実施形態によると、停止後期間における対応光源25aの点灯では、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に減少する態様にて発光強度が減少する。すなわち、ウェーバー・フェヒナーの法則等により理論化された人の視感度特性を考慮して、発光強度が小さくなったときの減少幅を小さくすることによって、対応光源25aの消灯時のちらつきを格段に感じさせ難くすることができる。
(第5実施形態)
図10に示すように、第5実施形態は第1実施形態の変形例である。第5実施形態について、第1実施形態とは異なる点を中心に説明する。
第5実施形態にて個別対応関係を構成する1の画面領域DPA及びそれに対応するある1つの対応光源25aについて、詳細に説明する。他の個別対応関係を構成する画面領域及び対応光源についても、同様に制御されるため、以下の説明を以って代える。
第5実施形態の照明制御部54は、表示期間において、第1実施形態と同様に対応光源25aを点灯させ、停止後期間にも、対応光源25aの点灯を継続させる。ただし、第5実施形態の照明制御部54は、この停止後期間のうち前半においては、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に増大する態様にて発光強度を減少させるように、対応光源25aの点灯を継続させる。停止後期間のうち後半においては、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に減少する態様にて発光強度を減少させるように、対応光源25aの点灯を継続させる。停止後期間における発光強度は、例えば正弦曲線に沿うように変化する。
なお、停止後期間の前半及び後半は、所定時間を2分割したものであるが、必ずしも丁度5分5分に時間を配分してなくてもよく、適宜配分を設定することができる。
図10を用いて、具体的な制御例5を説明する。所定時間の設定及び表示コンテンツDCの配置変更のタイミングについては、第1実施形態における制御例1と同様であるものとする。
対応光源25aは、以下のように制御される。時刻t1までは、対応光源25aが消灯している。時刻t1から時刻t2までは、表示期間であるから、対応光源25aが点灯され、同じ発光強度を保ったままとなる。時刻t2から時刻t3までは、停止後期間であるから、対応光源25aの点灯が継続されるが、停止時の発光強度から、減少幅が時間経過と共に増大するように連続的に発光強度が減少する。時刻t2の前後において、発光強度の時間一次微分の値は連続する。停止後期間の前半の段階で時刻t3を迎え、時刻t3にて、発光強度が瞬間的かつ離散的に増大される。時刻t3から時刻t4までは、表示期間であるから、対応光源25aの点灯が継続され、同じ発光強度を保ったままとなる。
時刻t4から時刻t5までは、停止後期間であるから、対応光源25aの点灯が継続されるが、まず前半では、停止時の発光強度から、減少幅が時間経過と共に増大するように連続的に発光強度が減少する。後半では、停止時の発光強度から、減少幅が時間経過と共に減少するように連続的に発光強度が減少する。発光強度の漸次減少により、時刻t5の停止後期間の終了時に丁度発光強度が0となり、対応光源25aが消灯する。時刻t5の前後において、発光強度の時間一次微分の値は連続する。
以上説明した第5実施形態によると、停止後期間の前半における対応光源25aの点灯では、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に増大する態様にて発光強度が減少する。停止後期間の開始直後の減少幅が小さいので、例えば車両1の高周波の振動等に対応して短時間で停止後期間から再び表示期間に戻る場合に、発光強度の変化量を低減できる。これと共に、停止後期間の前半における対応光源25aの点灯では、停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に減少する態様にて発光強度が減少する。すなわち、ウェーバー・フェヒナーの法則等により理論化された人の視感度特性を考慮して、発光強度が小さくなったときの減少幅を小さくすることによって、対応光源25aの消灯時のちらつきを格段に感じさせ難くすることができる。
(第6実施形態)
図11に示すように、第6実施形態は第5実施形態の変形例である。第6実施形態について、第5実施形態とは異なる点を中心に説明する。
第6実施形態にて個別対応関係を構成する1の画面領域DPA及びそれに対応するある1つの対応光源25aについて、詳細に説明する。他の個別対応関係を構成する画面領域及び対応光源についても、同様に制御されるため、以下の説明を以って代える。
第6実施形態の照明制御部54は、表示期間において、対応光源25aを点灯させ、停止後期間にも、第5実施形態と同様に対応光源25aの点灯を継続させる。ただし、第6実施形態の照明制御部54は、表示期間において発光強度を変化させるようになっている。具体的に、表示期間において、当該表示期間の開始時から暫くの間、立ち上がり期間が設定される。
立ち上がり期間は、停止後期間と同じ時間又は停止後期間よりも短い時間に設定され、具体的には500msec以下、好適には100〜200msec程度に設定される。立ち上がり期間では、対応光源25aについて、開始時の発光強度から、開始時の発光強度よりも大きな目標強度へと発光強度を連続的に変化させる。表示期間開始時の前後、立ち上がり期間内、及び立ち上がり期間終了時の前後において、発光強度の時間一次微分の値が連続する曲線に沿うように、対応光源25aの発光強度が制御される。より好ましくは、表示期間開始時の前後、立ち上がり期間内、及び立ち上がり期間終了時の前後において、発光強度の時間二次微分の値が連続する曲線に沿うように、対応光源25aの発光強度が制御される。
対応光源25aが消灯している期間から表示期間が開始される場合においては、開始時の時間一次微分の値が0であるため、立ち上がり期間の全期間において、発光強度が漸次増大するように、対応光源25aが点灯する。立ち上がり期間における発光強度は、例えば正弦曲線に沿うように変化する。
一方、停止後期間が満了せずに停止後期間の途中から表示期間が開始される場合においては、開始時の時間一次微分の値が負であるため、立ち上がり期間の初期では発光強度が一時的に減少し、その後、発光強度が漸次増大するように、対応光源25aが点灯する。
また、表示期間における立ち上がり期間の終了後には、目標強度と同じ発光強度が保たれるように、対応光源25aが点灯する。
図11を用いて、具体的な制御例6を説明する。所定時間の設定及び表示コンテンツDCの配置変更のタイミングについては、第1実施形態における制御例1と同様であるものとする。ただし、立ち上がり期間の終了時を、時刻t1x及び時刻t3xとする。
対応光源25aは、以下のように制御される。時刻t1までは、対応光源25aが消灯している。時刻t1から時刻t1xまでは、立ち上がり期間であるから、対応光源25aが点灯され、発光強度が漸次増大する。時刻t1xから時刻t2までは、同じ発光強度が保たれるように、対応光源25aが点灯する。時刻t2から時刻t3までは、第5実施形態と同様である。
時刻t3から時刻t3xまでは、立ち上がり期間であるから、時刻t3までの停止後期間の終了時の発光強度から発光強度が漸次増大するように、対応光源25aが点灯する。時刻t3xから時刻t4までは、同じ発光強度が保たれるように、対応光源25aが点灯する。また、時刻t4以降は、第5実施形態と同様である。
以上説明した第6実施形態によると、立ち上がり期間における対応光源25aの点灯では、開始時の発光強度よりも大きな強度へと発光強度が連続的に変化する。このため、表示期間の開始時において、瞬間的かつ離散的に発光強度が変化することが抑制されるので、虚像VDPのちらつきを抑制することができる。さらにこの立ち上がり期間の長さは、停止後期間の長さを規定する所定時間以下に設定されるので、表示コンテンツDCの輝度がいつまでも上がらないことによる違和感を低減することができる。故に、虚像VDPの視認性が良好なHUD装置10を提供することができる。
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
具体的に変形例1としては、バックライト光学系30には、直下型に準じたバックライト構成を逸脱しない範囲で、種々の構成を採用することができる。また、バックライト光学系30自体が設けられていなくてもよい。
変形例2としては、1つの光源25が複数の発光ダイオード素子を単位として構成されていてもよい。
変形例3としては、複数の光源25は、1つのOLED(Organic Light-Emitting Diode)照明パネルを、制御的に複数の分割領域に分割して、各分割領域が個別に点灯及び消灯を切り替え可能に構成されることで、実現されていてもよい。
変形例4としては、画像領域DPAと対応光源25aとの対応関係は、1対1の個別対応関係でなくてもよい。例えば第1の画像領域に第1の対応光源及び第2の対応光源の2つの光源25が対応し、第1の画像領域の隣の第2の画像領域に、第2の対応光源及び第3の対応光源の2つの光源25が対応する、というように、1つの光源25に対して複数の画像領域が対応していてもよい。
変形例5としては、制御ユニット51による処理のうち少なくとも一部は、古典的なアナログ回路、FPGA(Field-Programmable Gate Array)等によってハードウエア的に実現されてもよく、ニューラルネットワークを用いた人工知能アルゴリズムによって実現されてもよい。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
1:車両、3:ウインドシールド(透過部材)、10:HUD装置、21:表示器、22:画像表示部、22a:画面、24:照明部、25:光源、25a:対応光源、52:表示制御部、DPA:画面領域、DC:表示コンテンツ、VDP:虚像

Claims (8)

  1. 車両(1)に搭載されるように構成され、画像の表示光を透過部材(3)に投影することにより、前記車両外の景色と重畳するような虚像(VDP)を表示するヘッドアップディスプレイ装置であって、
    前記画像による表示コンテンツ(DC)が配置される画面(22a)に複数の画面領域(DPA)を有する画像表示部(22)、及び、前記画像表示部に対して分離され、複数の光源(25)により前記画像表示部を照明する照明部(24)を有する表示器(21)と、
    前記画像表示部を制御すると共に、各前記光源のうち各前記画面領域に対応した対応光源(25a)を、各前記画面領域での前記表示コンテンツの配置に基づいて点灯させるようにローカルディミング制御する表示制御部(52)と、を備え、
    前記表示制御部は、前記画面領域に前記表示コンテンツを配置状態である表示期間に、前記対応光源を点灯させると共に、前記画面領域での前記表示コンテンツの配置状態が停止された停止時から所定時間設定される停止後期間にも、前記対応光源の点灯を継続させるヘッドアップディスプレイ装置。
  2. 前記表示制御部は、前記停止後期間において、前記停止時の発光強度と同じ発光強度で前記対応光源の点灯を継続させる請求項1に記載のヘッドアップディスプレイ装置。
  3. 前記表示制御部は、前記停止後期間において、前記停止時の発光強度から、線形的に発光強度を減少させるように、前記対応光源の点灯を継続させる請求項1に記載のヘッドアップディスプレイ装置。
  4. 前記表示制御部は、前記停止後期間において、前記停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に増大する態様にて発光強度を減少させるように、前記対応光源の点灯を継続させる請求項1に記載のヘッドアップディスプレイ装置。
  5. 前記表示制御部は、前記停止後期間において、前記停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に減少する態様にて発光強度を減少させるように、前記対応光源の点灯を継続させる請求項1に記載のヘッドアップディスプレイ装置。
  6. 前記表示制御部は、前記停止後期間の前半において、前記停止時の発光強度から、単位時間当たりの発光強度の減少幅が時間経過と共に増大する態様にて発光強度を減少させ、前記停止後期間の後半において、単位時間当たりの発光強度の減少幅が時間経過と共に減少する態様にて発光強度を減少させるように、前記対応光源の点灯を継続させる請求項1に記載のヘッドアップディスプレイ装置。
  7. 前記表示制御部は、前記表示期間の開始時から前記所定時間以下の立ち上がり期間において、前記開始時の発光強度から、前記開始時の発光強度よりも大きな目標強度へと発光強度を連続的に変化させるように、前記対応光源を点灯させる請求項1から6のいずれか1項に記載のヘッドアップディスプレイ装置。
  8. 前記表示制御部は、前記停止後期間の途中から前記表示期間が開始される場合に、前記立ち上がり期間の初期では発光強度を一時的に減少させ、その後、発光強度を漸次増大させるように、前記対応光源を点灯させる請求項7に記載のヘッドアップディスプレイ装置。
JP2019002932A 2019-01-10 2019-01-10 ヘッドアップディスプレイ装置 Active JP7163781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019002932A JP7163781B2 (ja) 2019-01-10 2019-01-10 ヘッドアップディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019002932A JP7163781B2 (ja) 2019-01-10 2019-01-10 ヘッドアップディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2020112668A true JP2020112668A (ja) 2020-07-27
JP7163781B2 JP7163781B2 (ja) 2022-11-01

Family

ID=71666973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019002932A Active JP7163781B2 (ja) 2019-01-10 2019-01-10 ヘッドアップディスプレイ装置

Country Status (1)

Country Link
JP (1) JP7163781B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020216172A1 (de) 2020-12-17 2022-06-23 Continental Automotive Gmbh Anpassen der Helligkeit einer Anzeige
US11682357B1 (en) 2022-02-18 2023-06-20 Harman International Industries, Incorporated Heads up display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186224A (ja) * 2010-03-09 2011-09-22 Sony Corp 液晶表示装置および映像表示システム
CN102622975A (zh) * 2011-02-01 2012-08-01 宏碁股份有限公司 图框率升频装置及方法
JP2018106193A (ja) * 2018-02-26 2018-07-05 日本精機株式会社 ヘッドアップディスプレイ装置
JP2018128578A (ja) * 2017-02-08 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、バックライト制御方法、バックライト制御プログラム、及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186224A (ja) * 2010-03-09 2011-09-22 Sony Corp 液晶表示装置および映像表示システム
CN102622975A (zh) * 2011-02-01 2012-08-01 宏碁股份有限公司 图框率升频装置及方法
JP2018128578A (ja) * 2017-02-08 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、バックライト制御方法、バックライト制御プログラム、及び記録媒体
JP2018106193A (ja) * 2018-02-26 2018-07-05 日本精機株式会社 ヘッドアップディスプレイ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020216172A1 (de) 2020-12-17 2022-06-23 Continental Automotive Gmbh Anpassen der Helligkeit einer Anzeige
US11682357B1 (en) 2022-02-18 2023-06-20 Harman International Industries, Incorporated Heads up display

Also Published As

Publication number Publication date
JP7163781B2 (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
JP5311471B2 (ja) 表示装置
KR20200103566A (ko) 디스플레이 시스템에서 광 세기를 조절하기 위한 시스템 및 방법
WO2014050497A1 (ja) 表示装置
CN104412318A (zh) 场序制图像显示设备
JP7087981B2 (ja) 虚像表示装置
JP2012003092A (ja) フィールドシーケンシャル画像表示装置
KR20190070260A (ko) 표시 장치 및 제어 방법, 차량 표시 계기, 세그먼트 액정 표시 계기
JP7163781B2 (ja) ヘッドアップディスプレイ装置
US10901210B2 (en) Image-generation device for a head-up display and method for controlling such a device
JP2020112667A (ja) 虚像表示装置
WO2017110941A1 (ja) 車両用ヘッドアップディスプレイ装置
JP2020060628A (ja) 車両用ミラー
JP2010208631A (ja) 車両用表示装置
JP2011112654A (ja) 表示装置
JP2019006180A (ja) 表示装置
JP2011112754A (ja) 表示装置
WO2020134521A1 (zh) 穿透式显示设备及增强现实显示器
JP2010208632A (ja) 車両用表示装置
JP2019152748A (ja) 表示装置
JP7433716B2 (ja) ヘッドアップディスプレイ装置
JP6249891B2 (ja) 表示装置
JP2004093754A (ja) 表示装置
WO2017006506A1 (ja) 車両用表示装置
JP2019008030A (ja) 表示装置
JP2024061432A (ja) 虚像表示装置および反射部材

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R151 Written notification of patent or utility model registration

Ref document number: 7163781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151