JP7208459B2 - 領域設定方法およびディスプレイ装置 - Google Patents

領域設定方法およびディスプレイ装置 Download PDF

Info

Publication number
JP7208459B2
JP7208459B2 JP2019049629A JP2019049629A JP7208459B2 JP 7208459 B2 JP7208459 B2 JP 7208459B2 JP 2019049629 A JP2019049629 A JP 2019049629A JP 2019049629 A JP2019049629 A JP 2019049629A JP 7208459 B2 JP7208459 B2 JP 7208459B2
Authority
JP
Japan
Prior art keywords
light
area
region
display device
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049629A
Other languages
English (en)
Other versions
JP2020155811A (ja
Inventor
実 大山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019049629A priority Critical patent/JP7208459B2/ja
Publication of JP2020155811A publication Critical patent/JP2020155811A/ja
Application granted granted Critical
Publication of JP7208459B2 publication Critical patent/JP7208459B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Filters (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Semiconductor Lasers (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本発明は領域設定方法およびディスプレイ装置に関する。
近年、プロジェクタを利用した画像表示技術が進展している。また、建物等の任意の物体に画像を表示するプロジェクションマッピングに代表されるように、様々な場所に画像を表示するニーズが高まっている。
例えば、非特許文献1には、自動車のガラスに表示する情報量の増加に対応した中間膜の開発について記載されている。また、非特許文献2には、様々な場所に対してフォーカスフリーで画像を投影する技術が記載されている。
自動車フロントガラスに表示する情報量の増加に対応した中間膜の開発について[平成30年7月4日検索]、インターネット<URL:https://www.sekisui.co.jp/news/2015/1274415_23166.html> Xperia Touch(G1109)[平成30年7月4日検索]、インターネット<URL:https://www.sony.jp/xperia-smart-products/products/G1109/>
非特許文献1に記載の技術は、ガラスに表示する技術に特化したものであるし、非特許文献2に記載の技術は、可視光が反射する面にしか対応していない。一方、日常環境には、可視光を透過する領域と可視光を反射する領域が混在している。そこで、可視光を透過する領域と可視光を反射する領域とに対して一元的に情報を表示する技術が期待されている。また、そのような技術において、可視光を透過する領域と可視光を反射する領域とを精度よく画定する技術が望まれている。
一実施形態によれば、領域設定方法は、可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより予め設定された波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射するディスプレイ装置の第1領域および第2領域を画定する方法である。上記領域設定方法は、参照光発光ステップおよび領域判断ステップを有する。参照光発光ステップは、ディスプレイ装置に対して予め設定された波長の光である参照光を発する参照光源から参照光を発光させる。領域判断ステップは、ディスプレイ装置に備えられ、被照射面を順次走査した位置である走査位置において光を検出する光検出部に被照射面を走査させて参照光に基づく光を検出させ、検出した光の走査位置と光の強度とに基づいて、第1領域および第2領域を画定する。
一実施形態によれば、ディスプレイ装置は、可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより予め設定された波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射する。ディスプレイ装置は、領域判断処理受付部と、光検出部と、領域判断部と、を有する。領域判断処理受付部は、第1領域および第2領域の設定をする領域判断処理の開始を受け付ける。光検出部は、領域判断処理の開始を受け付けると、被照射面を順次走査して走査位置における光を参照光として検出する。領域判断部は、参照光に応じて走査位置が第1領域か第2領域かを判断する。
本発明によれば、可視光を透過する領域と可視光を反射する領域とを精度よく画定する領域設定方法等を提供することができる。
実施の形態にかかるディスプレイ装置を搭載した自動車の上面図である。 実施の形態1にかかるディスプレイ装置を搭載した自動車の室内の例を示した図である。 実施の形態にかかるディスプレイ装置の被照射領域を示した図である。 実施の形態1にかかるウィンドシールドの断面図である。 実施の形態1にかかるディスプレイ装置の構成図である。 実施の形態1にかかるディスプレイ装置の光源部の構成図である。 領域設定方法のフローチャートである。 領域設定方法における参照光源と自動車の配置の例を示した図である。 領域設定方法における被照射領域の例を示した図である。 ディスプレイ装置が実行する領域判断処理のフローチャートである。 ディスプレイ装置のスキャナミラーの走査イメージを示す図である。 光検出部が検出した光と閾値との関係の例を示すグラフである。 領域判断処理により生成された領域分布情報の例を示す図である。 実施の形態2にかかる領域設定方法における参照部材および自動車を示す図である。 実施の形態2にかかる領域設定方法における被照射領域の例を示した図である。 実施の形態2におけるレーザ光のエネルギの強さと光検出部が検出した光のエネルギの強さの例を示すグラフである。
以下、図面を参照しながら本発明の実施の形態について説明する。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
<実施の形態1>
図1を参照しながら実施の形態1について説明する。図1は、実施の形態にかかるディスプレイ装置を搭載した自動車の上面図である。図に示す自動車900は、カメラ901およびディスプレイ装置1を有している。カメラ901は自動車900の周辺画像を撮像する複数のカメラである。図に示すように、自動車900は右側のドアミラーにカメラ901Rを有し、左側のドアミラーにカメラ901Lを有している。カメラ901Rは、自動車900の右側の周辺画像を撮像し、カメラ901Lは、自動車900の左側の周辺画像を撮像する。具体的には、カメラ901Rは、自動車900の右側から右後方を撮像し、カメラ901Lは、自動車の左側から左後方を撮像する。また、カメラ901は、自動車900の前方を撮影するために自動車900の前方を向いて配置されているカメラを含んでもよい。また、カメラ901は、自動車900の後方を撮影するために自動車900の後方を向いて配置されているカメラを含んでもよい。
ディスプレイ装置1は、自動車900の室内に設定された被照射領域にレーザ光を照射することにより所定の画像を表示するレーザプロジェクタである。図に示すように、自動車900は2台のディスプレイ装置(ディスプレイ装置1Aおよびディスプレイ装置1B)を有している。
図2を参照しながら自動車内におけるディスプレイ装置の配置について説明する。図2は、実施の形態1にかかるディスプレイ装置を搭載した自動車の室内の例を示した図である。
ディスプレイ装置1Aおよびディスプレイ装置1Bは、自動車900の運転席上方の天井に固定され、ディスプレイ装置1Aが室内の右前方の領域に画像を照射し、ディスプレイ装置1Bが室内の左前方の領域に画像を照射するように設定されている。ディスプレイ装置1Aは、例えば、カメラ901Rが撮像した自動車900の右側の周辺画像に所定の処理を施して、室内の右前方にその画像を照射する。同様に、ディスプレイ装置1Bは、例えば、カメラ901Lが撮像した自動車900の左側の周辺画像に所定の処理を施して、室内の左前方にその画像を照射する。
ディスプレイ装置1は、可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより所定の波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射する。
図2を参照しながらディスプレイ装置1による表示の例について説明する。図2は、ディスプレイ装置1が運転者に対するメッセージ画像を照射した例を示している。メッセージ画像とは、ディスプレイ装置1が画像光を照射することにより運転者Uに認識させるために表示する画像である。図は、自動車900の運転者が見ている風景を示したものである。図に示すように、自動車900の左前方には自転車801が走行している。また、自動車900の進行方向には歩行者802が存在している。さらに、自動車900の右前方には側道に他の自動車803が進行している状況である。また、ディスプレイ装置1は、自動車900の外部に設置されたカメラ901により撮像された画像の画像データから、これらの物体を認識することができるように構成されている。
このように、本実施の形態におけるディスプレイ装置1は、カメラが撮像した画像に基づいて、Aピラーやドアトリムにより死角になっている外部の物体を、可視光レーザを照射することにより、被照射領域に表示することができる。
また、ディスプレイ装置1は、カメラにより撮像された画像に基づいて、自動車900の前方に存在している歩行者802を認識している。ディスプレイ装置1は、歩行者802の存在を運転者に認識させるために、メッセージ画像として、歩行者802の周囲を矩形など多角形の枠で囲む表示を行っている。この場合、ディスプレイ装置1は、第2領域に紫外光レーザを照射することにより歩行者802を囲う矩形の表示等を行う。
このように、ディスプレイ装置1は、運転者の視覚の範囲内において、任意の情報を運転者に認識させるためのメッセージ画像を表示する。この際、ディスプレイ装置1は、第1領域に対しては可視光レーザを照射し、第2領域に対しては紫外光レーザを照射する。
図3を参照しながら、自動車900の室内における被照射領域について説明する。図3は、実施の形態1にかかるディスプレイ装置の被照射領域を示した図である。自動車900の室内前方における運転者の視界として想定される領域の内、右側には被照射領域F91が設定され、被照射領域F91の左側には被照射領域F92が隣接して設定されている。
被照射領域F91は、ディスプレイ装置1Aが画像を照射する領域である。被照射領域F91は、ウィンドシールド904、右側のAピラー905、サイドウィンドウ906、ダッシュボード、ドアトリム等を含んでいる。また、被照射領域F92は、ディスプレイ装置1Bが画像を照射する領域である。被照射領域F92は、ウィンドシールド904、左側のAピラー903、サイドウィンドウ902、ダッシュボードおよびドアトリム等を含んでいる。すなわち、被照射領域F91および被照射領域F92は、可視光を透過しない領域(Aピラーおよびダッシュボード等)と、可視光を比較的に透過する領域(サイドウィンドウおよびウィンドシールド)とを含んでいる。以降の説明において、可視光を透過しない領域を第1領域と称する。また、可視光を比較的に透過する領域を第2領域と称する。被照射領域F91の左端部と被照射領域F92の右端部とは、部分的に重なっていてもよく、間隔があってもよい。
被照射領域F91と被照射領域F92とを合わせた領域は、運転者が前方に向いているときの視界とほぼ一致している。複数のディスプレイ装置1を設置し、照射範囲を隣接させた状態において、複数のディスプレイ装置により照射する画像を配置させることにより、ディスプレイ装置1は、広角の画像を好適に表示することができる。
被照射領域を形成する領域のうち第1領域を形成する、Aピラー905やダッシュボード等は、可視光を透過しない領域である。第1領域は、可視光を透過せず、可視光を一定比率で反射する機能を有している。したがって、第1領域では、ディスプレイ装置1が照射する可視光を反射し、反射した可視光を運転者等に視認させることができる。第1領域の表面は、ディスプレイ装置1が照射した可視光を好適に反射することができるように、再帰性反射材を含む材料により構成されていてもよい。
被照射領域を形成する領域のうち第2領域を形成する、サイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906は、可視光を透過するとともに、所定の波長を有する紫外光を受けると発光する機能を有している。このような機能を有する材料は、例えば、自発光中間膜を有する合せガラスである。
ディスプレイ装置1Aおよびディスプレイ装置1Bは、運転者の上部後方にそれぞれ異なる方向を照射するように配置されている。ディスプレイ装置1Aは、運転者の上部左後方に設置され、運転者の右前方を照射する。ディスプレイ装置1Aは照射可能範囲に被照射領域F91が含まれるように設置されている。同様に、ディスプレイ装置1Bは照射可能範囲内に被照射領域F92が含まれるように設置されている。ディスプレイ装置1Aおよびディスプレイ装置1Bの配置は、フロントガラス上辺、下辺近傍等、運転者の前方視界を妨げない位置であれば限定されない。
上述のように、被照射領域F91および被照射領域F92は、可視光を反射する第1領域と、可視光を透過するとともに紫外光を受けることにより可視光の波長域の蛍光を発する第2領域とを有する。なお、本実施の形態にかかるディスプレイ装置1は、後述する領域設定方法を実行することにより、第1領域および第2領域を画定している。具体的な方法について後述する。
次に、図4を参照しながらウィンドシールドが有する自発光中間膜の原理について概要を説明する。図4は、実施の形態1にかかるウィンドシールドの断面図を模式的に示した図である。ウィンドシールド904は、2枚のガラス板904Gと、この2枚のガラス板904Gの間に挟まれた自発光中間膜904IMと、により構成されている。また、自発光中間膜904IMは、発光材料904Aを含んでいる。発光材料904Aは、特定の波長を有する紫外光によって励起されると可視光域の波長を有する蛍光を発するとともに、上記紫外光以外の光を透過する性質を有している。すなわち、上述の構成を有するウィンドシールド904に対してディスプレイ装置1から所定の紫外光を照射することによって自発光中間膜904IMが発光する。これにより、自動車900に搭乗している運転者等は、ウィンドシールド904に表示される画像を視認することができる。
なお、サイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906は、上述した材料に限らず、可視光を透過するとともに、所定の波長を有する紫外光などの非可視光を受けると発光する機能を有していれば、別の構造を有していてもよい。例えば、可視光を透過するアクリル等の樹脂と発光材料との組み合わせにより構成されていてもよい。また、サイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906は、上述した構成に加えて、自動車の外面側に、紫外光をカットする性質を有するUVカット層を有してもよい。これにより、ディスプレイ装置1が照射する紫外光が外部へ漏れるのを抑制することができるとともに、太陽光に含まれる紫外光により全面が蛍光し視界を妨げることも回避できる。
次に、図5を参照しながらディスプレイ装置1の構成について説明する。図5は、実施の形態1にかかるディスプレイ装置の構成図である。ディスプレイ装置1は主な構成として、制御部10、レーザ光源部20、スキャナ部30、メモリ40および領域判断処理受付部50を有している。
制御部10は、カメラ901と、レーザ光源部20と、スキャナ部30と、メモリ40と、領域判断処理受付部50とにそれぞれ接続し、ディスプレイ装置1の動作の制御を司る。制御部10は例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)またはその他の電気回路の組み合わせにより構成される。したがって、例えば、制御部10を制御回路ということもできる。制御部10は主な構成として、画像データ取得部11、画像処理部12、領域判断部13、レーザ光源制御部14およびスキャナ制御部15を有している。
画像データ取得部11は、カメラ901が撮像した自動車900の周辺画像のデータである画像データを、所定のインタフェースを介して受け取る処理を行う。
画像処理部12は、画像データ取得部11が取得した画像データから所定の物体を認識し、認識した物体に関する情報に基づいて、画像データに対して所定の処理を行う。所定の処理の一例は、認識した対象物体の画像データを抽出し、抽出した画像データを被照射領域F91および被照射領域F92に照射するための照射画像データを生成する処理である。なお、照射画像データとは、ディスプレイ装置1が照射する画像の画像データである。所定の処理の別の例は、認識した対象物体に対して、ユーザから見た対象物体の位置に対象物体の周囲を囲う枠を重畳して描画させる処理や、認識した物体が歩行者であるか、自転車であるか、などの種別を表示するアイコンや文字情報を重畳して描画させる処理である。また、画像処理部12は、歪み調整を行う機能を有しており、画像データに対して被照射面に対応した歪み調整処理を行う。画像処理部12は、上述の処理を行い、照射画像データを生成する。
領域判断部13は、領域判断処理を行う。領域判断処理は、領域設定方法に含まれる処理であり、ディスプレイ装置が検出する光の位置と光の強さとに応じて、第1領域および第2領域を判断し画定する処理である。
領域判断処理において、領域判断部13は、スキャナ部30が走査するスキャナの位置である走査位置に関する情報を取得する。走査位置に関する情報は、スキャナ制御部15がスキャナ部30を制御する際に使用している情報であり、例えば、スキャナミラーの角度に対応している。
また、領域判断処理において、領域判断部13は、スキャナ31の走査位置において光検出部24が生成した信号を取得する。これにより、領域判断部13は、光検出部24が生成した信号の大きさと予め設定された閾値とを比較して、レーザ光を照射した照射位置が第1領域か第2領域かを判断する。なお、領域判断処理のさらに詳細については後述する。
なお、領域判断処理において、領域判断処理を行う際に光検出部24が受ける光を「参照光」と称する。参照光は、領域設定方法を実行するために所定の光源が発する光である。参照光の詳細については後述する。
レーザ光源制御部14は、照射画像データに基づいたレーザ駆動信号をレーザドライバ22に出力して、レーザダイオードの出力を制御する。これにより、レーザ光源制御部14は、レーザ光源部20による光の出力を制御する。具体的には、レーザ光源制御部14は、画像処理部12において処理された照射画像データに含まれる各画素の色や輝度に応じて、可視光のレーザ光源である赤色、青色、緑色のレーザダイオード211R、211B、211Gおよび紫外レーザダイオード211UVの駆動を制御する。また、レーザ光源制御部14は、フォトダイオード23が検出したレーザ光のエネルギの強さに基づいて、レーザ光源部20の状態を判断し、レーザダイオード211の駆動電流値を決定してレーザドライバ22を制御するAPC(Automatic Power Control)処理を行う。
また、レーザ光源制御部14は、スキャナ制御部15と同期して動作する。より具体的には、例えば、レーザ光源制御部14は、水平方向の同期を図る水平同期信号と、垂直方向の同期を図る垂直同期信号をスキャナ制御部15と共有し、これらの信号に基づいて各レーザの出力を決定する。このように、レーザ光源制御部14とスキャナ制御部15とが同期して動作することにより、ディスプレイ装置1は、照射画像データを構成する各画素の色および出力を制御する。ディスプレイ装置1は、これにより所望の画像を生成することができる。
また、レーザ光源制御部14は、波長選択部141を有している。波長選択部141は、被照射面における第1領域および第2領域の分布に関する情報である領域分布情報に基づいて、第1領域には、第1領域に対応している可視光を第1波長光として選択し、第2領域には第2領域に対応している紫外光を第2波長光として選択する機能を有している。
波長選択部141は、例えば、ディスプレイ装置1が照射する画像の画素に対応する照射位置ごとに、可視光または紫外光の出力を設定する処理を行う。レーザ光源制御部14は、メモリ40に格納されている領域分布情報と、水平同期信号および垂直同期信号に基づいて波長選択部141が設定したレーザ光を出力させることにより、可視光か紫外光かの出力を切り換える。これにより、ディスプレイ装置1は、第1領域に含まれる画素を照射する場合には可視光レーザを駆動させ、第2領域に含まれる画素を照射する場合には紫外光レーザを駆動させる。このように、予め設定されている領域分布情報に基づいてレーザ光を切り換えることにより、効率良く波長の切換動作を行うことができる。
スキャナ制御部15は、スキャナ駆動信号をスキャナドライバ32に出力してスキャナ31によるレーザ光の走査を制御する。スキャナ制御部15は、上述の水平同期信号および垂直同期信号に応じてスキャナ部30の動作を制御する。また、スキャナ制御部15は、スキャナ31の走査角を検出する走査角検出部(図示せず)の検出信号を監視して、スキャナ31の走査角、波形の生成、揺動周波数の制御等を行う。
レーザ光源部20は、主な構成として、レーザ光を出力するレーザモジュール21、レーザモジュール21が有するレーザダイオードを駆動するレーザドライバ22、出力されるレーザ光の光量を測定するフォトダイオード23、そして被照射領域で反射されスキャナ部30を経て受ける光のエネルギの強さを検出する光検出部24を有する。
図6を参照しながらレーザ光源部20の詳細について説明する。図6は、実施の形態1にかかるディスプレイ装置のレーザ光源部の構成図である。レーザモジュール21は、図に示すように、赤色レーザダイオード211R、緑色レーザダイオード211G、青色レーザダイオード211B、紫外レーザダイオード211UV、各レーザダイオード211R、211B、211G、211UVにそれぞれ対応するダイクロイックミラー212R、212G、212B、212UVを有する。レーザダイオード211から出力された各色のレーザ光は、ダイクロイックミラー212によって合波されてスキャナ部30に出力される。
ダイクロイックミラー212Rは、赤色レーザダイオード211Rから出力される赤色の波長の光をほぼ100%反射する特性を有する。ダイクロイックミラー212Gは、赤色レーザダイオード211Rから出力される赤色の波長の光をほぼ100%透過させるとともに、緑色レーザダイオード211Gから出力される緑色の波長の光をほぼ100%反射する特性を有する。ダイクロイックミラー212Bは、その特性例として、赤色レーザダイオード211Rから出力される赤色の波長の光および緑色レーザダイオード211Gから出力される緑色の波長の光をほぼ100%透過させる特性を有する。さらにダイクロイックミラー212Bは、その特性例として、青色レーザダイオード211Bから出力される青色の波長の光をほぼ100%反射する特性を有する。ダイクロイックミラー212UVは、赤色の波長の光、緑色の波長の光および青色の波長の光を約98%反射するとともに、紫外レーザダイオード211UVから出力される紫外光を約98%透過させ、約2%反射させる特性を有する。
このようなダイクロイックミラー212の構成により、レーザダイオード211から出力された可視光および紫外光(赤色の波長のレーザ光、緑色の波長のレーザ光、青色の波長のレーザ光および紫外光)の約98%はスキャナ部30に入射され、これらのレーザ光の約2%は、フォトダイオード23に入射される。レーザドライバ22は、制御部10からのレーザ駆動信号に基づいてレーザダイオード211を駆動する。フォトダイオード23は入射したレーザ光の光量を測定し、測定結果を制御部10に出力する。なお、レーザダイオード211およびダイクロイックミラー212の配置は図に示したものに限らず、スキャナ部30およびフォトダイオード23に同様の出力がなされれば良い。
また、レーザ光源部20は、上記構成に加えて、ビームスプリッタ213、1/4波長板214および光検出部24を有する。ビームスプリッタ213は、スキャナ部30から受ける光のうち、予め設定された波長の光を反射する。ビームスプリッタ213は、例えば偏光依存性を有し、ダイクロイックミラー212UV側から入射したレーザ光をほぼ100%透過するとともに、外部から反射して戻ってきた光の直交偏光成分を光検出部24に供給する。1/4波長板214は、レーザ光源部20から射出されたレーザ光を往復で概ね直交させるために用いており、往路の反射を抑制し、戻り光を効率よく光検出部24に導くために設けられている。
光検出部24は、スキャナ部30、1/4波長板214およびビームスプリッタ213を介して受ける光を電気信号に変換する光電変換素子を含むフォトディテクタである。光検出部24は、予め設定された波長の光を受けた場合に、その光のエネルギの強さに応じた電流を生成する。光検出部24は、生成した電流の電流値に応じた信号を、制御部10に供給する。これにより光検出部24は、領域設定方法を実行する場合に参照光を検出する。
例えば、光検出部24は、ウィンドシールド越しに発光する参照光の強さを検出する。光検出部24がウィンドシールド越しに発光する参照光を検出する場合、光検出部24が生成した信号を受け取った領域判断部13は、この信号の値と、この信号を検出した時のスキャナミラーの走査位置とから、この走査位置が第1領域か第2領域かを判断する。
また、光検出部24は、Aピラー等の自動車の内装に所定の可視光が当たることにより発する反射光の光の強さを検出してもよい。その場合、領域判断部13は、光検出部24から供給される信号に応じて、検出した位置が第1領域であることを判定する。
光検出部24は、ウィンドシールドに設けられた自発光中間膜904IMが発する蛍光の光の強さを検出する機能を有してもよい。その場合、領域判断部13は、光検出部24から供給される信号に応じて、検出した位置が第2領域であることを判定する。
図5に戻り説明を続ける。スキャナ部30は、レーザ光源部20から入射されたレーザ光を被照射領域に照射する。スキャナ部30は、主な構成として、レーザ光源部20から出力されたレーザ光を反射してレーザ光の照射位置を走査する走査ミラー部であるスキャナ31、スキャナ31を駆動するスキャナドライバ32、スキャナ31の走査角を検出する走査角検出部(図示せず)等を有する。スキャナ31は、レーザ光を反射して走査するスキャナミラーとして、垂直方向に走査する垂直ミラー311、レーザ光を反射して水平方向に走査する水平ミラー312等を有する。垂直ミラー311および水平ミラー312は、MEMS(micro electro mechanical system)ミラー等により構成される。
スキャナドライバ32は、スキャナ制御部15からのスキャナ駆動信号に基づき、スキャナ31を駆動する。スキャナ31を垂直ミラー311および水平ミラー312で構成する場合に、一般的には、垂直ミラー311はスキャナドライバ32によって制御される走査角および揺動周波数で動作し、水平ミラー312は揺動周波数が高いために共振による走査角および揺動周波数で動作する。なお、水平ミラー312は垂直ミラー311と同様にスキャナドライバ32によって制御される走査角および揺動周波数で動作するようにしても良い。
メモリ40は例えばEPROM(Erasable Programmable Read Only Memory)、フラッシュメモリまたはFeRAM(Ferroelectric Random Access Memory)等の書き換え可能な不揮発性の記憶装置である。メモリ40は、制御部10に接続しており、制御部10の指示により、任意のデータを記憶し、あるいはメモリ40内に記憶している任意のデータを制御部10に提供する。またメモリ40は、書き換え可能な情報として領域分布情報を記憶している。
領域分布情報は、ディスプレイ装置1が操作する照射位置ごとに、その照射位置が第1領域か第2領域かを示した情報である。換言すると、領域分布情報は被照射領域を、第1領域と第2領域とに画定した情報である。レーザ光源制御部14は、この領域分布情報を参照しながら、第1領域に対しては可視光レーザを照射し、第2領域に対しては紫外光レーザを照射することをレーザ光源部20に指示する。
領域判断処理受付部50は、ディスプレイ装置が領域判断処理を開始するためのトリガ信号を生成する。本実施の形態において領域判断処理受付部50は、スイッチ等により構成されている。ユーザがスイッチをオンにすると、領域判断処理受付部50はトリガ信号を生成し、生成したトリガ信号を制御部10に供給する。トリガ信号を受け取った制御部10は領域判断処理を開始する。なお、領域判断処理受付部50は、トリガ信号を生成するものであれば、センサであってもよい。例えば、領域判断処理受付部50が参照光を検出する光センサの場合、ディスプレイ装置1は、参照光の検出をトリガ信号として領域判断処理を開始することができる。あるいは、領域判断処理受付部50は、通信インタフェースであってもよい。その場合、領域判断処理受付部50は、通信インタフェースを介してトリガ信号を受信し、受信したトリガ信号を制御部10に供給する。
次に、領域設定方法について説明する。領域設定方法は、自動車900の車内に設置されたディスプレイ装置1が、自動車900の内装など可視光を透過しない第1領域に対して可視光レーザを照射し、自動車900のガラスなどで自発光中間膜を有する第2領域に対して紫外光レーザを照射するために、第1領域と第2領域とを画定させる方法である。
領域設定方法は、図7に示すように、自動車900の周囲に参照部材700が設置された状態で実施される。図7は、領域設定方法における参照光源と自動車の配置の例を示した図である。図7に示す参照部材700は、天板710、前板720、左側板730および右側板740を主な構成として有しており、各構成により箱型に形成されている。参照部材700は、ディスプレイ装置1の走査範囲において、第2領域を構成するサイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906を参照部材が覆うことができれば、その形状は任意である。また、参照部材700には、参照部材700に参照光を照射可能な位置に参照光源711が設けられている。参照光源711の設置位置は、参照部材700に参照光を照射可能な位置であれば任意である。
領域設定方法を実行する対象となるディスプレイ装置1は、自動車900に設置されている。自動車900に設置されたディスプレイ装置1の態様については既に説明したため、ここでは説明を省略する。
図8を参照しながら領域設定方法における具体例を説明する。図8は、領域設定方法のフローチャートである。
先ず、ユーザは、天板710の内面に設置された照明を点灯し、参照光源から参照光を発光させる(ステップS1)。図7に示すように、天板710の内面には参照光源711が設けられている。参照光源711は、予め設定された波長の光(例えば色温度6000ケルビン付近の白色光)を広い照射角度で照射するように構成されたライトである。参照光源711は、前板720の内面720Sと、左側板730の内面730Sと、右側板740の内面740Sとをそれぞれ照らすように構成されている。参照部材700の内面は、高い反射率かつ少ないムラで参照光を反射するようにマット調の白色塗装が施されている。参照光の発光は、スキャナミラーが領域設定を行う範囲を少なくとも1回走査できる期間発光されていればよく、所謂フラッシュ発光などの発光が行われる。
図9は、領域設定方法における被照射領域の例を示した図である。参照部材700が設置された状態において、自動車900内部から被照射領域F91および被照射領域F92を観察した場合、ガラス越しに参照光に照らされた参照部材700の内面を視認することができる。
参照部材700の内面は、高い輝度の白色光を発している。一方、自動車900の室内は照明を消灯した状態である。すなわち、自動車900の室内から被照射領域F91およびF92を観察すると、図に示したハッチングの領域であるガラス部分と自動車900の内装部分とが明確に区別できる状態である。
図8に戻る。次に、ユーザが、領域判断処理の開始をディスプレイ装置1に指示すると、(ステップS2)。ディスプレイ装置1は、領域判断処理を実行する(ステップS3)。領域判断処理により、ディスプレイ装置1は、可視光レーザを照射する第1領域と、紫外光レーザを照射する第2領域とを設定する。
図10を参照しながら、領域判断処理の詳細について説明する。図10は、ディスプレイ装置が実行する領域判断処理のフローチャートである。図10のフローチャートは、ディスプレイ装置1が有する制御部10の処理を示している。
領域判断処理を開始すると、まず制御部10は、スキャナミラーの走査を開始する(ステップS10)。より具体的には、スキャナ制御部15は、光検出部24が予め設定された走査位置の光を検出できるようにスキャナミラー(垂直ミラー311および水平ミラー312)の角度を制御する。
次に、スキャナ制御部15は、水平方向の座標Hnを1~Hmaxまでインクリメントさせるとともに、垂直方向の座標Vmを1~Vmaxまでインクリメントさせる。これにより、スキャナミラーは、被照射領域を順次走査する。上述の動作を行うに際して、スキャナ制御部15は、垂直ミラー311の座標Vmを1に設定する(ステップS11)。また、スキャナ制御部15は、水平ミラー312の座標Hnを1に設定する(ステップS12)。
次に、制御部10が有する領域判断部13は、水平方向の座標Hn=1、垂直方向の座標Vm=1を走査位置とした場合に光検出部24が受ける光を検出し、光のエネルギの強さに相当する電流値Abが閾値Athを超えたか否かを判断する(ステップS13)。電流値Abが閾値Athを超えたこと検出した場合(ステップS13:Yes)、領域判断部13は、走査位置を第2領域であると判定する(ステップS14)。一方、電流値Abが閾値Athを超えたこと検出しない場合(ステップS13:No)、領域判断部13は、走査位置を第1領域であると判定する(ステップS15)。領域判断部13は、ステップS14またはステップS15において判定した情報をレジストリに一時的に記憶する(ステップS16)。
次に、スキャナ制御部15は、レーザ光の水平方向の座標をインクリメントする(ステップS17)。制御部10は、ステップS12~ステップS17の処理を、Hn>Hmaxとなるまで繰り返す。
次に、スキャナ制御部15は、レーザ光の垂直方向の座標をインクリメントする(ステップS18)。制御部10は、ステップS11~ステップS18の処理を、Vm>Vmaxとなるまで繰り返す。
次に、制御部10はスキャナミラーの走査を停止させ(ステップS19)、レジストリに一時的に記憶していた領域分布情報をメモリ40に書き込み(ステップS20)、処理を終了させる。
以上、実施の形態1にかかる領域判断処理の一例を説明したが、領域判断処理はこれに限られない。例えば、領域判断処理は、被照射領域全体を複数回走査し、対応する走査位置において光検出部24が生成した値の統計値を算出し、算出した統計値によって第1領域か第2領域かを判断してもよい。また、領域判断処理は、スキャナミラーを走査する処理において水平方向と垂直方向の処理順序を入れ替えたり、インターレース方式にしたりするといった当業者にとって自明の変更が可能である。
図11を参照しながらディスプレイ装置1がスキャナミラーを走査する状態について説明する。図11は、ディスプレイ装置のスキャナミラーの走査イメージを示す図である。図に示した被照射領域F92は、図3においてディスプレイ装置1Bが照射する領域を理解容易にするために矩形にして示したものである。被照射領域F92は左上を原点として、水平方向がH方向、垂直方向がV方向である。図に示すように、被照射領域F92の左上が座標(1,1)であり、右上が座標(Hmax,1)である。また、被照射領域F92の左下が座標(1,Vmax)であり、右下が座標(Hmax,Vmax)である。ディスプレイ装置1Bは、被照射領域F92を左上の座標(1,1)から右下の座標(Hmax,Vmax)に順に走査しながらスキャナミラーを走査する。
次に図12を参照しながら光検出部24が検出する光の強さについて説明する。図13は、光検出部が検出した光と閾値との関係の例を示すグラフである。図に示したグラフは、図11に示した被照射領域F92においてスキャナミラーを走査した場合の例である。グラフの横軸は時刻を示しており、グラフの縦軸は電流値を示している。ディスプレイ装置1は時刻t0から座標(1,1)を起点としてスキャナミラーの走査を開始し、時刻t2に座標(Hmax,1)に達する。そしてディスプレイ装置1は、時刻t2から時刻t3にかけて、座標(1,2)から座標(Hmax,2)まで走査し、それ以降も同様に走査を繰り返す。
グラフに示した折れ線L11は、光検出部24が検出した光の強さを示している。折れ線L11を横切るように示されている直線は閾値Athを示している。領域判断部13は、光検出部24が検出した光の電流値が閾値Athを超えている場合に、その超えている時刻に対応した走査位置は第2領域であると判定する。
例えば、時刻t0から時刻t1の期間に折れ線L11は閾値Athを超えている。すなわち、時刻t0から時刻t1の期間にスキャナミラーが走査した走査位置に相当する被照射領域は、第2領域となる。したがって、領域判断部13は、参照光を検出した走査位置を第2領域であると判定する。また、領域判断部13は、参照光を検出しない走査位置を第1領域であると判定する。このようにして、領域判断部13は、第1領域および第2領域を画定する。
次に、図13を参照しながら領域分布情報の例について説明する。図13は、領域判断処理により生成された領域分布情報の例を示す図である。図に示した被照射領域F92は、領域分布情報が重畳されている。図に示した複数の矩形はそれぞれが照射位置の座標を模式的に示したものである。図13の説明においては、説明を容易にするために分解能の低い領域情報を図示しているが、実際には1画素単位の高い分解能の領域情報が得られるため、例えば図13のような階段状の境界線は視認されず、十分滑らかになることは言うまでもない。図においてグレーの矩形は第2領域であることを示しており、白の矩形は第2領域と判定されなかった領域であることを示している。本実施の形態において、ディスプレイ装置1の制御部10は、第2領域と判定されなかった領域は、第1領域であると判定する。したがって、ディスプレイ装置1は、このように走査位置ごとに第1領域または第2領域を判断し、判定結果により生成した領域分布情報をメモリ40に格納する。
以上、実施の形態1について説明したが、実施の形態1は上述の構成に限られない。例えば、参照部材700の照明および内面の態様は、光検出部24がガラス越しに到来する光を識別できれば、白色に限られない。また、参照部材700は前板720、左側板730および右側板740がそれぞれLED(Light Emitting Diode)ないし有機EL(Electro-luminescence)等を利用した発光装置を有していてもよい。また、図7に示した照明を点灯するステップと、領域判断処理を開始させるステップは、1つの操作により実行されてもよい。
また、上述の天板710の内面に設置された照明を点灯するステップは、参照光源711に代えて、自然光(太陽光)であってもよい。その場合、参照光源から参照光を発光させる参照光発光ステップとは、参照光源を参照部材として解釈できる。すなわち、参照部材に自然光を当てることにより、参照部材は自然光を反射して、反射した光が参照光となる。
以上説明した実施の形態1によれば、可視光を透過する領域と可視光を反射する領域とを精度よく画定する領域設定方法等を提供することができる。
<実施の形態2>
次に実施の形態2について説明する。実施の形態2にかかる領域設定方法は、参照光源を自動車900の室内に設置する点において、実施の形態1と異なる。また、実施の形態2にかかる領域設定方法は、参照部材の態様が実施の形態1と異なる。
図14は、実施の形態2にかかる領域設定方法における参照部材および自動車を示す図である。図に示すように、自動車900の天井にはディスプレイ装置1が設置されている。また、ディスプレイ装置1の下方には、参照光源600が設置されている。参照光源600は、領域設定時に取り付けられる光源である。
参照光源600は、予め設定された波長の可視光である参照光を発する照明装置である。参照光源600は、被照射領域F91およびF92に対して参照光を照射するように設定されている。参照光源600が参照光を発することにより、自動車900の内装は反射光を発する。
また図に示す参照部材700の内面720S、730Sおよび740Sは、参照光に対する反射率が低くなるように設定されている。例えば、内面720S、730Sおよび740Sは、参照光を吸収しやすいマット調の黒色塗装が施されている。
図15を参照しながら、参照光源600が参照光を点灯している状態について説明する。図15は、実施の形態2にかかる領域設定方法における被照射領域の例を示した図である。参照光源600が参照光を点灯した状態において、自動車900内部から被照射領域F91および被照射領域F92を観察した場合、Aピラー903、905およびダッシュボード等の内装部分は、参照光を反射している。一方、サイドウィンドウ902、ウィンドシールド904およびサイドウィンドウ906は、参照光を透過させる。また、自動車900の前部を囲うように設置されている参照部材700は、参照光に対する反射率が低い。そのため自動車900の室内から被照射領域F91およびF92を観察すると、図に示した濃いグレーの領域であるガラス部分と自動車900の内装部分とが明確に区別できる状態である。
次に、実施の形態2において光検出部24が検出する参照光について説明する。図16は、光検出部が検出した光と閾値との関係の例を示すグラフである。グラフに示した折れ線L12は、光検出部24が検出した光の強さを示している。光検出部24が検出する光の波長は、参照光源600が発する可視光領域における予め設定された波長の光である。折れ線L12を横切るように示されている直線は閾値Athを示している。領域判断部13は、光検出部24が検出した光の電流値が閾値Athを超えている場合に、その超えている時刻に対応した走査位置は第1領域であると判定する。
例えば、時刻t1から時刻t2の期間に折れ線L12は閾値Athを超えている。すなわち、時刻t1から時刻t2の期間にスキャナミラーが走査した走査位置に相当する被照射領域は、第1領域となる。したがって、領域判断部13は、参照光を検出した走査位置を第1領域であると判定する。また、領域判断部13は、参照光を検出しない走査位置を第2領域であると判定する。このようにして、領域判断部13は、第1領域および第2領域を画定する。
以上、実施の形態2にについて説明したが、実施の形態2にかかる領域設定方法は上述の構成に限られない。例えば、参照部材700は、自動車900全体を囲む部屋であってもよい。あるいは、参照部材700は、自動車900のウィンドシールドおよびサイドウィンドウを覆う布状の部材でもよい。
また、自動車900の室内に設置する参照光源600は、可視光を発する照明に代えて、紫外光を発するものを採用してもよい。その場合、光検出部24は、自発光中間膜904IMが発する蛍光を検出する。したがってこの場合の光検出部24が生成する信号は図13において説明したものと同様に、第2領域に対応する走査位置において、閾値Athを超えるものとなる。
以上説明した実施の形態2によれば、可視光を透過する領域と可視光を反射する領域とを精度よく画定する領域設定方法等を提供することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述のディスプレイ装置は、自動車に限らず、電車、航空機、船舶等の移動体に適用することが可能である。また、上述のディスプレイ装置に利用されている表示技術は、上述の移動体に限らず、住宅や屋外においても適用することが可能である。
1 ディスプレイ装置
10 制御部
11 画像データ取得部
12 画像処理部
13 領域判断部
14 レーザ光源制御部
15 スキャナ制御部
20 レーザ光源部
21 レーザモジュール
22 レーザドライバ
23 フォトダイオード
24 光検出部
30 スキャナ部
31 スキャナ
32 スキャナドライバ
40 メモリ
50 領域判断処理受付部
141 波長選択部
211 レーザダイオード
212 ダイクロイックミラー
213 ビームスプリッタ
311 垂直ミラー
312 水平ミラー
600、711 参照光源
700 参照部材
710 天板
720 前板
730 左側板
740 右側板
760 開放部
770 操作パネル
801 自転車
802 歩行者
803 他の自動車
900 自動車
901 カメラ
902、906 サイドウィンドウ
903、905 Aピラー
904 ウィンドシールド
904A 発光材料
904IM 自発光中間膜
F91 被照射領域
F92 被照射領域

Claims (7)

  1. 可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより予め設定された波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射するディスプレイ装置の前記第1領域および前記第2領域を画定する領域設定方法であって、
    前記ディスプレイ装置に対して予め設定された波長の光である参照光を発する参照光源から前記参照光を発光させる参照光発光ステップと、
    前記ディスプレイ装置に備えられ、前記被照射面を順次走査した位置である走査位置において光を検出する光検出部に前記被照射面を走査させて前記参照光に基づく光を検出させ、検出した光の前記走査位置と光の強度とに基づいて、前記第1領域および前記第2領域を画定する領域判断ステップと
    を備える領域設定方法。
  2. 前記参照光発光ステップは、前記被照射面越しに前記ディスプレイ装置に対して前記参照光を発光し、
    前記領域判断ステップは、前記被照射面を透過した前記参照光を検出した前記走査位置を前記第2領域であると判定することにより、前記第1領域および前記第2領域を画定する、
    請求項1に記載の領域設定方法。
  3. 前記参照光発光ステップは、前記ディスプレイ装置側から前記被照射面に前記参照光を発光し、 前記領域判断ステップは、前記被照射面に反射した前記参照光を検出した前記走査位置を前記第1領域であると判定することにより、前記第1領域および前記第2領域を画定する
    請求項1に記載の領域設定方法。
  4. 前記参照光発光ステップは、前記ディスプレイ装置側から前記被照射面に前記第2領域が前記蛍光を発するための前記参照光源を発光し、
    前記領域判断ステップは、前記被照射面における前記蛍光を検出した前記走査位置を前記第2領域であると判定することにより、前記第1領域および前記第2領域を画定する、
    請求項1に記載の領域設定方法。
  5. 前記領域判断ステップは、移動体の室内に設けられた前記ディスプレイ装置における前記光検出部の検出結果に基づいて前記第1領域および前記第2領域を画定する、
    請求項1~4のいずれか一項に記載の領域設定方法。
  6. 可視光レーザを受けることにより反射光を発する第1領域と、可視光を透過するとともに紫外光レーザを受けることにより予め設定された波長の蛍光を発する第2領域と、を有する被照射面に画像光を照射するディスプレイ装置であって、
    前記第1領域および前記第2領域の設定をする領域判断処理の開始を受け付ける領域判断処理受付部と、
    前記領域判断処理の開始を受け付けると、前記被照射面を順次走査して走査位置における光を参照光として検出する光検出部と、
    前記参照光に応じて前記走査位置が前記第1領域か前記第2領域かを判断する領域判断部と、を備える
    ディスプレイ装置。
  7. 前記被照射面の照射位置に前記可視光レーザおよび紫外光レーザのうち、選択されたレーザ光を照射するレーザ光源部と、
    前記領域判断部が前記第1領域と判定した前記照射位置に対しては前記可視光レーザを照射し、前記領域判断部が前記第2領域と判定した前記照射位置に対しては前記紫外光レーザを照射することを前記レーザ光源部に指示するレーザ光源制御部と、をさらに備える、
    請求項6に記載のディスプレイ装置。
JP2019049629A 2019-03-18 2019-03-18 領域設定方法およびディスプレイ装置 Active JP7208459B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019049629A JP7208459B2 (ja) 2019-03-18 2019-03-18 領域設定方法およびディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049629A JP7208459B2 (ja) 2019-03-18 2019-03-18 領域設定方法およびディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2020155811A JP2020155811A (ja) 2020-09-24
JP7208459B2 true JP7208459B2 (ja) 2023-01-19

Family

ID=72559810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049629A Active JP7208459B2 (ja) 2019-03-18 2019-03-18 領域設定方法およびディスプレイ装置

Country Status (1)

Country Link
JP (1) JP7208459B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008285389A (ja) 2007-05-21 2008-11-27 Honda Motor Co Ltd 車両用合わせガラス
JP2016540680A (ja) 2013-11-18 2016-12-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 室内ディスプレイシステム及び室内ディスプレイ方法
JP2017134248A (ja) 2016-01-28 2017-08-03 大日本印刷株式会社 光学シート、光学シートの製造方法、表示装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4775139B2 (ja) * 2006-06-28 2011-09-21 トヨタ自動車株式会社 車輌用表示装置
JP2015012559A (ja) * 2013-07-02 2015-01-19 株式会社デンソー 投射型表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008285389A (ja) 2007-05-21 2008-11-27 Honda Motor Co Ltd 車両用合わせガラス
JP2016540680A (ja) 2013-11-18 2016-12-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 室内ディスプレイシステム及び室内ディスプレイ方法
JP2017134248A (ja) 2016-01-28 2017-08-03 大日本印刷株式会社 光学シート、光学シートの製造方法、表示装置

Also Published As

Publication number Publication date
JP2020155811A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US10912176B2 (en) Vehicle lamp
JP6279937B2 (ja) 車両用照明装置
WO2017073250A1 (ja) 車両用灯具
JP2016097818A (ja) ヘッドアップディスプレイ装置
US10276128B2 (en) Display control method, display control device and display system
US11312301B2 (en) Display apparatus, display method, and program
JP2010243940A (ja) 画像表示装置
JP6108169B2 (ja) 混色装置及び表示装置
US20210168339A1 (en) Display apparatus, display method, and program
US10501005B2 (en) Vehicle lighting system
JP7208459B2 (ja) 領域設定方法およびディスプレイ装置
JP2007086266A (ja) 光学ユニット及び画像表示装置
JP7035989B2 (ja) ディスプレイ装置、判別方法および照射方法
JP2019001226A (ja) 電子ミラー装置
JP2009145846A (ja) 投射型画像表示装置
JP7010200B2 (ja) ディスプレイ装置、判別方法および照射方法
JP7103194B2 (ja) ディスプレイ装置、判別方法および照射方法
CN114435236B (zh) 车辆前照灯***及其操作方法
JP2018146761A (ja) 表示装置及び投影装置
JP2005031267A (ja) 画像投射装置及び画像投射方法
US20220243885A1 (en) Vehicular lamp and vehicle front detection system
JP2020013073A (ja) 光照射装置
US11195439B2 (en) Head-up display apparatus
US20230311741A1 (en) Apparatus and method for capturing surroundings of a vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7208459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150