JP6582237B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP6582237B2
JP6582237B2 JP2016003582A JP2016003582A JP6582237B2 JP 6582237 B2 JP6582237 B2 JP 6582237B2 JP 2016003582 A JP2016003582 A JP 2016003582A JP 2016003582 A JP2016003582 A JP 2016003582A JP 6582237 B2 JP6582237 B2 JP 6582237B2
Authority
JP
Japan
Prior art keywords
laser light
light source
luminance
red
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016003582A
Other languages
English (en)
Other versions
JP2017125885A (ja
Inventor
古屋 博之
博之 古屋
孝久 白水
孝久 白水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016003582A priority Critical patent/JP6582237B2/ja
Priority to US15/381,941 priority patent/US9905997B2/en
Publication of JP2017125885A publication Critical patent/JP2017125885A/ja
Application granted granted Critical
Publication of JP6582237B2 publication Critical patent/JP6582237B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/06Arrangements for controlling the laser output parameters, e.g. by operating on the active medium
    • H01S5/068Stabilisation of laser output parameters
    • H01S5/06804Stabilisation of laser output parameters by monitoring an external parameter, e.g. temperature
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/40Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/4025Array arrangements, e.g. constituted by discrete laser diodes or laser bar
    • H01S5/4087Array arrangements, e.g. constituted by discrete laser diodes or laser bar emitting more than one wavelength
    • H01S5/4093Red, green and blue [RGB] generated directly by laser action or by a combination of laser action with nonlinear frequency conversion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Liquid Crystal (AREA)
  • Instrument Panels (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、画像表示装置に関し、たとえばレーザ光を光源とし、画像形成部で形成した画像をスクリーンへ投影させて画像表示させる形態に好適なものである。
近年、ガラス表面での表面反射(或いはハーフミラー)と自由曲面ミラーなどとを組み合わせた虚像光学系により、空間上に映像を表示させる画像表示装置の開発が進んできている。
特に、乗用車等の移動体に搭載されているヘッドアップディスプレイと称される画像表示装置への応用が期待されている。たとえば、乗用車に搭載されるヘッドアップディスプレイでは、画像情報により変調された光がウインドシールド(フロントガラス)に向けて投射され、その反射光が運転者の目に照射される。これにより、運転者は、ウインドシールドの前方に、画像の虚像を見ることができる。たとえば、車速や気温等が、虚像として表示される。最近では、ナビゲーション画像や、実在する通行人を運転者に対して注意喚起する画像を虚像として表示することも検討されている。
上記ヘッドアップディスプレイでは、光源として、半導体レーザ等のレーザ光源が用いられ得る。この構成では、映像信号に応じてレーザ光が変調されつつ、レーザ光がスクリーンを走査する。スクリーンでは、レーザ光が拡散され、運転者の目に照射される光の領域が広げられる。これにより、運転者が多少頭を動かしても、目が照射領域から外れなくなり、運転者は、良好かつ安定的に画像(虚像)を見ることができる。
レーザ光源を用いることで、レーザビームをスクリーン上に走査させる光学系を小型化できる上、大きな光学倍率を有する虚像光学系と組み合わせることで、より小さな本体寸法であるにもかかわらず大きな虚像を表示することができるため、ヘッドアップディスプレイの搭載車種を増やす効果が期待されている。
然し乍ら、このように光源としてレーザ光源を用いると、特に半導体レーザ光源の場合、その温度により投入電力に対する出力(電気光変換効率)が低下するという問題が生じたりしていた。その結果、白色の図形を表示した際、温度により白色の輝度が低下する上、赤・緑・青といった単色の光を表示する際も表示が暗くなるという課題が発生していた。
さらに、温度によって、レーザ光源の発振閾値付近における発光特性も変化するため、輝度を落とした表示をする際にも階調が取りづらくなると言う課題が発生していた。
これらの、レーザ光源の出力調整という課題に対し、多くの技術者が対応策を考案し、これまでにいくつかの方法を提案している。例えば、特許文献1には、低輝度で映像表示する際、レーザ光源から発せられたレーザビームを偏光制御素子に通した上、必要光量に応じて偏光角を制御して、光量を調整することにより階調制御を実施しやすくする方法が記載されている。
また、特許文献2には、電源投入後の温度に応じて、都度レーザ光源の光量を取得し、最低光量と最高光量の2点を取得することで直線補完し、ルックアップテーブルを書き換える方法が記載されている。
さらに、特許文献3には、周囲の温度が高くなった場合、装置内部の光量ディテクタを用いて、ホワイトバランスを保ちながら、温度上昇量が大きなレーザ光源の温度が下がるように、レーザ光源への投入電流量を下げるような制御を行い(つまり、白色を保ちながら輝度を下げる動作)、レーザ光源への温度負荷を軽減する方法が記載されている。
特許文献4には、レーザ光源に投入する電流値に加え、高周波重畳する信号波形を変化させ、より細かい輝度制御/階調制御を行う方法が記載されている。
特許文献5には、レーザ光源に投入する電圧と発光時間とを組み合わせて光源出力を制御する方法が記載されている。
特開2013−15738号公報 特開2013−226746号公報 特開2014−186078号公報 特開2015−22096号公報 特開2015−64539号公報
然し乍ら、これまでの構成では、いくつかの課題があることがわかった。例えば、上記特許文献1の構成では、偏光制御素子として液晶パネルと偏光板との組み合わせが赤・緑・青の各色一組ずつ必要となるため、それぞれの制御回路・駆動電源が必要となる上、低温動作時に機能させるには予熱が必要になるなど、制御が煩雑になり、使い勝手があまりよくない。また、使用する青色レーザ光の波長によっては、素子の劣化を助長するという課題が確認された。
一方、上記特許文献2の構成では、装置起動時と一定時間経過ごとに特性を取得した上、2点補正でレーザ光源の入出力特性を求めているため、装置動作中に周囲の温度が変化した場合に、レーザ光源の入出力特性が実際の特性と異なってしまう上、映像表示中に入出力特性を再取得するシーケンスを挿入する必要があるという課題が確認された。
特許文献3の構成では、赤・緑・青のレーザ光源に温度センサーを取り付け、レーザ光源の温度が、動作保証温度の範囲内となるように、ホワイトバランスを維持したままレーザ光源の投入電流を減少させるような制御を行うため、温度が高くなればなるほど、白色表示の輝度が低下するだけではなく、特に赤色単色表示において、表示内容が見えにくくなるという課題が確認された。
特許文献4の構成では、LD駆動信号に重畳する高周波信号の周期と振幅を変化させて輝度を調整するが、走査型プロジェクタでこの手法を使用する際、表示画面内での輝度補正などの光量補正を光源点灯時間やLD駆動信号波形を制御して行っているため、実際の調整幅を大きく取ることができないという課題が確認された。
また、上記特許文献5の構成では、レーザ光源に投入する電圧とレーザ光源の発光時間とを組み合わせた制御を行っているが、レーザの特性として、電圧に対する光出力の感度が高い、つまり電圧の変化量に対して光出力の変動量が非常に大きいため、電圧での制御は非常に困難であるという課題が確認された。
かかる課題に鑑み、本発明は、高温動作時における単色表示の輝度低下を抑制し、かつ低輝度表示時においても、より細かい輝度制御および階調制御を行うことができる画像表示装置を提供することを目的とする。
上記の課題を解決するため、本発明の画像表示装置は、赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、前記レーザ光源を点灯制御する制御部と、
前記レーザ光源の温度を取得する温度取得部と、前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、前記レーザ光源の輝度を切り替える輝度切替部を備え、前記輝度切替部は、低輝度モードと高輝度モードを有し、前記高輝度モードが選択された場合は、前記赤色レーザ光源と前記緑色レーザ光源を点灯させ、前記低輝度モードが選択された場合は、前記赤色レーザ光源のみを点灯させ、前記制御部が、前記温度取得部で取得された温度情報に基づき、前記レーザ光の出力値の比率を変更することを特徴とする。
また、本発明の画像表示装置は、赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、前記レーザ光源を点灯制御する制御部と、前記レーザ光源の温度を取得する温度取得部と、前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、前記レーザ光源の輝度を切り替える輝度切替部とを備え、前記輝度切替部は、低輝度モードと高輝度モードを選択でき、前記高輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光と前記緑色のレーザ光を点灯させ、前記低輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光のみを点灯させ、前記制御部が、前記温度取得部で取得された温度情報に基づき、赤色表示時における赤色のレーザ光の出力値と緑色のレーザ光の出力値との比率を変更することを特徴とする。
さらに、本発明の画像表示装置は、赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、前記レーザ光源を点灯制御する制御部と、前記レーザ光源の温度を取得する温度取得部と、前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、前記レーザ光源の輝度を切り替える輝度切替部とを備え、前記輝度切替部は、低輝度モードと高輝度モードを選択でき、前記高輝度モードが選択された場合は、前記レーザ光源に対して前記青色のレーザ光と前記緑色のレーザ光を点灯させ、前記低輝度モードが選択された場合は、前記レーザ光源に対して前記青のレーザ光のみを点灯させ、前記制御部が、前記温度取得部で取得された温度情報に基づき、青色表示時における青色のレーザ光の出力値と緑色のレーザ光の出力値との比率を変更することを特徴とする。
また、本発明の画像表示装置は、赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、前記レーザ光源を点灯制御する制御部と、前記レーザ光源の温度を取得する温度取得部と、前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、前記レーザ光源の輝度を切り替える輝度切替部とを備え、前記輝度切替部は、低輝度モードと高輝度モードを選択でき、前記高輝度モードが選択された場合は、前記輝度切替部は、前記レーザ光源に対して前記青色のレーザ光と前記緑色のレーザ光を点灯させ、前記低輝度モードが選択された場合は、前記輝度切替部は、前記レーザ光源に対して前記青のレーザ光のみを点灯させ、前記制御部が、前記温度取得部で取得された温度情報に基づき、赤色表示時における赤色のレーザ光の出力値と緑色のレーザ光の出力値との比率および、青色表示時における青色のレーザ光の出力値と緑色のレーザ光の出力値との比率を変更することを特徴とする。
本発明の画像表示装置によれば、レーザ光源の出力特性が劣化する高温動作時における単色表示の輝度低下を抑制し、かつレーザ光の光量をあまり必要としない低輝度表示時においても、より細かい輝度制御および階調制御を行うことができる画像表示装置を提供することができる。
図1(a)、(b)は、実施の形態に係る画像表示装置の使用形態を示す図であり、図1(c)は、実施の形態に係る画像表示装置の構成を示す図である。 図2(a)は、1931色度図上のホワイトポイントを示した図であり、図2(b)は、従来の画像表示装置における輝度調整方法を示した図である。 図3(a)は、従来の画像表示装置における赤色表示時の赤色単色の明るさに対する電流調整範囲を示した図であり、図3(b)は、赤色レーザ光源の発振閾値付近の挙動を示した図である。 図4(a)(b)は、赤色レーザダイオードの温度特性例を示した図である。 図5(a)は、赤色帯域の波長と視感度との関係を示した図であり、図5(b)は、環境温度に対する人が感じる赤色強度との関係を示した図である。 図6は、本発明の実施の形態における1931色度図上での赤色表示範囲を示す図である。 図7(a)は、本発明の実施の形態における環境温度に対する人が感じる赤色強度との関係を示した図であり、図7(b)は、赤色表示の明るさと赤色レーザダイオードへの投入電流調整範囲を示した図である。 図8は、本発明の実施形態における回路構成を示したブロック図である。 図9は、本発明の実施形態における表示色調整モジュールの制御を示したフローチャートである。 図10は、赤色表示の明るさと光量の関係を示した図である。 図11は、本発明の実施の形態における1931色度図上での青色表示範囲を示した図である。 図12は、本発明の実施の形態における青色表示の明るさと青色レーザダイオードへの投入電流調整範囲を示した図である。
以下、本発明の実施の形態にかかる画像表示装置について、図面を参照しながら説明する。
先ず、図1は、本発明の実施の形態における画像表示装置120の使用形態を示す図である。図1(a)は、車両101の側方から車両101の内部を透視した図、図1(b)は、車両101の内部から走行方向前方を見た図である。図1(c)は、画像表示装置120の内部構成を示す図である。なお、本実施の形態は、車載用のヘッドアップディスプレイに本発明を適用したものである。
図1(a)に示すように、画像表示装置120は、車両101のダッシュボード111の内部に設置される。図1(a)、(b)に示すように、画像表示装置120は、映像信号により変調されたレーザ光を、ウインドシールド112の下側の運転席寄りに配置された投射領域113に投射する。
レーザ光は、投射領域113で反射され、運転者102の目の位置周辺の横長の領域(アイボックス領域)に照射される。これにより、運転者102の前方の視界に、虚像として所定の画像130が表示される。運転者102は、ウインドシールド112の前方の景色上に、虚像である画像130を重ね合わせて見ることができる。すなわち、画像表示装置120は、虚像である画像130をウインドシールド112の投射領域113の前方の空間に結像させる。
図1(c)に示すように、画像表示装置120は、走査光学モジュール121と、虚像光学系122と、スクリーン123と、スクリーン入射角補正光学系124を備える。走査光学モジュール121は、赤色、青色、緑色を発するレーザ光源としてのレーザダイオード(以下、LD)であるLD125a、LD125b、LD125cを有し、映像信号により変調されたレーザ光が出射される。
本発明では、LD125aが青色の半導体レーザ光源、LD125bが緑色の半導体レーザ光源、LD125cが赤色の半導体レーザ光源となっている。なお、この例では、各色がそれぞれ独立したCANパッケージで構成したものを図示しているが、しかし、これに限定されず、3色のうち任意の2色の光源を1つのCANパッケージで構成するとか、あるいは3色を1つのCANパッケージで構成しても構わない。
各LDから発せられたレーザ光は、合波ミラー126a、合波ミラー126b、合波ミラー126cを介して、略同軸なレーザビームとして成形され、走査ミラー127へ照射される。その後、レーザビームは、走査ミラー127でスクリーン入射角補正光学系124を介してスクリーン123上を走査される。
走査ミラー127は、20kHz程度の共振周波数で往復運動する軸(便宜的に高速軸と呼ぶ)と、画像のフレームレート(実施例の場合60Hz)で往復運動する軸(便宜的に低速軸と呼ぶ)の二つの回動軸を有している。
以後、本実施の形態において高速軸に沿った方向を水平軸、低速軸に沿った方向を垂直軸として説明を進める。なお、本実施の形態における水平軸は第1走査の走査方向に相当し、垂直軸は第2走査の走査方向に相当する。また、水平軸は垂直軸に直交し、水平軸方向の走査速度は垂直軸方向の走査速度よりも速い。
虚像光学系122は、曲面状の反射面122aと、平面状の反射面122bとを有する。走査光学モジュール121から出射されたレーザ光は、スクリーン入射角補正光学系124、スクリーン123を経由して、虚像光学系122でウインドシールド112に向けて反射される。
ウインドシールド112で反射されたレーザ光は、運転者102の目102aに照射される。走査光学モジュール121の光学系と虚像光学系122は、ウインドシールド112の前方に虚像による画像130が所定の大きさで表示されるように設定されている。
なお、本実施の形態では、ウインドシールドを通して虚像を観察するウインドシールド型のヘッドアップディスプレイへ展開した場合における実施例で説明したが、コンバイナと呼ばれる光学部品を通して虚像を観察するコンバイナ型と呼ばれるヘッドアップディスプレイへ展開も可能である。
また、本実施の形態では、圧電材料による歪みを与える効果や、電磁的な力、静電気を用いた所謂MEMS構造を用いた往復ミラーを用いた光学構成になっているが、レーザ光を走査する形態であれば、ポリゴンミラーやガルバノミラーを用いることも可能である。
さらに、虚像光学系122の光学倍率を大きくするほど、より小さな画像表示装置120を用いて画像130を生成することができる。その結果、搭載スペースが限られた車両にも画像表示装置120が搭載可能になるという効果が得られる。
次に、従来行われていた環境温度に応じたレーザ光源の出力調整方法、目標表示輝度に応じたレーザ光源の出力調整方法を用いた画像表示装置について説明する。従来においては、白色表示時のホワイトバランスをベースとし、表示輝度に応じて適切なホワイトバランス値となるような、赤・緑・青それぞれの色の光量値を設定していた。
ここで、図2(a)は、1931色度図を示し、図2(b)は、画像表示装置における高輝度時および低輝度時の赤・緑・青色光の光量配分を示している。先ず、製品に応じて白色の範囲を決定する。白色といっても色温度により赤みがかった4500Kから、青白い9500Kまで違った色味で表現することが可能である。
従来の輝度調整方法の場合、たとえば白色を9500Kの白色と定義し、この白色を、赤・緑・青を使って最大輝度で実現する際の光量を図2(b)の「高輝度時」で示した棒グラフのように決定した場合、赤・緑・青の単色を出力する際の最大出力も、この棒グラフの最大値迄しか出力できないような出力制御を行っていた。
同様に、前記白色を最低輝度で実現する場合の光量は「低輝度時」で示した棒グラフのように決定されていた。この場合においても、白色表示時の配分で最大光量が決定されるため、赤色のみ、あるいは青色のみといった単色を表示する場合、光量不足で運転者が視認しにくいという問題があった。
また、低輝度表示ではさらに以下のような問題があった。図3(a)は、縦軸に画像表示装置が表示する目標輝度レベル(L1:最低輝度〜L5:最高輝度)を示しているが、輝度を落とした場合、図3(a)に示すように、最高輝度「L5」では広かった電流上限値と閾値電流値との差分で決定される赤色光源の電流調整範囲が、最低輝度「L1」では極端に狭くなり、階調表現が難しくなっていた。
次に、図3(b)は、縦軸に赤色レーザ光源の電流調整範囲をプロットした図であり、具体的には、640nm帯LDにおける温度をパラメータにした入力電流に対する光出力値を示している。赤色レーザ光源の場合、同図に示すように、発振波長によっては、温度が高くなると閾値電流値が大きくなり、電流調整を困難にする上、レーザ発振する前に出力される自然放出光の光量が大きくなるためさらに階調表現を困難にしていた。
従来の光量調整手法として、電流値を操作する方法以外に、パルス幅を変化させて調整するパルス幅変調を用いる方法も提案されているが、MEMS走査型ディスプレイでは、表示面内での輝度分布補正やスペックルノイズ対策としての入力電流への高周波重畳など、輝度調整以外にも発光パルスを操作して制御を行っているため、調整幅を大きく取ることは困難になっていた。さらに、図3(b)から、温度が上がるごとに電流閾値も上昇しており、レーザ発振する前の光出力も徐々に大きくなっていることが分かる。
次に、図4は、発振波長による赤色LDの温度特性差異について示している。図4(a)は、640nm帯LD、図4(b)は、650nm帯LDの温度(横軸)に対する光出力および出力波長(縦軸)の関係を示している。温度が25℃から80℃に変化した場合、量子井戸構造の差異により、図4(a)に示しているように、640nm帯LDでは、光出力が170mWから10mWまで、9割以上の光出力低下が生じていたが、図4(b)で示すように、650nm帯LDでは、190mWから100mW程度まで、5割程度の出力低下で抑えられていることがわかる。
この、640nm帯LDより650nm帯LDの方が温度に対する出力低下量が少ないという特性は、一般的には知られているものである。しかし、ディスプレイとして使用する際は、人の目に与える刺激量(視感度)が関係するため、視感度を考慮する必要がある。
赤色帯域における波長と視感度との関係を図5(a)に示す。同図から、650nmは、640nmと比べて視感度が6割程度であることが分かる。一方、同じ赤色でも630nmであれば、640nmと比べて視感度が1.5倍、620nmであれば、約2.3倍であることが分かる。
また、図5(b)は、温度に対する視感度を考慮した赤色強度の関係を示した図である。同図において、横軸は環境温度(LD近傍の温度、以下同様)、縦軸はLDからの光源出力と視感度を掛け合わせた任意単位の値である。同図から、環境温度が20℃付近の時は、640nm帯の方が優位であるが、60℃を超えた辺りから、650nmが優位になることが分かる。
本発明では、以上のような半導体レーザ光源の特性を利用して、温度に対する出力特性が緩やかな650nm帯LDを使用しても、視認性を落とさず赤色表示を可能にし、かつ低輝度表示時ではより輝度を落とした表示を可能にする制御方法を提案する。
本発明では、赤色表示時に赤色LDと共に緑色LDを点灯させ、赤色に見える範囲で補助することで、より明るい赤色光を表示させることを可能にする。さらに、輝度を落として表示させたいときは、緑色LDによる補助を停止させ、視感度が低い赤色光を使用することで、従来よりも明るさを落とした赤色光を表示させることを可能にしている。
以下、図6〜図12に基づいて、本発明の画像表示装置の構成及び制御について詳細に説明する。
図6は、1931色度図における赤色範囲部分を拡大した図を示している。同図において、点線は、色度図上で525nmと660nmとを結んだ直線であるY=−0.903X+0.929(以下、式1)を示している。実線は、色度図上で515nmと660nmとを結んだ直線であるY=−0.784X+0.843(以下、式2)を示している。
視認性が必要な赤色表示をさせる場合は、前記式1および式2を使って表される、−0.784X+0.843≦Y≦−0.903X+0.929および0.690≦X≦0.715で示された、図6における領域Aの範囲内の赤色座標となるように、緑色LDを補助点灯させる。
一方、より明るさを落とした赤色光を表示させたい場合は、−0.784X+0.843≦Y≦−0.903X+0.929および0.725≦X≦0.730で示された、図6における領域Bの範囲内の赤色座標となるように制御させることが本発明のポイントとなっている。
赤色表示時に緑色光も点灯させ、色度図上で前記領域Aの範囲とすることで、明るさを確保し、かつ「赤色」と認識しやすい表示をさせることが可能である。より明るい「赤色」表示とするためには、緑色LDで補助する光量を増やし、X=0.690に近い値に設定すればよく、明るさを抑えた「赤色」表示とする差異には、緑色LDでの補助光量を抑制することで、X=0.715付近の値とすることで明るさを抑えた表示が可能となる。
上記の説明において、赤色領域を前記式1と式2の二つの直線に挟まれた領域としているのは、補助光源である緑色LDも温度や個体ばらつきにより、出力波長が変化するためであり、式1は、緑色出力波長の長波長側、式2は、緑色出力波長の短波長側と赤色LD波長の長波長値660nmとを結んだ直線となっている。この制御手法を導入することにより、環境温度が高くなった場合でも必要な赤色強度を確保することができる。
次に、図7(a)は、緑色LDによる補助点灯を行った場合における環境温度に対する人の目が感じる赤色光の強度変化を示している。同図において、横軸は環境温度、縦軸はLDからの光源出力と視感度を掛け合わせた任意単位の値である。緑色LDによる補助点灯を行った場合は、環境温度が80℃の時に、650nm帯LDの単独点灯時の2倍程度、640nm帯LDの15倍程度の明るさを持つ赤色光表示が可能になることが分かる。
また、図7(b)は、低輝度表示時における赤色LDへ投入する電流調整範囲を示した図である。横軸に目標輝度(L5:最高輝度、L1:最低輝度)を示しており、縦軸に赤色LDへの投入電流調整範囲を示している。本発明で提案する赤色表示時に緑LDでの補助点灯を行うことで、輝度L3〜L5の範囲では、緑色光の光量を減少させ、赤色表示の明るさを減少させることができ、赤色LDの電流調整範囲を狭くする必要なく光量制御できる。一方、輝度L2以下の明るさが必要な場合は、赤色LDのみを点灯させ、電流調整により明るさ調整を行う。
本発明では、視感度が低い650nm帯赤色LDを使用し、低輝度時は、緑色光による補助を行わずに、前記図6における領域Bの範囲内の赤色光を使用することで、低輝度時においても電流調整範囲を確保することが可能となっている。
次に、図8は、本発明の画像表示装置の構成を示す回路ブロック図である。同図において、LD125a(緑色)、LD125b(青色)、LD125c(赤色)および画像形成部である走査ミラー127は、装置制御ユニット801からの指令に基づき、レーザ光源125a、レーザ光源125b、レーザ光源125cへ電流を供給するレーザドライバ802、および走査ミラー127へ駆動電圧信号を供給するMEMSドライバ803を介して制御されている。
装置制御ユニット801には、外部からの入力として、映像信号812や画像表示装置自体の表示/非表示状態を制御する制御信号813の他に、LD125a、LD125b、LD125cから発せられるレーザ光の光量を計測する光量モニタ804、映像表示装置外部の明るさを計測する外光強度モニタ805(輝度取得部)、LDの環境温度(望ましくは赤LD近辺の温度がよい)を計測する温度モニタ806(温度取得部)、MEMSドライバ803からの水平モニタ信号/垂直モニタ信号が入力されている。
映像制御モジュール807は、光量調整モジュール809、表示色調整モジュール810、映像処理モジュール811が包含されている。映像信号812は映像処理モジュール811に入力され、表示画像の座標ごとに色情報を生成する。生成した色情報は表示色調整モジュール810に送られる。
表示色調整モジュール810では、光量モニタ804からの光量信号、外光強度モニタ805からの外光強度信号、温度モニタ806からの環境温度信号(レーザ光源の近傍の温度を現す)に応じて、単色表示時の視認性を向上するための表示色調整を行っている。生成した信号は点灯指令ユニット809へ送られる。
点灯指令ユニット809では、表示色調整モジュール810から送られた信号を元にレーザドライバへLD点灯指令を出す。このユニットでは、光量モニタ804からの信号を元に指令値を調整するフィードバック制御の役割も果たしている。
本発明で特徴的な役割を果たすのは、光量モニタ804からの光量信号、外光強度モニタ805からの外光強度信号、温度モニタ806からの環境温度信号に応じて表示色を調整する表示色調整モジュール810である。
続いて、装置制御ユニット801内の映像制御部807に含まれる表示色調整モジュール810で行われる制御を、図9のフローチャートを用いて説明する。
大まかな流れとしては、画像表示装置120が必要とする輝度から、赤色表示時に緑色光補助が必要か、必要でないかを判別し、必要な場合は、レーザ光源の近傍の温度に応じて赤色LDと緑色LDの光量比率を決定するという手順である。
制御をスタートした後(901)、制御信号813を通じた外部輝度指令の有無を判別する(902)。ここで、外部輝度指令とは、使用者によって輝度調整が行われた場合に発生するもので、図8においては、制御信号813に含まれる。一例として、ここでは使用者の操作により、輝度L1〜L5の5段階で、画像表示の輝度が調整され得るように構成されているものとする。
外部輝度指令がある場合、外部輝度指令がある定められた値 “L2”以上であるかどうかを判別し(903)、あらかじめ定められた値“L2”を下回る場合、「緑光補助無し」(905)に、あらかじめ定められた値“L2”以上となる場合は、「緑光補助有り」(906)に分岐する。
ここで、使用者が前記値“L2”未満の輝度を選択した場合を低輝度モード、値“L2”以上の輝度を選択した場合を高輝度モードと定義する。したがって、使用者によって低輝度モードが選択された場合は「緑光補助無し」(905)に分岐し、高輝度モードが選択された場合は「緑光補助有り」(906)に分岐する。
一方、外部輝度指令が無い場合、画像表示装置外部の外光強度信号(前述のように、外光強度モニタ805から取得される)が所定の決められた値“Po”以上であるかどうかを判別し(904)、値“Po”を下回る場合、「緑光補助無し」(905)に分岐し、値“Po”以上となる場合は「緑光補助有り」に分岐する(906)。ここで、「緑光補助無し」(905)に分岐した場合は、映像処理モジュール811からの信号をスルーして点灯指令モジュール809へ出力する。
一方、前記のように、外部輝度指令があって、それが 値“L2”以上で「緑光補助有り」(906)に分岐した場合、もしくは外部輝度指令が無い場合で、外光強度信号が値“Po”以上で「緑光補助有り」(906)に分岐した場合は、温度モニタ806を通じて取得した環境温度信号に応じて、緑色光の補助割合を以下のように決定する。
・環境温度が−40℃〜20℃の範囲の場合(907:YES)、あらかじめ決定された混合比率(光出力比で赤:緑=0.95:0.05)で点灯させる(908)。
・環境温度が20℃〜40℃の範囲の場合(909:YES)、あらかじめ決定された混合比率(光出力比で赤:緑=0.9:0.1)で点灯させる(910)。
・環境温度が40℃〜60℃の範囲の場合(911:YES)、あらかじめ決定された混合比率(光出力比で赤:緑=0.8:0.2)で点灯させる(912)。
・環境温度が60℃〜85℃の範囲の場合(913:YES)、あらかじめ決定された混合比率(光出力比で赤:緑=0.65:0.35)で点灯させる(914)。
然し乍ら、(907)、(909)、(911)、(913)のいずれの分岐でも「NO」と判別された場合、仕様温度範囲外と判定し、温度異常信号を出力する。
なお、ここで説明した判定するための環境温度範囲や赤色LDからの光と緑色LDからの光との光出力値で見た混合割合は、あくまでも一例であり、画像表示装置の構成によって様々な態様を取ることができることは言うまでもない。
本発明で赤色表示の明るさが最低値となっている輝度“L1”状態において、パルス幅制御を付加することでさらに細かい制御を行うことができる。図10は、前記図7(b)における輝度L1モードにパルス幅制御を負荷した場合における赤色光の光量値を示した図である。パルス幅を3.3nsから0.7nsまで変化させた場合、それぞれパルス幅に応じて光量値も小さくなっていることが分かる。このように、低輝度表示時に視感度が低い光波長を選択し、かつパルス幅制御を組み合わせることで、より細かな光量制御を行うことが可能になる。
以上で説明した内容は、赤色表示時の視認性を向上させ、低輝度表示においても細かな制御を可能にする方法であったが、同様に青色表示時の視認性を向上させる手法としても利用可能である。
図11は、1931色度図の青色領域を拡大した図を示している。同図のハッチング部は、単色光源で実現できる色のうち、−0.093Y+0.043≦X≦−0.053Y+0.026および0.018≦Y≦0.025で示された領域である。
なお、青色LDは、温度に対する出力変化が緩やかであるため、図6の907〜914に示したような、温度によって混合割合を決定する処理を割愛することができる。すなわち、画像表示装置120が、外部輝度指令が、ある決められた値以上かどうかで、緑光補助を行うか行わないかを判別するように構成することが出来る。これについて、図12を用いて説明する。
図12は、低輝度表示時における青色LDへ投入する電流調整範囲を示した図であり、横軸に目標輝度(L5:最高輝度、L1:最低輝度)を示し、縦軸に青色LDへの投入電流調整範囲を示している。本発明で提案する、青色表示時に緑色LDでの補助点灯を行うことで、L3〜L5の範囲では、緑色光の光量を減少させることで、青色表示の明るさを減少させることができ、青色LDの電流調整範囲を狭くする必要なく光量制御できる。
一方、L2以下の明るさが必要な場合は、青色LDのみを点灯させ、電流調整により明るさ調整を行う。このように低輝度時は、緑色光による補助を行わずに青色光だけを使用することで、低輝度時においても電流調整範囲を確保することが可能になる。
なお、青色表示時に緑色光補助をする場合においても、環境温度による混合割合判定を導入してもよい。また、赤色表示時に緑色光で補助する場合、低輝度時の電流調整範囲をより大きく拡大することができるため、赤色LDの近傍温度25℃における中心波長としては650nm〜655nmの間であることが望ましい。さらに、本発明の光源制御方式とPWM変調や高周波重畳とを組み合わせて使用することも可能である。
上記の説明では、画像形成部として、MEMSミラーを走査して描画する構成で説明したが、LCOS(Liquid Crystal on Silicon)や、DMD(Digital Mirror Device)等の2次元変調素子を使用したフィールドシーケンシャル方式に適用することも可能である。フィールドシーケンシャル方式に適用した場合、画像表示装置としての最大輝度を向上させることができるという効果も得ることができる。
また、前記図6の領域Aや、図11に示したハッチング領域の中で、ユーザが視認しやすい領域をあらかじめ選択する様な仕様とすることも可能である。
さらに、本発明では、色範囲について1931色度図を使用して表現したが、1976色度図を用いて表現してもよい。
上記の実施の形態に述べた構成はあくまでも一例であり、説明および図面に例示した態様以外の構成においても適宜摘要が可能であることは言うまでもない。
本発明は、レーザ光源からの出力が制限される高温時に表示画像の輝度低下を抑制しつつ、低輝度表示状態においても輝度調整範囲を広げることを可能にするため、レーザ光源を用いた画像表示装置などに適応可能である。
101 車両
102 運転者
102a 目
111 ダッシュボード
112 ウインドシールド
113 投射領域
120 画像表示装置
121 走査光学モジュール
122 虚像光学系
122a、122b 反射面
123 スクリーン
124 スクリーン入射角補正光学系
125a、125b、125c レーザダイオード(レーザ光源)
126a、126b、126c 合波ミラー
127 画像形成部
130 画像
801 装置制御ユニット(制御部)
802 レーザドライバ
803 MEMSドライバ
804 光量モニタ
805 外光強度モニタ(輝度取得部)
806 温度モニタ(温度取得部)
807 映像制御部
808 MEMS制御部
809 点灯指令モジュール
810 表示色調整モジュール(輝度切替部)
811 映像処理モジュール

Claims (9)

  1. 赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、
    前記レーザ光源を点灯制御する制御部と、
    前記レーザ光源の温度を取得する温度取得部と、
    前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、
    前記レーザ光源の輝度を切り替える輝度切替部を備え、
    前記輝度切替部は、低輝度モードと高輝度モードを有し、前記高輝度モードが選択された場合は、前記赤色レーザ光源と前記緑色レーザ光源を点灯させ、前記低輝度モードが選択された場合は、前記赤色レーザ光源のみを点灯させ、
    前記制御部が、前記温度取得部で取得された温度情報に基づき、前記レーザ光の出力値の比率を変更することを特徴とする画像表示装置。
  2. 赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、
    前記レーザ光源を点灯制御する制御部と、
    前記レーザ光源の温度を取得する温度取得部と、
    前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、
    前記レーザ光源の輝度を切り替える輝度切替部とを備え、
    前記輝度切替部は、低輝度モードと高輝度モードを選択でき、前記高輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光と前記緑色のレーザ光を点灯させ、前記低輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光のみを点灯させ、
    前記制御部が、前記温度取得部で取得された温度情報に基づき、赤色表示時における赤色のレーザ光の出力値と緑色のレーザ光の出力値との比率を変更することを特徴とする画像表示装置。
  3. 赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、
    前記レーザ光源を点灯制御する制御部と、
    前記レーザ光源の温度を取得する温度取得部と、
    前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、
    前記レーザ光源の輝度を切り替える輝度切替部とを備え、
    前記輝度切替部は、低輝度モードと高輝度モードを選択でき、前記高輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光と前記緑色のレーザ光を点灯させ、前記低輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光のみを点灯させ、
    前記制御部が、前記温度取得部で取得された温度情報に基づき、青色表示時における青色のレーザ光の出力値と緑色のレーザ光の出力値との比率を変更することを特徴とする画像表示装置。
  4. 赤色のレーザ光と、緑色のレーザ光と、青色のレーザ光とを出射するレーザ光源と、
    前記レーザ光源を点灯制御する制御部と、
    前記レーザ光源の温度を取得する温度取得部と、
    前記レーザ光源から出射されたレーザ光によって画像を形成する画像形成部と、
    前記レーザ光源の輝度を切り替える輝度切替部とを備え、
    前記輝度切替部は、低輝度モードと高輝度モードを選択でき、前記高輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光と前記緑色のレーザ光を点灯させ、前記低輝度モードが選択された場合は、前記レーザ光源に対して前記赤色のレーザ光のみを点灯させ、
    前記制御部が、前記温度取得部で取得された温度情報に基づき、赤色表示時における赤色のレーザ光の出力値と緑色のレーザ光の出力値との比率および、青色表示時における青色のレーザ光の出力値と緑色のレーザ光の出力値との比率を変更することを特徴とする画像表示装置。
  5. 請求項1乃至請求項4のいずれか一項に記載の画像表示装置において、
    さらに、装置外部の輝度を取得する輝度取得部とを備え、
    前記輝度取得部からの輝度に基づいて、前記輝度切替部が、低輝度モードと高輝度モードの少なくとも二つのモードに前記レーザ光源の輝度を切り替えることを特徴とする画像表示装置。
  6. 前記制御部が、前記低輝度モード時に、前記レーザ光源の発光パルス幅を制御することで輝度を制御することを特徴とする請求項1乃至請求項5のいずれか一項に記載の画像表示装置。
  7. 前記レーザ光源が、赤色のレーザ光の25℃での発振中心波長が650〜655nmの間であることを特徴とする請求項1乃至請求項6のいずれか一項に記載の画像表示装置。
  8. 前記画像形成部が、2次元MEMSミラーであることを特徴とする請求項1乃至請求項7のいずれか一項に記載の画像表示装置。
  9. 前記画像形成部が、LCOS(Liquid Crystal on Silicon)、DMD(Digital Mirror Device)等の2次元変調素子であり、赤色・青色・緑色を順次点灯してフルカラー表示させるフィールドシーケンシャル方式であることを特徴とする請求項1乃至請求項8のいずれか一項に記載の画像表示装置。
JP2016003582A 2016-01-12 2016-01-12 画像表示装置 Active JP6582237B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016003582A JP6582237B2 (ja) 2016-01-12 2016-01-12 画像表示装置
US15/381,941 US9905997B2 (en) 2016-01-12 2016-12-16 Image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016003582A JP6582237B2 (ja) 2016-01-12 2016-01-12 画像表示装置

Publications (2)

Publication Number Publication Date
JP2017125885A JP2017125885A (ja) 2017-07-20
JP6582237B2 true JP6582237B2 (ja) 2019-10-02

Family

ID=59275979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016003582A Active JP6582237B2 (ja) 2016-01-12 2016-01-12 画像表示装置

Country Status (2)

Country Link
US (1) US9905997B2 (ja)
JP (1) JP6582237B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7015455B2 (ja) * 2017-02-17 2022-02-03 日本精機株式会社 ヘッドアップディスプレイ装置
US11378800B2 (en) 2018-01-11 2022-07-05 Samsung Electronics Co., Ltd. Image display apparatus
JP6713498B2 (ja) 2018-03-08 2020-06-24 株式会社ジャパンディスプレイ 表示装置
DE112020001579T5 (de) * 2019-03-28 2021-12-23 Panasonic intellectual property Management co., Ltd Videoanzeigesystem, videoanzeigeverfahren, programm und beweglicher körper
JP7281657B2 (ja) * 2019-03-28 2023-05-26 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラムおよび移動体
CN114339171B (zh) * 2021-04-19 2023-08-11 阿波罗智联(北京)科技有限公司 控制方法、装置、设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279755A1 (en) * 2006-06-01 2007-12-06 3M Innovative Properties Company Head-Up Display System
US7936489B2 (en) * 2007-02-09 2011-05-03 GM Global Technology Operations LLC Holographic information display
WO2011132407A1 (ja) * 2010-04-20 2011-10-27 パナソニック株式会社 画像表示装置
JP5793639B2 (ja) * 2010-04-20 2015-10-14 パナソニックIpマネジメント株式会社 シースルーディスプレイ及びヘッドアップディスプレイ
JP5842419B2 (ja) 2011-07-06 2016-01-13 日本精機株式会社 ヘッドアップディスプレイ装置
JP5988074B2 (ja) * 2012-01-27 2016-09-07 日本精機株式会社 車両用ヘッドアップディスプレイ装置およびそのセルフチェック方法
JP2013226746A (ja) 2012-04-26 2013-11-07 Canon Inc 光走査装置、その制御方法及び制御プログラム並びに画像形成装置
JP5975285B2 (ja) * 2012-10-05 2016-08-23 日本精機株式会社 レーザー走査型表示装置
US9243761B2 (en) * 2013-02-28 2016-01-26 Sumitomo Electric Industries, Ltd. Optical assembly and method for assembling the same, and optical module implemented with optical assembly
JP5956949B2 (ja) 2013-03-22 2016-07-27 株式会社日立エルジーデータストレージ 画像表示装置
JP2014197053A (ja) * 2013-03-29 2014-10-16 船井電機株式会社 プロジェクタ装置およびヘッドアップディスプレイ装置
JP2014197044A (ja) * 2013-03-29 2014-10-16 船井電機株式会社 プロジェクタ、ヘッドアップディスプレイ装置及びプロジェクタの制御方法
JP2015022096A (ja) 2013-07-18 2015-02-02 株式会社日立エルジーデータストレージ 画像表示装置
JP6150254B2 (ja) 2013-09-26 2017-06-21 アルプス電気株式会社 映像表示装置
US9936176B2 (en) * 2014-01-07 2018-04-03 Mitsubishi Electric Corporation Image protection device and adjustment method
US10051247B2 (en) * 2014-09-05 2018-08-14 Funai Electric Co., Ltd. Image projection apparatus
JP2017106976A (ja) * 2015-12-07 2017-06-15 船井電機株式会社 プロジェクタ

Also Published As

Publication number Publication date
US20170201068A1 (en) 2017-07-13
US9905997B2 (en) 2018-02-27
JP2017125885A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
JP6582237B2 (ja) 画像表示装置
US9373285B2 (en) Display device for vehicle
US9134536B2 (en) Head-up display device
JP4900512B2 (ja) 画像表示装置およびレーザ投射装置
US10659740B2 (en) Image rendering apparatus, head up display, and image luminance adjusting method
JP6728659B2 (ja) プロジェクタ
JP2014086426A (ja) レーザー出力制御装置及びレーザー走査型表示装置
WO2014103462A1 (ja) 画像表示装置、画像表示方法及びプログラム
US20100177285A1 (en) Optical scanning device, optical scanning image display device and retinal scanning display
JP5076427B2 (ja) 画像表示装置および画像サイズ変更方法
JP6784058B2 (ja) 情報表示装置
JP2015162526A (ja) レーザー光源駆動装置及び表示装置
JP7479123B2 (ja) 制御装置、光走査装置、表示装置及び制御方法
JP5263252B2 (ja) 走査型画像表示装置
JP7092999B2 (ja) 制御装置、光走査装置、表示装置及び制御方法
KR20150079007A (ko) 헤드업 디스플레이 장치 및 백라이트 유닛의 휘도 조절 방법
WO2018159317A1 (ja) 表示装置、ヘッドアップディスプレイ
JP5976925B2 (ja) 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体
JP5911606B2 (ja) レーザダイオード用駆動制御装置、レーザプロジェクションシステムおよびレーザダイオードにおけるスペックル低減方法
JP2014106378A (ja) 画像表示装置
JP7058912B2 (ja) ヘッドアップディスプレイ装置
EP3764150A1 (en) Display device, display method, head-up display, and vehicle
JP2014115442A (ja) 画像表示装置
JP2019164218A (ja) ヘッドアップディスプレイ装置
JP2020168985A (ja) 車両用表示装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190805

R151 Written notification of patent or utility model registration

Ref document number: 6582237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03