WO2022130865A1

WO2022130865A1 - 表示調光制御装置、表示調光制御方法、記録媒体及び表示調光システム

Info

Publication number: WO2022130865A1
Application number: PCT/JP2021/041837
Authority: WO
Inventors: 浩二長田
Original assignee: ソニーグループ株式会社
Priority date: 2020-12-16
Filing date: 2021-11-15
Publication date: 2022-06-23
Also published as: US20240005827A1; EP4265461A1; CN116710309A; KR20230118557A; JPWO2022130865A1

Abstract

【課題】画像と背景環境との視認性を向上する。【解決手段】表示調光制御装置は、表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、スクリーンの調光レベルを、スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御する調光処理制御部であって、表示デバイス位置から出射される画像光により画像が表示されるスクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、スクリーンの背景環境の情報である背景情報を取得し、１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部と、を有する調光処理制御部と、を具備する。

Description

表示調光制御装置、表示調光制御方法、記録媒体及び表示調光システム

　本開示は、透明なスクリーンに画像を表示（投影）する表示装置と、スクリーンを調光する調光装置と、表示装置及び調光装置を制御する表示調光制御装置とを有する表示調光システムに関する。本開示は、さらに、表示調光制御装置と、表示調光制御装置が実行する表示調光制御方法と、表示調光制御装置が実行する調光制御プログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体とに関する。

　車両のフロントウィンドウをスクリーンとして画像を表示（投影）する表示装置（ヘッドアップディスプレイシステム）が知られている（特許文献１）。

特開２０２０－１９０６７７号公報

　車両又は建物の窓等の透明なスクリーンに画像を表示する場合、画像の背景となる環境の明るさやオブジェクトの影響により、画像の視認性が低下するおそれがある。対応策として、窓から入射する光を減らすスモークフィルムや、調光レベルを変化させることが可能な調光フィルムを、スクリーンの全面に設置することが考えられる。この方法によれば、スクリーンの全面が均一に減光又は調光される。このため、画像の視認性を上げるためにスクリーンを調光（減光）すると、スクリーンの背景環境の視認性が悪くなるおそれがある。

　以上のような事情に鑑み、本開示の目的は、透明なスクリーンに表示される画像の視認性と、スクリーンの背景環境の視認性とを、同時に向上することにある。

　本開示の一形態に係る表示調光制御装置は、
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御する調光処理制御部であって、
　　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部と、
　を有する調光処理制御部と、
　を具備する。

　本実施形態によれば、画像が表示されるスクリーン表示位置のみ調光し、スクリーン上の画像が表示されない位置は調光しない。これにより、調光により画像の視認性が向上し、同時に、スクリーンの背景環境の視認性が悪くなることが無い。

　前記背景情報は、前記背景環境の照度の情報である照度情報を含み、
　前記調光レベル決定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの照度情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する。

　本実施形態によれば、背景環境の照度の違い（直射日光の有無等）に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより、画像の一部の背景環境が明るく、画像の他の一部の背景環境が暗いような場合に、明るい部分は調光レベルを高くし（透過率を下げ）、暗い部分は調光レベルを相対的に低くすることができる。調光レベルが適切になることで、必要十分な視認性を確保しつつ、背景視界も良好に保てる。その結果、表示画像の視認性を高めることができ、かつ背景視界をより良好に保つことができる。

　前記調光処理制御部は、前記１以上のタイルそれぞれの視認性を判定する視認性判定部をさらに有し、
　前記調光レベル決定部は、前記視認性に基づき、前記１以上の調光素子毎の調光レベルを独立して決定してもよい。

　本実施形態によれば、画像の視認性に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光することができる。その結果、閲覧者にとって視認性が高い画像を表示できる。

　前記背景情報は、前記背景環境の色の情報である背景色情報を含み、
　前記視認性判定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景色情報と、前記１以上のタイル毎に表示される画像の色の情報である画像色情報とに基づき、前記１以上のタイルそれぞれの視認性を判定してもよい。

　本実施形態によれば、画像の視認性（背景色情報と画像色情報とに基づく色度コントラスト）に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光することができる。調光レベルが適切になることで、必要十分な視認性を確保しつつ、背景視界も良好に保てる。その結果、表示画像の視認性を高めることができ、かつ背景視界をより一層良好に保つことができる。

　前記背景情報は、前記背景環境の輝度の情報である輝度情報を含み、
　前記視認性判定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景輝度情報と、前記１以上のタイル毎に表示される画像の輝度の情報である画像輝度情報とに基づき、前記１以上のタイルそれぞれの視認性を判定してもよい。

　本実施形態によれば、画像の視認性（背景輝度情報と画像輝度情報とに基づく輝度コントラスト）に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光することができる。調光レベルが適切になることで、必要十分な視認性を確保しつつ、背景視界も良好に保てる。その結果、表示画像の視認性を高めることができ、かつ背景視界をより一層良好に保つことができる。

　前記調光処理制御部は、
　前記画像を見る閲覧者の視線を示す情報である視線情報に基づき、前記表示デバイス位置を、前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子に変換するための情報である位置関係情報を生成する位置関係情報生成部をさらに有し、
　前記調光位置決定部は、前記位置関係情報に基づき、前記１以上の調光素子を決定してもよい。

　本実施形態によれば、閲覧者個人の視線位置に基づき、調光の対象となるスクリーン表示位置（画像が表示されるスクリーン上の位置）を決定する。これにより、単に平均的な体格の閲覧者（モデル）の視線位置に基づ調光レベルを制御する１以上の調光素子を決定する場合に比べて、閲覧者が見る画像が調光される可能性が高くなる。

　前記視認性判定部は、前記画像を見る閲覧者の視線を示す情報である視線情報及び前記位置関係情報にさらに基づき、前記視認性を判定してもよい。

　本実施形態によれば、閲覧者個人の視線で画像を見たときの画像の視認性を判定する。閲覧者個人の推定される画像の視認性に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより、単に平均的な体格の閲覧者（モデル）にとっての視認性に応じて調光レベルを決定する場合に比べて、閲覧者個人にとって視認性が高く、表示画像の視認性を高めることができ、かつ背景視界をより一層良好に保つことができる。

　前記視線情報は、前記閲覧者の眼の位置に基づき推定されてもよい。

　本実施形態によれば、閲覧者個人の推定される視線位置に基づき、調光の対象となるスクリーン表示位置（画像が表示されるスクリーン上の位置）を決定する。その結果、閲覧者が見る画像が調光される可能性が高くなる。また、本実施形態によれば、閲覧者個人の推定される視線で画像を見たときの画像の視認性（閲覧者個人の推定される視認性）を判定する。閲覧者個人の推定される画像の視認性に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより、単に平均的な体格の閲覧者（モデル）にとっての視認性に応じて調光レベルを決定する場合に比べて、閲覧者個人にとって視認性が高く、表示画像の視認性を高めることができ、かつ背景視界をより一層良好に保つことができる。

　前記視線情報は、前記閲覧者の眼の位置及び前記閲覧者の視線を動的に計測することにより生成されてもよい。

　本実施形態によれば、動的に変化する閲覧者の視線位置に基づき、調光の対象となるスクリーン表示位置（画像が表示されるスクリーン上の位置）を決定する。その結果、閲覧者の姿勢の変化等により閲覧者の視線が変化した場合でも、常に、閲覧者が見る画像が調光される可能性が高くなる。また、本実施形態によれば、閲覧者個人の一瞬毎に変化する視線で画像を見たときの画像の視認性（閲覧者個人の一瞬毎の視認性）を判定する。閲覧者個人の一瞬毎の画像の視認性に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより閲覧者個人の推定される視線位置に基づく視認性に応じて調光レベルを決定する場合に比べて、閲覧者の姿勢の変化等により閲覧者の視線が変化した場合でも、常に、表示画像の視認性を高めることができ、かつ背景視界をより一層良好に保つことができる。

　前記調光レベル決定部は、前記視線情報に基づき前記閲覧者が前記スクリーン表示位置を見ていないと判定すると、前記スクリーン表示位置に相当する１以上の調光素子の調光を制御しないと決定してもよい。

　本実施形態によれば、閲覧者の姿勢の変化等により一瞬毎に動的に変化する閲覧者のスクリーン上の視点が変化した場合に、閲覧者が見てない位置は調光しない。これにより、スクリーンを不要に調光することが減るため、スクリーンの背景環境（特に、）閲覧者が実際に見ている場所）の視認性が悪くなるおそれが減る。

　前記スクリーンは、自由曲面を有してもよい。

　本実施形態によれば、スクリーンは自由曲面を有するため、目標となる画像を補正せずにスクリーンに表示（投影）すると、表示される画像は閲覧者にとって歪んだ形となる。本実施形態によれば、表示される画像を閲覧者が見るときに画像の歪みが低減されるように、表示デバイス位置を決定すればよい。これにより、閲覧者は歪みが低減された画像を見ることができる。

　前記スクリーンは、車両のフロントウィンドウであってもよい。

　車両のフロントウィンドウは自由曲面を有するため、目標となる画像を補正せずにスクリーンに表示（投影）すると、表示される画像は閲覧者にとって歪んだ形となる。本実施形態によれば、表示される画像を閲覧者が見るときに画像の歪みが低減されるように、表示デバイス位置を決定すればよい。これにより、閲覧者は歪みが低減された画像を見ることができるので、安全性が高い。

　前記表示装置は、前記フロントウィンドウの幅方向全域に前記画像を投影可能な投影装置であってもよい。

　今後の自動運転の進展に伴って、運転席に座る閲覧者及び助手席に座る閲覧者の両方が、幅広で大画面の画像（例えば、インフォテイメントコンテンツの画像）を同時に見るニーズが高まる可能性がある。この場合、運転席に座る閲覧者及び助手席に座る閲覧者の両方にとって見やすい画像を表示することが可能となる。

　前記スクリーンは、車両の窓であってもよい。

　今後の自動運転の進展に伴って、車両の乗員である閲覧者が、幅広で大画面の（フロントウィンドウ全面、さらには左右のサイドウィンドウにも及ぶ）画像（例えば、インフォテイメントコンテンツの画像）を同時に見るニーズが高まる可能性がある。この場合、閲覧者の両方にとって見やすい画像を表示することが可能となる。

　本開示の一形態に係る表示調光制御方法は、
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定し、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御し、
　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定し、
　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する。

　本開示の一形態に係る非一過性のコンピュータ読み取り可能な記録媒体は、
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御する調光処理制御部と、
　を有する表示調光制御装置の前記調光処理制御部を、
　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部
　として動作させる表示調光制御プログラムを記録する。

　本開示の一形態に係る表示調光システムは、
　表示デバイスを有し、透明なスクリーンに画像を表示する表示装置と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置と、
　　前記表示装置から前記スクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　　　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　　　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部と、
　　を有し、前記調光装置を制御する調光処理制御部と、
　を有する表示調光制御装置と、
　を具備する。

ヘッドアップディスプレイシステムを模式的に示す。本開示の各実施形態に係るスクリーン及び調光素子を模式的に示す。本開示の第１の実施形態に係る表示調光システムの構成を示す。表示調光システムの動作フローを示す。調光判定部の機能的構成を示す。本開示の第２の実施形態に係る表示調光システムの構成を示す。表示調光制御方法を模式的に示す。表示調光システムの動作フローを示す。調光判定部の機能的構成を示す。調光レベル決定部の処理を模式的に示す。本開示の第３の実施形態に係る表示調光システムの構成を示す。表示調光システムの動作フローを示す。位置関係情報決定部の機能的構成を示す。調光判定部の機能的構成を示す。本開示の第４の実施形態に係る表示調光システムの構成を示す。表示調光システムの動作フローを示す。位置関係情報決定部の機能的構成を示す。調光判定部の機能的構成を示す。

　以下、図面を参照しながら、本開示の実施形態を説明する。

　Ｉ．第１の実施形態

　１．ヘッドアップディスプレイシステムの概要

　図１は、ヘッドアップディスプレイシステムを模式的に示す。

　本開示の各実施形態は、車両に搭載されるヘッドアップディスプレイシステムに関する。表示装置２０は、直接投影形式であり、ダッシュボードＤＢに設置される。表示装置２０が出射する画像光がスクリーンであるフロントウィンドウＷＳに反射することにより、フロントウィンドウＷＳに画像（虚像）が表示される。閲覧者（運転者等の乗員）は、フロントウィンドウＷＳに表示（投影）された画像を見る。車両のフロントウィンドウＷＳは、透明であり、自由曲面を有する。

　典型的には、スクリーンは、車両のフロントウィンドウＷＳであるが、これに限定されない。スクリーンは、フロントウィンドウＷＳ以外の車両の窓（サイドウィンドウ、リアウィンドウ、ルーフウィンドウ等）でもよい。スクリーンは、透明であればよく、建物の窓、車両以外の乗り物の窓等でもよい。さらには、スクリーンは、フロントウィンドウＷＳ全域及び左右のサイドウィンドウに亘る領域であってもよい。

　今後の自動運転の進展に伴って、運転席に座る閲覧者及び助手席に座る閲覧者の両方が、フロントウィンドウに表示された幅広で大画面の（フロントウィンドウ全面、さらには左右のサイドウィンドウにも及ぶ）画像（例えば、インフォテイメントコンテンツの画像）を同時に見るニーズが高まる可能性がある。画像の視認性を上げるためにスモークフィルムを設置する等してフロントウィンドウ全体を調光（減光）すると、フロントウィンドウの背景環境（車両の前方の車外環境）の視認性が悪くなるおそれがある。一方、車両のフロントウィンドウは、車外環境の安全確認のため高い視認性が求められる。フロントウィンドウの背景環境の視認性を下げないような調光レベルでフロントウィンドウ全体を調光すると、今度は、画像の視認性が悪くなるおそれがある。

　以上のような事情に鑑み、本開示の各実施形態は、フロントウィンドウ（スクリーン）上の画像が表示される表示位置のみを調光するヘッドアップディスプレイシステムを実現する。

　２．スクリーン及び調光素子の概要

　図２は、本開示の各実施形態に係るスクリーン及び調光素子を模式的に示す。

　表示装置２０（図１）は、透明なスクリーンであるフロントウィンドウＷＳのほぼ全面である表示エリアＷＳ１に画像を表示（投影）可能である。表示エリアＷＳ１の全域を覆うように、フロントウィンドウＷＳに複数の調光素子４２０が隙間無く設置される。

　複数の調光素子４２０は、それぞれ独立して調光レベルを可変である。これにより、調光素子４２０は、フロントウィンドウＷＳの調光レベルを、フロントウィンドウＷＳを仮想的に分割した複数のタイル毎に独立して制御することが可能である。各調光素子４２０のサイズは限定されず、例えば、数センチメートル角でよい。調光素子４２０は、例えば、ゲストホスト型液晶フィルム、高分子分散型液晶（ＰＤＬＣ：Polymer Dispersed Liquid Crystal）フィルム、浮遊粒子デバイス（ＳＰＤ：Suspended Particle Device）フィルム等により実現可能である。

　なお、便宜的に、フロントウィンドウＷＳ及び表示エリアＷＳ１を長方形、調光素子４２０を正方形で示す。しかしながら、フロントウィンドウＷＳは自由曲面を有し、車種により異なる形状を有する。表示エリアＷＳ１の形状は、フロントウィンドウＷＳの形状に依存する。調光素子４２０の形状及び配置も、フロントウィンドウＷＳの形状に依存する。調光素子４２０の形状及び配置は、実際のフロントウィンドウＷＳの形状に合わせてタイリングし易い如何なる形状及び配置でもよい。

　３．表示調光システムの構成

　図３は、本開示の第１の実施形態に係る表示調光システムの構成を示す。

　表示調光システム１は、車両に搭載されるヘッドアップディスプレイシステムである。表示調光システム１は、表示調光制御装置１０と、表示装置２０と、調光装置４０とを有する。表示調光制御装置１０は、表示画像生成部１００と、調光制御部２００とを有する。

　表示画像生成部１００は、コンテンツ生成システム３０からコンテンツ（例えば、安全関係コンテンツ、ナビゲーションコンテンツ、インフォテイメントコンテンツ、速度等の車両情報コンテンツ等）のデータ（画像、メタデータ）を取得する。表示調光制御装置１０は、ＲＯＭに記録された表示制御プログラムをＲＡＭにロードしてＣＰＵが実行することにより、コンテンツ取得部１１０、歪補正処理部１２０及びコンテンツ出力部１３０を実現する。表示調光制御装置１０は、コンテンツの画像を取得し（コンテンツ取得部１１０）、閲覧者が画像を見るときに歪みが低減されるように補正した画像の描画データを生成し（歪補正処理部１２０）、描画データを表示装置２０に出力する（コンテンツ出力部１３０）。

　表示装置２０は、例えば、車両のダッシュボードに設置される。表示装置２０は、表示デバイス制御部２１と、表示デバイス２２とを有する。表示デバイス２２は、例えば、マイクロＬＥＤパネル等の、微細なＬＥＤ素子を光源とする。表示デバイス制御部２１は、表示デバイス２２を制御して、表示調光制御装置１０から入力された描画データに基づき、透明なスクリーンである車両のフロントウィンドウに向けて画像を表示（投影）する。閲覧者は、表示デバイス２２から表示（投影）され、フロントウィンドウに反射する画像を見る。表示デバイス２２（マイクロＬＥＤパネル等）は、例えば、ダッシュボードの幅方向全域／幅方向ほぼ全域に亘って設置される。これにより、フロントウィンドウの幅方向全域／幅方向ほぼ全域に亘って画像が表示される。表示デバイス２２は、ダッシュボードの幅方向全域／幅方向ほぼ全域に亘って連続する１個のパネルでもよいし、ダッシュボードの幅方向に分割された複数のパネルを有してもよい。
　ここでは、表示装置は、表示デバイス（ＬＣＤ（Liquid Crystal Display）、有機ＬＥＤ（Light Emitting Diode）ディスプレイ、マイクロＬＥＤディスプレイ、等）を用いたシステムで、歪補正レンズや歪補正用ミラーを用いずに、表示パネルからの光を直接スクリーンに表示（／照射）する表示装置である。
　また、表示装置は歪補正レンズや歪補正用ミラーとプロジェクタを用いた表示装置でもよい。

　コンテンツ生成システム３０は、表示装置２０に表示される画像のコンテンツを生成する互いに独立した複数の装置の総称である。コンテンツ生成システム３０は、例えば、安全関係コンテンツ生成装置、ナビゲーション装置、インフォテイメント装置及び車両情報生成装置を含む。安全関係コンテンツ生成装置、ナビゲーション装置、インフォテイメント装置及び車両情報生成装置は、それぞれ、コンテンツのデータ（画像、メタデータ）を生成し、表示調光制御装置１０に出力する。

　調光装置４０は、複数の調光素子４２０を有する。複数の調光素子４２０は、図２に示す構成を有し、フロントウィンドウを覆うように隙間無く設置される。複数の調光素子４２０は、それぞれ独立して調光レベルを可変である。これにより、調光素子４２０は、フロントウィンドウの調光レベルを、フロントウィンドウを仮想的に分割した複数のタイル毎に独立して制御することが可能である。

　調光制御部２００は、ＲＯＭに記録された表示制御プログラムをＲＡＭにロードしてＣＰＵが実行することにより、背景情報取得部２１０、調光判定部２２０及び調光情報出力部２３０を実現する。調光制御部２００は、照度センサ５１から、フロントウィンドウの背景環境（車両の前方の車外環境）の照度の情報（照度情報）を取得し（背景情報取得部２１０）、照度情報に基づき、複数の調光素子４２０毎の調光レベルを独立して決定し（調光判定部２２０）、複数の調光素子４２０毎の調光レベルを調光装置４０に出力する（調光情報出力部２３０）。

　４．表示調光システムの動作

　図４は、表示調光システムの動作フローを示す。

　（１）ステップＳ１００：表示画像生成処理

　表示調光システムの動作フロー１Ｆにおいて、表示画像生成部１００のコンテンツ取得部１１０は、コンテンツ生成システム３０が生成したコンテンツの画像データを取得する（ステップＳ１１０）。

　表示画像生成部１００の歪補正処理部１２０は、フロントウィンドウに表示される画像を閲覧者が見るときに画像の歪みが低減されるように、画像を補正する。具体的には、歪補正処理部１２０は、表示装置２０からフロントウィンドウにコンテンツの画像（目標とする形状の画像）を表示するために、画像光を出射する表示デバイス（マイクロＬＥＤ）の位置（表示デバイス位置）を決定する。歪補正処理部１２０は、決定した表示デバイス位置に基づきコンテンツの画像を描画することにより、補正画像描画データを生成する（ステップＳ１２０）。

　表示画像生成部１００のコンテンツ出力部１３０は、歪補正処理部１２０が生成した補正画像描画データを、表示装置２０に出力する（ステップＳ１３０）。

　（２）ステップＳ２００：調光制御処理

　調光制御部２００の調光判定部２２０は、表示画像生成部１００から、表示コンテンツ情報１２１を取得する。表示コンテンツ情報１２１は、コンテンツ生成システム３０が生成したコンテンツの画像データと、歪補正処理部１２０が生成した表示デバイス位置とを含む（ステップＳ２１０）。

　調光制御部２００の背景情報取得部２１０は、フロントウィンドウ（スクリーン）の背景環境の情報（背景情報）を取得する（ステップＳ２２０）。具体的には、背景情報取得部２１０は、背景情報として、照度センサ５１から照度情報２１１を取得する。照度情報２１１は、背景環境の照度を示す。

　図５は、調光判定部の機能的構成を示す。

　調光判定部２２０の位置関係情報格納部２２１は、位置関係情報２０１を格納する。位置関係情報２０１は、表示デバイス位置２０２（マイクロＬＥＤの座標）を、調光素子４２０の位置２０３（座標）に変換するための情報である。位置関係情報２０１は、例えば、ルックアップテーブル、変換関数等でよい。

　表示デバイス位置２０２（マイクロＬＥＤの座標）を調光素子位置２０３に変換可能である理由を説明する。表示デバイス位置２０２からスクリーンに出射される画像光を、平均的な体格の閲覧者（運転者等）が平均的な眼の位置から見ると仮定する。眼の位置が一義的に決まると、表示デバイス位置２０２に対応して、画像がスクリーン上に表示される位置（スクリーン表示位置）が一義的に決まる（予め算出しておく）。スクリーンは、複数の調光素子４２０に覆われており、即ち、複数の調光素子４２０により複数のタイルに仮想的に分割されている（図２）。このため、スクリーン上のスクリーン表示位置が決まると、このスクリーン表示位置を含むタイル（スクリーンが仮想的に分割されたタイル）が一義的に決まる。タイルが決まると、このタイルを調光する調光素子４２０が一義的に決まる。

　調光判定部２２０の調光位置決定部２２２は、位置関係情報格納部２２１の位置関係情報２０１を参照し、調光レベルを制御する１以上の調光素子４２０を決定する（ステップＳ２３１）。具体的には、調光位置決定部２２２は、位置関係情報２０１を参照し、この表示デバイス位置２０２（表示画像生成部１００から取得した表示コンテンツ情報１２１に含まれる）を調光素子位置２０３に変換する。これにより、調光位置決定部２２２は、表示デバイス位置から出射される画像光によりが表示されるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子４２０を決定する。要するに、調光位置決定部２２２は、画像が表示されるスクリーン表示位置を覆う調光素子４２０のみを調光レベルの制御対象として決定し、スクリーン上の画像が表示されない位置を覆う調光素子４２０は、調光レベルの制御対象としない（調光しない）。

　調光判定部２２０の調光レベル決定部２２３は、背景情報取得部２１０から照度情報２１１を取得し、調光位置決定部２２２から調光レベルを制御する１以上の調光素子４２０の位置情報を取得する。調光レベル決定部２２３は、調光素子４２０に対応するタイルそれぞれの背景情報（照度情報２１１）に基づき、調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３２）。例えば、調光レベル決定部２２３は、スクリーンを仮想的に分割したタイルのうち一部のタイルの背景環境の照度が強い（直射日光が部分的にスクリーンに当たる等）場合、そのタイルを覆う調光素子４２０の調光レベルを高くする（透過率を下げる）ように、調光素子４２０毎の調光レベルを独立して決定する。

　調光制御部２００の調光判定部２２０は、以上のように、複数の調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３０）。調光情報出力部２３０は、複数の調光素子４２０毎の調光レベルを調光装置４０に出力する（ステップＳ２４０）。

　（３）ステップＳ３００：コンテンツ画像表示

　表示装置２０は、表示調光制御装置１０の表示画像生成部１００から入力された補正画像描画データ（ステップＳ１３０）を取得する。表示デバイス制御部２１は、表示デバイス２２を制御して、描画データに基づき、スクリーンである車両のフロントウィンドウに向けて画像を表示（投影）する。

　調光装置４０は、表示調光制御装置１０の調光制御部２００から入力された複数の調光素子４２０毎の調光レベル（ステップＳ２４０）を取得する。調光素子制御部４１０は、調光素子４２０毎の調光レベルに基づき、複数の調光素子４２０を独立して制御して、調光素子４２０毎に調光率（透過率）を変化させる。

　以上のように、第１の実施形態によれば、平均的な体格の閲覧者（運転者等）が平均的な眼の位置からスクリーンを見ると仮定したときに、画像が表示されるスクリーン表示位置のみ調光し、スクリーン上の画像が表示されない位置は調光しない。これにより、調光により画像の視認性が向上し、同時に、スクリーンの背景環境の視認性が悪くなることが無い。さらに、第１の実施形態によれば、背景環境の照度の違い（直射日光の有無等）に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより、画像の一部の背景環境が明るく、画像の他の一部の背景環境が暗いような場合に、明るい部分は調光レベルを高くし（透過率を下げ）、暗い部分は調光レベルを相対的に低くすることができる。その結果、表示された画像の照度や濃度等が均一に近くなる。調光レベルが適切になることで、必要十分な視認性を確保しつつ、背景視界も良好に保てる。その結果、表示画像の視認性を高めることができ、かつ背景視界をより良好に保つことができる。

　ＩＩ．第２の実施形態

　以下、既に説明した構成及び動作等と同様の構成及び動作等は説明及び図示を省略し、異なる点を中心に説明及び図示する。

　１．表示調光システムの構成

　図６は、本開示の第２の実施形態に係る表示調光システムの構成を示す。

　表示調光システム２の背景情報取得部２１０は、フロントカメラ５２から外部画像を取得する。調光制御部２００は、視線情報格納部２４０を有する。以上の構成を除き、表示調光システム２の構成は、第１の実施形態の表示調光システム１の構成と同様である。

　図７は、表示調光制御方法を模式的に示す。

　背景情報取得部２１０は、フロントカメラ５２（車両の前方の車外環境を撮影するカメラ）が撮影した外部画像２１２を取得する。外部画像２１２は、フロントウィンドウＷＳ（スクリーン）の背景環境（車両の前方の車外環境）の画像である。調光判定部２２０は、スクリーンの背景環境の情報（背景情報）として、外部画像２１２に含まれる背景環境の色の情報（背景色情報）及び背景環境の輝度の情報（背景輝度情報）にさらに基づき、調光素子４２０毎の調光レベルを決定する。

　２．表示調光システムの動作

　図８は、表示調光システムの動作フローを示す。

　表示調光システムの動作フロー２Ｆが第１の実施形態の表示調光システムの動作フロー１Ｆ（図４）と異なる点は、調光制御処理（ステップＳ２００）の具体的な方法である。以下、調光制御処理を説明する。

　調光制御部２００の調光判定部２２０は、表示画像生成部１００から、表示コンテンツ情報１２１（画像データ、表示デバイス位置）を取得する（ステップＳ２１０。第１の実施形態と同じ）。

　調光制御部２００の背景情報取得部２１０は、フロントウィンドウ（スクリーン）の背景環境の情報（背景情報）を取得する（ステップＳ２２０）。具体的には、背景情報取得部２１０は、背景情報として、照度センサ５１から照度情報２１１を取得する。背景情報取得部２１０は、さらに、フロントカメラ５２から外部画像２１２を取得する。外部画像２１２は、スクリーンの背景環境（車両の前方の車外環境）の画像である。

　図９は、調光判定部の機能的構成を示す。

　調光判定部２２０の視線情報格納部２４０は、視線モデル情報と、位置関係情報２０１とを格納する。位置関係情報２０１は、表示デバイス位置２０２を、調光素子位置２０３に変換するための情報である（第１の実施形態と同じ）。

　調光判定部２２０の調光位置決定部２２２は、視線情報格納部２４０を参照し、視線モデル情報を取得する（ステップＳ２５０）。視線モデル情報は、表示デバイス位置２０２からスクリーンに出射される画像光を、平均的な体格の閲覧者（運転者等）が平均的な眼の位置から見ると仮定したときの、閲覧者の視線を示す情報である。

　調光判定部２２０の調光位置決定部２２２は、視線情報格納部２４０の位置関係情報２０１を参照し、表示デバイス位置２０２（表示画像生成部１００から取得した表示コンテンツ情報１２１に含まれる）を調光素子位置２０３に変換する。これにより、調光位置決定部２２２は、調光レベルを制御する１以上の調光素子４２０を決定する（ステップＳ２３１）。

　調光判定部２２０の視認性判定部２２４は、スクリーンに表示される画像の視認性を判定する。具体的には、視認性判定部２２４は、スクリーンに表示される画像のタイル（スクリーンが仮想的に分割されたタイル）毎の視認性を判定する（ステップＳ２３３）。視認性判定部２２４は、表示コンテンツ情報１２１（コンテンツの画像データ、表示デバイス位置）と、外部画像２１２と、視線モデル情報及び位置関係情報２０１とを取得する。視認性判定部２２４は、位置関係情報２０１に基づくスクリーン表示位置に表示された画像を、視線モデル情報に基づく視線で閲覧者が見たときの、画像の視認性を判定する。視認性判定部２２４は、外部画像２１２から、スクリーン表示位置に相当するタイルそれぞれの、背景色情報（タイル毎の背景環境の色）及び背景輝度情報（タイル毎の背景環境の輝度）を決定する。視認性判定部２２４は、スクリーン表示位置に相当するタイルそれぞれに表示されるコンテンツの画像の色の情報（画像色情報）及び輝度の情報（画像輝度情報）を決定する。視認性判定部２２４は、タイル毎の画像の視認性として、タイル毎の背景色情報と画像色情報とのコントラスト（色度コントラスト）及びタイル毎の背景輝度情報と画像輝度情報とのコントラスト（輝度コントラスト）を判定する。具体的には、「色度コントラスト＝画像色度／背景環境の色度」として算出できる。同様に、「輝度コントラスト＝画像輝度／背景環境の輝度」として算出できる。

　調光判定部２２０の調光レベル決定部２２３は、背景情報取得部２１０から照度情報２１１を取得し、視認性判定部２２４からタイル毎の視認性情報（色度コントラスト、輝度コントラスト）を取得し、調光位置決定部２２２から調光レベルを制御する１以上の調光素子４２０の位置情報を取得する。調光レベル決定部２２３は、調光素子４２０に対応するタイルそれぞれの背景情報（照度情報２１１）及び視認性情報（色度コントラスト、輝度コントラスト）に基づき、調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３２）。

　例えば、調光レベル決定部２２３は、背景の照度のレベルが低い（暗い）場合は、原則調光しないが、表示される画像の色が暗い（輝度コントラストが小さい）場合は調光すると判断し、タイル毎に調光レベルを決定すればよい。調光レベル決定部２２３は、背景の照度のレベルが中くらいの場合は調光しないが、外部画像２１２の色と画像の色が類似する（色度コントラストが小さい）場合は、調光すると判断し、タイル毎に調光レベルを決定すればよい。調光レベル決定部２２３は、背景の照度のレベルが高い（明るい）場合は、原則調光すると判断し、タイル毎に調光レベルを決定すればよい。

　図１０は、調光レベル決定部の処理を模式的に示す。

　例えば、調光レベル決定部２２３は、輝度コントラスト（表示される画像の輝度／背景環境の輝度）が所定の閾値以下である場合は、調光を行うと判断し、背景の照度（外交照度）に応じて調光の有無及び調光レベルを決定すればよい。

　調光制御部２００の調光判定部２２０は、以上のように、複数の調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３０）。調光情報出力部２３０は、複数の調光素子４２０毎の調光レベルを調光装置４０に出力する（ステップＳ２４０。第１の実施形態と同じ）。

　以上のように、第２の実施形態によれば、閲覧者の平均的な視線位置に基づく画像の視認性（色度コントラスト、輝度コントラスト）を判定する。背景環境の照度の違い（直射日光の有無等）に加えて、画像の視認性に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより、視認性に応じて、画像の色度や輝度が背景環境の色度や輝度と近い（コントラストが小さい）部分は調光レベルを高くし（透過率を下げ）、画像の色度や輝度と背景環境の色度や輝度との差が大きい（コントラストが大きい）部分は調光レベルを相対的に低くすることができる。これにより、画像の色度や輝度に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光することができる。その結果、表示された画像の照度や濃度等が均一に益々近くなる。調光レベルが適切になることで、必要十分な視認性を確保しつつ、背景視界も良好に保てる。その結果、表示画像の視認性を高めることができ、かつ背景視界をより良好に保つことができる。

　ＩＩＩ．第３の実施形態

　１．表示調光システムの構成

　図１１は、本開示の第３の実施形態に係る表示調光システムの構成を示す。

　表示調光システム３の調光制御部２００は、視線情報格納部２４０を有さず、代わりに、視線情報取得部２５０と、位置関係情報決定部２６０とを有する。

　車室内モニタリングカメラ５３は、例えば、車両のダッシュボードに設置される。車室内モニタリングカメラ５３は、画像を見る閲覧者（典型的には、運転者）を撮影し、撮影画像データを視線情報生成部５４に出力する。

　視線情報生成部５４は、車室内モニタリングカメラ５３から撮影画像データを取得する。視線情報生成部５４は、撮影画像データに基づき、閲覧者の視線情報２５１を生成する。視線情報２５１は、閲覧者の眼の位置に基づき一義的に推定される閲覧者の視線を示す。言い換えれば、視線情報２５１は、閲覧者の眼の位置及び閲覧者の視線を動的に計測することにより生成されたものではない。視線情報生成部５４は、専用のハードウェアリソース及びソフトウェアリソースにより実現されてもよい。あるいは、視線情報生成部５４は、調光制御部２００がＲＯＭに記録された表示制御プログラムをＲＡＭにロードしてＣＰＵが実行することにより実現されてもよい。

　視線情報取得部２５０は、視線情報生成部５４が生成した視線情報２５１（一義的に推定される閲覧者の視線）を取得する。

　位置関係情報決定部２６０は、視線情報２５１に基づき、位置関係情報を生成する。第１の実施形態及び第２の実施形態では、平均的な閲覧者の視線に基づく１個の位置関係情報２０１を常に使用した。これに対して、第３の実施形態では、位置関係情報決定部２６０は、閲覧者個人の視線情報２５１に基づき、位置関係情報を生成する。

　以上の構成を除き、表示調光システム３の構成は、第２の実施形態の表示調光システム２の構成と同様である。

　２．表示調光システムの動作

　図１２は、表示調光システムの動作フローを示す。

　表示調光システムの動作フロー３Ｆが第２の実施形態の表示調光システムの動作フロー２Ｆ（図８）と異なる点は、調光制御処理（ステップＳ２００）の具体的な方法である。以下、調光制御処理を説明する。

　調光制御部２００の調光判定部２２０は、表示画像生成部１００から、表示コンテンツ情報１２１（画像データ、表示デバイス位置）を取得する（ステップＳ２１０。第２の実施形態と同じ）。

　調光制御部２００の背景情報取得部２１０は、フロントウィンドウ（スクリーン）の背景環境の情報（背景情報）を取得する（ステップＳ２２０。第２の実施形態と同じ）。具体的には、背景情報取得部２１０は、背景情報として、照度センサ５１から照度情報２１１を取得する。背景情報取得部２１０は、さらに、フロントカメラ５２から外部画像２１２を取得する。

　視線情報取得部２５０は、視線情報生成部５４が生成した視線情報２５１（一義的に推定される閲覧者の視線）を取得する（ステップＳ２５０）。

　図１３は、位置関係情報決定部の機能的構成を示す。

　位置関係情報決定部２６０の参照情報格納部２６１は、参照情報を格納する。参照情報は、位置関係情報（第１の実施形態の位置関係情報２０１のように、表示デバイス位置２０２を、調光素子の位置２０３に変換するための情報）を生成するために用いられる情報である。参照情報の第１の例として、参照情報格納部２６１は、異なる視線情報（視線のバリエーション）にそれぞれ対応する、複数の位置関係情報２０１（図５のルックアップテーブルと同じ形式）を格納する。例えば、参照情報格納部２６１は、閲覧者の席の違いや閲覧者の体格の違いに応じて、異なる複数の位置関係情報２０１を格納すればよい。具体的には、参照情報格納部２６１は、運転席又は助手席に座った閲覧者の異なる眼の位置に応じた異なる視線情報にそれぞれ対応する、３×３×３（高さ×前後×左右）＝２７個の位置関係情報２０１を格納すればよい。左右の３箇所の位置は、運転席、助手席、及び運転席と助手席の中央（運転席の閲覧者と助手席の閲覧者の２人が画像を見る場合の仮想的な閲覧者位置）でよい。参照情報の第２の例として、参照情報格納部２６１は、表示デバイス位置２０２（マイクロＬＥＤの座標）を、３次元空間（スクリーンの曲面）における調光素子位置２０３（座標）に変換するための位置関係情報を格納すればよい。

　位置関係情報決定部２６０の位置関係情報生成部２６２は、視線情報２５１（一義的に推定される閲覧者の視線）と、参照情報格納部２６１に格納された参照情報とに基づき、位置関係情報２６３（第１の実施形態の位置関係情報２０１のように、表示デバイス位置２０２を、調光素子の位置２０３に変換するための情報）を生成する（ステップＳ２６０）。上記第１の例の場合、位置関係情報生成部２６２は、２７個の位置関係情報２０１から、視線情報２５１に最も近い１個の位置関係情報２０１を読み出すことにより、位置関係情報２６３を決定すればよい。位置関係情報生成部２６２は、視線情報２５１に近い位置関係情報２０１が無い場合、複数の位置関係情報２０１を使用して、距離による重みづけ平均により、位置関係情報２６３を生成すればよい。上記第２の例の場合、位置関係情報生成部２６２は、視線情報２５１及び３次元空間（スクリーンの曲面）における調光素子位置２０３（座標）に応じて、表示デバイス位置２０２を、調光素子位置２０３に変換するための位置関係情報２６３を生成すればよい。

　図１４は、調光判定部の機能的構成を示す。

　調光判定部２２０の調光位置決定部２２２は、位置関係情報決定部２６０の位置関係情報生成部２６２が生成した位置関係情報２６３を取得する。調光位置決定部２２２は、位置関係情報２６３を参照し、表示デバイス位置２０２（表示画像生成部１００から取得した表示コンテンツ情報１２１に含まれる）を調光素子位置２０３に変換する。これにより、調光位置決定部２２２は、調光レベルを制御する１以上の調光素子４２０を決定する（ステップＳ２３１）。

　調光判定部２２０の視認性判定部２２４は、スクリーンに表示される画像の視認性を判定する。具体的には、視認性判定部２２４は、スクリーンに表示される画像のタイル（スクリーンが仮想的に分割されたタイル）毎の視認性を判定する（ステップＳ２３３）。視認性判定部２２４は、表示コンテンツ情報１２１（コンテンツの画像データ、表示デバイス位置）と、外部画像２１２と、視線情報２５１と、位置関係情報２６３とを取得する。視認性判定部２２４は、位置関係情報２６３に基づくスクリーン表示位置に表示された画像を、視線情報２５１に基づく視線で閲覧者が見たときの、画像の視認性（色度コントラスト、輝度コントラスト）を判定する。

　調光判定部２２０の調光レベル決定部２２３は、背景情報取得部２１０から照度情報２１１を取得し、視認性判定部２２４からタイル毎の視認性情報（色度コントラスト、輝度コントラスト）を取得し、調光位置決定部２２２から調光レベルを制御する１以上の調光素子４２０の位置情報を取得する。調光レベル決定部２２３は、調光素子４２０に対応するタイルそれぞれの背景情報（照度情報２１１）及び視認性情報（色度コントラスト、輝度コントラスト）に基づき、調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３２。第２の実施形態と同じ）。

　調光制御部２００の調光判定部２２０は、以上のように、複数の調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３０）。調光情報出力部２３０は、複数の調光素子４２０毎の調光レベルを調光装置４０に出力する（ステップＳ２４０。第２の実施形態と同じ）。

　以上のように、第３の実施形態によれば、閲覧者個人の推定される視線位置に基づき、調光の対象となるスクリーン表示位置（画像が表示されるスクリーン上の位置）を決定する。その結果、閲覧者が見る画像が調光される可能性が高くなる。また、第３の実施形態によれば、閲覧者個人の推定される視線で画像を見たときの画像の視認性（閲覧者個人の推定される視認性）を判定する。閲覧者個人の推定される画像の視認性に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより、単に平均的な体格の閲覧者（モデル）にとっての視認性に応じて調光レベルを決定する場合に比べて、閲覧者個人にとって表示画像の視認性を高めることができ、かつ背景視界をより良好に保つことができる。

　ＩＶ．第４の実施形態

　１．表示調光システムの構成

　図１５は、本開示の第４の実施形態に係る表示調光システムの構成を示す。

　視線情報生成部５４は、車室内モニタリングカメラ５３からの撮影画像データに基づき、閲覧者の視線情報２５２を生成する。視線情報２５２は、閲覧者の眼の位置及び閲覧者の視線を動的に計測することにより生成された閲覧者の視線を示す。言い換えれば、視線情報２５２は、視線情報２５１（一義的に推定される閲覧者の視線）と異なり、一瞬毎に動的に変化する閲覧者の視線である。視線情報生成部５４は、さらに、閲覧者の視線情報２５２に基づき、視点位置情報２５３を生成する。視点位置情報２５３は、一瞬毎に動的に変化する閲覧者のスクリーン上の視点を示す。

　位置関係情報決定部２６０は、視線情報２５２（動的に変化する閲覧者の視線）に基づき、位置関係情２６４報を生成する。第３の実施形態では、位置関係情報決定部２６０は、視線情報２５１（一義的に推定される閲覧者の視線）に基づき、位置関係情報２６３を生成した。これに対して、第４の実施形態では、位置関係情報決定部２６０は、視線情報２５２（動的に変化する閲覧者の視線）に基づき、位置関係情報２６４を生成する。

　以上の構成を除き、表示調光システム４の構成は、第３の実施形態の表示調光システム３の構成と同様である。

　２．表示調光システムの動作

　図１６は、表示調光システムの動作フローを示す。

　表示調光システムの動作フロー４Ｆが第３の実施形態の表示調光システムの動作フロー３Ｆ（図１２）と異なる点は、調光制御処理（ステップＳ２００）の具体的な方法である。以下、調光制御処理を説明する。

　調光制御部２００の調光判定部２２０は、表示画像生成部１００から、表示コンテンツ情報１２１（画像データ、表示デバイス位置）を取得する（ステップＳ２１０。第３の実施形態と同じ）。

　調光制御部２００の背景情報取得部２１０は、フロントウィンドウ（スクリーン）の背景環境の情報（背景情報）を取得する（ステップＳ２２０。第３の実施形態と同じ）。具体的には、背景情報取得部２１０は、背景情報として、照度センサ５１から照度情報２１１を取得する。背景情報取得部２１０は、さらに、フロントカメラ５２から外部画像２１２を取得する。

　視線情報取得部２５０は、視線情報生成部５４が生成した視線情報２５２（動的に変化する閲覧者の視線）を取得する（ステップＳ２５０）。

　図１７は、位置関係情報決定部の機能的構成を示す。

　位置関係情報決定部２６０の位置関係情報生成部２６２は、視線情報２５２（動的に変化する閲覧者の視線）と、参照情報格納部２６１に格納された参照情報（第３の実施形態と同じ参照情報）とに基づき、位置関係情報２６４（表示デバイス位置２０２を、調光素子の位置２０３に変換するための情報。第３の実施形態の位置関係情報２６３と同じ）を生成する（ステップＳ２６０）。

　第３の実施形態では、位置関係情報生成部２６２は、視線情報２５１（一義的に推定される閲覧者の視線）に基づき、１個の位置関係情報２６３を生成した。これに対して、第４の実施形態では、位置関係情報生成部２６２は、視線情報２５２（動的に変化する閲覧者の視線）に基づき、一瞬毎に、位置関係情報２６４を生成する。言い換えれば、閲覧者の姿勢の変化等により視線情報２５２（閲覧者の視線）が変化すると、異なる位置関係情報２６４が生成される。

　図１８は、調光判定部の機能的構成を示す。

　調光判定部２２０の調光位置決定部２２２は、位置関係情報決定部２６０の位置関係情報生成部２６２が生成した位置関係情報２６４（動的に変化する閲覧者の視線に応じて異なる）を取得する。調光位置決定部２２２は、位置関係情報２６４を参照し、表示デバイス位置２０２（表示画像生成部１００から取得した表示コンテンツ情報１２１に含まれる）を調光素子位置２０３に変換する。これにより、調光位置決定部２２２は、調光レベルを制御する１以上の調光素子４２０を決定する（ステップＳ２３１）。

　第３の実施形態では、調光位置決定部２２２は、１個の位置関係情報２６３に基づき、調光レベルを制御する１以上の調光素子４２０を決定した。これに対して、第４の実施形態では、位置関係情報生成部２６２は、位置関係情報２６４（動的に変化する閲覧者の視線に応じて異なる）に基づき、一瞬毎に、調光レベルを制御する１以上の調光素子４２０を決定する。言い換えれば、閲覧者の姿勢の変化等により視線情報２５２（閲覧者の視線）が変化すると、異なる調光レベルを制御する１以上の調光素子４２０が決定される。

　調光判定部２２０の視認性判定部２２４は、スクリーンに表示される画像の視認性を判定する。具体的には、視認性判定部２２４は、スクリーンに表示される画像のタイル（スクリーンが仮想的に分割されたタイル）毎の視認性を判定する（ステップＳ２３３）。視認性判定部２２４は、表示コンテンツ情報１２１（コンテンツの画像データ、表示デバイス位置）と、外部画像２１２と、視線情報２５２（動的に変化する閲覧者の視線）と、位置関係情報２６４（動的に変化する閲覧者の視線に応じて異なる）とを取得する。視認性判定部２２４は、位置関係情報２６４に基づくスクリーン表示位置に表示された画像を、視線情報２５２に基づく視線で閲覧者が見たときの、画像の視認性（色度コントラスト、輝度コントラスト）を判定する。

　調光判定部２２０の調光レベル決定部２２３は、背景情報取得部２１０から照度情報２１１を取得し、視認性判定部２２４からタイル毎の視認性情報（色度コントラスト、輝度コントラスト）を取得し、調光位置決定部２２２から調光レベルを制御する１以上の調光素子４２０の位置情報を取得する。調光判定部２２０の調光レベル決定部２２３は、さらに、視線情報取得部２５０から視点位置情報２５３を取得する。

　調光レベル決定部２２３は、視点位置情報２５３（一瞬毎に動的に変化する閲覧者のスクリーン上の視点）に基づき、調光レベルを制御する１以上の調光素子４２０に相当するタイル（スクリーンが仮想的に分割されたタイル）を、閲覧者が現在見ているかどうかを判定する。

　調光レベル決定部２２３は、調光レベルを制御する１以上の調光素子４２０に相当するタイルを閲覧者が見ていると判定すると、この１以上の調光素子４２０の調光レベルを決定する。調光レベル決定部２２３は、調光素子４２０に対応するタイルそれぞれの背景情報（照度情報２１１）及び視認性情報（色度コントラスト、輝度コントラスト）に基づき、調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３２）。

　一方、調光レベル決定部２２３は、閲覧者の姿勢の変化等により視点位置情報２５３（一瞬毎に動的に変化する閲覧者のスクリーン上の視点）が変化した場合に、調光レベルを制御する１以上の調光素子４２０に相当するタイルを閲覧者が見てないと判定すると、この１以上の調光素子４２０を調光しない。

　調光制御部２００の調光判定部２２０は、以上のように、複数の調光素子４２０毎の調光レベルを独立して決定する（ステップＳ２３０）。調光情報出力部２３０は、複数の調光素子４２０毎の調光レベルを調光装置４０に出力する（ステップＳ２４０。第３の実施形態と同じ）。

　以上のように、第４の実施形態によれば、動的に変化する閲覧者の視線位置に基づき、調光の対象となるスクリーン表示位置（画像が表示されるスクリーン上の位置）を決定する。その結果、閲覧者の姿勢の変化等により閲覧者の視線が変化した場合でも、常に、閲覧者が見る画像が調光される可能性が高くなる。また、第４の実施形態によれば、閲覧者個人の一瞬毎に変化する視線で画像を見たときの画像の視認性（閲覧者個人の一瞬毎の視認性）を判定する。閲覧者個人の一瞬毎の画像の視認性に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより閲覧者個人の推定される視線位置に基づく視認性に応じて調光レベルを決定する場合に比べて、閲覧者の姿勢の変化等により閲覧者の視線が変化した場合でも、常に、表示画像の視認性を高めることができ、かつ背景視界をより良好に保つことができる。また、第４の実施形態によれば、閲覧者の姿勢の変化等により一瞬毎に動的に変化する閲覧者のスクリーン上の視点が変化した場合に、閲覧者が見てない位置は調光しない。これにより、スクリーンを不要に調光することが減るため、スクリーンの背景環境（特に、）閲覧者が実際に見ている場所）の視認性が悪くなるおそれが減る。

　Ｖ．結語

　以上のような事情に鑑み、本開示の各実施形態によれば、画像が表示されるスクリーン表示位置のみ調光し、スクリーン上の画像が表示されない位置は調光しない。これにより、調光により画像の視認性が向上し、同時に、スクリーンの背景環境の視認性が悪くなることが無い。さらに、背景環境の照度の違い（直射日光の有無等）に応じて、画像が表示されるスクリーンを仮想的に分割したタイル毎に独立して異なる調光レベルで調光する。これにより、画像の一部の背景環境が明るく、画像の他の一部の背景環境が暗いような場合に、明るい部分は調光レベルを高くし（透過率を下げ）、暗い部分は調光レベルを相対的に低くすることができる。その結果、表示された画像の照度や濃度等が均一に近くなる。調光レベルが適切になることで、必要十分な視認性を確保しつつ、背景視界も良好に保てる。これにより、透明なスクリーンに表示される画像の視認性と、スクリーンの背景環境の視認性とを、同時に向上することができる。
　第１ないし第４の実施形態では、表示調光制御装置と調光装置、表示装置として説明した。しかし、ある装置が別の装置に含まれても良い。例えば、表示調光制御装置が調光装置に含まれても良い。また、各装置に含まれるブロックの少なくとも一つが、他の装置に含まれても良い。また、各装置に含まれるブロックの少なくとも一つが、表示調光制御装置や、調光装置、表示装置と異なる別の装置として設けられても良い。

　本開示は、以下の各構成を有してもよい。

　（１）
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御する調光処理制御部であって、
　　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部と、
　を有する調光処理制御部と、
　を具備する表示調光制御装置。
　（２）
　上記（１）に記載の表示調光制御装置であって、
　前記背景情報は、前記背景環境の照度の情報である照度情報を含み、
　前記調光レベル決定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの照度情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する
　表示調光制御装置。
　（３）
　上記（１）又は（２）に記載の表示調光制御装置であって、
　前記調光処理制御部は、前記１以上のタイルそれぞれの視認性を判定する視認性判定部をさらに有し、
　前記調光レベル決定部は、前記視認性に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する
　表示調光制御装置。
　（４）
　上記（３）に記載の表示調光制御装置であって、
　前記背景情報は、前記背景環境の色の情報である背景色情報を含み、
　前記視認性判定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景色情報と、前記１以上のタイル毎に表示される画像の色の情報である画像色情報とに基づき、前記１以上のタイルそれぞれの視認性を判定する
　表示調光制御装置。
　（５）
　上記（３）又は（４）に記載の表示調光制御装置であって、
　前記背景情報は、前記背景環境の輝度の情報である輝度情報を含み、
　前記視認性判定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景輝度情報と、前記１以上のタイル毎に表示される画像の輝度の情報である画像輝度情報とに基づき、前記１以上のタイルそれぞれの視認性を判定する
　表示調光制御装置。
　（６）
　上記（３）乃至（５）の何れかに記載の表示調光制御装置であって、
　前記調光処理制御部は、
　前記画像を見る閲覧者の視線を示す情報である視線情報に基づき、前記表示デバイス位置を、前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子に変換するための情報である位置関係情報を生成する位置関係情報生成部をさらに有し、
　前記調光位置決定部は、前記位置関係情報に基づき、前記１以上の調光素子を決定する
　表示調光制御装置。
　（７）
　上記（６）に記載の表示調光制御装置であって、
　前記視認性判定部は、前記画像を見る閲覧者の視線を示す情報である視線情報及び前記位置関係情報にさらに基づき、前記視認性を判定する
　表示調光制御装置。
　（８）
　上記（６）又は（７）に記載の表示調光制御装置であって、
　前記視線情報は、前記閲覧者の眼の位置に基づき推定される
　表示調光制御装置。
　（９）
　上記（６）又は（７）に記載の表示調光制御装置であって、
　前記視線情報は、前記閲覧者の眼の位置及び前記閲覧者の視線を動的に計測することにより生成される
　表示調光制御装置。
　（１０）
　上記（９）に記載の表示調光制御装置であって、
　前記調光レベル決定部は、前記視線情報に基づき前記閲覧者が前記スクリーン表示位置を見ていないと判定すると、前記スクリーン表示位置に相当する１以上の調光素子の調光を制御しないと決定する
　表示調光制御装置。
　（１１）
　上記（１）乃至（１０）の何れかに記載の表示調光制御装置であって、
　前記スクリーンは、自由曲面を有する
　表示調光制御装置。
　（１２）
　上記（１）乃至（１１）の何れかに記載の表示調光制御装置であって、
　前記スクリーンは、車両のフロントウィンドウである
　表示調光制御装置。
　（１３）
　上記（１２に記載の表示調光制御装置であって、
　前記表示装置は、前記フロントウィンドウの幅方向全域に前記画像を投影可能な投影装置である
　表示調光制御装置。
　（１４）
　上記（１）乃至（１０）の何れかに記載の表示調光制御装置であって、
　前記スクリーンは、車両の窓である
　表示調光制御装置。
　（１６）
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定し、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御し、
　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定し、
　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する
　表示調光制御方法。
　（１７）
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御する調光処理制御部と、
　を有する表示調光制御装置の前記調光処理制御部を、
　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部
　として動作させる表示調光制御プログラムを記録する
　非一過性のコンピュータ読み取り可能な記録媒体。
　（１８）
　表示デバイスを有し、透明なスクリーンに画像を表示する表示装置と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置と、
　　前記表示装置から前記スクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　　　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　　　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部と、
　　を有し、前記調光装置を制御する調光処理制御部と、
　を有する表示調光制御装置と、
　を具備する表示調光システム。

　本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

　１，２，３，４　表示調光システム
　１０　表示調光制御装置
　１００　表示画像生成部
　１１０　コンテンツ取得部
　１２０　歪補正処理部
　１２１　表示コンテンツ情報
　１３０　コンテンツ出力部
　２０　表示装置
　２００　調光制御部
　２０１　位置関係情報
　２０２　表示デバイス位置
　２０３　調光素子位置
　２１　表示デバイス制御部
　２１０　背景情報取得部
　２１１　照度情報
　２１２　外部画像
　２２　表示デバイス
　２２０　調光判定部
　２２１　位置関係情報格納部
　２２２　調光位置決定部
　２２３　調光レベル決定部
　２２４　視認性判定部
　２３０　調光情報出力部
　２４０　視線情報格納部
　２５０　視線情報取得部
　２５１　視線情報
　２５２　視線情報
　２６０　位置関係情報決定部
　２６１　参照情報格納部
　２６２　位置関係情報生成部
　２６３　位置関係情報
　２６４　位置関係情報
　３０　コンテンツ生成システム
　４０　調光装置
　４１０　調光素子制御部
　４２０　調光素子
　５１　照度センサ
　５２　フロントカメラ
　５３　車室内モニタリングカメラ
　５４　視線情報生成部

Claims

　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御する調光処理制御部であって、
　　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部と、
　を有する調光処理制御部と、
　を具備する表示調光制御装置。
　請求項１に記載の表示調光制御装置であって、
　前記背景情報は、前記背景環境の照度の情報である照度情報を含み、
　前記調光レベル決定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの照度情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する
　表示調光制御装置。
　請求項１に記載の表示調光制御装置であって、
　前記調光処理制御部は、前記１以上のタイルそれぞれの視認性を判定する視認性判定部をさらに有し、
　前記調光レベル決定部は、前記視認性に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する
　表示調光制御装置。
　請求項３に記載の表示調光制御装置であって、
　前記背景情報は、前記背景環境の色の情報である背景色情報を含み、
　前記視認性判定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景色情報と、前記１以上のタイル毎に表示される画像の色の情報である画像色情報とに基づき、前記１以上のタイルそれぞれの視認性を判定する
　表示調光制御装置。
　請求項３に記載の表示調光制御装置であって、
　前記背景情報は、前記背景環境の輝度の情報である輝度情報を含み、
　前記視認性判定部は、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景輝度情報と、前記１以上のタイル毎に表示される画像の輝度の情報である画像輝度情報とに基づき、前記１以上のタイルそれぞれの視認性を判定する
　表示調光制御装置。
　請求項３に記載の表示調光制御装置であって、
　前記調光処理制御部は、
　前記画像を見る閲覧者の視線を示す情報である視線情報に基づき、前記表示デバイス位置を、前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子に変換するための情報である位置関係情報を生成する位置関係情報生成部をさらに有し、
　前記調光位置決定部は、前記位置関係情報に基づき、前記１以上の調光素子を決定する
　表示調光制御装置。
　請求項６に記載の表示調光制御装置であって、
　前記視認性判定部は、前記画像を見る閲覧者の視線を示す情報である視線情報及び前記位置関係情報にさらに基づき、前記視認性を判定する
　表示調光制御装置。
　請求項６に記載の表示調光制御装置であって、
　前記視線情報は、前記閲覧者の眼の位置に基づき推定される
　表示調光制御装置。
　請求項６に記載の表示調光制御装置であって、
　前記視線情報は、前記閲覧者の眼の位置及び前記閲覧者の視線を動的に計測することにより生成される
　表示調光制御装置。
　請求項９に記載の表示調光制御装置であって、
　前記調光レベル決定部は、前記視線情報に基づき前記閲覧者が前記スクリーン表示位置を見ていないと判定すると、前記スクリーン表示位置に相当する１以上の調光素子の調光を制御しないと決定する
　表示調光制御装置。
　請求項１に記載の表示調光制御装置であって、
　前記スクリーンは、自由曲面を有する
　表示調光制御装置。
　請求項１に記載の表示調光制御装置であって、
　前記スクリーンは、車両のフロントウィンドウである
　表示調光制御装置。
　請求項１２に記載の表示調光制御装置であって、
　前記表示装置は、前記フロントウィンドウの幅方向全域に前記画像を投影可能な投影装置である
　表示調光制御装置。
　請求項１に記載の表示調光制御装置であって、
　前記スクリーンは、車両の窓である
　表示調光制御装置。
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定し、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御し、
　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定し、
　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する
　表示調光制御方法。
　表示デバイスを有する表示装置から透明なスクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置を制御する調光処理制御部と、
　を有する表示調光制御装置の前記調光処理制御部を、
　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部
　として動作させる表示調光制御プログラムを記録する
　非一過性のコンピュータ読み取り可能な記録媒体。
　表示デバイスを有し、透明なスクリーンに画像を表示する表示装置と、
　前記スクリーンの調光レベルを、前記スクリーンを仮想的に分割した複数のタイル毎に独立して制御する複数の調光素子を有する調光装置と、
　　前記表示装置から前記スクリーンに画像を表示するために、画像光を出射する表示デバイスの位置である表示デバイス位置を決定する表示画像生成部と、
　　　前記表示デバイス位置から出射される画像光により前記画像が表示される前記スクリーン上の位置であるスクリーン表示位置に相当する１以上のタイルの調光レベルを制御する１以上の調光素子を決定する調光位置決定部と、
　　　前記スクリーンの背景環境の情報である背景情報を取得し、前記１以上の調光素子に対応する１以上のタイルそれぞれの背景情報に基づき、前記１以上の調光素子毎の調光レベルを独立して決定する調光レベル決定部と、
　　を有し、前記調光装置を制御する調光処理制御部と、
　を有する表示調光制御装置と、
　を具備する表示調光システム。