JP2020154107A - 虚像表示システム及び虚像表示方法 - Google Patents

Abstract

【課題】低コストで好適な立体視が可能な虚像表示システムを提供する。【解決手段】虚像表示システム１Ａの制御部１０は、虚像Ｉと運転者Ｄとの距離を設定し、視線計測部４の計測結果に基づいて、運転者Ｄの眼の焦点距離を算出し、算出された焦点距離に基づいてアクチュエータ４０を制御することによって描画デバイス２０を焦点距離に対応する位置に移動させるとともに、画像に対応する虚像Ｉと運転者Ｄとの距離及び焦点距離に基づいて、画像の被視認性を設定する。【選択図】図１

Description

本発明は、虚像表示システム及び当該虚像表示システムによる虚像表示方法に関する。

現在、ＶＲ／ＡＲコンテンツの表示処方として、主に両眼視差による立体視が用いられているが、かかる手法では輻輳調節矛盾による違和感、疲労感等が利用者に発生する。かかる問題を回避する表示方式として、焦点距離まで再現する体積走査型ディスプレイを利用した３次元ＡＲヘッドアップディスプレイ（特許文献１参照）、光線再現型ディスプレイを利用したヘッドマウントディスプレイ（特許文献２参照）等が提案されている。

特開２００９−１５０９４７号公報 特開２０１７−３７３０４号公報

かかるディスプレイでは、高フレームレート又は高解像度の表示装置が必要となり、高コスト化してしまう問題がある。

本発明は、前記した事項に鑑みて創案されたものであり、低コストで好適な立体視が可能な虚像表示システム及び虚像表示方法を提供することを課題とする。

前記課題を解決するための本発明は、以下の構成を備える。
１．画像を描画可能な描画デバイスと、前記描画デバイスを移動させるアクチュエータと、前記描画デバイスに描画された画像をスクリーンに投影させて、前記スクリーンに対して、前記描画デバイスとの距離に応じた距離に虚像を表示させる光学系と、利用者の視線を計測する視線計測部と、前記描画デバイス及び前記アクチュエータを制御する制御部と、を備え、前記制御部は、前記虚像と前記利用者との距離を設定し、前記視線計測部の計測結果に基づいて、前記利用者の眼の焦点距離を算出し、算出された前記焦点距離に基づいて前記アクチュエータを制御することによって前記描画デバイスを前記焦点距離に対応する位置に移動させるとともに、前記画像に対応する前記虚像と前記利用者との距離及び前記焦点距離に基づいて、前記画像の被視認性を設定することを特徴とする虚像表示システム。
２．前記制御部は、前記虚像と前記利用者との距離が前記焦点距離から離れるほど、前記虚像に対応する前記画像の被視認性を低下させることを特徴とする前記１に記載の虚像表示システム。
３．前記視線計測部は、前記利用者の眼を撮影するカメラ、又は、サーチコイル法によって眼球運動を計測するコンタクトレンズであることを特徴とする前記１又は２に記載の虚像表示システム。
４．前記描画デバイスは、液晶ディスプレイ、又は、スクリーンと当該スクリーンに前記画像を表示させるプロジェクタとの組み合わせであることを特徴とする前記１又は２に記載の虚像表示システム。
５．ヘッドアップディスプレイ又はヘッドマウントディスプレイであることを特徴とする前記１から４のいずれかに記載の虚像表示システム。
６．前記１から５のいずれかに記載の虚像表示システムによる虚像表示方法であって、前記制御部が、前記虚像と前記利用者との距離を設定するステップと、前記制御部が、前記視線計測部の計測結果に基づいて、前記利用者の眼の焦点距離を算出するステップと、前記制御部が、算出された前記焦点距離に基づいて前記アクチュエータを制御することによって前記描画デバイスを前記焦点距離に対応する位置に移動させるステップと、前記制御部が、前記画像に対応する前記虚像と前記利用者との距離及び前記焦点距離に基づいて、前記画像の被視認性を設定するステップと、を含むことを特徴とする虚像表示方法。

本発明によれば、虚像表示システムにおいて、低コストで好適な立体視を実現することができる。

本発明の第一の実施形態に係る虚像表示システムを模式的に示す図である。 （ａ）（ｂ）は、本発明の第一の実施形態に係る虚像表示システムによって表示される虚像の例を模式的に示す図である。 本発明の第一の実施形態に係る虚像表示システムの動作例を説明するためのフローチャートである。 本発明の第二の実施形態に係る虚像表示システムを模式的に示す図であり、（ａ）は正面図、（ｂ）は平面図である。

以下、本発明の実施形態について、適宜図面を参照しながら説明する。同一の構成要素には同一の符号を付し、重複する説明を省略する。前後等といった方向を示す用語は、利用者（例えば、自動車の運転者）を基準とする。

従来技術では、複数の距離に同時に（又は、人間の眼では同時に見える程度のフレームレートで）虚像を表示することによって、輻輳調節矛盾の無い三次元虚像を提示している。しかし、一人の人間が注視することができる距離は１つであるため、ヘッドマウントディスプレイ（ＨＵＤ：Head Up Display）、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）等といった一人用のディスプレイでは、注視点の移動に十分な速度で追従して虚像を表示することができれば、注視されていない距離の虚像に対応する画像については、正確に描画する必要は無い。本発明は、視線計測部を備え、利用者の視線から注視しようとしている距離（焦点距離）を算出し、かかる距離にのみ虚像を表示させることによって、輻輳調節矛盾の無い立体視を実現する。

図１に示すように、本発明の第一の実施形態に係る虚像表示システム１Ａは、自動車Ｃの運転支援システム（ＡＤＡＳ：Advanced Driver-Assistance System）における表示システムである。かかるシステムを実現するため、虚像表示システム１Ａは、目標物（移動体、曲がるべき交差点、位置目標、障害物等）に対して虚像（危険信号等）を重畳させて表示させる。虚像表示システム１Ａは、自動車Ｃにおいて、透明型スクリーンとしてのガラス製のフロントウインドウ（フロントウインドシールド）２Ａに対して虚像Ｉ（Ｉ_１，Ｉ_２）を表示することによって、運転者Ｄによる目標物の視認性を向上する。虚像表示システム１Ａは、ステレオカメラ３と、視線計測部４と、を備える。

＜ステレオカメラ＞
ステレオカメラ３は、自動車Ｃの前方を撮像し、撮像結果を制御部１０へ出力する。

＜視線計測部＞
視線計測部４は、運転者Ｄの視線を計測し、計測結果を制御部１０へ出力する。視線計測部４としては、運転者Ｄの眼を撮影するカメラ（ＲＧＢカメラ、赤外線（ＩＲ：InfraRed）カメラ、サーチコイル法によって視線を計測するコンタクトレンズ等が好適に利用可能である。また、視線計測部４としてのカメラは、眼鏡と一体型であってもよい。

＜制御部＞
制御部１０は、自動車Ｃの各種電装部品を制御するＥＣＵ（Electrical Control Unit）であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、ＧＰＵ（Graphic Processor Unit）、入出力回路等によって構成されている。制御部１０は、機能部として、目標物抽出部１１と、距離算出部１２と、焦点距離算出部１３と、画像データ生成部１４と、アクチュエータ制御部１５と、画像データ出力部１６と、を備える。

≪目標物抽出部≫
目標物抽出部１１は、自動車Ｃに設けられたステレオカメラ３の撮像結果を取得し、取得された撮像結果から目標物（ヒト、自転車、他の自動車等といった移動体、曲がるべき交差点、目的地等といった位置目標、障害物等、虚像を用いて運転者に知らせるべき対象物）を抽出し、撮像結果及び抽出結果を距離算出部１２へ出力する。すなわち、ステレオカメラ３及び目標物抽出部１１の組み合わせが、自動車Ｃの前方における目標物を検知する目標物検知部を構成する。

≪距離算出部≫
距離算出部１２は、目標物が抽出された撮像結果を取得し、取得された撮像結果に基づいて、自動車Ｃから抽出された目標物までの距離を算出する。すなわち、ステレオカメラ３及び距離算出部１２の組み合わせが、自動車Ｃの前方における目標物までの距離を検知する距離検知部を構成する。

≪焦点距離算出部≫
焦点距離算出部１３は、視線計測部４の計測結果を取得し、取得された計測結果に基づいて、運転者Ｄの眼の焦点距離（運転者Ｄから焦点までの距離）を算出し、算出結果を画像データ生成部１４及びアクチュエータ制御部１５へ出力する。本実施形態において、焦点距離算出部１３は、視線計測部４の計測結果である運転者の眼の撮像結果から、目の輻輳角を算出し、算出された輻輳角に基づいて焦点距離を算出する。

≪画像データ生成部≫
画像データ生成部１４は、目標物が抽出された撮像結果及び目標物までの距離を取得し、抽出された目標物を強調するための画像データを生成する。画像データ生成部１４は、目標物の種類等に応じて、当該目標物を強調するための画像データの種類（色、形状等）等を設定することができる。ここで、画像データ生成部１４は、画像データに対応する虚像の運転者Ｄからの距離を、自動車Ｃから目標物までの距離と、予め記憶された運転者Ｄとフロントウインドウ２Ａとの距離及びフロントウインドウ２Ａと自動車Ｃの前端部との距離と、に基づいて（これらの合計値に）設定する。また、画像データ生成部１４は、焦点距離算出部１３の算出結果を取得し、画像データに対応する虚像と運転者Ｄとの距離及び焦点距離に基づいて、画像データにおける画像（すなわち虚像）の被視認性を設定する。

ここで、被視認性は、運転者Ｄによる画像（すなわち虚像Ｉ）の視認しやすさを示すものであり、例えば、輝度、輪郭の明確性、コントラスト、明瞭度等の少なくとも一つによって構成される。輝度が低下する、輪郭がボケる、コントラストが低下する、明瞭度が低下するほど、被視認性は低下する。本実施形態において、画像データ生成部１４は、虚像Ｉと運転者Ｄとの距離が焦点距離から離れるほど、虚像Ｉに対応する画像の被視認性を低下させる。

≪アクチュエータ制御部≫
アクチュエータ制御部１５は、アクチュエータ４０を制御することによって、描画デバイス２０を移動させ、描画デバイス２０と光学系３０との距離を変更する。本実施形態において、アクチュエータ制御部１５は、焦点距離算出部１３の算出結果を取得し、取得された算出結果に基づいて、描画デバイス２０によって描画された画像が、虚像Ｉとして運転者Ｄから焦点距離だけ離れた位置に表示されるように、アクチュエータ４０を制御する。ここで、アクチュエータ制御部１５には、運転者Ｄとフロントウインドウ２Ａとの距離が予め記憶されているとともに、描画デバイス２０の位置（アクチュエータ４０の動作量）と虚像のフロントウインドウ２Ａからの距離との関係性が予め記憶されている。アクチュエータ制御部１５は、かかる記憶内容を参照することによって、虚像Ｉが焦点距離と一致する部位に表示されるように、アクチュエータ制御部１５を制御して描画デバイス２０を位置決めする。

≪画像データ出力部≫
画像データ出力部１６は、生成された画像データ及び決定結果を取得し、決定結果に基づいて、画像データを描画デバイス２０へ出力することによって、描画デバイス２０に画像を表示させる。

＜描画デバイス＞
描画デバイス２０は、制御部１０の制御に基づいて画像を描画し、当該画像の画像光を出射する。描画デバイス２０としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、スクリーンと当該スクリーンに画像光を照射することによって画像を表示させるプロジェクタとの組み合わせ等が好適に利用可能である。

＜光学系＞
光学系３０は、描画デバイス２０によって出射された画像光を拡散及び拡大させ、スクリーンとしてのフロントウインドウ２の後面に伝達させることによって、画像光に基づく虚像をフロントウインドウ２の前方に三次元的に表示させる。

＜アクチュエータ＞
アクチュエータ４０は、制御部１０の制御に基づいて、描画デバイス２０の位置を変更させる。

＜表示例＞
図２を参照して、３つの虚像Ｉ_Ａ，Ｉ_Ｂ，Ｉ_Ｃを表示する場合について説明する。虚像Ｉ_Ａの距離は、最も短くて虚像Ｉ_１（図１参照）と等しい。虚像Ｉ_Ｃの距離は、最も長くて虚像Ｉ_２（図１参照）と等しい。虚像Ｉ_Ｂの距離は、虚像Ｉ_Ａ，Ｉ_Ｃの距離の中間である。なお、図２において虚像Ｉ_Ａ，Ｉ_Ｂ，Ｉ_Ｃが互いに重なり合っているのは、これらの前後関係を明確にするためである。

図２（ａ）に示すように、運転者Ｄの焦点距離が虚像Ｉ_１と等しい場合には、３つの虚像Ｉ_Ａ，Ｉ_Ｂ，Ｉ_Ｃは、虚像Ｉ_１の場所に表示される。ここで、虚像Ｉ_Ａは、被視認性が高く表示され、虚像Ｉ_Ｂ，Ｉ_Ｃは、被視認性が低く表示される。

図２（ｂ）に示すように、運転者Ｄの焦点距離が虚像Ｉ_２と等しい場合には、３つの虚像Ｉ_Ａ，Ｉ_Ｂ，Ｉ_Ｃは、虚像Ｉ_１の場所に表示される。ここで、虚像Ｉ_Ｃは、被視認性が高く表示され、虚像Ｉ_Ｂ，Ｉ_Ａは、被視認性が低く表示される。

＜動作例（虚像表示方法）＞
続いて、本発明の第一の実施形態に係る虚像表示システムによる虚像表示方法について、図３を参照して説明する（適宜図１参照）。

まず、目標物抽出部１１が、ステレオカメラ３の撮像結果に基づいて目標物を検知し、距離算出部１２が、目標物までの距離を算出する（ステップＳ１）。続いて、画像データ生成部１４が、算出された目標物までの距離に基づいて、虚像Ｉの表示距離（運転者Ｄからの距離）を設定する（ステップＳ２）。

続いて、焦点距離算出部１３が、視線計測部４の計測結果に基づいて運転者Ｄの視線を検知し（ステップＳ３）、検知結果に基づいて眼の焦点距離を算出する（ステップＳ４）。

なお、ステップＳ１，Ｓ２の組み合わせとステップＳ３，Ｓ４の組み合わせとの順序は、前記したものに限定されず、ステップＳ３，Ｓ４がステップＳ１，Ｓ２よりも先に実行されてもよく、ステップＳ１，Ｓ２とステップＳ３，Ｓ４とが同時進行で実行されてもよい。

続いて、アクチュエータ制御部１５が、焦点距離に基づいてアクチュエータ４０を制御し、描画デバイス２０を移動させる（ステップＳ５）。続いて、画像データ生成部１４が、焦点距離に事づいて画像の被視認性を設定した画像データを生成する（ステップＳ６）。

なお、ステップＳ５とステップＳ６との順序は、前記したものに限定されず、ステップＳ６がステップＳ５よりも先に実行されてもよく、ステップＳ５とステップＳ６とが同時進行で実行されてもよい。

続いて、画像データ出力部１６が、画像データを描画デバイス２０へ出力することによって、描画デバイス２０に画像を表示させる（ステップＳ７）。これにより、フロントウインドウ２Ａに虚像Ｉが表示される。

本発明の第一の実施形態に係る虚像表示システム１Ａは、画像を描画可能な描画デバイス２０と、前記描画デバイス２０を移動させるアクチュエータ４０と、を備える。また、虚像表示システム１Ａは、前記描画デバイス２０に描画された画像をスクリーン（フロントウインドウ２Ａ）に投影させて、前記スクリーンに対して、前記描画デバイス２０との距離に応じた距離に虚像Ｉを表示させる光学系３０を備える。また、虚像表示システム１Ａは、利用者（運転者Ｄ）の視線を計測する視線計測部４と、前記描画デバイス２０及び前記アクチュエータ４０を制御する制御部１０と、を備える。前記制御部１０は、前記虚像Ｉと前記利用者との距離を設定し、前記視線計測部４の計測結果に基づいて、前記利用者の眼の焦点距離を算出する。また、前記制御部１０は、算出された前記焦点距離に基づいて前記アクチュエータ４０を制御することによって前記描画デバイス２０を前記焦点距離に対応する位置に移動させる。また、前記制御部１０は、前記画像に対応する前記虚像Ｉと前記利用者との距離及び前記焦点距離に基づいて、前記画像の被視認性を設定する。
したがって、虚像表示システム１Ａは、低フレームレート又は低解像度の描画デバイスで輻輳調節矛盾の無い立体視を低コストで実現することができる。換言すると、虚像表示システム１Ａは、より高フレームレート又はより高解像度で輻輳調節矛盾の無い立体視を従来技術と同コストで実現することができる。また、虚像表示システム１Ａは、虚像を複数距離に同時表示する必要が無いため、描画デバイス２０の高輝度化を実現することができる。また、虚像表示システム１Ａは、注視される距離のみに虚像を表示させるので、虚像に対応する画像表示のための計算量を低減し、輝度、フレームレート、解像度等の向上を実現することができる。

また、虚像表示システム１Ａにおいて、前記制御部１０は、前記虚像Ｉと前記利用者との距離が前記焦点距離から離れるほど、前記虚像Ｉに対応する前記画像の被視認性を低下させる。
したがって、虚像表示システム１Ａは、焦点距離に近い虚像Ｉの被視認性を相対的に向上させ、利用者に好適に視認させることができる。

また、虚像表示システム１Ａにおいて、前記視線計測部４は、前記利用者の眼を撮影するカメラ、又は、サーチコイル法によって眼球運動を計測するコンタクトレンズである。
したがって、虚像表示システム１Ａは、利用者の視線を好適に計測することができる。

また、虚像表示システム１Ａにおいて、前記描画デバイス２０は、液晶ディスプレイ、又は、スクリーンと当該スクリーンに前記画像を表示させるプロジェクタとの組み合わせである。
したがって、虚像表示システム１Ａは、画像を好適に描画することができる。

また、虚像表示システム１Ａは、ヘッドアップディスプレイである。
したがって、虚像表示システム１Ａは、一人用のシステムとして虚像Ｉを好適に表示することができる。

また、虚像表示システム１Ａによる虚像表示方法は、前記制御部１０が、前記虚像Ｉと前記利用者との距離を設定するステップを含む。また、虚像表示方法は、前記制御部１０が、前記視線計測部４の計測結果に基づいて、前記利用者の眼の焦点距離を算出するステップを含む。また、虚像表示方法は、前記制御部１０が、算出された前記焦点距離に基づいて前記アクチュエータ４０を制御することによって前記描画デバイス２０を前記焦点距離に対応する位置に移動させるステップを含む。また、虚像表示方法は、前記制御部１０が、前記画像に対応する前記虚像Ｉと前記利用者との距離及び前記焦点距離に基づいて、前記画像の被視認性を設定するステップを含む。
したがって、虚像表示方法は、低フレームレート又は低解像度の描画デバイスで輻輳調節矛盾の無い立体視を低コストで実現することができる。換言すると、虚像表示方法は、より高フレームレート又はより高解像度で輻輳調節矛盾の無い立体視を従来技術と同コストで実現することができる。また、虚像表示方法は、虚像を複数距離に同時表示する必要が無いため、描画デバイス２０の高輝度化を実現することができる。また、虚像表示方法は、注視される距離のみに虚像を表示させるので、虚像に対応する画像表示のための計算量を低減し、輝度、フレームレート、解像度等の向上を実現することができる。

＜第二の実施形態＞
続いて、本発明の第二の実施形態に係る虚像表示システムについて、第一の実施形態に係る虚像表示システム１Ａとの相違点を中心に説明する。

図４に示すように、本発明の第二の実施形態に係る虚像表示システム１Ｂは、利用者Ｕの頭部に装着される、いわゆるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）である。虚像表示システム１Ｂは、両眼に対応して、左右一対のスクリーン（ミラー又はハーフミラー）２Ｂ、視線計測部４、描画デバイス２０、光学系（例えば、画像を拡大させるミラー）３０及びアクチュエータ４０の組み合わせを備える。

虚像表示システム１Ｂは、ステレオカメラ３を備えていない。また、虚像表示システム１Ｂの制御部１０（図１参照）は、虚像Ｉの利用者Ｕからの距離を設定し、左右の眼ごとに画像データを生成し、かかる画像データによって左右のスクリーン２Ｂ，２Ｂに虚像Ｉを表示させる。

本発明の第二の実施形態に係る虚像表示システム１Ｂは、ヘッドマウントディスプレイである。
したがって、虚像表示システム１Ｂは、一人用のシステムとして虚像Ｉを好適に表示することができる。

以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜変形可能である。例えば、第一の実施形態における目標物の検知手法、及び、目標物までの距離の検知手法は、前記したものに限定されない。また、ヘッドアップディスプレイとしての虚像表示システム１Ａは、ＡＤＡＳにおける自動車Ｃ用の表示システム１以外の各種虚像表示システムにも適用可能である。

１Ａ 虚像表示システム（ヘッドアップディスプレイ）
１Ｂ 虚像表示システム（ヘッドマウントディスプレイ）
２Ａ フロントウインドウ（スクリーン）
２Ｂ スクリーン
４ 視線計測部
１０ 制御部
２０ 描画デバイス
３０ 光学系
４０ アクチュエータ
Ｉ（Ｉ_１，Ｉ_２，Ｉ_Ａ〜Ｉ_Ｃ） 虚像

Claims (6)

1. 画像を描画可能な描画デバイスと、
   前記描画デバイスを移動させるアクチュエータと、
   前記描画デバイスに描画された画像をスクリーンに投影させて、前記スクリーンに対して、前記描画デバイスとの距離に応じた距離に虚像を表示させる光学系と、
   利用者の視線を計測する視線計測部と、
   前記描画デバイス及び前記アクチュエータを制御する制御部と、
   を備え、
   前記制御部は、前記虚像と前記利用者との距離を設定し、前記視線計測部の計測結果に基づいて、前記利用者の眼の焦点距離を算出し、算出された前記焦点距離に基づいて前記アクチュエータを制御することによって前記描画デバイスを前記焦点距離に対応する位置に移動させるとともに、前記画像に対応する前記虚像と前記利用者との距離及び前記焦点距離に基づいて、前記画像の被視認性を設定する
   ことを特徴とする虚像表示システム。
2. 前記制御部は、前記虚像と前記利用者との距離が前記焦点距離から離れるほど、前記虚像に対応する前記画像の被視認性を低下させる
   ことを特徴とする請求項１に記載の虚像表示システム。
3. 前記視線計測部は、
   前記利用者の眼を撮影するカメラ、又は、サーチコイル法によって眼球運動を計測するコンタクトレンズである
   ことを特徴とする請求項１又は請求項２に記載の虚像表示システム。
4. 前記描画デバイスは、液晶ディスプレイ、又は、スクリーンと当該スクリーンに前記画像を表示させるプロジェクタとの組み合わせである
   ことを特徴とする請求項１又は請求項２に記載の虚像表示システム。
5. ヘッドアップディスプレイ又はヘッドマウントディスプレイである
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の虚像表示システム。
6. 請求項１から請求項５のいずれか一項に記載の虚像表示システムによる虚像表示方法であって、
   前記制御部が、前記虚像と前記利用者との距離を設定するステップと、
   前記制御部が、前記視線計測部の計測結果に基づいて、前記利用者の眼の焦点距離を算出するステップと、
   前記制御部が、算出された前記焦点距離に基づいて前記アクチュエータを制御することによって前記描画デバイスを前記焦点距離に対応する位置に移動させるステップと、
   前記制御部が、前記画像に対応する前記虚像と前記利用者との距離及び前記焦点距離に基づいて、前記画像の被視認性を設定するステップと、
   を含むことを特徴とする虚像表示方法。

Images