JP2024080390A - 空間浮遊映像表示装置 - Google Patents

空間浮遊映像表示装置 Download PDF

Info

Publication number
JP2024080390A
JP2024080390A JP2022193538A JP2022193538A JP2024080390A JP 2024080390 A JP2024080390 A JP 2024080390A JP 2022193538 A JP2022193538 A JP 2022193538A JP 2022193538 A JP2022193538 A JP 2022193538A JP 2024080390 A JP2024080390 A JP 2024080390A
Authority
JP
Japan
Prior art keywords
image
display device
image display
floating
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022193538A
Other languages
English (en)
Inventor
宏明 ▲高▼橋
浩司 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2022193538A priority Critical patent/JP2024080390A/ja
Priority to US18/525,878 priority patent/US20240184133A1/en
Publication of JP2024080390A publication Critical patent/JP2024080390A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】空間浮遊映像表示装置の利用者に対して好適に映像を表示し、必要な情報を提供すること。本発明によれば、持続可能な開発目標の「3すべての人に健康と福祉を」、「9産業と技術革新の基盤をつくろう」、「11住み続けられるまちづくりを」に貢献する。【解決手段】空間浮遊映像表示装置は、映像表示装置10と、映像表示装置10の映像光出射側に配置されたレンチキュラーレンズ1103と、映像表示装置10からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材330とを備え、映像表示装置10は、少なくとも2個のオブジェクトを含む映像を表示し、少なくとも2個のオブジェクトのうち、任意のオブジェクトの位置を固定し、任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向にずらすことにより得られた複数の映像を多視点画像1902として表示する。【選択図】図23

Description

本発明は、空間浮遊映像表示装置に関する。
空間浮遊映像表示装置として、直接外部に向かって映像を空間像として表示する映像表示装置および表示方法については、既に知られている。また、表示された空間像の操作面における操作に対する誤検知を低減する検知システムについても、例えば、特開2019-128722号公報(特許文献1)に記載されている。
特開2019-128722号公報
しかしながら、特許文献1の開示では、立体的な形状として空間浮遊映像を表示するための具体的な技術は十分に考慮されていなかった。
そこで、本発明の目的は、より簡便な方法で多視点画像を生成し、立体視可能な空間浮遊映像を表示することができる空間浮遊映像表示装置を提供することにある。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本発明は、上記課題を解決する手段を複数含んでいるが、一例を挙げるならば、以下の通りである。空間浮遊映像表示装置は、映像を表示する映像表示装置と、映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、映像表示装置からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材とを備え、映像表示装置は、少なくとも2個のオブジェクトを含む映像を表示し、少なくとも2個のオブジェクトのうち、任意のオブジェクトの位置を固定し、任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向に位置をずらすことにより得られた複数の映像を多視点画像として表示する。
本発明によれば、より好適な空中浮遊映像表示装置を実現できる。これ以外の課題、構成および効果は、以下の実施形態の説明において明らかにされる。
一実施例に係る空間浮遊映像表示装置の使用形態の一例を示す図である。 一実施例に係る空間浮遊映像表示装置の内部構成の一例を示す図である。 一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の一例を示す図である。 一実施例に係る空間浮遊映像表示装置の主要部構成と再帰反射部構成の他の例を示す図である。 一実施例に係る再帰反射で発生する異常光線を遮る部材の配置例を示す斜視図である。 一実施例に係る再帰反射で発生する異常光線を遮る部材の配置例を示す断面図である。 一実施例に係る空間浮遊映像表示装置で用いる第1のセンシング技術の説明図である。 一実施例に係る空間浮遊映像表示装置で用いる第2のセンシング技術の説明図である。 一実施例に係る空間浮遊映像表示装置で用いるセンシングシステムの動作および装置についての説明図である。 太陽光の分光放射照度の特性を示す図である。 屈折率1.5の媒質に入射する偏光光の光線入射角度に対する反射特性を示す図である。 一実施例に係る空間浮遊映像表示装置の主要部構成を示す図である。 一実施例に係る他の空間浮遊映像表示装置の主要部構成を示す図である。 多視点画像を表示する原理を示す図である。 多視点映像を生成するためのカメラ配置の一例を示す図である。 多視点映像表示装置により表示される映像の一例を示す図である。 空間浮遊像としての多視点映像の見え方の一例を示す図である。 空間浮遊像としての多視点映像の見え方の他の一例を示す図である。 一実施例に係る多視点映像の一例を示す図である。 一実施例に係る多視点映像の見え方の一例を示す図である。 一実施例に係る空間浮遊像としての多視点映像の見え方の一例を示す図である。 一実施例に係る多視点映像の他の一例を示す図である。 一実施例に係る多視点映像の見え方の他の一例を示す図である。 一実施例に係る空間浮遊像としての多視点映像の見え方の他の一例を示す図である。 一実施例に係る多視点画像の生成に関する補足説明図である。 一実施例に係る自動販売機の外観例を示す図である。
以下、図面を参照しながら本開示の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、範囲等を表していない場合がある。
説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばCPU/MPUやGPU等の半導体デバイス等で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、FPGA、ASIC、CPLD等が適用可能である。
プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体、例えばメモリカードやディスクでもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアント・サーバシステム、クラウドコンピューティングシステム、IoTシステム等で構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ID、名前、番号等の表現は互いに置換可能である。
立体的な形状として空間浮遊映像を表示する場合、多視点画像による運動視差に基づく立体感を備えた画像を表示するためには、押しボタンのような表示オブジェクトを複数の異なる方向から撮影した複数の画像を用いるか、もしくは、レンダリングにより異なる方向から観察した画像を生成する必要がある。この場合、多視点画像を生成するために、多くの時間と多大な手間が必要である、という課題があった。したがって、押しボタンなどの、比較的単純な形状を有するHMIを立体的な空間浮遊映像として表示する場合には、多視点画像をより簡便な方法で作成する技術が望まれていた。
そこで、以下の実施例によれば、より簡便な方法で多視点画像を生成し、立体視可能な物体を表示することができる空間浮遊表示装置を提供することができる。一実施の形態の空間浮遊映像表示装置(以下、単に装置と記載する場合もある)は、まず、空間浮遊映像の視認性を著しく低下させるゴースト像を無くし、空間浮遊映像の明るさを向上させることで、視認性を改善する構成を備える。また、立体的な形状を有する空間浮遊映像を、例えば、サイネージ(電子的な看板)として用いた場合には、サイネージにより表示された商品やサービスに対する人々の関心をより高める効果が期待できる。空間浮遊映像として、例えば、押しボタン(数字ボタン)のようなマン・マシン・インタフェース(HMI;Human Machine Interface、あるいは、単に、ユーザインタフェース、UI;User Interface、という場合もある)を表示する場合には、立体的に見える、つまり奥行き感のある非接触のHMIを実現できるので、物理的な押しボタンを使用する場合に比較して、不特定多数の人同士の間接的な接触を防止することができ、感染症等によるリスクを低減することができる。
また、立体的に見える押しボタンを空間浮遊映像として表示すると、平面的な空間浮遊映像(2次元映像/画像に基づく空間浮遊映像)によって表示された押しボタンに比べて、押しボタンが3次元的に、奥行き感を伴って、すなわち、飛び出て見えたり、逆に、引っ込んで見えたりするので、空間浮遊像を初めて見る人や、取り扱いに不慣れな人にとってHMIとしての使い勝手に優れる、という効果をもたらす。
例えば、一実施の形態の装置は、自動販売機での商品選択のための数字ボタンや、電話機のボタンなどに適用され、空間浮遊映像による画面によるユーザインタフェースを提供する。その上で、一実施の形態のシステムは、ユーザが装置の筐体に近づいてきた時に、空間浮遊映像の画面上に商品選択のための数字ボタンや電話機のボタンなどを表示する。
一実施の形態の空間浮遊映像表示装置は、ユーザが空間浮遊映像に近づいた場合や空間浮遊映像に対し何等かの操作した場合に、自動的にウエルカムメッセージや、使い方を説明する人物像を表示し、続いて、複数の押しボタン(数字ボタン)や決定ボタンなどを有し、ユーザがそれらのボタンを押下できるような操作メニュー画面に遷移・変化させる。また、装置は、ユーザが空間浮遊映像の操作方法などがよくわからない状態であると判定した場合(長時間、何も操作を行わないなどの場合)には、ユーザに対し、操作方法を詳しくガイドするようにしてもよい。
また、一実施の形態の空間浮遊映像表示装置は、例えばカメラを用いた顔認証などによりユーザを識別・特定する機能を備える。システムは、その機能によって特定したユーザについて、年齢やシステム使用履歴などのユーザ属性情報を参照する。システムは、ユーザの属性に応じて、空間浮遊映像として表示される操作方法のガイドの文字の大きさを変えるように制御する。
なお、以下の実施の形態の説明において、空間に浮遊する映像、空中に表示される映像を、「空間浮遊映像」という用語で表現する場合がある。この用語の代わりに、「空中像」、「空間像」、「空中浮遊映像」、「表示映像の空間浮遊光学像」、「表示映像の空中浮遊光学像」などと表現しても構わない。実施の形態の説明で主に用いる「空間浮遊映像」の用語は、これらの用語の代表例として用いている。
<空間浮遊映像表示装置>
本開示は、例えば、大面積な映像発光源からの映像光による映像を、ショーウィンドのガラスなどの、空間を仕切る透明部材を介して透過して、店舗空間の内部または外部に空間浮遊映像として表示可能な表示装置に関する。また、本開示は、かかる表示装置を複数用いて構成される大規模なデジタルサイネージシステムに関する。
以下の実施の形態によれば、例えば、ショーウィンドのガラス面や光透過性の板材上に高解像度な映像を空間浮遊した状態で表示可能となる。この時、出射する映像光の発散角を小さく、すなわち鋭角とし、さらに特定の偏波に揃えることで、再帰反射部材(再帰性反射部材)または再帰反射板に対して正規の反射光だけを効率良く反射させることができる。このため、実施の形態によれば、光の利用効率が高く、従来の再帰反射方式での課題となっていた主空間浮遊像の他に発生するゴースト像を抑えることができ、鮮明な空間浮遊映像を得ることができる。
また、本開示の光源を含む装置により、消費電力を大幅に低減可能な、新規で利用性に優れた空間浮遊映像表示装置を提供できる。また、本開示の技術によれば、例えば、車両のフロントガラスやリアガラスやサイドガラスを含むシールドガラスを介して、車両外部において視認可能である、いわゆる、一方向性の空間浮遊映像の表示が可能な車両用空間浮遊映像表示装置を提供できる。
一方、従来の空間浮遊映像表示装置は、高解像度なカラー表示映像源として有機ELパネルや液晶表示パネル(液晶パネルなどと記載する場合がある)を、再帰反射部材と組み合わせる。従来技術による空間浮遊映像表示装置では、映像光が広角で拡散する。そのため、図3(B)に示す多面体で構成された第一の実施例での再帰反射部材2を用いる場合、再帰反射部材2で正規に反射する反射光(それによる正規な空間浮遊映像)の他に、図3(C)に示す再帰反射部材2(再帰反射部2a)に斜めから入射する映像光によって、ゴースト像が発生する。これにより、空間浮遊映像の画質が低下する。また、従来技術による空間浮遊映像表示装置では、正規な空間浮遊映像の他に、反射面の数に応じたゴースト像が複数発生する。このため、観視者以外の人にも、ゴースト像である同一空間浮遊映像を観視され、セキュリティ上の観点からも大きな課題があった。
<空間浮遊映像表示装置の第1の構成例>
図1(A)は、実施例の空間浮遊映像表示装置の使用形態の一例を示し、空間浮遊映像表示装置の全体構成の説明図を示す。図1(A)で、例えば、店舗などにおいては、ガラスなどの透光性の部材(透明部材とも記載)であるショーウィンド(ウィンドガラスともいう)105により、空間が仕切られている。本空間浮遊映像表示装置によれば、かかる透明部材を透過して、空間浮遊映像を、店舗空間の外部に対して一方向に表示が可能である。
具体的には、本システムによれば、映像表示装置10から挟角な指向特性でかつ特定偏波の光が、映像光束として出射される。出射された映像光束は、再帰反射部材2に一旦入射し、再帰反射されて、ウィンドガラス105を透過して、店舗空間の外側に、実像である空間浮遊映像(空中像)3を形成する。図1(A)では、透明部材(ここではウィンドガラス)105の内側の店舗内を奥行方向とし、ウィンドガラス105の外側(例えば歩道)が手前になるように示している。他方、ウィンドガラス105に特定偏波を反射する部材を設け、かかる部材によって映像光束を反射させて、店舗内の所望の位置に空中像を形成することもできる。
図1(B)は、映像表示装置10の内部構成を示す。映像表示装置10は、空中像の原画像を表示する映像表示部1102と、入力された映像をパネルの解像度に合わせて変換する映像制御部1160と、映像音声信号を受信・入力する映像・音声信号受信部1130とを含む。
このうち、映像・音声信号受信部1130は、例えば、HDMI(High-Definition Multimedia Interface)(登録商標)などの入力インタフェースを通じての有線での入力信号への対応と、Wi-Fi(Wireless Fidelity)(登録商標)などの無線入力信号への対応を行う役割を担う。また、映像・音声信号受信部1130は、映像受信・表示装置として単独で機能することもできる。さらに、映像・音声信号受信部1130は、タブレット端末、スマートフォンなどからの映像・音声情報を表示・出力することもできる。さらにまた、映像・音声信号受信部1130は、必要に応じてスティックPCなどのプロセッサ(演算処理装置)を接続することもでき、この場合、映像信号・音声信号受信部全体として、計算処理や映像解析処理などの能力を持たせることもできる。
[空間浮遊映像表示装置の機能ブロック]
図2は、空間浮遊映像表示装置1の機能ブロック図を示す。映像表示部1102は、映像信号に基づいて、映像表示部1102を透過する光を変調することで、映像を生成する。映像表示部1102は、表示パネル、または液晶パネル、または液晶表示パネルと称する場合がある。映像表示部1102は、例えば、透過型表示パネルを用いてもよく、場合によっては、映像信号に基づいてパネルに反射する光を変調する反射型表示パネルや、DMDパネル(DMD:Digital Micromirror Device、登録商標)などを用いて構成されてもよい。
空間浮遊映像表示装置1は、図2に示すように、レンチキュラーレンズ1103を有している。レンチキュラーとは、シート状のレンチキュラーレンズを用いて、見る角度によって絵柄が変化したり、立体感が得られたりする印刷物のことである。レンチキュラーレンズは、その表面が、半円筒状(言い換えると、半楕円筒状。後述の図14)を有するレンズの集合体であり、1つのレンズ(半円筒状レンズ)の下部には、多視点画像(または映像)の視点の数に相当する、異なる映像を表示する映像表示部1102が配置されている。本実施例では、レンチキュラーレンズ1103が、映像表示部1102の映像光出射側に配置されている。具体的には、レンチキュラーレンズ1103は、映像表示部1102の映像光出射側と所定距離を介して配置されている。また、空間浮遊映像表示装置1は、映像表示部1102から出射された映像光を、レンチキュラーレンズ1103を通して、多視点画像(または多視点映像)を表示し、利用者がその多視点画像(または多視点映像)を観察することができる。
図2の構成によれば、利用者が、レンチキュラーレンズ1103を形成する半円筒状レンズが並んでいる方向(例えば、左右の方向)に移動することにより、利用者はそれぞれの位置から異なる画像(または映像)を見ることができる。従って、上記異なる画像(または映像)を、1つの被写体に対して、撮影方向が異なる撮影画像(または映像)とする。このことで、利用者は、レンチキュラーレンズを介して、運動視差を伴う多視点立体像として、映像表示部1102を構成する液晶パネル上に表示された画像(または映像)を視認することができる。
再帰性反射部1101は、映像表示部1102により変調された光を再帰反射する。再帰性反射部1101からの反射光のうち、空間浮遊映像表示装置1の外部に出力された光が空間浮遊映像3を形成する。光源1105は、映像表示部1102用の光を発生する。光源1105は、例えばLED光源、レーザ光源などの固体光源が用いられる。電源1106は、外部から入力されるAC電流をDC電流に変換し、光源1105に電力を供給する。さらに、電源1106は、その他各部にそれぞれ必要なDC電流を供給する。
導光体1104は、光源1105で発生した光を導いて映像表示部1102に照射する。導光体1104と光源1105との組み合わせを映像表示部1102のバックライトと称することもできる。導光体1104や光源1105の組み合わせは、様々な方式が考えられる。なお、図2に示すように、映像表示部1102と導光体1104と光源1105の3つの部品から構成される部分を、特に、映像表示装置10と呼ぶ。
空中操作検出センサ1351は、ユーザの手指による空間浮遊映像3の操作(空中操作とも記載)を検出するために、空間浮遊映像3の表示範囲と少なくとも一部に重畳する範囲、またはすべての表示範囲に重畳する範囲をセンシングするセンサである。空中操作検出センサ1351は、具体的なセンサ構成としては、赤外線などの非可視光、非可視光レーザ、超音波などを用いた距離センサや、これを複数組み合わせて2次元平面の座標を検出できる構成としたものでもよい。また、空中操作検出センサ1351は、後述するToF(Time of Flight)方式のLiDAR(Light Detection and Ranging)として構成してもよい。
空中操作検出部1350は、空中操作検出センサ1351が取得したセンシング信号を取得し、これに基づいて、ユーザの手指による空間浮遊映像3への接触の有無や、空間浮遊映像3における当該接触の位置の算出を行う。空中操作検出部1350は、FPGAなどの回路で構成されてもよい。
空中操作検出センサ1351および空中操作検出部1350(これらをセンシングシステムと記載する場合がある)は、空間浮遊映像表示装置1に内蔵する構成としてもよいが、空間浮遊映像表示装置1とは別体の外部に設けてもよい。別体に設ける場合は、有線または無線の通信接続路や映像信号伝送路を介して空間浮遊映像表示装置1に情報または信号を伝達できるように構成すればよい。空中操作検出センサ1351および空中操作検出部1350の両者を別体で設けてもよい。この場合は、空中操作検出機能の無い空間浮遊映像表示装置1を本体として、空中操作検出機能のみをオプションで追加できるシステムを構築可能である。また、空中操作検出センサ1351のみを別体とし、空中操作検出部1350を空間浮遊映像表示装置1に内蔵してもよい。空間浮遊映像表示装置1の設置位置に対して空中操作検出センサ1351をより自由に配置したい場合などは、空中操作検出センサ1351のみを別体とする構成に利点がある。
撮像部1180は、イメージセンサを有する、いわゆるカメラであり、空間浮遊映像3の付近の空間、および/または、ユーザの顔、腕、指などを撮像する。撮像部1180は、用途に応じて、複数のカメラや、深度センサ付きカメラが用いられてもよい。撮像部1180は、空間浮遊映像表示装置1とは別体に設けてもよい。撮像部1180は、複数のカメラや深度センサ付きカメラを用いる場合には、ユーザによる空間浮遊映像3へのタッチ操作、言い換えると空間浮遊映像3の面に接触する空中操作、の検出について、空中操作検出部1350を補助してもよい。
例えば、空中操作検出センサ1351が、空間浮遊映像3が属する平面を対象として、当該平面内への物体侵入センサとして構成された場合、当該平面内へ侵入していない物体(例えばユーザの指)がどのくらい当該平面に近いのか、空中操作検出センサ1351のみでは検出できない場合がある。このような場合には、撮像部1180における複数のカメラの撮像結果による深度算出情報や深度センサによる深度情報を用いることにより、当該空間浮遊映像3の平面内へ侵入していない物体(例えばユーザの指)と当該平面との距離を算出可能となる。この算出情報を、空間浮遊映像3における各種表示制御に用いることができる。
あるいは、本システムは、空中操作検出センサ1351を用いずに、撮像部1180の撮像結果に基づいて、空中操作検出部1350がユーザによる空間浮遊映像3のタッチ操作(空中操作)を検出するように構成されてもよい。
撮像部1180が空間浮遊映像3を操作するユーザの顔などを撮像し、撮像画像に基づいて、制御部1110がユーザの識別・特定処理、あるいはユーザの認証処理を行うように構成されてもよい。あるいは、空間浮遊映像3を操作するユーザの周辺や背後に他の人が立っていて、空間浮遊映像3に対するユーザの操作を覗き見ていないかなどを判別するために、空間浮遊映像3を操作するユーザの周辺を含めて撮像するように、撮像部1180が構成されてもよい。
操作入力部1107は、操作ボタンやリモコン受光部であり、空間浮遊映像3に対する空中操作とは異なる、ユーザによる操作に関する信号を入力する。操作入力部1107は、空間浮遊映像3をタッチ操作する上述のユーザとは別に、空間浮遊映像表示装置1の管理者が、本システムを操作するために用いてもよい。
映像信号入力部1131は、外部の映像出力装置を接続して映像データを入力する機能を有する。音声信号入力部1133は、外部の音声出力装置を接続して音声データを入力する機能を有する。一方、音声信号出力部1140は、音声信号入力部1133に入力された音声データに基づいた音声信号を出力する機能を有する。また、音声信号出力部1140は、予めストレージ部1170に記録されている、数字や文字列などの音声データ、その他の操作音やエラー警告音のデータに基づいた音声信号を出力してもよい。なお、映像信号入力部1131、音声信号入力部1133を合わせて、映像・音声信号入力部1130と呼ぶ。映像信号入力部1131と音声信号入力部1133はそれぞれの構成でもよいが、合わせて1つでも構わない。
音声信号出力部1140は、スピーカまたは超指向性スピーカ30に接続される。音声信号出力部1140は、通常の可聴帯域の音声を出力するスピーカに接続してもよいが、特に、秘匿性が高くセキュリティに配慮する必要がある場合には、ユーザ以外の他の人には聞き取ることができないように、超指向性スピーカに接続してもよい。超指向性スピーカとは、特定の限られた空間領域に存在する人の耳のみには可聴帯域の音声を聴取でき、その特定の空間領域の外に存在する人の耳にはその可聴帯域の音声を聴取できないという特性を有するスピーカである。
超指向性スピーカ30は、例えば、40kHz程度の超音波信号を発生できる超音波出力素子を平面上に複数個並べることで構成される。この時、使用する超音波出力素子の数が多いほど、超指向性スピーカによって得られる音声の音量は大きくなる。超指向性スピーカの原理を簡単に説明する。よく知られるように、超音波は可聴帯域の音声(例えば人の話し声)と比較して直進性が高い。従って、40kHzの超音波信号をキャリア(搬送波)として、キャリアを可聴帯域の音声信号で変調(例えばAM変調)することで、特定の限られた空間領域だけで音声が聞こえるようにすることが可能となる。
例えば、撮像部1180として複数のカメラを用いることで、ユーザの顔や耳の位置を特定し、その特定の結果に応じて、超指向性スピーカ30からの出力によって、ユーザの耳の近傍領域においてのみ音声が聞こえるようにすることができる。具体的には、超指向性スピーカ30を構成する超音波出力素子に入力する超音波信号の位相(言い換えると遅延時間)を制御することで、特定の限られた空間領域だけで音声が聞こえるようにすることができる。また、複数の超音波出力素子を、平面上ではなく、例えば、凹面状の面に配置する構成によっても、特定の限られた空間領域だけで音声が聞こえるようにすることができる。
不揮発性メモリ1108は、空間浮遊映像表示装置1で用いる各種データを格納する。不揮発性メモリ1108に格納されるデータには、空間浮遊映像3として表示される各種操作用のデータ、アイコンやボタンなどのユーザインタフェース映像情報、ユーザが操作するためのオブジェクトのデータやレイアウト情報なども含まれてもよい。メモリ1109は、空間浮遊映像3として表示する映像データや装置の制御用データを記憶する。
制御部1110は、空間浮遊映像表示装置1のコントローラ、言い換えると制御装置に相当し、接続される各部の動作を制御する。制御部1110は、プロセッサなどのデバイスを備えている。制御部1110は、不揮発性メモリ1108やストレージ部1170からメモリ1109または内蔵メモリに読み出したプログラムに従った処理を実行する。これにより、各種の機能が実現される。制御部1110は、メモリ1109に格納されるプログラムと協働して、接続される各部から取得した情報に基づいた演算処理を行ってもよい。制御部1110は、空間浮遊映像表示装置1を構成する筐体内に、マイコンなどを用いて実装されてもよいし、筐体外に接続・実装されてもよい。
通信部1132は、有線または無線の通信インタフェースを介して、外部機器や外部のサーバなどと通信を行う。通信部1132は、当該通信により、映像、画像、音声、各種データを送受信する。
ストレージ部1170は、映像、画像、音声、各種データなどを記録する。例えば、製品出荷時に、予め、映像、画像、音声、各種データなどをストレージ部1170に記録しておいてもよい。通信部1132を介して外部機器や外部のサーバなどから取得した映像、画像、音声、各種データなどをストレージ部1170に記録してもよい。ストレージ部1170に記録された映像、画像、各種データなどは、映像表示部1102、映像表示装置10、および再帰性反射部1101を介して、空間浮遊映像3として出力可能である。
空間浮遊映像3にユーザインタフェース(後述の操作メニューや人物像を含む)として表示する、アイコン、ボタン、ユーザが操作するためのオブジェクトなどのデータや、人物像を構成するデータも、ストレージ部1170に記録する映像や画像のデータに含まれていてもよい。また、空間浮遊映像3にユーザインタフェースとして表示するアイコン、ボタン、オブジェクトなどの操作メニューや人物像のレイアウト情報や、操作メニューや人物像に関する各種メタデータなどの情報も、ストレージ部1170に記録する各種データに含まれていてもよい。また、空間浮遊映像3の人物像が音声出力するための音声データも、ストレージ部1170に記録されていてもよい。ストレージ部1170に記録されている音声データは、音声信号出力部1140を介して、スピーカまたは超指向性スピーカ30から音声信号として出力すればよい。
制御部1110、または、映像制御部1160や音声信号出力部1140は、ストレージ部1170や不揮発性メモリ1108などに記憶されている、操作メニューや人物像を構成するための各種データに基づいて、操作メニューや人物像を表示・出力するための映像データや音声データを適宜に作成してもよい。
映像制御部1160は、映像表示部1102に入力する映像信号についての各種制御を行う。映像制御部1160は、例えば、メモリ1109に格納する映像と、映像信号入力部1131で入力した映像などのうち、どの映像を映像表示部1102に入力する映像とするかなどの映像切り替え制御を行ってもよい。あるいは、映像制御部1160は、メモリ1109に格納する映像と、映像信号入力部1131で入力した映像とを重畳し、映像表示部1102に入力する合成映像を生成する制御を行ってもよい。また、映像制御部1160は、映像信号入力部1131で入力した映像データやメモリ1109に格納する映像などに対して画像処理の制御を行ってもよい。画像処理としては、例えば、画像の拡大、縮小、変形などを行うスケーリング処理や、輝度を変更するブライト調整処理や、画像のコントラストカーブを変更するコントラスト調整処理や、画像を光の成分に分解して成分ごとの重み付けを変更するレティネックス処理などがある。
また、映像制御部1160は、映像表示部1102に入力する映像に対して、ユーザの空中操作を補助するための特殊効果映像処理などを行ってもよい。特殊効果映像処理は、空中操作検出部1350によるユーザ操作の検出結果や、撮像部1180によるユーザの撮像結果に基づいて制御されればよい。
上述のように、空間浮遊映像表示装置1には、様々な機能を搭載可能である。しかしながら、空間浮遊映像表示装置1は、必ずしも上述した構成のすべてを有する必要は無い。空間浮遊映像表示装置1は、少なくとも空間浮遊映像3を生成する機能があれば、どのような構成でもよい。
[空間浮遊映像の形成に関する第1方式]
図3は、実施例の空間浮遊映像表示装置における主要部構成を示し、また、空間浮遊映像3の形成、および再帰反射部材2の構成に関する一例(第1方式とする)を示す。
図3(A)に示すように、この空間浮遊映像表示装置は、ガラスなどの透光性を有する透過性プレートである透明部材100に対し、斜め方向に、特定偏波の映像光を挟角に発散させる映像表示装置10を備える。映像表示装置10は、液晶表示パネル11と、挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えている。
映像表示装置10から出射された特定偏波の映像光は、透明部材100に設けられた、特定偏波の映像光を選択的に反射する膜を有する偏光分離部材101で反射され、反射された光が、再帰反射部材2に入射する。図3中では、シート状に形成された偏光分離部材101が、透明部材100に粘着されている。
透明部材100に対し、他方の斜め方向に、再帰反射部材2が設けられている。再帰反射部材2の映像光入射面には、λ/4板21(言い換えると四分の一波長板)が設けられている。映像光は、再帰反射部材2への入射の際と出射の際との計2回、λ/4板21を通過させられることで、特定偏波(一方の偏波)から他方の偏波へ偏光変換される。
ここで、特定偏波の映像光を選択的に反射する偏光分離部材101は、偏光変換後の他方の偏波の偏光については透過する性質を有する。よって、偏光変換後の他方の偏波の映像光は、偏光分離部材101を透過する。偏光分離部材101を透過した映像光は、図示のように、透明部材100の外側に、実像である空間浮遊映像3を形成する。
なお、空中浮遊映像3を形成する光は、再帰反射部材2から空中浮遊映像3の光学像へ収束する光線の集合であり、これらの光線は、空中浮遊映像3の光学像を通過後も直進する。よって、空中浮遊映像3は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像である。
よって、図3の構成では、矢印Aの方向からユーザが視認する場合には空中浮遊映像3は明るい映像として視認されるが、例えば矢印Bの方向から他の人物が視認する場合には、空中浮遊映像3は映像として一切視認できない。このような空中浮遊映像3の特性は、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムなどに採用する場合に、非常に好適である。
なお、再帰反射部材2の性能によっては、反射後の映像光の偏光軸が不揃いになることがある。この場合、偏光軸が不揃いになった一部の映像光は、上述した偏光分離部材101で反射されて映像表示装置10の方に戻る。この一部の映像光は、映像表示装置10を構成する液晶表示パネル11の映像表示面で再反射し、ゴースト像を発生させる。これにより、空間浮遊像3の画質の低下を引き起こす要因になり得る。
そこで、本実施例では、映像表示装置10の映像表示面に吸収型偏光板12が設けられている。吸収型偏光板12は、映像表示装置10から出射する映像光を当該吸収型偏光板12にて透過させ、偏光分離部材101から戻ってくる反射光を当該吸収型偏光板12で吸収させることで、再反射を抑制できる。従って、吸収型偏光板12を用いる本実施例によれば、空間浮遊映像3のゴースト像による画質低下を防止または抑制できる。
上述した偏光分離部材101は、例えば反射型偏光板や特定偏波を反射させる金属多層膜などで形成すればよい。
図3(B)は、第1方式で用いる再帰反射部材2の構成例を示す。図3(B)には、代表的な再帰反射部材2として、今回の検討に用いた日本カーバイド工業株式会社製の再帰反射部材の表面形状を示す。この再帰反射部材2は、表面において、規則的に配列された6角柱の再帰反射部(再帰反射素子)2aを有する。6角柱の内部に入射した光線は、6角柱の壁面と底面で反射され、再帰反射光として、入射光に対応した方向に出射し、映像表示装置10に表示した映像に基づいて実像である空間浮遊映像3を表示する。
この空間浮遊映像3の解像度は、液晶表示パネル11の解像度の他に、図3(B)で示す再帰反射部材2の再帰反射部2aの外形DとピッチPに大きく依存する。例えば、7インチのWUXGA(1920×1200画素)の液晶表示パネル11を用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部2aの直径Dが240μmでピッチPが300μmであれば、空間浮遊映像3の1画素は300μm相当となる。このため、空間浮遊映像3の実効的な解像度は、1/3程度に低下する。そこで、空間浮遊映像3の解像度を映像表示装置10の解像度と同等にするためには、再帰反射部2aの直径DとピッチPを液晶表示パネル11の1画素に近づけることが望まれる。他方、再帰反射部材2aと液晶表示パネル11の画素によるモアレの発生を抑えるためには、それぞれのピッチ比を1画素の整数倍から外して設計するとよい。
また、形状は、再帰反射部2aのいずれの一辺も液晶表示パネル11の1画素のいずれの一辺と重ならないように配置するとよい。
一方、再帰反射部材2を低価格で製造するためには、ロールプレス法を用いて成形するとよい。この方法は、具体的には、再帰反射部2aを整列させフィルム上に賦形する方法である。この方法は、賦形する形状の逆形状をロール表面に形成し、固定用のベース材の上に紫外線硬化樹脂を塗布し、ロール間を通過させることで、必要な形状を賦形し、紫外線を照射して硬化させ、所望形状の再帰反射部材2を得る。
[空間浮遊映像の形成に関する第2方式]
次に、図4は、本実施例の空間浮遊映像表示装置における空間浮遊映像3の形成、および再帰反射部材の構成に関する他の一例(第2方式とする)を示す。図4(A)は、第2方式での再帰反射部材330を用いた空間浮遊映像3の形成の概要を示す。再帰反射部材330に対し、一方の空間(本例ではZ方向で下側の空間)内にある物体P(対応する点P)からの光は、再帰反射部材330に入射し、再帰反射されて、他方の空間(本例ではZ方向で上側の空間)内に、空間浮遊映像331(対応する点Q)を形成する。
図4(B)は、代表的な再帰反射部材330として、今回の検討に用いた株式会社アスカネット製の再帰反射部材の動作原理を説明するための表面形状を示す。再帰反射部材330は、表面(図示のX-Y面)において、規則的に配列された4面の構造体(言い換えると四面体)330Aを有する。側壁330B間に、複数の構造体330Aが配列されている。4面の構造体330Aは、例えばZ方向に延在する四角柱形状を有するマイクロミラーである。例えば物体Pからの光(物体光とも記載)が4面の構造体330Aの内部に入射する。4面の構造体330Aの内部に入射した光線は、4面の構造体330Aの壁面のうち、2つの面(例えば反射面RS1と反射面RS2)で反射される。反射された光線(反射面RS1から上側へ出射される光線と、反射面RS2から上側へ出射される光線との両方)を、反射光R0として示す。反射光R0は、再帰反射光として、入射光に対応した方向に出射し、図4(A)のように、物体Pに基づいた実像である空間浮遊映像331を形成・表示する。
この空間浮遊映像331の解像度も、前述した図3の第1方式の再帰反射部材2と同様に、再帰反射部材330の再帰反射部(4面の構造体330A)の外形(直径)DSとピッチPTに大きく依存する。例えば、7インチのWUXGA(1920×1200画素)の液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、例えば再帰反射部の外形(直径)DSが120μmでピッチPTが150μmであれば、空間浮遊像331の1画素は150μm相当となる。このため、空間浮遊映像331の実効的な解像度は、1/2程度に低下する。
そこで、空間浮遊映像331の解像度を映像表示装置10の解像度と同等にするためには、再帰反射部(構造体330A)の直径DSとピッチPTを、液晶表示パネルの1画素に近づけることが望まれる。他方、再帰反射部材330と液晶表示パネルの画素によるモアレの発生を抑えるためには、前述のようにそれぞれのピッチ比を1画素の整数倍から外して設計するとよい。また、形状は、再帰反射部(構造体330A)のいずれの一辺も液晶表示パネルの1画素のいずれの一辺と重ならないように配置するとよい。
なお、空間浮遊映像331を形成する光は、再帰反射部材330から空中浮遊映像331の光学像へ収束する光線の集合であり、これらの光線は、空中浮遊映像331の光学像を通過後も直進する。よって、空間浮遊映像331は、一般的なプロジェクタなどでスクリーン上に形成される拡散映像光とは異なり、高い指向性を有する映像となる。
図4の構成では、矢印Aの方向からユーザが視認する場合には、空間浮遊映像331は、明るい映像として視認されるが、例えば矢印Bの方向から他の人物が視認する場合には、空間浮遊映像331は映像として一切視認できない。このような空間浮遊映像331の特性は、前述の第1方式の再帰反射部材2を用いた空中浮遊映像と同様に、高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示するシステムなどに採用する場合に、非常に好適である。
なお、第2方式の再帰反射部材330においては、物体Pからの光は、図4(B)に示すように、再帰反射部材330に対して一方の側(Z方向の下側)から入射し、再帰反射部材330を構成する4面の壁面に設けられた2つの反射面(RS1,RS2)で反射し、反射光R0として、他方の側(Z方向の上側)に、点Qの位置に、空間浮遊映像331を結像する。この時、2つの反射面(RS1,RS2)では、反射光R0とは反射方向が異なる光として異常光R1,R2が発生する。2つの反射面(RS1,RS2)で発生した異常光R1,R2により、図4(A)に示すようなゴースト像332,333を発生させる。このため、ゴースト像332,333が空間浮遊映像331の画質の低下を引き起こす要因となり得る。
上述したように、第1方式での再帰反射部材2は、反射面の数に応じてゴースト像が発生する。それに対し、第2方式での再帰反射部材330は、物体光の入射角度により特定の2方向にのみゴースト像が発生する。よって、第2方式での再帰反射部材330の方が、ゴースト像の影響が少なく、高画質な空間映像表示が可能となる。そのため、以下に示す空間浮遊映像表示装置としては、第2方式の再帰反射部材330を適用する場合に絞って説明する。
[ゴースト像を低減する技術手段]
ゴースト像を低減した高画質な空間浮遊映像を形成できる空間映像表示装置などを実現するためには、映像表示素子としての液晶表示パネルからの映像光の発散角を制御して、所望の方向に曲げるために、液晶表示パネルの出射面に映像光制御シートを設けるとよい。さらに、再帰反射部材330の光線出射面、または光線入射面、またはそれらの両面に、映像光制御シートを設けて、ゴースト像を発生させる要因となる異常光R1,R2(図4(B))を吸収させるとよい。
図5には、上記映像光制御シートを空間浮遊映像表示装置に適用する具体的な方法および構成例を示す。図5では、映像光制御シート334が、映像表示素子である液晶表示パネル335の出射面に設けられる。図5では、液晶表示パネル335の出射面を、図示のX軸とY軸とが為す平面(X-Y面)として示している。映像光制御シート334は、主面(X-Y面)において、透過部と光吸収部とを有している。この場合に、液晶表示パネル335の画素と映像光制御シート334の透過部および光吸収部とのピッチによる干渉によってモアレが発生し得る。このモアレを低減するためには、以下に示す2つの方法が有効である。
(1)第1の方法としては、映像光制御シート334の透過部と光吸収部により生じる縦縞(図示の斜め線)を、液晶表示パネル335の画素の配列(X軸およびY軸)に対して、所定の角度(傾き)θ0だけ傾けて配置する。
(2)第2の方法としては、液晶表示パネル335の画素寸法をA、映像光制御シート334の縦縞のピッチをBとした場合に、これらの比率(B/A)を、整数倍から外した値に選択する。液晶表示パネル335の1画素は、RGBの3色のサブ画素が並列して成り、一般的には正方形であるため、上述したモアレの発生を画面全体で抑えることはできない。このため、(1)の第1の方法に示した傾きθ0は、空間浮遊映像を表示させない箇所にモアレの発生位置を意図的にずらして配置できるように、5度から25度の範囲内で最適化すればよい。
上記モアレを低減するために、液晶表示パネルと映像光制御シート334を題材に述べたが、再帰反射部材330に映像光制御シート334を設ける場合に再帰反射部材330と映像光制御シート334との間に発生するモアレについても、同様の方法・構成が適用できる。再帰反射部材330と映像光制御シート334は、両者が線状の構造体であるため、映像光制御シート334を、再帰反射部材330のX軸およびY軸に着目して最適に傾ければよい。これにより、目視でも視認できる、波長が長く周波数が低い大柄なモアレを低減できる。
図6(A)は、液晶表示パネル335の映像光出射面3351に映像光制御シート334が配置された構成を有する映像表示装置10の垂直断面図を示す。映像光制御シート334は、主面において、光透過部336と光吸収部337とが交互に配置して構成され、粘着層338により、液晶表示パネル335の映像光出射面3351に粘着固定されている。
また、前述したように、映像表示装置10として7インチのWUXGA(1920×1200画素)の液晶表示パネルを用いる場合には、1画素(1トリプレット)(図中のAで示す)が約80μmであっても、以下の構成で、空間浮遊映像331の両側に発生する図4(A)のゴースト像332,333を軽減できる。例えば、映像光制御シート334のピッチBとして、光透過部336の距離d2が300μmと、光吸収部337の距離d1が40μmとからなるピッチBを340μmとする。この場合、映像光制御シート334により、十分な透過特性と、異常光の発生原因となる映像表示装置10からの映像光の拡散特性とを制御することで、ゴースト像を軽減できる。この場合、映像光制御シート334の厚さは、ピッチBの2/3以上とすると、ゴースト低減効果が大幅に向上する。
図6(B)は、再帰反射部材330(図4)の映像光出射面に映像光制御シート334が配置された構成の垂直断面図を示す。映像光制御シート334は、光透過部336と光吸収部337とが交互に配置されて構成され、再帰反射部材330に対し、再帰反射光3341の出射方向に合わせて所定の傾斜角θ1を持って傾斜配置されている。この結果、映像光制御シート334によって、前述した再帰反射に伴って発生する異常光R1,R2(図4(B))を吸収し、他方、正常反射光は、再帰反射光3341として、損失無く透過させることができる。
再帰反射部材330は、前述の4面の構造体330A(図4)による再帰反射部に対応する空間3301が配列されている。再帰反射部に対応する空間3301は、側壁330Bの面によって区切られている。空間3301内は例えば反射面R1や反射面R2を有する。再帰反射部材330に対し、例えば下側から入射した光a1は、例えば空間3301の反射面RS1で反射され、反射された光a2はさらに例えば反射面RS2で反射されて、再帰反射部材330の上側に出射する。その出射した光は、映像光制御シート334に入射されて、再帰反射光3341として出射される。
7インチのWUXGA(1920×1200画素)の液晶表示パネルを用いる場合には、1画素(1トリプレット)が約80μmであっても、図4(A)のような構成で、空間浮遊映像331の両側に発生するゴースト像332,333を軽減できる。図6(B)に示すように、例えば、映像光制御シート334のピッチBとして、再帰反射部材330の光透過部336の距離d2が400μmと、光吸収部337の距離d1が20μmとからなるピッチBが420μmとする。この場合、映像光制御シート334により、十分な透過特性と、再帰反射部材330での異常光の発生原因となる映像表示装置10からの映像光の拡散特性を制御し、ゴースト像を軽減できる。
上述した映像光制御シート334は、他方、外界からの外光が空間浮遊映像表示装置内に侵入する妨げにもなるため、構成部品の信頼性向上にも繋がる。この映像光制御シート334としては、例えば信越ポリマー(株)の視野角制御フィルム(VCF)が適している。そのVCFの構造は、透明シリコンと黒色シリコンとが交互に配置され、光入出射面に合成樹脂が配置されて、サンドウィッチ構造となっている。そのため、このVCFを本実施例の映像光制御シート334として適用した場合に、上述の効果が期待できる。
[空間浮遊映像に対する操作をセンシングする技術]
ユーザ(利用者、操作者、観視者などと記載する場合もある)は、空間浮遊映像表示装置1による空間浮遊映像3(図2など)を介して、空間浮遊映像表示装置1と双方向で接続される。言い換えると、ユーザは、空間浮遊映像3を見て操作することで、空間浮遊映像表示装置1のアプリケーション、例えば、空間浮遊映像としてテンキー等を表示した電話機としての機能などを利用する。そのために、ユーザが空間浮遊映像3を疑似的に操作してその操作をセンシングするためのセンシング技術が必要である。このセンシング技術の例について、以下に具体例を挙げて説明する。ここでいう「センシング技術」とは、図2を用いて説明した空中操作検出センサ1351および空中操作検出部1350を含み、特に、3次元空間におけるユーザの操作(言い換えると空中操作)を検出するための技術である。空中操作検出センサ1351および空中操作検出部1350を、センシングシステムと記載する場合がある。
図7(A)は、第1のセンシング技術を説明するための原理図を示す。図7(A)に示すように、空間浮遊映像FIに対するセンシングエリアa0、a1、a2、a3は、それぞれ複数のエリア(言い換えると領域)に分割される。本実施例では、センシングエリアa0、a1、a2、a3は、縦横で3×4=12のエリアに12分割されている。図7(A)では、空間浮遊映像FIの面をx-y面として示しており、面に対する前後方向をz方向で示している。例えば、図示のエリアA301は、センシング面a3のうちの左上の1つのエリアである。
第1のセンシング技術では、空間浮遊映像FIのそれぞれのエリアに対応したTOF(Time of Flight)システムを内蔵した第1の測距装置340が設けられる。第1の測距装置340は、図2での空中操作検出センサ1351の代わりに設けられる。第1の測距装置340の発光部から、システムの信号に同期させて、光源である近赤外線発光のLED(Light Emitting Diode)を発光させる。LEDの光線出射側には、発散角を制御するための光学素子が設けられ、受光素子としてピコ秒の時間分解能を持つ高感度なアバランシェダイオード(ABD)を一対として、12エリアに対応するように、縦4列、横3行に整列配置される。システムからの信号に同期させて、光源であるLEDが発光し、その光が、測距すべき対象物(ここではユーザの手指UHの先端)に反射して、受光部に戻るまでの時間だけ、位相のずれ(位相シフト)、すなわち、発光タイミングと受光タイミングの時間的なずれ、より具体的には、後述する、図9中のΔt0~Δt11が生じる。
図9(B)に示すセンシングシステムの演算ユニットは、システムからの信号と、第1の測距装置340の受光部であるアバランシェダイオードによって生成される信号とを受け取り、これらの信号から、位相シフトを計算することで、対象物までの距離を算出する。エリアごとに対応付けられたTOFシステム(TOF1~TOF12)ごとに、距離が算出される。図7(A)で、空間浮遊映像FIの面に対し、z方向で、対象物(手指UH)に近い側には、測距装置340の計測階層として、対象物に近い順に、センシング面a3,a2,a1(第1センシング面a3、第2センシング面a2、第3センシング面a1とも記載)を示し、さらに空間浮遊映像FIから離れる側に、計測階層として、センシング面a0を示す。距離L1はセンシング面a0までの距離、距離L2はセンシング面a1までの距離、距離L3はセンシング面a2までの距離、距離L4はセンシング面a3までの距離を示す。
次に、センシングシステムは、対象物(手指UH)の移動の方向については、それぞれの計測階層(センシング面a3~a1)において、12のエリアのどのエリアを通過したかを認識し、それぞれの計測階層の移動時間を前述した方法で算出することで、システムとして認識できる。
図9(A)には、12の測定エリアごとのLED光源の発光のタイミングと受光素子の受光のタイミングを示す。SU1~SU12は、各エリアおよびTOFに対応付けられたセンシングユニットごとの発光タイミングと受光タイミングを示す。図9(A)に示すように、センシングユニットSU1においては、発光タイミングと受光タイミングとの時間差はΔt0であり、センシングユニットSU2においては、発光タイミングと受光タイミングとの時間差はΔt1であり、センシングユニットSU12においては、発光タイミングと受光タイミングとの時間差はΔt11であることがわかる。ここで、センシングシステムは、LEDの発光のタイミングを12の測定エリアごとに遅延させることで、個々のデータを画一化させている。
実際に、システムに双方向で接続されるために、ユーザが、意思によって、空間浮遊映像FIに向けて手指UHを伸ばしたとする。その場合、センシングシステムは、空中浮遊映像FIから最も遠いセンシング面a3において例えばエリアA301で感知した第1感知信号S1と、例えばセンシング面a2の特定エリアで感知した第2の感知信号S2と、例えば第3センシング面a1の特定エリアで感知した第3の感知信号S3とを得る。センシングシステムは、これらの感知信号(S1~S3)によって、手指UHの移動方向とそれぞれのセンシング面を横切った時間差から、空間浮遊映像FIとの接点位置を計算処理して求める。
さらに高精度な位置情報を取得するため、空間浮遊映像FIから奥に離れた位置のセンシング面a0が設定される。センシングシステムは、センシング面a0での感知に基づいて、空間浮遊映像FIを手指UHが通過したことを終了信号として検知するとともに、その感知の位置座標と、前述した2つの感知信号とから、空間浮遊映像FIへの接触点を3次元座標として求める。
また、図7(B)は、ユーザの手指UH(特に指先端)によって空間浮遊映像FIの一部を選択する動作と、ユーザの手指UHが空間浮遊映像FIの一部から離れる動作とを示す。図7(B)に示すように、第1のセンシング技術では、ユーザが空間浮遊映像FIの所望の位置座標に接触した後、手指UHを戻した場合には、以下のようになる。すなわち、センシングシステムは、第1センシング面a1で感知した第1の感知信号S1、第2センシング面a2で感知した第2の感知信号S2、第3センシング面a3で感知した第3の感知信号S3を、順次、センシングシステムの演算ユニットに伝達し、計算処理する。これにより、空間浮遊映像FIの特定座標からユーザの手指UHが離れたことが、システム上で認識される。
次に、空間浮遊映像を疑似的に操作するためのさらに高精度なセンシング技術について以下に説明する。
図8(A)は、第2のセンシング技術を説明するための原理図を示す。第2のセンシング技術は、図7(A)に示した第1のセンシング技術との違いとしては、第1の測距装置340に加え、第2の測距装置341が配置併設され、より高精度なセンシングを実現する。第2のセンシング技術では、第2の測距装置341(特にCMOSセンサ)を第2センシングシステムとして、第1の測距装置340による第1センシングシステムと組み合わせて用いる。図8(A)に示すように、第2の測距装置341は、第1の測距装置340と同様の範囲(センシング面a1,a2,a3,a0)を対象としてセンシングする。
第1の測距装置340は、上述したように、空間浮遊映像FIにおける例えば12個に分割された複数のエリアの各エリアに対応したTOFシステムを内蔵している(図9(B)でのセンシングシステムを第1センシングシステムとする)。他方、第2の測距装置341は、2次元の画像センサ、例えばセンシングカメラ用途の1/4インチCMOSセンサを適用する。このCMOSセンサの縦横比は、3:4が一般的である。このため、本実施例では、そのCMOSセンサの縦横比に合わせて、第1の測距装置340のTOFシステムについても、センシングエリアを上述のように縦3分割、横4分割として合計12エリアとしている。
また、CMOSセンサの解像度は、100万画素程度でも十分な分解能が得られるが、通常のカメラシステムとは異なり、RGBの色分離フィルターを設ける必要が無い。そのため、CMOSセンサは、同一画素数では小型化や高感度化が実現できるばかりでなく、近赤外光に対する感度が高い。そのため、第2のセンシング技術では、第1の測距装置340のTOFシステムの光源光によって測距すべき対象物(手指UHの先端)がエリアごとに決められたタイミングで照明されるので、検知精度が大幅に向上する。詳解は省くが、図9(B)には、以上述べたシステムを機能ブロック図として示している。
図8(B)は、第1の測距装置340によるセンシング面a1,a2,a3と、それらに対応して設けられた、第2の測距装置341によるセンシング面b1,b2,b3と、を示す。そして、図8(B)は、それらのセンシング面に対する、手指UHによる、空間浮遊映像FIの一部を選択する動作や、一部から離れる動作を示す。
図8(B)に示すように、第2のセンシング技術を用いた空間浮遊映像表示装置においては、ユーザが意思によって空間浮遊映像FIに向けて手指UHを伸ばした場合、以下のようになる。この場合、上述した第1の測距装置340による3次元情報の他に、第2の測距装置341による3次元情報が得られる。空中浮遊映像FIから最も遠い第1の測距装置340のセンシング面a3に対応した第2の測距装置341のセンシング面b3の平面分解能は、使用しているCMOSセンサの解像度に合わせて高精度化できる。同様に、センシング面a2にはセンシング面b2が対応し、センシング面a1にはセンシング面b1が対応している。これにより、平面方向の分解能を大幅に向上させたセンシングシステムが実現できる。
この時、対象物(ユーザの手指UHの先端)の移動方向については、第1の測距装置340および第2の測距装置341のそれぞれのセンシング面を横切った時間差から、空間浮遊映像FIとの接点位置が、計算処理で求められる。さらに高精度な位置情報を取得するため、空間浮遊映像FIから奥側に離れたセンシング面a0が設定される。センシングシステムは、空間浮遊映像FIを手指UHが通過したことを終了信号として検知するとともに、そのセンシング面a0での位置座標と前述した2つの感知信号から、空間浮遊映像FIへの接触点を、より精細度の高い3次元座標として算出できる。
また、CMOSセンサのフレームレートを1/20秒から1/30秒、1/120秒と高速化した場合には、平面方向の検知精度に加え、単位時間当たりに取り込む平面情報が増えるため、分解能が大幅に向上する。この時、第2のセンシング技術による検出情報は、第1のセンシング技術による位置情報とは、システムから供給される同期信号により、系統付けされる。
さらに、図8(B)に示すように、ユーザが空間浮遊映像FIの所望の位置座標に接触した後、手指UHを戻した場合には、上述した第1のセンシング技術と同様に、第1のセンシング面a1で感知した第1の感知信号S1、第2センシング面a2で感知した第2の感知信号S2、第3センシング面a3で感知した第3の感知信号S3が、順次にセンシングシステムの演算ユニットに伝達される。そして、演算ユニットでの計算処理によって、空間浮遊映像FIの特定座標からユーザの手指UHが離れたことが、システム上で認識される。
以上述べたセンシングシステムの第1の測距装置340のTOFセンサで使用するLED光源は、測距装置の太陽光などの外光に対する精度低下を防ぎ、肉眼で視認できない可視光範囲(380nm~780nm)を超えた領域で光のエネルギーが高い近赤外光を用いるとよい。
図10には、太陽光の分光放射照度の特性図を示している。TOFセンサのLEDの光源光の波長としては、図10に示した太陽光の分光放射照度のエネルギーが少ない920nmの波長λ1の光を用いるとよい。
<空間浮遊映像表示装置の第2の構成例>
図12(A)は、一実施例に係る空間浮遊映像表示装置1の主要部構成を示す。また、図12(B)は、図12(A)に示す映像表示装置10の映像光出射側、つまり液晶表示パネル11の映像光出射側に配置されたレンチキュラーレンズ1103の拡大図である。図12(A)に示す空間浮遊映像表示装置1は、監視者(観視者)であるユーザが空間浮遊映像3を斜め上方から観察するのに適したシステムである。図12(A)中の座標系(X,Y,Z)では、空間浮遊映像表示装置1の筐体350が水平面(X-Y面)に配置されており、空間浮遊映像3は、鉛直方向(Z方向)に対し、前後方向(Y方向)でやや斜めに傾いて形成されている。ユーザの視点Eから、空間浮遊映像3の面を正対して好適に視認する場合、視点Eは、図示のように、空間浮遊映像3の面に対し、光軸J2に合わせて、Y方向でやや斜め上に配置される。ユーザは、視点EからY方向でやや斜め下の視線で空間浮遊映像3を好適に視認できる。
一方、図12(B)は、液晶表示パネル11より出射された光の方向と逆方向から見た図である。図12(B)に示すように、レンチキュラーレンズ1103は、液晶表示パネル11の光出射面に略平行または平行して配置され、かつ、液晶表示パネル11面より出射される映像光側に配置される。また、レンチキュラーレンズ1103の複数の半円筒(半円筒状レンズ)は、X-Z平面から見て縦に伸びて並んで配置される。なお、上記座標系(X,Y,Z)は、図12(A),(B)で共通である。
筐体350内には、映像表示装置10などが所定の位置関係で配置されている。筐体350の上面(X-Y面)は、開口部を有しており、所定の角度α1で、再帰反射部材330が配置されている。映像表示装置10の光軸J1は、Y方向に対し所定の角度β1で斜め上を向いている。
映像表示装置10は、映像表示素子としての液晶表示パネル11と、挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えて構成されている。液晶表示パネル11は、画面サイズが5インチ程度の小型のものから80インチを超える大型なものまで適用可能であり、それらから選択されたパネルで構成される。液晶表示パネル11からの映像光は、光軸J1上、再帰反射部材330(再帰反射部または再帰反射板とも記載)に向けて出射される。液晶表示パネル11には、狭発散角な光源装置13からの光を入射させる。これにより、狭発散角な映像光束φ1が生成される。その狭発散角な映像光束φ1を、光軸J1に沿って、Z方向で下側から再帰反射部材330に入射させる。この再帰反射部材330での再帰反射により、前述の図4で説明した原理に従って、再帰反射部材330に対しZ方向で上側に、光軸J2の方向に、狭発散角な映像光束φ2が生成される。その映像光束φ2により、筐体350の外の所定の位置に、空間浮遊映像3(図4での空間浮遊映像331)が得られる。光軸J2は、Y方向に対し所定の角度β2で斜め上を向いている。
空間浮遊映像3は、再帰反射部材330を対称面とした映像表示装置10の対称位置に形成される。斜めに配置された再帰反射部材330の面に対し、映像表示装置10の面と空間浮遊映像3の面とが概略的に略対称な位置または対称的な位置に配置されている。空間浮遊映像3の面において、r2は光軸J2に対応した中心位置を示し、r1は映像光束φ2の下端の光線に対応した下端位置を示し、r3は映像光束φ2の上端の光線に対応した上端位置を示す。
この構成において、図4で説明した、再帰反射部材330により発生するゴースト像332,333を消去して高画質な空間浮遊映像3を得るために、液晶表示パネル11の出射側には、映像光制御シート334(詳しくは前述の図5や図6(A))が設けられている。これにより、不要な方向の拡散特性が制御される。
さらに、液晶表示パネル11からの映像光は、図11に示すように、再帰反射部材330などの反射部材での反射率を原理的に高くできるので、S偏波(電界成分が入射面に垂直な電磁波、SはSenkrechtの略)を使用するとよい。しかしながら、ユーザが偏光サングラスを使用した場合には、空中浮遊映像3が偏光サングラスで反射または吸収されるため、これに対策する場合には、P偏波(電界成分が入射面に平行な電磁波、Pはparallelの略)を使用するとよい。そのためには、特定偏波の映像光の一部を光学的に他方の偏波に変換して疑似的に自然光に変換する素子として、図示の偏光解消素子339が設けられる。例えば偏光解消素子339が映像光制御シート334の出射側に配置されている。これにより、ユーザが偏光サングラスを使用している場合でも、良好な空間浮遊映像3を観視できる。
偏光解消素子339の市販品としては、コスモシャインSRF(東洋紡社製)、偏光解消粘着剤(長瀬産業社製)が挙げられる。コスモシャインSRF(東洋紡社製)の場合、画像表示装置上に粘着剤を貼合することにより、界面の反射を低減して輝度を向上させることができる。また、偏光解消粘着剤(長瀬産業社製)の場合、無色透明板と画像表示装置とを偏光解消粘着剤を介して貼合することで使用される。
また、本実施例では、再帰反射部材330の映像出射面にも、映像光制御シート338B(映像光制御シート338と同様のもの、詳しくは前述の図6(B))が設けられる。これにより、不要光による空間浮遊映像3の正規像の両側に発生するゴースト像332,333(図4)が消去される。
本実施例では、再帰反射部材330を水平軸(Y方向)に対して所定の角度α1で傾斜させ、空間浮遊映像3を水平軸に対して斜め(特に、水平面よりは鉛直面に近い角度での斜め)に生成する構成とした。これに限らず、構成要素の配置を変更すれば、空間浮遊映像3の配置の位置や傾きを設計可能である。
また、本実施例では、筐体350の所定の位置に、第1の測距装置340(図7)が装着されている。すなわち、このシステムには、図7と同様のセンシング技術が実装されている。これにより、ユーザが空間浮遊映像3にアクセス、インタラクトできるシステムとする。第1の測距装置340を含む第1のセンシングシステムは、空間浮遊映像3に対するユーザの手指などによる操作(空中操作)の状態を検出する。さらに、図8や図9(B)と同様に、第2の測距装置341を含む第2のセンシングシステムを追加した構成としてもよい。
第1の測距装置340の取り付け位置と視野角α3は、空間浮遊映像3の大きさを十分カバーできるように適宜選択するとよい。本例では、第1の測距装置340は、筐体350のうち、Y方向で奥側(ユーザおよび空間浮遊映像3の位置に対し奥側)で、再帰反射部材330の斜面の延長上で、かつ、映像光の映像光束を遮らないように少し離れた位置である、図示の位置に取り付けられている。第1の測距装置340の視野角α3(上端Aから下端Bまでの範囲)は、本例では、空間浮遊映像3全体とそれを基準位置(正対する位置)の視点Eから視認するユーザの顔を含む領域とをカバーできるように、十分に広い視野角とされている。視野角α3は、空間浮遊映像3全体を捉える視野角α2を内包している。視野角α2は、例えば図7のセンシング面a0,a1,a2,a3と対応している。
第1の測距装置340のTOFセンサは、図7(あるいは図8)に示したように、空間浮遊映像3のセンシング面を複数のエリアに分割した測距システムを使用する。これにより、センシングの領域ごとの分解能が高められる。さらに、図8および図9(B)のようなCMOSセンサを使用した第2のセンシング技術を使用する場合には、検知精度をより一層向上できる。
また、本実施例では、光源装置13として、狭角の指向特性を有する可視光を発散させる光源を使用し、第1測距装置340(さらには第2の測距装置341)を、筐体350側において挟角の映像光束に対し外側の位置に配置する。また、第2の測距装置341が同様に配置されてもよい。これにより、空間浮遊映像3を形成する映像光のセンシング精度に対する悪影響を除くことができる。
図12(A)に示す上記構成において、液晶表示パネル11の映像光出射側(斜線で示す位置)にレンチキュラーレンズ1103を配置する。より具体的には、液晶表示パネル11の映像光出射側に、図12(B)に示す向きとなるように、レンチキュラーレンズ1103を配置する。レンチキュラーレンズ1103の面(ここではx-y面とする)において、y方向(縦)に延在する半円筒状レンズが、x方向(横)に複数の半円筒状レンズとして並んでいる。x方向は表示パネル11の画面内水平方向に対応しており、y方向は表示パネル11の画面内垂直方向に対応している。この構成とすることで、後述するように、利用者が、レンチキュラーレンズ1103を形成する半円筒状レンズが並んでいる方向(x方向、X方向)に移動することで、利用者はそれぞれの位置から異なる画像(または映像)を見ることが可能となる。すなわち、画像または映像として、視差画像を表示することにより、運動視差が生じ、液晶表示パネル11上に表示された画像または映像を立体像として認識することができる。多視点映像と運動視差については、後述する。
図12(A)において、空間浮遊映像3は、再帰反射部材330を対称面とした映像表示装置10または液晶表示パネル11の対称位置に形成される実像であるので、利用者は、空間浮遊映像3を、運動視差を伴う立体像として視認することができる。すなわち、レンチキュラーレンズ1103を配置した上記構成によれば、空間浮遊像3を、単に、液晶表示パネル11上に表示された二次元映像ではなく、運動視差を伴う立体像として表示可能となる。
<空間浮遊映像表示装置の第3の構成例>
図13(A)は、空間浮遊映像表示装置の他の実施例を示す。また、図13(B)は、図13(A)に示す映像表示装置10の映像光出射側、つまり液晶表示パネル11の光出射側に配置されたレンチキュラーレンズ1103の拡大図である。図13(A)中の座標系(X,Y,Z)では、空間浮遊映像表示装置1の筐体350が水平面(X-Y面)に配置されており、空間浮遊映像3は、鉛直方向(Z方向)に対し、前後方向(Y方向)でやや斜めに傾いて形成されている。ユーザの視点Eから、空間浮遊映像3の面を正対して好適に視認する場合、視点Eは、図示のように、空間浮遊映像3の面に対し、光軸J2に合わせて、Y方向でやや斜め上に配置される。ユーザは、視点EからY方向でやや斜め下の視線で空間浮遊映像3を好適に視認できる。
一方、図13(B)において、レンチキュラーレンズ1103は、液晶表示パネル11の光出射面に略平行または平行し、かつ、液晶表示パネル11より出射される映像光側に配置される。また、レンチキュラーレンズ1103の複数の半円筒(半円筒状レンズ)は、X-Z平面から見て縦に伸びて並んで配置される。なお、上記座標系(X,Y,Z)は、図13(A)、(B)で共通である。
筐体350内には、映像表示装置10、ミラー360などが所定の位置関係で配置されている。筐体350の開口部、本例では概略的に鉛直方向に立つ面(X-Z面)を持つ開口部には、Z方向に対し所定の角度γ1(やや斜め下に傾いた角度)で、再帰反射部材330が配置されている。ミラー360は平面ミラーである。
本実施例では、映像表示装置10からの映像光は、ミラー360で反射されてから、再帰反射部材330に入射される。筐体350は、Z方向で上側に凸状に出ている部分を有し、その部分内に映像表示装置10が配置されている。映像表示装置10の光軸J1は、Z方向で下側、Y方向で奥側に、Z方向に対する所定の角度δ1で斜め下を向いている。
映像表示装置10は、映像表示素子としての液晶表示パネル11と、挟角な拡散特性を有する特定偏波の光を生成する光源装置13とを備えて構成されている。液晶表示パネル11は、画面サイズが5インチ程度の小型のものから80インチを超える大型なものまで適用可能であり、それらから選択されたパネルで構成される。液晶表示パネル11からの映像光は、光軸J1上、光路折り返しミラーであるミラー360によって折り返され、折り返し後の光軸J1B上で、再帰反射部材330に向けて出射される。
液晶表示パネル11には、狭発散角な光源装置13からの光を入射させる。これにより、狭発散角な映像光束φ1が生成される。狭発散角な映像光束φ1は、ミラー360で反射後、映像光束φ1Bとなる。その狭発散角な映像光束φ1Bを、光軸J1Bに沿って、図示のY方向で右側から再帰反射部材330に入射させる。この再帰反射部材330での再帰反射により、前述の図4で説明した原理に従って、再帰反射部材330に対しY方向で左側に、光軸J2の方向に、狭発散角な映像光束φ2が生成される。その映像光束φ2により、筐体350の開口部に対して外の所定の位置に、空間浮遊映像3(図4での空間浮遊映像331)が得られる。光軸J2は、Y方向に対し所定の角度δ2(Z方向に対しては角度(90度-δ2))で斜め上を向いている。
空間浮遊映像3は、再帰反射部材330を対称面として、ミラー360に対し概略的に対称位置に形成される。本実施例では、ミラー360により光路を折り返す構成であるため、映像表示装置10は、Z方向で空間浮遊映像3よりも上に配置されている。この結果、映像光線が再帰反射部材330に対し斜め上方から入射し、斜め上方に出射して、図示のように斜めに傾いた空間浮遊映像3を形成するシステムを実現できる。
また、空間浮遊映像3を筐体350に対して斜め上向き(図示の光軸J2上)に結像させるためには、再帰反射部材330を、図示のように筐体350の底面の垂直軸(Z方向)に対して所定の角度γ1で傾斜させて配置することで実現できる。また、このように再帰反射部材330の出射軸がやや斜め下に傾いた構成の結果、外光が再帰反射部材330に入射して筐体350内部に侵入することで発生し得る空間浮遊映像3の画質低下を防止できる。
空間浮遊映像3で発生し得るゴースト像(図4)を消去してより高画質な空間浮遊映像3を得るためには、第2の構成例(図12(A)、(B))と同様に、本実施例でも、液晶表示パネル11の出射側に、映像光制御シート334(図5、図6(A))を設けることで、不要な方向の拡散特性を制御してもよい。また、再帰反射部材330の映像出射面にも、映像光制御シート334(図6(B))を設けることで、不要光により空間浮遊映像3の正規像の両側に発生するゴースト像を消去してもよい。
以上述べた構造物が筐体350の内部に配置されることで、再帰反射部材330に対し外光が入射することを防止し、ゴースト像の発生を防止することができる。
本実施例でも、液晶表示パネル11からの映像光は、図12(A)と同様に、S偏波を使用してもよいし、偏光サングラスに対応する場合には、P偏波を使用して偏光解消素子339を設けてもよい。
本実施例では、再帰反射部材330を鉛直軸(Z方向)に対して所定の角度γ1で傾斜させ、空間浮遊映像3を水平軸に対して斜め(特に、水平面よりは鉛直面に近い角度での斜め)に生成する構成とした。これに限らず、構成要素の配置を変更すれば、空間浮遊映像3の配置の位置や傾きを設計調整可能である。
また、本実施例では、筐体350の所定の位置に、第1の測距装置340(図7)が装着されている。すなわち、このシステムには、図7と同様のセンシング技術が実装されている。これにより、ユーザが空間浮遊映像3にアクセス、インタラクトできるシステムとする。第1の測距装置340を含む第1のセンシングシステムは、空間浮遊映像3に対するユーザの手指などによる操作(空中操作)の状態を検出する。
第1の測距装置340の取り付け位置と視野角γ3は、空間浮遊映像3の大きさを十分カバーできるように適宜選択するとよい。本例では、第1の測距装置340は、筐体350の底面部のうち、Y方向で再帰反射部材330の手前の近傍で、かつ、映像光の映像光束を遮らないように少し離れた位置である、図示の位置に取り付けられている。第1の測距装置340の視野角γ3は、本例では、空間浮遊映像3全体とそれを基準位置の視点Eから視認するユーザの顔を含む領域とをカバーできるように、十分に広い視野角とされている。視野角γ3は、空間浮遊映像3全体を捉える視野角を内包している。
第1の測距装置340を含む第1のセンシングシステムのみならず、さらに、図8や図9(B)と同様に、第2の測距装置341(特にCMOSセンサ)を含む第2のセンシングシステムを追加した構成としてもよい。
また、本実施例では、光源装置13として、狭角の指向特性を有する可視光を発散させる光源を使用し、第1測距装置340(さらには第2の測距装置341)を、筐体350側において挟角の映像光束に対し外側の位置に配置する。これにより、空間浮遊映像3を形成する映像光のセンシング精度に対する悪影響を除くことができる。
さらに、本実施例では、空間浮遊映像3と再帰反射部材330との間に、図示のように、静電容量方式のタッチパネル361を、支持部材362で固定して配置してもよい。支持部材362は、例えば枠状として、内側にタッチパネル361を支持する。支持部材362は、例えば筐体350の底面部に対し固定されている。このタッチパネル361は、空間浮遊映像3を形成するための映像光、および第1の測距装置340からの光を透過させる部材で構成されている。
このタッチパネル361は、静電容量方式で、当該タッチパネルの面に対するユーザの手指の近接の状態を検出する。もしくは、このタッチパネル361は、当該タッチパネルの面に対するユーザの手指の接触の状態を検出する。このタッチパネル361を含む第3のセンシング技術を、第1のセンシング技術などと併用することで、検知精度をより一層向上できる。この静電容量方式のタッチパネル361の大きさと取り付け位置についても、同様に、空間浮遊映像3を十分カバーできるように選択するとよい。
高精度な位置情報を取り込むことができる静電容量方式のタッチパネル361としては、例えば投影型静電容量方式を採用できる。この方式のタッチパネルは、例えば、微細な線間距離を有する透明電極(Y軸電極)であるITOと微細な線間距離を有する透明電極(X軸電極)である銅薄膜とを、透明ガラス基板の両面にフォトリソエッチングによりパターンニングすることで製造される。そのため、この透明ガラス基板に対象物(例えば指先端)が近づいた場合に、X軸電極とY軸電極のそれぞれで静電容量の変化を捉え、対象物の相対座標が得られる。また、この方式は、透明電極の線間距離が短いほど、高い分解能を得られるので、多点検出が可能である。そのため、この方式では、複数の指での同時入力も可能となる。
図13(A)に示す上記構成においても、図13(B)に示すように、図12(A)に示す空間浮遊映像表示装置1と同様に、液晶表示パネル11の映像光出射側(斜線で示す位置)にレンチキュラーレンズ1103を配置する。レンチキュラーレンズ1103の面(ここではx-y面とする)において、y方向(縦)に延在する半円筒状レンズが、x方向(横)に複数の半円筒状レンズとして並んでいる。この構成とすることで、利用者は、空間浮遊像3を、運動視差を伴う立体像として認識できる。すなわち、レンチキュラーレンズ1103を配置した上記構成によれば、空間浮遊像3として、単に、液晶表示パネル11上に表示された二次元映像ではなく、立体像を表示可能となる。
ここで、利用者が空間浮遊像3を立体像として認識できることは、特に、表示される立体像が人物(特に顔)である場合、空間浮遊像が二次元平面である従来のシステムには無い新たな効果をもたらす。例えば、後述するように、空間浮遊像として表示される人物(特に顔)は、利用者が空間浮遊像の周辺であれば、どの位置に存在しても、常に利用者の方に向くという新たな効果をもたらす。このことにより、利用者は、空間浮遊像として表示される人物が、あたかも自分だけに話しかけてくれているような感覚を有することになり、表示される人物が、例えば、利用者に対して、何かを説明するような場面、あるいは、利用者に対して何等かのアシスト(支援)を行うような場面において、特に好適である。
[多視点映像を生成・表示するための技術]
既に述べたように、レンチキュラーレンズを用いた多視点画像、または多視点映像により、運動視差が得られることはよく知られている。レンチキュラーレンズは、その表面において半円筒状を有するレンズ(半円筒状レンズ)が所定方向に延在して配列された集合体であり、1つの半円筒状レンズの下部には、多視点画像または多視点映像の視点の数に相当する、異なる映像を表示する液晶表示パネルが配置されている。本実施の形態(図12の第2の構成例または図13の第3の構成例)での所定方向(半円筒状レンズの軸が延在する方向)は前述のような縦方向(y方向)となる。
図14(A)は、本実施の形態(第2の構成例や第3の構成例)における、レンチキュラーレンズ1103を用いる多視点画像を生成するための原理を示す図である。また、図14(B)は、レンチキュラーレンズ1103の構成をよりわかりやすく示すために、レンチキュラーレンズ1103を斜め上方から俯瞰して見た模式図である。なお、ここでは、多視点画像として9視点の場合について説明する。図14(A)において、液晶表示パネル11の画素1401は、数字で1~9と示す9つの画素1401を1グループとして、9視点の多視点画像を形成する。図14(A)では、観察者の目に像として見える画素1401の番号を1~9で示しており、画素1~画素9と記載する場合がある。図14(B)では、レンチキュラーレンズ1103は、X方向に繰り返して配列されている複数のレンズ(半円筒状レンズ)1103aを有する。
一方、人間の眼の間隔、すなわち瞳孔間の距離は、ほぼ一定であることが知られており、例えば日本人の平均瞳孔間距離PDは約64mmである。レンチキュラーレンズ1103のピッチ、すなわち、半円筒状レンズ1103aの配置の間隔を、人間の眼の間隔の半分、すなわち、例えば約32mmと略同一とすることで、観察者(利用者)の右眼と左眼には、図14(A)に示すように、それぞれ異なる画素1401からの光が到達する。より具体的には、観察者の右眼には、画素6に表示される画像からの光が到達し、観察者の左眼には、画素4に表示される画像からの光が到達する。
このため、観察者は、右眼と左眼で、それぞれ異なる画素1401に表示された画像を見ることになり、それぞれの画素1401に、同一の物体あるいは人物を、視点を変えて撮影した画像を表示すれば、観察者の両眼には視差が生じる。その結果、観察者は、撮影された画像を立体として認識することが可能となる。上記のように、液晶表示パネル11の光出射側にレンチキュラーレンズ1103を配置する構成で、観察者の右眼と左眼には、異なる画素1401からの光が到達するため、観察者は、立体的な画像を認識できる。
ここで、観察者(特に顔)が左右(X方向)に移動すると、観察者の右眼と左眼には、移動前とは異なる画素1401からの光が到達する。より具体的には、図14(A)に示すように、観察者が右方向に1画素分移動した場合、観察者の右眼には、画素7に表示される画像からの光が到達し、観察者の左眼には、画素5に表示される画像からの光が到達する。すなわち、観察者の移動(運動)に伴って、移動する前とは異なる画素1401の光が目に到達することとなる。この結果、観察者は、自分が左右に移動することに伴って、同一の物体あるいは人物を別の角度から見たのと同等の効果、すなわち、運動視差を得ることができる。よって、液晶表示パネル11の光出射側にレンチキュラーレンズ1103を配置する構成で、観察者の目が移動することによって、立体感がある画像を、角度を変えて見たのと同等の効果を得ることができる。
図15は、上記した運動視差を生じさせるための画像、すなわち、多視点画像を撮影するための装置の一例を示す模式図である。図15では、9つの異なる視点から、被写体1500である人物(特に人物の顔部分)を撮影する様子を示している。より具体的には、9つのカメラ1501としてカメラNo.1~No.9を、図15に示すように、被写体1500から所定距離の位置で互いの角度を所定角度ずつ移動した位置である半円周上の位置に配置して撮影する。本実施の形態では、カメラNo.1~No.9は、被写体1500から等距離の位置で互いの角度を22.5度ずつ移動した位置、言い換えると180度を8つに分割した9つの位置に配置されている。これに限らず、視点の数に応じて被写体1500からの距離および角度を変更してよい。
このとき、被写体1500が静止している場合には、1台のカメラ1501を、カメラNo.1~No.9の位置に順に移動させて撮影することで、多視点画像を撮影することも可能である。被写体1500が動きのあるもの、例えば、表情を変えながら口を動かして話をしている人物の顔である場合には、9台のカメラ1501を用いて、それぞれの位置にカメラ1501を固定して、動画(言い換えると動画像、映像)として撮影することも可能である。
上記のようにして撮影された、9台のカメラ1501による、それぞれのカメラ1501の画像1502(あるいは映像)は、映像表示部、ここでは液晶表示パネル11の、9つのそれぞれの画素1401に割り当てられて表示される。図15に示すように、1つの被写体1500の映像を、それぞれ異なる角度から撮影された画像1502(あるいは映像)として表示することで、運動視差を伴う多視点画像(または多視点映像)を得ることができる。図15に示す例では、被写体1500である人物の顔部分を9つのカメラNo.1~No.9により異なる角度で撮影し、9つのカメラ1501で撮影した画像1502を、液晶表示パネル11の各画素1401(画素1~画素9)に割り当て表示している。
さらに、レンチキュラーレンズ1103を液晶表示パネル11の光出射側に配置することで、運動視差を伴う多視点画像(または映像)を得ている。多視点画像(または映像)を得る方法としては、上記のように1台または複数のカメラ1501を用いる方法に限らず、コンピュータグラフィックス(CG)によって多視点画像(または映像)をレンダリングする方法でもよい。レンダリングによってCGを生成することにより、複数のカメラを用いた大掛かりな撮影装置は必要無くなり、より簡便に、カメラの台数に起因する視点数の制約も無く、かつ、短時間に、多視点画像(または映像)を得ることができ、特に多視点画像や多視点映像の生成では好適である。
図16は、多視点映像表示装置による表示例を示す図である。ここで、多視点映像表示装置とは、液晶表示パネル11および光源装置13等により構成される映像表示装置10の映像光出射側に、レンチキュラーレンズ1103を配置した構成を備える表示装置をいう。具体的には、多視点映像表示装置は、光源装置13、映像表示部である液晶表示パネル11、およびレンチキュラーレンズ1103を有している。映像表示装置10は、少なくとも2個のオブジェクトを含む映像を表示し、少なくとも2個のオブジェクトのうち、任意のオブジェクトの位置を固定または左右方向(所定の方向)にずらすことにより得られた複数の映像を、多視点画像として表示する。つまり、映像表示装置10は、少なくとも2個のオブジェクトを含む映像を表示し、少なくとも2個のオブジェクトのうち、任意のオブジェクト(第1のオブジェクト)の位置を固定し、任意のオブジェクト以外のオブジェクト(第2のオブジェクト)の位置を、異なる多視点画像間で、互いに左右方向にずらすことにより得られた複数の映像を、多視点画像として表示する。
ここでの左右方向(所定の方向)とは、利用者の視点に対して左右方向(図14でのX方向)ということであり、レンチキュラーレンズ1103での複数の半円筒状レンズ1103aが繰り返して配列された方向と対応している。ここで、映像表示部である液晶表示パネル11の映像出射面とレンチキュラーレンズ1103の入射面とは平行である。また、映像表示部である液晶表示パネル11の映像出射面とレンチキュラーレンズ1103の入射面とは所定の距離をもって配置される。本実施の形態においては、レンチキュラーレンズ1103に固有の焦点距離に基づき、レンチキュラーレンズ1103の光入射面と液晶表示パネル11の光出射面との間の所定距離が調整して配置される。このとき、レンチキュラーレンズ1103の焦点距離が相対的に大きな値である場合には、上記所定距離を大きくし、逆に、レンチキュラーレンズ1103の焦点距離が相対的に小さな値である場合には、上記所定距離を小さくするように、レンチキュラーレンズ1103の光入射面と液晶表示パネル11の光出射面との距離、すなわち上記所定距離を調整する。これにより、好適な多視点映像を表示できる。
図16では、9つの異なる視点を有する多視点映像を表示する多視点映像表示装置を示している。図16(A)は、液晶表示パネル11の前述の画素1401(画素1~9)に対して、カメラ1501(No.1~No.9)による画像1502を撮影順に配置した場合を示している。一方、図16(B)は、液晶表示パネル11の画素1~9に対して、図16(A)とは逆の順序で、カメラ1501(No.9~No.1)による画像1502を配置した場合を示している。図16(A)、(B)の効果の違いは、以下の通りである。まず、図16(A)では、利用者(ユーザ)が、多視点映像表示装置に対して左側から右側に移動した場合、左側からは、被写体(人物の顔)を左側から見た画像を観察でき、右側からは、被写体(人物の顔)を右側から見た画像を観察できることになる。すなわち、実際の被写体を中心において、利用者が被写体の左側から、または右側から観察した場合と同様の被写体を観察することとなる。
それに対して、図16(B)では、図16(A)と逆となり、利用者(観察者)が、多視点映像表示装置に対して左側から右側に移動した場合、左側からは、被写体(人物の顔)を図16(A)の右側から見た画像を観察でき、右側からは、被写体(人物の顔)を図16(A)の左側から見た画像を観察できることになる。この結果、図16(B)では、利用者から被写体(人物の顔)を見ると、利用者が被写体に対してどの位置(相対的な角度)に存在しても、被写体である人物が、常に、利用者の方に視線を向けているように感じることができる。
上記した図16(B)の見え方、すなわち、被写体である人物が、利用者の位置にかかわらず、常に利用者の方に視線を向けているように見えるという特徴は、利用者からは、被写体である人物が、常に自分(利用者)と向き合い、話しかけられているように感じるという効果を生じる。こうした効果は、被写体である人物が、利用者一人だけに対して、何等かの説明や案内をするような場面では、特に好適である。
ここで、レンチキュラーレンズを用いた多視点映像表示装置では、しばしば、いわゆる逆視が問題となる。図14(A)に示したように、観察者の右眼には例えば画素6に表示される画像からの光が到達し、観察者の左眼には画素4に表示される画像からの光が到達することで、観察者は立体的な画像を認識できる。逆視とは、観察者の眼とレンチキュラーレンズとの位置関係により、観察者の右眼に本来画素6からの光が到達すべきであるのに、画素4からの光が到達し、また、観察者の左眼に本来画素4からの光が到達すべきであるのに、画素6からの光が到達するような現象のことをいう。こうした逆視が発生すると、観察者は、本来観察されるべき立体的な画像を認識できないこととなる。
上記した逆視の発生は、映像表示素子としての液晶表示パネル11と挟角な拡散特性を有する光源装置13とを備えた映像表示装置10を用いることで、効果的に防止することができる。より具体的には、多視点映像を表示するためのレンチキュラーレンズの拡散角は、一般的に40度から60度(中心から±20~30度)であるのに対し、映像表示装置10の光源として拡散角が30度(中心から±15度)の挟角な拡散特性を有する光源装置13を用いること、あるいは、図6に示した映像光制御シート334を用いることで、逆視の発生を防止することができ、好適である。
次に、図17および図18は、図16(A)および図16(B)に示す、レンチキュラーレンズ1103を備えた多視点映像表示装置から発せられた映像光を、再帰反射板(再帰反射部材、再帰性反射部材)330を介することで、空間浮遊像3を生成した状態を、模式的に示す図である。図17、図18は、ともに、多視点映像表示装置と再帰反射板330により空間浮遊像3が生成される点は同じである。
上記図17と図18の2つの実施例の相違点は、多視点映像表示装置上の多視点画像の順序が異なる点にある。すなわち、図17は、図16(A)に対応しており、利用者から見て、多視点映像表示装置の左から右に、すなわち液晶表示パネル11の画素1~9に対して、カメラNo.1~No.9による画像1502が割り当てられている。その結果、再帰反射板330を介して生成される空間浮遊像3では、多視点画像の順序は、利用者から見て、逆に、右から左にカメラNo.1~No.9による画像1502に対応した多視点画像1503が表示される。一方、図18では、図16(B)に対応しており、多視点映像表示装置の右から左に、すなわち液晶表示パネル11の画素1~9に対して、カメラNo.1~No.9による画像1502が割り当てられている。その結果、再帰反射板330を介して生成される空間浮遊像3では、多視点画像の順序は、利用者から見ると、図17とは逆に、左から右にカメラNo.1~No.9による画像1502に対応した多視点画像1503が表示される。
上記のように、再帰反射板330を介して生成される空間浮遊像3(多視点画像1503)では、映像表示装置10と再帰反射板330との間にレンチキュラーレンズ1103を配置する構成により、映像表示装置10に表示される多視点映像の順番と、空間浮遊映像3による多視点映像の順番とが逆となった順序で、利用者に認識される。すなわち、利用者に対して、運動視差を有する空間浮遊像3を提供する場合、利用者に対して、どのような多視点画像を提供すべきか、という目的に応じて、液晶表示パネル11上の画素1401に対して、カメラNo.1~No.9による画像1502の順序を、適宜定めて配置した構成とすればよい。
<多視点映像を空間浮遊像として表示するための実施例1>
次に、本発明に係る、多視点映像を空間浮遊像として表示するための実施例1について説明する。図19は、本発明に係る、レンチキュラーレンズ1103を用いて多視点画像を生成するための実施例1を示す図である。
ここで、図19と図15とを比較する。まず、前述の図15では、被写体1500(人物の顔)から所定の距離で離れた位置から、互いの角度を所定角度(具体的には22.5度)ずつ移動した位置に配置された9台のカメラ1501によって被写体1500を撮影する。これにより、多視点画像であるカメラNo.1~No.9による画像1502を生成している。そして、カメラNo.1~No.9による画像1502を、液晶表示パネル11の9つの画素1401である画素1~9に割り当てることで、1つの画素グループを構成している。1つの画素グループとは、図14に示すように、レンチキュラーレンズ1103のレンチキュラーレンズ群(複数の半円筒状レンズ1103a)のうち、1つのレンズ1103a内に収まる複数の画素1401である。
一方、図19では、1つの被写体を異なる角度から撮影することで多視点画像を生成するのではなく、別の方法を示している。一例として、被写体1900における0、1、2、3、4の5つの数字のうち、数字0の位置を固定し、それに対し、1、2、3、4の4つの数字の位置を、X方向で左から右に少しずつ移動することで、画像No.1~画像No.9で示す9つの画像1902である多視点画像1902を生成した場合を示している。こうして生成した画像No.1~No.9は、液晶表示パネル11の1つの画素グループの画素1401である画素1~9に割り当てられる。
図25は、上記画像No.1~画像No.9で示す9つの画像1902である多視点画像1902の生成に関する補足説明図である。ここでは、カメラの画像1902として、カメラNo.1の画像No.1と、カメラNo.2の画像No.2と、カメラNo.9の画像No.9との3つのみを、X方向の位置を揃えて示している。画像No.1における複数のオブジェクトのうち、X方向で左右に移動させるオブジェクト(第2のオブジェクト)として、例えば数字1のオブジェクト2501について説明する。数字1のオブジェクト2501を、X方向で最も左側の位置から最も右側の位置まで移動させるとする。画像No.1では最も左側の位置X1とし、画像No.9では最も右側の位置X9とする。最も左側の位置X1から最も右側の位置X9までの移動距離をDとする。多視点(9視点)の画像1902の枚数(9枚)に応じて、移動距離Dを8分割し、単位移動距離(D/8)が得られる。数字1のオブジェクト2501についての、画像No.2での位置X2は、画像No.1での位置X1から、単位移動距離(D/8)の1個分移動した位置である。他の画像での位置も同様に求めることができる。
なお、被写体1900の多視点画像1902を形成するにあたって、図19等の例では、1つの円筒状レンズ1103a(図14)に対応付けられた1つの画素グループのみに複数の画像1902を割り当てる場合を示したが、これに限らずに、被写体1900の多視点画像1902は、隣接する複数の画素グループを用いて構成可能である。
次に、図20は、上記のように、液晶表示パネル11の画素1~9に対して、数字0(第1のオブジェクト)の位置を固定し、数字1~4(第2のオブジェクト)を単に左から右に少しずつ移動させることで多視点画像1902を生成し、さらに、レンチキュラーレンズ1103を液晶表示パネル11の映像光出射側に配置することで、運動視差を得ることができることを示す図である。すなわち、図示の利用者の視点が、X方向で左から右に移動することで、像としての数字0の位置は変わらないが、像としての数字1~4は左から右に移動して見えることとなる。その結果、利用者は、数字0が相対的に遠い位置(後ろの方)にあるように見え、数字1~4は相対的に近い位置(手前の方)にあるように見える。
上記のように観察者(利用者)から見て数字0が遠い位置(後ろの方)にあるように見え、数字1~4は近い位置(手前の方)にあるように見える現象、言い換えると遠近感や立体感を感じる現象は、以下のような物理現象のアナロジーとして説明できる。すなわち、電車の乗客が、走行中の電車の窓から外の景色を見たとき、遠くに存在するもの、例えば、山や雲は、その位置が変わらないが、近くに存在するもの、例えば、建物や田畑などの位置は、電車の速度に応じて大きく変化する、という現象から説明できる。
上記説明した、走行中の電車の窓から見える景色とのアナロジーで考えると、遠くに存在する山や雲は、図20での数字0に対応する。すなわち、利用者が左から右に、またはその逆の方向に移動しても、数字0の位置は変わらない。一方、近くに存在する建物や田畑は、図20での数字1~4に対応する。すなわち、利用者が左から右に、またはその逆の方向に移動すると、その数字の位置が大きく変化する。このことから、利用者は、数字0は遠くの位置、すなわち、比較的奥の方に存在し、数字1~4は近くの位置、すなわち、比較的手前の方に存在するように感じる、という効果をもたらす。
上記の通り、多視点画像によって運動視差を得ようとする場合、図15に示したように、多視点画像としては、円周上の異なる位置に配置されたカメラ1501により撮影された画像1502を用いることは必ずしも必要ではなく、図19に示すように、複数の被写体(図19では被写体1900の数字0~4)の相対的な位置を、単に左右方向にずらすだけでも、多視点画像を生成することができる。図19での被写体1900のうち、数字0は、位置が固定される第1のオブジェクトの例であり、数字1~4は、位置が左右にずらされる第2のオブジェクトの例である。
ここで、図19に示す方法、すなわち、同じ画像内のオブジェクト(第2のオブジェクト)としての数字0~4の相対的な位置を、単に左右方向にずらすことで多視点画像を生成する方法では、図15に示した円周上に配置された複数のカメラ1501を用いて多視点画像を生成する方法に比べて、非常に簡便に多視点画像を生成可能である。しかも、1つの画像内に表示された複数のオブジェクト(ここでは数字0~4)に関し、運動視差を得ることができる、という特徴がある。
図20では、図19に示す方法により生成された多視点画像1902を用いた、映像表示装置10とレンチキュラーレンズ1103とを備えた多視点映像表示装置による表示例を示している。すでに記載したように、数字0~4の相対的な位置を、単に左右方向にずらすことで得られた多視点画像1902とレンチキュラーレンズ1103とを組み合わせることで、利用者は運動視差を得ることができ、表示されたオブジェクトを立体的に見ることができる。図20の場合では、利用者が、X方向で左右に移動することで、数字0は奥の方に存在するように見え、逆に数字1~4は、手前の方に存在するように見えることとなる。
<多視点映像を空間浮遊像として表示するための実施例2>
次に、図21は、図19の場合とは逆に、被写体1900における0、1、2、3、4の5つの数字のうち、数字0の位置を固定し、1、2、3、4の4つの数字の位置を、右から左に少しずつ移動することで、画像No.1~画像No.9で示す9つの画像1902である多視点画像1902を生成した場合を示している。こうして生成した画像No.1~No.9は、1つの画素グループとして、液晶表示パネル11の画素1~9に割り当てられる。
図22は、上記のように、画素1~9に対して、数字0の位置を固定し、1~4の数字を右から左に少しずつ移動させることで多視点画像1902を生成し、さらに、レンチキュラーレンズ1103を液晶表示パネル11の映像光出射側に配置することで、運動視差を得ることができることを示す図である。すなわち、図示の利用者の視点が、X方向で左から右に移動することで、数字0の位置は変わらないが、数字1~4は右から左に移動して見えることとなる。この場合、図20とは逆に、利用者は、数字0が近い位置(手前の方)にあるように見え、数字1~4は遠い位置(後ろの方、奥側)にあるように見える。
上記のように、数字0が近い位置(手前の方)にあるように見え、数字1~4は遠い位置(後ろの方)にあるように見える現象は、以下のような物理現象のアナロジーとして説明することができる。すなわち、図22において、利用者が左側にいるとき、数字1~4は、利用者から見ると数字0よりも、右側にあるように見え、利用者が正面の位置にいるとき、数字0、および数字1~4は同一平面上に存在するように見え、逆に、利用者が右側にいるとき、数字1~4は、利用者から見ると数字0よりも、左側にあるように見える。言い換えると、利用者からは、数字0の位置は常に基準の位置(中央)に留まっているように見え、それに対して、数字1~4は、常に、数字0よりも遠い位置(後ろの方、奥側)に存在するように見える。
すなわち、図20および図22の場合も、図19および図21の場合と同様に、第1のオブジェクトとして数字0の位置を固定し、第2のオブジェクトとして数字1~4を左右、または右左に、少しずつずらして各画素1~9に配置することで、利用者には数字0と数字1~4の奥行き方向の位置がずれて見えることとなる。より詳細には、図19、図20の場合には、数字0の位置は、数字1~4よりも遠い位置に存在するように見え、逆に、図21、図22の場合には、数字0の位置は、数字1~4よりも近い位置に存在するように見える。
本発明の実施例1のポイントの1つは、上記の点にある。すなわち、多視点画像を用いて、運動視差を得る場合、従来の技術では、多視点画像は、被写体に対して、カメラを円周上に配置した位置から、被写体に対して異なる角度で撮影して生成する必要があるのに対し、本発明の実施例1では、多視点画像を構成する複数のオブジェクトの相対的な位置関係を、単に、直線的に所定の方向(左右方向)にずらすだけで、複数のオブジェクトのうち、あるオブジェクトは他のオブジェクトよりも相対的に遠くの位置(奥側)に存在するように見え、逆に、複数のオブジェクトのうち、他のオブジェクトはあるオブジェクトよりも相対的に近い位置(手前側)に存在するように見えることとなる。
本発明の実施例1のポイントの2つ目は、上記のように生成した多視点画像1902を、さらに、空間浮遊像3として表示したときに表れる。
図23は、図20で示した映像表示装置10とレンチキュラーレンズ1103とを備えた多視点映像表示装置により表示した多視点画像1902を、再帰反射板330を介して、空間浮遊像3として表示した様子を示す図である。すでに図17、図18を用いて記載したように、再帰反射板330を介して生成される空間浮遊像3では、映像表示装置10により表示される多視点画像(多視点映像であってもよい)の左右の順番と、空間浮遊映像3による多視点画像の左右の順番とは、ちょうど逆の順番となって、利用者に認識される。
すなわち、図19に示すように、画像No.1が一番左側の画素1に対応し、画像No.2が画素1の右隣の画素2に対応し、さらに、最後の画像No.9が一番右側の画素9に対応するといった順番で多視点画像1902が生成される場合、多視点映像表示装置は、こうして生成された多視点画像1902を、図23に示すように、映像表示装置10およびレンチキュラーレンズ1103と再帰反射板330を介して、空間浮遊像3として表示する。映像表示装置10およびレンチキュラーレンズ1103では、画像No.1~No.9は、X方向で左から右への順番で配置されている。すると、利用者から見て、空間浮遊映像3では、多視点画像1903である画像No.1~No,9が映像表示装置10での順番とは逆の順番で配置され、画像No.1は一番右側に、画像No.2は画像No.1の左隣に、さらに、最後の画像No.9は一番左側に存在するように認識される。
上記のように、図23に示す実施例では、利用者が空間浮遊像3として認識する多視点画像1903は、図22に示した順番と同じ配置を備える。すなわち、空間浮遊像3を認識(観察)する利用者からは、数字0の位置は常に基準の位置(中央)に留まっているように見え、数字1~4は、数字0よりも相対的に遠い位置(後ろの方、奥側)に存在するように見えることとなる。
続いて、図24は、図22で示した映像表示装置10とレンチキュラーレンズ1103とを備えた多視点映像表示装置により表示した多視点画像1902を、再帰反射板330を介して、空間浮遊像3として表示した様子を示す図である。この場合も、図23と同様に、再帰反射板330を介して生成される空間浮遊像3では、映像表示装置10により表示される多視点画像1902(多視点映像であってもよい)の左右の順番と、空間浮遊映像3による多視点画像1902の左右の順番とは、逆の順番となって、利用者に認識される。
途中の経緯は図23の場合と同様であるため詳細な説明を省くが、図24に示す実施例では、利用者が空間浮遊像3として認識する多視点画像1903は、図20に示した順番と同じ配置を備える。すなわち、空間浮遊像3を認識(観察)する利用者からは、数字0の位置は常に基準の位置(中央)に留まっているように見え、数字1~4は、数字0よりも相対的に近い位置(手前側)に存在するように見えることとなる。
上記図23および図24を用いて説明した通り、映像表示装置10により表示される多視点画像1902の左右の順番と、空間浮遊映像3による多視点画像1903の左右の順番とは、ちょうど逆の順番となって、利用者に認識される。より具体的には、図23の場合には、数字0の位置は常に基準の位置(中央)に留まっているように見え、それに対して、数字1~4は、常に、数字0よりも相対的に遠い位置(後ろの方、奥側)に存在するように見える。一方、図24の場合には、数字0の位置は常に基準の位置(中央)に留まっているように見え、それに対して、数字1~4は、常に、数字0よりも相対的に近い位置(手前側)に存在するように見えることとなる。
多視点映像表示装置である空間浮遊映像表示装置は、図24のような多視点画像1903の表示、数字1~4のオブジェクトを手前側に表示する第1の状態、としたい場合には、図22のような多視点画像1902の表示、数字1~4を移動する第2のオブジェクトとして逆順(右から左)に配置、とすればよい。逆に、図23のような多視点画像1903の表示、数字1~4のオブジェクトを奥側に表示する第2の状態、としたい場合には、図20のような多視点画像1902の表示、数字1~4を移動する第2のオブジェクトとして順(左から右)に配置、とすればよい。
すなわち、本発明の実施例1によれば、空間浮遊映像3として表示するオブジェクトとして、例えば複数の数字を表示する場合、複数の数字のうち、任意の数字の位置を変えず、その他の数字の位置を相対的に左右の方向にずらすことで、多視点画像を生成可能である。つまり、空中に空間浮遊映像3を形成する空間浮遊映像表示装置は、少なくとも2個のオブジェクトの映像を表示する映像表示装置10と、映像表示装置の映像光出射側に配置されたレンチキュラーレンズ1103と、映像表示装置10からの映像光を空中に空間浮遊映像3として形成するための光学部材(再帰反射部材330)とを備え、映像表示装置10は、上記オブジェクトとして、例えば、数字に対応した押しボタンを、利用者から見て、単に左右方向に移動することで得られた多視点画像として表示する。
その結果、生成された空間浮遊像3を利用者が観察すると、あたかも、オブジェクト(この場合は数字に対応した押しボタン)同士の奥行き方向の位置、つまり、奥側か手前側かの位置関係が異なって見える、という効果をもたらす。別の言い方をすると、空間浮遊像3に奥行き感、あるいは立体感をもたらすことができる。この画像として表示されるオブジェクトとしては、数字に限らず、任意の文字や図形であってもよい。
これにより、本実施例によれば、例えば数字を押しボタン(言い換えると数字ボタン)とするHMIないしGUIとして空間浮遊像3を表示する場合において、任意の数字ボタンが利用者によってタッチ(空中操作)されると、表示制御によって、そのタッチされた数字ボタンだけが奥側に引っ込み、他の数字ボタンは相対的に手前側にあるままとして見せることができる、という新たな効果をもたらす。具体的な表示制御としては、空間浮遊映像表示装置は、タッチされた数字ボタン(例えば数字1のオブジェクト)を、前述のような手前側に表示する第1の状態から、奥側に表示する第2の状態へ変化させるように制御すればよい。
図23および図24に示す実施例では、数字0(位置を固定する第1のオブジェクト)を、他の数字1~4(位置を移動する第2のオブジェクト)に対して、手前側に表示する例(図23)や、逆に、他の数字1~4を、数字0に対して、手前側に表示する例(図24)を示した。これに限定されず、例えば数字0~9のうち、任意の1つあるいは2つ以上の数字を、他の数字に比較して手前側に表示したり、奥側に表示したりすることが可能である。また、上記例では、多視点画像のオブジェクトの奥行き方向での位置として、手前側と奥側との2つの位置のみを設ける場合を説明したが、これに限定されず、画像を所定の方向にずらして移動する距離などを設計することで、多視点画像のオブジェクトの奥行き方向での位置を多段階の位置として同様に実現可能である。
以上、本発明の実施例1の原理について、オブジェクトとして数字0~4の場合で説明したが、すでに記載したように、空間浮遊像3として表示するオブジェクトとしては、数字に限らず、任意の文字や図形であってもよい。したがって、本発明の実施例1の適用範囲は広い。例えば、数字0~9の押しボタン、決定ボタン、発信オン・オフボタン等を備える電話に適用することもできるし、また、エレベータの階数を表す数字ボタン、ドアの開閉ボタンを備えるエレベータに適用することも可能である。
本発明の実施例1によれば、多視点画像を構成する複数のオブジェクトの各オブジェクトを、単に、直線的に左右に移動するだけで、すなわちその移動によってオブジェクトの位置関係を異ならせた複数の画像(例えば図23の画像1902)を生成するだけで、オブジェクト同士の奥行き方向の位置(奥側か手前側か)を異ならせて表示することができる。よって、実施例1では、従来の多視点画像を生成する方法に比べて、簡便な方法で、多視点画像を生成することができる。しかも、利用者にとっては、自分が操作したボタン(オブジェクト)が確実に反応しているかを、立体的に視認できるので、操作の誤りの有無を確実に把握でき、さらに、空間浮遊像としてボタンを操作できるので、特に、不特定多数の利用者がタッチ操作を行う機器を、安心して操作することができる、という効果をもたらす。
<自動販売機に係る本発明の実施の形態>
次に、図26を用いて、本発明の実施の形態として、空間浮遊映像表示装置を、自動販売機に適用した例について説明する。図26は、例えば、ドリンク類の自動販売機に、本発明の多視点映像表示装置(空間浮遊映像表示装置)を適用した場合を示す図である。
図26において、自動販売機本体2600には、空間浮遊映像表示部2620が備えられている。この空間浮遊映像表示部2620も、図示はしないが、図12または図13に示した内部構成を備えており、空間浮遊映像表示部2620による空間浮遊映像3は、映像表示装置10とレンチキュラーレンズ1103による多視点映像に基づき生成される。また、この自動販売機本体2600には、自動販売機本体2600により販売されているドリンク類を表示するドリンク類ディスプレイ部2680、お札を投入するためのお札投入部2681、コインを投入するためのコイン投入部2682、つり銭を取り出すためのつり銭取り出し口2683、利用者によって購入されたドリンクを取り出すためのドリンク取り出し口2684が備えられている。
自動販売機本体2600には、人感センサまたはカメラ2630が備えられており、
人感センサまたはカメラ2630は、自動販売機本体2600に対する利用者の近付きを検出するためのデバイスである。自動販売機本体2600に利用者が近づくと、空間浮遊映像表示装置は、人感センサまたはカメラ2630による検出結果に基づいて、利用者が近付いたことを検知し、空間浮遊映像表示部2620を起動する。次に、図26中の(a)に示すように、空間浮遊映像表示部2620には、空間浮遊映像(多視点画像)として、人物像2621が表れ、利用者に対して、例えば、「いらっしゃいませ。ご利用ありがとうございます。画面が数字ボタンに変わります。ご希望の商品番号をお選びください。」といった音声を発する。その後、空間浮遊映像表示部2620からは人物像2621が消え、続いて、(b)に示すように、数字ボタン2622と決定ボタン2623が表示される。この時、図示はしないが、数字ボタン2622と決定ボタン2623に加えて、取り消しボタンや、戻るボタンが表示されてもよい。
ここで、図26に示す空間浮遊映像表示部2620に表示される人物像2621の映像は、図17に示すような運動視差を伴う多視点映像1502に基づく空間浮遊映像3(1503)であってもよい。これにより、利用者は、人物像2621の映像を立体像として視認することができる。さらに、利用者が自動販売機本体2600の周辺を移動した場合には、利用者は、人物像2621が、利用者の例えば左右方向の移動に伴い、常に利用者の方に視線を向けて話しかけるように見える。そのため、利用者は、人物像2621の映像を、あたかも自分一人に向かって話しかけてくれているような感覚を得ることができる、という効果をもたらす。
利用者が、空間浮遊映像表示部2620に表示された数字ボタン2622と決定ボタン2623を操作することにより、ドリンクを選択し、所定の金額を、お札投入部2681やコイン投入部2682に投入することで、当該ドリンクがドリンク取り出し口2684から取り出すことができる形で供出される。
ここで、上記数字ボタン2622や決定ボタン2623は、図23、図24に示した、多視点画像を用いる。このことにより、例えば数字ボタン0~9のうち、利用者が、例えば、数字ボタン1と数字ボタン2を、この順序でタッチ操作(空中操作)し、引き続き決定ボタン2623にタッチ操作(空中操作)することで、番号12で表されるドリンクを選択することができる。また、ここで、数字ボタン1と数字ボタン2、および決定ボタン2623は、図25と同様に、他のボタン、すなわち、数字ボタン0および数字ボタン3~9よりも奥側に引っ込んだように表示される。これにより、利用者は、自分が番号12のドリンクを選択したことを明確に認識することが可能となる。
ドリンク取り出し口2684からドリンクが取り出されると、その後、空間浮遊映像表示部2620には、数字ボタン0~9と決定ボタン2623が消え、(c)に示すように、再び、人物像2621が表れ、例えば、「ありがとうございました。またのご利用をお持ちしております。」などといった音声を発する。この場合でも、音声は、通常のスピーカから発せられてもよいし、前述の超指向性スピーカにより、利用者だけが聞こえるように発せられてもよい。
上記の一連の操作により、利用者は所望のドリンクを購入することができる。なお、図26の例では、自動販売機本体2600に前述の構成要素のうち空間浮遊映像表示部だけが備えられている例を示したが、映像表示装置と空間浮遊映像表示部との両方が備えられていてもよいし、また、空間浮遊映像表示部が、1か所ではなく、2か所以上に備えられてもよい。なお、例えば空間浮遊映像表示部が2か所に備えられている場合には、そのうちのいずれか一方の空間浮遊映像表示部に、運動視差を伴う多視点映像として人物像が表示され、他方の空間浮遊映像表示部に、数字ボタンと決定ボタンが表示されるように構成してもよい。
また、人物像2621として、複数の、年齢や性別の異なる、別の人物像やアニメーションによるキャラクターを表示するようにしてもよい。上記複数の、年齢や性別の異なる、別の人物像やアニメーションによるキャラクターを表示するためのデータは、図2の不揮発性メモリ1108に格納されており、適宜、それら複数の人物像やアニメーションによるキャラクターのうちの1つが選択されて、空間浮遊映像表示部に表示されるようにしてもよい。その場合、利用者の属性(例えば年齢など)に応じて、いずれの人物像またはキャラクターを表示するかを決定するようにしてもよい。
以上、記載したように、本実施の形態では、運動視差を伴う多視点画像(または映像)に基づく空間浮遊映像表示部2620を備えているので、利用者は非接触で商品を選択して購入することができる。また、利用者が自動販売機に近づくことを検知して、空間浮遊映像が自動的に表示され、さらに、空間浮遊映像表示部2620には、運動視差を伴う多視点画像(または映像)の表示に基づく、立体像として認識される人物像2621を表示することができる。その結果、あたかも、実際の人物がそこに存在し、しかも、自分がどの位置に移動しても、常に自分に向かって話しかけてくれているような感覚を得ることができる。さらに、数字ボタン2622(数字ボタン0~9)のいずれか、および決定ボタン2623にタッチした場合には、上記のように、利用者が選択(タッチ)した数字ボタン2622および決定ボタン2623は、他のボタンよりも奥側に引っ込んだように表示されるので、利用者は、自分が選択したドリンクの番号を明確に認識することが可能となる、という効果を得ることができる。
また、上述したように、本実施の形態では、空間浮遊映像として多視点映像が表示され、特に、HMIとしての押しボタンが立体的に表示されるので、利用者にとって実際の押しボタンを押下するように見え、HMIとして好適な空間浮遊映像を提供することができる、という効果がある。
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施の形態を組み合わせた形態も可能である。
実施の形態に係る技術では、空間浮遊映像を高解像度かつ高輝度な映像を空間浮遊した状態で表示することにより、例えば、ユーザは感染症の接触感染に対する不安を感じることなく操作を可能にする。不特定多数のユーザが使用するシステムに本実施例に係る技術を用いれば、感染症の接触感染のリスクを低減し、不安を感じることなく使用できる非接触ユーザインタフェースを提供可能にする。このような技術を提供する本発明によれば、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「3すべての人に健康と福祉を」に貢献する。
また、実施の形態に係る技術では、出射する映像光の発散角を小さくし、さらに特定の偏波に揃えることで、再帰反射部材に対して正規の反射光だけを効率良く反射させるため、光の利用効率が高く、明るく鮮明な空間浮遊映像を得ることが可能になる。実施の形態に係る技術によれば、消費電力を大幅に低減可能な、利用性に優れた非接触ユーザインタフェースを提供できる。このような技術を提供する本発明によれば、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「9産業と技術革新の基盤をつくろう」および「11住み続けられるまちづくりを」に貢献する。
さらに、実施の形態に係る技術では、指向性(直進性)の高い映像光による空間浮遊映像の形成を可能にする。本実施例に係る技術では、いわゆるキオスク端末のような高いセキュリティが求められる映像や、ユーザに正対する人物には秘匿したい秘匿性の高い映像を表示する場合でも、指向性の高い映像光を表示することで、ユーザ以外に空間浮遊映像を覗き込まれる危険性が少ない非接触ユーザインタフェースを提供可能にする。本発明は、以上のような技術を提供することにより、国連の提唱する持続可能な開発目標(SDGs:Sustainable Development Goals)の「11住み続けられるまちづくりを」に貢献する。
1…空間浮遊映像表示装置、2…再帰反射部材、3…空間浮遊映像、10…映像表示装置、11…液晶表示パネル、13…光源装置、330…再帰反射板(再帰反射部材、再帰性反射部材)、1103…レンチキュラーレンズ、1401…画素、1902…画像(多視点画像)、1903…画像(多視点画像)。

Claims (12)

  1. 空間浮遊映像表示装置であって、
    映像を表示する映像表示装置と、
    前記映像表示装置の映像光出射側に配置されたレンチキュラーレンズと、
    前記映像表示装置からの映像光を反射させ、反射した光により空中に空間浮遊映像を形成せしめる再帰性反射部材と、を備え、
    前記映像表示装置は、少なくとも2個のオブジェクトを含む映像を表示し、前記少なくとも2個のオブジェクトのうち、任意のオブジェクトの位置を固定し、前記任意のオブジェクト以外のオブジェクトの位置を、異なる多視点画像間で、互いに所定方向に位置をずらすことにより得られた複数の映像を多視点画像として表示する、
    空間浮遊映像表示装置。
  2. 請求項1に記載の空間浮遊映像表示装置において、
    前記所定方向は、前記空間浮遊映像を視認する利用者の視点に対しての左右方向である、
    空間浮遊映像表示装置。
  3. 請求項1に記載の空間浮遊映像表示装置において、
    前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置されている、
    空間浮遊映像表示装置。
  4. 請求項1に記載の空間浮遊映像表示装置において、
    前記映像表示装置は、表示パネルを有しており、
    前記レンチキュラーレンズは、前記表示パネルの出射面から所定の距離に配置されている、
    空間浮遊映像表示装置。
  5. 請求項4に記載の空間浮遊映像表示装置において、
    前記レンチキュラーレンズと前記映像表示装置との距離は、前記レンチキュラーレンズの焦点距離により調整されている、
    空間浮遊映像表示装置。
  6. 請求項1に記載の空間浮遊映像表示装置において、
    前記映像表示装置は、表示パネルを有しており、
    前記表示パネルの出射面と、前記レンチキュラーレンズの入射面とが平行である、
    空間浮遊映像表示装置。
  7. 請求項1に記載の空間浮遊映像表示装置において、
    前記オブジェクトは、数字、文字、図形のいずれかである、
    空間浮遊映像表示装置。
  8. 請求項1に記載の空間浮遊映像表示装置において、
    前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
    前記映像表示装置および前記再帰性反射部材を収納する筐体と、
    所定操作に基づいて所定の処理を実行する制御装置と、を備え、
    前記オブジェクトは、数字、文字、図形のいずれかであり、
    前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有する、
    空間浮遊映像表示装置。
  9. 請求項1に記載の空間浮遊映像表示装置において、
    前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
    前記映像表示装置および前記再帰性反射部材を収納する筐体と、
    所定操作に基づいて所定の処理を実行する制御装置と、を備え、
    前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有し、
    前記映像表示装置に表示される前記オブジェクトは、前記空間浮遊映像として表示される前記オブジェクトとは前記所定方向での位置関係が逆である、
    空間浮遊映像表示装置。
  10. 請求項1に記載の空間浮遊映像表示装置において、
    前記レンチキュラーレンズは、前記映像表示装置と前記再帰性反射部材との間に配置され、
    前記映像表示装置および前記再帰性反射部材を収納する筐体と、
    所定操作に基づいて所定の処理を実行する制御装置と、を備え、
    前記オブジェクトは、前記空間浮遊映像を視認する利用者の移動に伴って運動視差を有し、
    前記筐体に前記利用者が近づいたことを検知した場合に、前記空間浮遊映像として前記オブジェクトを表示する、
    空間浮遊映像表示装置。
  11. 請求項8に記載の空間浮遊映像表示装置において、
    人感センサを備え、
    前記人感センサの出力結果に基づいて、前記利用者が近づいたことを検知する、
    空間浮遊映像表示装置。
  12. 請求項8に記載の空間浮遊映像表示装置において、
    撮像装置を備え、
    前記撮像装置により取得した前記利用者が写った画像に基づいて、前記利用者が近づいたことを検知する、
    空間浮遊映像表示装置。
JP2022193538A 2022-12-02 2022-12-02 空間浮遊映像表示装置 Pending JP2024080390A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022193538A JP2024080390A (ja) 2022-12-02 2022-12-02 空間浮遊映像表示装置
US18/525,878 US20240184133A1 (en) 2022-12-02 2023-12-01 Air floating video display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022193538A JP2024080390A (ja) 2022-12-02 2022-12-02 空間浮遊映像表示装置

Publications (1)

Publication Number Publication Date
JP2024080390A true JP2024080390A (ja) 2024-06-13

Family

ID=91432087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022193538A Pending JP2024080390A (ja) 2022-12-02 2022-12-02 空間浮遊映像表示装置

Country Status (1)

Country Link
JP (1) JP2024080390A (ja)

Similar Documents

Publication Publication Date Title
US10241344B1 (en) Advanced retroreflecting aerial displays
JP4579295B2 (ja) 画像表示装置
US8878780B2 (en) Display apparatus
KR20140144617A (ko) 공간 영상 투영 장치
WO2022158209A1 (ja) 空間浮遊映像表示装置
WO2022137940A1 (ja) 空間浮遊映像表示装置
WO2022138297A1 (ja) 空間浮遊映像表示装置
WO2022113745A1 (ja) 空間浮遊映像表示装置
TW201303368A (zh) 顯示裝置
WO2023276921A1 (ja) 空中浮遊映像表示装置
JP2024080390A (ja) 空間浮遊映像表示装置
WO2016051480A1 (ja) 表示装置およびそれを用いた組込み機器
US20240184133A1 (en) Air floating video display apparatus
WO2023243181A1 (ja) 空間浮遊映像情報表示システム
Soomro et al. Integrated 3D display and imaging using dual purpose passive screen and head-mounted projectors and camera
CN118131500A (zh) 空中悬浮影像显示装置
JP2022179868A (ja) 表示装置およびこれを用いた空間入力装置
JP2022097901A (ja) 空間浮遊映像表示装置
JP3739348B2 (ja) 三次元表示装置
WO2023112463A1 (ja) 空間浮遊映像情報表示システム
TWI608255B (zh) 立體浮空影像顯示裝置
WO2023162690A1 (ja) 空中浮遊映像表示装置
Yamamoto Non-Contact Aerial Interfaces
WO2022270384A1 (ja) 空中浮遊映像表示システム
CN118355356A (zh) 空间悬浮影像信息显示***