JPWO2008093721A1 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JPWO2008093721A1
JPWO2008093721A1 JP2008556142A JP2008556142A JPWO2008093721A1 JP WO2008093721 A1 JPWO2008093721 A1 JP WO2008093721A1 JP 2008556142 A JP2008556142 A JP 2008556142A JP 2008556142 A JP2008556142 A JP 2008556142A JP WO2008093721 A1 JPWO2008093721 A1 JP WO2008093721A1
Authority
JP
Japan
Prior art keywords
screen
hole
scent
light
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008556142A
Other languages
English (en)
Other versions
JP5317706B2 (ja
Inventor
伴野 明
明 伴野
啓介 伴野
啓介 伴野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2008556142A priority Critical patent/JP5317706B2/ja
Publication of JPWO2008093721A1 publication Critical patent/JPWO2008093721A1/ja
Application granted granted Critical
Publication of JP5317706B2 publication Critical patent/JP5317706B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00Advertising or display means not otherwise provided for
    • G09F19/005Scented advertising means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/33Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being semiconductor devices, e.g. diodes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/33Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being semiconductor devices, e.g. diodes
    • G09F9/335Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being semiconductor devices, e.g. diodes being organic light emitting diodes [OLED]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Business, Economics & Management (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

<課題>没入型五感提示に適した表示装置を実現する。画面内のオブジェクトからあたかも香りが放出され、音が響き、風を感じるように五感刺激を提示する。多種類の香りを高速に切り替え、観察者にピンポイントで提示する。観察者の動きに対応して五感刺激を提示する。<解決手段>画面に視認されにくい程度の穴を複数設け、当該穴から香り、気流、音波等の感覚刺激媒体を放出する。画面は、LED、有機EL素子等を画素に用い薄型に構成し、画素間に穴を設ける。穴径は0.1mm以上、視角にして0.5度以下が良い。複数の穴をまとめてバーチャル砲筒とし、気体を固まりにして放出できる。気体には多くの種類の香りを混入できる。複数の画面に気体放出・排気手段を設け制御することで、任意の方向に気流を生成できる。画面内に近赤外カメラ等の利用者位置検出手段を設けることで、高精度な立体表示(視覚提示)、及び、嗅覚、触覚、聴覚提示を可能とする。

Description

本発明は、映像に、嗅覚刺激(香り)、皮膚触覚刺激(風など)、聴覚刺激(音響など)を連動させて提示する、又は、注視点情報に基づいて映像を提示することにより、高臨場感、又は、心地よさ(癒し)を演出する表示装置に関する。主に、五感提示可能な大画面表示装置に関する。
近年、表示装置は、大画面、高精細化技術が進歩し、迫力のある、又は、臨場感のある映像表現できるようになっている。また、音響装置は、5.1チャンネルなどの構成によって迫力のある音が表現できるようになっている。このように、視覚、聴覚分野では、利用者に質の高い情報を提示する技術が進歩しているが、臨場感の更なる向上を目指すには、嗅覚、触覚、体性感覚などを合わせて提示できる技術が望まれている。また、視覚分野において、両眼立体表示は空間認知に大きな効果があることが知られており、長い間、特殊眼鏡を装着しないで両眼立体視可能な大画面表示装置の実現が望まれている。以下、本発明に関連する従来技術について述べる。
嗅覚提示可能な表示装置については、以下のような発明例がある。
特開平10−10987には、集客用の広告を目的として、人が通過することを検出して、視覚メッセージ、嗅覚メッセージ、音声メッセージを出力する多機能電子ディスプレイが開示されている。当該ディスプレイではLED表示器を用いている。
特開2007−108299には、画像に関連ある香りを発生させることできる香り発生部を備えた表示装置が開示されている。
特開2006−295321には、匂い提示情報に基づいて、所定の匂いを選択、調合し、空気砲を用いて、匂いが含まれた気体を固まりとして観察者の鼻先に向け放出することによって匂いを提示する手段が開示されている。
特開平11−244384には、頭部ハウジング内を青色発光素子の光で満たし、当該ハウジング内にマイナスイオン、水の音、香りを放出して、精神の安定化を図る装置が開示されている。発光素子アレイの前には磨りガラスが設けられ、光を散乱させ一様な光で満たすように工夫されている。マイナスイオンを含む液体微粒子は、ハウジングの頭部に空けた小さな穴から放出される。また、利用者の前面には小さな表示装置が設けられている。
再表01−089590には、多孔質素材に香料などを含浸させておき、振動、熱、風圧を与えて香料を気化させる香り発生手段が開示されている。
しかし、上記の文献に開示されている香り発生装置、又は、香り提示可能な表示装置は、いずれも表示装置の脇(画面の外側)に香り発生装置を設ける構成である。つまり、視覚提示手段と嗅覚提示手段は離れて設けられている。この方法には、以下の問題がある。
大画面になるに従って、表示対象と漂ってくる香りの方向に違和感が生じやすい。例えば、大画面の右側に花の映像が提示され、その香りが左側から漂って来るのであれば違和感は大きく、臨場感を損ねる。また、表示画面の脇に設置すると、スペースを取り目障りである。空気砲を用いる方式であっても、画面が大きくなると利用者(観察者)への香り放出角が鈍角になるため、利用者の鼻腔付近へ狙いを定めて香りの固まりを放出する制御が難しくなる。
表示装置と香り発生装置を連動させるためには座標系変換のためのパラメータを決めるキャリブレーションが必要であるが、これらの装置が離れていると面倒である。その結果、香り提示精度が悪い、香り提示効果が少ないなどの問題がある。
また、映像に連動して香りを放出させる場合、多くの香りを高速に切り換える必要があるが、従来の香り発生装置では、切り換えられる種類が多くても10種類程度であり少ない。また、前の香りが残る問題があり、香りの切り替えが難しい問題がある。
従って、大画面表示では、画面の中から多種類の香りを高速に切り換えて放出する技術が望まれている。例えば、観察者が表示対象である林檎に近づくと、林檎の香りが画面から飛び出してくるような表示装置の実現が課題である。しかし、常識的には、そのような香り発生手段を画面の中に設ければ視覚の妨げになり本末転倒との考えから従来例はない。
次に、触覚提示可能な表示装置について述べる。大画面に山や海などの自然映像を表現する場合、臨場感向上のためには、頬に当る様々な風、例えば、温風、冷風、湿り気のある風、乾いた風、香り付きの風などを映像に合わせて表現することが重要な課題である。特に、没入型ディスプレイでは、観察者の周囲の広い範囲が画面になるので、画面の外側から気流を当てるのではなく、画面の内側から利用者(観察者)に向けて気体を放出し、触覚を提示する技術が望ましい。しかし、このような従来例は見られない。
次に、両眼立体視可能な表示装置については、以下のような発明例がある。
大画面表示では、利用者は体や頭を移動させながら観察する場合が多く、特に、没入型ではその傾向が高いので、頭部の動きを許容して両眼立体視、運動視を実現できる表示装置が重要な課題である。
特許第2774370号には、視点の動きを実時間で計測し、レンチキュラレンズを駆動する方法で大画面両眼立体表示を実現する装置が開示されている。しかし、視点の動きを正確に簡便に計測する手段は開示されていない。また、光の投影制御機構が複雑で、複数の観察者に対応できない問題がある。
図28は、従来、実用化されている両眼立体視可能な没入型大画面表示装置の例である。同図において、27はスクリーン、29は当該スクリーンに映像を投影するためのプロジェクタである。大きなスクリーンに背面投影する必要から高輝度プロジェクタを5台用いている。プロジェクタを設置する場所を含めるとかなり広い空間が必要であり、光学系の調整が複雑で大掛かりな設備となってしまう。
同図において、運動視や立体表示のために必要な観察者P1の視点位置計測は、スクリーン周囲に設けた複数のカメラ84で、眼鏡に設けた光マーカ83を特徴点として撮影する方法で求める。しかし、カメラをスクリーン周囲に取り付ける作業は面倒であり、周囲に設置されたカメラでは、人物を斜めから捉えることになるため、特徴点を確実に撮影することが難しい。また、カメラ座標系で計測した特徴点位置を表示装置の座標系に変換する作業が必要であるが、カメラと表示装置の位置ずれが生じやすいため、高い精度を得ることは難しい。更に、液晶シャッタ眼鏡82を装着する両眼立体視は、煩わしいと言う問題がある。
次に、音響提示では、従来、表示装置の周りにスピーカを複数配置する方法が知られている。しかし、大画面表示装置では、画面周辺のスピーカと画面内の表示対象との間に距離が生じやすい。複数スピーカの位相や音量を制御することにより、音像を定位させる技術もあるが、あたかも表示対象から音が出ているような忠実な再現のための制御は難しい。
特開平10−10987 特開2007−108299 特開2006−295321 特開平11−244384 再表01−089590 特許第2774370号
本発明の課題は、表示対象(オブジェクト)があたかもその場にあるかのような高臨場感を演出できる表示装置を実現することである。このため、表示装置の前に居る人の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)の位置、又は、注視点を検出し、映像、又は、感覚刺激媒体を適切に制御して提示することである。更に、利用者に負担の少ない方法で、感覚刺激媒体を伴った高精度な立体映像を表示できるようにすることである。具体的な課題は以下の通りである。
(1)画面の内側から、映像に連動して、香り(嗅覚刺激)、気流、温風、冷風(皮膚触覚刺激)、音(聴覚刺激)などの感覚刺激媒体を利用者(観察者)に向けて放出できるようにする。オブジェクトからあたかも当該感覚刺激媒体が飛び出るかのような感覚を実現する。観察者の近くから感覚刺激媒体を提示できるようにする。
(2)気体を遠くまで飛行させ、前記嗅覚刺激、皮膚触覚刺激の提示範囲を拡大する。香りを周囲に拡散させずに、利用者にピンポイントで提示できるようにする。また、多種類の香りを高速に切り替えられるようにする。
(3)非接触で利用者の前記感覚刺激媒体提示部位の位置、又は、注視点を高精度で検出できるようにする。また、当該検出手段を簡単に利用できるようにする。
(4)特殊眼鏡を装着せず、頭部の動きを許容して運動視、両眼立体視を可能にする。
(5)装置のメンテナンス性、耐久性を向上させる。
<手段1>
本発明の表示装置は、図1、図5〜図21、図23〜図27に対応付けて説明すると、
画面(10、又は、28)に最短視距離以上において視認されにくい程度の複数の穴(02)を設け、当該穴を感覚刺激媒体、又は、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)を検出するための参照媒体が通過するように構成することを特徴とする。
本発明において、画素間に設けられる前記視認されにくい程度の複数の穴(02)は、利用者の視覚的体制化を疎外しないように設けられる。つまり、穴径、又は、穴密度は、映像の所期の意味を崩さない範囲で設定される。映像には、文字、絵、記号、広告、動画像(映画)などを含む。例えば、穴が大きすぎてこれらの情報が所期の意味を持って伝達されない場合は本発明の範囲外であるが、当該穴が仮に視認できたとしても、これらの情報が概ね所期の目的通りに観察者に受容されれば、視認されにくい程度の穴の範囲である。画素は、規則的に配列できる。
表示画面に複数の小さな穴を設け、穴の後方に前記感覚刺激媒体を通過させるための筒(例えば、図6の06)、又は、気流管(図1の02a〜02e)を設けることができる。当該筒、又は、気流管の気圧を上げることによって、穴から前記感覚刺激媒体を所定の方向に放出できる。当該気流管を複数の穴に設け、管を通過する気流を相互に干渉させることによりバーチャル砲筒(例えば、図1の05)を形成できる。また、複数の穴を取り囲むように筒を設けてもよい。前記穴の前面にはメッシュ素材等の気流通過素材(図11(F)、図27(D)のmes)を設けてもよい。
前記感覚刺激媒体は、嗅覚提示のための気体(香り、化学物質、医薬品)、触覚提示のための気体(空気、霧)、視覚提示のための気体(霧、煙)、聴覚提示のための気体、又は、音波、を含むものとする。また、当該感覚刺激媒体は、画面に表示される映像と連動するように提示できる。
前記参照媒体は、図20、図21、図24、図26、図27に示すように、利用者に感覚刺激媒体、又は、運動視を含む立体映像を表示するための特徴点位置検出に利用できる。特徴点とは、利用者の視点、鼻腔、耳などである。参照刺激媒体としては、光、超音波などが使用できる。人に感知されにくくするためには、近赤外光、超音波をパルス的に用いることが望ましい。超音波の場合は、利用者に衝突して反射してくる超音波を観測し、その反射時間から利用者の位置を検出できる。光を用いる場合については、後に詳細に述べる。
前記画面(例えば、図1の10)は、基板(12)に画素となる表示素子(11)を並べて構成できる。没入感が得られる大画面が望ましい。基板の素材には、ガラス、ガラス繊維ボード、FRP、プラスチック樹脂、軽金属、木材、又は、これらの組み合わせが適用できる。基板の形状は、ボード状、又は、フレキシブルなシート状でもよい。例えば、ペーパーディスプレイなどで使用される基板素材も適用できる。
前記表示素子には、発光型が適しているが、バックライト型(図10、図11)でもよい。発光型の素子としては、発光ダイオード(LED;図16の18)、有機EL素子(OLED;図9のEL)を含むEL素子、プラズマ放電素子(PDP)、プラズマチューブアレイ(PTA)、小型CRTアレイなどが適用できる。また、電界放出ディスプレイ(FED)、表面伝導型電子放出ディスプレイ(SED)で使用される蛍光素子(図18の18)、電子ペパーディスプレイ(EPD)で使用される液体中の電気泳動現象を利用する表示素子も適用できる。バックライト型素子としては、液晶(図10(A)、図11(G)のLC)などが適用できる。
<手段2>
本発明の表示装置は、例えば、図17に対応付けて説明すると、前記手段1において、
複数の穴(02)は、表示素子(11)間、又は、照明素子間に設けられ、穴径は、0.1mm以上で、かつ、最短視距離において視角0.5度以下、又は、通常視距離において0.25度以下であることを特徴とする。
前記表示素子(11)は、3色(赤色、緑色、青色)の発光体(18)で構成できる。穴は、表示素子間に設けることができる。前記最短視距離は、カラー画面の場合、当該3色が混じってほぼ単一色に見える混色距離、又は、表示素子(11)の大きさが視角0.1度程度で観察される距離とすることができる。従って、穴径は、表示素子の概ね5倍程度まで大きくできる。通常視距離は、普段最も多く観察される距離、又は、前記最短視距離の2倍程度とすることができる。
穴の集合部の開口率(YAS)を10%以上にすることが望ましい(図5参照)。これにより、各穴を通過する気体などの感覚刺激媒体は相互に干渉し、利用者に向けて効率よく放出できる。
前記穴径範囲が望ましい理由に付いては、図17に示す。要約すると以下の通りである。画面に穴を設けると、穴は汚れ易いが、穴径が0.1mm以上であれば、洗浄液を通過させることができるため清掃可能である。
文字、絵、記号、広告、動画像など、本発明が目的とする表示対象(オブジェクト)を大きな違和感なく表示できる表示素子(画素)間隔は、視角にして0.5度程度であるが、この場合の最大穴径は0.5度である。表示素子(11)に発光素子(LEDなど)を用いると、光は前方に照射され表示素子部は明るいのでその後方にある穴(02)は見え難い。特に、発光素子を設ける基板に光を吸収する黒系色を用いれば、穴の存在は、知覚の障害にはならない。発光体をレンズで拡大する表示素子の場合は、更に効果てきである(図9(E)、図16)。
しかし、穴径を0.5度より更に大きくすると、画素間隔が広がり、穴の存在も気になるため、画像品質は極端に劣化する。従って、前記範囲が望ましい。
前記表示素子(画素)の形状は、方形、又は、円形が望ましい。穴(02)は、円形が望ましいが、表示素子間の形状に合わせてもよい(図15参照)。穴は、感覚刺激媒体、又は、参照媒体のガイドとして作用させることができる(図1、図11参照)。
前記穴(02)は、図1、図7、図16などに示すように、表示素子配列に乱れが生じないように、表示素子間に設けることが望ましいが、図9に示すように、表示素子間隔が少ない場合は、前記条件を満たす範囲で数画素分の領域を穴(02)に割り当てることができる。
<手段3>
本発明の表示装置は、図9(C)、図10(A)、図11(B)(G)、図18、図24、図27(C)に示すように、前記手段1において、
画面(10)は、裏側と表側とからなる2枚の基板(12B、12C)の間に表示素子(11)、又は、照明素子(11)を設け、当該表示素子、又は、照明素子の間に両方の基板を貫く穴(02)を設け、当該穴の淵が密閉(SL、02a)されるように構成されることを特徴とする。
前記表側基板(12C)は、利用者側に設けられる基板を意味し、光を通過させるガラス、樹脂なとの透明部材で構成できる。シート状部材でもよい。表示素子と駆動回路は、表側基板(12C)に形成することも、裏側基板(12B)に形成することも可能である。何れかの基板に表示素子、又は、駆動回路を形成し、他方の基板は当該表示素子を覆い保護するように構成できる。なお、前記2枚の基板は、本画面に必要な要素を意味しており、当該基板の補強などのため更に別の基板、膜、シートなどを設け、多層にできるのは当然である。
前記表示素子(11)には、LED、EL素子などの発光素子が適用できる。例えば、図9(A)に示すように、裏側基板(12B)にトップエミッションタイプの有機EL素子とTFT駆動回路を設け、表側基板に強化ガラスを用いることができる。EL素子の発光層は、R、G、B画素を横に並べる方式の他、縦型に積層するSOLED(Stacked OLED)も適用できる。素子の駆動は、アクティブマトリックス方式が望ましいが、パッシブマトリックス方式でもよい。
また、図9(E)に示すように、表側基板(12C)の表示素子(EL)が位置する部分にレンズ(19)をアレイ状に成型してもよい。穴(02)は当該レンズの脇に設けることができる。つまり、レンズ付き、穴付きシート状透明部材(12D)を表側基板として使用できる。
有機EL素子の一辺の大きさ、又は、穴の径は、0.1mm〜数mmが可能である。画面の厚さは、2mm以下で製造できる。画面に小さな穴を数多く設けることによって、気流などの感覚刺激媒体を通過させることができる。気流放出角度の自由度を広げるためには、画面は薄い方が望ましい。薄ければ、気流を斜め方向から通過させることができる。
また、LEDを用いた画面の例では、図27(C)に示すように、裏側基板(12B)に表示素子(11;LED)を設け、当該表示素子を覆うように透明表側基板(12C)を設け、当該2枚の基板を貫く穴(02)を設け、当該穴の淵を管(02a)で密閉するように構成してもよい。透明基板(12C)には、強化ガラス、強化樹脂などが使用できる。当該画面の上を歩くことができる。
前記表示素子は、液晶など非発光表示素子でもよい。例えば、図10(A)に示すように、画面(10)は、表側基板(12C)、裏側基板(12B)との間に光の通過、又は、遮断を制御する素子、例えば、液晶表示素子(11;LC)を設け、2枚の基板の表示素子の間に、2枚の基板を貫く穴(02)を設け、穴の淵を密閉するように構成してもよい。極めて薄型に製造できる。なお、密閉は穴の淵を含むようにその周辺を密閉してもよいのは当然である。
当該画面の裏側から光を照射し(バックライトし)、表面に映像を表示できる。映像は、光通過素子の集合で形成してもよいし、光遮断素子の集合で形成してもよい。光遮断素子の集合で形成する場合、バックライトには自然光を利用し、影パターンを利用者側の壁、床に表示できる(図10(C))。この際、穴の集合から外気を取り入れることができる。また、図11(A)(B)に示すように、印刷シート画面(10)を照明するように構成してもよい。
前記表示素子は、電子を蛍光体に照射する発光表示素子でもよい。例えば、図18に示すように、画面(10)は、表側基板(12C;レンズ付き表側基板12D)と裏側基板(12B)との間に電子放出部(DEN)と蛍光体(KEI)からなる表示素子(11)を設け、表示素子の間に2枚の基板を貫く穴(02)を設け、穴の淵が密閉されるように構成できる。同図では、発光部分(18)を真空にするため、12Cと12Bを張り合わせる。従って、穴の淵以外の部分も密閉される。
このように、本表示装置は、電界放出ディスプレイ(FED)、又は、表面伝導型電子放出ディスプレイ(SED)にも適用できる。
前記穴の淵の密閉部(SL)の機能について説明する。図9(A)に示すように、同構造は、当該穴から2枚の基板の間に空気、水分、埃などが入らないように作用する。これにより、素子の信頼性が向上し、清掃も容易である。当該密閉には、接着材を用いてもよい。紫外線硬化型接着材などが使用できる。穴の淵を溶解して接着してもよい。また、表側基板と裏基板を接着した後に、表示素子、又は、画素の間の当該接着部に穴を開けてもよい。
また、図11(B)に示す管(02a)を用いた穴(02)の淵の密閉構造は、バックライト(11(LED))を使用する場合には、当該穴から光を外に漏らさないように作用する。光は表側基板(12C)のみを照射する。表側基板に描かれた絵(Img)が照明される。前記穴付近は光吸収素材を塗布してもよいし、穴付近の輝度変化を少なくするための光拡散反射材を塗布してもよい。
以上のように、本発明では、多くの穴を有する画面を薄型に構成できる特徴がある。これにより、前記感覚刺激媒、又は、参照媒体を適切に通過させることができる。
<手段4>
本発明の表示装置は、図9(E)、図14〜図18、図20、図21、図27に対応付けて説明すると、前記手段1において、
画面(10)は、基板(12、12B、12C)にアレイ状に設けた表示素子(11)で構成され、当該表示素子は発光体(18)がレンズ(19)によって拡大される構造を有し、穴(02)は当該レンズ間に設けられることを特徴とする。
図16(B)に示すように、レンズ(19)は、光主放出面(19k)を持ち、穴(02)は当該光主放出面を避けるように基板に設けることができる。つまり、穴の先端は、当該光主放出面より後方に設けることができる。又は、図27(C)に示すように、発光体(18)と光主放出面(19k)を結ぶ錐形内(Light)に穴(02)、又は、穴に接続される管(02a)が入らないように構成できる。光主放出面は、18、19の構造と凹面鏡Refによって形成できる。
図9(E)、図16、図18(A)に示すように、表示素子(11)は、カラーに対応する複数の発光体を集積化し、当該集積された発光体(18)を拡大するようにレンズ(19)を設けることができる。つまり、レンズ付き発光体を画素とすることができる。前記光主放出面(19k)は、発光体が拡大されて見える面を意味する。
表示素子には、LED、ELのように自身が発光するタイプ、又は、液晶のように自身は発光しないがバックライトによって光るタイプが適用できる。表示素子の駆動回路は、素子から離れた場所に設けてもよい。
図9(E)、図18に示すように、基板は表側基板(12C)と裏側基板(12B)からなり、当該基板間に発光体(18)を設け、当該発光体を拡大するように表側基板にレンズ(19)をアレイ状に形成できる。つまり、シート状のレンズアレイ(12D)、又は、レンチキュラレンズを用いてもよい。
表側基板の断面が山(レンズ部)と谷からなる場合は、谷に当たる部分に穴を設けることができる。また、当該山と谷を持たない場合は、光主放出面(19k)同士の間に穴を設けることができる。シート状レンズアレイの表側基板とシート状裏側基板を用いた画面は、数mmの薄さで構成できる。当該画面構造は、精細な視覚特性を保持しつつ、感覚刺激媒体を効率よく通過させることができる。
ここで、レンズ先端は、必ずしも球状でなくてもよい。図16(D)に示すように、レンズ(11)は、円柱構造で、発光体(18)の後ろに設けた凹面反射鏡(Ref)によって円柱の先端が光主放出面(19k)となる構造でもよい。また、発光体の周りに光拡散材(88)を設け、当該拡散材によって光主放出面が形成される構造でもよい。
何れの場合も、発光体(18)は、レンズによって拡大されるため、当該発光体領域はレンズの光主放出面より十分小さい領域とすることができる。つまり、発光体は基板に離散的に配置され、穴は、当該発光体から離れて設けることができる。従って、穴の形成は当該発光体に悪影響を及ぼさない。また、穴の淵は、2枚の基板の間に外気が入らないようにしっかり密閉できる(図9(E)、図16(A)、図18)。
表示素子にLEDを用いる場合、図16に示すように、基板に穴を設けやすく画面構成の自由度が高い。一つの基板(12)に、縦横各々、数10から数100のLEDを配置して画面ユニットとし、当該ユニット縦横に並べて連結することにより大画面を構成できる。部屋の形に合わせて壁や間仕切りに当該画面を用いることができるため、没入型表示装置に適している。
<手段5>
本発明の表示装置は、前記手段1において、
画面は、光反射型スクリーン(図12の28)、又は、光透過型スクリーン(図11の12C)で構成され、当該スクリーンに穴が設けられたことを特徴とする。
前記スクリーンには、前方(前面)、又は、後方(背面)から映像を投影できる。また、スクリーンに画像を印刷し照明を当てることができる。この場合、画像中で目立たない場所に多数の穴を集中的に設けることができる。目立たない場所として、空間周波数の高い画像領域とすることができる。
スクリーンに設ける穴の後方に、前記感覚刺激媒体、又は、利用者の感覚刺激媒体提示部位を検出するための参照媒体が通過するように筒型ガイド(02a)を設ける、又は、穴の前面にメッシュ素材等の気流通過素材(mes)を設けることができる。当該筒型ガイド、又は、気流通過素材は、前記媒体を所定の方向に通過させる作用、及び、穴と周囲との明るさを均一化させる作用がある。つまり、スクリーンに穴を開け、後方から単に照明する場合、穴から照明光が漏れて違和感の原因になるが、前記筒型ガイドを設けると光の漏れを防止できる。
前記スクリーン(図12の28)は、ボード、シート、布などの基板に再帰性反射材(83)を敷き詰めて構成できる(図12(D))。当該再帰性反射材の間に穴(02)を設け、前記感覚刺激媒体、又は、参照媒体を通過させることができる。穴内部、又は、筒型ガイド(02a)内部に、光反射材を設けてもよい。再帰性反射材としては、微小反射球(粒子)、微小ガラス球、微小直角反射鏡などが利用できる。反射光が所定の視野範囲に広がるものでもよい。
前記スクリーンは、フレキシブルなシートで構成し、穴径は、感覚刺激媒体通過時に変化させてもよい。風圧、音圧などによって、穴径が拡大するように構成できる。
<手段6>
本発明の表示装置は、図9(C)、図19、図25、図26、図27に対応付けて説明すると、前記手段1において、
画面の穴から感覚刺激媒体を放出する手段(01、60、61、63)が複数設けられ、オブジェクト(図25のObj)が視知覚される位置近傍の感覚刺激媒体放出手段が選択的に駆動され、当該オブジェクトに対応する感覚刺激媒体が提示されることを特徴とする。
オブジェクトとは、映像によって作り出されるバーチャルなモノである。香り、風、音を発生するオブジェクトが利用できる。また、所定場所を中心に波紋が広がる映像、色が変わる映像など、誘目性を生じる抽象概念でもよい。具体例は後述する。
オブジェクトの表示手段には、2次元映像表示手段、3次元(立体)映像表示手段が利用できる。後者としては、3次元世界モデルを透視投影変換して運動視映像を表示するコンピュータグラフィックス(CG)手段(図25(B))、左右の眼に視差画像を表示する両眼立体視手段が利用できる。両眼立体視手段の具体例としては、レンチキュラレンズ方式(図20)、偏光眼鏡方式、時分割眼鏡方式(図25(B)の82)などが利用できる。また、空間にレーザを集束して照射しプラズマ放電を起こして直接描画する表示手段(図25(C))を用いてもよい。何れの場合も、オブジェクト(Obj)が視知覚される位置近傍の画面から感覚刺激媒体を放出する。
利用者(観察者)の位置を検出する手段(図26の70)を組み合わせて使用できる。オブジェクトが視知覚される位置(図25のObj)と観察者位置(P1)を結ぶ線分からの距離が短い感覚刺激媒体放出手段を選択して駆動できる。オブジェクトが視知覚される位置は、両眼立体視の場合は空間、単眼視の場合は画面上である。単眼視の場合は、画面上のオブジェクト近傍の感覚刺激媒体放出手段を選択できる。
前記感覚刺激媒体としては、香り、匂い、医薬品(嗅覚刺激)、気流(皮膚触覚刺激)、音波(聴覚刺激)、又は、これらを組み合わせた感覚刺激媒体が利用できる。
嗅覚刺激の場合は、例えば、花畑(オブジェクト)が表示された画面近くの香り放出装置から当該花の香りを提示できる。また、利用者を画面内の所定位置に誘導する手段を併用できる(図19)。音声情報、視覚情報を用いて、例えば、利用者を花が表示されている画面領域に誘導し、当該画面内から香りを提示できる。
皮膚触覚刺激の場合は、例えば、扇風機(オブジェクト)が表示されている画面、又は、木々(オブジェクト)が揺れている様子が表示されている画面の近くの気流発生装置から風を提示できる。また、滝(オブジェクト)が表示されている画面から水しぶきを連想させる霧を放出できる。
この際、香りや気体を放出する画面の映像輝度を上げる、色を変える、フラッシュさせるなどにより、注目を演出することも可能である。
聴覚刺激の場合は、画面の裏側に複数のスピーカを配置し、音響発生オブジェクトの近傍のスピーカを選択して駆動できる。例えば、図25(B)に示すように、オーケストラの団員の等身大オブジェクト(Obj−P)を画面に表示し、各楽器パート位置から当該楽器の音を提示できる。運動視映像の場合は、利用者の位置が変わると、当該楽器パートの画面上の位置も変化するため、当該位置変化に応じて、スピーカを切り換えて音を提示できる。
両眼立体視の場合は、オブジェオトは画面前後の空間に局在して見える(図25(B)のObj−P)。つまり、実際の画面に表示されている右眼映像、左眼映像とは別な位置にオブジェクトを知覚する。従って、画面上の像位置近傍のスピーカを選択すると、音発生位置とオブジェクトの視知覚位置がずれる場合がある。そこで、両眼立体視の場合は、空間に知覚されるオブジェクト位置近傍のスピーカを選択できる、又は、当該オブジェクト位置(Obj−P1)と利用者位置(P1)を結ぶ線分(破線58)が画面と交わる位置の近くにあるスピーカ(図25(B)の63−2)を選択できる。
音波は利用者に向けて放出するように角度を制御してもよい。スピーカには超音波スピーカなどの指向性スピーカを使用できる。前記薄型画面に穴を設けることにより、画面に垂直方向だけではなく、斜め方向からも音波を提示できる(図23)。
また、音の知覚方向を変えるために、複数のスピーカから出る音の位相を変える、音量を調整するなどを併用しても良いのは当然である。例えば、図25(B)のように、オブジェクト(Obj−P2)の直ぐ近くにスピーカを配置できない場合、比較的近くのスピーカ(63−3)とその周辺のスピーカ(63−4)を選択し、複数のスピーカ音の位相、又は、音量を調整して音像を移動し、当該オブジェクトから出ているような音を再現できる。この場合であっても、従来の表示装置のように、画面の外側にスピーカを配置する場合に比べると遥かに高い臨場感が得られる。
<手段7>
本発明の表示装置は、図1、図4、図5(A、C)、図6、図7、図12(B)、図14、図15、図19に対応付けて説明すると、前記手段1において、
画面(10、28)に設けた複数の穴(02)、又は、穴に設けた気流管(02a、02b・・)は、集合してバーチャル砲筒(05)を構成し、当該砲筒からは、各穴(気流管)の気流が相互に干渉して放出される、又は、気体が固まり(04)として放出されることを特徴とする。
前記穴、又は、気流管の一部から化学物質含有気体を放出させ、周りの穴又は管から放出される気体と相互干渉させて、気体の固まりとして放出できる(図6)。気体の固まりは、化学物質を拡散せずに利用者付近に飛行する。
前記複数の穴、又は、気流管から異なる香りを放出すれば、空中で混合される。画面の中から、極めて多種類の香りを高速に切り換えて、又は、混合して利用者に提示できる。
利用者の位置を計測する手段、利用者を画面のバーチャル砲筒位置に誘導する手段、利用者の吸気を検出、又は、予測する手段を組み合わせれば、利用者に、非接触で、香り、化学物質(医薬品を含む)を定量して提示できる、又は、摂取させることができる(図19)。利用者の誘導に関しては、バーチャル砲筒の位置に誘目性が高く興味深い映像を表示する、又は、当該位置から関心を引く音を放出することによって可能である。
画面の様々な場所に穴、又は、気流管を設けることができるため、図26(D)(F)に示すように、使用する穴、又は、気流管の組み合わせを変えることにより、バーチャル砲筒(05a、05b、05c)の位置を変化させることができる。画面の中で、気流放出場所を変化させることができる。
前記穴(02)、又は、気流管(02a、02b・・)は、開口率(YAS)が10%以上になるように構成することが望ましい(図5(D))。また、前記穴(気流管)の長さは、穴の径の2倍以上とすることが望ましい(図1)。
以上により、各穴から出る気体は相互に干渉するため(図5(C))、気流を大きな面で利用者に当てることができ、また、気体を加熱、又は、冷却することもできるため、自然の風のような皮膚触覚を実現できる。
YAS20%以上では、前記砲筒の気体を瞬間的に圧縮することによって、砲筒中心部が速く、周辺部が遅くなるため、砲筒の周囲で渦を生じ渦輪ができる(図4(A))。渦輪は、形を崩すことなく前方に飛行する性質がある。当該渦輪に香りを混入すると効率の良い嗅覚提示が可能である。香りは、離れた利用者にピンポイントで提示できる。画面の中から、香りが飛び出してくる不思議な感覚が得られる。
図1(C)、(D)に示すように、圧縮板(51)の駆動方法には、急速に押し出し、ゆっくり引く方法(K1)と、押し出した後、急速に引く方法(K2)がある。K1では、図4に示す回転方向の渦輪が生じ、K2ではその逆方向の渦輪が生じる。K2の方が残留気体の帯が生じにくい。
図1、図2、図3、図6、図7に示すように、穴、又は、穴に設けた気流管には、化学物質供給手段(30、36A、36B、36D)、及び、当該供給を制御する手段を設けることができる。当該化学物質供給手段には、霧発生装置を利用できる。当該穴に直接設けてもよいし、気流管の管壁に設けてもよい。
霧発生装置としては、液体を超音波で振動して霧化する方式(超音波霧化方式;図6(B)(C))、液体を高電界で引きちぎるようにして霧化する方式(静電霧化方式)、狭い隙間に液体を入れピエゾ素子(圧電素子)によって当該液体に瞬間的な圧力を加えて当該隙間から液滴を放出する方式(ピエゾ方式;図6(D))、狭い隙間に液体を入れ静電圧力素子によって当該液体に瞬間的な圧力を加えて当該隙間から液滴を放出する方式(静電圧力方式)、狭い隙間に液体を入れ加熱素子によって当該液体を瞬間的に蒸発させ当該圧力によって当該隙間から霧を放出する方式(サーマル方式)などが利用できる。
霧を放出する手段としては、前記のように気流で押し出す方法の他、前記気流管、又は、砲筒の中に超音波進行波を発生させ、当該音波圧力で霧微粒子を押し出してもよい。
<手段8>
本発明の表示装置は、図26、図27に対応付けて説明すると、前記手段1において、
嗅覚刺激、又は、皮膚触覚刺激媒体である気体は、画面の穴を介して、画面裏側から表側(利用者側)に放出され、表側から裏側に排出されることを特徴とする。
図27(A)に示すように、画面は、湾曲、又は、複数によって、利用者を囲むように構成でき、画面の一部に設けた穴から気体を放出し、他の画面から使用済み気体を排出できる。従って、画面と画面の間に気流を作ることができる。また、羽車を用いた気圧発生手段(01or65)は、気流放出、排気の切り換えが可能である。従って、気流方向を自在に精度よく制御できる。利用者の位置を検出し、当該利用者が立っている場所に気流を発生させれば、風の表現(触覚提示)が可能である。
没入型大画面表示装置では、利用者の作業空間は画面で囲われるため匂いや空気が汚れやすい。前に提示した香りが残っていると、香りの切り替えが困難であるが、本発明では、ある画面から放出した気体を別の画面で吸引し排出できるため、香り、雰囲気を高速に切り替えることができる。
前記気体は、加熱、又は、冷却、又は、加湿、又は、除湿して放出できる。室内の空気を画面から吸い込み(排出し)、温風として放出する、又は、冷風として放出できる。図26(G)に示すように、画面(10)の裏側にエアコン装置(Aircon)の気体放出部(01)、排気部(65)を密着させることができる。
<手段9>
本発明の表示装置は、図9(C)、図16(B)、図20、図21、図24、図26(A)(B)(C)、図27(B)に対応付けて説明すると、前記手段1において、
画面の穴(02)に小型カメラ(72〜75)を設け、カメラレンズ(74)の近傍から参照光(LGR)を照射し、反射光(LGA)を当該カメラで捉え画像処理によって、利用者(P1)の感覚刺激媒体提示部位(眼(視点)、鼻、耳、顔、手など)、又は、注視点を検出することを特徴とする。
ここで、視点は利用者の眼の位置、注視点は視線が画面と交わる点を意味する。参照光には、近赤外光を用いることができる。複数の近赤外光源はカメラレンズを取り囲むように画面の中に配置し、特徴点撮影の照明装置とすることができる。当該近赤外光源には、可視光源と同一駆動原理の素子でも、異なる駆動原理素子でもよい。具体的には、高輝度LED、又は、EL素子、SED素子などが利用できる。
図9(B)(C)、図20、図21、図26(B)、図27(B)に示すように、当該光源(77)は、カメラレンズ(74)の光軸付近に対称的に配置することが望ましい。また、近赤外光源は、カメラの撮影タイミングに合わせて間欠駆動できる。当該カメラは、近赤外バンドパスフィルタを用いることによって近赤外反射光による像のみを撮影し、特徴点を抽出できる。
利用者は画面に向かい合っているので、従来法では映像の光が顔に照射され特徴点が抽出し難い。特に、没入型大画面では、映像光の影響を大きく受ける。しかし、本発明では、画面内から参照光を顔に照射し、この反射光を光源近くに設置したカメラで捉え、参照光のスペクトルを映像光から分離するため特徴点撮影効率がよい。特に、網膜反射による瞳孔像、角膜反射像、及び、再帰性反射マークの撮影には適しており、特徴点は明確に撮影される。
眼の特徴点には、瞳孔像、又は、角膜反射像が利用できる。鼻、耳、顔、手の特徴点には、当該部位に再帰性反射マークを付けてもよい。また、両眼の位置を検出し、予め用意された頭部モデルから鼻、耳、顔(頬)の位置を推定してもよい。
図24(C)に示すように、基板(12B、12C)に設けた穴をカメラ(72)のピンホールレンズ(74a)として利用してもよい。この場合、基板に穴を開け穴の淵に遮光材を塗布することで実現できる。また、図9(E)に示すように、表側基板(12D)には、参照光を集束通過させるカメラレンズ(74b)を成型し、当該レンズを通過する参照光を穴に設けたカメラ(72)で捉えてもよい。
前記カメラは、前記特徴点位置を特徴点計測座標系(カメラ座標系)において検出できる。ここで、当該特徴点計測座標系と表示座標系との相対位置関係を予め求めておき、表示座標系において前記特徴点位置を検出できる。
本発明では、画面の所定の穴にカメラを設置することにより、特徴点計測座標系(カメラ座標系)と表示座標系との相対関係を固定できる。従って、表示装置を製造するときに、当該相対関係、つまり、座標変換パラメータをキャリブレーションで求めておけば、特徴点位置を表示座標系において直接求めることができる。
同様に、感覚刺激媒体提示装置(気体放出装置、音響装置など)を画面内に実装できるため、表示座標系とこれらの装置の座標系の変換を製造時に行うことができる。従って、表示座標系において、当該感覚刺激媒体提示装置を直接制御できる。
以上により、利用者(観察者)の視点位置を基にした透視投影変換映像を生成できる。つまり、運動視表示を実現できる。また、映像に同期するように、香り、気流、音波などの感覚刺激媒体を利用者に向けて提示できる。更に、画面に利用者が近寄ったことを検出して、当該利用者に向けて感覚刺激媒体を提示できる。
また、図20(A)(B)に示すように、両眼(17L、17R)の位置を検出し、当該両眼に向けてオブジェクトを知覚させるための光線(LG1〜LG6)を提示すれば、特殊眼鏡を使用しない立体視映像表示が可能である。
<手段10>
本発明の表示装置は、図21に対応付けて説明すると、前記手段1において、
薄型画面(10)の穴に撮影方向が制御できる、又は、像を拡大できる小型カメラ(72Zoom)を設け、感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)を撮影し、当該部位の位置、又は、注視点を検出し、当該情報に基づいて映像、又は、感覚刺激媒体を提示することを特徴とする。
本発明では、画面が薄型に構成できるため、図21(C)に示すように、画面に設けた穴の中で、カメラレンズを回転可能に実装できる。また、画面(10)には、標準又は広角レンズ付きカメラ(72)と、望遠レンズ付きカメラ(72Zoom)を併設できる。72で前記感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)の概略位置を検出し、当該位置情報を用いて72Zoomの撮影方向を制御し、当該部位を拡大して撮影できる。特徴点が拡大して撮影されれば検出精度が向上する。従って、広い範囲で前記感覚刺激媒体提示部位の位置、又は、注視点を高精度で検出できる。
注視点検出方法について説明する。眼を拡大して撮影できれば、瞳孔と角膜反射像が抽出できる。両特徴点の距離と眼球モデルを用いて眼球の回転角を検出できる。眼の位置(視点位置)と当該眼球回転角情報を用いて、画面上の注視点を検出できる。また、瞳孔と顔の3つの特徴点の位置を検出し、画面上の注視点を求めることができる。
また、本発明では、画面の様々な場所にカメラを設けることができるので、図21、又は、図26(F)に示すように、各カメラで瞳孔を拡大して撮影し、当該瞳孔が円に撮影されれば、視線は当該カメラの方向にあるため、当該カメラ近傍のオブジェクトが注視されていると判断できる。また、瞳孔像が楕円であればその長軸、短軸比から視線の角度を推定できる。このように、瞳孔の形状から注視方向を推定する簡単なアルゴリズムが適用できる。カメラ設置場所が限定される従来の表示装置では高精度化は難しいが、画面の中に多くのカメラを配置できるため、高精度の注視点検出が可能である。
<手段1の効果>
画面に見えにくい穴を設けるため、画面の様々な場所において、画面の裏側から表側に向けて感覚刺激媒体を放出する手段を設けることができる。従って、画面に表示されたオブジェクトから、嗅覚刺激(香り)、皮膚触覚刺激(風、霧)、聴覚刺激(音響)、視覚刺激(霧、煙)などの感覚刺激媒体があたかも飛び出るような映像表示装置を実現できる。臨場感演出効果が高い(図13)。
画面に複数の小さな穴を設け、当該穴の後方に前記感覚刺激媒体を通過させるための筒、又は、管を設けることにより、穴の非視認性と、前記感覚刺激媒体を所定の方向に放出する特性が向上する。穴の前面にメッシュ素材等の気流通過素材を設ければ、非視認性は更に高まる。これらにより前記臨場感演出効果は更に向上する。
画面の様々な場所に利用者の感覚刺激媒体提示部位を検出する参照媒体放出手段を設けることができる。従来、大画面において、画面前の利用者の位置検出は難しいが、本発明では、画面の穴を通過する参照媒体を利用して当該部位の位置検出をするため、位置検出精度が高く、従って、利用者に適切に感覚刺激媒体を提示できる効果がある。
例えば、利用者の検出位置を基に、映像や音声で利用者を画面の所定場所に誘導し、目の前の画面内から香りを提示できる。また、利用者の動きに合わせて、利用者を追いかけるように画面裏に設けた複数の香り放出装置を切り換えて香りを提示し続けることができる。
以上のように、従来の画面の横に香り発生装置を設ける表示装置に比べ、本発明の画面の中に香り放出装置を設ける表示装置では、利用者と香り放出装置との距離を大幅に短くできるため、利用者への香り提示精度が遥かに高い。また、香りを拡散させずに利用者に提示できるため、嗅覚刺激の立ち上がり特性が極めて明確である。皮膚触覚刺激に関しても同様に高精度で、立ち上がり特性が明確である。大画面になるほどその効果は高い。
<手段2の効果>
画面に設ける穴の径が、0.1mm以上であって、最短視距離において、視角が0.5度以下(通常視距離において0.25度以下)の範囲の場合、映像(文字、絵、記号、広告、映画などを含む)の所期の意味を崩すことなく、香り(嗅覚刺激)、気流(皮膚触覚刺激)などの感覚刺激媒体を利用者に適切に提示できる効果がある(図17(E))。また、穴に水などの洗浄液を通過させることができるため、穴の清掃が可能であり、メンテナンス性が良い効果がある。更に、穴集合部の開口率が10%以上の場合、香り、又は、風を離れた利用者に対しても適切に提示できる、又は、方向を定めて提示できる効果がある(図5(D))。
<手段3の効果>
画面は、裏側と表側とからなる2枚の基板の間に表示素子、又は、照明素子を設け、当該表示素子、又は、照明素子の間に両方の基板を貫く穴を設けて構成されるため、薄型である。穴付きの画面が薄型であることにより、前記感覚刺激媒が穴を通過する際の抵抗が小さく、また、裏側から様々な方向に感覚刺激媒体を放出できる(図9(D)、図23、図24)。感覚刺激媒体を利用者が居る方向に狙いを定め確実に提示できる効果がある。例えば、画面の前を通過する人を追いかけるように香り、風、霧、煙などを提示できる。
前記抵抗が小さいため、小型で低出力の気流発生手段が適用できる、また、複数の穴から出る気流は干渉しやすく、気体を固まりとして放出できる効果がある。遠くまで、香りの固まりを搬送できる。
前記穴の淵が密閉されるため、前記表示素子、又は、照明素子は、外気に触れることがなく信頼性が高い。また、発光素子を用いる画面は、素子、又は、駆動回路が発熱しやすいが、画面が薄く、空気穴は放熱特性がよいので、素子の劣化は少なく、耐久性が高い効果がある。
画面の穴から前記感覚刺激が通過すると穴が汚れる場合があるが、画面が薄いため、穴の清掃は容易であり、メンテナンス性がよい効果がある。
前記裏側基板と表側基板を貫く穴に気流管、又は、筒を設けると、表示素子、又は、照明素子の光が当該穴から漏れないように構成できる(図11(B)の02a)。この構成は、バックライトを使用する表示装置において、視認性の良い映像を表示できる効果がある(図11(D))。
<手段4の効果>
レンズによって光が所定の方向に放出されるので、レンズの間は照明されず暗く、この間に設けた穴は知覚されにくい特徴がある。また、発光体(18)はレンズによって拡大されるため、小さな発光体を離散的に配置しても光放出面は大きくできる(図16(B)、図18)。従って、当該表示素子に影響を与えずに、穴及び穴の周囲を密閉する領域を十分に確保できる。また、穴に気流管などを設けやすい特徴がある。
以上の特徴は、明るく、精細で、信頼性が高い画面を実現しつつ、感覚刺激媒体を適切に通過させる効果がある。また、穴の形状、大きさに自由度が大きいため、香り、霧、煙、音波など多様な感覚刺激媒体を利用者に正確に提示できる効果がある。
更に、画面は、表側基板にレンズアレイシートを用いることによって、薄型に構成できる。画面が薄型であることの効果は前記手段の効果と同様である。つまり、視覚特性と感覚刺激媒体の通過特性が共に優れ、当該媒体の放出方向は制御可能で、気体を固まりとして遠くまで放出でき、清掃は容易で、メンテナンス性が良く、信頼性、耐久性が高い表示装置を実現できる。
<手段5の効果>
スクリーンを用いた画面は薄いので、前記穴付きの画面が薄型である表示装置と同様の効果がある。スクリーンには、小さな穴を多数設けることが容易なので、穴の非視認性と感覚刺激媒体の通過特性は特に優れている。また、安価なので、目的に合わせてスクリーンの張替え、又は、使い捨てができる効果がある。
<手段6の効果>
オブジェクトが視知覚される位置近傍の画面から感覚刺激媒体が放出されるため、当該オブジェクトの理解が深まり、臨場感も向上する(図13)。
本発明の応用としては、例えば、春の風景映像として風で梅の木が揺れる様子を表現し、その梅に近づくとその花から梅の香りが提示され、春の風が触覚提示され、木に止まった鶯の声がその場所から提示される表示装置が実現できる。また、画面にコーヒーカップの映像を表示し、観察者が当該コーヒーカップに近づいたときに、コーヒーの香りを提示できる。
更に、立体視映像表示では以下の効果がある。
運動視映像では、利用者が移動するとオブジェクトの位置が変化するが、常に、像の近くの感覚刺激媒体放出手段が選択される。また、両眼立体視像、空間描画像では、空間に知覚されるオブジェクト位置近傍の感覚刺激媒体放出手段が選択される。従って、提示される複数の感覚刺激に矛盾が少ない。五感提示において感覚刺激が実際と異なると違和感、疲労の原因になるが、本発明は、矛盾が少ないので、自然で、臨場感が高く、疲労が少なく、長時間使用しても疲れない効果がある。
<手段7の効果>
図1、図2、図3、図6に示すように、画面に設けた複数の穴はバーチャル砲筒を構成し、気体を固まりとして放出する、又は、整流して放出する作用があるため、気体は遠くまで搬送される。画面から離れた利用者に対しても香り、風などを効率よく提示できる効果がある。使用する香料は少なく経済的である、また、残香が少ない効果がある。
バーチャル砲筒内の穴、又は、穴に設けた気流管には、香り放出装置を設けることができるため、極めて多種類の香りを切り替えて放出できる。例えば、当該穴に数10から数100種類の香り放出管を設ければ、選択の組み合わせを変えることによって、数千種類の香りを提示できる。また、香りの高速切り換えが可能である。従って、臨場感演出効果が高い。
穴、又は、気流管の組み換えによりバーチャル砲筒の位置を変化させることができるため、利用者の動きに、追随するように香りを提示できる効果がある(図9(C)、図26(E))。
また、本発明は、利用者を画面内の気体放出場所に誘導し、吸気時に気体の固まりを放出できるので、非接触で、香り、医薬品、化学物質などを定量して摂取させる装置を実現できる。簡便に、衛生的に、医薬品を投与できる効果がある。癒し映像と高濃度酸素を投与すれば疲れが取れる、インフルエンザワクチンなどを投与すれば疾患予防効果がある。
<手段8の効果>
図26、図27に示すように、画面の様々な場所から当該利用者に向けて、香り、風、霧などの感覚刺激媒体を放出し、使用済み媒体を排出できるため、利用者に提示する雰囲気を高速に切り換えることができる。映画などのストーリー性のある映像では、表現対象(シーン)が頻繁に切り替わるが、このシーンの変化に追随して、その場の雰囲気を切り換えて演出できるため、ストーリーの内容理解、及び、臨場感が向上する効果がある。
図27に示すように、利用者の周りを本発明の画面で囲むと、前後、左右、上下など様々な方向から気流を正確に提示できる。利用者が立っている場所を検出し、気流を提示すれば、「風に吹かれている」感じなど高臨場感が得られる効果がある。
図26(G)に示すように、部屋の空気を取り込み(排出し)、加熱、又は、冷却、又は、加湿、又は、除湿して放出できるので、映像が表示できるエアコンとしても利用できる。部屋の壁、天井、床が、表示装置であると共に、雰囲気制御装置となるので、空間の有効利用が可能である。
<手段9、手段10の効果>
図9(C)、図16、図20、図21、図26、図27に示すように、利用者が、画面と向かい合っている状況において、画面内から参照光を顔に照射し、反射光を当該光源近傍のカメラで捉えるため、特徴点は明確に撮影される。また、カメラは画面の中に固定されるため、特徴点位置を計測するカメラ座標系と表示座標系の変換作業は製造時に可能である。従って、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)の位置を簡単に高精度に検出できる。
このため、3次元位置センサなどを装着することなく、運動視表示を正確に実現できる。本発明とレンチキュラレンズを組み合わせることにより、特殊眼鏡を装着することなく両眼立体視表示を正確に実現できる。また、香り、気流、音波など感覚刺激媒体を利用者に向けて正確に提示できる効果がある。
利用者が大画面と向き合っている環境において、注視点を広い範囲で高精度に検出できる。当該注視点情報を用いて注視対象(オブジェクト)を推定できる(図21、又は、図26(F))。また、映像への興味、関心など心理情報を抽出できる。当該情報に基づいて、映像、又は、感覚刺激媒体を提示することによって臨場感演出効果は極めて大きい。
本発明の第1の実施例で、香り提示機能付き表示装置である。 前記第1の実施例の構成部品で、香り供給部の断面図である。 前記香り供給部の他の構成例である。 渦輪生成原理、および、香りの混合方法を説明する図である。 画面に設けた多くの穴で構成される砲筒の気体整流作用を説明する図である。 本発明の第2の実施例で、香り提示機能付き表示装置である。 本発明の第3の実施例で、香り提示機能付き表示装置である。 本発明の第4の実施例で、排気機能付き表示装置である。 本発明の第5の実施例で、EL素子を用いた感覚刺激媒体提示機能付表示装置である。 本発明の第6の実施例で、液晶素子を用いた感覚刺激媒体提示機能付表示装置である。 本発明の第7の実施例で、画面を背面照射する感覚刺激媒体提示機能付表示装置と効果を説明する実験結果である。 本発明の第8の実施例で、プロジェクタスクリーンを用いた香り提示機能付き表示装置である。 画面の中から感覚刺激媒体を提示する本発明の効果を説明する実験結果である。 本発明の第9の実施例で、発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。 本発明の第10の実施例で、発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。 本発明の第11の実施例で、LEDとレンズを用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。 画面に設ける穴径の許容範囲を決めるシミュレーション実験結果である。 本発明の第12の実施例で、電子放出蛍光体を用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。 本発明の第13の実施例で、電子看板として使用する感覚刺激媒体提示機能付き表示装置である。 本発明の第14の実施例で、近赤外参照光を用いて利用者の感覚刺激媒体提示部位、又は、注視点を検出し、感覚刺激媒体を提示する表示装置、及び、運動視CG映像を提示する表示装置、及び、両眼立体視表示装置である。 前記第14の実施例の正面図である。 前記第14の実施例の表示素子駆動回路例である。 本発明の第15の実施例で、音響提示機能付き表示装置である。 本発明の第16の実施例で、薄型画面に設けた穴から立体的な音響を提示する表示装置である。 本発明の第17の実施例で、画面に設けられた複数の感覚刺激媒体放出手段が選択的に駆動される表示装置である。 本発明の第18の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を提示する複数画面を用いた没入型表示装置である。 本発明の第19の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を前後、左右、上下から提示する複数画面を用いた没入型表示装置である。 従来の没入型表示装置である。
符号の説明
01、01A、01B・・・気体放出装置、香り放出装置
02・・・・・画面に設けた穴
02a、02b、02c、02d、02e・・穴に設けた管(気体放出管など)
02S・・・・空気放出管
04・・・・・渦輪
05・・・・・開口部、又は、バーチャル砲筒
06・・・・・砲筒
07・・・・・気圧発生手段
08・・・・・空気槽
09・・・・・瞬間気圧発生機構
10、10−1、10−2、10−3、10−4、10−5・・画面
11・・・・・表示素子、又は、画素、又は、照明素子
12・・・・・基板
12B・・・・裏側基板
12C・・・・表側基板(透明部材)
12D・・・・レンズ付き表側基板
13・・・・・11の駆動制御装置
14・・・・・40の駆動制御装置(香料供給制御)
15・・・・・加熱制御装置(気化加速制御)
16・・・・・駆動制御装置(気圧制御)
17、17L、17R・・視点位置
18・・・・・発光体(LED、EL素子など)
19・・・・・レンズ
19k・・・・光主放出面
20・・・・・バイモルフ型圧電素子
21・・・・・金属板
22・・・・・圧電板
27・・・・・スクリーン
28・・・・・プロジェクタ用画面(スクリーン)
29・・・・・プロジェクタ
30・・・・・香り供給部
31・・・・・香料蓄積機構
32・・・・・側面に穴を設けた管
33・・・・・管型気流制御板(磁性体)
34・・・・・末端を閉じた管型気流制御板(磁性体)
35・・・・・バネ
36、36A、36B、36D・・香料を放出管02内に供給する香り供給部
37・・・・・香料取り込み穴(Hol1)を設けた香り放出管
38・・・・・香り搬送管
39・・・・・電磁駆動機構
40・・・・・電磁石
41・・・・・磁性体管
43・・・・・排気管
45・・・・・メッシュ機構(電磁駆動機構取り付け部)
46・・・・・空気収集機構
47・・・・・羽車(ファン)
48・・・・・排気装置
49・・・・・減圧手段
50・・・・・瞬間気圧発生機構
51・・・・・圧縮板
52・・・・・電磁石の芯
53・・・・・電磁石
54・・・・・蛇腹機構
55・・・・・サーボモータ
56・・・・・リンク機構
57・・・・・柱
58、59・・オブジェクトと観察者を結ぶ直線
60、60−1、60−2・・音響提示装置(超音波スピーカ)
61・・・・・音響提示装置(小型指向性スピーカ)
62・・・・・回転制御機構
63・・・・・球形集積スピーカ
64・・・・・小型スピーカ
65、65−1、65−2・・気体排出装置
66・・・・・指向性マイクロホン
67、68・・通信装置
69・・・・・スリット
70・・・・・ステレオ画像計測装置
71・・・・・特徴点抽出装置
72・・・・・カメラ
73・・・・・撮像素子(CCD、CMOSなど)
74・・・・・カメラレンズ
74a・・・・ピンホールレンズ
74b・・・・基板12Dに設けたカメラレンズ
75・・・・・筒
76・・・・・近赤外投光装置
77・・・・・近赤外発光素子
78・・・・・駆動回路(配線)
79・・・・・観察用カメラ
81・・・・・香料容器
82・・・・・立体視用眼鏡(液晶シャッタ眼鏡、又は、偏光眼鏡)
83・・・・・再帰性反射材
84・・・・・カメラ
85・・・・・モータ
86・・・・・表側基板支持部
87・・・・・空気槽
88・・・・・光拡散材
89・・・・・気流スイッチ
90・・・・・多孔質素材の芯
91、92・・圧電振動子
93・・・・・霧化ヘッド
94・・・・・小さな液体容器
95・・・・・微小ノズル
96・・・・・圧電振動子の保持機構
97・・・・・送風機
98・・・・・穴
99・・・・・表示素子駆動回路、又は、映像制御装置
Air・・・・空気
Aki、Yoshi・・・携帯端末を持った通行人
a、b、c、d、e・・香料
CN・・・・・コネクタ
Cooler・冷却器
Dis・・・・表示素子間距離
DEN・・・・電子放出部
DT・・・・・指向性信号発生装置
E・・・・・・電源
EL(IR)・有機EL、又は、OLED(近赤外)
EL(R)・・有機EL、又は、OLED(赤色)
EL(G)・・有機EL、又は、OLED(緑色)
EL(B)・・有機EL、又は、OLED(青色)
End・・・・管の末端部
Frg・・・・香料含有気体(香り)
F1、F2・・気流
Gaz1、Gaz2・・視線
GD・・・・・接地
HT、Heater・・・電熱器
Hol1、Hol2、Hol3・・穴
Ins・・・・差込口
Img・・・・画像(映像)
ImgSD・・影
K1、K2・・圧縮板動作モード
KEI・・・・蛍光体
Kaori・・香り発生装置
Light、LG1〜LG6・・光
LC・・・・・液晶表示素子
LGR・・・・参照光
LGA・・・・撮影光
ma・・・・・香料aを含有する霧
mes・・・・気流通過素材
mis・・・・霧
Mist・・・霧発生装置
Move・・・圧縮板の動作
Obj・・・・オブジェクト(バーチャル物体)
P1、P2、P3、P4・・観察者
Piezo・・圧電素子
Pix・・・・画素
Laser・・レーザ描画装置
Ref・・・・凹面鏡
Road・・・通路
SG1・・・・受信機
SG2・・・・情報処理装置
SL・・・・・密閉部
Sm・・・・・香り放出装置
Wd・・・・・送風器
Sd・・・・・スピーカー
SWH、SWL・・スイッチ
TFT・・・・薄膜トランジスタを用いた駆動回路
Tube・・・管
Ue・・・・・携帯端末
Wa・・・・・香料aを含有する液体
Wb・・・・・香料bを含有する液体
YAS・・・・開口率;砲筒の内周面積に対して実際に気体が通過する面積の割合
本発明の実施態様ついて具体的に説明する。
図1は、本発明の第1の実施例で、香り提示機能付き表示装置である。同図(A)は、装置の正面図で表示画面、(B)は、同装置の縦断面図である。01は香りを放出する気体放出装置、10はボード状の画面である。装置構成の詳細について説明する。
11は表示素子で画素(Pix)を構成する。表示素子としては、LED、有機EL素子(OLED)、プラズマ放電管、小型CRT、液晶などが利用できる。12は11を実装するボード状基板である。12の内部には11を駆動するための回路、配線が施されている。11は当該駆動回路に接続されている。当該12は、プラスチック(成型樹脂)、ガラス、カーボン素材、FRP、軽金属、木材、又は、これらの組み合わせで構成できる。薄型が望ましい。
13は11の駆動制御装置である。当該装置によってマトリックス状に配置された表示素子11の光量を調整し、画面10に映像を表示する。ボード状基板12を複数並べることによって大画面表示装置を構成できる。
02は、基板12において表示素子11の間に設けられた穴である。当該穴に香り、又は、皮膚触覚を発生させる気体、又は、音波を通過させる。また、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)を検出するための参照光を通過させる。当該穴は、画面側(左側)が小さく、裏側(右側)が大きくなるように構成している。当該穴02は、気体、音波等の感覚刺激媒体、又は、参照光のガイドとして作用する。02は、所定の範囲(開口部05)に密集して設けられ、当該開口部に基板12の裏側(右側)から気圧が加えられるように構成される。
穴02には、香り放出管(02a、02b・・)が挿入されている。この場合、穴の機能は当該管によって代替されるので、各管の後部に気圧を加える手段07を設けている。07の詳細は後述する。香り放出管(02a、02b・・)の長さは、画面側の穴径の2倍以上となるように構成される。ここで、05の開口率YASを各穴の開口面積の和(ΣOpen02i)を05の面積Area05で除した数値として定義すると、YASが10%以上で、05から出る気体は所定の方向に整流される。また、YASを20%以上に設定すると、05は気体を固まりとして放出するためのバーチャル砲筒として作用する。詳細は後述する。
図1において、香り放出管02i(i=a〜e)を05の中心に向かって、傾斜を持たせているのは、開口率YASを上げるためと、放出される気体の中心部の密度を上げ、効率的に渦輪を生成させるためである。外側の02iの傾斜角度は、同図では20度程度であるが、0度(中心部の02iの軸方向に対して並行)から60度程度の範囲が望ましい。
本発明では、画面に設ける穴02の大きさが重要である。視距離、画面の大きさによって、様々な穴の大きさが可能であるが、標準的な視力の人にとって目立たない大きさにする必要がある。このためには小さい方が望ましいが、小さすぎると空気などの通過特性が悪くなる、また、穴に異物が入った場合に除去が困難である。
従って、目立たず、気体や音波などの感覚刺激媒体を効率よく通過させ、メンテナンスが容易な大きさにする必要がある。これらの条件を満たす穴径は、0.1mm以上で、かつ、最短視距離において視角0.5度以下、又は、表示素子(11;画素)の大きさの5倍以下が適用できる。最大穴径は、表示装置の大きさによって決めることができる。大型表示装置では、穴径を20mm以上にできる場合もある。最短視距離の定義、及び、当該穴径の理由については、図17を用い後に詳細に述べる。
次に、開口部05の複数の穴02に香り付き気体を同時に通過させ、香りを固まりとして放出する方法について説明する。36Aは、香料を外部から香り放出管(02a、02b・・)に供給する香り供給部である。
図2は、36Aの拡大図で、香り供給動作を説明している。図2(A)は、香り放出管37を気圧発生手段07に接続する前の状態を示す。37の管壁には、香料を外部から取り込むための穴Hol1が設けられ、当該穴と香り発生装置Kaoriとの間は香り搬送管38で接続されている。a、b、c、d、eは各々の香料を示す。33は管型の気流制御板で、管壁には穴Hol2を設けてあり、37の内側を左右にスライドさせることができる。33は磁性体で構成され、通常はバネ35によって左側に付勢されている。この状態では、Hol1とHol2は位置がずれており、香りは香り放出管37内に供給されない。
07の左側には、香り放出管37を接続する機構、及び、33を動作させる電磁駆動機構39が設けられている。46は空気収集機構である。07が駆動されると空気Airは46で集められ37内を通過し放出される。41は磁性体材質の管で、37の右端部Endに差し込まれる。図2(B)は37と41を連結させた状態を示す。40は、41の周囲に設けられた筒型の電磁石である。40に通電すると41内に磁束が生じ、33は右側に引き寄せられる。この状態を図2(C)に示す。この状態では、前記Hol1とHol2の穴は連結され、香りFrgは香り放出管37内に供給される。40を高速にON、OFFすることで、37への香り供給量を制御できる。後に、図4で詳細に述べる。
図1(B)において、33が、02a、02c、2eのような状態にあると、Hol1とHol2は連結されているので、香料は2つの穴を通過し管内に取り込まれる。一点鎖線Frgで示している。一方、33が、02b、02dのような状態にあると、Hol1とHol2は連結されず、香料は管内に供給されない。14は40の駆動制御装置で、香料の供給を制御する機能を有する。同図では、14は02eの40にのみ接続されているが、他の02iにも接続されているのは当然である。
08は空気槽、50は電磁式の瞬間気圧発生機構である。50は、圧縮板51と、蛇腹式の圧縮板移動機構54と、電磁石53と、駆動芯52から構成される。51と52は連結されており、53に通電すると、52および51は、矢印Moveに示すように左右に動作する。16は53の駆動制御装置で、空気槽08に加える気圧を制御する機能を有する。
図1(D)は、50の代わりとなるリンク機構を用いた瞬間気圧発生機構である。同図において、55はサーボモータ、56は圧縮板51を作動するリンク機構である。サーボモータは、回転角と回転角速度を制御できる。
図1(C)は、圧縮板51の2種類の動作を示す。縦軸が51の動き、横軸は時間である。K1の動作モードは、51が、急速に左側に移動し、短時間その状態を保持し、ゆっくりと右側に戻る場合を示す。図1(B)において、51の急速な立ち上がり(左移動)によって、08内の気圧は瞬間的に高まり、空気Airは一点鎖線で示すように香り放出管(02a、02b・・)に送られる。この際、02a、02c、02eの管には香りが供給されているので、バーチャル砲筒05からは、香料a、c、eが混ざった気体が放出される。
ここで、複数の香り放出管は密接して設けられているので、各管から放出される気体は相互に干渉しあい、気体はあたかも中空の筒から出るような振る舞いになる。つまり、バーチャル砲筒05から放出される気体は、筒の周囲に沿って渦を生じ筒の形の渦輪(気体の固まり)となって砲筒前方(同図左側)に飛行する。特に、前記YASを20%以上にすると、渦輪を生じやすい。渦輪は、図4<3>に示す方向に回転しながら飛行する。詳細は後述する。
K1の動作モードの特徴を補足する。従来の空気砲では、電磁石を用いて圧縮板をパルス駆動する方法が用いられるが、この方法では圧縮板は減衰振動しやすい。当該振動によって、気体が繰り返し圧縮されると気流は乱れ、美しい渦輪が生じ難い。
K1の動作モードは、立ち上がりが高速で、立下りが低速の非対称1往復動作であり、振動しないので、従来のような気体の乱れは生じにくい。美しい渦輪が生成される。また、気体を真っ直ぐ遠くに飛行させることができる。
また、砲筒を構成する各管には適度な空気抵抗があるため、前記非対称パルス駆動を用いると、気体放出後に管内に残留する香料は、管から出ずに管の中に留まり易い。つまり、空気槽08内に複数の香りが逆流して混ざると言った不都合が生じにくい。従って、繰り返して香りを放出させる場合でも、クリアな香りを提示できる。
圧縮板の動作速度、又は、動作幅によって、気体の固まりの放出距離を制御できる。後述する利用者の位置検出情報に基づいて適切に香りを提示できる。
図1(C)のK2の動作モードは、圧縮板51を左に押し出し、香りを砲筒から出した直後、急速に引き戻す動作(51を右に移動)を示す。この動作モードでは、砲筒の中心部の気体の動きが切り替わり、急速に右に移動するため、渦輪は、図4<3>に示す回転方向とは逆の方向(気流は外側から内側に向かう)に回転しながら渦輪全体は砲筒前方(同図左側)に飛行する。制御は複雑であるが、気体の残留帯(残香)が生じ難い利点がある。
以上、バーチャル砲筒05から、香りを固まりとして放出する場合を述べたが、暖かい、又は、冷たい空気、霧、煙、医薬品含有気体などの固まりを放出してもよい。香りの固まりは嗅覚刺激を、空気の固まりは皮膚触覚刺激を与えることができる。
図1において、前記嗅覚刺激、又は、触覚刺激手段は、画面10の映像と連動するように制御できる。例えば、画面に果物の映像を表示し、当該果物が表示されている画面の内側から当該果物の香りを提示すると臨場感は向上する。前記香り供給部36Aは、香り放出管に供給する香りを微量に制御できるため、香り放出装置01は、極めて高速に香りの種類を切り替えて放出できる。従って、様々な香り発生オブジェクト(花など)が次々と表示される場合でも、当該場面に適した香りを適切に提示できる。
また、気体放出速度を上げ、皮膚に衝撃力が生じるように放出する場合において、気体の玉を連続して放出する、又は、揺らぎを付けて放出すると、自然の風、乗り物の窓から顔を出している際の風などを表現できる。また、霧を温め、硫黄の匂いを加えて放出すると、温泉地を旅行しているような雰囲気を演出できる。また、霧を冷やして放出すると、吹雪の中を歩いているような雰囲気を演出できる。
図3は、図1の36Aの代りに使用できる香り供給部36Bである。香り放出管37には、香り搬送管38を接続するための穴Hol1と、気体を取り込むための穴Hol3が設けられている。Hol3は、同図では2箇所のみ示しているが、管壁の周囲に複数設けられる。34は、管型の気流制御板である。管壁には前記37の穴Hol3に対抗できるように穴Hol2を設けてある。また、管の右端は閉じている。当該34は、37の内側を左右にスライドさせることができ、材質は磁性体で構成される。
37は、気圧発生手段07の左側に取り付けられる。Insは差込口でEndと勘合する。46は空気収集機構、40は気流制御板34を駆動する電磁石である。45は40を保持するメッシュ機構で、空気を通過させることができる。
図3(A)は、香り放出管37と気圧発生手段07とが切り離された状態、図3(B)は、37を空気槽08に取り付けた状態を示す。図3(B)において、Hol1とHol2は位置がずれているので、香りは37内には供給されない。ここで、40を動作し気流制御板34を左側に移動すると、図3(C)に示すように、Hol1とHol2は連結され、香りは一点鎖線Frgに示すように37内に供給される。
次に、40に通電する電流を反転し逆方向の磁界を発生させ、34を右側に移動すると、図3(D)に示すように、Hol3とHol2は連結される。ここで、07を動作すると、空気Airはメッシュ機構45を通過し、一点鎖線のように香り放出管37に送られる。前記37に供給された香りFrgは、当該空気Airと共に37を通過し、前方に押し出される。Kaoriから37に供給される香りは、霧でもよい。図3(C)(D)において、maは、香料aを含む霧を示している。
図3では、香り放出管37に空気を通過させる直前に香りを供給するため、複数の香りを高速に切り替えて放出する場合でも、香りが混ざることが少ない。また、香りが空気槽08に逆流することもないので、メンテナンス性が良い。
図4は、本発明における渦輪発生の原理を更に詳細に説明する図である。図4(A)は、図1(B)において、気体放出管02iを並行にし、瞬間気圧発生機構09にバイモルフ型圧電素子20を用いた場合を示している。当然、電磁駆動機構を用いてもよい。
20によって空気槽08内の気体が瞬間的に圧縮されると、バーチャル砲筒05から出た気体は、飛び出した瞬間、<1>に示すような速度分布VEになる。矢印は速度を示し、中心部が早く、周辺部が遅いことを示している。これは、管02iが後述するように所定の密度である場合、管から放出される気体が相互に干渉するためである。
飛び出した気体の固まりの平均速度を基準に砲筒周辺の気体の相対速度RVEを示すと<2>のようになる。白抜き矢印は気体の固まりの速度を示している。同図から分かるように、固まりの中には左側に進もうとする気体と、右側に進もうとする気体があるため渦を形成し、これがバーチャル砲筒05の周囲に沿って発生するため<3>に示すような渦輪を形成する。F1は05の中心部の気体の流れ、F2は05の周辺部の気体の流れを示している。この例では、内側から外側へ気流が生じ渦となる。
05内の管02iを細くすることによって、極めて多くの香りや化学物質を混入して放出できる。例えば、3mm程度の径の管を表示素子の間に設け、70mm程度の径のバーチャル砲筒05を構成した場合、50種類以上の香料を用いることができる。これらの香りを高速に切り替えて提示する、又は、砲筒から複数の香りを放出し、渦輪の中で混ざるようにすることで、極めて多様な香りを提示できる。
図4(B)は、前記香り発生装置Kaoriの具体例である。81は香料容器、Waは香料aを含む液体、Wbは香料bを含む液体、Tubeは気体搬送管である。動作を説明する。同図左側から空気ポンプなどにより空気を空気槽87に送り圧縮して溜めておく。36Aa、36Abは、図2に示した香り供給部である。気流制御板33を高速に左右に動作させることにより、香り放出管02i(i=1,2)に供給する単位時間当たりの流量を制御できる。空気は、81a、81b内を通過することにより各香りを含み02iに供給され05より放出される。02iに供給される香りは混合比1%程度の精度で定量できる。
図4(C)は、香り発生装置Kaoriの他の構成である。香り放出管02iには、香り搬送管38のみを設け、香り供給部は外部に設けている。このような構成によって、香り放出管を集積できるので、気体の固まりを放出しやすいバーチャル砲筒が実現できる。
動作を説明する。空気槽87に溜められた圧縮空気は、Tubeによって気流スイッチ89の入力部に送られる。89の出力部はTube1により香料容器81に接続されている。89は、通常、遮断状態(OFF)にあり、必要に応じて電磁駆動機構によって動作し(ON)、Tube1に接続される。単位時間当たり所定回数のパルス動作ができる。同図では、89(1)は、ON状態でTube1に空気を送る状態を示している。当該空気は81aで香りを含み02aに流入する。89(2)は、OFF状態にある。89の動作回数を制御することにより、02iに供給する香りを定量できる。例えば、89(1)を毎秒5回動作し、89(2)を1回動作させれば、香料aとbの混合比が5対1の気体を放出できる。
図5は、気体放出管02iの密度と気体整流作用の関係を説明する図である。従来の空気砲は、中空の砲筒を用いている。常識的には、砲筒に気流を遮る物体を挿入した場合には、渦輪は生じ難いと考えられるため、中空以外の渦輪生成条件は求められていない。
図5(B)は、02iの密度を疎にし、YASを小さくした場合である。管から出る気体は相互に干渉することができず整流されない。このため、渦輪は生成されず、気体を遠くまで飛行させることはできない。気体は短い距離で拡散する。
図5(A)は、本発明の典型例で、図4(A)と同様な構成である。管02iを密集させ、当該管の穴に瞬間的に気圧を発生させた場合である。管から出る気体は相互に干渉し渦輪04が発生する。
このように、渦輪生成には、穴02の密度が重要なことが分かる。穴02の直径をバーチャル砲筒05の直径の1/100以上から1/3以下の範囲で、かつ、穴(管)の長さを、砲筒の直径の1/10以上から5倍以下のもの用い、当該管を少なくとも筒の内周に沿って、3本以上配置し、砲筒の内周面積(Area05)に対する穴の開口面積の合計(Σ(Open02i))の割合(開口率;YAS)が20%以上になるように構成すると、各管から放出される気体は、相互に干渉して、砲筒先端において渦輪を生成しやすい。
図5(D)は、ボードに多数の穴を設けボードの裏側に直径5cm程度の砲筒をもつ空気砲を密着させ、ボードの表側をバーチャル砲筒として気体放出実験を行った結果である。当該バーチャル砲筒の開口率YASが20%を超えると渦輪の生成率は顕著に高くなる。
バーチャル砲筒05の直径を1cm〜5cmとし開口率を高くすると、気体の固まりは数m飛行する。また、05の直径が10cm以上の大きな砲筒を使用した場合、5mを超えて飛行させることができる。
図5(C)は、05の面積を大きくし、送風機97を用い画面から連続に気流を放出する装置である。この場合も穴02が密集していると、気体は整流されて砲筒05の中心部は一様な圧力になる。同図破線の枠の一点鎖線は気流を示し、管を密集させることで、各管から放出される気体は広がることなく前進する様子を模式的に示している。砲筒の中心部では、横方向(砲筒軸と直行する方向)の速度成分は生じにくく、縦方向(砲筒軸方向)の速度成分が大きくなる。大きな砲筒を用いると、中心部の空気の流れは一方向に整えられる。当該装置は、画面の広い範囲から観察者に気流を当てることができるので、例えば、風が皮膚に当る触覚を再現する場合などに適している。整流された気体を放出するためには、YASは10%以上が望ましい。
図6は、本発明の第2の実施例で、香り提示機能付き表示装置の断面図である。画面10は図1と同様である。表示素子11の間に穴02が設けられる。気流放出装置01は、空気砲の原理を利用しており、画面10の裏側に密着するように実装する。06は砲筒で、筒の腹部から先端部にかけて筒断面積が小さくなるものを用いている。06の中には、複数の香り放出管02i(i=a,b)が砲筒の開口部周辺に設けられている。同図では2本のみ示しているが、数10本設けることができる。香り放出管には、香り供給部36Dが設けられ、様々な香りが供給される。07は、気圧発生手段で図4(A)と同様である。また、図1の気圧発生手段を用いてもよい。
動作を説明する。香り放出管02iに香りを供給した状態で、07を動作すると、砲筒06内の空気は圧縮され、同図一点鎖線のような気流が発生する。即ち、06内、及び、02i内を空気Airが通過する。砲筒は先端部が細いので、気流は先端に進むほど速くなる。画面10には穴が複数設けられバーチャル砲筒05を形成しているので、05より放出された気体は渦輪を形成する。02iから放出される気体は香りFrgを含み、渦輪の中で混合される。
香り放出管02iの末端部には、空気を当該管内に取り込むための空気収集機構46が設けられている。46は円錐形の筒である。当該筒径が小さいと圧力が不足し02i内の気流は弱く香りを搬送し難い。一方、大きくすると02i内の圧力が上昇するため、気流が速くなる。速すぎると渦輪の形成が難しい。そこで、香りが効率よく搬送され、渦輪を形成するように錐形筒46を設計する。
次に、図6(A)において、香り供給部36Dについて説明する。香料容器81の香料含有液体Wbは、多孔質素材の芯90の毛細管現象によって、02bの管壁に設けた穴まで搬送される。91は小型の圧電振動子で、保持機構96によって管壁に固定されている。91を、例えば1MHz以上の高周波で動作させると、振動によって液体の表面張力が壊され、02b内に香料含有霧misが発生する。霧の粒径は1〜数ミクロンなので、画面の穴を自由に通過する。なお、高周波で動作させるほど霧の粒径が小さくなるため、2MHz以上で動作させることが望ましい。
当該霧化機構は小型に製造できるが、画面の穴径02に比べると大きいため、同図のように画面ら離れた02bの太い筒部に設けることが望ましい。本発明では、砲筒06の腹部を太くしているため、筒内に設けることができる。つまり、砲筒06の腹部が太く先端に向かって細くなる構造は、気流を速めて渦輪を形成しやすくする目的と、香料供給部を実装しやすくする目的がある。
なお、画面が大型で、大きな穴が設けることが可能な場合は、画面裏側に直接霧化機構を取り付け、当該霧化機構を囲むように砲筒06を設けてもよい。
図6(B)は、圧電振動子91を管02iの軸方向に対して傾けて実装し、霧misを管内に供給し易くした霧化機構である。図6(C)は、凹面構造の圧電振動子92を用いた霧化機構である。超音波が凹面振動子の焦点に向かって集束するため、霧化効率がよい。図6(D)は、圧電駆動機構(ピエゾ素子)を用いた霧化機構である。93は霧化ヘッド(断面)で、02iの管壁に設けられている。94は小さな液体容器でピエゾ素子Piezoが設けられている。Piezoは、電圧を加えると当該液体容器の容積が小さくなるように変形するため、当該圧力Pressで容器に設けた微小ノズル95から液体微粒子(霧)が放出される。
図6(A)のMist、Heater、Coolerは図7と同様なので後述する。
図7は、本発明の第3の実施例で、香り提示機能付き表示装置である。図1の実施例と異なる点を中心に説明する。10はボード状画面、99は映像制御装置である。01は気体放出装置で、香り放出管02a、02bと空気放出管02Sを交互に配置しバーチャル砲筒05としている。02iは、02a、02b、02Sを含めた全ての気体放出管を示す。
香り放出管には香り供給部30が必要なため管の径は太くなりやすい。図1に示したように、気体放出管02iを香り放出管のみで構成すると、30のために管同士を密着させにくい。従って、砲筒先端の内周面積(Area05)に対する管の合計開口面積(Σ(Open02i))の割合YASを大きくすることに限界がある。
図7(A)では、香り放出管02a、02bと空気放出管02Sを交互に配置するため、気体放出管の密度を上げることができる。つまり、香り供給部30同士の間に空気放出管02Sを設けることで、管の合計開口面積が増えるためYASを大きくできる。YASは容易に20%以上にできる。YASが大きくなると、渦輪を生成しやすく、香りの固まりを安定に遠くまで飛行させることができる。
図7(B)は、気体放出装置01の縦断面図である。02bは香り放出管で、1本のみ示しているが、他の香り放出管も同様である。30は香り供給部、07は気圧発生手段である。
07の構成について説明する。08は空気槽、09は瞬間気圧発生機構である。41は、02bの末端部Endが差し込まれる口で、円筒型の磁性体で構成されている。39i(i=a,b,c,d)は、41と円筒形の電磁石40で構成される電磁駆動機構で、気流制御板33を同図右側に駆動する。14は、39iの駆動制御装置で、香り放出管02i(i=a,b,c,d)への香料供給を制御する。同図では、14は39dのみに接続されているが、39a、39b、39cにも当然接続される。
瞬間気圧発生機構09は、バイモルフ型圧電素子20で構成される。21は金属板、22は圧電板である。16は電圧制御装置で、22への印加電圧を制御する。22に電圧を印加すると、22は当該印加電圧の極性によって板面方向に伸縮する。22が縮んだ状態では、20は同図破線のように内側に湾曲し、空気槽08内の気体を圧縮する。08内の空気は、香り放出管02bに送出される。一方、22が伸びた状態では、20は外側に湾曲し08内の気圧を下げ、空気を取り込む。このように、16によって、空気槽08内の気圧を制御できる。なお、瞬間気圧発生機構09として、図1(A)に示す電磁式機構、又は、図1(D)に示すサーボモータ式機構を用いることができる。
図7(B)において、香り放出管02bに香りを供給する30の構成について説明する。32は02bから続く管路の一部で、管壁に多数の穴Hol1を設けてある。31は香料蓄積機構で、網目構造素材、多孔質素材などを使用できる。当該機構に液体香料、ジェル香料などを蓄積できる。bは香料である。液体は毛細管現象によって当該微細構造の内部に保持される。前記穴付きの管路32は香料蓄積機構31を保持するカバー板の役割を果たす。31の香料は気化し、穴Hol1から管路02bに供給される。
香料蓄積機構31と穴付き管路32については、本発明者らによる特開2004−159875の構造を使用することができる。また、31として、ゲル化香料、固体香料を用いることもできる。この場合は、香料が漏れることはないので、当該香料を円筒型に加工して実装できる。
更に、香料蓄積機構31として、香料マイクロカプセル素材を利用できる。香料マイクロカプセルとは、1ミクロン〜100ミクロン径程度のカプセルの中に香料を閉じ込めたものである。カプセル膜としては、香料成分の種類により異なるが、ゼラチン、ポリビニルアルコール、エチレンセルロース、カルボキシメチルセルロース、尿素樹脂、メラニン樹脂などのカプセル化できる材料であれば利用できる。
感熱式の膜を使うと、加熱で膜が破壊され香りが出るように構成できる。当該マイクロカプセルを紫外線硬化式のインクに含有させ、当該インクを筒状の紙、布、セラミック、金属、成型樹脂などに塗る。当該香料マイクロカプセル含有インクが塗られた筒を31として利用できる。つまり、当該筒を加熱することで、香料をカプセルから流出させ、気化させて02b内に供給できる。なお、香料マイクロカプセルを破壊して香料を流出させる手段として、物理的な圧力を加える方法も利用できる。
HTは電熱器、15はHTを制御する装置で、香料の気化を加速制御できる。CNは、HTと15を接続するコネクタである。同図では、15は39dのCNにのみ接続されているが、当然、39a、39b、39cのCNにも接続される。HTを動作し31を加熱すると、香料の気化が促進され多くの香りが管路に供給される。
33は、32の香り供給穴Hol1を開閉するための気流制御板で、32と相似形の円筒磁性体である。33には、32の穴Hol1と対向するように、空気穴Hol2が設けられている。33はバネ35によって、通常同図左側に付勢されている。この状態では、Hol1とHol2の位置はずれており、穴は閉じている。従って、香りは管内に供給されない。
02bのEndを41に挿入することによって、気流制御板33は、39bに連結され動作可能になる。電磁石40に通電すると、磁束は41の中を通り33に至る。33がわずかに右側に引き寄せられると、Hol1とHol2は対向し気体が通過できる状態になる。31の中で気化した香りは、当該穴を通過して香り放出管02b内に供給される。
香り放出管02bと香り供給部30は、気圧発生手段07から取り外しが可能なので、メンテナンスが容易である。また、香料は1つの管に1種類ずつ蓄積され、気化香料は当該管の中のみを通過するので、ある管の香料が他の管を汚染することは少ない。長期間使用しても、汚れは限定的なので、メンテナンスは容易である。装置内部で香料が混合することは少ないため、香りの切り替えは明確である。細い香り放出管を集積して使用するため、多くの香りを高速に切り替えることができ、香料を調合して放出することもできる。
複数の香りを調合して放出する場合において、従来の中空砲筒を用いる場合は、砲筒内で香料を混ぜて放出するため、砲筒が汚染される問題があったが、本発明では、複数の香料が、砲筒を離れた空中(渦輪の中)で混ざるので、砲筒内を汚染すると言った問題はない。
次に、01の動作について説明する。香り放出管02bの香料蓄積機構31には所定の香料が蓄積されている。39bによって、33を右側にスライドさせ香りを管路02bに供給した後、07を圧縮状態にする。空気Airは02bに送出され、02bの先端からは香りが放出される。他の管についても同様である。
ここで重要な点は、02i(i=a,b,c,d)には、39iの動作有無によって、香りを放出する管と空気のみを放出する管があるが、全ての管から同じように気体が放出されることである。つまり、香りを放出する場合、しない場合、香りの種類などによって、放出される気体の量が変化することはない。開口率は常に高く、安定して渦輪を作ることができる。
図7(B)において、空気槽08に霧を入れて放出してもよい。Mistは霧発生装置で08に接続できる。超音波式霧発生装置、又は、静電式霧発生装置などが使用できる。霧を発生させる液体を予め温めておけば、暖かい霧が香りと共に放出される。低温の液体を使用すれば、冷たい霧が香りと共に放出される。霧の量、液体の温度制御、風圧制御などによって、利用者に様々な触覚を提示できる。
超音波式霧発生装置を用いた場合、振動数を高くすることで極めて微細な粒子を作ることができる。霧の量、粒子の大きさ制御で湿度の調節が可能である。因みに、圧電振動子を1〜2MHz程度で駆動すると1ミクロン径程度の粒子が得られる。この程度の大きさになると、白い色に見えるが強い湿気を感じることはなく、心地よい刺激がある。更に粒子径を小さくし、視認できなくすることもできる。
これを映像と連動して用いることで、高い臨場感を演出できる。例えば、高原の風景を映像で提示し、画面の中から利用者の顔に向けて、爽やかな香りがする冷たい霧を放出すると、高原の中をそよ風に吹かれて歩いているような雰囲気が得られる。癒しを演出するシステムとして利用できる。
また、図7(B)において、霧発生装置で生成した霧は、電熱器(Heater)で加熱する、又は、冷却器(Cooler)で冷却してもよい。同図では、制御手段を省略しているが、映像制御装置99、香料供給制御装置14、気圧制御装置16、霧発生装置Mist、霧の加熱・冷却装置などが連動するように制御できるのは当然である。
図8は、本発明の第4の実施例で排気機能付き表示装置である。同図(A)は正面図、(B)は縦断面図である。画面10の表示素子11の間には空気穴02が設けられ、当該空気穴には排気装置48が設けられている。
空気穴02は、基板12の面に対して概ね垂直に設けられている。穴径は、表示面側(左側)が小さく、裏側(右側)が大きい。排気装置は、排気管43と、減圧手段49から構成される。排気管43は空気穴02に差し込むように実装される。43の右側は空気槽08に接続されている。08の中には、羽車47とモータ85を用いた気流発生装置(送風機97)が設けられている。当該羽車を回転し08内の空気を外部に送出する。空気Airは同図の一点鎖線の矢印のように流れ、画面10の前方の気体は吸い込まれ排出される。排出気体は、画面の前に別の手段で放出された香料含有気体でもよい。
43、又は、49の気流経路には、空気中の汚れを除去するフィルタを設けることができる。また、前記羽車47を逆に回転すると、画面10の前方に空気を放出できる。図5(C)の場合と同様である。
図9は、本発明の第5の実施例で、トップエミッションタイプの有機EL素子(OLED)を用いて画素を構成する感覚刺激提示機能付き表示装置である。図9(A)は、画面10と表示素子11の構成図である。12Bは穴02を設けた裏側基板、12Cは穴02を設けた透明な表側基板である。当該基板には、ガラス、樹脂などの素材が利用できる。基板の厚さは、12B、12C、共に0.7mm程度で製造できる。02(Air)は、気体が通過する穴、02(74)は、近赤外参照光の反射光が通過する穴でカメラレンズ74が設けられる。穴の径は、0.1mm〜数cmが可能で、2枚の基板を重ねた際に貫通する所定位置に予め開けておくことができる。
EL(R)、EL(G)、EL(B)は、各々、赤、緑、青の有機EL素子、TFTは、薄膜トランジスタなどで構成されるEL駆動回路である。破線で囲むEL(R、G、B)は、画面を構成する表示素子11(画素)を示している。99は11の駆動回路である。77は、近赤外発光素子で、EL素子(EL(IR))を用いて構成してもよいし、LEDなど他の素子構造でもよい。図9(B)に示すように、77は、穴02(74)の周囲に配置することができる。同図では、強い近赤外照明とするために、77に大きな面積を割り当てている。
画面10の製造方法を説明する。図9(A)において、裏側基板12Bの上にTFT(薄膜トランジスタ)駆動回路を蒸着などにより形成し、その上に発光層となる有機層(EL)を数100nmの厚さで蒸着する。透明電極は、ITO(インジウム・スズ酸化物)などをスパッタ蒸着して形成できる。有機層は、高分子系蛍光材料、又は、アルミニウム錯体などの低分子系蛍光材料などが使用できる。発光効率の高いドーパントを微量混合してもよい。素子の大きさは、一辺が0.05mm〜数mmに形成できる。
その後、基板の間に空気が入らないように真空中で張り合わされる。真空槽内で、裏側基板02Bの上に表側基板02Cを重ね、2枚の基板周囲と穴の淵を接着する。接着材SLには、紫外線硬化型樹脂などが利用できる。接着部は帯状斜線で示している。接着後、真空槽から取り出す。なお、12Bと12Cの穴部を残して全面を接着してもよい。
前記接着の効果について述べる。有機EL素子は、酸化や湿度に弱い。画面に穴を設けると水分や埃が基板の間に入り易いが、少なくとも画面(基板)の周囲、及び、穴の淵を接着することにより当該素子部は密閉状態になるため劣化は少ない。全面を接着すれば更に確実である。
前記のように、ガラス基板の厚さは、0.7mm程度の薄さで製造可能であり、素子を設けて張り合わせても2mm以下の厚さに構成できる。なお、機械的な強度に問題がある場合には、基板を厚くできるのは当然である。
図9(B)は、画面10の正面図である。図9(A)と比較して、近赤外発光素子77(EL(IR))の形状、位置、穴02の位置は変化している。画面10において、表示素子11は、1列目のように隙間なく形成されるが、77の部分、及び、穴を設ける部分のみ表示素子を間引いている。
同図では、表示素子11(EL(R、G、B))の大きさが1mmの場合を示している。最短視距離MinDを混色距離である60cm程度とすると、穴径は、視角にして0.5度以下、即ち、5.2mm以下に設定するのが望ましい。120cm以上離れた通常の視距離で観察すると、当該穴径は、0.25度以下になる。穴径の許容範囲については、図17を用いて後に詳細に述べる。本実施例では、基板に設ける穴は小さいが、適切な密度で数多く設けることによって、気流などの感覚刺激媒体はスムーズに通過する。
図9(C)は、(B)の二点鎖線での横断面図で、大画面の前で利用者(観察者)P1が映像に注目している状態を示している。画面内には、カメラ72が2箇所に設けられ、ステレオ画像計測系を構成している。カメラの周囲には、近赤外発光素子77(EL(IR))が設けられ、観察者の特徴点(眼球など)を照明している。LGRは近赤外照明光である。この反射光はカメラで撮影される。LGAはカメラレンズ74で捉えられる撮影光を示す。75はレンズの筒、73はCCD、CMOSなどの撮像素子である。カメラレンズの近傍から照明すると特徴点が効率よく撮影される。前記画像計測系は、当該特徴点を抽出しその空間位置を検出する。眼の位置(視点位置)、画面を注視している点(注視点)、鼻の位置、耳の位置などが検出できる。詳細は、図20、図21、図26で述べる。
羽車式送風機97を用いた気体放出装置01は、画面裏側に2箇所に設けられ、前記観察者P1の位置検出結果を下に、P1に近い方の01が選択され、風(Air)、香り(Frg)などがP1に向けて放出される。
図9(D)は、画面に穴を設け気体を通過させる際、本実施例のような薄型表示装置を用いる利点を説明している。画面10が薄いので穴02の奥行き長を短くできる。穴径を画面の厚さ以上に大きくし、画面の後に羽車47とモータ85を用いた気体放出装置01を設け、回転制御機構62で気体放出方向を変えると、一点鎖線で示すように、画面から放出する風Air、香りFrgの方向を様々に変化させることができる。観察者を追うように気流を提示できる。
図9(E)は、透明な表側基板12Cにレンズ19を成型したレンズ付き表側基板12Dを用いた画面である。同図の左側は12Dのみを抜き出して示す。同図の右側は、裏側基板12Bに発光体18を形成し、その上に12Dを重ねて画面10とした状態を示す。レンズ19は、発光体18の前に形成され18を拡大表示する。19kはレンズの光主放出面である。表示素子11(画素)は、18と19からなる領域である。18は、両眼立体視用とするため右眼用(EL−r(R,G,B))と左眼用(EL−l(R,G,B))の計6個のEL素子で構成されている。
時分割眼鏡を装着し、右眼用(EL−r(R,G,B))の光と左眼用(EL−l(R,G,B))の光を切り替えて表示するように制御すれば両眼立体視が可能である。
また、レンズ19を用いて、右眼用画像の光と左眼用画像の光を細いビーム状にし、左右の眼の位置に照射すれば眼鏡なし両眼立体視が可能である。後に、図20、図21で詳細に述べる。
図9(E)において、発光体18の光は、レンズ19により前方を照射し、穴02は、レンズの光主放出面19kの横に設けられるため、18の光が穴を照らすことはない。従って、観察者には、当該穴は目立ちにくい。
74bは、カメラ72のレンズで、撮影光LGAを集光して通過させる。このように、シート状基板12Dには、表示素子用レンズ19とカメラレンズ74bを一体成型することもできる。これにより薄型の画面が構成できる。
図10は、本発明の第6の実施例で、液晶素子を用いた感覚刺激媒体提示機能付表示装置である。図10(A)は、画面10の構成図である。穴02を設けた透明な裏側基板12Bの上に液晶LCを用いた表示素子11を設け、その上に穴02を設けた透明な表側基板12Cを設ける。この際、穴の淵、及び、周囲を密閉する。穴は空気Airが通過する。SLは密閉部を示す。99はLCの駆動回路である。
表示素子の製造方法は、従来の方法が適用できる。即ち、裏側モジュールとして、偏光板を接着させたガラス基板の上に透明電極(画素電極)、配向膜を設け、その上に液晶層を設け、更にその上に表側モジュールとして、配向膜、透明電極(対向電極)、カラーフィルタ、ガラス基板、偏光板を設けて構成できる。本発明では、裏側モジュールが裏側基板、表側モジュールが表側基板に対応する。
図10(B)は、画面10の上面図である。表示素子11(LC)は、電圧を制御することで、透明、又は、遮光状態を作ることができる。同図は、遮光状態の表示素子の集合によって画像Imgを生成した様子である。
図10(C)は、当該画面10を天井に用いた部屋である。太陽光を照明Lightとして利用すると、床にはImgの影パターンImgSDが現れる。また、画面には穴02が設けられているので、外気を取り入れることができる。送風機97を用いて風を提示することもできる。自然の光、風を部屋の中に取り込みながら、様々な幾何学的模様や木の葉が揺れる様子を影パターンとして床や壁に映し出すことができるので、癒し空間になる。
この応用では、利用者は画面を直視するのではなく、影を楽しむので、穴の存在は気にならない。風通しのよい大きな穴を用いることができる。また、太陽光の代わりに照明素子をLight利用し、バックライト方式にしてもよい。
図11は、本発明の第7の実施例で、画面を背面から照射する表示装置において感覚刺激媒体提示機能を付与した装置と、その効果を説明する実験結果である。図11(A)(B)は、画面10の構成図である。表側基板12Cは、シート状、又は、スクリーン部材で、表面には、写真又は絵などの画像Imgが印刷されている。12Cには、アクリル、ポリスチレン、塩化ビニル、磨りガラスなどの素材で光が通過するものが適用できる。裏側基板12Bには、12Cを照明するための照明素子11が設けられる。11には、LED、蛍光管、電球などが適用できる。
裏側基板12Bには、大きな錐形の穴02が設けられ、表側基板12Cには、小さな穴02が設けられる。両者の穴をつなぐように、又は、両者の穴の淵を密閉するように錐形の管02aが設けられる。当該管02aの中には香り供給機構36が設けられる。また、裏側基板12Bの裏側には、気体放出装置01が設けられる。図11(C)は、02aと36の構成を立体的に示している。
動作を説明する。照明素子11を動作すると、光は、図11(B)に矢印で示すように、12Cの裏側を照明する。12Cは薄いシート状で光を通過させるため、表面の画像Imgは当該光によって明るく浮かび上がる。ここで、36の香り搬送管38の先端から香りを02a内に供給し、01によって一点鎖線のように空気Airを流すと香りは12Cの穴02から放出される。図11(A)にように、Imgが森林画像の場合に、森の香りを放出すると臨場感が向上する。
次に、管02aを用いて12Cと12Bを貫く穴02の淵を密閉する構造の遮光効果について述べる。仮に02aがないと、照明素子11(LED)の光は穴02から漏れるため、穴の存在が気になり画像品質を劣化させる。本発明の管02aの設置は、バックライトを使用する場合、当該穴から光を外に漏らさないように作用する。光は表側基板12Cのみを照射し、従ってImgが浮かび上がる。穴は視認しにくく、気にならない。
02aの内部は、光吸収素材を塗布してもよい、また、02aの外側には光拡散反射材を塗布してもよい。これにより、12Cは一様に照明され画像品質が向上する。また、12Cの穴02が気になる場合には、図11(F)に示すように、当該穴の前面にメッシュ素材等の気流通過素材mesを設けてもよい。気流通過特性を損なうことなく穴を目立たなくできる。
図11(D)は、前記穴の淵を密閉することによる遮光効果を示す実験結果である。絵を描いたシートに、図11(E)に示すようなパターンで穴02を開ける。穴の開口率は約12%である。この絵にバックライトを当て、視距離5mで5名の被験者が観察してもらい、穴の存在について評価した結果を縦軸に示す。斜線の棒が穴を許容できると回答した割合である。同図の(1)は、穴を遮光しない場合(前記02aを設けない場合に相当)、(2)は穴からの光の漏れを防止した場合(前記02aを設けた場合に相当)、(3)は(2)の条件で穴を画像の空間周波数の高い領域に設けた場合、(4)は前記気流通過素材mesを穴に設けた場合である。横軸は、穴の大きさと5mの距離から見たときの当該穴の視角を示す。
(1)では穴が気になり評価が低いが、(2)(3)では評価が高いことが分かる。穴を02aで密閉し遮光する効果は明らかである。バックライト方式は、発光素子を利用する方式に比べて、穴の存在が気になりやすく厳しい条件であるが、穴を遮光し、更に穴をmesで覆った場合、十分な画像品質であることが分かる。
図11(G)は、本発明の画面構成を2箇所に用いた実施例である。10bは、図11(B)と同様な照明素子11(LED)を用いた画面である。10aは、図10(A)に示した液晶表示素子11(LC)を用いた画面である。10bの照明素子11(LED)で、10aの画像をバックライトする。なお、10bの表側基板12Cは、10aにおいては裏側基板12Bに対応する。10aに設けた穴02の淵は密閉され(SL)、10bの管02aに連結されている。照明素子11(LED)の光は、穴02には漏れず、もっぱら10aの裏側を照明する。このように、液晶表示装置においても画面に穴を設け、感覚刺激提示媒体を放出させることができる。
図12は、本発明の第8の実施例で、プロジェクタスクリーンを用いた香り提示機能付き表示装置である。同図(A)は装置構成図、(B)は縦断面図、(C)はスクリーンの正面図、(D)はスクリーンの拡大図、(E)はスクリーンの断面拡大図である。
29はプロジェクタ、28は画面に小さな穴02を多数設けたスクリーンである。当該穴を気流や音波などの感覚刺激媒体が通過する。穴の内部には光散乱反射材を塗り、所定の距離で観察した場合に穴が目立たないようにできる。また、図12(D)のように、画面に再帰性反射材83を敷き詰めてもよい。83は微小球体などで構成される。当該再帰性反射材の間に穴02を設けることができる。この構成では、プロジェクタの光は83で反射するため、83の間の穴は暗くなり目立たない。
01は気体放出装置である。01に対向する方向には、排気装置65が設けられている。図12(B)において、砲筒06の中には、多数の香り放出管02a、02bが設けられている。30は香り放出管に香りを供給する手段であり、図7(B)の30と同様の構造である。砲筒06には、送風機97を用いて空気が送られる。画面前方には、空気Airと香りFrgが放出される。05は気体が放出される範囲(バーチャル砲筒)である。YASは10%以上とする。
スクリーン28の中には、図9(C)に示したような特徴点検出用カメラを設けることができる。眼の位置を検出し、3次元世界モデルを透視投影変換しCG映像を生成してスクリーンに投影すれば運動視を実現できる。また、左右眼用映像を投影し、82に示す偏光眼鏡、又は、液晶シャッタ眼鏡などの立体視用眼鏡を装着して、当該映像を分離して各眼に提示すれば両眼立体視が実現できる。83は、眼鏡に設けた特徴点マークである。前記眼の位置検出のためには、瞳孔、角膜反射像を特徴点としてもよいし、当該特徴点マークを検出してもよい。
図12のスクリーン28は平面であるが、半球状の面でもよい。視野角を大きくできるので、高い没入感が得られる。スクリーンは、薄い板状の素材が適している。プラスチック、ガラス、FRPなどが利用できる。
また、スクリーン28は、柔軟性のあるシート状の素材でもよい。当該シートに穴を開ける際、図12(F)に示すように、穴02の周りに切れ込みStを設けることによって気流や音波などの感覚刺激媒体を効率よく通過させることができる。例えば、気体を通過させる場合、気体の圧力で穴が広がるように構成すれば、通常は小さな目立たない穴とすることができる。同図では、穴の周りの6箇所の切れ込みが裏側から表側に向かって開く。切れ込みを押し広げる方法として、音圧を利用することもできる。スクリーンの裏面に、図23で示すような超音波スピーカを配置し、当該超音波圧力で広げてもよい。
図13は、画面の中から感覚刺激媒体を提示することによる臨場感評価実験である。同図(A)は実験方法である。28は多数の微***02を設けたスクリーンで、プロジェクタによって映像を表示する。視距離は200cm、水平視野角は40度である。被験者に香り、気流、音を映像Imに連動するように提示し、映像のみ提示の場合を1点として、感覚刺激媒体提示による臨場感を5段階で相対評価させた。感覚刺激媒体提示条件は、気体放出装置01、又は、スピーカを画面から離して設ける場合(条件1)(香り;Sm1、気流;Wd1、音;Sd1)と、画面裏側に設ける場合(条件2)(香り;Sm2、気流;Wd2、音;Sd2)の2種類である。提示映像は、1分間の癒し系映像である。
図13(B)は、実験結果である。横軸の(1)は、映像のみの場合(Im)、映像に前記条件1の音を加えた場合(Im+Sd1)、映像に前記条件2の音を加えた場合(Im+Sd2)である。縦軸は評価結果あるが、(Im+Sd1)、(Im+Sd2)は、共に(Im)より評価が向上しているが、(Im+Sd2)の方がより評価が高い。つまり、画面内から音を感じる方が高評価である。
横軸の(2)は、映像Imに条件1の音を加えた場合(Im+Sd1)、これに更に条件1の香りを加えた場合(Im+Sd1+Sm1)、条件2の香りを加えた場合(Im+Sd1+Sm2)を比較した結果である。(Im+Sd1+Sm2)の評価が最も高いことが分かる。
横軸の(3)は、映像Imに条件1の音を加えた場合(Im+Sd1)、これに更に条件1の気流を加えた場合(Im+Sd1+Wd1)、条件2の気流を加えた場合(Im+Sd1+Wd2)を比較した結果である。(Im+Sd1+Wd2)の評価が最も高いことが分かる。
横軸の(4)は、映像Imに条件2の香り、気流、音を加えた場合(Im+Sm2+Wd2+Sd2)の結果である。前記(1)〜(3)のどの条件より評価が高いことが分かる。
以上の結果より、画面内から感覚刺激提示媒体を放出した方が、臨場感は向上することが明らかである。これは、あたかもオブジェクトが刺激を放出しているように感じるためである。また、コンテンツの内容理解が向上する結果も得られている。
図14は、本発明の第9の実施例で発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。同図(A)は正面図、(B)は(A)での2箇所の縦断面(二点鎖線で示す)を重ねて示した図である。図1の実施例と比べ異なる点を中心に説明する。表示素子11(画素)は、発光体18とレンズ19から構成されている。18はLED、有機EL、蛍光体、放電管などが使用できる。19は、透明樹脂、ガラスなどで構成でき、発光体18から出る光を観察者の方向に屈折させる特性を有する。
空気穴02は、11の間に多数設けられ、開口部(バーチャル砲筒05)を構成する。同図(B)に示すように、02には、香り放出管02i(i=a,b,c)が挿入され、02iの右側には、気圧発生手段07が設けられている。02iと07で香り放出装置01を構成している。香り供給部36Aは、図1、図2と同様である。開口率YASは10%以上とする。
図14(B)は、3つの香り供給部36Aが動作し、香りFrgが02iに供給され、3種類の香料含有気体が穴から放出され、画面10の前で混合されて観察者に提示される様子を示している。気圧発生手段07には、送風機97を用いている。
本実施例では、空気穴02は、レンズ19の間にあって、レンズの光主放出面19kより後方に設けられる。発光体から放出される光は、レンズ先端部から殆ど前方に照射されるため、光が穴02を照射することは少なく穴部は暗い。また、発光体はレンズにより拡大されるため、大きく知覚される。これらにより、空気穴02は殆ど知覚されない。
気流は、一点鎖線のように画面を厚さ方向に流れるため、ボード状基板12は冷却され、発光体及び駆動回路の温度は上昇しない。このため表示素子の信頼性が向上する。
図15は、本発明の第10の実施例で、発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。同図(A)は正面図、(B)は(A)の二点鎖線での縦断面図である。図14と比べ異なる点を説明する。(A)に示すように、表示素子11(画素)の間に設ける空気穴02をできるだけ大きくしている。同図の中心部分の空気穴には、香り放出管02aが設けられている。06は、基板12の裏側にあって、前記穴02の外周を囲むように設けた空気砲の砲筒である。
図15(B)において、02aへの香り供給部36Aは、図2と同様である。36Aは動作し香料気体Frgが02aに供給されている状態を示している。気圧発生手段07は砲筒06に接続されている。電磁駆動機構39は、空気槽08の中心位置に空気を通過させるメッシュ機構45によって保持されている。瞬間気圧発生機構09の構成と動作は、図7の場合と同様である。画面10からは渦輪が放出される。
図16は、本発明の第11の実施例で、LEDとレンズを用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。画素の間に近赤外光撮影カメラ72を設けている。
同図(A)は、画面10の正面図である。(B)は(A)の2本の2点鎖線断面を重ねて示したものである。ボード状基板12には、縦4個、横4個の表示素子11(画素;Pix)が設けられている。同図は、拡大して一部を示しているが、実際には、1枚の基板12に、縦横各々数10〜数100の画素を構成でき、当該基板を単位として縦横に並べて大型表示装置を構成できる。
表示素子11は、発光体18と、駆動回路と、18の光を集光するためのレンズ19によって構成される。18の中で、R、G、Bは、それぞれ、赤、緑、青のLEDである。LightはR、G、Bからの光線を示す。IRは、近赤外LEDで、利用者の特徴点を抽出するための参照光LGRを放出する。Refは、LEDの光をレンズの光主放出面19kに向けて反射する凹面鏡である。このように、可視発光体と近赤外発光体を1つのレンズに実装することができる。
02bはカメラ72のレンズが入った管で、02bの周囲には、4つのLED(IR、R、G、B)を実装した表示素子11が4つ設けられている。更に多くの表示素子にIRを実装してもよい。IRは、カメラの撮影タイミングに合わせて間欠駆動できる。この反射光をカメラ72で捉える。LGAはカメラに捉えられる撮影光である。間欠駆動することにより、無駄な近赤外光を利用者に照射する必要がなくなるので、生理的、心理的影響が少ない。撮影光学系には、近赤外バンドパスフィルタを設けることができる。これによりR、G、Bの反射光は遮断され、特徴点が効率よく抽出できる。
本発明において、レンズ先端(光主放出面19k)は必ずしも球状でなくてもよい。図16(D)は、円柱型レンズ19を用いた表示素子である。19kは円形平面である。発光体18の周りには、光拡散材88が設けられている。18の光は凹面鏡Refで反射し同図左側に進行するが、88により拡散し円柱の先端面19kが光る。
何れの場合も、発光体18はレンズによって拡大されるため、18は光主放出面19kより十分小さい領域とすることができる。つまり、18は基板に離散的に配置され、穴02は、当該発光体18から離して設けることができる。従って、穴の形成、及び、穴の淵の密閉に十分な領域を確保できるため、設計は容易である。
図16(B)(C)には、LED表示素子11の直径が2.1mmの場合を示している。この程度の大きさの表示素子の場合、3色の混色距離は120cm程度にできる。当該表示素子をアレイ状にして画面を構成した場合、表示素子間距離は0.5度以下、従って、穴径は10mm以下が適当である。詳細は、図17で述べる。
なお、LED表示素子を用いる場合、製造性等を考慮すると、素子の直径は、1mm〜10mm程度、表示素子間距離Disは、1.5mm〜20mm程度、穴02の直径は、1mm〜20mm程度が実用的である。
図16において、カメラ72の周辺の穴02は、空気Air、又は、香りFrgを放出するために利用できる。02a、02cは、気体放出装置を接続するための管である。気体は、一点鎖線のように放出される。
前記穴02bを通過する参照光として近赤外光を示したが、それ以外の参照光として、可視光を用いることもできる。また、赤外線(熱線)を用いることもできる。この場合には、カメラは熱画像を捉えるものを用いる。また、穴には、発光素子とカメラの代わりに、超音波放出素子と超音波検出素子を設け、利用者の位置を計測してもよい。超音波を放出し、その反射波を捉え、時間差から利用者までの距離を計測できる。画面内に複数セットを組み込めば三角測量の原理で位置が検出できる。
図17は、画面に設ける穴の許容範囲とその妥当性を示すシミュレーション評価実験である。
穴径の最小は、感覚刺激媒体が所期の目的のように通過すると共に、清掃のし易さから決めることができる。穴径が0.1mm、穴の集合の開口率を10%とすると、図17(A)に示すように、表示素子(11;画素)の隣接間隔は0.28mm程度である。横幅100cmの表示装置では、3571画素となり、明るい画面で高精細映像表示が可能である。図17(E)の(A)は、同様の精細度の表示装置を主観評価した結果であるが、映像品質は大変よい。また、ボードに同図のような穴を開け、気流の通過させるシミュレーション実験の結果、香り提示、触覚提示が可能であった。
また、穴径が小さくなると、汚れ、異物が詰まり易く清掃が難くなる。画面の厚さが数mmから1cm程度であれば、穴径が0.1mm以上で洗浄液を通過させ清掃できる。本発明では、後述のように、画面を薄型に構成できるため、小さな穴でも洗浄液が通過しやすい。洗浄液が通過しにくい程詰まった場合は、溶液をジェット噴射するなど穴に圧力を加えれば清掃できる。以上より、穴径の最小は0.1mm程度が可能である。できれば、0.5mm以上が望ましい。
穴径の最大値については、先ず、表示素子構成色(青色、緑色、赤色)が混じってほぼ単一色に見える混色距離を最短視距離MinDとして設定する。これ以下の距離では、カラーに見えないからである。標準視力は、視野角0.017度程度の隙間が知覚できる調節力であるが、混色は、表示素子(3色)の大きさが視力特性の6倍以下の視野角の際に生じやすい。そこで、最短視距離MinDは、表示素子の大きさが視角0.1度程度で観察できる距離とする。発光体がレンズで拡大される表示素子の場合は、前記表示素子の大きさは、レンズの直径としてもよい。
この最短視距離において目立たない穴径の最大を求める。図17(C)において、表示素子11の大きさは2.1mmである。これが視角0.1度になる最短視距離MinDは120cmである。なお、標準視距離は240cm程度である。当該MinDにおいて、表示素子間を広げて行き、本発明が目的とする映像(文字、絵、記号、広告、動画像(映画)など)が違和感なく表示できる素子間隔Disを求める。図17(B)(C)は、Disが視角にして0.5度の画面である。この場合、視角0.5度の穴を連続して設けることができる。MinD120cmで視野角が約50度の画面の場合、横方向画素数は100程度になる。
図17(E)の(B)は、LED表示素子を前記と同様な密度で設けた画面の映像を主観評価した結果である。本発明が目的とする前記映像を大きな違和感なく表示できる。これは、動画像の場合、人の眼は発光点を追い、動体視力は静止視力に比べて低下すること、仮現運動、運動残効果、誘導運動などの運動視効果によって、視覚心理的に情報が補間されるためである。つまり、飛び飛びの点がまとまりのある形状として知覚される視覚的体制化が起きるためである。
図17(B)のように穴を設けた場合、穴集合部の開口率(YAS)は70%以上である。複数の穴から出る気体は相互に干渉し利用者に十分な感覚刺激を与えることができる。穴の存在については、表示素子(11)に発光素子(LEDなど)を用いると、光は前方に照射されるので、その後方にある穴(02)は見え難い。特に、発光素子を設ける基板に光を吸収する黒系色を用いれば、穴の存在は、知覚の障害にはならない。
しかし、Disが0.5度以上になると、視覚的体制化が難しくなり、表現できる映像が大幅に制限される。また、穴の存在が知覚の障害になりやすい。
図17(E)の(D)は、直径2.1mmのLED表示素子を4mm間隔でアレイ状に配置した大型画面を視距離460cm、視野角50度で観察した場合の評価結果である。横方向画素数は1000であり、映画などを良い品質で楽しむことができる。この画面の場合、図17(D)に示すように、表示素子11の間に直径2.6mm程度の穴02を設けることができる。開口率YASは約33%であり、感覚刺激媒体を十分に放出できる。
以上より、画面の穴径は、0.1mm以上で、かつ、最短視距離MinDにおいて視角0.5度以下が望ましい。
図17(C)では、画素の大きさが2.1mmの場合を示したが、大画面表示装置において、画素が更に大きくなる場合には、最短視距離、又は、通常視距離も長くなるため、穴径の最大許容値は大きくなる。画素の大きさが4mm程度の場合、穴径は最大20mm程度まで大きくできる。
図18は、本発明の第12の実施例で、電子放出蛍光体を用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。同図(A)は、画面10の正面図、及び、断面図、図(B)は構造図である。
表示素子11は、裏側基板12Bと透明表側基板12Cの間に設けられた発光体18と、12Cに設けられたレンズ19から構成される。レンズ付き表側基板を12Dで示す。18の構成について述べる。12Bには穴98が設けられ、穴の中に電子放出部DENが設けられる。12Dの裏面には蛍光体KEIが設けられる。12Bと12D(12C)は、98内を真空にするように接着される。DENから放出される電子が、赤色、緑色、青色に対応する3つの蛍光体KEIに衝突し蛍光を発する。図(A)のDENからKEIへの3本の実線矢印は電子の流れである。光Lightはレンズの光主放出面19kから放出される。
図18(C)は電子放出蛍光素子部の拡大図である。前記3色の内、1色分の構成を示している。DENは、陰極(エミッタ)とゲートから構成される。高電界を加え陰極から電子を引き出す。12Dはガラスで作られ、裏側に電子を引き寄せる陽極(アノード)と蛍光体KEIが設けられる。同図では縦方向に電子を引き出すが、別の方法として、基板に薄膜で小さな裂け目を設けエミッタ、及び、ゲートを作り電子を引き出してもよい。所謂、表面伝導エミッタ(SCE;Surface−Conduction Electron Emitter)を用いてもよい。
12D(12C)と12Bを貫くように穴02が設けられる。図(B)に示すように、02は、レンズ19の間に大きく設けられるが、発光体部18は、レンズの光主放出面19kに比べて小さいため、02は、18から距離をおいて設けられる。従って、穴を設けやすく、信頼性が高い。薄型の表示装置を構成できる。
図19は、本発明の第13の実施例で、電子看板として使用する感覚刺激媒体提示機能付き表示装置である。
画面10の中に気体放出装置01A、01Bを設け、当該画面の前を通過する人(Aki、Yoshi)に香りなどを提示し、興味をおこさせる情報提供システムである。電子広告などへの利用を目的としている。通路Roadの上方から見た様子を示す。当該01A、01Bは、図7で述べた気体放出装置01と同様である。
01Aは、様々な香り(Frg)を切り替えて香りの固まり04としてYoshiに向けて放出できる。01Bは、香りと共に冷たい霧(Cool Mist)の固まり04をAkiに向けて放出できる。
画面には、2つの気体放出装置が設けられているが、映像オブジェクトが視知覚される位置近傍の気体放出装置が選択的に駆動され、当該オブジェクトに対応する香りなどの気体が提示される。気体放出装置が実装されている画面に花などの香りを発生するオブジェクトを映像として表示できる。01を選択的に駆動することで、オブジェクトの近くから、また、利用者の近くから香りを放出できるため、違和感が少なく自然である。
また、映像、音声などで、通行人を香り放出装置01A、又は、01Bの前に誘導し、人が近づいたことを検出して当該装置を選択的に駆動してもよい。01は空気砲の原理を用いているため、利用者の鼻先に香りを提示できる。オブジェクトの実在感が高まるので、商品への理解、興味が高まる。販売促進効果がある。
Ueは、通行人が所持する携帯通信端末である。当該端末は、利用者の属性情報、位置情報、香り放出要求情報を発信できる。SG1は当該信号を受信する装置、SG2は01A、01Bを制御する装置である。SG2は、利用者から発信された情報を下に、適切な香り、又は、触覚刺激を放出するように制御できる。触覚刺激としては、前記の冷たい霧の他、暖かい空気、そよ風のような気流などが可能である。
属性情報としては、性別、年齢、職業などが含まれ、これらは利用者が予め登録しておくことができる。当該情報に連動して、画面10に映像を表示し、香りを放出できる。例えば、通行人が女性であれば、バラやユリなど花の映像を香り放出装置の前の画面に表示し、人が近づいたことを検出して、あるいは、当該花映像の前に誘導して、花の香りを放出できる。また、男性であれば、海や山の映像を表示し、マリン系や森系の香りを放出できる。発信者側から、好みの映像、香りを選択するようにしてもよい。
前記位置情報は、壁側に組み込まれた指向性信号発生装置DTから通路側に破線のように信号を発信し、Ueが当該信号を受信すると直ぐに返信する方法で入手できる。DTの信号媒体としては、赤外線、超音波、電波などを用いることができる。つまり、Ueからの確認信号を受信することによって、DTの信号範囲に人が入ったことが検出できる。
前記属性情報、位置情報については、携帯通信端末を使用する代わりに、カメラを設け、画像処理によって認識、又は、推定しても良い。カメラは、画面内、又は、通路天井に設けることができる。画面内に参照光放出装置とカメラを設けた場合、オブジェクトに向かって来る人を確実にとらえ、当該位置を高精度で検出できる。
以上、香りを放出する例を説明したが、放出する気体に混入する化学物質としては、消臭剤、医薬品、抗菌剤、殺虫剤、高濃度酸素、霧、又は、これらの組み合わせが利用できる。生活の中で必要とされる化学物質を気化して放出できる。利用者を気体放出装置の前に誘導し、映像、音声などで呼吸を指示すれば、前記化学物質を定量して投与できる。インフルエンザ用経鼻ワクチンなどの投与も可能である。通行人は少し足を止めて、画面に顔を近づけて呼吸するだけで、ワクチンが摂取できるため簡単である。大量の人に高速に薬剤を投与できる。
図20、図21は、本発明の第14の実施例で、画面内から近赤外参照光を放出し、反射光を画面内のカメラで撮影し画像処理によって利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)、又は、注視点を検出し、感覚刺激媒体を提示する表示装置、及び、運動視CG映像を提示する表示装置、及び、頭部の動きを許容して両眼立体視を可能とする表示装置である。
図21(A)は装置の上面図、図21(B)は正面図である。10は画面、12Bは裏側基板、12Cは表側基板で、基板間に発光体18がアレイ状に設けられている。12Cの上には当該発光体18を拡大するようにレンズ19がアレイ状に設けられている。18と19で表示素子11を構成する。12Dはレンズ付きの表側基板である。18には、LED、EL素子、電子放出蛍光素子、プラズマ放電素子などが利用できる。また、図16のようなレンズ付きLEDを並べて構成してもよい。78は11を駆動する回路である。
11の間には、穴02が設けられている。この構成は、図18と同様である。基板12B、12Cを貫く穴02は、レンズ19の間で、かつ、光主放出面の後方に設けられるため、当該穴には光が照射されず暗く、観察者からは殆ど知覚されない。
01は気体放出装置、07は送風機97用いた気圧発生手段、06は筒で、複数の穴02を取り囲むように12Bに密着するように設けられている。図21(B)に示すように、複数の穴02は、バーチャル砲筒05を形成する。空気Air、又は、香りFrgは、図20(A)の一点鎖線で示すように当該穴02を通過し、利用者(観察者)P1〜P4に提示される。
次に、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)の位置を検出する方法について述べる。前記穴02には、カメラレンズ74と撮像素子73とこれらを入れる筒75と駆動回路からなる小型カメラ72が設けられ、当該カメラ用穴の近傍の穴には、近赤外発光素子77と駆動回路からなる近赤外投光装置76が設けられている。
77には、高輝度LED、又は、EL素子、SED素子などが利用できる。74の光軸の回りに対称的に設けることが望ましい。図21(B)には、77を4つ示しているが、更に多く、例えば数10個設けてもよい。また、77は、カメラの撮影タイミングに合わせて間欠駆動できる。カメラ72は、近赤外バンドパスフィルタを用いることによって近赤外反射光による像のみを撮影できる。特徴点を抽出することが容易である。
カメラレンズの光軸付近から利用者の眼を照射すると、光は角膜で屈折し瞳孔から入り、網膜で集光する。この光の一部は散乱反射し、瞳孔を通過し角膜で屈折し光源の方向に戻る。つまり、再帰性反射が起きる。光源の近くにカメラがあるので瞳孔部分は明るく撮影される。LGRは近赤外照明光、LGAはカメラ72で捉えられる光を示す。
カメラレンズ74の光軸の周囲に複数の77を設けると、前記網膜反射による瞳孔像は全体が均一な明るさに撮影される。背景の明るさに比べて輝度が高いので瞳孔の抽出は容易である。瞳孔は、眼球光学系の焦点に近いので、眼の位置検出の特徴点として利用できる。
画面10には、複数のカメラを設けることができるので、各カメラ画像の中で瞳孔像の対応付けを行えば、ステレオ画像計測の手法により、カメラ座標系(計測座標系)において瞳孔の位置(眼の位置)を検出できる。本発明では、画面の様々な場所にカメラを設けることができるため、利用者が画面の前で動く場合であっても、特徴点を常に複数のカメラで捉えることができるため、高精度で検出できる。
また、カメラ72は画面の中に固定されるので、製造時にカメラ座標系(特徴点計測座標系)と画面の座標系、即ち、表示座標系との校正が可能である。特徴点計測座標系と表示座標系との相対位置関係を決定するには、例えば、本発明者らによる学術文献「伴野明、岸野文郎、小林幸雄:瞳孔の抽出処理と頭部の動きを許容する視線検出装置の試作、電子情報通信学会、信学論(D-II)、J76-D-II、3、pp. 636-646 (1993-03)」に記載のアルゴリズムを用いることができる。装置製造後は、座標変換パラメータを求めるためのキャリブレーションは不要、又は、大幅に簡素化される。このようにして、表示座標系において特徴点の位置を検出できる。
なお、瞳孔以外の特徴点として、角膜反射像を用いる場合も同様である。近赤外参照光によって輝点として撮影されるため、抽出が容易である。更に、再帰性反射材マークを利用することも可能である。例えば、後に図26、図27で示すように、眼鏡の淵に当該マークを設け、前記カメラで撮影する場合も同様にマークが明るく撮影されるため、抽出が容易で、眼の位置を高精度に計測できる。再帰性反射材としては屈折率が2.0程度の小型透明球体などが利用できる。
以上のように、眼の位置、又は、眼鏡の位置が表示座標系で分かれば、この位置を視点として、3次元世界モデルを透視投影変換手法によって2次元画像に高速にリアルタイムで変換し画面10に表示すれば、頭部を動かすことによって見え方が変わる運動視差映像を表示できる。
両眼の位置が分かれば、顔の3次元モデルから鼻、耳、頬などの位置を推定できる。また、鼻、耳、頬などの特徴点として再帰性反射材マークを当該部位に取り付けて、その位置を検出してもよい。また、参照光としてモアレパターンを用いて、鼻、耳、頬などの位置を検出しても良い。何れも、特徴点位置を表示座標系において直接求めることができる。
図20に示すように、気体放出装置01を画面内に実装できるため、表示座標系において01の位置は確定できる。従って、前記感覚刺激媒体提示部位の位置情報に基づいて01を制御し、香り、気流などを利用者に正確に提示できる。
次に、注視点検出方法について述べる。視線を検出するためには、眼球の位置と眼球の回転角が必要である。眼球の位置は、前記方法で検出できるが、眼球の回転角を検出するためには、眼を拡大して撮影し特徴点を効率よく抽出する必要がある。以下、その方法を示す。
図21(C)は、図21(A)の画面10の一部で、薄型画面の穴02に望遠レンズ付き小型カメラ(72Zoom)をレンズ先端部分が支点となり回転するように実装した様子である。レンズに、焦点距離の長いもの、又は、焦点距離を調節できるものを用いることによって、眼を拡大して撮影できる。レンズの回りには近赤外発光素子を設けることができる。
画面10には、標準又は広角レンズ付きカメラ72と、前記望遠レンズ付きカメラ(72Zoom)を併設できる。72を複数用いステレオ画像計測系を構成し、眼の位置を検出し、当該位置情報を用いて72Zoomの撮影方向を制御し、当該部位を拡大して撮影できる。当該像の中には、瞳孔と角膜反射像が捉えられるため、当該2つの特徴点の距離を計測し、眼球モデルを適用すると眼球回転角が検出できる。従って、視線が検出できる。視線と画面が交わる点として注視点が検出できる。
当該注視点検出アルゴリズムとして、本発明者らによる特公平03−051407に記載の方法が利用できる。当該文献では、眼の位置検出に3次元磁気センサを用い、眼球回転角の計測に特殊眼鏡を利用している。本発明では、画面の中にこれら計測系を組み込むことができるため、非装着で注視点が検出できる。利用しやすく、かつ、遥かに高精度である。
また、瞳孔と顔の特徴点位置検出を基にして、画面上の注視点を求めることができる。本発明者らによる特許273931に記載の注視点検出アルゴリズムが利用できる。当該文献では、カメラを表示装置の周囲に配置するため、表示装置が大型になると瞳孔、顔の特徴点を正面で捉えることができなくなるため、注視点検出範囲が狭く、注視している画面の場所によって検出精度にばらつきが生じる。しかし、本発明では、画面の様々な場所に特徴点を拡大して撮影できるカメラを設けることができるため、大画面であっても注視点を高精度で検出できる。
また、画面の様々な場所にカメラを設けることができるので、各カメラで瞳孔を拡大して撮影し、当該瞳孔が円に撮影されれば、視線は当該カメラの方向にあるため、当該カメラ近傍のオブジェクトが注視されていると判断できる。最も円に近い瞳孔像が撮影されたカメラの方向を観察者の視線方向とするアルゴリズムが適用できる。また、瞳孔像が楕円であればその長軸、短軸比から視線の角度を推定できる。このように、瞳孔の形状から注視方向を比較的簡単に推定できる。カメラ設置場所が限定される従来の表示装置では高精度化は難しいが、画面の中に多くのカメラを配置できるため、高精度の注視点検出が可能である。
次に、特殊な眼鏡を装着することなく頭部の動きを許容する両眼立体視表示について述べる。表示素子11に図20(B)の構成を用いる。1つの表示素子当たり左眼用発光体3個(18L)と右眼用発光体3個(18R)の計6個が設けられている。18の前には光スリット69が設けられており一部の光のみが通過する。同図では左眼用光線LG1、LG3、LG5のみを網掛けで示している。当該光線は、図20(A)に示すように、レンズ19によって屈折し、観測者の方向に進む。
前記一塊の発光体18と光スリット69とレンズ19は、左眼用画像と右眼用画像の表示素子である。3つの発光体18(L)は、破線(LG1、LG3、LG5)で示すように、3箇所(P1、P2、P3)の左眼位置(17L)を照射する。3つの発光体18(R)は、実線(LG2、LG4、LG6)で示すように、3箇所の右眼位置(17R)を照射する。ここで、光線は、レンズ19により同図LG1に網掛けで示すように、眼の位置において所定の幅(例えば6cm程度)になるように照射される。6cmは左右の眼の間隔に相当する。他の光線も同様に所定の幅になるように照射される。
利用者の眼の位置をリアルタイムで検出し、当該位置に光線の帯を照射すれば、左右の眼に別々の視差画像が提示されるので、頭部の動きを許容し眼鏡なしの両眼立体視が可能である。複数の観察者の眼の位置を計測し光の帯を投影すれば、複数の人が同時に両眼立体視できる。
図20(C)は、表示素子の別の形態を示す。レンズ19は左右眼用の2つの発光体18に対して1個ずつ設けられている。つまり、レンズは2つの発光体に対して共用される。前記光スリットは省略している。発光体18の右側から奇数番の3つ18(L)が左眼用画面に対応し、偶数番の3つ18(R)が右眼用画面に対応する。
図20(A)では、両眼立体視可能な観察場所を3箇所としたが、両眼間隔は6cm程度であるので、この幅で、更に多くの場所に光の帯を照射するように発光体、及び、光学系を設けると、観察場所を大きく広げることができる。観察範囲の拡大は、左右方向だけでなく、P4のように前後方向も可能である。一塊の発光体は、集積回路技術などを用いて製造できる。有機EL素子は、集積化に適している。
本実施例の応用として、利用者の視点位置を検出し、画面の中に当該視点と対称となる鏡面視点を設定し、当該視点近傍の画面内カメラで撮影した映像を表示すれば、画面を鏡として利用する「デジタル鏡」が実現できる。
図22は、図21(B)において、表示素子の一塊の発光体18を駆動する回路の制御を示している。単純マトリックス方式である。SWLi(i=1〜6)は水平画素用スイッチ、SWHi(i=1〜3)は垂直画素用スイッチ、Ei(i=1〜6)は発光体の電源である。画素の情報は、光の強さ(明るさ)であるため、Eの電圧は映像に合わせて調整される。
図22は、図20において、観察者がP3に居る場合を示している。SWL5とSWL6と垂直画素スイッチSWHiを動作させ、電圧E5、E6を調整することにより、左眼用画素と右眼用画素の光強度を制御する。発光体18から観察者P3の左右眼の位置17L、17Rに向けて光の帯が放出される。
観察者がP3からP2の位置に移動した場合には、SWL3、SWL4を動作させ、E3とE4を調整する。P2とP3の中間の位置では、SWL4、SWL5を動作させ、E4とE5を調整する。このように、観察者の位置に応じて、動作させる発光体を選択し光強度を瞬時に制御できる。
なお、図22の単純マトリックス方式では、発光時間が短くなる問題があるため、アクティブマトリックス方式を用いることもできる。アクティブマトリックス方式は、発光素子の近傍に駆動回路と制御回路を集積化して実装する。素子毎に発光時間、強度を調整できる。
図23は、本発明の第15の実施例で、音響提示付き表示装置である。図(A)、(B)は当該装置の縦断面図である。画面10の表示素子11(Pix)の間には、音波通過穴02が設けられている。60は超音波スピーカなどの指向性音響提示装置である。60を回転することで音波放出方向を変化できる。同図には示していないが、当該穴02の一部に前記気体放出装置を設けることができるのは当然である。
画面に設けた穴(02)は、表示素子がある表側が小さく、裏側が大きくなるように構成されている。風などの感覚刺激媒体、音波、又は、参照光のガイドとして作用する。
図23(C)は、臨場感通信システムである。79は観察用カメラ、66は指向性マイクロホン、62は回転制御機構、67、68は通信装置である。動作を説明する。利用者P1の頭部の動きは、図20で述べたような画像計測手段で検出する。当該頭部の動きは、通信装置によって遠隔地に伝送される。当該頭部情報に基づいて、79、66は、62によって方向を変える。66で集めた音は、67、68で伝送され60で再現される。この際、60は、66と同期して方向が変化する。10に提示される遠隔地映像の中で、観察者が向いた方向の音を忠実に再現できる。79で撮影された映像は、伝送され、11の駆動制御装置13によって10に表示される。
また、超音波は、音圧で微粒子を搬送する作用があるため、超音波スピーカ60の前に霧発生装置を設け、音圧で霧を穴から放出することができる。当該霧に香りを含有させることもできる。
図24は、本発明の第16の実施例で、薄型画面に設けた穴から立体的な音響を提示する表示装置である。同図において、10は、図9と同様の有機EL素子を用いた画面である。11は表示素子で、EL(R、G、B)は3色のEL素子である。EL(IR、R、G、B)は、EL(R、G、B)と近赤外のEL素子(IR)が一体になった表示素子を示す。
当該表示装置は、立体視用眼鏡82を併用することにより、運動視表示、両眼立体視が可能である。82には、再帰性反射材(マーク)83が設けてある。EL(IR)から出た光LGRは83で反射し、反射光LGAは、画面10を通過してカメラ72に捉えられる。マーク83は左右眼の周りに3個ずつ設けてある。各マークの取り付け位置を予め決めておくことにより、1台のカメラで眼の位置と顔の向きが検出できる。
同検出には、例えば、学術文献「大村和典、伴野明、小林幸雄:単眼視画像による顔の向き検出法の指示入力への応用、電子情報通信学会、信学論(D-II)、J72-D-II、9、pp. 1441-1447 (1989-09)」に記載のアルゴリズムを用いることができる。左右の眼の位置が分かれば、3次元物体モデルObjを透視投影変換することにより、画面10に両眼立体視映像、運動視映像を表示できる。
ここで、左右眼用映像の切り替えには、液晶シャッタ眼鏡を用いることができる。即ち、左右眼用映像を交互に切り替えて表示し、当該切り替えと同期するように眼鏡82の液晶シャッタを切り替えることにより実現できる。
また、左右眼用映像の切り替えには、偏光フィルタ眼鏡を用いることができる。即ち、画面10に左右眼画像用表示素子を設け(図9(E)参照)、左眼用表示素子と右眼用表示素子の前に各々偏光方向が直交する偏光フィルタを設け、当該フィルタと対を成す偏光フィルタを眼鏡82に設けて観察することにより実現できる。偏光フィルタ眼鏡は、液晶シャッタ眼鏡に比べ軽く、安価なので利便性が高い。
図24(A)は、音を発する物体Objが画面10の内側に前向きに観察される状態を示している。63は球形集積スピーカで、多数の小型スピーカ64が球面に設けられている。当該球は音波を放射状に放出できる。当該球形集積スピーカを用いると、Objが前を向いている状態では、明確で大きな音を観察者に提示できる。音の大きさを破線矢印の太さで示している。
図24(B)は、Objが後ろを向いた状態を示している。鈍い小さな音を提示できる。このように、画面中の3次元表示物体の方向によって音響を変えて提示できる。音波は画面10を通過するため、真にObjから音が出ているように聞こえ、高い臨場感が得られる。
図24(C)は、基板12Bと12Cの穴02をカメラ72のピンホールレンズ74aとして利用する例である。レンズは、穴を同図のように小さく加工し、穴の淵に遮光材を塗布し実現できる。カメラ72は、当該レンズと裏側基板12Bの穴の右側に設けた光ガイドとなる筒75と、撮像素子73と、駆動回路によって構成できる。前記レンズの穴から埃などの異物が入らないように透明部材でレンズ周辺を覆うこともできる。
図25は、本発明の第17の実施例で、画面に設けられた複数の感覚刺激媒体放出手段が選択的に駆動される表示装置である。図(A)は、柱に設けた香り提示機能付き表示装置で、電子広告板への応用を示している。同図において、57は柱、10は画面、01は気体放出装置、05は図1で示したようなバーチャル砲筒、04は当該砲筒から放出された香りの渦輪である。鼻腔付近に放出される。
柱には複数の画面が設けられ、各画面にはオブジェクトObj1(森林映像)、Obj2(果物映像)が表示されている。画面の中に設けられたカメラで通行人P1が検出される。同図では、P1はObj1を見ているので、Obj1の近くの香り放出装置01が選択的に駆動され、森林の香りが放出される。P1がObj2の前に移動すれば、果物の香りが放出される。
公衆の場では、香りを不必要に放出すれば、香りが拡散し迷惑になる、又は、香り提示の新鮮さが損なわれる問題があるが、本発明では、オブジェクトが視知覚される近傍の香り放出装置が選択的に駆動され、必要最小限の香りが提示されるので、上記問題は生じない。
駅や地下街で、人が柱の前を通過しようとすると、本装置は、当該通過を検出し香りを放出する。通行人は振り向いて電子広告板(表示装置)を見ようとするため広告効果は高い。通行人を立ち止まらせることができれば、広告板は静止画像から動画像に切り替えることもできる。
例えば、立ち止まった際に数10秒の映像が流れ、当該映像に連動して香りが提示されると、観察者はその映像内容を強く記憶に留めるため、広告効果は大きい。
図25(B)は、香り及び音響提示機能付き湾曲大画面の表示装置である。映画や芸術的な映像コンテンツ鑑賞への応用を示している。同図において、10は湾曲した大画面、01は香り放出装置、63は図24で示した球形集積スピーカである。利用者P1は立体視用眼鏡82を装着し運動視及び両眼立体視によって観察している。画面には、オーケストラの立体映像が表示されている。Obj−Pi(i=1〜3)は、オーケストラの団員の等身大オブジェクトである。
各楽器パート(オブジェクト)が視知覚される位置近傍のスピーカが選択的に駆動され、当該楽器の演奏音が提示される。運動視表示を行うと、利用者P1が位置を変えた場合、当該楽器パートの映像位置も変化するため、スピーカを切り換える制御を行う。オブジェクトが移動する場合も同様に映像位置が変化するため、スピーカを切り換える。
同図では、Obj−P1(バイオリンパート)の演奏音は、Obj−P1とP1を結ぶ線分58の近くのスピーカ63−2から提示されているが、P1が左に移動した場合には像も左に移動し、像からの距離は63−1の方が近くなるため、当該スピーカから演奏音を提示する。
また、Obj−P2(フルートパート)の演奏音提示には、Obj−P2とP1を結ぶ線分59の近くのスピーカを選択するが、同線上にスピーカはない。この場合は、近い63−3、63−4を選択し、両者の音の位相を変える、又は、音量を変えるなどにより、Obj−P2が視知覚される位置に音像を定位させてもよい。更に、複数のスピーカの音をミキシングしてもよい。
また、音が出ている場所の映像を明るくするなど、誘目性を高めるように制御してもよい。オーケストラで、ソロパートの場合、スポットライトが当たった場所から楽器の音が飛び出るように演出できる。
香り提示についても同様である。画面に多くの香り放出装置を設け、Obj−Piが視知覚される位置近傍の香り放出装置を駆動できる。例えば、オブジェクトが花畑であって複数種類の花が表示されている場合、当該花の位置から対応する香りを提示できる。
しかし、香り放出装置01の数が少ない場合、花の表示位置近傍に01が存在しない場合がある。この場合は、図25(B)に示すように、左右の2台の香り放出装置01を連動させることができる。バーチャル砲筒05から香りの固まり04を放出し、2つの04を観察者の鼻腔付近で衝突させることにより、局所的な香り空間を形成できる。微小香料を使用するため、観察者が呼吸すると当該香りは消え残らない。様々な香りを切り替えて提示できる。
従来技術では、画面の外側にスピーカ、又は、香り提示装置を設けるため、大画面になるほど感覚刺激の定位が難しい。つまり、オブジェクトの場所から音がする、香りがすると言った感覚が作れない。しかし、本発明では、画面の中から感覚刺激媒体を局所的に提示できる。高い臨場感が得られ、強く記憶に残るため、映像コンテンツの付加価値を高める。
図25(C)は、空間にレーザ光を集束照射しプラズマ放電を起こして直接描画する表示手段に本発明を適用した場合である。Obj1、Obj2は、レーザ(Laser1、Laser2)によって空中に描画されるオブジェクトである。Objは空中の像なので、その場所から視覚以外の感覚刺激媒体を放出することは難しい。
そこで、図25(C)では、直接描画する空間を囲むように本発明の湾曲画面を設けている。当該画面には、背景映像を表示すると共に、画面の穴から香り、気流、音を放出する。特徴点抽出装置71によってP1の特徴点が抽出され、ステレオ画像計測によってP1の視点位置が検出される。
P1の視点位置から見てObjが視知覚される延長線上に位置する気体放出装置01、又は、小型指向性スピーカ61を選択的に駆動できる。又は、Objの近くにある01、又は、61を駆動するように制御してもよい。以上によって、Objの位置からあたかも音、香り、気流が放出されている感覚が得られる。複数の感覚刺激提示に矛盾がないので、自然で高い臨場感が得られる。
図26は、本発明の第18の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を提示する複数画面を用いた没入型表示装置である。
図26(A)において、10−1、10−2、10−3は画面で、図9、図16、図18、図21などの構造が利用できる。01は気体放出装置で、図1の01と同様である。05はバーチャル砲筒、04は香り(Frg)、又は、空気(Air)の渦輪で、観察者P1、P2に嗅覚刺激、触覚刺激を提示する。65−1、65−2は01から放出され残留した香りを排出する装置で、図8と同様の構造である。一点鎖線は気体の流れを示す。
図26(B)の71は特徴点抽出装置、74は穴02に設けたカメラレンズ、77は周囲の穴02に設けた近赤外発光素子である。図26(C)の72はカメラ、73は撮像素子、75は筒である。詳細は、図21と同様である。図26(A)の70は複数の71からなるステレオ画像計測装置で、特徴点の空間位置を検出する。視点位置を70で検出できるため、眼鏡なしで運動視表示が可能である。また、図21の画面を用いれば、両眼立体視表示が可能である。なお、代替手段として前記立体視用眼鏡を用いることができるのは当然である。
本発明では、利用者の位置を正確に検出できるので、利用者が画面の所定場所に近寄ったことを検出して、気体放出装置01から利用者に向け香りを放出できる。当該香り放出後、空間に香りが残留すると映像とリンクしなくなる問題があるため、65−1、65−2で排気する。これにより、香りを高速に切り替えることができる。
60−1、60−2は、超音波スピーカで、図23の60と同様である。利用者の耳の位置を検出し、当該方向に音波を放出できる。超音波スピーカは超指向性があるため、利用者が複数の場合、特定の人に特定の情報を提示することができる。
図26(D)は、図(A)に比べ、気体放出装置01とスピーカ61の構成が異なる。気体放出装置01は、横長で図26(E)に示す構造である。つまり、画面10−1の01の領域に、図7で示した気流管02i(i=a、b・・)が数多く設けられる。当該02iの中から所定数の気流管をまとめて(束にして)用いることで、バーチャル砲筒05i(i=a、b・・)を形成できる。気流管の選択方法によって、バーチャル砲筒の場所を変えることができる。利用者の位置を検出し、当該位置近傍のバーチャル砲筒から香りの固まりを放出できる。また、オブジェクトが視知覚される位置近傍のバーチャル砲筒から香りの固まりを放出してもよい。
61は小型指向性スピーカで、画面の穴に多数配置される。観察者が表示対象に近づくと、70によって当該観察者の位置を検出し、最も適切な位置のスピーカから音を提示できる。即ち、オブジェクトが視知覚される位置近傍のスピーカから当該オブジェクトに関する音を放出できる。従って、観察者は音源の同定が可能で、オブジェクトから音が出ているように感じる。
図26(F)は、画面10の中に多くの特徴点抽出装置71i(i=a〜e)を組み込み、注視点を検出する様子である。P1が正面を向いている状態では、視線Gaz1は71Cの方向にある。71Cのカメラでは、瞳孔が円形に撮影される。一方、他のカメラでは、楕円に撮影される。従って、瞳孔形の円形からのずれを計測すれば注視方向が検出できる。
同図では、71Cの近傍に表示されているオブジェクトを見ていることが推定できる。同様に、視線Gaz2が71aの方向にあることが検出されれば、当該近傍のオブジェクトを見ていることが分かる。複数のカメラで撮影した瞳孔像の長軸、短軸の平均値、分散などを計算し、統計的処理によって注視点位置の計測精度を上げることができる。
図28で示した従来の没入型表示装置と比較すると、図26(A)(D)の画面は、薄型であるため壁に組み込むことが可能である。遥かに省スペースなので家庭用メディアルームとして利用できる。利用者の位置を検出し、香り、音を映像とリンクして適切に提示できる。注視点の検出も可能であり、利用者の意図抽出に基づく映像表示、感覚刺激媒体提示が可能である。臨場感効果が極めて高い。
また、画面10の表示座標系とステレオ画像計測装置70の座標系との間の位置関係を決める校正作業(座標変換パラメータを求める作業)、及び、表示座標系と気体放出装置01、スピーカ61との位置関係を決める作業は、装置製造時に行うことができるため、利用者側での作業は必要ない。利便性が高い。
図26(G)は、本発明をエアコン(Aircon)に応用した例である。01は気体放出装置、65は気体排出装置である。Airconの前面に穴を設けた薄型画面10を密着するように設ける。表示素子にEL素子を用いる場合を示しているが、LEDでもよい。映像が表示できるエアコンである。
気体は画面裏側から表側に放出され、表側から裏側に排出される。当該気体は、加熱、又は、冷却、又は、加湿、又は、除湿して放出できる。大型にすれば、図26(A)の画面そのものがエアコンとなる。部屋の壁、天井、床が、表示装置であると共に、雰囲気制御装置となるので、空間の有効利用が可能である。従来のエアコンは一箇所から風が吹き出すが、本発明の壁組み込みエアコンでは、壁全面から空気が放出されるため、自然の風に近い感覚が得られる。
図27(A)は、本発明の第19の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を前後、左右、上下から適切に提示する複数画面を用いた没入型表示装置である。利用者(観察者)P1の周囲5面に画面10−i(i=1〜5)が設けられている。家庭用、事業所用のメディアルームへの応用を目的としており、画面の大きさは、1辺が2mから3m程度である。
図27(B)は、画面10−2の断面図である。画面構成は、図16と同様で、表示素子11は発光体18(R、G、B;LED)とレンズ19で構成され、基板12に設けられる。11の大きさは、1mm〜3mm程度、表示素子間距離は、2mm〜4mm程度が可能である。集積化技術、又は、有機EL素子などを利用すれば、精細度は更に向上できる。11の間には気体通過用、参照光通過用の穴02が設けられている。
近赤外参照光源77には、11とは別の高輝度近赤外LEDを用いている。72はカメラ、LGRは参照光、LGAはレンズ74を通過する撮影光である。
画面10−iの中には、図26などで説明した特徴点抽出装置71を6個を示しているが、更に多くの場所に設けてもよい。複数の71を組み合わせて利用することで、画面で囲まれた空間において、利用者の特徴点位置を高精度で検出できる。利用者がどのように動いても計測できない場所はない。
視点位置検出を利用して運動視差映像を表示できる。立体視用眼鏡82を用いて両眼立体視映像を楽しむことができる。また、図21(C)に示した望遠レンズ付きカメラを合わせて用いれば、注視点検出が可能なので、利用者の意図推定に基づく映像表示、聴覚・嗅覚・触覚提示など高度なサービスが提供できる。
01or65は、気体放出と排気を兼ねた装置で、図14の01と図8の48を組み合わせて構成できる。羽車47を正逆回転制御することで、図27(A)の一点鎖線矢印のように気流(Air、Frg)の流れを変えることができる。
嗅覚刺激、又は、皮膚触覚刺激媒体である気体は、画面の穴を介して、画面裏側から表側に放出され、表側から裏側に排出される。従って、観察者に対して様々な方向から香りや風を提示できる。特に、利用者の鼻、顔など位置を検出し、01or65を選択的に駆動し、当該位置に気流を当てれば効果的な刺激提示が可能である。
例えば、嵐のように激しく風向きが変わる状況も再現できる。01or65は広い範囲から気体を放出できるため、風などの皮膚触覚提示に適している。また、図26に示したように、バーチャル砲筒を構成して気流、香り、霧の渦輪などを放出してもよい。物理的には狭い空間であるが、五感提示によって高い臨場感を演出できる。
図27(C)は、床用画面10−3の断面構造を示している。同図において、12Bは裏側基板で、図27(B)で説明した表示素子11が横に並んでいる。穴02には管02aが設けられ、管の上には穴を設けた透明な表側基板12Cが設けられている。つまり、12Bと12Cの間に11が設けられ、11の間に両基板を貫くように穴02が設けられ、穴の淵は12aによって密閉されている。管02aは、気流を通過させると共に、12Cを支持する機能を有する。02aと12Cは密閉されるため、穴から埃や湿気は入らない。
12Bの下には、気体放出・排出装置01or65が設けられている。また、管02aの一部には、図2、又は、図7に示した構造の香り供給部30−1、30−2が設けられている。02aからは、空気Airの他、様々な香りFrgを放出できる。例えば、お花畑を映像で表現する場合には花の香り、朝霜の風景を表現する場合には低温の霧などを放出できる。
11の光主放出面19kから放出される光をLightで示す。穴に設けられた管02aの先端は、レンズ19の先端より突出しているが、前記光Lightに掛からないように設定される。つまり、同図のように、発光体18と光主放出面19kを結ぶ錐形内(Light)に穴02、又は、穴に接続される管02aが入らないように構成できる。Lightは管内を照明しないので、穴は暗く視認されない。
図27(D)は、穴近傍の他の構成例である。12Cと02aと86がプラスチックなどで一体成型される。86は、表側基板の支持部である。当該一体構成物を12Bの上に被せることで本発明の画面を構成できる。製造しやすい。また、12Cが汚れたり、傷ついた場合は、取替えできる利点がある。
表側基盤12Cの上を人が歩くため、透明性が高く、強度のある素材で構成する。強化樹脂、ガラスなどが利用できる。また、12Cの上に、更に穴の開いた透明シートを張り、床面を補強してもよい。穴02の上には、当該穴を目立たなくすると共に埃が入らないように、メッシュなどの気流通過素材を設けてもよい。
図27(E)は、図16(D)の円筒型レンズを用いた表示素子11で画面10−3を構成した実施例である。12Bの上に12Cを張り合わせる。レンズの前面が平坦なので製造しやすく、薄型に適している。清掃も容易である。なお、表示素子(レンズ)は、四角柱型でもよい。また、穴は円形の他、四角形を含む多角形でもよい。
映像が大画面、高解像度になり臨場感が高まると、香りや皮膚触覚が欲しくなるのは自然である。本発明では、これら全てを実現できる。注視点検出から利用者の意図を推定できるため、眠気を検出して活性化を促す映像、香りを提示する、興奮を検出して沈静作用のある香りを提示するなどが可能である。噴水の立体映像を提示し、観察者が近づいたことを検出して水しぶきがかかる感触が得られるように、冷水を霧化し、気体発生装置から当該霧を顔に向けて放出してもよい。同時にその場の音を近くのスピーカから提示できる。
図26、図27の実施例では、複数の画面に多くのカメラ(72)を内蔵できるので、利用者を同時に様々な方向から撮影し特徴点を抽出できる。当該特徴点の3次元位置を検出し、予め用意した利用者の3次元モデルと照合することにより、利用者の3次元映像をリアルタイムに制作できる。当該特徴点情報と聴覚、嗅覚、触覚情報を遠隔地に伝送し、再構成することにより、五感提示可能な知的符号化通信が実現できる。
本発明は、上記各実施形態に限定されるものではなく、実施段階において、その要旨を逸脱しない範囲で種々に変更することが可能である。また、上記実施形態は、種々の段階の発明が含まれており、適宜な組み合わせにより実施してもよい。更に、上記各実施例の構成要素は、その目的を踏まえて適宜省略する、又は、周知慣用技術で補うことができる。
以下のような装置、サービスへの利用が可能である。
(1)高臨場感映像表示装置;映像のストーリーに同期して、香り、気流、立体音響が提示できる。つまり、従来の視覚、聴覚に加えて、嗅覚、触覚を提示できる。臨場感が向上し、内容理解が深まる。香りや気流の切り替えは高速にできるので、次世代テレビジョン、映画・インターネット映像コンテンツ、体感ゲームに最適である。
例えば、ホラー映画を鑑賞中の利用者に背後から生暖かい、異臭を吹きかけることもできる。臨場感が増し、関心が高まる(図25(B)、図26、図27など)。
(2)高臨場感シミュレータ;現実に起こりえる様々な状況をバーチャルな環境でつくり訓練や確認などに利用できる。本発明は、五感提示可能なので、現実に近い高精度なシミュレーションが可能である。例えば、車の運転支援、飛行機の操縦支援、住宅の設計確認、旅行目的地選択確認、防災非難の訓練、ゴルフや野球などの打撃練習などに利用できる。当該シミュレータを利用した練習、訓練では、旨く行ったときに気持ちが良くなる仕掛けがあると訓練効果が高まる。特に集中力が要求されるスポーツシミュレーションでは、脳からα波が出る状態を作ることが重要である。そこで、ゴルフ練習などで、満足の行くショットが打てた場合に気持ちが良くなる香りを提示すると良いイメージが記憶に残り、実際のショットでも脳がリラックス状態になり、良い結果につなげることができる。
(3)バーチャル博物館・美術館;五感提示可能なので、展示品を実際に使用している感覚で鑑賞することができる。3次元物体をCGで制作し全方位から観測可能にし、選択した方向から、香り、風、音響を提示するように構成できる。「このような匂いのある場所
でこのようなものが使われていた」などと、五感を刺激する展示が可能である。博物館の一角に設置し来場者の案内サービスに利用できる。また、病院、医療機関に設置すれば、寝たきり生活を強いられる者、身体障害者が、居ながらにして世界の博物館、美術館を訪ねることができる。
(4)バーチャル会議システム;通信を利用し遠隔地の人々があたかも一堂に会した感覚で会議ができる。臨場感が高まることで、より複雑な議題を扱うことができる。
(5)癒し空間生成装置;お気に入りの場所の映像、音響とともに、香りや気流を提示すると癒し空間が生成できる。例えば、海の映像に汐の香りを提示する、森の映像に森林系の香りとマイナスイオンを含む霧を提示するなどである。ストレス解消や苦痛緩和の要求が高い病院の待合室、ホテルの客室、集中力を高めたい子供の勉強部屋、汗臭さを解消したいスポーツ練習場、安らかな眠りを誘発させたい寝室、特別な顧客にサービスする航空会社、銀行のロビー、会議室などに最適である。
気体の中に混ぜる化学物質としては、例えば、風邪の予防には、ヒノキ、レモン、ハーブ系の香りが効果的である。花粉症にはユーカリ、ペパーミントなどが効果的である。次亜塩素酸ナトリウムは殺菌作用あるので、水に溶かし噴霧することで感染症予防になる。例えば、滝の映像を表示し、画面からこれらの薬品を含有する霧を放出してもよい。また、高濃度酸素を放出してリフレッシュな感覚が得られるように構成できる。
(6)電子看板(デジタルサイン);図19に示すように、大型ディスプレイから映像と共に香り、気流が提示されると、通行人は関心を示すので、立ち止まらせる効果がある。従来の看板広告に代わる次世代の五感デジタル広告として利用できる。
(7)映像香り時計;画面に時計の盤面を表示し、時報として香りを発生させることができる。例えば、朝は、ベルガモット、レモン、ペパーミント、コーヒーなど爽やかな目覚めの良い香り、昼間は、グレープフルーツ、シダーウッドなど集中力を高めるリフレッシュな香り、夜は、ラベンダー、ローズウッド、スイートオレンジなどのリラックスな香りを放出できる。前記時計の盤面には、時刻に相応しい映像を表示してもよい。短い時間で部屋の香りを切り替えると、香りが複雑に混ざり、素敵な芳香空間を作る。
(8)照明装置;図11に示すように、本発明の表示装置は、照明装置としても利用できる。特に、高輝度LEDを画面に用いると、蛍光灯、電球に替わる照明装置になる。画面に穴を設け気体が通過できるようにすると、空気清浄機能をもたせることができる。タバコの煙の排出、塵、花粉などの除去が可能である。
画面の穴に参照光放出装置とカメラを設け、人の位置を計測し、その人の周りのみを照明することができる。画面には、当然、文字などを表示してもよい。通常は、照明として使用し、緊急時などに人の通過を検出し、誘導非難などの絵や文字を表示することができる。
色彩は、嗅覚印象と密接な関わりがある。色付き照明装置において、嗅覚予期を想定して、ボードの穴から合致する香りを提示すると、視覚刺激と嗅覚刺激の感覚統合が起き心理的効果が高まる。ここで、嗅覚予期とは、「これから香りが来るぞ」と言う期待感である。感覚統合とは、イメージが合致することを意味する。香りと照明色の心理的作用に正の相関があるものが望ましいのは当然である。
具体的には、空気清浄作用のあるユーカリ、ペパーミントなどの香りには、薄いグリーン色の照明、明るくポジティブな印象のあるスイートオレンジ、マンダリンなどの香りには、暖かみのあるオレンジ色、静かで落ち着いた印象のあるラベンダーには、薄い紫またはブルー、誘引効果があるイランイランなどには、薄いピンクまたは赤色、リフレッシュ効果のあるグレープフルーツ、レモンなどの香りには、薄い黄色などが効果的である。
画面に設けた砲筒から霧の渦輪04を放出し、当該放出に合わせて画面の照明素子を駆動すると、空間に霧の渦輪が浮かび上がり、姿、色彩を変えながら飛行する。癒しの空間を演出できる。
(9)ディスプレイ型エアコン;本発明は、空気が通過する大画面ディスプレイであり、有機EL素子などを用いて薄型に構成できるので、住宅用高機能窓、又は、壁組み込み型の空気清浄装置(エアコン)として利用できる。図26、図27では、壁全体が画面であり、雰囲気制御装置でもある。窓として利用する場合には、室内の気圧を高めれば、室内の淀んだ空気が排出される。気圧を下げれば、外の新鮮な空気を室内に取り込むことができる。
(10)家庭用メディアルーム;図26、図27に示すような大型表示装置で部屋の複数の壁を構成する。つまり、表示装置組み込み型壁を建築資材として提供できる。利用者は表示装置に囲まれ、映像、音響、香り、風などが提示されるので、高臨場感でマルチメディアコンテンツを楽しむことができる。また、通信装置を用いれば、居ながらにして、世界旅行を楽しむことができる。更に、表示装置に視線検出装置を組み込めば、画面上の注視オブジェクトが推定できる。利用者が関心を示したものを推定して商品広告を香りと共に提示するなど、多様なサービス提供が可能である。
(11)映像エアーカーテン;図27(C)の床画面は、床に映像を表示し、気流を通過させることができる。デパートなどの入り口で、床に大画面映像を表示し、天井から床に気体を流すエアーカーテンを設ければ、お客の関心を引くため、人寄せ、販売促進に有効である。
本発明は、映像に、嗅覚刺激(香り)、皮膚触覚刺激(風など)、聴覚刺激(音響など)を連動させて提示する、又は、注視点情報に基づいて映像を提示することにより、高臨場感、又は、心地よさ(癒し)を演出する表示装置に関する。主に、五感提示可能な大画面表示装置に関する。
近年、表示装置は、大画面、高精細化技術が進歩し、迫力のある、又は、臨場感のある映像表現できるようになっている。また、音響装置は、5.1チャンネルなどの構成によって迫力のある音が表現できるようになっている。このように、視覚、聴覚分野では、利用者に質の高い情報を提示する技術が進歩しているが、臨場感の更なる向上を目指すには、嗅覚、触覚、体性感覚などを合わせて提示できる技術が望まれている。また、視覚分野において、両眼立体表示は空間認知に大きな効果があることが知られており、長い間、特殊眼鏡を装着しないで両眼立体視可能な大画面表示装置の実現が望まれている。以下、本発明に関連する従来技術について述べる。
嗅覚提示可能な表示装置については、以下のような発明例がある。
特開平10−10987には、集客用の広告を目的として、人が通過することを検出して、視覚メッセージ、嗅覚メッセージ、音声メッセージを出力する多機能電子ディスプレイが開示されている。当該ディスプレイではLED表示器を用いている。
特開2007−108299には、画像に関連ある香りを発生させることできる香り発生部を備えた表示装置が開示されている。
特開2006−295321には、匂い提示情報に基づいて、所定の匂いを選択、調合し、空気砲を用いて、匂いが含まれた気体を固まりとして観察者の鼻先に向け放出することによって匂いを提示する手段が開示されている。
特開平11−244384には、頭部ハウジング内を青色発光素子の光で満たし、当該ハウジング内にマイナスイオン、水の音、香りを放出して、精神の安定化を図る装置が開示されている。発光素子アレイの前には磨りガラスが設けられ、光を散乱させ一様な光で満たすように工夫されている。マイナスイオンを含む液体微粒子は、ハウジングの頭部に空けた小さな穴から放出される。また、利用者の前面には小さな表示装置が設けられている。
再表01−089590には、多孔質素材に香料などを含浸させておき、振動、熱、風圧を与えて香料を気化させる香り発生手段が開示されている。
しかし、上記の文献に開示されている香り発生装置、又は、香り提示可能な表示装置は、いずれも表示装置の脇(画面の外側)に香り発生装置を設ける構成である。つまり、視覚提示手段と嗅覚提示手段は離れて設けられている。この方法には、以下の問題がある。
大画面になるに従って、表示対象と漂ってくる香りの方向に違和感が生じやすい。例えば、大画面の右側に花の映像が提示され、その香りが左側から漂って来るのであれば違和感は大きく、臨場感を損ねる。また、表示画面の脇に設置すると、スペースを取り目障りである。空気砲を用いる方式であっても、画面が大きくなると利用者(観察者)への香り放出角が鈍角になるため、利用者の鼻腔付近へ狙いを定めて香りの固まりを放出する制御が難しくなる。
表示装置と香り発生装置を連動させるためには座標系変換のためのパラメータを決めるキャリブレーションが必要であるが、これらの装置が離れていると面倒である。その結果、香り提示精度が悪い、香り提示効果が少ないなどの問題がある。
また、映像に連動して香りを放出させる場合、多くの香りを高速に切り換える必要があるが、従来の香り発生装置では、切り換えられる種類が多くても10種類程度であり少ない。また、前の香りが残る問題があり、香りの切り替えが難しい問題がある。
従って、大画面表示では、画面の中から多種類の香りを高速に切り換えて放出する技術が望まれている。例えば、観察者が表示対象である林檎に近づくと、林檎の香りが画面から飛び出してくるような表示装置の実現が課題である。しかし、常識的には、そのような香り発生手段を画面の中に設ければ視覚の妨げになり本末転倒との考えから従来例はない。
次に、触覚提示可能な表示装置について述べる。大画面に山や海などの自然映像を表現する場合、臨場感向上のためには、頬に当る様々な風、例えば、温風、冷風、湿り気のある風、乾いた風、香り付きの風などを映像に合わせて表現することが重要な課題である。特に、没入型ディスプレイでは、観察者の周囲の広い範囲が画面になるので、画面の外側から気流を当てるのではなく、画面の内側から利用者(観察者)に向けて気体を放出し、触覚を提示する技術が望ましい。しかし、このような従来例は見られない。
次に、両眼立体視可能な表示装置については、以下のような発明例がある。
大画面表示では、利用者は体や頭を移動させながら観察する場合が多く、特に、没入型ではその傾向が高いので、頭部の動きを許容して両眼立体視、運動視を実現できる表示装置が重要な課題である。
特許第2774370号には、視点の動きを実時間で計測し、レンチキュラレンズを駆動する方法で大画面両眼立体表示を実現する装置が開示されている。しかし、視点の動きを正確に簡便に計測する手段は開示されていない。また、光の投影制御機構が複雑で、複数の観察者に対応できない問題がある。
図28は、従来、実用化されている両眼立体視可能な没入型大画面表示装置の例である。同図において、27はスクリーン、29は当該スクリーンに映像を投影するためのプロジェクタである。大きなスクリーンに背面投影する必要から高輝度プロジェクタを5台用いている。プロジェクタを設置する場所を含めるとかなり広い空間が必要であり、光学系の調整が複雑で大掛かりな設備となってしまう。
同図において、運動視や立体表示のために必要な観察者P1の視点位置計測は、スクリーン周囲に設けた複数のカメラ84で、眼鏡に設けた光マーカ83を特徴点として撮影する方法で求める。しかし、カメラをスクリーン周囲に取り付ける作業は面倒であり、周囲に設置されたカメラでは、人物を斜めから捉えることになるため、特徴点を確実に撮影することが難しい。また、カメラ座標系で計測した特徴点位置を表示装置の座標系に変換する作業が必要であるが、カメラと表示装置の位置ずれが生じやすいため、高い精度を得ることは難しい。更に、液晶シャッタ眼鏡82を装着する両眼立体視は、煩わしいと言う問題がある。
次に、音響提示では、従来、表示装置の周りにスピーカを複数配置する方法が知られている。しかし、大画面表示装置では、画面周辺のスピーカと画面内の表示対象との間に距離が生じやすい。複数スピーカの位相や音量を制御することにより、音像を定位させる技術もあるが、あたかも表示対象から音が出ているような忠実な再現のための制御は難しい。
特開平10−10987 特開2007−108299 特開2006−295321 特開平11−244384 再表01−089590 特許第2774370号
本発明は、画面に設けた穴を介して香り、気体、音、又は、これらの組み合わせからなる感覚刺激媒体を映像とともに利用者に提示できる臨場感の高い表示装置を実現するもので、技術的な課題は、以下の通りである。
(1)画面に設けた穴が知覚されにくく(非視認性が高く)、映像の品質が高い画面構造にする。
(2)当該穴を介して、前記感覚刺激媒体を利用者が注視している対象からあたかも発している如く放出する、又は、利用者に向けて放出する。
(3)香り、気体を空間的、時間的に高い精度で制御して提示できるようにする。また、できるだけ多くの香りを切り替えて提示できるようにする。
(4)穴が汚れた場合は清掃できるように、メンテナンス性が良い構造にする。
(5)薄型で場所を取らずどこにでも設置できる表示装置とする。また、利用者を画面で囲むことができる没入型の表示装置をコンパクトに実現する。
<手段1>
本発明の表示装置は、図1〜図27に対応づけて説明すると、
自発光体(18、又は、11)を用いた画面(10)、又は、前面に反射材を設けた前方投影スクリーン(28)に、先端穴径が0.1mm以上で、複数の画素から画像が知覚されるための最短視距離において視角0.5度以下、又は、通常視距離において0.25度以下の穴(02)を複数設け、当該画面の裏側に感覚刺激媒体として香り、又は、気体、又は、音、又は、これらの組み合わせを放出する装置を近接して設け、当該媒体は穴を通過する際に互いに干渉して放出されることを特徴とする。
前記前方投影スクリーン(図12の28)は、ボード、シート、布などの基板に粒子状反射材(83)を敷き詰めて構成できる(図12(D))。前記反射材としては、球状透明体、微小直角反射鏡などの再帰性反射特性があり、反射光が利用者の居る所定の視野範囲に広がるものがよい。当該粒子状反射材の間に穴(02)を設け、前記感覚刺激媒体を通過させることができる。当該反射材は、明るい鮮明な画像を形成するとともに、穴の非視認性を高めるように作用する。
また、前記スクリーンは、図12(F)に示すように、フレキシブルなシートで構成し、穴径は、感覚刺激媒体通過時に変化させてもよい。風圧、音圧などによって、穴径が拡大するように構成できる。
自発光体を用いた画面(10)では、自発光体の前にレンズ(19)を設ける(図9(E)、図14〜図16、図18)、又は、自発光体の裏側に反射鏡(Ref)を設ける(図16)、又は、自発光体の周囲に遮光部(SL、02aなど)を設ける(図9(E)、図11、図14、図27)などにより、自発光体からの光を前方に導くことができるため、光が穴を照らすことは少ない。また、自発光体を設ける基板に光を吸収する黒系色を用いれば、穴の存在は更に知覚されにくい。このように、穴の非視認性が高いため、映像品質は良い。
本発明では、穴は視認されにくいため、穴径を大きくできる。画面(10)、又は、前方投影スクリーン(28)は薄く構成できるため、貫通穴は短くでき、従って、感覚刺激媒体の通過方向に自由度がある。また、先端穴径が0.1mm以上であれば、清掃が容易でメンテナンス性がよい。香り、気体を通過させる場合は、穴は汚れ易いため、メンテナンス性は特に重要である。
前記画面の裏側に感覚刺激媒体放出装置を近接して設けるため、当該媒体を画面の所定の場所から放出できる。また、画面に設けた複数の穴を前記所定範囲にすることにより、通過する感覚刺激媒体は干渉しやすく、当該媒体を所定の方向に放出できる。つまり、画面に表示された対象物から、あたかも発しているかのごとく、利用者が居る方向に感覚刺激媒体を放出できる。
例えば、気体を放出すれば風を表現できる。気体には、空気、香りや薬剤を含む空気、霧などの水分を含む空気、暖気、冷気、又は、これらの組み合わせが可能である。図26、図27に示すように、方向が変わるような風の表現も可能である。
画面の所定の場所から気体を渦輪にして放出できる。図19、図25(B)、図26に示すように、渦輪に香りを入れて放出すれば、香りを周囲に拡散させることなく、利用者の正面に提示できる。香料の使用効率は高く、少ない香料で所期の嗅覚特性が得られる。また、香りが利用者の周りに残ることが少ないので、香りの切り替えが容易である。
図23、図24、図25(B)、図26に示すように、音波を干渉させ所定の方向に放出することによって、利用者に音の方向を知覚させることができる。また、超音波スピーカなどの指向性スピーカを用いて、音波を利用者に向けて放出できる。
更に、映像の表現に合わせて、香り、及び、音付きの風など異なる媒体を干渉させて放出し、臨場感を高めることができる。
本発明の画面は、薄く場所を取らないため、図25(B)、図26、図27に示すように、利用者を取り囲むような没入型表示環境を実現できる。
前記画素(11)は、3色(赤色、緑色、青色)の自発光体(18)で構成できる。穴は、画素間に設けることができる。前記最短視距離は、複数の画素から画像が知覚されるための距離で、前記穴の径は、利用者の視覚的体制化を阻害しない範囲で設けられる。
カラー画面の場合、前記最短視距離を3色が混じってほぼ単一色に見える混色距離、又は、画素の大きさが視角0.1度程度で観察される距離としてもよい。この場合、穴径は、画素の概ね5倍程度まで大きくできる(図16(C))。通常視距離は、普段最も多く観察される距離、又は、前記最短視距離の2倍程度とすることができる。
しかし、穴径を0.5度より更に大きくすると、画素間隔が広がり穴の存在も気になるため、画像品質は極端に劣化する。従って、前記範囲が望ましい(図17参照)。
前記画素の形状は、方形、又は、円形が望ましい。穴(02)は、円形が望ましいが、画素間の形状に合わせてもよい(図15参照)。前記穴(02)は、図1、図7、図16などに示すように、画素配列に乱れが生じないように、画素間に設けることが望ましいが、図9に示すように、画素間隔が小さい場合は、前記条件を満たす範囲で数画素分の領域を穴(02)に割り当てることができる。
<手段2>
本発明の表示装置は、図1、図6−7、図11、図14、図19、図20、図23に対応づけて説明すると、
手段1において、前記穴(02)は先端部から穴奥に向けて広がるように構成され、又は、前記複数の穴には気流管(02x、x=a〜e)が接続され、当該穴部は、清掃可能であって、前記感覚刺激媒体は当該穴を通過し、互に干渉し所定の方向に放出されることを特徴とする。
前記自発光体を用いた画面(10)、又は、前面に反射材を設けた前方投影スクリーン(28)に設ける穴の形状を、穴先端から奥に向けて径が広がるように構成することによって、前方から見ると知覚されにくく(非視認性が高く)、媒体の流れは穴通過時に整えられるため、複数の穴を通過する感覚刺激媒体は互いに干渉しやすくなる。また、穴に気流管を設けた場合も同様に媒体の流れが整えられ、画面から放出された感覚刺激媒体は互いに干渉しやすくなる。
当該画面に近接するように感覚刺激媒体放出装置を設けることによって、当該媒体は所定の方向に効率よく放出される。特に、図1、図6、図7に示すように、前記穴、又は、気流管に瞬間的に気圧を加えると、整えられた各気流が干渉し気体の渦輪を作る。また、気流管の一部に香りを通過させることによって、気体に香りを混ぜ、利用者に向けて効率よく提示できる。
<手段3>
本発明の表示装置は、図1、図6、図7、図19、図25(B)、図26(A)に対応づけて説明すると、
手段1において、前記複数の穴を設けた画面裏に近接して設置される香り、又は、気体、又は、これらの組み合わせを放出する装置(01)は、当該穴が設けられた画面領域(Area05)に占める当該穴先端の総面積(ΣOpen02i)の割合YASが10%以上になるように構成され、当該複数の穴にほぼ同時に瞬間的な気圧が加えられて、気体の渦輪が放出されることを特徴とする。
手段3では、画面に設ける穴径を前記手段1の範囲に設定して穴の非視認性を高くし、穴の密度YASを10%以上にし、画面の裏側に近接するように瞬間気圧発生手段(01)を設けることによって、気体の渦輪を作ることができる。当該渦輪に香りを混入すると効率の良い嗅覚提示が可能である。表示画面の穴の存在が分かり難く、しかも当該画面の中から香りが指向性を持って利用者に提示される。
画面から放出される気体の渦輪は形を崩さずに飛行する性質があるため、画面と利用者が離れていても香り、又は、気体を極めて効率よく利用者に搬送できる。利用者が表示対象を注視した際、画面の中から香りが飛び出してくるため、あたかも当該表示対象から香っているかのような嗅覚刺激となり、高臨場感が得られる(図19、図25(B)、図26(A))。
前記瞬間的な気圧を加える方法には、図1(C)、(D)に示すように、圧縮板(51)を急速に押し出し、ゆっくり引く方法(K1)と、圧縮板を押し出した後、急速に引く方法(K2)がある。K1では、図4に示す回転方向の渦輪が生じ、K2ではその逆方向の渦輪が生じる。K2の方が残留気体の帯が生じにくい。
空気砲は従来存在するが、映像表示装置の中にその存在は分からないように組み込んだ例は存在しない。
<手段4>
本発明の表示装置は、図1〜図3、図6、図7に対応づけて説明すると、
手段3において、前記穴の一部には、香りを供給する気流管が設けられ、前記瞬間的な気圧が加わる際に、当該気流管にも気圧が加えられ、香りが前記気体の渦輪に混ざって放出されることを特徴とする。
手段4において、複数の穴に瞬間的に気圧を加える際に、香りを供給する気流管にも気圧が加えられるため、当該気流管の中の香りは渦輪に混じって放出され、管の中には残らない。従って、香りは無駄なく有効に利用され、かつ、高速な香りの切り替えが可能である。当該穴に数10から数100種類の前記気流管を設ければ、選択の組み合わせを変えることによって、数千種類の香りを提示できる。
手段4において、前記香りを供給する気流管には、図1、図2、図3、図6、図7に示すように、化学物質供給手段(30、36A、36B、36D)、及び、当該供給を制御する手段を設けることができる。当該化学物質供給手段には、霧発生装置を利用できる。当該穴に直接設けてもよいし、気流管の管壁に設けてもよい。
霧発生装置としては、液体を超音波で振動して霧化する方式(超音波霧化方式;図6(B)(C))、液体を高電界で引きちぎるようにして霧化する方式(静電霧化方式)、狭い隙間に液体を入れピエゾ素子(圧電素子)によって当該液体に瞬間的な圧力を加えて当該隙間から液滴を放出する方式(ピエゾ方式;図6(D))、狭い隙間に液体を入れ静電圧力素子によって液体に瞬間的な圧力を加えて隙間から液滴を放出する方式(静電圧力方式)、狭い隙間に液体を入れ加熱素子によって液体を瞬間的に蒸発させ当該圧力によって当該隙間から霧を放出する方式(サーマル方式)などが利用できる。
霧を放出する手段としては、前記のように気流で押し出す方法の他、前記気流管、又は、砲筒の中に超音波進行波を発生させ、当該音波圧力で霧微粒子を押し出してもよい。
<手段5>
本発明の表示装置は、図1、図9、図11、図14〜図21、図23、図24、図25(B)、図26、図27に対応づけて説明すると、
手段1から手段4の何れかにおいて、前記自発光体(18、又は、11)は、発光ダイオード(LED)、又は、エレクトロルミネッセンス素子(EL)、又は、液晶素子(LC)と照明素子の組み合わせ、又は、放電を利用した素子(KEN、DEN)であって、当該自発光体を用いて画面の画素部が薄型に構成され、当該画素間には、画面(10)を貫くように前記感覚刺激媒体が通過できる前記穴(02)が設けられることを特徴とする。
手段5において、前記自発光体を用いた画素部は、画面となる基板上に集積回路技術などを用いて、極めて小さく、薄く作ることができる。当該画素部の薄さを利用することにより、前記感覚刺激媒体が様々な方向に通過できる穴を構成できる。
即ち、図9、図18、図24に示すように、薄い基板に薄い自発光体を形成すれば、貫通穴は短く、感覚刺激媒体を様々な方向に放出できる。また、図1、図11、図23に示すように、基板断面において、自発光体の脇に穴を斜めに設けることにより、画面表面から裏面に向けて穴径を広げることができるため、同様に感覚刺激媒体放出方向の自由度を大きくできる。また、図15(A)に示すように、大きな面積の穴を設けても同様である。当該穴には、感覚刺激媒体の流れを整える気流管を設けることができる。
当該画面に感覚刺激媒体放出装置を近接するように設けるため、複数の穴から出た媒体を相互に干渉させ、所定の方向に制御して放出できる。また、画面の裏側の任意の場所に感覚刺激媒体放出装置を多数設置できる。従って、図25(B)、図26、図27に示すように、画面の表示対象の近傍から、利用者が居る場所に向けて感覚刺激媒体を放出できる。
例えば、図1の例では、穴の形状を先端部が小さく腹部(奥の部分)を大きくでき、又は、穴に気流管を接続できる。その結果、空気の流れを砲筒中心部に整えることができ、形状の綺麗な渦輪を生成できる。当該渦輪は、真っ直ぐ遠くに飛行する。また、図9、図26(G)、図27の例では、気流の方向を画面に直角のみならず、斜め方向に変えることができる。図23、図24の例では、音波の方向を制御できる。これらを組み合わせて、映像の内容に合致した、香り、気体、音を利用者に向けて放出できるのは当然で、高臨場感が得られる。
手段5において、基板上に穴を設ける製造工程に関して、自発光体を形成してから開けてもよいし、予め穴のあいた基板に自発光体を形成してもよい。
<手段6>
本発明の表示装置は、図9、図11、図18、図20、図24、図27に対応づけて説明すると、
手段5において、画面は、裏側と表側とからなる2枚の基板(12B、12C)の間に、前記自発光体(18、11)が実装され、かつ、画素間に両基板を貫くように前記穴(02)が設けられ、当該穴を通過する感覚刺激媒体が両基板間に進入するのを防止するための密閉が少なくとも穴の周囲に施されていることを特徴とする。
手段6では、画面に設けた穴を感覚刺激媒体として、香り、気体(霧、温風、冷風を含む)、音などが通過する。自発光体は耐環境性の弱いものが多く、当該自発光体を用いた画素間に貫通穴が設けられると、自発光体の保護は重要な課題になる。そこで、例えば、図9、図11、図18、図20に示すように、2枚の基板(12B、12C)を用い、一方に自発光体を一体形成などの方法で設け、もう一枚の基板を前記基板に重ねるようにして、自発光体を密閉し外界から遮断して保護する。これにより、当該穴から2枚の基板の間に空気、水分、埃などは入らず信頼性は大きく向上する。
当該密閉には、接着材を用いてもよい。紫外線硬化型接着材などが使用できる。穴の淵を溶解して接着してもよい。
また、図9、図11、図18、図20、図27に示すように、画面は薄く、貫通穴は短く、表面は滑らかに製造できるため、穴が香料、霧などの感覚刺激媒体の残留物で汚れた場合でも、清掃しやすくメンテナンス性が良い。
手段6において、前記表側基板(12C)は、利用者側に設けられる基板を意味し、光を通過させるガラス、樹脂なとの透明部材で構成できる。シート状部材でもよい。なお、前記2枚の基板は、本画面に必要な要素を意味しており、当該基板の補強などのため更に別の基板、膜、シートなどを設け、多層にできるのは当然である。
手段5、手段6において、自発光体の前面には、レンズを設け、レンズの脇に穴(02)を設けることができる(図9(E)、図18、図20)。図16(B)に示すように、レンズ(19)は、光主放出面(19k)を持ち、穴(02)は当該光主放出面を避けるように基板に設けることができる。つまり、穴の先端は、当該光主放出面より後方に設けることができる。又は、図27(C)に示すように、自発光体(18)と光主放出面(19k)を結ぶ錐形内(Light)に穴(02)、又は、穴に接続される管(02a)が入らないように構成できる。光主放出面は、18、19の構造と凹面鏡Refによって形成できる。以上のように、自発光体の光は、レンズにより拡大され前方に放出されるが、穴は、当該レンズより後方に配置できるため目立たない。穴の非視認性は高い。
図9(E)、図18、図20に示すように、レンズをアレイ状に設けた穴付きシート状透明部材を表側基板(12D)として使用すると、レンズによって自発光体が拡大されるため、小さな自発光体を用いることができる。つまり、自発光体は基板に離散的に配置でき、自発光体と穴との距離を広く取ることができる。このため、密閉のための基板接着領域を広く取れ、自発光体を確実に密閉でき、高い信頼性が得られる。
また、図11(G)に示すように、液晶素子(LC)と照明素子の組み合わせを用いる場合には、前記両基板(12B、12C)を貫く穴(02)を密閉する構造(SL、02a)は、照明素子(LED)の光が穴領域に漏れないように作用させることができる。
また、図27(C)に示すように、LEDを用いた画面の例では、裏側基板(12B)にLEDを設け、当該素子を覆うように透明表側基板(12C)を設け、当該2枚の基板を貫く穴(02)を設け、当該穴の淵を管(02a)で密閉するように構成してもよい。透明基板(12C)に、強化ガラス、強化樹脂などを使用すれば、当該画面の上を歩くことができる。
<手段7>
本発明の表示装置は、図25(B)、図26、図27に対応づけて説明すると、
手段5で示した表示装置の画面で利用者を囲み、画面内の所定場所から利用者に向けて、香り、又は、気体を放出し、当該香り、又は、気体は他方向の画面の穴から排出することを特徴とする。
手段5に示した表示装置は、香り、又は、気体を画面の所定の場所から所定方向に放出でき、また、図8に示すように画面に設けた穴から排気することもできる。更に、図27に示すように薄型に構成できる。
図25(B)に示すように、湾曲した画面の表示装置を用いる、又は、図26、図27に示すように、表示装置を複数用いることによって、画面で利用者を囲むことができ、利用者の周りに様々な気流を作ることができる。例えば、利用者の位置を検出し、当該利用者が立っている場所に気流を発生させれば、風の表現(触覚提示)が可能である。任意の方向(前後、左右、上下、斜め)から風や香りを提示できる。また、風の向きが変わる様子を高精度にシミュレーションすることもできる。
没入型大画面表示装置では、利用者の作業空間は画面で囲われるため雰囲気が汚れやすい。前に提示した香りが残っていると、香りの切り替えが困難である。しかし、本発明では、ある画面から放出した気体を別の画面で吸引し排出できるため、利用者作業空間の香りを高速に切り替えることができる。
本発明の表示装置は薄型なので、部屋の壁に組み込むことができる。家庭用のマルチメディアルームなど限定された狭い空間にも設置できる。画面からは、空気を、加熱、又は、冷却、又は、加湿、又は、除湿して放出できる。図26(G)に示すように、画面(10)の裏側にエアコン装置(Aircon)を設け、画面を気体放出部(01)、又は、排気部(65)とすることができる。部屋の壁は、大型画面表示装置であり、エアコン装置でもある。そのようなコンパクトな没入空間が実現できる。
<手段8>
本発明の表示装置は、図9、図16、図19、図20、図23〜図27に対応づけて説明すると、
手段1から手段7の何れかにおいて、画面の前記穴を通過する参照媒体を捉えるセンサによって、画面前の利用者が検出され、前記感覚刺激媒体は表示対象付近から当該利用者に向けて放出される、又は、前記センサによって、利用者の画面上の注視対象が検出され、前記感覚刺激媒体は当該注視対象付近から放出されることを特徴とする。
手段8において、前記センサとして、図19に示すように、指向性信号発生装置DTと当該信号を受信する携帯端末Ueの組み合わせ、超音波センサ、近赤外光センサなどが利用できる。参照媒体としては、電磁波、超音波、近赤外光などが利用できる。また、図9、図16、図20、図23〜図27に示すように、カメラ72を用いた画像計測が利用できる。画面の前記穴にカメラを設けることで、利用者の位置を高精度で検出できる。また、視線検出手段を組み合わせることによって、注視対象を高精度で検出できる。
前記画像処理によって人物を検出する際、図9、図16、図24に示すように、画面内から参照光として近赤外光(IR)を照射し、当該反射光を前記穴(02)に設けたカメラ(72)で捉え、当該画像を処理して人物特徴点を抽出できる。人物特徴点が求まれば、眼、鼻、耳などの位置を検出できる。また、人物特徴点として瞳孔、角膜反射像を抽出することによって視線を求めることができ、注視対象を検出できる。
画面前の利用者は、画面から放射される映像光の影響を受けるため、従来のように可視光カメラで撮影すると人物像の明るさは不安定になり、特徴点を明確に抽出することが難しい。本発明では、近赤外参照光を用いることによって、近赤外反射光のみを分離して捉えることができる。カメラ画像は明るく人物特徴点を明確に撮影できる。特徴点の抽出処理は容易で検出精度が高い。大画面と相対する利用者を検出して、その結果を感覚刺激媒体の放出に利用する本発明においては、特に重要な技術である。
従来の表示装置では、仮に、画面前の利用者の位置が検出できたとしても、画面内から利用者の居る所定の場所に香り、気体、音の感覚刺激媒体を正確に放出することは難しい。特に、香りや気体は、拡散する性質があるため、広がらずに所定の場所、又は、所定の方向に放出することが難しい。
しかし、手段8では、図25(B)、図26に示すように、画面には、感覚刺激媒体を放出する手段(01、60、61、63)を複数設け、選択的に駆動できる。また、感覚刺激媒体を画面に垂直方向のみならず斜め方向からも放出できる。更に、渦輪としても放出できる。このように、感覚刺激媒体が放出される空間位置や方向の制御が高精度で可能なため、利用者の位置情報、又は、注視対象情報に基づいて、表示対象(オブジェクト)に対応する香り、気体、音を適切に放出制御できる。映像の表現にあった感覚刺激が提示されることにより、心理的効果が相乗され高臨場感が得られる。
手段1から手段8の何れかにおいて、映像表示手段としては、2次元映像表示手段、3次元(立体)映像表示手段が利用できる。後者としては、3次元世界モデルを透視投影変換して運動視映像を表示するコンピュータグラフィックス(CG)手段(図25(B))、左右の眼に視差画像を表示する両眼立体視手段が利用できる。両眼立体視手段の具体例としては、レンチキュラレンズ方式(図20)、偏光眼鏡方式、時分割眼鏡方式(図25(B)の82)などが利用できる。何れの場合も、オブジェクト(Obj)が視知覚される位置近傍の画面から感覚刺激媒体を放出できる。
前記複数の感覚刺激媒体放出手段の選択方法としては、利用者(観察者)の位置を検出する手段(図26の70)を組み合わせ、オブジェクトが視知覚される位置(図25のObj)と観察者位置(P1)を結ぶ線分からの距離が短い感覚刺激媒体放出手段を選択する方法が利用できる。また、単眼視の場合は、画面上のオブジェクト近傍の感覚刺激媒体放出手段を選択できる。
以上説明したように、本発明の表示装置は、映像に対応付けて、香り(嗅覚刺激)、気体(皮膚触覚刺激)、音(聴覚刺激)、又は、これらの組み合わせを提示できる。応用について説明する。
嗅覚刺激の場合は、例えば、花畑(オブジェクト)が表示された画面近くの香り放出装置から当該花の香りを放出できる。また、利用者を画面内の所定位置に誘導する手段を併用できる(図19)。音声情報、視覚情報を用いて、例えば、利用者を花が表示されている画面領域に誘導し、当該画面内から香りを放出できる。
皮膚触覚刺激の場合は、例えば、扇風機(オブジェクト)が表示されている画面、又は、木々(オブジェクト)が揺れている様子が表示されている画面の近くの気流発生装置から風を放出できる。また、滝(オブジェクト)が表示されている画面から水しぶきを連想させる霧を放出できる。
聴覚刺激の場合は、画面の裏側に複数のスピーカを配置し、音響発生オブジェクトの近傍のスピーカを選択して駆動できる。例えば、図25(B)に示すように、オーケストラの団員の等身大オブジェクト(Obj−P)を画面に表示し、各楽器パート位置から当該楽器の音を提示できる。運動視映像の場合は、利用者の位置が変わると、当該楽器パートの画面上の位置も変化するため、当該位置変化に応じて、スピーカを切り換えて、又は、音波の方向を変えることができる。スピーカには超音波スピーカなどの指向性スピーカを使用できる。前記薄型画面に穴を設けることにより、画面に垂直方向だけではなく、斜め方向からも音波を提示できる(図23)。
また、音の知覚方向を変えるために、複数のスピーカから出る音の位相を変える、音量を調整するなどを併用しても良いのは当然である。例えば、図25(B)のように、オブジェクト(Obj−P2)の直ぐ近くにスピーカを配置できない場合、比較的近くのスピーカ(63−3)とその周辺のスピーカ(63−4)を選択し、複数のスピーカ音の位相、又は、音量を調整して音像を移動し、当該オブジェクトから出ているような音を再現できる。この場合であっても、従来の表示装置のように、画面の外側にスピーカを配置する場合に比べると遥かに高い臨場感が得られる。
図1〜図27に示すように、自発光体(18、又は、11)を用いた画面(10)、又は、前面に反射材を設けた前方投影スクリーン(28)に、先端穴径が0.1mm以上で、画像が知覚される最短視距離において視角0.5度以下、又は、通常視距離において0.25度以下の穴(02)を設けるため、当該穴は知覚されにくい。特に、図1、図9、図11、図14〜図21、図23、図24、図26、図27に示すように、自発光体を用いて画素を構成すると、画素間の穴の非視認性が高く、穴の存在が気にならない。
画面は薄く製造できるため、穴を通過する感覚刺激媒体の方向自由度が高い。特に、自発光体を用いて画面の画素部を薄型に構成すると、貫通穴は短く、又は、穴径は大きく、又は、画面表面から裏面に向けて穴径を広げることができるため、感覚刺激媒体は通過方向の自由度が大きく、穴を斜めに、又は、所定の方向に通過できる。また、穴が汚れても清掃は容易でメンテナンス性がよい。
図9(E)、図11、図18、図21、図27に示すように、2枚の基板で自発光体を挟むように密閉し、両基板を貫くように穴を設けることによって、画面を薄く製造でき、穴を香り、湿気を含んだ気体が通過しても自発光体には影響がなく信頼性は高い。
当該画面の裏側に感覚刺激媒体放出装置を近接して設けるため、複数の穴を通過する感覚刺激媒体は相互に干渉しやすく、当該媒体を所定の方向に放出制御できる。特に、図1、図6−7、図11、図14、図19、図20、図23に示すように、前記穴(02)は先端部から穴奥に向けて広がるように構成する、又は、気流管(02x、x=a〜e)を用いることによって、媒体の流れは整えられ効率よく干渉するため、より所定の方向に放出できる。
また、画面の裏側の広い場所に感覚刺激媒体放出装置を複数設置し、選択駆動できる。従って、画面の表示対象の近傍から、利用者が居る場所に向けて感覚刺激提示媒体を放出制御できる。匂いや風の向きが分かるような嗅覚・触覚提示(例えば、図9(D))、音の方向が分かる聴覚提示が可能である(例えば、図23)。また、超音波スピーカ(60)を用いることもできる。
図1、図6、図7、図19、図25(B)、図26(A)に示すように、穴の密度YASを10%以上にし、画面の裏側に瞬間気圧発生手段を設けることによって、気体の渦輪を作ることができる。この渦輪の中に香りを混入することで、画面の中から指向性のある香り利用者に放出できる。空間的、時間的にピンポイントで香りを提示できる。利用者が表示対象を注視した際、あたかも当該表示対象から香っているかのような臨場感が得られる。従来の表示装置では実現できない感覚である。
また、穴に数10から数100種類の気流管を設ければ、選択の組み合わせを変えることによって、数千種類の香りを提示できる。従来の芳香器では実現できない特性である。
図19、図20、図23〜図27に示すように、画面に設けたセンサで利用者の位置、利用者の注視対象を検出することによって、利用者への感覚刺激提示はより正確に実施できる。香り、気体、音を利用者の動きに応じて制御できるため、極めて多様な表現が可能である。
例えば、「高原の中をそよ風に吹かれて歩いているような雰囲気」、「吹雪の中を歩いているような雰囲気」、「嵐のように激しく風向きが変わる状況」、「霧や硫黄の匂いによって、温泉地を旅行しているような雰囲気」、「コンサート会場から、楽器の音が飛び出るような感じ(図25(B))」などを演出できる。このように、映像と香り、気流、音像を空間的に一致させ、臨場感を高めることができる。
図26、図27に示すように、本発明の表示装置は薄型であるため、場所を取らずどこでも設置できる。また、複数の画面で利用者を囲むような高臨場感表示装置を、家庭の居間など限定された狭い空間に設置できる。
本発明の第1の実施例で、香り提示機能付き表示装置である。 前記第1の実施例の構成部品で、香り供給部の断面図である。 前記香り供給部の他の構成例である。 渦輪生成原理、および、香りの混合方法を説明する図である。 画面に設けた多くの穴で構成される砲筒の気体整流作用を説明する図である。 本発明の第2の実施例で、香り提示機能付き表示装置である。 本発明の第3の実施例で、香り提示機能付き表示装置である。 本発明の第4の実施例で、排気機能付き表示装置である。 本発明の第5の実施例で、EL素子を用いた感覚刺激媒体提示機能付表示装置である。 本発明の第6の実施例で、液晶素子を用いた感覚刺激媒体提示機能付表示装置である。 本発明の第7の実施例で、画面を背面照射する感覚刺激媒体提示機能付表示装置と効果を説明する実験結果である。 本発明の第8の実施例で、プロジェクタスクリーンを用いた香り提示機能付き表示装置である。 画面の中から感覚刺激媒体を提示する本発明の効果を説明する実験結果である。 本発明の第9の実施例で、発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。 本発明の第10の実施例で、発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。 本発明の第11の実施例で、LEDとレンズを用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。 画面に設ける穴径の許容範囲を決めるシミュレーション実験結果である。 本発明の第12の実施例で、電子放出蛍光体を用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。 本発明の第13の実施例で、電子看板として使用する感覚刺激媒体提示機能付き表示装置である。 本発明の第14の実施例で、近赤外参照光を用いて利用者の感覚刺激媒体提示部位、又は、注視点を検出し、感覚刺激媒体を提示する表示装置、及び、運動視CG映像を提示する表示装置、及び、両眼立体視表示装置である。 前記第14の実施例の正面図である。 前記第14の実施例の表示素子駆動回路例である。 本発明の第15の実施例で、音響提示機能付き表示装置である。 本発明の第16の実施例で、薄型画面に設けた穴から立体的な音響を提示する表示装置である。 本発明の第17の実施例で、画面に設けられた複数の感覚刺激媒体放出手段が選択的に駆動される表示装置である。 本発明の第18の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を提示する複数画面を用いた没入型表示装置である。 本発明の第19の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を前後、左右、上下から提示する複数画面を用いた没入型表示装置である。 従来の没入型表示装置である。
符号の説明
01、01A、01B・・・気体放出装置、香り放出装置
02・・・・・画面に設けた穴
02a、02b、02c、02d、02e・・穴に設けた管(気体放出管など)
02S・・・・空気放出管
04・・・・・渦輪
05・・・・・開口部、又は、バーチャル砲筒
06・・・・・砲筒
07・・・・・気圧発生手段
08・・・・・空気槽
09・・・・・瞬間気圧発生機構
10、10−1、10−2、10−3、10−4、10−5・・画面
11・・・・・表示素子、又は、画素、又は、照明素子
12・・・・・基板
12B・・・・裏側基板
12C・・・・表側基板(透明部材)
12D・・・・レンズ付き表側基板
13・・・・・11の駆動制御装置
14・・・・・40の駆動制御装置(香料供給制御)
15・・・・・加熱制御装置(気化加速制御)
16・・・・・駆動制御装置(気圧制御)
17、17L、17R・・視点位置
18・・・・・発光体(LED、EL素子など)
19・・・・・レンズ
19k・・・・光主放出面
20・・・・・バイモルフ型圧電素子
21・・・・・金属板
22・・・・・圧電板
27・・・・・スクリーン
28・・・・・プロジェクタ用画面(スクリーン)
29・・・・・プロジェクタ
30・・・・・香り供給部
31・・・・・香料蓄積機構
32・・・・・側面に穴を設けた管
33・・・・・管型気流制御板(磁性体)
34・・・・・末端を閉じた管型気流制御板(磁性体)
35・・・・・バネ
36、36A、36B、36D・・香料を放出管02内に供給する香り供給部
37・・・・・香料取り込み穴(Hol1)を設けた香り放出管
38・・・・・香り搬送管
39・・・・・電磁駆動機構
40・・・・・電磁石
41・・・・・磁性体管
43・・・・・排気管
45・・・・・メッシュ機構(電磁駆動機構取り付け部)
46・・・・・空気収集機構
47・・・・・羽車(ファン)
48・・・・・排気装置
49・・・・・減圧手段
50・・・・・瞬間気圧発生機構
51・・・・・圧縮板
52・・・・・電磁石の芯
53・・・・・電磁石
54・・・・・蛇腹機構
55・・・・・サーボモータ
56・・・・・リンク機構
57・・・・・柱
58、59・・オブジェクトと観察者を結ぶ直線
60、60−1、60−2・・音響提示装置(超音波スピーカ)
61・・・・・音響提示装置(小型指向性スピーカ)
62・・・・・回転制御機構
63・・・・・球形集積スピーカ
64・・・・・小型スピーカ
65、65−1、65−2・・気体排出装置
66・・・・・指向性マイクロホン
67、68・・通信装置
69・・・・・スリット
70・・・・・ステレオ画像計測装置
71・・・・・特徴点抽出装置
72・・・・・カメラ
73・・・・・撮像素子(CCD、CMOSなど)
74・・・・・カメラレンズ
74a・・・・ピンホールレンズ
74b・・・・基板12Dに設けたカメラレンズ
75・・・・・筒
76・・・・・近赤外投光装置
77・・・・・近赤外発光素子
78・・・・・駆動回路(配線)
79・・・・・観察用カメラ
81・・・・・香料容器
82・・・・・立体視用眼鏡(液晶シャッタ眼鏡、又は、偏光眼鏡)
83・・・・・再帰性反射材
84・・・・・カメラ
85・・・・・モータ
86・・・・・表側基板支持部
87・・・・・空気槽
88・・・・・光拡散材
89・・・・・気流スイッチ
90・・・・・多孔質素材の芯
91、92・・圧電振動子
93・・・・・霧化ヘッド
94・・・・・小さな液体容器
95・・・・・微小ノズル
96・・・・・圧電振動子の保持機構
97・・・・・送風機
98・・・・・穴
99・・・・・表示素子駆動回路、又は、映像制御装置
Air・・・・空気
Aki、Yoshi・・・携帯端末を持った通行人
a、b、c、d、e・・香料
CN・・・・・コネクタ
Cooler・冷却器
Dis・・・・表示素子間距離
DEN・・・・電子放出部
DT・・・・・指向性信号発生装置
E・・・・・・電源
EL(IR)・有機EL、又は、OLED(近赤外)
EL(R)・・有機EL、又は、OLED(赤色)
EL(G)・・有機EL、又は、OLED(緑色)
EL(B)・・有機EL、又は、OLED(青色)
End・・・・管の末端部
Frg・・・・香料含有気体(香り)
F1、F2・・気流
Gaz1、Gaz2・・視線
GD・・・・・接地
HT、Heater・・・電熱器
Hol1、Hol2、Hol3・・穴
Ins・・・・差込口
Img・・・・画像(映像)
ImgSD・・影
K1、K2・・圧縮板動作モード
KEI・・・・蛍光体
Kaori・・香り発生装置
Light、LG1〜LG6・・光
LC・・・・・液晶表示素子
LGR・・・・参照光
LGA・・・・撮影光
ma・・・・・香料aを含有する霧
mes・・・・気流通過素材
mis・・・・霧
Mist・・・霧発生装置
Move・・・圧縮板の動作
Obj・・・・オブジェクト(バーチャル物体)
P1、P2、P3、P4・・観察者
Piezo・・圧電素子
Pix・・・・画素
Laser・・レーザ描画装置
Ref・・・・凹面鏡
Road・・・通路
SG1・・・・受信機
SG2・・・・情報処理装置
SL・・・・・密閉部
Sm・・・・・香り放出装置
Wd・・・・・送風器
Sd・・・・・スピーカー
SWH、SWL・・スイッチ
TFT・・・・薄膜トランジスタを用いた駆動回路
Tube・・・管
Ue・・・・・携帯端末
Wa・・・・・香料aを含有する液体
Wb・・・・・香料bを含有する液体
YAS・・・・開口率;砲筒の内周面積に対して実際に気体が通過する面積の割合
本発明の実施態様ついて具体的に説明する。
図1は、本発明の第1の実施例で、香り提示機能付き表示装置である。同図(A)は、装置の正面図で表示画面、(B)は、同装置の縦断面図である。01は香りを放出する気体放出装置、10はボード状の画面である。装置構成の詳細について説明する。
11は表示素子で画素(Pix)を構成する。表示素子としては、LED、有機EL素子(OLED)、プラズマ放電管、小型CRT、液晶などが利用できる。12は11を実装するボード状基板である。12の内部には11を駆動するための回路、配線が施されている。
11は当該駆動回路に接続されている。当該12は、プラスチック(成型樹脂)、ガラス、カーボン素材、FRP、軽金属、木材、又は、これらの組み合わせで構成できる。薄型が望ましい。
13は11の駆動制御装置である。当該装置によってマトリックス状に配置された表示素子11の光量を調整し、画面10に映像を表示する。ボード状基板12を複数並べることによって大画面表示装置を構成できる。
02は、基板12において表示素子11の間に設けられた穴である。当該穴に香り、又は、皮膚触覚を発生させる気体、又は、音波を通過させる。また、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)を検出するための参照光を通過させる。当該穴は、画面側(左側)が小さく、裏側(右側)が大きくなるように構成している。当該穴02は、気体、音波等の感覚刺激媒体、又は、参照光のガイドとして作用する。02は、所定の範囲(開口部05)に密集して設けられ、当該開口部に基板12の裏側(右側)から気圧が加えられるように構成される。
穴02には、香り放出管(02a、02b・・)が挿入されている。この場合、穴の機能は当該管によって代替されるので、各管の後部に気圧を加える手段07を設けている。07の詳細は後述する。香り放出管(02a、02b・・)の長さは、画面側の穴径の2倍以上となるように構成される。ここで、05の開口率YASを各穴の開口面積の和(ΣOpen02i)を05の面積Area05で除した数値として定義すると、YASが10%以上で、05から出る気体は所定の方向に整流される。また、YASを20%以上に設定すると、05は気体を固まりとして放出するためのバーチャル砲筒として作用する。詳細は後述する。
図1において、香り放出管02i(i=a〜e)を05の中心に向かって、傾斜を持たせているのは、開口率YASを上げるためと、放出される気体の中心部の密度を上げ、効率的に渦輪を生成させるためである。外側の02iの傾斜角度は、同図では20度程度であるが、0度(中心部の02iの軸方向に対して並行)から60度程度の範囲が望ましい。
本発明では、画面に設ける穴02の大きさが重要である。視距離、画面の大きさによって、様々な穴の大きさが可能であるが、標準的な視力の人にとって目立たない大きさにする必要がある。このためには小さい方が望ましいが、小さすぎると空気などの通過特性が悪くなる、また、穴に異物が入った場合に除去が困難である。
従って、目立たず、気体や音波などの感覚刺激媒体を効率よく通過させ、メンテナンスが容易な大きさにする必要がある。これらの条件を満たす穴径は、0.1mm以上で、かつ、最短視距離において視角0.5度以下、又は、表示素子(11;画素)の大きさの5倍以下が適用できる。最大穴径は、表示装置の大きさによって決めることができる。大型表示装置では、穴径を20mm以上にできる場合もある。最短視距離の定義、及び、当該穴径の理由については、図17を用い後に詳細に述べる。
次に、開口部05の複数の穴02に香り付き気体を同時に通過させ、香りを固まりとして放出する方法について説明する。36Aは、香料を外部から香り放出管(02a、02b・・)に供給する香り供給部である。
図2は、36Aの拡大図で、香り供給動作を説明している。図2(A)は、香り放出管37を気圧発生手段07に接続する前の状態を示す。37の管壁には、香料を外部から取り込むための穴Hol1が設けられ、当該穴と香り発生装置Kaoriとの間は香り搬送管38で接続されている。a、b、c、d、eは各々の香料を示す。33は管型の気流制御板で、管壁には穴Hol2を設けてあり、37の内側を左右にスライドさせることができる。33は磁性体で構成され、通常はバネ35によって左側に付勢されている。この状態では、Hol1とHol2は位置がずれており、香りは香り放出管37内に供給されない。
07の左側には、香り放出管37を接続する機構、及び、33を動作させる電磁駆動機構39が設けられている。46は空気収集機構である。07が駆動されると空気Airは46で集められ37内を通過し放出される。41は磁性体材質の管で、37の右端部Endに差し込まれる。図2(B)は37と41を連結させた状態を示す。40は、41の周囲に設けられた筒型の電磁石である。40に通電すると41内に磁束が生じ、33は右側に引き寄せられる。この状態を図2(C)に示す。この状態では、前記Hol1とHol2の穴は連結され、香りFrgは香り放出管37内に供給される。40を高速にON、OFFすることで、37への香り供給量を制御できる。後に、図4で詳細に述べる。
図1(B)において、33が、02a、02c、2eのような状態にあると、Hol1とHol2は連結されているので、香料は2つの穴を通過し管内に取り込まれる。一点鎖線Frgで示している。一方、33が、02b、02dのような状態にあると、Hol1とHol2は連結されず、香料は管内に供給されない。14は40の駆動制御装置で、香料の供給を制御する機能を有する。同図では、14は02eの40にのみ接続されているが、他の02iにも接続されているのは当然である。
08は空気槽、50は電磁式の瞬間気圧発生機構である。50は、圧縮板51と、蛇腹式の圧縮板移動機構54と、電磁石53と、駆動芯52から構成される。51と52は連結されており、53に通電すると、52および51は、矢印Moveに示すように左右に動作する。16は53の駆動制御装置で、空気槽08に加える気圧を制御する機能を有する。
図1(D)は、50の代わりとなるリンク機構を用いた瞬間気圧発生機構である。同図において、55はサーボモータ、56は圧縮板51を作動するリンク機構である。サーボモータは、回転角と回転角速度を制御できる。
図1(C)は、圧縮板51の2種類の動作を示す。縦軸が51の動き、横軸は時間である。K1の動作モードは、51が、急速に左側に移動し、短時間その状態を保持し、ゆっくりと右側に戻る場合を示す。図1(B)において、51の急速な立ち上がり(左移動)によって、08内の気圧は瞬間的に高まり、空気Airは一点鎖線で示すように香り放出管(02a、02b・・)に送られる。この際、02a、02c、02eの管には香りが供給されているので、バーチャル砲筒05からは、香料a、c、eが混ざった気体が放出される。
ここで、複数の香り放出管は密接して設けられているので、各管から放出される気体は相互に干渉しあい、気体はあたかも中空の筒から出るような振る舞いになる。つまり、バーチャル砲筒05から放出される気体は、筒の周囲に沿って渦を生じ筒の形の渦輪(気体の固まり)となって砲筒前方(同図左側)に飛行する。特に、前記YASを20%以上にすると、渦輪を生じやすい。渦輪は、図4<3>に示す方向に回転しながら飛行する。詳細は後述する。
K1の動作モードの特徴を補足する。従来の空気砲では、電磁石を用いて圧縮板をパルス駆動する方法が用いられるが、この方法では圧縮板は減衰振動しやすい。当該振動によって、気体が繰り返し圧縮されると気流は乱れ、美しい渦輪が生じ難い。
K1の動作モードは、立ち上がりが高速で、立下りが低速の非対称1往復動作であり、振動しないので、従来のような気体の乱れは生じにくい。美しい渦輪が生成される。また、気体を真っ直ぐ遠くに飛行させることができる。
また、砲筒を構成する各管には適度な空気抵抗があるため、前記非対称パルス駆動を用いると、気体放出後に管内に残留する香料は、管から出ずに管の中に留まり易い。つまり、空気槽08内に複数の香りが逆流して混ざると言った不都合が生じにくい。従って、繰り返して香りを放出させる場合でも、クリアな香りを提示できる。
圧縮板の動作速度、又は、動作幅によって、気体の固まりの放出距離を制御できる。後述する利用者の位置検出情報に基づいて適切に香りを提示できる。
図1(C)のK2の動作モードは、圧縮板51を左に押し出し、香りを砲筒から出した直後、急速に引き戻す動作(51を右に移動)を示す。この動作モードでは、砲筒の中心部の気体の動きが切り替わり、急速に右に移動するため、渦輪は、図4<3>に示す回転方向とは逆の方向(気流は外側から内側に向かう)に回転しながら渦輪全体は砲筒前方(同図左側)に飛行する。制御は複雑であるが、気体の残留帯(残香)が生じ難い利点がある。
以上、バーチャル砲筒05から、香りを固まりとして放出する場合を述べたが、暖かい、又は、冷たい空気、霧、煙、医薬品含有気体などの固まりを放出してもよい。香りの固まりは嗅覚刺激を、空気の固まりは皮膚触覚刺激を与えることができる。
図1において、前記嗅覚刺激、又は、触覚刺激手段は、画面10の映像と連動するように制御できる。例えば、画面に果物の映像を表示し、当該果物が表示されている画面の内側から当該果物の香りを提示すると臨場感は向上する。前記香り供給部36Aは、香り放出管に供給する香りを微量に制御できるため、香り放出装置01は、極めて高速に香りの種類を切り替えて放出できる。従って、様々な香り発生オブジェクト(花など)が次々と表示される場合でも、当該場面に適した香りを適切に提示できる。
また、気体放出速度を上げ、皮膚に衝撃力が生じるように放出する場合において、気体の玉を連続して放出する、又は、揺らぎを付けて放出すると、自然の風、乗り物の窓から顔を出している際の風などを表現できる。また、霧を温め、硫黄の匂いを加えて放出すると、温泉地を旅行しているような雰囲気を演出できる。また、霧を冷やして放出すると、吹雪の中を歩いているような雰囲気を演出できる。
図3は、図1の36Aの代りに使用できる香り供給部36Bである。香り放出管37には、香り搬送管38を接続するための穴Hol1と、気体を取り込むための穴Hol3が設けられている。Hol3は、同図では2箇所のみ示しているが、管壁の周囲に複数設けられる。34は、管型の気流制御板である。管壁には前記37の穴Hol3に対抗できるように穴Hol2を設けてある。また、管の右端は閉じている。当該34は、37の内側を左右にスライドさせることができ、材質は磁性体で構成される。
37は、気圧発生手段07の左側に取り付けられる。Insは差込口でEndと勘合する。46は空気収集機構、40は気流制御板34を駆動する電磁石である。45は40を保持するメッシュ機構で、空気を通過させることができる。
図3(A)は、香り放出管37と気圧発生手段07とが切り離された状態、図3(B)は、37を空気槽08に取り付けた状態を示す。図3(B)において、Hol1とHol2は位置がずれているので、香りは37内には供給されない。ここで、40を動作し気流制御板34を左側に移動すると、図3(C)に示すように、Hol1とHol2は連結され、香りは一点鎖線Frgに示すように37内に供給される。
次に、40に通電する電流を反転し逆方向の磁界を発生させ、34を右側に移動すると、図3(D)に示すように、Hol3とHol2は連結される。ここで、07を動作すると、空気Airはメッシュ機構45を通過し、一点鎖線のように香り放出管37に送られる。前記37に供給された香りFrgは、当該空気Airと共に37を通過し、前方に押し出される。Kaoriから37に供給される香りは、霧でもよい。図3(C)(D)において、maは、香料aを含む霧を示している。
図3では、香り放出管37に空気を通過させる直前に香りを供給するため、複数の香りを高速に切り替えて放出する場合でも、香りが混ざることが少ない。また、香りが空気槽08に逆流することもないので、メンテナンス性が良い。
図4は、本発明における渦輪発生の原理を更に詳細に説明する図である。図4(A)は、図1(B)において、気体放出管02iを並行にし、瞬間気圧発生機構09にバイモルフ型圧電素子20を用いた場合を示している。当然、電磁駆動機構を用いてもよい。
20によって空気槽08内の気体が瞬間的に圧縮されると、バーチャル砲筒05から出た気体は、飛び出した瞬間、<1>に示すような速度分布VEになる。矢印は速度を示し、中心部が早く、周辺部が遅いことを示している。これは、管02iが後述するように所定の密度である場合、管から放出される気体が相互に干渉するためである。
飛び出した気体の固まりの平均速度を基準に砲筒周辺の気体の相対速度RVEを示すと<2>のようになる。白抜き矢印は気体の固まりの速度を示している。同図から分かるように、固まりの中には左側に進もうとする気体と、右側に進もうとする気体があるため渦を形成し、これがバーチャル砲筒05の周囲に沿って発生するため<3>に示すような渦輪を形成する。F1は05の中心部の気体の流れ、F2は05の周辺部の気体の流れを示している。この例では、内側から外側へ気流が生じ渦となる。
05内の管02iを細くすることによって、極めて多くの香りや化学物質を混入して放出できる。例えば、3mm程度の径の管を表示素子の間に設け、70mm程度の径のバーチャル砲筒05を構成した場合、50種類以上の香料を用いることができる。これらの香りを高速に切り替えて提示する、又は、砲筒から複数の香りを放出し、渦輪の中で混ざるようにすることで、極めて多様な香りを提示できる。
図4(B)は、前記香り発生装置Kaoriの具体例である。81は香料容器、Waは香料aを含む液体、Wbは香料bを含む液体、Tubeは気体搬送管である。動作を説明する。同図左側から空気ポンプなどにより空気を空気槽87に送り圧縮して溜めておく。36Aa、36Abは、図2に示した香り供給部である。気流制御板33を高速に左右に動作させることにより、香り放出管02i(i=1,2)に供給する単位時間当たりの流量を制御できる。空気は、81a、81b内を通過することにより各香りを含み02iに供給され05より放出される。02iに供給される香りは混合比1%程度の精度で定量できる。
図4(C)は、香り発生装置Kaoriの他の構成である。香り放出管02iには、香り搬送管38のみを設け、香り供給部は外部に設けている。このような構成によって、香り放出管を集積できるので、気体の固まりを放出しやすいバーチャル砲筒が実現できる。
動作を説明する。空気槽87に溜められた圧縮空気は、Tubeによって気流スイッチ89の入力部に送られる。89の出力部はTube1により香料容器81に接続されている。89は、通常、遮断状態(OFF)にあり、必要に応じて電磁駆動機構によって動作し(ON)、Tube1に接続される。単位時間当たり所定回数のパルス動作ができる。同図では、89(1)は、ON状態でTube1に空気を送る状態を示している。当該空気は81aで香りを含み02aに流入する。89(2)は、OFF状態にある。89の動作回数を制御することにより、02iに供給する香りを定量できる。例えば、89(1)を毎秒5回動作し、89(2)を1回動作させれば、香料aとbの混合比が5対1の気体を放出できる。
図5は、気体放出管02iの密度と気体整流作用の関係を説明する図である。従来の空気砲は、中空の砲筒を用いている。常識的には、砲筒に気流を遮る物体を挿入した場合には、渦輪は生じ難いと考えられるため、中空以外の渦輪生成条件は求められていない。
図5(B)は、02iの密度を疎にし、YASを小さくした場合である。管から出る気体は相互に干渉することができず整流されない。このため、渦輪は生成されず、気体を遠くまで飛行させることはできない。気体は短い距離で拡散する。
図5(A)は、本発明の典型例で、図4(A)と同様な構成である。管02iを密集させ、当該管の穴に瞬間的に気圧を発生させた場合である。管から出る気体は相互に干渉し渦輪04が発生する。
このように、渦輪生成には、穴02の密度が重要なことが分かる。穴02の直径をバーチャル砲筒05の直径の1/100以上から1/3以下の範囲で、かつ、穴(管)の長さを、砲筒の直径の1/10以上から5倍以下のもの用い、当該管を少なくとも筒の内周に沿って、3本以上配置し、砲筒の内周面積(Area05)に対する穴の開口面積の合計(Σ(Open02i))の割合(開口率;YAS)が20%以上になるように構成すると、各管から放出される気体は、相互に干渉して、砲筒先端において渦輪を生成しやすい。
図5(D)は、ボードに多数の穴を設けボードの裏側に直径5cm程度の砲筒をもつ空気砲を密着させ、ボードの表側をバーチャル砲筒として気体放出実験を行った結果である。当該バーチャル砲筒の開口率YASが20%を超えると渦輪の生成率は顕著に高くなる。
バーチャル砲筒05の直径を1cm〜5cmとし開口率を高くすると、気体の固まりは数m飛行する。また、05の直径が10cm以上の大きな砲筒を使用した場合、5mを超えて飛行させることができる。
図5(C)は、05の面積を大きくし、送風機97を用い画面から連続に気流を放出する装置である。この場合も穴02が密集していると、気体は整流されて砲筒05の中心部は一様な圧力になる。同図破線の枠の一点鎖線は気流を示し、管を密集させることで、各管から放出される気体は広がることなく前進する様子を模式的に示している。砲筒の中心部では、横方向(砲筒軸と直行する方向)の速度成分は生じにくく、縦方向(砲筒軸方向)の速度成分が大きくなる。大きな砲筒を用いると、中心部の空気の流れは一方向に整えられる。当該装置は、画面の広い範囲から観察者に気流を当てることができるので、例えば、風が皮膚に当る触覚を再現する場合などに適している。整流された気体を放出するためには、YASは10%以上が望ましい。
図6は、本発明の第2の実施例で、香り提示機能付き表示装置の断面図である。画面10は図1と同様である。表示素子11の間に穴02が設けられる。気流放出装置01は、空気砲の原理を利用しており、画面10の裏側に密着するように実装する。06は砲筒で、筒の腹部から先端部にかけて筒断面積が小さくなるものを用いている。06の中には、複数の香り放出管02i(i=a,b)が砲筒の開口部周辺に設けられている。同図では2本のみ示しているが、数10本設けることができる。香り放出管には、香り供給部36Dが設けられ、様々な香りが供給される。07は、気圧発生手段で図4(A)と同様である。また、図1の気圧発生手段を用いてもよい。
動作を説明する。香り放出管02iに香りを供給した状態で、07を動作すると、砲筒06内の空気は圧縮され、同図一点鎖線のような気流が発生する。即ち、06内、及び、02i内を空気Airが通過する。砲筒は先端部が細いので、気流は先端に進むほど速くなる。画面10には穴が複数設けられバーチャル砲筒05を形成しているので、05より放出された気体は渦輪を形成する。02iから放出される気体は香りFrgを含み、渦輪の中で混合される。
香り放出管02iの末端部には、空気を当該管内に取り込むための空気収集機構46が設けられている。46は円錐形の筒である。当該筒径が小さいと圧力が不足し02i内の気流は弱く香りを搬送し難い。一方、大きくすると02i内の圧力が上昇するため、気流が速くなる。速すぎると渦輪の形成が難しい。そこで、香りが効率よく搬送され、渦輪を形成するように錐形筒46を設計する。
次に、図6(A)において、香り供給部36Dについて説明する。香料容器81の香料含有液体Wbは、多孔質素材の芯90の毛細管現象によって、02bの管壁に設けた穴まで搬送される。91は小型の圧電振動子で、保持機構96によって管壁に固定されている。91を、例えば1MHz以上の高周波で動作させると、振動によって液体の表面張力が壊され、02b内に香料含有霧misが発生する。霧の粒径は1〜数ミクロンなので、画面の穴を自由に通過する。なお、高周波で動作させるほど霧の粒径が小さくなるため、2MHz以上で動作させることが望ましい。
当該霧化機構は小型に製造できるが、画面の穴径02に比べると大きいため、同図のように画面ら離れた02bの太い筒部に設けることが望ましい。本発明では、砲筒06の腹部を太くしているため、筒内に設けることができる。つまり、砲筒06の腹部が太く先端に向かって細くなる構造は、気流を速めて渦輪を形成しやすくする目的と、香料供給部を実装しやすくする目的がある。
なお、画面が大型で、大きな穴が設けることが可能な場合は、画面裏側に直接霧化機構を取り付け、当該霧化機構を囲むように砲筒06を設けてもよい。
図6(B)は、圧電振動子91を管02iの軸方向に対して傾けて実装し、霧misを管内に供給し易くした霧化機構である。図6(C)は、凹面構造の圧電振動子92を用いた霧化機構である。超音波が凹面振動子の焦点に向かって集束するため、霧化効率がよい。図6(D)は、圧電駆動機構(ピエゾ素子)を用いた霧化機構である。93は霧化ヘッド(断面)で、02iの管壁に設けられている。94は小さな液体容器でピエゾ素子Piezoが設けられている。Piezoは、電圧を加えると当該液体容器の容積が小さくなるように変形するため、当該圧力Pressで容器に設けた微小ノズル95から液体微粒子(霧)が放出される。
図6(A)のMist、Heater、Coolerは図7と同様なので後述する。
図7は、本発明の第3の実施例で、香り提示機能付き表示装置である。図1の実施例と異なる点を中心に説明する。10はボード状画面、99は映像制御装置である。01は気体放出装置で、香り放出管02a、02bと空気放出管02Sを交互に配置しバーチャル砲筒05としている。02iは、02a、02b、02Sを含めた全ての気体放出管を示す。
香り放出管には香り供給部30が必要なため管の径は太くなりやすい。図1に示したように、気体放出管02iを香り放出管のみで構成すると、30のために管同士を密着させにくい。従って、砲筒先端の内周面積(Area05)に対する管の合計開口面積(Σ(Open02i))の割合YASを大きくすることに限界がある。
図7(A)では、香り放出管02a、02bと空気放出管02Sを交互に配置するため、気体放出管の密度を上げることができる。つまり、香り供給部30同士の間に空気放出管02Sを設けることで、管の合計開口面積が増えるためYASを大きくできる。YASは容易に20%以上にできる。YASが大きくなると、渦輪を生成しやすく、香りの固まりを安定に遠くまで飛行させることができる。
図7(B)は、気体放出装置01の縦断面図である。02bは香り放出管で、1本のみ示しているが、他の香り放出管も同様である。30は香り供給部、07は気圧発生手段である。
07の構成について説明する。08は空気槽、09は瞬間気圧発生機構である。41は、02bの末端部Endが差し込まれる口で、円筒型の磁性体で構成されている。39i(i=a,b,c,d)は、41と円筒形の電磁石40で構成される電磁駆動機構で、気流制御板33を同図右側に駆動する。14は、39iの駆動制御装置で、香り放出管02i(i=a,b,c,d)への香料供給を制御する。同図では、14は39dのみに接続されているが、39a、39b、39cにも当然接続される。
瞬間気圧発生機構09は、バイモルフ型圧電素子20で構成される。21は金属板、22は圧電板である。16は電圧制御装置で、22への印加電圧を制御する。22に電圧を印加すると、22は当該印加電圧の極性によって板面方向に伸縮する。22が縮んだ状態では、20は同図破線のように内側に湾曲し、空気槽08内の気体を圧縮する。08内の空気は、香り放出管02bに送出される。一方、22が伸びた状態では、20は外側に湾曲し08内の気圧を下げ、空気を取り込む。このように、16によって、空気槽08内の気圧を制御できる。なお、瞬間気圧発生機構09として、図1(A)に示す電磁式機構、又は、図1(D)に示すサーボモータ式機構を用いることができる。
図7(B)において、香り放出管02bに香りを供給する30の構成について説明する。32は02bから続く管路の一部で、管壁に多数の穴Hol1を設けてある。31は香料蓄積機構で、網目構造素材、多孔質素材などを使用できる。当該機構に液体香料、ジェル香料などを蓄積できる。bは香料である。液体は毛細管現象によって当該微細構造の内部に保持される。前記穴付きの管路32は香料蓄積機構31を保持するカバー板の役割を果たす。31の香料は気化し、穴Hol1から管路02bに供給される。
香料蓄積機構31と穴付き管路32については、本発明者らによる特開2004−159875の構造を使用することができる。また、31として、ゲル化香料、固体香料を用いることもできる。この場合は、香料が漏れることはないので、当該香料を円筒型に加工して実装できる。
更に、香料蓄積機構31として、香料マイクロカプセル素材を利用できる。香料マイクロカプセルとは、1ミクロン〜100ミクロン径程度のカプセルの中に香料を閉じ込めたものである。カプセル膜としては、香料成分の種類により異なるが、ゼラチン、ポリビニルアルコール、エチレンセルロース、カルボキシメチルセルロース、尿素樹脂、メラニン樹脂などのカプセル化できる材料であれば利用できる。
感熱式の膜を使うと、加熱で膜が破壊され香りが出るように構成できる。当該マイクロカプセルを紫外線硬化式のインクに含有させ、当該インクを筒状の紙、布、セラミック、金属、成型樹脂などに塗る。当該香料マイクロカプセル含有インクが塗られた筒を31として利用できる。つまり、当該筒を加熱することで、香料をカプセルから流出させ、気化させて02b内に供給できる。なお、香料マイクロカプセルを破壊して香料を流出させる手段として、物理的な圧力を加える方法も利用できる。
HTは電熱器、15はHTを制御する装置で、香料の気化を加速制御できる。CNは、HTと15を接続するコネクタである。同図では、15は39dのCNにのみ接続されているが、当然、39a、39b、39cのCNにも接続される。HTを動作し31を加熱すると、香料の気化が促進され多くの香りが管路に供給される。
33は、32の香り供給穴Hol1を開閉するための気流制御板で、32と相似形の円筒磁性体である。33には、32の穴Hol1と対向するように、空気穴Hol2が設けられている。33はバネ35によって、通常同図左側に付勢されている。この状態では、Hol1とHol2の位置はずれており、穴は閉じている。従って、香りは管内に供給されない。
02bのEndを41に挿入することによって、気流制御板33は、39bに連結され動作可能になる。電磁石40に通電すると、磁束は41の中を通り33に至る。33がわずかに右側に引き寄せられると、Hol1とHol2は対向し気体が通過できる状態になる。31の中で気化した香りは、当該穴を通過して香り放出管02b内に供給される。
香り放出管02bと香り供給部30は、気圧発生手段07から取り外しが可能なので、メンテナンスが容易である。また、香料は1つの管に1種類ずつ蓄積され、気化香料は当該管の中のみを通過するので、ある管の香料が他の管を汚染することは少ない。長期間使用しても、汚れは限定的なので、メンテナンスは容易である。装置内部で香料が混合することは少ないため、香りの切り替えは明確である。細い香り放出管を集積して使用するため、多くの香りを高速に切り替えることができ、香料を調合して放出することもできる。
複数の香りを調合して放出する場合において、従来の中空砲筒を用いる場合は、砲筒内で香料を混ぜて放出するため、砲筒が汚染される問題があったが、本発明では、複数の香料が、砲筒を離れた空中(渦輪の中)で混ざるので、砲筒内を汚染すると言った問題はない。
次に、01の動作について説明する。香り放出管02bの香料蓄積機構31には所定の香料が蓄積されている。39bによって、33を右側にスライドさせ香りを管路02bに供給した後、07を圧縮状態にする。空気Airは02bに送出され、02bの先端からは香りが放出される。他の管についても同様である。
ここで重要な点は、02i(i=a,b,c,d)には、39iの動作有無によって、香りを放出する管と空気のみを放出する管があるが、全ての管から同じように気体が放出されることである。つまり、香りを放出する場合、しない場合、香りの種類などによって、放出される気体の量が変化することはない。開口率は常に高く、安定して渦輪を作ることができる。
図7(B)において、空気槽08に霧を入れて放出してもよい。Mistは霧発生装置で08に接続できる。超音波式霧発生装置、又は、静電式霧発生装置などが使用できる。霧を発生させる液体を予め温めておけば、暖かい霧が香りと共に放出される。低温の液体を使用すれば、冷たい霧が香りと共に放出される。霧の量、液体の温度制御、風圧制御などによって、利用者に様々な触覚を提示できる。
超音波式霧発生装置を用いた場合、振動数を高くすることで極めて微細な粒子を作ることができる。霧の量、粒子の大きさ制御で湿度の調節が可能である。因みに、圧電振動子を1〜2MHz程度で駆動すると1ミクロン径程度の粒子が得られる。この程度の大きさになると、白い色に見えるが強い湿気を感じることはなく、心地よい刺激がある。更に粒子径を小さくし、視認できなくすることもできる。
これを映像と連動して用いることで、高い臨場感を演出できる。例えば、高原の風景を映像で提示し、画面の中から利用者の顔に向けて、爽やかな香りがする冷たい霧を放出すると、高原の中をそよ風に吹かれて歩いているような雰囲気が得られる。癒しを演出するシステムとして利用できる。
また、図7(B)において、霧発生装置で生成した霧は、電熱器(Heater)で加熱する、又は、冷却器(Cooler)で冷却してもよい。同図では、制御手段を省略しているが、映像制御装置99、香料供給制御装置14、気圧制御装置16、霧発生装置Mist、霧の加熱・冷却装置などが連動するように制御できるのは当然である。
図8は、本発明の第4の実施例で排気機能付き表示装置である。同図(A)は正面図、(B)は縦断面図である。画面10の表示素子11の間には空気穴02が設けられ、当該空気穴には排気装置48が設けられている。
空気穴02は、基板12の面に対して概ね垂直に設けられている。穴径は、表示面側(左側)が小さく、裏側(右側)が大きい。排気装置は、排気管43と、減圧手段49から構成される。排気管43は空気穴02に差し込むように実装される。43の右側は空気槽08に接続されている。08の中には、羽車47とモータ85を用いた気流発生装置(送風機97)が設けられている。当該羽車を回転し08内の空気を外部に送出する。空気Airは同図の一点鎖線の矢印のように流れ、画面10の前方の気体は吸い込まれ排出される。排出気体は、画面の前に別の手段で放出された香料含有気体でもよい。
43、又は、49の気流経路には、空気中の汚れを除去するフィルタを設けることができる。また、前記羽車47を逆に回転すると、画面10の前方に空気を放出できる。図5(C)の場合と同様である。
図9は、本発明の第5の実施例で、トップエミッションタイプの有機EL素子(OLED)を用いて画素を構成する感覚刺激提示機能付き表示装置である。図9(A)は、画面10と表示素子11の構成図である。12Bは穴02を設けた裏側基板、12Cは穴02を設けた透明な表側基板である。当該基板には、ガラス、樹脂などの素材が利用できる。基板の厚さは、12B、12C、共に0.7mm程度で製造できる。02(Air)は、気体が通過する穴、02(74)は、近赤外参照光の反射光が通過する穴でカメラレンズ74が設けられる。穴の径は、0.1mm〜数cmが可能で、2枚の基板を重ねた際に貫通する所定位置に予め開けておくことができる。
EL(R)、EL(G)、EL(B)は、各々、赤、緑、青の有機EL素子、TFTは、薄膜トランジスタなどで構成されるEL駆動回路である。破線で囲むEL(R、G、B)は、画面を構成する表示素子11(画素)を示している。99は11の駆動回路である。77は、近赤外発光素子で、EL素子(EL(IR))を用いて構成してもよいし、LEDなど他の素子構造でもよい。図9(B)に示すように、77は、穴02(74)の周囲に配置することができる。同図では、強い近赤外照明とするために、77に大きな面積を割り当てている。
画面10の製造方法を説明する。図9(A)において、裏側基板12Bの上にTFT(薄膜トランジスタ)駆動回路を蒸着などにより形成し、その上に発光層となる有機層(EL)を数100nmの厚さで蒸着する。透明電極は、ITO(インジウム・スズ酸化物)などをスパッタ蒸着して形成できる。有機層は、高分子系蛍光材料、又は、アルミニウム錯体などの低分子系蛍光材料などが使用できる。発光効率の高いドーパントを微量混合してもよい。素子の大きさは、一辺が0.05mm〜数mmに形成できる。
その後、基板の間に空気が入らないように真空中で張り合わされる。真空槽内で、裏側基板02Bの上に表側基板02Cを重ね、2枚の基板周囲と穴の淵を接着する。接着材SLには、紫外線硬化型樹脂などが利用できる。接着部は帯状斜線で示している。接着後、真空槽から取り出す。なお、12Bと12Cの穴部を残して全面を接着してもよい。
前記接着の効果について述べる。有機EL素子は、酸化や湿度に弱い。画面に穴を設けると水分や埃が基板の間に入り易いが、少なくとも画面(基板)の周囲、及び、穴の淵を接着することにより当該素子部は密閉状態になるため劣化は少ない。全面を接着すれば更に確実である。
前記のように、ガラス基板の厚さは、0.7mm程度の薄さで製造可能であり、素子を設けて張り合わせても2mm以下の厚さに構成できる。なお、機械的な強度に問題がある場合には、基板を厚くできるのは当然である。
図9(B)は、画面10の正面図である。図9(A)と比較して、近赤外発光素子77(EL(IR))の形状、位置、穴02の位置は変化している。画面10において、表示素子11は、1列目のように隙間なく形成されるが、77の部分、及び、穴を設ける部分のみ表示素子を間引いている。
同図では、表示素子11(EL(R、G、B))の大きさが1mmの場合を示している。最短視距離MinDを混色距離である60cm程度とすると、穴径は、視角にして0.5度以下、即ち、5.2mm以下に設定するのが望ましい。120cm以上離れた通常の視距離で観察すると、当該穴径は、0.25度以下になる。穴径の許容範囲については、図17を用いて後に詳細に述べる。本実施例では、基板に設ける穴は小さいが、適切な密度で数多く設けることによって、気流などの感覚刺激媒体はスムーズに通過する。
図9(C)は、(B)の二点鎖線での横断面図で、大画面の前で利用者(観察者)P1が映像に注目している状態を示している。画面内には、カメラ72が2箇所に設けられ、ステレオ画像計測系を構成している。カメラの周囲には、近赤外発光素子77(EL(IR))が設けられ、観察者の特徴点(眼球など)を照明している。LGRは近赤外照明光である。この反射光はカメラで撮影される。LGAはカメラレンズ74で捉えられる撮影光を示す。75はレンズの筒、73はCCD、CMOSなどの撮像素子である。カメラレンズの近傍から照明すると特徴点が効率よく撮影される。前記画像計測系は、当該特徴点を抽出しその空間位置を検出する。眼の位置(視点位置)、画面を注視している点(注視点)、鼻の位置、耳の位置などが検出できる。詳細は、図20、図21、図26で述べる。
羽車式送風機97を用いた気体放出装置01は、画面裏側に2箇所に設けられ、前記観察者P1の位置検出結果を下に、P1に近い方の01が選択され、風(Air)、香り(Frg)などがP1に向けて放出される。
図9(D)は、画面に穴を設け気体を通過させる際、本実施例のような薄型表示装置を用いる利点を説明している。画面10が薄いので穴02の奥行き長を短くできる。穴径を画面の厚さ以上に大きくし、画面の後に羽車47とモータ85を用いた気体放出装置01を設け、回転制御機構62で気体放出方向を変えると、一点鎖線で示すように、画面から放出する風Air、香りFrgの方向を様々に変化させることができる。観察者を追うように気流を提示できる。
図9(E)は、透明な表側基板12Cにレンズ19を成型したレンズ付き表側基板12Dを用いた画面である。同図の左側は12Dのみを抜き出して示す。同図の右側は、裏側基板12Bに発光体18を形成し、その上に12Dを重ねて画面10とした状態を示す。レンズ19は、発光体18の前に形成され18を拡大表示する。19kはレンズの光主放出面である。表示素子11(画素)は、18と19からなる領域である。18は、両眼立体視用とするため右眼用(EL−r(R,G,B))と左眼用(EL−l(R,G,B))の計6個のEL素子で構成されている。
時分割眼鏡を装着し、右眼用(EL−r(R,G,B))の光と左眼用(EL−l(R,G,B))の光を切り替えて表示するように制御すれば両眼立体視が可能である。
また、レンズ19を用いて、右眼用画像の光と左眼用画像の光を細いビーム状にし、左右の眼の位置に照射すれば眼鏡なし両眼立体視が可能である。後に、図20、図21で詳細に述べる。
図9(E)において、発光体18の光は、レンズ19により前方を照射し、穴02は、レンズの光主放出面19kの横に設けられるため、18の光が穴を照らすことはない。従って、観察者には、当該穴は目立ちにくい。
74bは、カメラ72のレンズで、撮影光LGAを集光して通過させる。このように、シート状基板12Dには、表示素子用レンズ19とカメラレンズ74bを一体成型することもできる。これにより薄型の画面が構成できる。
図10は、本発明の第6の実施例で、液晶素子を用いた感覚刺激媒体提示機能付表示装置である。図10(A)は、画面10の構成図である。穴02を設けた透明な裏側基板12Bの上に液晶LCを用いた表示素子11を設け、その上に穴02を設けた透明な表側基板12Cを設ける。この際、穴の淵、及び、周囲を密閉する。穴は空気Airが通過する。SLは密閉部を示す。99はLCの駆動回路である。
表示素子の製造方法は、従来の方法が適用できる。即ち、裏側モジュールとして、偏光板を接着させたガラス基板の上に透明電極(画素電極)、配向膜を設け、その上に液晶層を設け、更にその上に表側モジュールとして、配向膜、透明電極(対向電極)、カラーフィルタ、ガラス基板、偏光板を設けて構成できる。本発明では、裏側モジュールが裏側基板、表側モジュールが表側基板に対応する。
図10(B)は、画面10の上面図である。表示素子11(LC)は、電圧を制御することで、透明、又は、遮光状態を作ることができる。同図は、遮光状態の表示素子の集合によって画像Imgを生成した様子である。
図10(C)は、当該画面10を天井に用いた部屋である。太陽光を照明Lightとして利用すると、床にはImgの影パターンImgSDが現れる。また、画面には穴02が設けられているので、外気を取り入れることができる。送風機97を用いて風を提示することもできる。自然の光、風を部屋の中に取り込みながら、様々な幾何学的模様や木の葉が揺れる様子を影パターンとして床や壁に映し出すことができるので、癒し空間になる。
この応用では、利用者は画面を直視するのではなく、影を楽しむので、穴の存在は気にならない。風通しのよい大きな穴を用いることができる。また、太陽光の代わりに照明素子をLight利用し、バックライト方式にしてもよい。
図11は、本発明の第7の実施例で、画面を背面から照射する表示装置において感覚刺激媒体提示機能を付与した装置と、その効果を説明する実験結果である。図11(A)(B)は、画面10の構成図である。表側基板12Cは、シート状、又は、スクリーン部材で、表面には、写真又は絵などの画像Imgが印刷されている。12Cには、アクリル、ポリスチレン、塩化ビニル、磨りガラスなどの素材で光が通過するものが適用できる。裏側基板12Bには、12Cを照明するための照明素子11が設けられる。11には、LED、蛍光管、電球などが適用できる。
裏側基板12Bには、大きな錐形の穴02が設けられ、表側基板12Cには、小さな穴02が設けられる。両者の穴をつなぐように、又は、両者の穴の淵を密閉するように錐形の管02aが設けられる。当該管02aの中には香り供給機構36が設けられる。また、裏側基板12Bの裏側には、気体放出装置01が設けられる。図11(C)は、02aと36の構成を立体的に示している。
動作を説明する。照明素子11を動作すると、光は、図11(B)に矢印で示すように、12Cの裏側を照明する。12Cは薄いシート状で光を通過させるため、表面の画像Imgは当該光によって明るく浮かび上がる。ここで、36の香り搬送管38の先端から香りを02a内に供給し、01によって一点鎖線のように空気Airを流すと香りは12Cの穴02から放出される。図11(A)にように、Imgが森林画像の場合に、森の香りを放出すると臨場感が向上する。
次に、管02aを用いて12Cと12Bを貫く穴02の淵を密閉する構造の遮光効果について述べる。仮に02aがないと、照明素子11(LED)の光は穴02から漏れるため、穴の存在が気になり画像品質を劣化させる。本発明の管02aの設置は、バックライトを使用する場合、当該穴から光を外に漏らさないように作用する。光は表側基板12Cのみを照射し、従ってImgが浮かび上がる。穴は視認しにくく、気にならない。
02aの内部は、光吸収素材を塗布してもよい、また、02aの外側には光拡散反射材を塗布してもよい。これにより、12Cは一様に照明され画像品質が向上する。また、12Cの穴02が気になる場合には、図11(F)に示すように、当該穴の前面にメッシュ素材等の気流通過素材mesを設けてもよい。気流通過特性を損なうことなく穴を目立たなくできる。
図11(D)は、前記穴の淵を密閉することによる遮光効果を示す実験結果である。絵を描いたシートに、図11(E)に示すようなパターンで穴02を開ける。穴の開口率は約12%である。この絵にバックライトを当て、視距離5mで5名の被験者が観察してもらい、穴の存在について評価した結果を縦軸に示す。斜線の棒が穴を許容できると回答した割合である。同図の(1)は、穴を遮光しない場合(前記02aを設けない場合に相当)、(2)は穴からの光の漏れを防止した場合(前記02aを設けた場合に相当)、(3)は(2)の条件で穴を画像の空間周波数の高い領域に設けた場合、(4)は前記気流通過素材mesを穴に設けた場合である。横軸は、穴の大きさと5mの距離から見たときの当該穴の視角を示す。
(1)では穴が気になり評価が低いが、(2)(3)では評価が高いことが分かる。穴を02aで密閉し遮光する効果は明らかである。バックライト方式は、発光素子を利用する方式に比べて、穴の存在が気になりやすく厳しい条件であるが、穴を遮光し、更に穴をmesで覆った場合、十分な画像品質であることが分かる。
図11(G)は、本発明の画面構成を2箇所に用いた実施例である。10bは、図11(B)と同様な照明素子11(LED)を用いた画面である。10aは、図10(A)に示した液晶表示素子11(LC)を用いた画面である。10bの照明素子11(LED)で、10aの画像をバックライトする。なお、10bの表側基板12Cは、10aにおいては裏側基板12Bに対応する。10aに設けた穴02の淵は密閉され(SL)、10bの管02aに連結されている。照明素子11(LED)の光は、穴02には漏れず、もっぱら10aの裏側を照明する。このように、液晶表示装置においても画面に穴を設け、感覚刺激提示媒体を放出させることができる。
図12は、本発明の第8の実施例で、プロジェクタスクリーンを用いた香り提示機能付き表示装置である。同図(A)は装置構成図、(B)は縦断面図、(C)はスクリーンの正面図、(D)はスクリーンの拡大図、(E)はスクリーンの断面拡大図である。
29はプロジェクタ、28は画面に小さな穴02を多数設けたスクリーンである。当該穴を気流や音波などの感覚刺激媒体が通過する。穴の内部には光散乱反射材を塗り、所定の距離で観察した場合に穴が目立たないようにできる。また、図12(D)のように、画面に再帰性反射材83を敷き詰めてもよい。83は微小球体などで構成される。当該再帰性反射材の間に穴02を設けることができる。この構成では、プロジェクタの光は83で反射するため、83の間の穴は暗くなり目立たない。
01は気体放出装置である。01に対向する方向には、排気装置65が設けられている。図12(B)において、砲筒06の中には、多数の香り放出管02a、02bが設けられている。30は香り放出管に香りを供給する手段であり、図7(B)の30と同様の構造である。砲筒06には、送風機97を用いて空気が送られる。画面前方には、空気Airと香りFrgが放出される。05は気体が放出される範囲(バーチャル砲筒)である。YASは10%以上とする。
スクリーン28の中には、図9(C)に示したような特徴点検出用カメラを設けることができる。眼の位置を検出し、3次元世界モデルを透視投影変換しCG映像を生成してスクリーンに投影すれば運動視を実現できる。また、左右眼用映像を投影し、82に示す偏光眼鏡、又は、液晶シャッタ眼鏡などの立体視用眼鏡を装着して、当該映像を分離して各眼に提示すれば両眼立体視が実現できる。83は、眼鏡に設けた特徴点マークである。前記眼の位置検出のためには、瞳孔、角膜反射像を特徴点としてもよいし、当該特徴点マークを検出してもよい。
図12のスクリーン28は平面であるが、半球状の面でもよい。視野角を大きくできるので、高い没入感が得られる。スクリーンは、薄い板状の素材が適している。プラスチック、ガラス、FRPなどが利用できる。
また、スクリーン28は、柔軟性のあるシート状の素材でもよい。当該シートに穴を開ける際、図12(F)に示すように、穴02の周りに切れ込みStを設けることによって気流や音波などの感覚刺激媒体を効率よく通過させることができる。例えば、気体を通過させる場合、気体の圧力で穴が広がるように構成すれば、通常は小さな目立たない穴とすることができる。同図では、穴の周りの6箇所の切れ込みが裏側から表側に向かって開く。切れ込みを押し広げる方法として、音圧を利用することもできる。スクリーンの裏面に、図23で示すような超音波スピーカを配置し、当該超音波圧力で広げてもよい。
図13は、画面の中から感覚刺激媒体を提示することによる臨場感評価実験である。同図(A)は実験方法である。28は多数の微***02を設けたスクリーンで、プロジェクタによって映像を表示する。視距離は200cm、水平視野角は40度である。被験者に香り、気流、音を映像Imに連動するように提示し、映像のみ提示の場合を1点として、感覚刺激媒体提示による臨場感を5段階で相対評価させた。感覚刺激媒体提示条件は、気体放出装置01、又は、スピーカを画面から離して設ける場合(条件1)(香り;Sm1、気流;Wd1、音;Sd1)と、画面裏側に設ける場合(条件2)(香り;Sm2、気流;Wd2、音;Sd2)の2種類である。提示映像は、1分間の癒し系映像である。
図13(B)は、実験結果である。横軸の(1)は、映像のみの場合(Im)、映像に前記条件1の音を加えた場合(Im+Sd1)、映像に前記条件2の音を加えた場合(Im+Sd2)である。縦軸は評価結果あるが、(Im+Sd1)、(Im+Sd2)は、共に(Im)より評価が向上しているが、(Im+Sd2)の方がより評価が高い。つまり、画面内から音を感じる方が高評価である。
横軸の(2)は、映像Imに条件1の音を加えた場合(Im+Sd1)、これに更に条件1の香りを加えた場合(Im+Sd1+Sm1)、条件2の香りを加えた場合(Im+Sd1+Sm2)を比較した結果である。(Im+Sd1+Sm2)の評価が最も高いことが分かる。
横軸の(3)は、映像Imに条件1の音を加えた場合(Im+Sd1)、これに更に条件1の気流を加えた場合(Im+Sd1+Wd1)、条件2の気流を加えた場合(Im+Sd1+Wd2)を比較した結果である。(Im+Sd1+Wd2)の評価が最も高いことが分かる。
横軸の(4)は、映像Imに条件2の香り、気流、音を加えた場合(Im+Sm2+Wd2+Sd2)の結果である。前記(1)〜(3)のどの条件より評価が高いことが分かる。
以上の結果より、画面内から感覚刺激提示媒体を放出した方が、臨場感は向上することが明らかである。これは、あたかもオブジェクトが刺激を放出しているように感じるためである。また、コンテンツの内容理解が向上する結果も得られている。
図14は、本発明の第9の実施例で発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。同図(A)は正面図、(B)は(A)での2箇所の縦断面(二点鎖線で示す)を重ねて示した図である。図1の実施例と比べ異なる点を中心に説明する。表示素子11(画素)は、発光体18とレンズ19から構成されている。18はLED、有機EL、蛍光体、放電管などが使用できる。19は、透明樹脂、ガラスなどで構成でき、発光体18から出る光を観察者の方向に屈折させる特性を有する。
空気穴02は、11の間に多数設けられ、開口部(バーチャル砲筒05)を構成する。同図(B)に示すように、02には、香り放出管02i(i=a,b,c)が挿入され、02iの右側には、気圧発生手段07が設けられている。02iと07で香り放出装置01を構成している。香り供給部36Aは、図1、図2と同様である。開口率YASは10%以上とする。
図14(B)は、3つの香り供給部36Aが動作し、香りFrgが02iに供給され、3種類の香料含有気体が穴から放出され、画面10の前で混合されて観察者に提示される様子を示している。気圧発生手段07には、送風機97を用いている。
本実施例では、空気穴02は、レンズ19の間にあって、レンズの光主放出面19kより後方に設けられる。発光体から放出される光は、レンズ先端部から殆ど前方に照射されるため、光が穴02を照射することは少なく穴部は暗い。また、発光体はレンズにより拡大されるため、大きく知覚される。これらにより、空気穴02は殆ど知覚されない。
気流は、一点鎖線のように画面を厚さ方向に流れるため、ボード状基板12は冷却され、発光体及び駆動回路の温度は上昇しない。このため表示素子の信頼性が向上する。
図15は、本発明の第10の実施例で、発光体とレンズを用いて表示素子(画素)を構成する香り提示機能付き表示装置である。同図(A)は正面図、(B)は(A)の二点鎖線での縦断面図である。図14と比べ異なる点を説明する。(A)に示すように、表示素子11(画素)の間に設ける空気穴02をできるだけ大きくしている。同図の中心部分の空気穴には、香り放出管02aが設けられている。06は、基板12の裏側にあって、前記穴02の外周を囲むように設けた空気砲の砲筒である。
図15(B)において、02aへの香り供給部36Aは、図2と同様である。36Aは動作し香料気体Frgが02aに供給されている状態を示している。気圧発生手段07は砲筒06に接続されている。電磁駆動機構39は、空気槽08の中心位置に空気を通過させるメッシュ機構45によって保持されている。瞬間気圧発生機構09の構成と動作は、図7の場合と同様である。画面10からは渦輪が放出される。
図16は、本発明の第11の実施例で、LEDとレンズを用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。画素の間に近赤外光撮影カメラ72を設けている。
同図(A)は、画面10の正面図である。(B)は(A)の2本の2点鎖線断面を重ねて示したものである。ボード状基板12には、縦4個、横4個の表示素子11(画素;Pix)が設けられている。同図は、拡大して一部を示しているが、実際には、1枚の基板12に、縦横各々数10〜数100の画素を構成でき、当該基板を単位として縦横に並べて大型表示装置を構成できる。
表示素子11は、発光体18と、駆動回路と、18の光を集光するためのレンズ19によって構成される。18の中で、R、G、Bは、それぞれ、赤、緑、青のLEDである。LightはR、G、Bからの光線を示す。IRは、近赤外LEDで、利用者の特徴点を抽出するための参照光LGRを放出する。Refは、LEDの光をレンズの光主放出面19kに向けて反射する凹面鏡である。このように、可視発光体と近赤外発光体を1つのレンズに実装することができる。
02bはカメラ72のレンズが入った管で、02bの周囲には、4つのLED(IR、R、G、B)を実装した表示素子11が4つ設けられている。更に多くの表示素子にIRを実装してもよい。IRは、カメラの撮影タイミングに合わせて間欠駆動できる。この反射光をカメラ72で捉える。LGAはカメラに捉えられる撮影光である。間欠駆動することにより、無駄な近赤外光を利用者に照射する必要がなくなるので、生理的、心理的影響が少ない。撮影光学系には、近赤外バンドパスフィルタを設けることができる。これによりR、G、Bの反射光は遮断され、特徴点が効率よく抽出できる。
本発明において、レンズ先端(光主放出面19k)は必ずしも球状でなくてもよい。図16(D)は、円柱型レンズ19を用いた表示素子である。19kは円形平面である。発光体18の周りには、光拡散材88が設けられている。18の光は凹面鏡Refで反射し同図左側に進行するが、88により拡散し円柱の先端面19kが光る。
何れの場合も、発光体18はレンズによって拡大されるため、18は光主放出面19kより十分小さい領域とすることができる。つまり、18は基板に離散的に配置され、穴02は、当該発光体18から離して設けることができる。従って、穴の形成、及び、穴の淵の密閉に十分な領域を確保できるため、設計は容易である。
図16(B)(C)には、LED表示素子11の直径が2.1mmの場合を示している。この程度の大きさの表示素子の場合、3色の混色距離は120cm程度にできる。当該表示素子をアレイ状にして画面を構成した場合、表示素子間距離は0.5度以下、従って、穴径は10mm以下が適当である。詳細は、図17で述べる。
なお、LED表示素子を用いる場合、製造性等を考慮すると、素子の直径は、1mm〜10mm程度、表示素子間距離Disは、1.5mm〜20mm程度、穴02の直径は、1mm〜20mm程度が実用的である。
図16において、カメラ72の周辺の穴02は、空気Air、又は、香りFrgを放出するために利用できる。02a、02cは、気体放出装置を接続するための管である。気体は、一点鎖線のように放出される。
前記穴02bを通過する参照光として近赤外光を示したが、それ以外の参照光として、可視光を用いることもできる。また、赤外線(熱線)を用いることもできる。この場合には、カメラは熱画像を捉えるものを用いる。また、穴には、発光素子とカメラの代わりに、超音波放出素子と超音波検出素子を設け、利用者の位置を計測してもよい。超音波を放出し、その反射波を捉え、時間差から利用者までの距離を計測できる。画面内に複数セットを組み込めば三角測量の原理で位置が検出できる。
図17は、画面に設ける穴の許容範囲とその妥当性を示すシミュレーション評価実験である。
穴径の最小は、感覚刺激媒体が所期の目的のように通過すると共に、清掃のし易さから決めることができる。穴径が0.1mm、穴の集合の開口率を10%とすると、図17(A)に示すように、表示素子(11;画素)の隣接間隔は0.28mm程度である。横幅100cmの表示装置では、3571画素となり、明るい画面で高精細映像表示が可能である。図17(E)の(A)は、同様の精細度の表示装置を主観評価した結果であるが、映像品質は大変よい。また、ボードに同図のような穴を開け、気流の通過させるシミュレーション実験の結果、香り提示、触覚提示が可能であった。
また、穴径が小さくなると、汚れ、異物が詰まり易く清掃が難くなる。画面の厚さが数mmから1cm程度であれば、穴径が0.1mm以上で洗浄液を通過させ清掃できる。本発明では、後述のように、画面を薄型に構成できるため、小さな穴でも洗浄液が通過しやすい。洗浄液が通過しにくい程詰まった場合は、溶液をジェット噴射するなど穴に圧力を加えれば清掃できる。以上より、穴径の最小は0.1mm程度が可能である。できれば、0.5mm以上が望ましい。
穴径の最大値については、先ず、表示素子構成色(青色、緑色、赤色)が混じってほぼ単一色に見える混色距離を最短視距離MinDとして設定する。これ以下の距離では、カラーに見えないからである。標準視力は、視野角0.017度程度の隙間が知覚できる調節力であるが、混色は、表示素子(3色)の大きさが視力特性の6倍以下の視野角の際に生じやすい。そこで、最短視距離MinDは、表示素子の大きさが視角0.1度程度で観察できる距離とする。発光体がレンズで拡大される表示素子の場合は、前記表示素子の大きさは、レンズの直径としてもよい。
この最短視距離において目立たない穴径の最大を求める。図17(C)において、表示素子11の大きさは2.1mmである。これが視角0.1度になる最短視距離MinDは120cmである。なお、標準視距離は240cm程度である。当該MinDにおいて、表示素子間を広げて行き、本発明が目的とする映像(文字、絵、記号、広告、動画像(映画)など)が違和感なく表示できる素子間隔Disを求める。図17(B)(C)は、Disが視角にして0.5度の画面である。この場合、視角0.5度の穴を連続して設けることができる。MinD120cmで視野角が約50度の画面の場合、横方向画素数は100程度になる。
図17(E)の(B)は、LED表示素子を前記と同様な密度で設けた画面の映像を主観評価した結果である。本発明が目的とする前記映像を大きな違和感なく表示できる。これは、動画像の場合、人の眼は発光点を追い、動体視力は静止視力に比べて低下すること、仮現運動、運動残効果、誘導運動などの運動視効果によって、視覚心理的に情報が補間されるためである。つまり、飛び飛びの点がまとまりのある形状として知覚される視覚的体制化が起きるためである。
図17(B)のように穴を設けた場合、穴集合部の開口率(YAS)は70%以上である。複数の穴から出る気体は相互に干渉し利用者に十分な感覚刺激を与えることができる。穴の存在については、表示素子(11)に発光素子(LEDなど)を用いると、光は前方に照射されるので、その後方にある穴(02)は見え難い。特に、発光素子を設ける基板に光を吸収する黒系色を用いれば、穴の存在は、知覚の障害にはならない。
しかし、Disが0.5度以上になると、視覚的体制化が難しくなり、表現できる映像が大幅に制限される。また、穴の存在が知覚の障害になりやすい。
図17(E)の(D)は、直径2.1mmのLED表示素子を4mm間隔でアレイ状に配置した大型画面を視距離460cm、視野角50度で観察した場合の評価結果である。横方向画素数は1000であり、映画などを良い品質で楽しむことができる。この画面の場合、図17(D)に示すように、表示素子11の間に直径2.6mm程度の穴02を設けることができる。開口率YASは約33%であり、感覚刺激媒体を十分に放出できる。
以上より、画面の穴径は、0.1mm以上で、かつ、最短視距離MinDにおいて視角0.5度以下が望ましい。
図17(C)では、画素の大きさが2.1mmの場合を示したが、大画面表示装置において、画素が更に大きくなる場合には、最短視距離、又は、通常視距離も長くなるため、穴径の最大許容値は大きくなる。画素の大きさが4mm程度の場合、穴径は最大20mm程度まで大きくできる。
図18は、本発明の第12の実施例で、電子放出蛍光体を用いて表示素子(画素)を構成する感覚刺激媒体提示機能付き表示装置である。同図(A)は、画面10の正面図、及び、断面図、図(B)は構造図である。
表示素子11は、裏側基板12Bと透明表側基板12Cの間に設けられた発光体18と、12Cに設けられたレンズ19から構成される。レンズ付き表側基板を12Dで示す。18の構成について述べる。12Bには穴98が設けられ、穴の中に電子放出部DENが設けられる。12Dの裏面には蛍光体KEIが設けられる。12Bと12D(12C)は、98内を真空にするように接着される。DENから放出される電子が、赤色、緑色、青色に対応する3つの蛍光体KEIに衝突し蛍光を発する。図(A)のDENからKEIへの3本の実線矢印は電子の流れである。光Lightはレンズの光主放出面19kから放出される。
図18(C)は電子放出蛍光素子部の拡大図である。前記3色の内、1色分の構成を示している。DENは、陰極(エミッタ)とゲートから構成される。高電界を加え陰極から電子を引き出す。12Dはガラスで作られ、裏側に電子を引き寄せる陽極(アノード)と蛍光体KEIが設けられる。同図では縦方向に電子を引き出すが、別の方法として、基板に薄膜で小さな裂け目を設けエミッタ、及び、ゲートを作り電子を引き出してもよい。所謂、表面伝導エミッタ(SCE;Surface−Conduction Electron Emitter)を用いてもよい。
12D(12C)と12Bを貫くように穴02が設けられる。図(B)に示すように、02は、レンズ19の間に大きく設けられるが、発光体部18は、レンズの光主放出面19kに比べて小さいため、02は、18から距離をおいて設けられる。従って、穴を設けやすく、信頼性が高い。薄型の表示装置を構成できる。
図19は、本発明の第13の実施例で、電子看板として使用する感覚刺激媒体提示機能付き表示装置である。
画面10の中に気体放出装置01A、01Bを設け、当該画面の前を通過する人(Aki、Yoshi)に香りなどを提示し、興味をおこさせる情報提供システムである。電子広告などへの利用を目的としている。通路Roadの上方から見た様子を示す。当該01A、01Bは、図7で述べた気体放出装置01と同様である。
01Aは、様々な香り(Frg)を切り替えて香りの固まり04としてYoshiに向けて放出できる。01Bは、香りと共に冷たい霧(Cool Mist)の固まり04をAkiに向けて放出できる。
画面には、2つの気体放出装置が設けられているが、映像オブジェクトが視知覚される位置近傍の気体放出装置が選択的に駆動され、当該オブジェクトに対応する香りなどの気体が提示される。気体放出装置が実装されている画面に花などの香りを発生するオブジェクトを映像として表示できる。01を選択的に駆動することで、オブジェクトの近くから、また、利用者の近くから香りを放出できるため、違和感が少なく自然である。
また、映像、音声などで、通行人を香り放出装置01A、又は、01Bの前に誘導し、人が近づいたことを検出して当該装置を選択的に駆動してもよい。01は空気砲の原理を用いているため、利用者の鼻先に香りを提示できる。オブジェクトの実在感が高まるので、商品への理解、興味が高まる。販売促進効果がある。
Ueは、通行人が所持する携帯通信端末である。当該端末は、利用者の属性情報、位置情報、香り放出要求情報を発信できる。SG1は当該信号を受信する装置、SG2は01A、01Bを制御する装置である。SG2は、利用者から発信された情報を下に、適切な香り、又は、触覚刺激を放出するように制御できる。触覚刺激としては、前記の冷たい霧の他、暖かい空気、そよ風のような気流などが可能である。
属性情報としては、性別、年齢、職業などが含まれ、これらは利用者が予め登録しておくことができる。当該情報に連動して、画面10に映像を表示し、香りを放出できる。例えば、通行人が女性であれば、バラやユリなど花の映像を香り放出装置の前の画面に表示し、人が近づいたことを検出して、あるいは、当該花映像の前に誘導して、花の香りを放出できる。また、男性であれば、海や山の映像を表示し、マリン系や森系の香りを放出できる。発信者側から、好みの映像、香りを選択するようにしてもよい。
前記位置情報は、壁側に組み込まれた指向性信号発生装置DTから通路側に破線のように信号を発信し、Ueが当該信号を受信すると直ぐに返信する方法で入手できる。DTの信号媒体としては、赤外線、超音波、電波などを用いることができる。つまり、Ueからの確認信号を受信することによって、DTの信号範囲に人が入ったことが検出できる。
前記属性情報、位置情報については、携帯通信端末を使用する代わりに、カメラを設け、画像処理によって認識、又は、推定しても良い。カメラは、画面内、又は、通路天井に設けることができる。画面内に参照光放出装置とカメラを設けた場合、オブジェクトに向かって来る人を確実にとらえ、当該位置を高精度で検出できる。
以上、香りを放出する例を説明したが、放出する気体に混入する化学物質としては、消臭剤、医薬品、抗菌剤、殺虫剤、高濃度酸素、霧、又は、これらの組み合わせが利用できる。生活の中で必要とされる化学物質を気化して放出できる。利用者を気体放出装置の前に誘導し、映像、音声などで呼吸を指示すれば、前記化学物質を定量して投与できる。インフルエンザ用経鼻ワクチンなどの投与も可能である。通行人は少し足を止めて、画面に顔を近づけて呼吸するだけで、ワクチンが摂取できるため簡単である。大量の人に高速に薬剤を投与できる。
図20、図21は、本発明の第14の実施例で、画面内から近赤外参照光を放出し、反射光を画面内のカメラで撮影し画像処理によって利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)、又は、注視点を検出し、感覚刺激媒体を提示する表示装置、及び、運動視CG映像を提示する表示装置、及び、頭部の動きを許容して両眼立体視を可能とする表示装置である。
図21(A)は装置の上面図、図21(B)は正面図である。10は画面、12Bは裏側基板、12Cは表側基板で、基板間に発光体18がアレイ状に設けられている。12Cの上には当該発光体18を拡大するようにレンズ19がアレイ状に設けられている。18と19で表示素子11を構成する。12Dはレンズ付きの表側基板である。18には、LED、EL素子、電子放出蛍光素子、プラズマ放電素子などが利用できる。また、図16のようなレンズ付きLEDを並べて構成してもよい。78は11を駆動する回路である。
11の間には、穴02が設けられている。この構成は、図18と同様である。基板12B、12Cを貫く穴02は、レンズ19の間で、かつ、光主放出面の後方に設けられるため、当該穴には光が照射されず暗く、観察者からは殆ど知覚されない。
01は気体放出装置、07は送風機97用いた気圧発生手段、06は筒で、複数の穴02を取り囲むように12Bに密着するように設けられている。図21(B)に示すように、複数の穴02は、バーチャル砲筒05を形成する。空気Air、又は、香りFrgは、図20(A)の一点鎖線で示すように当該穴02を通過し、利用者(観察者)P1〜P4に提示される。
次に、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)の位置を検出する方法について述べる。前記穴02には、カメラレンズ74と撮像素子73とこれらを入れる筒75と駆動回路からなる小型カメラ72が設けられ、当該カメラ用穴の近傍の穴には、近赤外発光素子77と駆動回路からなる近赤外投光装置76が設けられている。
77には、高輝度LED、又は、EL素子、SED素子などが利用できる。74の光軸の回りに対称的に設けることが望ましい。図21(B)には、77を4つ示しているが、更に多く、例えば数10個設けてもよい。また、77は、カメラの撮影タイミングに合わせて間欠駆動できる。カメラ72は、近赤外バンドパスフィルタを用いることによって近赤外反射光による像のみを撮影できる。特徴点を抽出することが容易である。
カメラレンズの光軸付近から利用者の眼を照射すると、光は角膜で屈折し瞳孔から入り、網膜で集光する。この光の一部は散乱反射し、瞳孔を通過し角膜で屈折し光源の方向に戻る。つまり、再帰性反射が起きる。光源の近くにカメラがあるので瞳孔部分は明るく撮影される。LGRは近赤外照明光、LGAはカメラ72で捉えられる光を示す。
カメラレンズ74の光軸の周囲に複数の77を設けると、前記網膜反射による瞳孔像は全体が均一な明るさに撮影される。背景の明るさに比べて輝度が高いので瞳孔の抽出は容易である。瞳孔は、眼球光学系の焦点に近いので、眼の位置検出の特徴点として利用できる。
画面10には、複数のカメラを設けることができるので、各カメラ画像の中で瞳孔像の対応付けを行えば、ステレオ画像計測の手法により、カメラ座標系(計測座標系)において瞳孔の位置(眼の位置)を検出できる。本発明では、画面の様々な場所にカメラを設けることができるため、利用者が画面の前で動く場合であっても、特徴点を常に複数のカメラで捉えることができるため、高精度で検出できる。
また、カメラ72は画面の中に固定されるので、製造時にカメラ座標系(特徴点計測座標系)と画面の座標系、即ち、表示座標系との校正が可能である。特徴点計測座標系と表示座標系との相対位置関係を決定するには、例えば、本発明者らによる学術文献「伴野明、岸野文郎、小林幸雄:瞳孔の抽出処理と頭部の動きを許容する視線検出装置の試作、電子情報通信学会、信学論(D−II)、J76−D−II、3、pp.636−646(1993−03)」に記載のアルゴリズムを用いることができる。装置製造後は、座標変換パラメータを求めるためのキャリブレーションは不要、又は、大幅に簡素化される。このようにして、表示座標系において特徴点の位置を検出できる。
なお、瞳孔以外の特徴点として、角膜反射像を用いる場合も同様である。近赤外参照光によって輝点として撮影されるため、抽出が容易である。更に、再帰性反射材マークを利用することも可能である。例えば、後に図26、図27で示すように、眼鏡の淵に当該マークを設け、前記カメラで撮影する場合も同様にマークが明るく撮影されるため、抽出が容易で、眼の位置を高精度に計測できる。再帰性反射材としては屈折率が2.0程度の小型透明球体などが利用できる。
以上のように、眼の位置、又は、眼鏡の位置が表示座標系で分かれば、この位置を視点として、3次元世界モデルを透視投影変換手法によって2次元画像に高速にリアルタイムで変換し画面10に表示すれば、頭部を動かすことによって見え方が変わる運動視差映像を表示できる。
両眼の位置が分かれば、顔の3次元モデルから鼻、耳、頬などの位置を推定できる。また、鼻、耳、頬などの特徴点として再帰性反射材マークを当該部位に取り付けて、その位置を検出してもよい。また、参照光としてモアレパターンを用いて、鼻、耳、頬などの位置を検出しても良い。何れも、特徴点位置を表示座標系において直接求めることができる。
図20に示すように、気体放出装置01を画面内に実装できるため、表示座標系において01の位置は確定できる。従って、前記感覚刺激媒体提示部位の位置情報に基づいて01を制御し、香り、気流などを利用者に正確に提示できる。
次に、注視点検出方法について述べる。視線を検出するためには、眼球の位置と眼球の回転角が必要である。眼球の位置は、前記方法で検出できるが、眼球の回転角を検出するためには、眼を拡大して撮影し特徴点を効率よく抽出する必要がある。以下、その方法を示す。
図21(C)は、図21(A)の画面10の一部で、薄型画面の穴02に望遠レンズ付き小型カメラ(72Zoom)をレンズ先端部分が支点となり回転するように実装した様子である。レンズに、焦点距離の長いもの、又は、焦点距離を調節できるものを用いることによって、眼を拡大して撮影できる。レンズの回りには近赤外発光素子を設けることができる。
画面10には、標準又は広角レンズ付きカメラ72と、前記望遠レンズ付きカメラ(72Zoom)を併設できる。72を複数用いステレオ画像計測系を構成し、眼の位置を検出し、当該位置情報を用いて72Zoomの撮影方向を制御し、当該部位を拡大して撮影できる。当該像の中には、瞳孔と角膜反射像が捉えられるため、当該2つの特徴点の距離を計測し、眼球モデルを適用すると眼球回転角が検出できる。従って、視線が検出できる。視線と画面が交わる点として注視点が検出できる。
当該注視点検出アルゴリズムとして、本発明者らによる特公平03−051407に記載の方法が利用できる。当該文献では、眼の位置検出に3次元磁気センサを用い、眼球回転角の計測に特殊眼鏡を利用している。本発明では、画面の中にこれら計測系を組み込むことができるため、非装着で注視点が検出できる。利用しやすく、かつ、遥かに高精度である。
また、瞳孔と顔の特徴点位置検出を基にして、画面上の注視点を求めることができる。本発明者らによる特許273931に記載の注視点検出アルゴリズムが利用できる。当該文献では、カメラを表示装置の周囲に配置するため、表示装置が大型になると瞳孔、顔の特徴点を正面で捉えることができなくなるため、注視点検出範囲が狭く、注視している画面の場所によって検出精度にばらつきが生じる。しかし、本発明では、画面の様々な場所に特徴点を拡大して撮影できるカメラを設けることができるため、大画面であっても注視点を高精度で検出できる。
また、画面の様々な場所にカメラを設けることができるので、各カメラで瞳孔を拡大して撮影し、当該瞳孔が円に撮影されれば、視線は当該カメラの方向にあるため、当該カメラ近傍のオブジェクトが注視されていると判断できる。最も円に近い瞳孔像が撮影されたカメラの方向を観察者の視線方向とするアルゴリズムが適用できる。また、瞳孔像が楕円であればその長軸、短軸比から視線の角度を推定できる。このように、瞳孔の形状から注視方向を比較的簡単に推定できる。カメラ設置場所が限定される従来の表示装置では高精度化は難しいが、画面の中に多くのカメラを配置できるため、高精度の注視点検出が可能である。
次に、特殊な眼鏡を装着することなく頭部の動きを許容する両眼立体視表示について述べる。表示素子11に図20(B)の構成を用いる。1つの表示素子当たり左眼用発光体3個(18L)と右眼用発光体3個(18R)の計6個が設けられている。18の前には光スリット69が設けられており一部の光のみが通過する。同図では左眼用光線LG1、LG3、LG5のみを網掛けで示している。当該光線は、図20(A)に示すように、レンズ19によって屈折し、観測者の方向に進む。
前記一塊の発光体18と光スリット69とレンズ19は、左眼用画像と右眼用画像の表示素子である。3つの発光体18(L)は、破線(LG1、LG3、LG5)で示すように、3箇所(P1、P2、P3)の左眼位置(17L)を照射する。3つの発光体18(R)は、実線(LG2、LG4、LG6)で示すように、3箇所の右眼位置(17R)を照射する。ここで、光線は、レンズ19により同図LG1に網掛けで示すように、眼の位置において所定の幅(例えば6cm程度)になるように照射される。6cmは左右の眼の間隔に相当する。他の光線も同様に所定の幅になるように照射される。
利用者の眼の位置をリアルタイムで検出し、当該位置に光線の帯を照射すれば、左右の眼に別々の視差画像が提示されるので、頭部の動きを許容し眼鏡なしの両眼立体視が可能である。複数の観察者の眼の位置を計測し光の帯を投影すれば、複数の人が同時に両眼立体視できる。
図20(C)は、表示素子の別の形態を示す。レンズ19は左右眼用の2つの発光体18に対して1個ずつ設けられている。つまり、レンズは2つの発光体に対して共用される。前記光スリットは省略している。発光体18の右側から奇数番の3つ18(L)が左眼用画面に対応し、偶数番の3つ18(R)が右眼用画面に対応する。
図20(A)では、両眼立体視可能な観察場所を3箇所としたが、両眼間隔は6cm程度であるので、この幅で、更に多くの場所に光の帯を照射するように発光体、及び、光学系を設けると、観察場所を大きく広げることができる。観察範囲の拡大は、左右方向だけでなく、P4のように前後方向も可能である。一塊の発光体は、集積回路技術などを用いて製造できる。有機EL素子は、集積化に適している。
本実施例の応用として、利用者の視点位置を検出し、画面の中に当該視点と対称となる鏡面視点を設定し、当該視点近傍の画面内カメラで撮影した映像を表示すれば、画面を鏡として利用する「デジタル鏡」が実現できる。
図22は、図21(B)において、表示素子の一塊の発光体18を駆動する回路の制御を示している。単純マトリックス方式である。SWLi(i=1〜6)は水平画素用スイッチ、SWHi(i=1〜3)は垂直画素用スイッチ、Ei(i=1〜6)は発光体の電源である。画素の情報は、光の強さ(明るさ)であるため、Eの電圧は映像に合わせて調整される。
図22は、図20において、観察者がP3に居る場合を示している。SWL5とSWL6と垂直画素スイッチSWHiを動作させ、電圧E5、E6を調整することにより、左眼用画素と右眼用画素の光強度を制御する。発光体18から観察者P3の左右眼の位置17L、17Rに向けて光の帯が放出される。
観察者がP3からP2の位置に移動した場合には、SWL3、SWL4を動作させ、E3とE4を調整する。P2とP3の中間の位置では、SWL4、SWL5を動作させ、E4とE5を調整する。このように、観察者の位置に応じて、動作させる発光体を選択し光強度を瞬時に制御できる。
なお、図22の単純マトリックス方式では、発光時間が短くなる問題があるため、アクティブマトリックス方式を用いることもできる。アクティブマトリックス方式は、発光素子の近傍に駆動回路と制御回路を集積化して実装する。素子毎に発光時間、強度を調整できる。
図23は、本発明の第15の実施例で、音響提示付き表示装置である。図(A)、(B)は当該装置の縦断面図である。画面10の表示素子11(Pix)の間には、音波通過穴02が設けられている。60は超音波スピーカなどの指向性音響提示装置である。60を回転することで音波放出方向を変化できる。同図には示していないが、当該穴02の一部に前記気体放出装置を設けることができるのは当然である。
画面に設けた穴(02)は、表示素子がある表側が小さく、裏側が大きくなるように構成されている。風などの感覚刺激媒体、音波、又は、参照光のガイドとして作用する。
図23(C)は、臨場感通信システムである。79は観察用カメラ、66は指向性マイクロホン、62は回転制御機構、67、68は通信装置である。動作を説明する。利用者P1の頭部の動きは、図20で述べたような画像計測手段で検出する。当該頭部の動きは、通信装置によって遠隔地に伝送される。当該頭部情報に基づいて、79、66は、62によって方向を変える。66で集めた音は、67、68で伝送され60で再現される。この際、60は、66と同期して方向が変化する。10に提示される遠隔地映像の中で、観察者が向いた方向の音を忠実に再現できる。79で撮影された映像は、伝送され、11の駆動制御装置13によって10に表示される。
また、超音波は、音圧で微粒子を搬送する作用があるため、超音波スピーカ60の前に霧発生装置を設け、音圧で霧を穴から放出することができる。当該霧に香りを含有させることもできる。
図24は、本発明の第16の実施例で、薄型画面に設けた穴から立体的な音響を提示する表示装置である。同図において、10は、図9と同様の有機EL素子を用いた画面である。11は表示素子で、EL(R、G、B)は3色のEL素子である。EL(IR、R、G、B)は、EL(R、G、B)と近赤外のEL素子(IR)が一体になった表示素子を示す。
当該表示装置は、立体視用眼鏡82を併用することにより、運動視表示、両眼立体視が可能である。82には、再帰性反射材(マーク)83が設けてある。EL(IR)から出た光LGRは83で反射し、反射光LGAは、画面10を通過してカメラ72に捉えられる。マーク83は左右眼の周りに3個ずつ設けてある。各マークの取り付け位置を予め決めておくことにより、1台のカメラで眼の位置と顔の向きが検出できる。
同検出には、例えば、学術文献「大村和典、伴野明、小林幸雄:単眼視画像による顔の向き検出法の指示入力への応用、電子情報通信学会、信学論(D−II)、J72−D−II、9、pp.1441−1447(1989−09)」に記載のアルゴリズムを用いることができる。左右の眼の位置が分かれば、3次元物体モデルObjを透視投影変換することにより、画面10に両眼立体視映像、運動視映像を表示できる。
ここで、左右眼用映像の切り替えには、液晶シャッタ眼鏡を用いることができる。即ち、左右眼用映像を交互に切り替えて表示し、当該切り替えと同期するように眼鏡82の液晶シャッタを切り替えることにより実現できる。
また、左右眼用映像の切り替えには、偏光フィルタ眼鏡を用いることができる。即ち、画面10に左右眼画像用表示素子を設け(図9(E)参照)、左眼用表示素子と右眼用表示素子の前に各々偏光方向が直交する偏光フィルタを設け、当該フィルタと対を成す偏光フィルタを眼鏡82に設けて観察することにより実現できる。偏光フィルタ眼鏡は、液晶シャッタ眼鏡に比べ軽く、安価なので利便性が高い。
図24(A)は、音を発する物体Objが画面10の内側に前向きに観察される状態を示している。63は球形集積スピーカで、多数の小型スピーカ64が球面に設けられている。当該球は音波を放射状に放出できる。当該球形集積スピーカを用いると、Objが前を向いている状態では、明確で大きな音を観察者に提示できる。音の大きさを破線矢印の太さで示している。
図24(B)は、Objが後ろを向いた状態を示している。鈍い小さな音を提示できる。このように、画面中の3次元表示物体の方向によって音響を変えて提示できる。音波は画面10を通過するため、真にObjから音が出ているように聞こえ、高い臨場感が得られる。
図24(C)は、基板12Bと12Cの穴02をカメラ72のピンホールレンズ74aとして利用する例である。レンズは、穴を同図のように小さく加工し、穴の淵に遮光材を塗布し実現できる。カメラ72は、当該レンズと裏側基板12Bの穴の右側に設けた光ガイドとなる筒75と、撮像素子73と、駆動回路によって構成できる。前記レンズの穴から埃などの異物が入らないように透明部材でレンズ周辺を覆うこともできる。
図25は、本発明の第17の実施例で、画面に設けられた複数の感覚刺激媒体放出手段が選択的に駆動される表示装置である。図(A)は、柱に設けた香り提示機能付き表示装置で、電子広告板への応用を示している。同図において、57は柱、10は画面、01は気体放出装置、05は図1で示したようなバーチャル砲筒、04は当該砲筒から放出された香りの渦輪である。鼻腔付近に放出される。
柱には複数の画面が設けられ、各画面にはオブジェクトObj1(森林映像)、Obj2(果物映像)が表示されている。画面の中に設けられたカメラで通行人P1が検出される。同図では、P1はObj1を見ているので、Obj1の近くの香り放出装置01が選択的に駆動され、森林の香りが放出される。P1がObj2の前に移動すれば、果物の香りが放出される。
公衆の場では、香りを不必要に放出すれば、香りが拡散し迷惑になる、又は、香り提示の新鮮さが損なわれる問題があるが、本発明では、オブジェクトが視知覚される近傍の香り放出装置が選択的に駆動され、必要最小限の香りが提示されるので、上記問題は生じない。
駅や地下街で、人が柱の前を通過しようとすると、本装置は、当該通過を検出し香りを放出する。通行人は振り向いて電子広告板(表示装置)を見ようとするため広告効果は高い。通行人を立ち止まらせることができれば、広告板は静止画像から動画像に切り替えることもできる。
例えば、立ち止まった際に数10秒の映像が流れ、当該映像に連動して香りが提示されると、観察者はその映像内容を強く記憶に留めるため、広告効果は大きい。
図25(B)は、香り及び音響提示機能付き湾曲大画面の表示装置である。映画や芸術的な映像コンテンツ鑑賞への応用を示している。同図において、10は湾曲した大画面、01は香り放出装置、63は図24で示した球形集積スピーカである。利用者P1は立体視用眼鏡82を装着し運動視及び両眼立体視によって観察している。画面には、オーケストラの立体映像が表示されている。Obj−Pi(i=1〜3)は、オーケストラの団員の等身大オブジェクトである。
各楽器パート(オブジェクト)が視知覚される位置近傍のスピーカが選択的に駆動され、当該楽器の演奏音が提示される。運動視表示を行うと、利用者P1が位置を変えた場合、当該楽器パートの映像位置も変化するため、スピーカを切り換える制御を行う。オブジェクトが移動する場合も同様に映像位置が変化するため、スピーカを切り換える。
同図では、Obj−P1(バイオリンパート)の演奏音は、Obj−P1とP1を結ぶ線分58の近くのスピーカ63−2から提示されているが、P1が左に移動した場合には像も左に移動し、像からの距離は63−1の方が近くなるため、当該スピーカから演奏音を提示する。
また、Obj−P2(フルートパート)の演奏音提示には、Obj−P2とP1を結ぶ線分59の近くのスピーカを選択するが、同線上にスピーカはない。この場合は、近い63−3、63−4を選択し、両者の音の位相を変える、又は、音量を変えるなどにより、Obj−P2が視知覚される位置に音像を定位させてもよい。更に、複数のスピーカの音をミキシングしてもよい。
また、音が出ている場所の映像を明るくするなど、誘目性を高めるように制御してもよい。オーケストラで、ソロパートの場合、スポットライトが当たった場所から楽器の音が飛び出るように演出できる。
香り提示についても同様である。画面に多くの香り放出装置を設け、Obj−Piが視知覚される位置近傍の香り放出装置を駆動できる。例えば、オブジェクトが花畑であって複数種類の花が表示されている場合、当該花の位置から対応する香りを提示できる。
しかし、香り放出装置01の数が少ない場合、花の表示位置近傍に01が存在しない場合がある。この場合は、図25(B)に示すように、左右の2台の香り放出装置01を連動させることができる。バーチャル砲筒05から香りの固まり04を放出し、2つの04を観察者の鼻腔付近で衝突させることにより、局所的な香り空間を形成できる。微小香料を使用するため、観察者が呼吸すると当該香りは消え残らない。様々な香りを切り替えて提示できる。
従来技術では、画面の外側にスピーカ、又は、香り提示装置を設けるため、大画面になるほど感覚刺激の定位が難しい。つまり、オブジェクトの場所から音がする、香りがすると言った感覚が作れない。しかし、本発明では、画面の中から感覚刺激媒体を局所的に提示できる。高い臨場感が得られ、強く記憶に残るため、映像コンテンツの付加価値を高める。
図25(C)は、空間にレーザ光を集束照射しプラズマ放電を起こして直接描画する表示手段に本発明を適用した場合である。Obj1、Obj2は、レーザ(Laser1、Laser2)によって空中に描画されるオブジェクトである。Objは空中の像なので、その場所から視覚以外の感覚刺激媒体を放出することは難しい。
そこで、図25(C)では、直接描画する空間を囲むように本発明の湾曲画面を設けている。当該画面には、背景映像を表示すると共に、画面の穴から香り、気流、音を放出する。特徴点抽出装置71によってP1の特徴点が抽出され、ステレオ画像計測によってP1の視点位置が検出される。
P1の視点位置から見てObjが視知覚される延長線上に位置する気体放出装置01、又は、小型指向性スピーカ61を選択的に駆動できる。又は、Objの近くにある01、又は、61を駆動するように制御してもよい。以上によって、Objの位置からあたかも音、香り、気流が放出されている感覚が得られる。複数の感覚刺激提示に矛盾がないので、自然で高い臨場感が得られる。
図26は、本発明の第18の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を提示する複数画面を用いた没入型表示装置である。
図26(A)において、10−1、10−2、10−3は画面で、図9、図16、図18、図21などの構造が利用できる。01は気体放出装置で、図1の01と同様である。05はバーチャル砲筒、04は香り(Frg)、又は、空気(Air)の渦輪で、観察者P1、P2に嗅覚刺激、触覚刺激を提示する。65−1、65−2は01から放出され残留した香りを排出する装置で、図8と同様の構造である。一点鎖線は気体の流れを示す。
図26(B)の71は特徴点抽出装置、74は穴02に設けたカメラレンズ、77は周囲の穴02に設けた近赤外発光素子である。図26(C)の72はカメラ、73は撮像素子、75は筒である。詳細は、図21と同様である。図26(A)の70は複数の71からなるステレオ画像計測装置で、特徴点の空間位置を検出する。視点位置を70で検出できるため、眼鏡なしで運動視表示が可能である。また、図21の画面を用いれば、両眼立体視表示が可能である。なお、代替手段として前記立体視用眼鏡を用いることができるのは当然である。
本発明では、利用者の位置を正確に検出できるので、利用者が画面の所定場所に近寄ったことを検出して、気体放出装置01から利用者に向け香りを放出できる。当該香り放出後、空間に香りが残留すると映像とリンクしなくなる問題があるため、65−1、65−2で排気する。これにより、香りを高速に切り替えることができる。
60−1、60−2は、超音波スピーカで、図23の60と同様である。利用者の耳の位置を検出し、当該方向に音波を放出できる。超音波スピーカは超指向性があるため、利用者が複数の場合、特定の人に特定の情報を提示することができる。
図26(D)は、図(A)に比べ、気体放出装置01とスピーカ61の構成が異なる。気体放出装置01は、横長で図26(E)に示す構造である。つまり、画面10−1の01の領域に、図7で示した気流管021(i=a、b・・)が数多く設けられる。当該02iの中から所定数の気流管をまとめて(束にして)用いることで、バーチャル砲筒051(i=a、b・・)を形成できる。気流管の選択方法によって、バーチャル砲筒の場所を変えることができる。利用者の位置を検出し、当該位置近傍のバーチャル砲筒から香りの固まりを放出できる。また、オブジェクトが視知覚される位置近傍のバーチャル砲筒から香りの固まりを放出してもよい。
61は小型指向性スピーカで、画面の穴に多数配置される。観察者が表示対象に近づくと、70によって当該観察者の位置を検出し、最も適切な位置のスピーカから音を提示できる。即ち、オブジェクトが視知覚される位置近傍のスピーカから当該オブジェクトに関する音を放出できる。従って、観察者は音源の同定が可能で、オブジェクトから音が出ているように感じる。
図26(F)は、画面10の中に多くの特徴点抽出装置71i(i=a〜e)を組み込み、注視点を検出する様子である。P1が正面を向いている状態では、視線Gaz1は71Cの方向にある。71Cのカメラでは、瞳孔が円形に撮影される。一方、他のカメラでは、楕円に撮影される。従って、瞳孔形の円形からのずれを計測すれば注視方向が検出できる。
同図では、71Cの近傍に表示されているオブジェクトを見ていることが推定できる。同様に、視線Gaz2が71aの方向にあることが検出されれば、当該近傍のオブジェクトを見ていることが分かる。複数のカメラで撮影した瞳孔像の長軸、短軸の平均値、分散などを計算し、統計的処理によって注視点位置の計測精度を上げることができる。
図28で示した従来の没入型表示装置と比較すると、図26(A)(D)の画面は、薄型であるため壁に組み込むことが可能である。遥かに省スペースなので家庭用メディアルームとして利用できる。利用者の位置を検出し、香り、音を映像とリンクして適切に提示できる。注視点の検出も可能であり、利用者の意図抽出に基づく映像表示、感覚刺激媒体提示が可能である。臨場感効果が極めて高い。
また、画面10の表示座標系とステレオ画像計測装置70の座標系との間の位置関係を決める校正作業(座標変換パラメータを求める作業)、及び、表示座標系と気体放出装置01、スピーカ61との位置関係を決める作業は、装置製造時に行うことができるため、利用者側での作業は必要ない。利便性が高い。
図26(G)は、本発明をエアコン(Aircon)に応用した例である。01は気体放出装置、65は気体排出装置である。Airconの前面に穴を設けた薄型画面10を密着するように設ける。表示素子にEL素子を用いる場合を示しているが、LEDでもよい。映像が表示できるエアコンである。
気体は画面裏側から表側に放出され、表側から裏側に排出される。当該気体は、加熱、又は、冷却、又は、加湿、又は、除湿して放出できる。大型にすれば、図26(A)の画面そのものがエアコンとなる。部屋の壁、天井、床が、表示装置であると共に、雰囲気制御装置となるので、空間の有効利用が可能である。従来のエアコンは一箇所から風が吹き出すが、本発明の壁組み込みエアコンでは、壁全面から空気が放出されるため、自然の風に近い感覚が得られる。
図27(A)は、本発明の第19の実施例で、利用者の感覚刺激媒体提示部位、又は、注視点を検出し、香り、気流、音を前後、左右、上下から適切に提示する複数画面を用いた没入型表示装置である。利用者(観察者)P1の周囲5面に画面10−i(i=1〜5)が設けられている。家庭用、事業所用のメディアルームへの応用を目的としており、画面の大きさは、1辺が2mから3m程度である。
図27(B)は、画面10−2の断面図である。画面構成は、図16と同様で、表示素子11は発光体18(R、G、B;LED)とレンズ19で構成され、基板12に設けられる。11の大きさは、1mm〜3mm程度、表示素子間距離は、2mm〜4mm程度が可能である。集積化技術、又は、有機EL素子などを利用すれば、精細度は更に向上できる。11の間には気体通過用、参照光通過用の穴02が設けられている。
近赤外参照光源77には、11とは別の高輝度近赤外LEDを用いている。72はカメラ、LGRは参照光、LGAはレンズ74を通過する撮影光である。
画面10−iの中には、図26などで説明した特徴点抽出装置71を6個を示しているが、更に多くの場所に設けてもよい。複数の71を組み合わせて利用することで、画面で囲まれた空間において、利用者の特徴点位置を高精度で検出できる。利用者がどのように動いても計測できない場所はない。
視点位置検出を利用して運動視差映像を表示できる。立体視用眼鏡82を用いて両眼立体視映像を楽しむことができる。また、図21(C)に示した望遠レンズ付きカメラを合わせて用いれば、注視点検出が可能なので、利用者の意図推定に基づく映像表示、聴覚・嗅覚・触覚提示など高度なサービスが提供できる。
01or65は、気体放出と排気を兼ねた装置で、図14の01と図8の48を組み合わせて構成できる。羽車47を正逆回転制御することで、図27(A)の一点鎖線矢印のように気流(Air、Frg)の流れを変えることができる。
嗅覚刺激、又は、皮膚触覚刺激媒体である気体は、画面の穴を介して、画面裏側から表側に放出され、表側から裏側に排出される。従って、観察者に対して様々な方向から香りや風を提示できる。特に、利用者の鼻、顔など位置を検出し、01or65を選択的に駆動し、当該位置に気流を当てれば効果的な刺激提示が可能である。
例えば、嵐のように激しく風向きが変わる状況も再現できる。01or65は広い範囲から気体を放出できるため、風などの皮膚触覚提示に適している。また、図26に示したように、バーチャル砲筒を構成して気流、香り、霧の渦輪などを放出してもよい。物理的には狭い空間であるが、五感提示によって高い臨場感を演出できる。
図27(C)は、床用画面10−3の断面構造を示している。同図において、12Bは裏側基板で、図27(B)で説明した表示素子11が横に並んでいる。穴02には管02aが設けられ、管の上には穴を設けた透明な表側基板12Cが設けられている。つまり、12Bと12Cの間に11が設けられ、11の間に両基板を貫くように穴02が設けられ、穴の淵は12aによって密閉されている。管02aは、気流を通過させると共に、12Cを支持する機能を有する。02aと12Cは密閉されるため、穴から埃や湿気は入らない。
12Bの下には、気体放出・排出装置01or65が設けられている。また、管02aの一部には、図2、又は、図7に示した構造の香り供給部30−1、30−2が設けられている。02aからは、空気Airの他、様々な香りFrgを放出できる。例えば、お花畑を映像で表現する場合には花の香り、朝霜の風景を表現する場合には低温の霧などを放出できる。
11の光主放出面19kから放出される光をLightで示す。穴に設けられた管02aの先端は、レンズ19の先端より突出しているが、前記光Lightに掛からないように設定される。つまり、同図のように、発光体18と光主放出面19kを結ぶ錐形内(Light)に穴02、又は、穴に接続される管02aが入らないように構成できる。Lightは管内を照明しないので、穴は暗く視認されない。
図27(D)は、穴近傍の他の構成例である。12Cと02aと86がプラスチックなどで一体成型される。86は、表側基板の支持部である。当該一体構成物を12Bの上に被せることで本発明の画面を構成できる。製造しやすい。また、12Cが汚れたり、傷ついた場合は、取替えできる利点がある。
表側基盤12Cの上を人が歩くため、透明性が高く、強度のある素材で構成する。強化樹脂、ガラスなどが利用できる。また、12Cの上に、更に穴の開いた透明シートを張り、床面を補強してもよい。穴02の上には、当該穴を目立たなくすると共に埃が入らないように、メッシュなどの気流通過素材を設けてもよい。
図27(E)は、図16(D)の円筒型レンズを用いた表示素子11で画面10−3を構成した実施例である。12Bの上に12Cを張り合わせる。レンズの前面が平坦なので製造しやすく、薄型に適している。清掃も容易である。なお、表示素子(レンズ)は、四角柱型でもよい。また、穴は円形の他、四角形を含む多角形でもよい。
映像が大画面、高解像度になり臨場感が高まると、香りや皮膚触覚が欲しくなるのは自然である。本発明では、これら全てを実現できる。注視点検出から利用者の意図を推定できるため、眠気を検出して活性化を促す映像、香りを提示する、興奮を検出して沈静作用のある香りを提示するなどが可能である。噴水の立体映像を提示し、観察者が近づいたことを検出して水しぶきがかかる感触が得られるように、冷水を霧化し、気体発生装置から当該霧を顔に向けて放出してもよい。同時にその場の音を近くのスピーカから提示できる。
図26、図27の実施例では、複数の画面に多くのカメラ(72)を内蔵できるので、利用者を同時に様々な方向から撮影し特徴点を抽出できる。当該特徴点の3次元位置を検出し、予め用意した利用者の3次元モデルと照合することにより、利用者の3次元映像をリアルタイムに制作できる。当該特徴点情報と聴覚、嗅覚、触覚情報を遠隔地に伝送し、再構成することにより、五感提示可能な知的符号化通信が実現できる。
本発明は、上記各実施形態に限定されるものではなく、実施段階において、その要旨を逸脱しない範囲で種々に変更することが可能である。また、上記実施形態は、種々の段階の発明が含まれており、適宜な組み合わせにより実施してもよい。更に、上記各実施例の構成要素は、その目的を踏まえて適宜省略する、又は、周知慣用技術で補うことができる。
以下のような装置、サービスへの利用が可能である。
(1)高臨場感映像表示装置;映像のストーリーに同期して、香り、気流、立体音響が提示できる。つまり、従来の視覚、聴覚に加えて、嗅覚、触覚を提示できる。臨場感が向上し、内容理解が深まる。香りや気流の切り替えは高速にできるので、次世代テレビジョン、映画・インターネット映像コンテンツ、体感ゲームに最適である。
例えば、ホラー映画を鑑賞中の利用者に背後から生暖かい、異臭を吹きかけることもできる。臨場感が増し、関心が高まる(図25(B)、図26、図27など)。
(2)高臨場感シミュレータ;現実に起こりえる様々な状況をバーチャルな環境でつくり訓練や確認などに利用できる。本発明は、五感提示可能なので、現実に近い高精度なシミュレーションが可能である。例えば、車の運転支援、飛行機の操縦支援、住宅の設計確認、旅行目的地選択確認、防災非難の訓練、ゴルフや野球などの打撃練習などに利用できる。当該シミュレータを利用した練習、訓練では、旨く行ったときに気持ちが良くなる仕掛けがあると訓練効果が高まる。特に集中力が要求されるスポーツシミュレーションでは、脳からα波が出る状態を作ることが重要である。そこで、ゴルフ練習などで、満足の行くショットが打てた場合に気持ちが良くなる香りを提示すると良いイメージが記憶に残り、実際のショットでも脳がリラックス状態になり、良い結果につなげることができる。
(3)バーチャル博物館・美術館;五感提示可能なので、展示品を実際に使用している感覚で鑑賞することができる。3次元物体をCGで制作し全方位から観測可能にし、選択した方向から、香り、風、音響を提示するように構成できる。「このような匂いのある場所
でこのようなものが使われていた」などと、五感を刺激する展示が可能である。博物館の一角に設置し来場者の案内サービスに利用できる。また、病院、医療機関に設置すれば、寝たきり生活を強いられる者、身体障害者が、居ながらにして世界の博物館、美術館を訪ねることができる。
(4)バーチャル会議システム;通信を利用し遠隔地の人々があたかも一堂に会した感覚で会議ができる。臨場感が高まることで、より複雑な議題を扱うことができる。
(5)癒し空間生成装置;お気に入りの場所の映像、音響とともに、香りや気流を提示すると癒し空間が生成できる。例えば、海の映像に汐の香りを提示する、森の映像に森林系の香りとマイナスイオンを含む霧を提示するなどである。ストレス解消や苦痛緩和の要求が高い病院の待合室、ホテルの客室、集中力を高めたい子供の勉強部屋、汗臭さを解消したいスポーツ練習場、安らかな眠りを誘発させたい寝室、特別な顧客にサービスする航空会社、銀行のロビー、会議室などに最適である。
気体の中に混ぜる化学物質としては、例えば、風邪の予防には、ヒノキ、レモン、ハーブ系の香りが効果的である。花粉症にはユーカリ、ペパーミントなどが効果的である。次亜塩素酸ナトリウムは殺菌作用あるので、水に溶かし噴霧することで感染症予防になる。例えば、滝の映像を表示し、画面からこれらの薬品を含有する霧を放出してもよい。また、高濃度酸素を放出してリフレッシュな感覚が得られるように構成できる。
(6)電子看板(デジタルサイン);図19に示すように、大型ディスプレイから映像と共に香り、気流が提示されると、通行人は関心を示すので、立ち止まらせる効果がある。従来の看板広告に代わる次世代の五感デジタル広告として利用できる。
(7)映像香り時計;画面に時計の盤面を表示し、時報として香りを発生させることができる。例えば、朝は、ベルガモット、レモン、ペパーミント、コーヒーなど爽やかな目覚めの良い香り、昼間は、グレープフルーツ、シダーウッドなど集中力を高めるリフレッシュな香り、夜は、ラベンダー、ローズウッド、スイートオレンジなどのリラックスな香りを放出できる。前記時計の盤面には、時刻に相応しい映像を表示してもよい。短い時間で部屋の香りを切り替えると、香りが複雑に混ざり、素敵な芳香空間を作る。
(8)照明装置;図11に示すように、本発明の表示装置は、照明装置としても利用できる。特に、高輝度LEDを画面に用いると、蛍光灯、電球に替わる照明装置になる。画面に穴を設け気体が通過できるようにすると、空気清浄機能をもたせることができる。タバコの煙の排出、塵、花粉などの除去が可能である。
画面の穴に参照光放出装置とカメラを設け、人の位置を計測し、その人の周りのみを照明することができる。画面には、当然、文字などを表示してもよい。通常は、照明として使用し、緊急時などに人の通過を検出し、誘導非難などの絵や文字を表示することができる。
色彩は、嗅覚印象と密接な関わりがある。色付き照明装置において、嗅覚予期を想定して、ボードの穴から合致する香りを提示すると、視覚刺激と嗅覚刺激の感覚統合が起き心理的効果が高まる。ここで、嗅覚予期とは、「これから香りが来るぞ」と言う期待感である。感覚統合とは、イメージが合致することを意味する。香りと照明色の心理的作用に正の相関があるものが望ましいのは当然である。
具体的には、空気清浄作用のあるユーカリ、ペパーミントなどの香りには、薄いグリーン色の照明、明るくポジティブな印象のあるスイートオレンジ、マンダリンなどの香りには、暖かみのあるオレンジ色、静かで落ち着いた印象のあるラベンダーには、薄い紫またはブルー、誘引効果があるイランイランなどには、薄いピンクまたは赤色、リフレッシュ効果のあるグレープフルーツ、レモンなどの香りには、薄い黄色などが効果的である。
画面に設けた砲筒から霧の渦輪04を放出し、当該放出に合わせて画面の照明素子を駆動すると、空間に霧の渦輪が浮かび上がり、姿、色彩を変えながら飛行する。癒しの空間を演出できる。
(9)ディスプレイ型エアコン;本発明は、空気が通過する大画面ディスプレイであり、有機EL素子などを用いて薄型に構成できるので、住宅用高機能窓、又は、壁組み込み型の空気清浄装置(エアコン)として利用できる。図26、図27では、壁全体が画面であり、雰囲気制御装置でもある。窓として利用する場合には、室内の気圧を高めれば、室内の淀んだ空気が排出される。気圧を下げれば、外の新鮮な空気を室内に取り込むことができる。
(10)家庭用メディアルーム;図26、図27に示すような大型表示装置で部屋の複数の壁を構成する。つまり、表示装置組み込み型壁を建築資材として提供できる。利用者は表示装置に囲まれ、映像、音響、香り、風などが提示されるので、高臨場感でマルチメディアコンテンツを楽しむことができる。また、通信装置を用いれば、居ながらにして、世界旅行を楽しむことができる。更に、表示装置に視線検出装置を組み込めば、画面上の注視オブジェクトが推定できる。利用者が関心を示したものを推定して商品広告を香りと共に提示するなど、多様なサービス提供が可能である。
(11)映像エアーカーテン;図27(C)の床画面は、床に映像を表示し、気流を通過させることができる。デパートなどの入り口で、床に大画面映像を表示し、天井から床に気体を流すエアーカーテンを設ければ、お客の関心を引くため、人寄せ、販売促進に有効である。

Claims (10)

  1. 画面に最短視距離以上において視認されにくい程度の複数の穴を設け、当該穴を感覚刺激媒体、又は、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)を検出するための参照媒体が通過するように構成することを特徴とする表示装置。
  2. 請求項1において、
    複数の穴は、表示素子間、又は、照明素子間に設けられ、穴径は、0.1mm以上で、かつ、最短視距離において視角0.5度以下、又は、通常視距離において0.25度以下であることを特徴とする表示装置。
  3. 請求項1において、
    画面は、裏側と表側とからなる2枚の基板の間に表示素子、又は、照明素子を設け、当該表示素子、又は、照明素子の間に両方の基板を貫く穴を設け、当該穴の淵が密閉されるように構成されることを特徴とする表示装置。
  4. 請求項1において、
    画面は、基板にアレイ状に設けた表示素子で構成され、当該表示素子は発光体がレンズによって拡大される構造を有し、穴は当該レンズ間に設けられることを特徴とする。
  5. 請求項1において、
    画面は、光反射型スクリーン、又は、光透過型スクリーンで構成され、当該スクリーンに穴が設けられたことを特徴とする表示装置。
  6. 請求項1において、
    画面の穴から感覚刺激媒体を放出する手段が複数設けられ、オブジェクトが視知覚される位置近傍の感覚刺激媒体放出手段が選択的に駆動され、当該オブジェクトに対応する感覚刺激媒体が提示されることを特徴とする表示装置。
  7. 請求項1において、
    画面に設けた複数の穴、又は、穴に設けた気流管は、集合してバーチャル砲筒を構成し、当該砲筒からは、各穴(気流管)の気流が相互に干渉して放出される、又は、気体が固まりとして放出されることを特徴とする表示装置。
  8. 請求項1において、
    嗅覚刺激、又は、皮膚触覚刺激媒体である気体は、画面の穴を介して、画面裏側から表側に放出され、表側から裏側に排出されることを特徴とする表示装置。
  9. 請求項1において、
    画面の穴に小型カメラを設け、カメラレンズの近傍から参照光を照射し、反射光を当該カメラで捉え画像処理によって、利用者の感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)、又は、注視点を検出することを特徴とする表示装置。
  10. 薄型画面の穴に撮影方向が制御できる、又は、像を拡大できる小型カメラを設け、感覚刺激媒体提示部位(眼、鼻、耳、顔、手など)を撮影し、当該部位の位置、又は、注視点を検出し、当該情報に基づいて映像、又は、感覚刺激媒体を提示することを特徴とする表示装置。
JP2008556142A 2007-02-02 2008-01-30 表示装置 Expired - Fee Related JP5317706B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008556142A JP5317706B2 (ja) 2007-02-02 2008-01-30 表示装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2007023743 2007-02-02
JP2007023743 2007-02-02
JP2007278977 2007-10-26
JP2007278977 2007-10-26
JP2008556142A JP5317706B2 (ja) 2007-02-02 2008-01-30 表示装置
PCT/JP2008/051387 WO2008093721A1 (ja) 2007-02-02 2008-01-30 表示装置

Publications (2)

Publication Number Publication Date
JPWO2008093721A1 true JPWO2008093721A1 (ja) 2010-05-20
JP5317706B2 JP5317706B2 (ja) 2013-10-16

Family

ID=39674029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008556142A Expired - Fee Related JP5317706B2 (ja) 2007-02-02 2008-01-30 表示装置

Country Status (2)

Country Link
JP (1) JP5317706B2 (ja)
WO (1) WO2008093721A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460346B2 (en) * 2005-08-04 2019-10-29 Signify Holding B.V. Apparatus for monitoring a person having an interest to an object, and method thereof
KR101060643B1 (ko) * 2009-06-02 2011-08-31 박승민 오브젝트 기반의 위치 좌표 효과를 갖는 사운드 출력을 위한 투음성 디스플레이 장치
JP5563353B2 (ja) * 2010-04-01 2014-07-30 学校法人慶應義塾 嗅覚情報制御装置、嗅覚情報制御方法及び香り発生システム
IT1399901B1 (it) * 2010-04-19 2013-05-09 Manfredo Giuseppe Mario Ferrari Camera multisensoriale in particolare per addestramento e processo per la simulazione in tempo reale di scenari virtuali nella stessa
US8777765B2 (en) * 2011-04-08 2014-07-15 Universal City Studios Llc System and method for providing water park beach visual effects
WO2012169004A1 (ja) * 2011-06-07 2012-12-13 日本たばこ産業株式会社 放香装置
US10591869B2 (en) 2015-03-24 2020-03-17 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces
CN104850279B (zh) 2015-05-29 2017-11-28 京东方科技集团股份有限公司 一种声波触控装置及电子设备
US11541142B2 (en) * 2015-10-23 2023-01-03 Sony Corporation Fragrance material holding member and fragrance providing device
CN105788190B (zh) * 2016-05-26 2018-05-29 刘俊哲 适用于听障人群的提醒装置
EP3485322A4 (en) 2016-07-15 2020-08-19 Light Field Lab, Inc. SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS
JP2019535199A (ja) * 2016-10-06 2019-12-05 アイマックス シアターズ インターナショナル リミテッド 映画発光スクリーンと音響システム
FR3062067B1 (fr) * 2017-01-23 2023-05-12 Reperes Caisson multi sensoriel et dispositif immersif
EP3642825A1 (en) * 2017-06-20 2020-04-29 IMAX Theatres International Limited Active display with reduced screen-door effect
EP3685255A1 (en) 2017-09-20 2020-07-29 IMAX Theatres International Limited Light emitting display with tiles and data processing
AU2019206621A1 (en) 2018-01-14 2020-07-30 Light Field Lab, Inc. Systems and methods for transverse energy localization in energy relays using ordered structures
KR102074722B1 (ko) * 2018-01-25 2020-02-07 한국항공대학교산학협력단 사운드 투과가 가능한 멀티비전 디스플레이 장치
JP7154536B2 (ja) * 2018-09-03 2022-10-18 学校法人立命館 空気砲装置
JP6711383B2 (ja) * 2018-09-28 2020-06-17 ダイキン工業株式会社 渦輪発生装置
CN109544117A (zh) * 2018-11-27 2019-03-29 北京达佳互联信息技术有限公司 会议室信息显示方法、装置、终端、服务器及存储介质
US11158220B2 (en) * 2018-12-10 2021-10-26 Universal City Studios Llc Interactive animated protection window with haptic feedback system
JP6982771B2 (ja) * 2019-04-12 2021-12-17 パナソニックIpマネジメント株式会社 投影装置
CN111243020B (zh) * 2020-01-02 2023-07-25 东莞市一加创意数字科技有限公司 一种立体投影空间的音源位置的动态定位方法
JP6751934B1 (ja) * 2020-06-15 2020-09-09 康司 畑田 微粒子群の空間配置制御システム、微粒子群の空間配置制御方法、微粒子群の空間配置制御プログラム
US20230412955A1 (en) * 2020-11-13 2023-12-21 Sony Group Corporation Audiovisual presentation device and signal processing device
CN113099213B (zh) * 2021-04-09 2024-04-26 焦作大学 一种三维图像显示处理装置和方法
CN115308367B (zh) * 2022-07-14 2023-05-23 宣化钢铁集团有限责任公司 一种用于氢冶金还原设备组合式五感点检工具

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01243793A (ja) * 1988-03-25 1989-09-28 Canon Inc 画像入出力装置
JPH0326189A (ja) * 1989-06-23 1991-02-04 Kiyuu I:Kk テレビ電話用モニタテレビ装置
JPH03146065A (ja) * 1989-10-31 1991-06-21 Toyo Seimitsu Kogyo Kk 芳香を放つ額
JPH0450852Y2 (ja) * 1990-03-14 1992-12-01
JP2000078430A (ja) * 1998-08-28 2000-03-14 Hitachi Ltd 仮想空間生成装置
JP2000171905A (ja) * 1998-12-07 2000-06-23 Dainippon Printing Co Ltd 透過型スクリーン
JP2000250139A (ja) * 1999-03-04 2000-09-14 Hitachi Ltd 背面投写形表示装置、透過形スクリーン及びその製造方法
JP3327269B2 (ja) * 1999-11-02 2002-09-24 セイコーエプソン株式会社 透過型スクリーンおよびこれを用いたリアプロジェクタ
JP2001340729A (ja) * 2000-06-02 2001-12-11 Seiko Epson Corp 空気清浄機能付き表示装置
JP2002040966A (ja) * 2000-07-24 2002-02-08 Nec Corp 屋外用表示装置
JP2003066825A (ja) * 2001-08-24 2003-03-05 Mitsubishi Heavy Ind Ltd 擬似体感装置
JP3874715B2 (ja) * 2002-11-13 2007-01-31 明 伴野 香り発生器および香り発生装置
JP2005296540A (ja) * 2004-04-16 2005-10-27 Akira Tomono 空気砲式微粒子放出装置
JP4742531B2 (ja) * 2004-07-21 2011-08-10 株式会社日立製作所 情報表示装置
JP2006282084A (ja) * 2005-04-01 2006-10-19 Denso Corp 車両用空気質成分供給装置
JP2007108299A (ja) * 2005-10-12 2007-04-26 Fujifilm Corp 画像表示装置

Also Published As

Publication number Publication date
JP5317706B2 (ja) 2013-10-16
WO2008093721A1 (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
JP5317706B2 (ja) 表示装置
JP2008257216A (ja) 公衆用情報提示装置
ES2346002T3 (es) Sistema de fumar por realidad virtual.
US20110200488A1 (en) Modular fragrance apparatus
JP2010250789A (ja) カメラ付き表示装置
Causey The screen test of the double: The uncanny performer in the space of technology
CN105739093B (zh) 透过式增强现实近眼显示器
US20160067367A1 (en) Switchable gas and liquid release and delivery devices, systems, and methods
Dmitrenko et al. OSpace: towards a systematic exploration of olfactory interaction spaces
EP3779559A1 (en) Head-mounted display, and display screen, head-mounted bracket and video thereof
WO2008072744A1 (ja) 気体放出装置
Neumann et al. Immersive panoramic video
JP2010250250A (ja) 表示装置
Furukawa et al. " Vection field" for pedestrian traffic control
US20200058269A1 (en) Mediated Atmospheres Table
Yanagida et al. Towards precise spatio-temporal control of scents and air for olfactory augmented reality
KR20200065452A (ko) 4d 상영관 시스템
ES2972688T3 (es) Técnicas de visualización de efectos especiales
JP2012053320A (ja) 表示又は照明装置
TW201026026A (en) Rotating display apparatus having an image capturing device
WO2021125151A1 (ja) 匂い呈示モジュール、匂い呈示装置、匂い呈示システム、及び匂い呈示方法
Tomono et al. Display; mainly from IDW'10: Scent-Emitting Display Panel and Its Psychological Effects
Fenemore On being moved by performance
Ando et al. Full-scale saccade-based display: Public/Private image presentation based on gaze-contingent visual illusion
CN106710485A (zh) 幻像剧院

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R150 Certificate of patent or registration of utility model

Ref document number: 5317706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees