JP7084604B2 - プロジェクションシステム - Google Patents

Description

本発明は、スクリーン装置の近くにいる体験者を撮影した画像と事前に記録してある画像とを合成した拡張現実画像をスクリーンに投影できるようにするプロジェクションシステムに関するものである。

本出願人は、特許文献１（特許第５２３３２６９号公報）に記載されている画像表示システムのスクリーン装置を改良し、柔軟な薄い素材で形成され光透過性と光拡散性とを有するスクリーンを複数枚懸垂させたスクリーン装置を提案するとともに、スクリーン装置内外の照明、音、気温、風及び香りのうちの少なくとも一つを制御して、体験者の視覚、聴覚、触覚又は嗅覚等に刺激を与えるプロジェクションシステムを提案し、実用新案登録出願を行っている（特許文献２：実用新案登録第３２０８３１９号公報）。

このプロジェクションシステムによれば、体験者はスクリーン装置の内部に入って投射画像を鑑賞でき、スクリーン装置の外側にいる体験者は他の体験者がスクリーン装置の内部に入っていても投射画像を鑑賞することができる。
また、スクリーンに投射される画像を鑑賞する体験者の行動又は生理信号を捉えるセンサを備え、センサが捉えた体験者の行動又は生理信号に応じてプロジェクタからの投射画像並びにスクリーン装置内外の照明、音、気温、風及び香りのうちの少なくとも一つを制御するので、体験者の状態や挙動に依存してスクリーンに投射される画像や周囲の環境が変動することとなり、投射画像に対する体験者の興味を惹きつけることができる。

しかし、特許文献１の画像表示システムや特許文献２のプロジェクションシステムでは、プロジェクタから投射される画像は事前に記録してある画像であって、体験者自身や体験者の周囲にいる人々の姿が含まれる画像ではないため、体験者が投射画像の内容に強く興味を持っている場合以外は、投射画像に対して体験者の興味を惹きつけられないという問題があった。

特許第５２３３２６９号公報 実用新案登録第３２０８３１９号公報

本発明の第１の課題は、スクリーン装置の近くにいる体験者を撮影した画像と事前に記録してある画像とを合成した拡張現実画像をスクリーンに投影できるプロジェクションシステムを提供することである。
また、本発明の第２の課題は、体験者の行動（挙動や発声等）又は生理信号（体温、心拍数、筋電、脳波等）を捉えるセンサの信号に依存してプロジェクタから投射される拡張現実画像を制御するとともに、スクリーン装置内外の照明、音、気温、風及び香りのうちの少なくとも一つを制御して、体験者の視覚、聴覚、触覚又は嗅覚等に刺激を与えることである。

請求項１に係る発明は、ビデオカメラと、プロジェクタと、スクリーン装置と、前記プロジェクタから前記スクリーン装置に投射される画像を制御する制御装置とを有するプロジェクションシステムであって、
前記制御装置は、前記ビデオカメラで数秒～数十分前に撮影した前記スクリーン装置近傍にいる体験者の画像又は１時間～数年前に撮影し記録した前記体験者の画像と、事前に記録してある画像とを合成した拡張現実画像を前記スクリーン装置に投射することを特徴とする。

請求項２に係る発明は、請求項１に記載のプロジェクションシステムにおいて、
前記スクリーン装置は、柔軟な薄い素材で形成され光透過性と光拡散性とを有するスクリーンを複数枚懸垂させたものであることを特徴とする。

請求項３に係る発明は、請求項１又は２に記載のプロジェクションシステムにおいて、
前記スクリーン装置の近傍に設置又は前記体験者に装着されるセンサと、
照明装置、スピーカ、エアコン、送風機、熱線照射器及びアロマディフューザのうちの少なくとも１つ並びにそれらの動作を制御する環境制御装置を備え、
前記制御装置は、前記センサが捉えた前記体験者の行動又は生理信号に応じて、前記プロジェクタから投射される拡張現実画像を制御するとともに、前記照明装置、スピーカ、エアコン、送風機、熱線照射器及びアロマディフューザのうちの少なくとも１つの動作を制御することを特徴とする。

請求項１に係る発明によれば、ビデオカメラで数秒～数十分前に撮影したスクリーン装置近傍にいる体験者（１人に限らず複数人の場合もある）の画像又は１時間～数年前に撮影し記録した前記体験者の画像と、事前に記録してある画像とを合成した拡張現実画像をスクリーン装置に投射することができ、体験者自身や体験者の周囲にいる人々や生物の姿及び体験者の周囲にある物体が含まれる拡張現実画像に触れることとなるので、投射画像の内容に対する体験者の興味を強く惹きつけることができる。
特に、子供の体験者においては、拡張現実映像を通じて体験者自身と親や兄弟等との互いのコミュニケーションの状態に気づくことができるため、社会機能の学習を支援する効果も高いことが、実験結果から明らかになっている。
また、自閉症スペクトラム障害などの精神疾患の症状として、自分の社会環境における状態を他者からの視点として客観的見ることができないことが問題になるため、自分が興味をもって動機的に本システムに関わる間に、自分と他者の関係性を本システムにより再生された自分や他者の画像を観たり音声や身体音を聞いたり、自分や他者や周囲の物体の質感を体性感覚的に検知することで、自分や他者の社会的な状態を気づくようになる。

請求項２に係る発明によれば、請求項１に係る発明による効果に加え、柔軟な薄い素材で形成され光透過性と光拡散性とを有するスクリーンを複数枚懸垂させたスクリーン装置を有しているので、体験者はスクリーン装置の内部に入って拡張現実画像を鑑賞でき、スクリーン装置の外側にいる体験者は他の体験者がスクリーン装置の内部に入っていても拡張現実画像を鑑賞することができる。

請求項３に係る発明によれば、スクリーン装置に投射される拡張現実画像を鑑賞する体験者の行動又は生理信号を捉えるセンサと、照明装置、スピーカ、エアコン、送風機、熱線照射器及びアロマディフューザのうちの少なくとも１つ並びにそれらの動作を制御する環境制御装置をさらに備えている。
そして、制御装置は、センサが捉えた体験者の行動又は生理信号に応じて、プロジェクタから投射される拡張現実画像を制御するとともに、環境制御装置は、センサが捉えた体験者の行動又は生理信号に応じて、照明装置、スピーカ、エアコン、送風機、熱線照射器及びアロマディフューザのうちの少なくとも１つの動作を制御するので、請求項１又は２に係る発明による効果に加え、体験者の状態や挙動に依存してスクリーン装置に投射される拡張現実画像が変動するとともに、スクリーン装置内外の照明、音、気温、風及び香りのうちの少なくとも一つが制御されることとなり、拡張現実画像に対する体験者の興味をさらに強く惹きつけることができ、かつ、体験者に拡張現実画像とは異なる視覚、聴覚、触覚又は嗅覚等の刺激を与えることができる。

実施例１に係るプロジェクションシステムの基本構成を示す斜視図。 実施例２に係るプロジェクションシステムの基本構成を示す斜視図。 実施例２に係るプロジェクションシステムの基本構成を示す平面図。 実施例３に係るプロジェクションシステムの基本構成を示す平面図。 変形例（３）に係るプロジェクションシステムの基本構成を示す斜視図。 変形例（７）に係るプロジェクションシステムの基本構成を示す斜視図。

以下、実施例によって本発明の実施形態を説明する。

実施例１に係るプロジェクションシステムの基本構成は、図１に示すとおり、高さ約４ｍの４本の柱１及び各柱１の上端を連結する長さ約５ｍの４本の梁２からなるシステムトラス３と、対向する一対の梁２に掛け渡される６本のスクリーン懸垂部４と、各スクリーン懸垂部４に上端部が固定され吊り下げられる幅約４．８ｍ、長さ約３．９ｍの半透明布からなるスクリーン５と、複数枚のスクリーン５に画像を投射するプロジェクタ７と、スクリーン５に投射される画像を鑑賞する体験者（１人に限らず複数人の場合もある）の画像を撮影するビデオカメラ１４と、ビデオカメラ１４で撮影した体験者の画像と事前に記録してある画像とを合成した拡張現実画像を作成し、プロジェクタ７から拡張現実画像をスクリーン５に投射する制御装置９からなっている。

スクリーン５は半透明布からなっているため、プロジェクタ７から投射される拡張現実画像はプロジェクタ７から離れた側に懸垂されているスクリーン５にも映し出される。
また、体験者は隣接するスクリーン５の間に入ることもできるが、プロジェクタ７からの拡張現実画像は体験者の入った両側のスクリーン５に映し出されるので、体験者はそれらの拡張現実画像を同時に鑑賞することができる。
さらに、６本のスクリーン懸垂部４が掛け渡される一対の梁２の内側にはスクリーン駆動部１０が設置されており、スクリーン懸垂部４を移動又は揺動させることができるようになっている。
そして、スクリーン懸垂部４を周期的又は間欠的に移動若しくは揺動させると、スクリーン５が揺らぐので、体験者は経験したことのない映像を鑑賞することができる。

実施例１のプロジェクションシステムは、上記のように構成されているので、体験者はスクリーン装置６の内部及び外部において、揺れ動くスクリーン５に投射される体験者自身又は周囲の人々等が登場する拡張現実画像を鑑賞することになるので、体験者の興味を強く惹きつけることができる。

実施例２に係るプロジェクションシステムの基本構成（斜視図）を図２に示す。
図２から分かるように、実施例２のプロジェクションシステムには、スクリーン５に投射される拡張現実画像を鑑賞する体験者の行動（動きや発声等）を捉えるセンサ８、照明装置１１及びスピーカ１２並びに照明装置１１とスピーカ１２の動作を制御する環境制御装置１３が付加され、制御装置９がセンサ８の捉えた体験者の行動に応じてプロジェクタ７からの拡張現実画像を制御するとともに、環境制御装置１３にも制御信号を送信する点で異なっており、他の構成は実施例１のプロジェクションシステムと全く同じである。
そのため、他の構成についての説明は省略し、実施例１と変わっていない構成には、実施例１と同じ番号を用いて説明することとする。

実施例２のプロジェクションシステムが備えるセンサ８は、スクリーン装置６のプロジェクタ７側のスクリーン５付近に位置している体験者の動きを捉える人感センサ及び体験者の発声を捉えるマイクロフォンを有しており、体験者の行動に応じた信号を制御装置９（パーソナルコンピュータ）に送信する。
センサ８からの信号を受信した制御装置９は、その信号の強度や波形に応じてプロジェクタ７に制御信号を送信し、その制御信号を受信したプロジェクタ７は、拡張現実画像の種類、明るさ、再生速度等を制御する。
また、制御装置９は、センサ８からの信号の強度や波形に応じて環境制御装置１３にも制御信号を送信し、その制御信号を受信した環境制御装置１３は、照明装置１１の明るさや色及びスピーカ１２から出力される音の種類、大きさ、高低及び速度を制御する。

実施例２のプロジェクションシステムは、実施例１の動作に加えてセンサ８からの信号を受信した制御装置９が、その信号の強度や波形に応じてプロジェクタ７に制御信号を送信し、拡張現実画像の種類、明るさ、再生速度等を制御するとともに、センサ８からの信号の強度や波形に応じて環境制御装置１３にも制御信号を送信し、その制御信号を受信した環境制御装置１３は、照明装置１１の明るさや色及びスピーカ１２から出力される音の種類、大きさ、高低及び速度を制御する。

実施例２のプロジェクションシステムは、上記のように構成されているので、実施例１のプロジェクションシステムによる演出に加え、拡張現実画像の種類、明るさ、再生速度並びに照明装置１１の明るさや色及びスピーカ１２から出力される音の種類、大きさ、高低、速度が、体験者の行動に依存して制御される。
そのため、体験者の状態に応じてタイムリーに体験者の視覚及び聴覚を刺激する演出を施すことができ、体験者は通常体験することのできない独特の雰囲気に浸ることができる。

図３は実施例２に係るプロジェクションシステムの基本構成を示す平面図であり、スクリーン装置６とプロジェクタ７との位置関係を説明するためのものである。
実施例２では、プロジェクタ７は、その光軸がスクリーン５のほぼ中心で直交するように高さ約２ｍ、最も近いスクリーン５との距離が約１０ｍの位置に設置されている。
なお、スクリーン装置６とプロジェクタ７との位置関係は、実施例１でも同様である。

図４は実施例３に係るプロジェクションシステムの基本構成を示す平面図である。
実施例３のプロジェクションシステムは、実施例２のプロジェクションシステムに対して、プロジェクタ７及びビデオカメラ１４が１つ増設され、センサ８、照明装置１１及びスピーカ１２が各々２つ増設されているだけが異なる。
そして、増設されたプロジェクタ７及びセンサ８は、実施例２のプロジェクタ７及びセンサ８をスクリーン装置６の中心を通る鉛直軸の回りに９０度回転させた位置に設置されており、増設された照明装置１１及びスピーカ１２は、プロジェクションシステム本体を挟んで実施例２の照明装置１１及びスピーカ１２と対向する位置に設置されている。

実施例３のスクリーン装置６は、スクリーン５が揺らいで、増設されたプロジェクタ７からの投射画像もスクリーン５に投影されるため、実施例１及び２のままとしている。
しかし、増設されたプロジェクタ７からの投射画像がより鮮明に投影されるように、対向する一対の梁２に、６本のスクリーン懸垂部４と直交する複数本の第２スクリーン懸垂部を掛け渡し、隣接するスクリーン５の隙間に懸垂可能な細長い半透明布からなる第２スクリーンの上端部を第２スクリーン懸垂部に固定しても良い。

実施例１～３の変形例を列記する。
（１）実施例１～３のシステムトラス３は、高さ約４ｍの４本の柱１及び各柱の上端を連結する長さ約５ｍの４本の梁２からなるものであったが、柱１及び梁２の長さは長くても短くても良く、全体の形状も直方体状に限らず、三角柱状、六角柱状等どのような形状であっても良い。
（２）実施例１～３のスクリーン懸垂部４は、一対の梁２に掛け渡されるとともに、梁２に沿って移動するようになっていたが、梁２に固定されていても良い。
また、スクリーン懸垂部４を４本の梁２への配置は、対向する一対の梁２に平行に掛け渡すだけでなく、斜めに掛け渡したり隣接する２本の梁２に掛け渡したり等自由である。
さらに、軸を中心に回動できるようにしてスクリーン５を巻き取ったり伸ばしたりできるようにしても良い。

（３）実施例１～３のスクリーン５は、半透明布からなるものであったが、光透過性と光拡散性とを有する柔軟な薄いものであれば、材質は紙や樹脂フィルム等どのような素材でも良い。
また、実施例１～３では、１本のスクリーン懸垂部４に１枚の半透明布を懸垂したが、図５のように、幅の狭い半透明布を複数枚（図５の場合、幅約６０ｃｍ、長さ約３．９ｍの半透明布を８枚）１本のスクリーン懸垂部４に懸垂するようにしても良い。
（４）実施例１～３のセンサ８は、梁２の中間部に設置されていたが、システムトラス３の内部又は近くであれば、設置場所はどこでも良い。
また、センサ８は画像を鑑賞する体験者の行動（動きや発声等）を捉えるために設置されていたが、それに加えてシステムトラス３の内部や周囲の環境（温度、湿度、風速、明るさ等）を検知できるようにしても良い。
さらに、体験者の行動（動きや発声等）又は生理信号（体温、心拍、筋電、脳波等）を捉えるため、体験者に装着するようにしても良い。

（５）実施例１～３のプロジェクションシステムにおける拡張現実画像は、ビデオカメラ１４によって撮影した現在の画像と事前に記録してある画像とを合成したものであったが、ビデオカメラ１４によって撮影した数秒～数十分前の画像と事前に記録してある画像とを合成したものとしても良く、体験者の画像を事前に入手できる場合には、１時間～数年前に撮影し記録した画像と事前に記録してある画像とを合成したものとしても良い。
（６）実施例１～３のプロジェクションシステムにおけるビデオカメラ１４は、通常のビデオカメラであったが、３Ｄデプスカメラ（深度センサ付きカメラ）としても良い。
そうした場合、そのセンサデータを利用しＰＣプログラムによって立体感のある拡張現実画像を投射することができる。
（７）実施例１～３及び変形例（３）のプロジェクションシステムにおけるスクリーン５は、いずれも光透過性と光拡散性とを有する柔軟な薄いものをスクリーン懸垂部４に懸垂させたものであったが、スクリーン５に代えて又は加えて、図６に示すように厚みのある物体スクリーン１５を用いても良く、物体スクリーン１５としては、木等の硬い素材、ウレタン等の柔らかい素材及び硬い素材若しくは柔らかい素材に布や皮を張ったもののうちいずれでも良い。
物体スクリーン１５は、より現実的な質感を表現することができ、触ると布やビニールスクリーンとは異なる物体の体性感覚的質感を誘起するので、より現実感を提供することができる。
また、物体スクリーン１５を温冷制御可能としても良く、そうした場合、体性感覚による質感に温感が加わるので、より現実の人間、動物又は物体に近い表現を提供できる。
さらに、その表面は平面に限らず、表面に凹凸のあるもの、球面や膨らみのある曲面状のものであっても良く、モーター駆動や人力により物体スクリーン１５全体又は物体スクリーン１５の表面を動かすことができるようにしても良い。
そして、柔らかい表面の物体スクリーン１５や表面に凹凸のある物体スクリーン１５を用いた場合には、物体スクリーン１５に触れて感触を楽しむこともできる。

（８）実施例２及び３のプロジェクションシステムは、照明装置１１とスピーカ１２を備えていたが、エアコン、送風機、熱線照射器及びアロマディフューザを備えていても良く、照明装置、スピーカ、エアコン、送風機、熱線照射器及びアロマディフューザのうちの少なくとも１つを備えていれば良い。
そして、環境制御装置１３で制御可能な様々な装置を備えれば、体験者の視覚、聴覚だけでなく寒暖の感覚や触覚、嗅覚等の刺激も与えることができ、複数の感覚刺激を受けることによる生体内認知における相乗効果が促されて、感性の変動を誘発することが可能となる。

１ 柱 ２ 梁 ３ システムトラス ４ スクリーン懸垂部
５ スクリーン ６ スクリーン装置 ７ プロジェクタ ８ センサ
９ 制御装置 １０ スクリーン駆動部 １１ 照明装置 １２ スピーカ
１３ 環境制御装置 １４ ビデオカメラ １５ 物体スクリーン

Claims (3)

1. ビデオカメラと、プロジェクタと、スクリーン装置と、前記プロジェクタから前記スクリーン装置に投射される画像を制御する制御装置とを有するプロジェクションシステムであって、
   前記制御装置は、前記ビデオカメラで数秒～数十分前に撮影した前記スクリーン装置近傍にいる体験者の画像又は１時間～数年前に撮影し記録した前記体験者の画像と、事前に記録してある画像とを合成した拡張現実画像を前記スクリーン装置に投射する
   ことを特徴とするプロジェクションシステム。
2. 前記スクリーン装置は、柔軟な薄い素材で形成され光透過性と光拡散性とを有するスクリーンを複数枚懸垂させたものである
   ことを特徴とする請求項１に記載のプロジェクションシステム。
3. 前記スクリーン装置の近傍に設置又は前記体験者に装着されるセンサと、
   照明装置、スピーカ、エアコン、送風機、熱線照射器及びアロマディフューザのうちの少なくとも１つ並びにそれらの動作を制御する環境制御装置を備え、
   前記制御装置は、前記センサが捉えた前記体験者の行動又は生理信号に応じて、前記プロジェクタから投射される拡張現実画像を制御するとともに、前記照明装置、スピーカ、エアコン、送風機、熱線照射器及びアロマディフューザのうちの少なくとも１つの動作を制御する
   ことを特徴とする請求項１又は２に記載のプロジェクションシステム。

Images