WO2006006642A1

WO2006006642A1 - 映像演出システム及び映像演出方法

Info

Publication number: WO2006006642A1
Application number: PCT/JP2005/012982
Authority: WO
Inventors: Kazunobu Azuma
Original assignee: Yugenkaisha Azu Geijyutu Kagaku Kenkyusho
Priority date: 2004-07-13
Filing date: 2005-07-07
Publication date: 2006-01-19
Also published as: JP4833067B2; JPWO2006006642A1

Abstract

観客が床面や階段等の踏み面に映し出される映像との一体感を得ることにより映像の現実感を感じることができる映像演出システムである。受信した映像信号に基づいて床面(20a)又は階段等の踏み面に映像を映し出す映像出力装置(22)と、床面(20a)又は踏み面上にこの上を移動する移動体(6)が載っている場合に、床面(20a)又は踏み面上における移動体(6)の接触部分の位置又は/及び大きさを検出する検出装置(24,26)と、映像素材(48c)を保持し、この映像素材(48c)に検出装置(24,26)が検出した移動体(6)の接触部分の位置又は/及び大きさに対応する加工処理を施した映像信号を映像出力装置(22)に送信する演出制御装置(38)とを備えたものである。

Description

映像演出システム及び映像演出方法

,技術分野

本発明は、床面や階段等の踏み面に対して、プロジェクタやテレビモニタ等の映像出力装置により映像を映し出す際に、床面や踏み面に接触した移動体の接触部分の位置や大きさ等に応じて映像をリアルタイムで変化させる映像演出システム及び映像演出方法に関するものである。背景技術

近時において、プロジェクタやテレビモニタ等の映像出力装置による映像演出が、アミズメントスペースや店舗等で行なわれている。そして、このような映像演出の一形態として、観客が歩き回ることができる床面や階段の踏み面等に、所定の映像を映し出すようにしたものがあった。

このように、映像を床面等に映し出す方法としては、プロジェクタを天井に固定して、このプロジェクタから出力される映像を床面等に投影する方法があつた。

また、このように、天井側から映像を投影する方法とは異なる別の方法として、テレビモニタ等を床に埋め込んで、床面から映像を出力する方法があった。このように、テレビモニタ等により床面から映像を出力する場合には、この床面上に観客等の荷重が加わるため、床材として透光性を有する強化ガラス等の保護部林を用い、この保護部林の下側にテレビモニタ等を埋め込んだ埋込み型表示装置を利用する必要があった（例えば、特許文献 1又は特許文献 2参照）。

上記のようなプロジェクタ、又は特許文献 1や特許文献 2のテレビモニタのような埋込み型表示装置を用いて映像を床面等に映し出すようにすれば、観客は単に映像を離れた位置から見るだけでなく、映し出された映像上で動き回ることができるため、観客は現実とは異なる空間に居るような臨場感を得ることができた。

また、従来において、上記のようなプロジェクタ、又は前記特許文献 1や特許文献 2のような埋込み型表示装置を用いて、映像を単に床面に映し出すだけでなく、床面に映した映像をアトラクションゲームの演出に利用したものがあった（例えば、特許文献 3参照）この特許文献 3のアトラクションゲームは、模擬一本橋といわれる、床面上から若干の高さを有する水平の細い橋を踏み外さないように歩くゲームであって、プレーヤーが模擬〜本橋から踏み外して床面に足を着けるとレーザーセンサにより検出さるようになっているものであった。そして、模擬一本橋があたかも高い所にあるように見せるために、床面に深い谷底の映像を映し出すようになっていた。

特許文献 1 特開平 9一 1 7 5 8 5 9号公報

特許文献 2 特開 2 0 0 2— 0 2 3 6 7 4号公報

特許文献 3 特開 2 0 0 1— 0 0 0 5 7 8号公報発明の開示

発明が解決しょうとする課題

し力しながら、上記のようなプロジェクタ、又は前記特許文献 1や特許文献 2のような埋込み型表示装置を用いだ映像演出は、予め用意された所定の映像素材を床面に映し出しているだけにすぎず、床面や踏み面に接触した移動体の接触部分の位置や大きさ等に応じて映像をリアルタイムで変化させることができないので、観客は映像と自己の動作との一体感を得ることができな'レ、ために、現実感に欠けるという問題があつた。

また、前記特許文献 3のアトラクションゲームのように、映像演出として床面に映し出した谷底等の映像は、模擬一本橋又は床面上におけるプレーヤーの足の位置や大きさ等に対応して変化するようにはなっていないため、上記のようなプロジェクタ、又は前記特許文献 1や特許文献 2のような埋込み型表示装置による映像演出と同様に、プレーヤ一は映像との一体感を得ることができないために、現実感に欠けるという問題があった。

そこで本発明は、上記問題点に鑑みて、観客が床面や階段等の踏み面に映し出される映像との一体感を得ることにより映像の現実感を感じることができる映像演出システム及び映像演出方法を提供することを課題とするものである。課題を解決するための手段

上記課題を解決するために、本発明による映像演出システムは、

受信した映像信号に基づいて床面又は階段等の踏み面に映像を映し出す映像出力装置と前記床面又は踏み面上にこの上を移動する移動体が載っている場合に、床面又は踏み面上における移動体の接触部分の位置又は Z及び大きさを検出する検出装置と、

映像素材を保持し、この映像素材に前記検出装置が検出した前記移動体の接触部分の位置又は z及び大きさに対応する加工処理を施した映像信号を前記映像出力装置に送信する演出制御装置とを備えていることを特徴とするものである。また、上記課題を解決するために、本発明による映像演出システムは、

受信した映像信号に基づいて床面又は階段等の踏み面に映像を映し出す映像出力装置と前記床面又は踏み面上にこの上を移動する移動体が载つている場合に、床面又は踏み面上における移動体の接触部分の位置及び大きさを検出する検出装置と、

前記検出装置が検出した前記移動体の接触部分の位置又は Z及び大きさに対応する映像を生成して前記映像出力装置に送信する演出制御装置とを備えていることを特徴とするものである。また、上記課題を解決するために、本発明による映像演出方法は、 .

床面又は階段等の踏み面に映像を映し出す映像出力装置と、

前記床面又は踏み面上にこの上を移動する移動体が載っている場合に、床面又は踏み面上における移動体の接触部分の位置及び大きさを検出する検出装置とを用い、

前記映像出力装置により映し出される映像に、前記検出装置が検出した前記移動体の接触部分の位置及び大きさに対応して、コンピュータにより自動的に加工処理を施すようにしたことを特徴とするものである。発明の効果

このような本発明の映像演出システム及び映像演出方法によれば、観客の動作と床面や階段等の踏み面に映し出される映像とが相互に作用するため、観客は、このような映像との一体感を得ることにより映像の現実感を感じることができる。発明を実施するための最良の形態

以下、本発明に係る映像演出システム及び映像演出方法の実施の形態について、図面に基づいて具体的に説明する。

図 1ないし図 1 0は、本発明の一実施の形態に係る映像演出システム 2及ぴ映像演出方法について説明するために参照する図である。 12982 図 1に示すように、本実施の形態に係る映像演出システム 2は、アミューズメントスぺ —ス等の入場用通路 4に構築される。この入場用通路 4は、入場する観客 6 (移動体に相当）の進行方向途中に配置される 2つのゲート 8 , 1 0に挟まれており、観客 6はゲート 8側から入.つてきて、入場用通路 4の床 2 0の上を歩いてゲート 1 0側から退出するようになっている。

また、この入場用通路 4の床 2 0は、その幅方向に所定の長さを有しており、この長さは二人の観客 6が横に並んで歩くことができないような長さになっている。したがって、複数の観客 6が入場する場合は、必然的に進行方向に一列になって進行するようになってレヽる。

ゲート 8から入場用通路 4へ入ってきた観客 6は、ゲート 1 0から退出するまでの間、映像演出システム 2により入場用通路 4内で行なわれる後述の映像演出による現象を、現実感を伴なつて体験することができる。

図 2に示すように、入場用通路 4に構築される映像演出システム 2は、床 2 0、映像出力装置 2 2、機器調節器 2 8、音響装置 3 0、送風機 3 2 (空調機に相当）、照明灯 3 4 、及びコンピュータ 3 8 (演出制御装置に相当）を備えている。

また、映像演出システム 2は、図 3に示すように、エリアセンサー 2 4 ( 2 4 a , 2 4 b ) 、 2 6 ( 2 6 a , 2 6 b ) (検出装置に相当）を備えている。このエリアセンサー 2 4， 2 6についての詳細な説明は後述するが、エリアセンサー 2 4とエリアセンサー 2 6 とは、互いに直角の向きに配置されている。図 2において、エリアセンサー 2 6 a , 2 6 bは、観客 6を挟んで紙面の奥側と手前側に配置されるため図示しないことにして、エリァセンサー 2 4 a , 2 4 bだけを図示することにする。

図 2に示す床 2 0は、透光性を有すると共に、この床 2 0の上側の床面 2 0 a上を観客 6が歩行しても破損したり傷付いたりすることがないように一定の強度及び硬さを有している。このような床 2 0としては、透明な強化ガラスや、透明で一定の強度及び硬さを有する合成樹脂材等を用いることができる。

映像出力装置 2 2は、プロジェクター 2 2 a (投影機）と背面透過型スクリーン 2 2 b で構成される。背面透過型スクリーン 2 2 bは、その平面の大きさが床面 2 0 aとほぼ同じ大きさであって、床 2 0の下側の近傍に、床 2 0と平行に配置される。プロジェクター 2 2 aは、背面透過型スクリーン 2 2 bより下方の位置に配置され、コンピュータ 3 8から映像信号を受信して、その映像を背面透過型スクリーン 2 2 bに投影するようになっている。床面 2 0 a上を歩行する観客 6からは、背面透過型スクリーン 2 2 bに投影された映像が床面 2 0 aに映し出されたように見える。

エリアセンサー 2 4は、投光器 2 4 aと受光器 2 4 bを備えている光透過型センサーである。この投光器 2 4 aと受光器^{2 4} bのそれぞれは、その長さ方向が床 ² 0の幅方向の長さとほぼ同じ長さを有する略角棒形状になっている。そして、投光器 2 4 aと受光器 2 4 bのそれぞれは、その長さ方向が床 2 0の幅方向と一致するように向けられ、床 2 0の長さ方向の長さ範囲を挟んで互いに向き合うように配置される。

図示しないが、エリアセンサー 2 4の投光器 2 4 aには、その長さ方向に複数の発光素子が数ミリ程度の一定間隔で一列に並んで設けられている。そして、受光器 2 4 bには、投光器 2 4 aの発光素子のそれぞれに対応して、複数の受光素子が発光素子と同じ間隔で一列に並んで設けられている。

したがって、互いに対応する投光器 2 4 aの発光素子と受光器 2 4 bの受光素子を結ぶ光軸のそれぞれは、図 3に示すように、床 2 0の長さ方向を向いて、互いの光軸は床 2 0 の幅方向に一定間隔を有して平行に並ぶようになっている。

また、エリアセンサ一 2 6は、図 3に示すように、投光器 2 6 aと受光器 2 6 bを備えており、投光器 2 6 aと受光器 2 6 bのそれぞれは、その長さ方向が床 2 0の長さ方向に向けられている。そして、投光器 2 6 aと受光器 2 6 bのそれぞれは、床 2 0の長さ方向の長さとほぼ同じ長さを有し、床 2 0の幅方向の長さ範囲を挟んで互いに向き合うように配置されている。

投光器 2 6 aと受光器 2 6 bのそれぞれは、エリアセンサー 2 4の投光器 2 4 a及び受光器 2 4 bと同様に構成されており、互いに対応する投光器 2 6 aの発光素子と受光器 2 6 bの受光素子を結ぶ複数の光軸のそれぞれは、床 2 0の幅方向を向いて、これらは、床 2 0の長さ方向に並んで、互いに平行になっている。

このようなエリアセンサー 2 6の複数の光軸は、ェリァセンサー 2 4の光軸と同様に、互いに隣り合う光軸同士が一定間隔を有するように並んでいるが、この間隔は、エリアセンサー 2 4の間隔と同じくらいになっていてもよいし、エリアセンサー 2 4の間隔と異なつていてもかまわない。

また、エリァセンサー 2 4及びエリアセンサー 2 6のそれぞれの複数の光軸と床面 2 0 aとの髙さ方向の間隔は、床面 2 0 a上を観客 6が歩行している場合に、この観客 6の足の裏が床面 2 0 aに接触する瞬間と、観客 6の足の裏の範囲を通過する光軸が遮蔽される瞬間とが、ほぼ同時であるとみなせる程度に狭くなつている。このため、エリアセンサー 2 4及びエリアセンサー 2 6は、この観客 6の足の裏が床面 2 0 aに接触した瞬間を検出することができるようになっている。

また、図 2に示す音響装置 3 0、送風機 3 2及び照明灯 3 4は、入場用通路 4の任意の位置に配置されている。送風機 3 2及び照明灯 3 4は、その出力の大きさ等を機器調節器 2 8により手動で調節することができるようになつている。

コンピュータ 3 8は、映像出力装置 2 2、エリアセンサー 2 4， 2 6及び音響装置 3 0 を直接制御し、また、機器調節器 2 8を介して送風機 3 2及び照明灯 3 4を制御するようになっている。

図 4は、コンピュータ 3 8の構成を示すブロック図である。コンピュータ 3 8は、判定手段 4 0、映像生成手段 4 2、映像合成手段 4 4、映像効果手段 4 6、記憶手段 4 8、機器制御手段 5 0、音響制御手段 5 2、演出設定手段 5 4、操作手段 5 5、更新手段 5 6、及び公衆回線 5 8に接続された通信手段 6 0を備えている。

そして、コンピュータ 3 8は、記億手段 4 8に補足情報 4 8 a、映像生成プログラム 4 8 b、映像素材 4 8 c、映像効果プログラム 4 8 d、音生成プログラム 4 8 e、音素材 4 8 f 、音効果プログラム 4 8 g、及び機器制御プログラム 4 8 hを記憶するようになっている。

映像生成プログラム 4 8 b及び映像効果プログラム 4 8 dは、映像に対して後述するような加工処理を行なうための映像加工用プログラムであり、音生成プログラム 4 8 e及ぴ音効果プログラム 4 8 gは、後述するように、音響装置 3 0に効果音を出力させるための効果音用プログラムである。

記憶手段 4 8の補足情報 4 8 aには、エリアセンサー 2 4， 2 6の各光軸と床面 2 0 a 上における位置との対応関係、床面 2 0 a上の実際の位置と映像出力装置 2 2によって映し出される映像上の位置との対応関係、及び観客 6が床面 2 0 a上を歩行する方向として予め定められている進行方向が記憶されている。

また、補足情報 4 8 aには、床面 2 0 a上を歩行すると想定される観客 6について、その接触部分としての足の裏の典型的な形状が記憶されている。この足の裏の典型的な形状は、所定の大きさごとに左足のものと右足のものが記億されている。また、このような足の裏の典型的な形状は、例えばウォーキングシューズのように、つま先側とかかと側の形状が繋がって一体的になっているものと、ハイヒールのように、つま先側とかかと側の形状が互いに分離しているものとでは、区別して記憶されている。

また、映像生成プログラム 4 8 bは、映像生成手段 4 2の動作内容を規定するプロダラムである。映像素材 4 8 cは、撮影した動画のデータ情報であって、映像生成手段 4 2、映像合成手段 4 4及び映像効果手段 4 6による加工処理の対象となるものであり、記憶手段 4 8には、複数の映像素材 4 8 cが記億されている。また、映像効果プログラム 4 8 d は、映像効果手段 4 6の動作内容を規定するプログラムである。

また、音生成プログラム 4 8 e及び音効果プログラム 4 8 gは、音響制御手段⁵ 2が音響装置 3 0にどのような効果音を出力させるのかについて規定するプログラムである。また、音素材 4 8 f は、録音された音のデータ情報であり、記憶手段 4 8には、複数の音素材 4 8 fが記憶されている。このような音素材 4 8 f には、音楽のようなものも含まれる判定手段 4 0は、ェリァセンサー 2 4， 2 6による検出情報を取得すると共に、記憶手段 4 8の補足情報 4 8 aを参照することにより、床面 2 0 a上を歩行する観客 6の両足のそれぞれについて、床面 2 0 aに接触した足の裏の位置、大きさ及び形状を以下のように判断するようになっている。

足の裏（靴底）のつま先側とかかと側が一体的になっているウォーキングシューズ等を履いた観客 6が床面 2 0 a上を進行方向に進んで、図 5に示すように、最初に左足（一の部位に相当）を踏み出し、左足の裏が床面 2 0 a上に接触したとする。ここで、この左足の裏が床面 2 0 aに接触した範囲を符号 Lで表し、右足の裏が接触した範囲は符号 Rで表すこととする。また、図 5中の縦方向及び横方向の各矢印は、エリアセンサー 2 4， 2 6 の光軸である。

エリアセンサ一 2 4の複数の光軸は、床面 2 0 aの長さ方向（観客 6の進行方向と反対方向）を向き、エリアセンサ一 2 6の複数の光軸は、床面 2 0 aの幅方向（図中、横右方向）を向いているので、左足の裏が床面 2 0 aに接触した範囲 Lに対応し、それぞれの検出方向の一定の範囲で光軸が遮蔽されるため、左足の裏が床面 2 0 aに接触した範囲しの大きさを検出することができる。

また、図 1に示すように、床面 2 0 aは一定の幅になっているので、観客 6の左足はその進行方向における床面 2 0 aの左側半分の位置で検出されることになるため（図 3参照 ) 、床面 2 0 aの左側半分に対応するエリアセンサ一 2 4の光軸が遮蔽されたことにより、図 4の補足情報 4 8 aを参照し、遮蔽された光軸と床面 2 0 aの幅方向の位置を比較して、左足の裏が床面 2 0 aに接触した範囲 Lの位置、及び床面 2 0 aに接触したのが左足であることを検出することができる。

また、判定手段 4 0は、左足の裏が床面 2 0 aに接触した範囲 Lの大きさ、及ぴこの範囲 Lが床面 2 0 aの左側半分で検出された左足であることに基づき、補足情報 4 8 aを参照して、このような条件に最も近似する足の裏の典型的な形状を選択し、これが観客 6の左足の裏の形状であると判断するようになっている。

また、図示しないが、観客 6の足の裏が、ハイヒールのように、つま先側とかかと側の形状が互いに分離しているものである場合には、つま先側とかかと側の形状の間でェリァセンサー 2 4又はエリアセンサー 2 6の光軸が遮蔽されないため、図 5に示すようなつま先側とかかと側が一体的になっているウォーキングシューズ等と区別することができる。したがって、観客 6の足の裏としてハイヒール等をエリアセンサー 2 4 , 2 6が検出した場合には、判定手段 4 0は、補足情報 4 8 aを参照し、このような条件に最も近似する足の裏の典型的な形状として、つま先側とかかと側の形状が互いに分離しているものを選択し、これが観客 6の足の裏であると判断することができるようになつている。

また、図 5に示すように、観客 6が左足の次に踏み出す右足（他の部位に相当）について、この右足の裏が床面 2 0 aに接触したときには、この右足の裏が床面 2 0 aに接触する範囲 Rの形状は、一般的に左足の裏が床面 2 0 aに接触する範囲 Lの形状と対称のはずであるから、この右足の裏の接触する範囲 Rの形状を推定することができる。そして、このように推定した右足の裏の接触する範囲の形状は、実際の右足の裏の接触する範囲 R の位置と大きさ、及び補足情報 4 8 aを参照して補正することができる。

また、図 6に示すように、左足の次に右足を踏み出したときに、右足の裏の接触する範囲 Rのかかと側の一部が、左足の裏の接触する範囲 Lと床面 2 0 aの長さ方向で重なったような場合であっても、判定手段 4 0は、右足の裏の接触する範囲 Rの位置、大きさ及ぴ形状を判断することができるようになつている。

すなわち、右足を踏み出したときに、床面 2 0 a上の遮蔽物を床面 2 0の長さ方向の各位置において検出するエリアセンサー 2 6に関して、右足の裏の接触する範囲 Rのつま先がわの部分は、左足の裏の接触する範囲 Lが遮蔽する光軸とは別の光軸を新たに遮蔽するようになるため、これを検出することができる。また、遮蔽物を床面 2 0の幅方向の各位置において検出するエリアセンサー 2 4は、右足の裏の接触する範囲 Rを、左足の裏の接触する範囲 Lとは別個に新たに検出することができる。 2 したがって、エリアセンサー 2 4及びエリアセンサー 2 6の新たに遮蔽された光軸の位置と範囲、及び左足の裏の接触する範囲 Lから推定される右足の裏の接触する範囲 Rの大きさと形状に基づいて、この右足の裏の接触する範囲 Rの位置、大きさ及び形状を判断（推定）することができるようになつている。

また、図 6に示す右足を踏み出した場合とは別に、図 7に示すように、左足の次に右足を踏み出した場合に、右足の裏の接触する範囲 Rのかかと側の一部が、左足の裏の接触する範囲 Lと床面 2 0の長さ方向及ぴ幅方向の両方において重なったような場合や、図 8に示すように、右足の裏の接触する範囲 Rの全部が、左足の裏の接触する範囲 Lと床面 2 0 の長さ方向において重なったような場合でも、エリアセンサー 2 4及びエリアセンサー 2 6の新たに遮蔽された光軸の位置と範囲、及び左足の裏の接触する範囲 Lから推定される右足の裏の接触する範囲 Rの大きさと形状に基づいて、この右足の裏の接触する範囲の位置、大きさ及び形状を判断（推定）するようになつている。

図 4に示すように、判定手段 4 0は、このように判断した観客 6の足の裏の位置、大きさ及び形状の情報を、映像生成手段 4 2、映像効果手段 4 6、機器制御手段 5 0及び音響制御手段 5 2のそれぞれに出力するようになっている。

なお、判定手段 4 0の処理動作についての以上の説明は、観客 6が左足の次に右足を踏み出したような場合に基づいているが、右足の次に左足を踏み出すような逆の場合であつても、判定手段 4 0の処理動作は同様に行なわれる。

また、図 5ないし図 8に示すように、判定手段 4 0の処理動作についての以上の説明は、主として観客 6の足の裏の形状が、つま先側とかかと側が一体的になっている場合に基づいているものであるが、観客 6の足の裏の形状が、つま先側とかかと側の形状がハイヒールのように互いに分離しているものである場合であっても、判定手段 4 0の処理動作は同様に行なわれる。

次に、図 4に示すように、映像生成手段 4 2は、映像生成プログラム 4 8 bに基づいて、付加用映像を新たに生成するようになっている。映像生成手段 4 2が生成した付加用映像は、映像合成手段 4 4に一定時間出力されるようになっている。

このように、映像生成手段 4 2の動作は、記憶手段 4 8の映像生成プログラム 4 8 bに基づいて行なわれるようになっているが、映像生成プログラム 4 8 bは、この映像生成プログラム 4 8 bが有する複数のテーマの中から選択された、いずれかのテーマに沿って、映像生成手段 4 2に付加用映像を生成させるような内容になっている。映像生成手段 4 2が、映像生成プログラム 4 8 bに基づいて、どのようなテーマに沿つた付加用映像を生成するのかについては、後述するように、演出設定手段 5 4が設定するようになっており、また、この演出設定手段 5 4は、映像生成手段 4 2に付加用映像を生成させないよう設定することもできるようになつている。映像生成手段 4 2は、このような付加用映像を生成させない設定にされている場合には、付加用映像を生成せず、映像合成手段 4 4に対して何も出力しない。

映像合成手段 4 4は、映像素材 4 8 cに対する加工処理として、映像生成手段 4 2から受信した付加用映像を、時間の経過に合わせて記憶手段 4 8から継続的に読み出しているいずれかの映像素材 4 8 cに重ね合せて合成するようになっている。そして、この付加用映像と映像素材 4 8 cとが合成された合成映像は、映像効果手段 4 6に出力されるようになっている。

ここで、映像生成手段 4 2が、演出設定手段 5 4の設定により、付加用映像を生成しない場合には、映像合成手段 4 4は、記憶手段 4 8から読み出したいずれかの映像素材 4 8 cを、そのまま映像効果手段 4 6に出力するようになる。このように、付加用映像が合成されない映像素材 4 8 cについても、映像合成手段 4 4から出力された後は、合成映像ということとする。

また、演出設定手段 5 4により、映像生成手段 4 2から映像合成手段 4 4に、付加用映像が出力されるように設定されている場合であっても、後述するように、映像合成手段 4 4が映像素材 4 8 cを読み出さないように設定されていることがある。このような場合には、映像合成手段 4 4は、映像生成手段 4 2から受信した付加用映像を、そのまま映像効果手段 4 6に出力するようになる。このように、映像素材 4 8 cが読み出されないために、映像素材 4 8 cに合成されない付加用映像についても、映像合成手段 4 4から出力された後は、合成映像ということとする。

映像効果手段 4 6は、映像合成手段 4 4から出力された合成映像に対する加工処理として、この合成映像に映像効果プログラム 4 8 dに基づく所定の映像効果を与えて、この映像信号をプロジェクタ 2 2 aに送信するようになっている。

ここで、映像効果手段 4 6は、記憶手段 4 8の映像効果プログラム 4 8 dに基づいて動作するようになっているが、映像効果プログラム 4 8 dは、映像効果手段 4 6に様々な種類の映像効果の処理を行なわせることができるような内容になっており、映像効果手段 4 6は、このような映像効果プログラム 4 8 dにより処理することができる複数の映像効果の中から、いずれかの選択された映像効果の処理を行なうようになっている。

映像効果手段 4 6が、映像効果プログラム 4 8 dに基づいて、いずれの映像効果の処理を行なうのかについては、後述するように、演出設定手段 5 4が設定するようになっており、. また、この演出設定手段 5 4は、映像効果手段 4 6による映像効果の処理が行なわれないよう設定することもできるようになつている。映像効果手段 4 6は、このような映像効果を行なわない設定にされている場合には、受信した合成映像を、そのままプロジェクタ 2 2 aに送信するようになっている。

また、機器制御手段 5 0は、判定手段 4 0から観客 6の足の裏の位置、大きさ及び形状の情報を受信すると、機器制御プログラム 4 8 hに基づレ、て、図 2に示す機器調節器 2 8 に対し、送風機 3 2及ぴ照明灯 3 4の動作を制御するための信号を出力するようになってレ、る。

ここで、図 4に示すように、機器制御手段 5 0は、記億手段 4 8の機器制御プログラム 4 8 hに基づいて、送風機 3 2及び照明灯 3 4を動作させるようになっているが、この機器制御手段 5 0は、機器制御プログラム 4 8 h中の複数の動作方法の中から選択された、いずれかの動作方法に基づいて、送風機 3 2及び照明灯 3 4を動作させるようになつており、いずれの動作方法に基づくかについては、後述するように、演出設定手段 5 4が設定するようになつている。

また、コンピュータ 3 8の音響制御手段 5 2は、判定手段 4 0から観客 6の足の裏の位置、大きさ及び形状の情報を受信すると、音生成プログラム 4 8 e、音素材 4 8 f及び音効果プログラム 4 8 gに基づき、図 2に示す音響装置 3 0から効果音を出力させるようになっている。

図 4の音生成プログラム 4 8 eは、音響制御手段 5 2が新たに効果音を生成する際に、この効果音を生成する動作内容を規定するプログラムである。また、音効果プログラム 4 8 gは、音生成プログラム 4 8 eに基づいて生成された音や音素材 4 8 f を、音響制御手段 5 2に、どのような場合に、どのようにして出力させるかを規定するプログラムである例えば、音響制御手段 5 2が、判定手段 4 0から特定の情報を受信した場合に、音生成プログラム 4 8 eに基づいて生成された音や音素材 4 8 f に対して、エコー（残響効果）等の特殊な効果を与えて出力させるようになつている。

また、音響制御手段 5 2が、音生成プログラム 4 8 e、音素材 4 8 f及ぴ音効果プログラム 4 8 gに基づいて、音響装置 3 0にどのような効果音を出力させるかについては、後述するように、演出設定手段 5 4が設定するようになっている。

更新手段 5 6は、公衆回線 5 8に接続された通信手段 6 0が、この公衆回線 5 8を通じて、記憶手段 4 8の補足情報 4 8 a、映像生成プログラム 4 8 b、映像効果プログラム 4 8 d、音生成プログラム 4 8 e、音効果プログラム 4 8 g、又は機器制御プログラム 4 8 hのいずれかについて、新しい内容のデータを外部から受信した場合に、記憶手段 4 8の対応する内容を、受信した新しい内容のものに変更するようになっている。

また、更新手段 5 6は、通信手段 6 0が公衆回線 5 8を通じて、映像素材 4 8 c又は音素材 4 8 f のデータを受信した場合には、この受信した映像素材 4 8 c又は音素材 4 8 f のデータを、すでに記憶手段 4 8に記憶されている映像素材 4 8 c又は音素材 4 8 f と一緒に、追加して記憶させるようになつている。

演出設定手段 5 4は、この演出設定手段 5 4に接続された操作手段 5 5からの入力操作に基づいて、判定手段 4 0、映像生成手段 4 2、映像合成手段 4 4、映像効果手段 4 6、機器制御手段 5 0、及び音響制御手段 5 2のそれぞれの動作内容を、以下のように設定するようになっている。

操作手段 5 5からの入力操作が、判定手段 4 0の設定を変更するものであった場合には、演出設定手段 5 4は、この入力操作に基づいて、判定手段 4 0が動作するような設定、又は動作しないような設定にすることができるようになつている。判定手段 4 0は、動作しないように設定されると、エリアセンサー 2 4， 2 6からの検出情報の取得を行なわず、また、映像生成手段 4 2、映像効果手段 4 6、機器制御手段 5 0及び音響制御手段への信号出力を行なわなくなる。

操作手段 5 5からの入力操作が、映像生成手段 4 2の設定を変更するものであった場合には、演出設定手段 5 4はこの入力操作に基づいて、映像生成手段 4 2が、映像生成プログラム 4 8 aのいずれのテーマに沿って付加用映像を生成するのかについて設定するようになっている。また、映像生成手段 4 2に付加用映像を生成させるか、又は生成させないようにするかについても設定することができるようになっている。

操作手段 5 5からの入力操作が、映像合成手段 4 4の設定を変更するものであった場合には、演出設定手段 5 4は、この入力操作に基づいて、映像合成手段 4 4が記憶手段 4 8 の複数の映像素材 4 8 cの中から、いずれのものを読み出すかについて設定するようになつている。また、映像合成手段 4 4が、いずれの映像素材 4 8 cについても読み出さないよう設定することもできるようになつている。

操作手段 5 5からの入力操作が、映像効果手段 4 6の設定を変更するものであった場合には、演出設定手段 5 4は、この入力操作に基づいて、映像効果手段 4 6が、映像効果プログラム 4 8 dにより、合成映像に対してどのような映像効果を与えるのかについて設定するようになつている。また、映像効果手段 4 6に映像効果の処理を行なわせる力、又はこのような処理を行なわせないようにするかについても設定することができるようになつている。

操作手段 5 5からの入力操作が、機器制御手段 5 0の設定を変更するものであった場合には、演出設定手段 5 4は、この入力操作に基づいて、機器制御手段 5 0が、送風機 3 2 及ぴ照明灯 3 4に、機器制御プログラム 4 8 hのいずれの動作方法で動作させるのかについて設定するようになっている。また、送風機 3 2及び照明灯 3 4のそれぞれについて、動作を行なわせるかどうかについても設定することができるようになつている。

操作手段 5 5からの入力操作が、音響制御手段 5 2の設定を変更するものであった場合には、演出設定手段 5 4は、この入力操作に基づいて、音響制御手段 5 2が、音響装置 3 0に、どのような場合に、どのような効果音を出力させるのかについて設定するようになつている。また、音響制御手段 5 2に、音響装置 3 0から効果音を全く出力させないよう設定することもできるようになっている。

また、演出設定手段 5 4は、通信手段 6 0を介して公衆回線 5 8に接続されており、通信手段 6 0が、公衆回線 5 8を通じて外部から、判定手段 4 0、映像生成手段 4 2、映像合成手段 4 4、映像効果手段 4 6、機器制御手段 5 0、又は音響制御手段 5 2のいずれかについての設定を変更する旨の信号を受信した場合には、操作手段 5 5から入力操作が行なわれたときと同様、判定手段 4 0、映像生成手段 4 2、映像合成手段 4 4、映像効果手段 4 6、機器制御手段 5 0、又は音響制御手段 5 2の設定を変更するようになっている次に、図 2に示す映像出力装置 2 2によって映像が映し出されている床面 2 0 a上を観客 6が歩行しているときに、この観客 6の歩行に対応して行なわれる映像への加工処理等について、図 9のフローチヤ一ト等に基づいて説明する。

ここで、図 4に示す判定手段 4 0、映像生成手段 4 2、映像合成手段 4 4、映像効果手段 4 6、機器制御手段 5 0、及び音響制御手段 5 2のそれぞれは、演出設定手段 5 4により、以下のように設定されているものとする。すなわち、演出設定手段 5 4の設定により、判定手段 4 0は所定の動作を行なう設定になっているものとする。

また、映像生成手段 4 2は、演出設定手段 5 4により映像生成プログラム 4 8 bの複数のテーマの中から、その一つである「魚の影」が選択され、付加用映像として魚の影の静止画像を生成するような設定になっているものとする。 · この付加用映像としての魚の影の静止画像は、「魚の影」のテーマに対応するような映像生成プログラム 4 8 bの規定内容に基づき、床面 2 0 a上における観客 6の足の位置、大きさ及び形状に対応して生成されるようになっている。具体的には、図 1 0に示すように、観客 6の足の裏が接触した床面 2 0 a上の位置を基準として、この位置を向いて任意の姿勢で泳ぐような魚の影の静止画俊が、足の裏の位置から任意の方向であって、この足の裏の大きさ及び形状に対応するような所定の範囲内における任意の位置に生成されるようになっている。

また、映像合成手段 4 4は、記憶手段 4 8の複数の映像素材 4 8 cの中から、特定の映像素材 4 8 cを読み出すように設定されている。この特定の映像素材 4 8 cは、周囲の景色が反射して映っている湖面をこの湖面の上空から撮影したものであって、この湖面がわずかに揺らめいて見えるような様子の映像であるものとする。

映像効果手段 4 6は、床面 2 0 a上に接触した観客 6の足の裏の位置、大きさ及び形状に基づいて、これに対応するような足の裏の形状の輪郭線を、映像生成手段 4 2から受信した合成映像上に定めると共に、この輪郭線の近傍の画素に対して、光の屈折方向が変わつて歪んで見えるような変化を与え、このような変化の対象となる画素が、時間の経過と共に波紋状に広がって移り変わっていくような映像効果を与えるように設定されているものとする。 .

機器制御手段 5 0は、床面 2 0 a上における観客 6の足の裏の位置が、予め定めた所定の位置であった場合には、足の裏の大きさに対応して定まる時間の間隔で一定の回数だけ、送風機 3 2を断続的に動作させると共に、これに合わせて照明灯 3 4を点滅させるように設定されており、また、観客 6の足の裏の形状が、つま先側とかかと側がハイヒールのように互いに分離した形状である場合には、これに対応して、送風機 3 2及ぴ照明灯 3 4 の動作の間隔を 2倍にするように設定されているものとする。

音響制御手段 5 2は、音効果プログラム 4 8 gに基づいて、判定手段 4 0力ら、床面 2 0 a上における観客 6の足の裏の位置、大きさ及び形状についての情報を受信したときに、直ちに水溜りに足を踏み入れたときの音を音素材 ⁴ 8 f から読み出し、これを出力するように設定されているものとする。

また、床面 2 0 a上における観客 6の足の裏の位置が、所定の位置であったような場合には、音生成プログラム 4 8 eにより、足の裏の大きさに対応して定まる長さの音であつて落雷したときのような雷音を生成して、これを出力するように設定されているものとする。

そして、音響制御手段 5 2は、観客 6の足の裏の形状が、つま先側とかかと側がハイヒールのように互いに分離した形状である場合には、これに対応して、音素材 4 8 fから読み出した音に対して、エコー（残響効果）を掛けるような設定になっているものとする。映像合成手段 4 4により読み出される特定の映像素材 4 8 cは、判定手段 4 0、映像生成手段 4 2及び映像効果手段 4 6が行なう処理動作（図 9のステップ 1ないしステップ S 5 ) とは関係なく、時間の経過に対応して映し出される動画として、映像合成手段 4 4から出力された後、映像効果手段 4 6を介して連続的に映像出力装置 2 2のプロジェクタ一 2 2 aに出力される（図 4参照）。図 9のステップ S 4及びステップ S 5の処理動作は、このような連続的に出力されている映像素材 4 8 cの信号に対して行なわれる。

図 2に示す床面 2 0 a上に観客 6がいないときには、'エリアセンサー 2 4， 2 6は何も検出しないので、図 9のステップ S 1ないしステップ S 5の処理動作は行なわれないため、映像生成手段 4 2による新たな付加用映像の生成、映像合成手段 4 4による映像素材 4 8 cへの付加用映像の合成、及び映像効果手段 4 6による映像効果の処理は全く行なわれない。

したがって、図 2の床面 2 0 a上には、映像素材 4 8 cそのものの内容に基づいて、周囲の景色が反射して映っている湖面が、わずかに揺らめいて見えるような様子の映像が映し出されている。

このような状態のときに、床面 2 0 a上に観客 6が入ってきて足が踏み入れられると、エリアセンサー 2 4， 2 6がこれを検出し（図 9中、ステップ S 1 ) 、判定手段 4 0は、エリアセンサー 2 4， 2 6から取得した検出情報に基づいて、観客 6の足の裏が床面 2 0 aに接触している範囲の位置、大きさ及び形状を判断するようになっている（ステップ S 2 ) 。 ' 次に、このような観客 6の足の裏の位置、大きさ及ぴ形状の情報に基づいて、水中を泳ぐ魚の影の付加用映像が、映像生成手段 4 2により新たに生成される（ステップ S 3 ) 。この付加用映像は、映像合成手段 4 4により映像素材 4 8 cと合成されるようになっている（ステップ S 4 ) 。

そして、このような付加用映像と映像素材 4 8 cとの合成映像には、映像効果手段 4 6 により、観客 6の足の裏が接触した床面 2 0 a上の位置、大きさ及び形状に対応する輪郭線の近傍の画素に対し光の屈折方向が変わって歪んで見えるような変化が与えられると共に、このような変化の対象となる画素が、時間の経過と共に波紋状に移り変わっていくような映像効果が与えられるようになつている（ステップ S 5 ) 。

そして、観客 6の床面 2 0 a上における歩行の 2歩目以降に対しては、 1歩目と同様に、ステップ S 1ないしステップ S 5が操り返し行なわれるようになつている。

このようなステップ 1ないしステップ S 5の処理動作はリアルタイムで行なわれるため、床面 2 0 a上を歩行する観客 6にとつては、図 1 0に示すように、湖面上を歩行して、湖面に接触した足の裏の位置に魚の影が寄って来たように見えると共に、湖面に接触した足の裏の位置、大きさ及び形状に対応する波紋が生じて、この波紋が図 1 0中の破線のようにして矢印方向に広がって見えるので、寄って来た魚の影や湖面に映った景色が波紋で歪んだように見える。

また、判定手段 4 0による図 9中のステップ S 2の処理動作の直後には、ステップ S 3 以降の処理動作とは別に、図 4に示す機器制御手段 5 0及び音響制御手段 5 2の制御動作によって、図 2に示す音響装置 3 0、送風機 3 2及び照明灯 3 4が、観客 6の足の裏の位置、大きさ及び形状に基づいて所定の動作を行なうようになっている。

すなわち、音響装置 3 0は、床面 2 0 a上に観客 6の足の裏が接触すると、水溜りに足を踏み入れたような効果音を出力するようになつており、その音の大きさは観客⁶の足の裏の大きさに対応して出力される。

そして、床面 2 0 a上における観客 6の足の裏が接触した位置が、予め定められていた所定の位置であった場合には、観客 6の足の裏の大きさに対応する時間の間隔で、送風機 3 2が断続的に動作して、観客 6に風が吹き始めたように感じさせると共に、照明灯 3 4 が点滅し、また、音響装置 3 0から落雷のような音が出力されるため、雷雲の接近を擬似的に感じさせるようになつている。

また、特に、観客 6の足の裏の形状が、つま先側とかかと側がハイヒールのように互いに分離した形状のものである場合には、送風機 3 2と照明灯 3 4が動作する時間の間隔が 2倍の長さになると共に、音響装置 3 0から出力される落雷の音にエコーが掛かるため、 2 擬似的に嵐の中を歩いているように感じさせるようになつている。

また、図 4の演出設定手段 5 4により、映像生成手段 4 2、映像合成手段 4 4及び映像効果手段 4 6のそれぞれについて、上記と異なる処理動作を行なうように設定すれば、映像生成手段 4 2、映像合成手段 4 及び映像効果手段 4 6に異なる内容の映像演出を行なわせることができる。

例えば、映像合成手段 4 4については、いずれの映像素材 4 8 cも読み出さないように設定する。また、映像効果プログラム 4 8 dについては、映像効果の処理動作を行なわないように設定する。すなわち、図 9中のステップ S 5の処理動作を行なわせないようにする。

そして、映像生成手段 4 2については、演出設定手段 5 4により映像生成プログラム 4 8 bの複数のテーマの中から、その一つである「撥ね返り図形」を選択することにより、床面 2 0 aに観客 6の足の裏が接触した位置に対応して、この位置から一定以上だけ離れた任意の位置に、付加用映像として幾何学的な任意の図形を発生させた後、このような図形が観客 6の足の位置に向かって移動して観客 6の足の裏の大きさ及び形状に対応して撥ね返るような映像を、映像生成手段 4 2に連続的に生成させるような設定になっているものとする。

映像生成手段 4 2、映像合成手段 4 4及び映像効果手段 4 6のそれぞれが、このような設定になっていれば、床面 2 0 a上における観客 6の歩行に対応して、図 9のステップ S 1ないしステップ S 4の処理動作が繰り返して行なわれるため、観客 6は自分の歩行に合わせて、幾何図形が生成されたり撥ね返ったりする様子を見て楽しむことができる。また、映像生成手段 4 2の設定について、演出設定手段 5 4により映像生成プログラム 4 8 bの複数のテーマの中から、「撥ね返り図形」のテーマが選択される代わりに、これと異なる「付着図形」のテーマが選択されてもよい。

この場合には、映像生成手段 4 2は、「撥ね返り図形」のテーマが選択された場合と異なり、幾何学的な任意の図形が観客 6の足にぶっかったときに撥ね返らずに、この観客 6 の足の裏の大きさ及び形状に対応して、その外形を変化させながら付着するように見える映像を連続的に生成するようになっている。映像生成手段 4 2がこのような設定になっている場合には、床面 2 0 a上の観客 6は、自分の歩行に合わせて生成された幾何図形が、変形しながら自分の足に付着する様子を見て楽しむことができる。

このような本実施の形態に係る映像演出システム 2及び映像演出方法によれば、観客 6 の動作と床面 2 0 aに映し出される映像とが相互に作用するため、観客 6は、このような映像との一体感を得ることにより映像の現実感を感じることができる。

また、映像出力装置 2 2を床 2 0の下側に酉己置したことにより、天井側から映像を床面 2 0 aに投影するのと異なって、観客 6の影が床面 2 0 aに映ることがないため、床面 2 0 aに映し出される映像が観客 6の影に隠れて見えなくなるようなことを防止することができる。 '

また、コンピュータ 3 8の判定手段 4 0は、床面 2 0 aにおける観客 6の足の裏の位置、大きさ、及び記憶手段 4 8の補足情報 4 8 aから、この観客 6の足の裏の形状を判定するようになっているため、観客 6の足の裏の位置、大きさ及び形状に対応するように映像素材 4 8 cの加工処理を行なって、床面 2 0 aに映し出される映像に現実感を感じさせることができる。

また、映像素材 4 8 cに対する加工処理として、映像生成手段 4 2により生成された新たな付加用映像が、映像合成手段 4 4により合成されるようになっているので、映像による演出効果を向上させることができる。

また、映像素材 4 8 c、付加用映像、又は付加用映像と映像素材 4 8 cとの合成映像に対する加工処理として、映像効果手段 4 6が所定の変化を与えるようになっているので、映像による演出効果を向上させることができる。

また、映像素材 4 8 cに対する加工処理として、映像効果手段 4 6が、足の裏が床面 2 0 a上において接触した位置、大きさ及び形状に対応するような足の裏の形状の輪郭線を定めると共に、この足の裏の形状の輪郭線の近傍の画素に対して、光の屈折方向が変わつて歪んで見えるような変化を与えて、このような変化の対象となる画素が波紋状に広がつて移り変わつていくような映像効果を与えるようになっているので、観客 6が湖面等の水面上を歩いているような映像演出を行なうことができる。

また、床面 2 0 aに映し出される映像素材 4 8 cに対して、映像生成手段 4 2、映像合成手段 4 4及び映像効果手段 4 6が映像演出を行なうこと以外にも、音響装置 3 0、送風機 3 2及び照明灯 3 4による演出が行なわれるため、映像に現実感を感じさせる演出効果をさらに向上させることができる。

また、更新手段 5 6により、通信手段 6 0及び公衆回線 5 8を通じて、記憶手段 4 8の捕足情報 4 8 a、映像生成プログラム 4 8 b、映像素材⁴ 8 c及び映像効果プログラム 4 8 dを、外部から新たな内容のものに変更することができるので、床面 2 0 aに様々な映像素材 4 8 cを映し出したり、このような映像 4 8 cに対して様々な加工処理を行なうことができる。

また、更新手段 5 6により、通信手段 6 0及び公衆回線 5 8を通じて、記憶手段 4 8の音生成プログラム 4 8 e、音素材 4 8 f 、音効果プログラム 4 8 g及び機器制御プログラム 4 8めについても、外部から新たな内容のものに変更することができるので、床面 2 0 aに映し出される映像素材 4 8 cや、このような映像 4 8 cに対して行なわれる加工処理の変更に合わせて、音響装置 3 0から出力される効果音を変更したり、送風機 3 2や照明灯 3 4の動作を変更したりすることができる。

なお、本実施の形態においては、床面 2 0 aに映し出される映像に対して本発明を適用した場合について説明したが、階段等の踏み面に映し出される映像に対して本発明を適用してもよレ、。また、床面や階段等の踏み面以外の足の踏み場に映し出される映像に対しても、本発明を適用することができることはいうまでもない。

また、本実施の形態において、背面透過型スクリーン 2 2 bは、床 2 0の下側の近傍に平行に配置されるようなものを用いたが、このような背面透過型スクリーン 2 2 bとは異なる他の種類の背面透過型スクリーンとして、株式会社きもと製の「ディラッドスクリーン（商品名）」のようにフィルム状になっていて、図 2に示す床 2 0の床面 2 0 aとは反対側の面に直接貼り付けることができるようになっているものを用いてもよい。

また、本実施の形態では、プロジェクター 2 2 aの映像が背面透過型スクリーン 2 2 b に映し出されるようになっていたが、背面透過型スクリーン 2 2 bに代えて、このような背面透過型スクリーン 2 2 bと同様に機能するような薄い紙等を床 2 0の下側に平行に配置し、このような薄い紙等に映像を映し出すようになつていてもよい。

また、本実施の形態においては、映像出力装置 2 ²はプロジェクター 2 2 aと背面透過型スクリーン 2 2 bを備えて、これらが床 2 0の下側に配置されるようになっているが、プロジェクタ 2 2 aを天井等に設けて、床面 2 0 aに上側から映像を投影するようにしてもよレ、。このような場合には、床 2 0は透明な材質以外のものを用いるようにする。また、本実施の形態において、映像出力装置 2 2はプロジェクター 2 2 aと背面透過型スクリーン 2 2 bを備えて、これらが床 2 0の下側に配置されるようになっているが、このようなプロジェクター 2 2 aと背面透過型スクリーン 2 2 bに代えて、プラズマデイスプレイ等のモニタを床 2 0の下側に配置するようになっていてもよい。

また、本実施の形態において、映像演出システム 2は映像出力装置 2 2を 1台だけ備えるようになっていたが、映像出力装置 2 2を複数備えるようになっていてもよい。

また、本実施の形態では、音響制御手段 5 2による音響装置 3 0の効果音の一例として、床面 2 0 a上における観客 6の足の裏が接触した位置が、予め定められていた所定の位置であった場合に、音響装置 3 0から落雷のような音を発生させ、この音の長さが観客 6 の足の裏に対応して定まり、また、観客 6の足の裏がつま先側とかかと側が互いに分離した形状である場合に、エコーが掛かるようになっていたが、音響装置 3 0から出力される効果音は、このようなものに限られない。

例えば、音響装置 3 0は、床面 2 0 a上における観客 6の足の裏が接触した位置が所定の位置ゃ大きさであった場合に、落雷以外の所定の音を発するようになっていてもよい。また、床面 2 0 a上における観客 6の足の裏の位置、大きさ又は形状のいずれかに対応して、音量、音程又は音質が変化するようになっていてもよい。

また、本実施の形態では、送風機 3 2及び照明灯 3 4の動作の一例として、床面 2 0 a 上における観客 6の足の裏が接触した位置が、予め定められていた所定の位置であった場合に、断続的に一定の回数だけ送風機 3 2を動作させると共に、照明灯 3 4を点滅させるようになっていたが、送風機 3 2及び照明灯 3 4のそれぞれの動作は、このようなものに限られなレ、。

例えば、送風機 3 2及び照明灯 3 4の動作として、床面 2 0 a上の観客 6の足の裏が第 1の所定の位置に接触した場合に、送風機 3 2が送風を開始すると共に照明灯 3 4が点灯して、第 2の所定の位置に接触した場合に、送風機 3 2が送風を停止すると共に照明灯 3 4が消灯するようになっていてもよい。

また、送風機 3 2は、床面 2 0 a上における観客 6の足の裏が接触した位置、大きさ及び形状のいずれかに対応して、風の強さ等を変化させるようになっていてもよい。

また、照明灯 3 4は、床面 2 0 a上における観客 6の足の裏が接触した位置、大きさ及ぴ形状のいずれかに対応して、点灯、消灯若しくは点滅するようになっていてもよく、また、照明灯 3 4の点滅の間隔や、点灯しているときの明るさが変化するようになっていてもよい。

また、本実施の形態では、床面 2 0 aに映し出される映像の演出を行なうことのほかに、音響装置 3 0、送風機 3 2及び照明灯 3 4を備えていることにより演出効果を向上するようになっているが、このような音響装置 3 0、送風機 3 2及び照明灯 3 4以外の他の動力装置等を備えることにより、床面 2 0 aに映し出される映像の演出効果を向上するようにしてもよい。 - また、本実施の形態では、床面 2 0 a上における観客 6の足の裏の位置及び大きさを検出する検出装置として、エリアセンサー 2 4， 2 ⁶を用いるように.なっていたが、複数の個別の光透過型センサーをエリアセンサー 2 4， 2 6と同様に機能するように、間隔をおいて一列に並べて用いるようにしてもよい。

また、検出装置として、エリアセンサーのような光透過型センサー以外のセンサー等を用いるようにしてもよい。例えば、床面 2 0 a上に感圧素子等を配置して、観客 6の足の裏の位置、大きさ及び形状を検出するようになっていてもよい。このような場合には、コンピュータ 3 8の判定手段 4 0が記憶手段 4 8の補足情報 4 8 aを参照して、観客 6の足の裏の形状を判定する処理動作を省略することができる。

また、本実施の形態において、コンピュータ 3 8の記憶手段 4 8には、補足情報 4 8 a として観客 6の足の裏の典型的な形状が記憶されていて、この足の裏の典型的な形状は、床面 2 0 a上における観客 6の足の裏の位置と大きさの組合せに対応するようになっていたが、観客 6の足の裏の大きさだけに対応するようになっていてもよい。

また、本実施の形態では、図 2に示すように、入場用通路 4に映像演出システム 2が構築され、この映像演出システム 2の床面 2 0 aに映像が映し出されるようになつていたが入場用通路 4以外の場所に映像演出システム 2が構築され、その場所の床面 2 0 aに映像が映し出されるようになっていてもよい。

また、本実施の形態では、床面 2 0 aに映し出される映像は、この床面 2 0 a上を歩行する移動体としての観客 6と相互に作用するようになっていたが、本発明の映像演出システムはこのようなものに限定されず、人以外の物体が移動体であってもよい。

例えば、床面 2 0 a上に輪投げ競技用の標的を配置して、この標的に向けて放り投げられた輪投げ競技用の輪が床面 2 0 aに接触したときに、床面 2 0 aに映し出されている映像が、この輪の位置、大きさ及び形状に対応するよう加工処理されるようになっていてもよい。このような場合には、観客 6に代わって輪投げようの輪が移動体になるため、図 4 に示す記憶手段 4 8の補足情報 4 8 aには、足の裏の典型的な形状の代わりに、輪の形状を記憶させておくようにする。

また、本実施の形態とは異なる他の実施の形態として、室内競技のボウリングのレーンに映像演出システム 2を構築するようにしてもよい。このような場合には、レーンが、本実施の形態における床面 2 0に相当し、また、ボウリングの球が移動体に相当することになる。

また、本実施の形態において、映像生成手段 4 2及び映像効果手段 4 6のそれぞれは、床面 2 0 a上における観客 6の足の裏が接触した位置、大きさ及び形状に対応して、付カロ用映像を生成し、又は合成映像に対する映像効果の処理を行なうようになっていたが、床面 2 0 a上における観客 6の足の裏が接触した位置、大きさ又は形状のいずれかにのみ基づいて、付加用映像を生成し、又は合成映像に対する映像効果の処理を行なうようになつていてもよい。また、観客 6の足の裏についての位置と大きさの組合せ、位置と形状の組合せ、又は大きさと形状の組合せのいずれかに基づいて、付加用映像を生成し、又は合成映像に対する映像効果の処理を行なうようになっていてもよい。

また、本実施の形態において、映像効果手段 4 6は、映像効果プログラム 4 8 dに基づき、床面 2 0 a上における観客 6の足の裏が接触した位置、大きさ及び形状に対応して、合成映像上の輪郭線の近傍の画素に対し光の屈折方向が変化して歪んで見えるような変化を与えると共に、このような変化の対象となる画素が、時間の経過と共に波紋状に広がつて移り変わっていくような映像効果を与えるようになっていたが、映像効果手段 4 6が与える映像効果は、このようなものに限られず、例えば、変化の対象となる画素に対して光の屈折方向が変化して歪んで見えるような変化と共に、又はこのような変化に代えて、明度を所定量だけ変化させる映像効果を与えるようになつていてもよい。

また、映像効果手段 4 6が、映像素材 4 8 c等に対して与える映像効果は、床面 2 0 a 上における観客 6の足の裏が接触した位置、大きさ及び形状に対応して、映像の一部が魚眼レンズを通して見たように変形したり、一定方向に引き伸したように変形したりするようなものであってもよく、映像効果プログラム 4 8 dの内容を変更することにより、様々な映像効果を与えることができるようになる。

また、本実施の形態において、コンピュータ 3 8の更新手段 5 6は、通信手段 6 0が公衆回線 5 8を通じて、映像素材 4 8 c又は音素材 4 8 f を受信した場合には、この受信した映像素材 4 8 c又は音素材 4 8 f を、すでに記憶手段 4 8に記憶されている映像素材 4 8 c又は音素材 4 8 f と一緒に、追加して記憶させるようになっていたが、別の実施の形態として、受信した映像素材 4 8 c又は音素材 4 8 f を、すでに記憶手段 4 8に記憶されている映像素材 4 8 c又は音素材 4 8 f と入れ替えて、更新するようになっていてもよいまた、本実施の形態において、図 4に示す映像素材 4 8 cは、そのデータ情報の全体がまとまったファイルとして、記憶手段 4 8に記憶されるようになっていたが、映像素材 4 8 cは、このようなものに限られなレ、。

例えば、映像演出システム 2の外部で撮影されたリアルタイムの映像が、公衆回線 5 8 を介してコンピュータ 3 8に送信されるようになっていると共に、ストリーミング技術等により、このような映像がコンピュータ 3 8の通信手段 6 0により継続的に受信され、更新手段 5 6を経て記憶手段 4 8に断片的な映像素材 4 8 cとしてー且バッファ（保持）された後に、映像合成手段 4 4によって順次読み出されるようになつていてもよい。ここで、ストリーミング技術とは、音声や動画などの情報を受信しながら同時に再生するような技術をいう。

また、本実施の形態において、コンピュータ 3 8の通信手段 6 0は、公衆回線 5 8に接続されて信号受信するようになっているが、このような信号の送受信を行なう通信回線はどのようなものであってもよく、例えば、インターネットを経由するものであってもよい。また、通信手段 6 0は、公衆回線 5 8のように双方向に送受信することができるような通信回線から信号を受信するようになっているだけでなく、放送等のように、一方的に送信されるような信号を受信することができるようになつていてもよレ、。

また、本実施の形態においては、コンピュータ 3 8とプロジェクター 2 2 aが別々の装置として、配置される場合について説明したが、これらは一体的になっていてもよい。図面の簡単な説明

図 1

本発明の一実施の形態に係る映像演出システム 2が構築されている入場用通路 4を示す斜視図である。

図 2

本発明の一実施の形態に係る映像演出システム 2の構成を示すプロック図である。図 3

図 2に示す床 2 0の周囲に配置されるエリアセンサー 2 4 a， 2 4 b , 2 6 a , 2 6 b の配置される位置を示す斜視図である。

図 4

図 2に示すコンピュータ 3 8の詳細な構成を示すブロック図である。

図 5 図 3に示すェリァセンサー 2 4 a , 2 4 b間、及びェリァセンサー 2 6 a， 2 6 b間の光軸と、床面 2 0 a上における観客 6の足の裏の位置及び大きさとの関係を示す平面図である。

図 6

図 3に示すエリアセンサー 2 4 a , 2 4 b間、及びエリアセンサー 2 6 a , 2 6 b間の' 光軸と、床面 2 0 a上における観客 6の足の裏の位置及び大きさとの他の関係を示す平面図である。

図 7

図 3に示すエリアセンサー 2 4 a , 2 4 b間、及びエリアセンサー 2 6 a， 2 6 b間の光軸と、床面 2 0 a上における観客 6の足の裏の位置及び大きさとの他の関係を示す平面図である。

図 8

図 3に示すエリアセンサー 2 4 a， 2 4 b間、及びエリアセンサー 2 6 a , 2 6 b間の光軸と、床面 2 0 a上における観客 6の足の裏の位置及ぴ大きさとの他の関係を示す平面図である。

図 9

図 2に示すコンピュータ 3 8の動作手順を示すフローチヤ一トである。

図 1 0

図 2に示す床面 2 0 a上における観客 6の足の裏 L， Rと、床面 2 0 a上に映し出される映像の概略を示す平面図である。符号の説明

2 映像演出システム

4 入場用通路

6 観客

8， 1 0 ゲート

2 0 床

2 0 a 床面

2 2 映像出力装置

2 2 a プロジェクター b 背面透過型スクリーン

, 24 a , 24 b, 26, 2 6 a, 26 b エリアセンサー機器調節器

音響装置

送風機

照明灯

コンピュータ

判定手段

映像生成手段

映像合成手段

映像効果手段

記憶手段

a 補足情報

b 映像生成プログラム

c 映像素材

d 映像効果プログラム

e 音生成プログラム

f 音素材

g 音効果プログラム

h 機器制御プログラム

機器制御手段

音響制御手段

演出設定装置

操作手段

更新手段

公衆回線

通信手段

Claims

請求の範囲

1 . 受信した映像信号に基づいて床面又は階段等の踏み面に映像を映し出す映像出力装置と、

前記床面又は踏み面上にこの上を移動する移動体が載っている場合に、床面又は踏み面上における移動体の接触部分の位置又は Z及び大きさを検出する検出装置と、

映像素材を保持し、この映像素材に前記検出装置が検出した前記移動体の接触部分の位置又は/及び大きさに対応する加工処理を施した映像信号を前記映像出力装置に送信する演出制御装置と

を備えていることを特徴とする映像演出システム。

2 . 前記床面又は踏み面は透光性を有し、

前記映像出力装置は前記床面又は踏み面の下側に配置されるようにした請求項 1に記载の映像演出システム。

3 . 前記演出制御装置は、

前記床面又は踏み面上における前記移動体の接触部分の典型的な形状を補足情報として保持すると共に、

前記検出装置が前記床面又は踏み面上に前記移動体の一の部位が接触したことを検出した場合に、この一の部位の接触部分の大きさ、又はその位置と大きさに基づいて、この接触部分の形状が前記補足情報として保持する前記典型的な形状であると判断し、

前記加工処理は、前記移動体の接触部分の位置又は/及び大きさだけでなく、その形状についても対応して行なわれるようにした請求項 1又は 2に記載の映像演出システム。

4 . 前記検出装置が、前記床面又は踏み面上に前記移動体の前記一の部位が接触した後に、この一の部位と異なる他の部位が接触したことを検出した場合に、一の部位についての床面又は踏み面上における接触部分の位置、大きさ及び形状から、他の部位についての接触部分の位置、大きさ及び形状を推定するようにした請求項 3に記載の映像演出システム。

5 . 前記演出制御装置により前記映像素材に施される前記加工処理は、新たに生成した付加用映像を合成して行なわれるようにした請求項 1ないし 4のいずれかに記載の映像演出システム。

6 . 前記演出制御装置により前記映像素材に施される前記加工処理は、この映像素材の〜部又は全部を変化させて行なわれるようにした請求項 1ないし 4のいずれかに記載の映像演出システム。

7 . 前記演出制御装置により前記映像素材に施される前記加工処理は、この映像素材に新たに生成した付加用映像を合成して合成映像にした後に、この合成映像の一部又は全部を変化させて行なうようにした請求項 1ないし 4のいずれかに記載の映像演出システム。

8 . 前記演出制御装置により前記映像素材に施される前記加工処理は、この映像素材における前記移動体の接触部分の位置、大きさ及び形状に対応する輪郭線の近傍の画素を変化させると共に、この変化の対象となる画素が時間の経過と共に波紋状に移り変わるようにした請求項 3又は 4に記載の映像演出システム。

9 . 前記演出制御装置により前記映像素材に施される前記加工処理は、この映像素材に新たに生成した付加用映像を合成して合成映像にした後に、この合成映像における前記移動体の接触部分の位置、大きさ及び形状に対応する輪郭線の近傍の画素を変化させると共に、この変化の対象となる画素が波紋状に移り変わるようにした請求項 3又は 4に記載の映像演出システム。

1 0 . 音響装置を備え、 ' '

前記演出制御装置は、前記検出装置が検出した前記移動体の接触部分の位置又は/及び大きさに対応する効果音を前記音響装置から出力させるようにした請求項 1ないし 9のいずれかに記載の映像演出システム。

1 1 . 前記映像素材に対する加工処理は、前記演出制御装置が保持する映像加工用プログラムに基づレ、て行なわれ、

前記演出制御装置は、通信手段を有すると共に、この演出制御装置が保持する前記映像素材又は前記映像加工用プログラムとは異なる別の映像素材又は映像加工用プログラムを通信手段により受信した場合に、保持している映像素材又は映像加ェ用プログラムを受信したものに更新するようにした請求項 1ないし 1 0のいずれかに記載の映像演出システム

1 2 . 前記演出制御装置は、

この演出制御装置が保持する音素材及び効果音用プログラムに基づレ、て前記音響装置に効果音を出力させ、

この演出制御装置が保持する前記音素材又は前記効果音用プログラムとは異なる別の音素材又は効果音用プログラムを前記通信手段により受信した場合に、保持している音素材又は効果音用プログラムを受信したものに更新するようにした請求項 1 1に記載の映像演出システム。

1 3 . 照明装置を備え、

前記演出制御装置は、前記検出装置が検出した前記移動体の接触部分の位置又は Z及び大きさに対応して前記照明装置を点灯、消灯若しくは点滅させ、又は照明装置の明るさを変化させるようにした請求項 1ないし 1 2のいずれかに記載の映像演出システム。

1 4 . 空調装置を備え、

前記演出制御装置は、前記検出装置が検出した前記移動体の接触部分の位置又は/及び大きさに対応して前記空調の動作を開始若しくは停止させ、又は動作しているときの風量を変化させるようにした請求項 1ないし 1 3のいずれかに記載の映像演出システム。

1 5 . 受信した映像信号に基づいて床面又は階段等の踏み面に映像を映し出す映像出力装置と、

前記床面又は踏み面上にこの上を移動する移動体が載っている場合に、床面又は踏み面上における移動体の接触部分の位置及び大きさを検出する検出装置と、

前記検出装置が検出した前記移動体の接触部分の位置又は Z及び大きさに対応する映像を生成して前記映像出力装置に送信する演出制御装置と

を備えていることを特徴とする映像演出システム。

1 6 . 床面又は階段等の踏み面に映像を映し出す映像出力装置と、

前記映像出力装置により映し出される映像に、前記検出装置が検出した前記移動体の接触部分の位置及び大きさに対応して、コンピュータにより自動的に加工処理を施すようにしたことを特 ί敷とする映像演出方法。