JP2001216527A - マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 - Google Patents
マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体Info
- Publication number
- JP2001216527A JP2001216527A JP2000028013A JP2000028013A JP2001216527A JP 2001216527 A JP2001216527 A JP 2001216527A JP 2000028013 A JP2000028013 A JP 2000028013A JP 2000028013 A JP2000028013 A JP 2000028013A JP 2001216527 A JP2001216527 A JP 2001216527A
- Authority
- JP
- Japan
- Prior art keywords
- multimedia information
- space
- output
- instruction command
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】複数の利用者が同時に入ることが可能な空間
に、複数の利用者の位置や動き、動作を指示入力できる
マルチメディア情報空間入出力装置を実現する。 【解決手段】情報空間に存在する複数の利用者の状態を
検出する利用者状態検出手段11と、検出された複数の
利用者の状態を指示命令に変換する指示命令変換手段1
2と、変換された指示命令を処理する空間管理手段13
と、マルチメディア情報空間に情報を出力する空間出力
手段14とを設ける。また、利用者の指示対象となる特
定の領域を管理し、その領域が選択された際の処理を管
理する指示対象管理手段23と、指示命令変換手段によ
り変換された指示命令を統合する指示命令統合手段33
とを追加することもできる。
に、複数の利用者の位置や動き、動作を指示入力できる
マルチメディア情報空間入出力装置を実現する。 【解決手段】情報空間に存在する複数の利用者の状態を
検出する利用者状態検出手段11と、検出された複数の
利用者の状態を指示命令に変換する指示命令変換手段1
2と、変換された指示命令を処理する空間管理手段13
と、マルチメディア情報空間に情報を出力する空間出力
手段14とを設ける。また、利用者の指示対象となる特
定の領域を管理し、その領域が選択された際の処理を管
理する指示対象管理手段23と、指示命令変換手段によ
り変換された指示命令を統合する指示命令統合手段33
とを追加することもできる。
Description
【0001】
【発明の属する技術分野】本発明は、人間の存在位置や
動きやジェスチャを検出して、その情報の変化に応じて
画面に表示すべき映像を随時変更したり、出力する音声
を随時変更したりするマルチメディア情報空間入出力装
置およびインタラクティブ映像情報提供プログラムに関
し、特に、ドームや立方体建造物内の壁に大きな多面の
映像を表示して、映像表示画面に取り囲まれた空間内部
に利用者を配置し、利用者の存在位置や動きやジェスチ
ャに応じて表示映像を変更する景観シミュレータプログ
ラムやウォークスルー映像提供装置およびその方法、な
らびにそのプログラムを記録した記録媒体に関する。
動きやジェスチャを検出して、その情報の変化に応じて
画面に表示すべき映像を随時変更したり、出力する音声
を随時変更したりするマルチメディア情報空間入出力装
置およびインタラクティブ映像情報提供プログラムに関
し、特に、ドームや立方体建造物内の壁に大きな多面の
映像を表示して、映像表示画面に取り囲まれた空間内部
に利用者を配置し、利用者の存在位置や動きやジェスチ
ャに応じて表示映像を変更する景観シミュレータプログ
ラムやウォークスルー映像提供装置およびその方法、な
らびにそのプログラムを記録した記録媒体に関する。
【0002】
【従来の技術】従来、このようなマルチメディア情報空
間入出力装置または方法に関する技術としては、下記4
つがある。 (技術1)例えば、電子情報通信学会技術報告MVE9
8−44「3次元インタフェース」には、従来のウォー
クスルー映像提供装置の技術が示されている。これは、
並んだ大きな3つ画面に景観映像を表示して、その映像
表示画面の正面に利用者が立ってその映像を見たり、音
楽を聞いたりすることが可能な仮想空間を提供する環境
において、利用者の立つ位置に応じて仮想空間を表現す
るビデオ映像やコンピュータグラフィックス映像を随時
変更したり音声ガイダンス出力を変更することにより、
より実世界に近い直感的なマンマシンインタフェースを
実現することを可能にする。
間入出力装置または方法に関する技術としては、下記4
つがある。 (技術1)例えば、電子情報通信学会技術報告MVE9
8−44「3次元インタフェース」には、従来のウォー
クスルー映像提供装置の技術が示されている。これは、
並んだ大きな3つ画面に景観映像を表示して、その映像
表示画面の正面に利用者が立ってその映像を見たり、音
楽を聞いたりすることが可能な仮想空間を提供する環境
において、利用者の立つ位置に応じて仮想空間を表現す
るビデオ映像やコンピュータグラフィックス映像を随時
変更したり音声ガイダンス出力を変更することにより、
より実世界に近い直感的なマンマシンインタフェースを
実現することを可能にする。
【0003】(技術2)例えば、ヒューマンインタフェ
ース学会研究会報告集Vol.1,NO.2「手振りを
インタフェースとした仮想空間の移動」には、従来のウ
ォークスルー映像提供装置の技術が示されている。これ
は、大きな画面に映像を表示し、その映像表示画面の正
面に利用者が立ってその映像を見ることが可能な仮想空
間を提供する環境において、利用者が歩行を模倣して腕
を振り、その腕を振る周期から模倣している歩行速度を
導出し、その歩行速度に応じて仮想空間を表現するコン
ピュータグラフィックス映像を随時変更することによ
り、より実世界に近い直感的なマンマシンインタフェー
スを実現することを可能にしている。
ース学会研究会報告集Vol.1,NO.2「手振りを
インタフェースとした仮想空間の移動」には、従来のウ
ォークスルー映像提供装置の技術が示されている。これ
は、大きな画面に映像を表示し、その映像表示画面の正
面に利用者が立ってその映像を見ることが可能な仮想空
間を提供する環境において、利用者が歩行を模倣して腕
を振り、その腕を振る周期から模倣している歩行速度を
導出し、その歩行速度に応じて仮想空間を表現するコン
ピュータグラフィックス映像を随時変更することによ
り、より実世界に近い直感的なマンマシンインタフェー
スを実現することを可能にしている。
【0004】(技術3)例えば、特開平10−3043
39号公報に記載の「乗物映像提供システム及び仮想乗
物旅行システム」には、従来の景観シミュレータ装置の
技術が示されている。これは、遠隔地に存在する乗物か
ら見た景観の現在もしくは過去に撮影された映像を表示
することが可能な乗物映像を提供する環境において、利
用者が見たいと希望する乗物映像を利用者が入力する位
置および日時の情報に応じて適切に選択し、選択した映
像を利用者に提供することにより、仮想乗物旅行システ
ムを実現することを可能にする。
39号公報に記載の「乗物映像提供システム及び仮想乗
物旅行システム」には、従来の景観シミュレータ装置の
技術が示されている。これは、遠隔地に存在する乗物か
ら見た景観の現在もしくは過去に撮影された映像を表示
することが可能な乗物映像を提供する環境において、利
用者が見たいと希望する乗物映像を利用者が入力する位
置および日時の情報に応じて適切に選択し、選択した映
像を利用者に提供することにより、仮想乗物旅行システ
ムを実現することを可能にする。
【0005】(技術4)例ば、特開平10−21406
9号公報に記載の「映像統合装置」には、従来のウォー
クスルー映像提供装置の技術が示されている。これは、
ビデオ映像もしくはコンピュータグラフィックス映像を
画面に表示することにより仮想空間を提供する環境にお
いて、利用者の要望に応じてビデオ映像を用いた仮想空
間の表現とコンピュータグラフィックス映像を用いた仮
想空間の表現を随時切り替えて利用者に提供し、なおか
つ、その切り替えを行う際に、仮想空間上での存在位置
および視野について利用者に違和感を感じさせないよう
に切り替えを行うことにより、より実世界に近い臨場感
を実現することを可能にする。
9号公報に記載の「映像統合装置」には、従来のウォー
クスルー映像提供装置の技術が示されている。これは、
ビデオ映像もしくはコンピュータグラフィックス映像を
画面に表示することにより仮想空間を提供する環境にお
いて、利用者の要望に応じてビデオ映像を用いた仮想空
間の表現とコンピュータグラフィックス映像を用いた仮
想空間の表現を随時切り替えて利用者に提供し、なおか
つ、その切り替えを行う際に、仮想空間上での存在位置
および視野について利用者に違和感を感じさせないよう
に切り替えを行うことにより、より実世界に近い臨場感
を実現することを可能にする。
【0006】
【発明が解決しようとする課題】前述の技術1および技
術2のウォークスルー映像技術は、利用者の動作に応じ
て仮想空間を表現する映像情報や音情報であるマルチメ
ディア情報の出力制御を随時行うことにより、利用者の
直感的なマンマシンインタフェースを実現しているが、
複数の利用者の動作により同時にマルチメディア情報の
出力制御を行うことはできず、また仮想空間の概観を示
す情報を利用者が見て、その利用者が仮想空間内で現在
どの位置に存在して、どの方向を正面として移動してい
るかを認知することができず、さらに、利用者がその概
観を示す情報を入力インタフェースとして仮想空間内の
任意位置および任意方向での仮想空間を表現する別のマ
ルチメディア情報を選択し、その情報に切り替えて仮想
空間を表現する出力を行うようなことはできない。
術2のウォークスルー映像技術は、利用者の動作に応じ
て仮想空間を表現する映像情報や音情報であるマルチメ
ディア情報の出力制御を随時行うことにより、利用者の
直感的なマンマシンインタフェースを実現しているが、
複数の利用者の動作により同時にマルチメディア情報の
出力制御を行うことはできず、また仮想空間の概観を示
す情報を利用者が見て、その利用者が仮想空間内で現在
どの位置に存在して、どの方向を正面として移動してい
るかを認知することができず、さらに、利用者がその概
観を示す情報を入力インタフェースとして仮想空間内の
任意位置および任意方向での仮想空間を表現する別のマ
ルチメディア情報を選択し、その情報に切り替えて仮想
空間を表現する出力を行うようなことはできない。
【0007】また、前述の技術3の景観シミュレータ技
術は、景観シュミレーションを表現する複数の景観マル
チメディア情報が各々実世界でどの位置に存在するかを
表現する概観地図情報も同時に利用者に表示し、また、
利用者がその概観地図情報を入力インタフェースとして
指示した位置情報および時間情報より出力すべき景観マ
ルチメディア情報を適切に選択して、その景観マルチメ
ディア情報に切り替えて提供することにより、仮想乗物
旅行システムを実現しているが、複数の利用者により同
時に概観地図情報を入力インタフェースとして景観マル
チメディア情報を切り替えることができず、また、利用
者の存在位置や動きに応じて景観マルチメディア情報の
出力制御を随時行うということはできない。
術は、景観シュミレーションを表現する複数の景観マル
チメディア情報が各々実世界でどの位置に存在するかを
表現する概観地図情報も同時に利用者に表示し、また、
利用者がその概観地図情報を入力インタフェースとして
指示した位置情報および時間情報より出力すべき景観マ
ルチメディア情報を適切に選択して、その景観マルチメ
ディア情報に切り替えて提供することにより、仮想乗物
旅行システムを実現しているが、複数の利用者により同
時に概観地図情報を入力インタフェースとして景観マル
チメディア情報を切り替えることができず、また、利用
者の存在位置や動きに応じて景観マルチメディア情報の
出力制御を随時行うということはできない。
【0008】また、前述の技術4のウォークスルー映像
提供技術は、ビデオ映像を用いた仮想空間の表現とコン
ピュータグラフィックス映像を用いた仮想空間の表現を
利用者の要求により随時切り替えて提供し、その切り替
えをする際に、利用者が仮想空間上での存在位置および
視野について違和感を感じさせないように切り替えを
し、また、仮想空間の概観地図情報も同時に利用者に表
示し、さらに、利用者がその概観地図情報を入力インタ
フェースとして指示した位置情報および方向情報より出
力すべきマルチメディア情報を適切に選択して、そのマ
ルチメディア情報に切り替えて提供することにより、実
世界に近い臨場表現を実現しているが、複数の利用者に
より同時に概観地図情報を入力インタフェースとしてマ
ルチメディア情報を切り替えることができず、また、利
用者の存在位置や動きに応じてマルチメディア情報の出
力制御を随時行う、ということはできない。このよう
に、従来の技術においては、各々で実現されていない機
能が存在するため、利用者にとって不満足なウォークス
ルー映像提供技術や景観シミュレータ技術となってい
る、という問題があった。
提供技術は、ビデオ映像を用いた仮想空間の表現とコン
ピュータグラフィックス映像を用いた仮想空間の表現を
利用者の要求により随時切り替えて提供し、その切り替
えをする際に、利用者が仮想空間上での存在位置および
視野について違和感を感じさせないように切り替えを
し、また、仮想空間の概観地図情報も同時に利用者に表
示し、さらに、利用者がその概観地図情報を入力インタ
フェースとして指示した位置情報および方向情報より出
力すべきマルチメディア情報を適切に選択して、そのマ
ルチメディア情報に切り替えて提供することにより、実
世界に近い臨場表現を実現しているが、複数の利用者に
より同時に概観地図情報を入力インタフェースとしてマ
ルチメディア情報を切り替えることができず、また、利
用者の存在位置や動きに応じてマルチメディア情報の出
力制御を随時行う、ということはできない。このよう
に、従来の技術においては、各々で実現されていない機
能が存在するため、利用者にとって不満足なウォークス
ルー映像提供技術や景観シミュレータ技術となってい
る、という問題があった。
【0009】そこで、本発明の目的は、これら従来の問
題を解決し、複数の利用者が同時に入ることが可能な空
間において、その空間に出力されているマルチメディア
情報に対応した複数の利用者の位置や動き、動作を指示
入力として用いることを可能にすることにより、複数の
利用者の協調や競争、連携を反映した入力を可能とする
マルチメディア情報空間入出力装置およびその方法、な
らびにそのプログラムを記録した記録媒体を提供するこ
とにある。
題を解決し、複数の利用者が同時に入ることが可能な空
間において、その空間に出力されているマルチメディア
情報に対応した複数の利用者の位置や動き、動作を指示
入力として用いることを可能にすることにより、複数の
利用者の協調や競争、連携を反映した入力を可能とする
マルチメディア情報空間入出力装置およびその方法、な
らびにそのプログラムを記録した記録媒体を提供するこ
とにある。
【0010】
【課題を解決するための手段】上記目的を達成するた
め、本発明のマルチメディア情報空間入出力装置では、 大きな複数の画面に映像または静止画等マルチメディ
ア情報を提示し、その映像表示画面に取り囲まれた空間
内部で、利用者が映像あるいは音楽を視聴することが可
能なマルチメディア情報空間において、マルチメディア
情報空間に存在する利用者の状態を検出する利用者状態
検出手段と、前記利用者情報検出手段により検出された
複数の利用者情報をマルチメディア情報空間における指
示命令に変換する指示命令変換手段と、マルチメディア
情報空間に出力すべき情報を管理する空間管理手段と、
マルチメディア情報空間にマルチメディア情報を出力す
る空間出力手段とを具備することを特徴としている。こ
れにより、大きな複数の画面に提示したマルチメディア
情報に対して、空間内部に存在する複数の利用者の位置
あるいは動きあるいは動作等を入力として取得し、複数
の利用者からの入力を統合して条項に応じた指示命令に
変換し、指示命令に応じてマルチメディア情報を空間に
出力することが可能になる。
め、本発明のマルチメディア情報空間入出力装置では、 大きな複数の画面に映像または静止画等マルチメディ
ア情報を提示し、その映像表示画面に取り囲まれた空間
内部で、利用者が映像あるいは音楽を視聴することが可
能なマルチメディア情報空間において、マルチメディア
情報空間に存在する利用者の状態を検出する利用者状態
検出手段と、前記利用者情報検出手段により検出された
複数の利用者情報をマルチメディア情報空間における指
示命令に変換する指示命令変換手段と、マルチメディア
情報空間に出力すべき情報を管理する空間管理手段と、
マルチメディア情報空間にマルチメディア情報を出力す
る空間出力手段とを具備することを特徴としている。こ
れにより、大きな複数の画面に提示したマルチメディア
情報に対して、空間内部に存在する複数の利用者の位置
あるいは動きあるいは動作等を入力として取得し、複数
の利用者からの入力を統合して条項に応じた指示命令に
変換し、指示命令に応じてマルチメディア情報を空間に
出力することが可能になる。
【0011】また、大きな複数の画面に映像あるいは
静止画等マルチメディア情報を提示し、その映像表示画
面に取り囲まれた空間内部で、利用者が映像あるいは音
楽を視聴することが可能なマルチメディア情報空間にお
いて、マルチメディア情報空間に存在する複数の利用者
の状態を検出する利用者状態検出手段と、前記利用者状
態検出手段により検出された複数の利用者の状態を指示
命令に変換する指示命令変換手段と、マルチメディア情
報内の利用者の指示対象となる特定の領域を管理し、そ
の領域が選択された際の処理を管理する指示対象管理手
段と、前記指示命令変換手段により変換された指示命令
を処理する空間管理手段と、マルチメディア情報空間に
マルチメディア情報を出力する空間出力手段とを具備す
ることも特徴としている。これにより、予め複数のマル
チメディア情報に対して、マルチメディア情報の特定の
領域に、その特定の領域が選択された際の処理を関連付
けておき、マルチメディア情報が空間に出力されている
際に、複数の利用者からの入力を統合してマルチメディ
ア情報中の特定の領域が選択されているか否かを判断
し、選択された領域に応じた処理を状況に応じて行い、
マルチメディア情報を空間に出力することが可能にな
る。
静止画等マルチメディア情報を提示し、その映像表示画
面に取り囲まれた空間内部で、利用者が映像あるいは音
楽を視聴することが可能なマルチメディア情報空間にお
いて、マルチメディア情報空間に存在する複数の利用者
の状態を検出する利用者状態検出手段と、前記利用者状
態検出手段により検出された複数の利用者の状態を指示
命令に変換する指示命令変換手段と、マルチメディア情
報内の利用者の指示対象となる特定の領域を管理し、そ
の領域が選択された際の処理を管理する指示対象管理手
段と、前記指示命令変換手段により変換された指示命令
を処理する空間管理手段と、マルチメディア情報空間に
マルチメディア情報を出力する空間出力手段とを具備す
ることも特徴としている。これにより、予め複数のマル
チメディア情報に対して、マルチメディア情報の特定の
領域に、その特定の領域が選択された際の処理を関連付
けておき、マルチメディア情報が空間に出力されている
際に、複数の利用者からの入力を統合してマルチメディ
ア情報中の特定の領域が選択されているか否かを判断
し、選択された領域に応じた処理を状況に応じて行い、
マルチメディア情報を空間に出力することが可能にな
る。
【0012】また、大きな複数の画面に映像あるいは
静止画等マルチメディア情報を提示し、その映像表示画
面に取り囲まれた空間内部で、利用者が映像あるいは音
楽を視聴することが可能なマルチメディア情報空間にお
いて、マルチメディア情報空間に存在する複数の利用者
の状態を検出する利用者状態検出手段と、前記利用者状
態検出手段により検出された複数の利用者の状態を指示
命令に変換する指示命令変換手段と、前記指示命令変換
手段により変換された指示命令を統合する指示命令統合
手段と、マルチメディア情報内の利用者の指示対象とな
る特定の領域を管理し、その領域が選択された際の処理
を管理する指示対象管理手段と、マルチメディア情報空
間に出力するマルチメディア情報を管理する空間管理手
段と、マルチメディア情報空間にマルチメディア情報を
出力する空間出力手段とを具備することも特徴としてい
る。これにより、利用者の状態より導出した複数の異な
る領域を指示する命令を、状況に応じて統合して処理す
るため、指示命令の組み合わせにより多様性のある指示
が可能になる。
静止画等マルチメディア情報を提示し、その映像表示画
面に取り囲まれた空間内部で、利用者が映像あるいは音
楽を視聴することが可能なマルチメディア情報空間にお
いて、マルチメディア情報空間に存在する複数の利用者
の状態を検出する利用者状態検出手段と、前記利用者状
態検出手段により検出された複数の利用者の状態を指示
命令に変換する指示命令変換手段と、前記指示命令変換
手段により変換された指示命令を統合する指示命令統合
手段と、マルチメディア情報内の利用者の指示対象とな
る特定の領域を管理し、その領域が選択された際の処理
を管理する指示対象管理手段と、マルチメディア情報空
間に出力するマルチメディア情報を管理する空間管理手
段と、マルチメディア情報空間にマルチメディア情報を
出力する空間出力手段とを具備することも特徴としてい
る。これにより、利用者の状態より導出した複数の異な
る領域を指示する命令を、状況に応じて統合して処理す
るため、指示命令の組み合わせにより多様性のある指示
が可能になる。
【0013】また、本発明のマルチメディア情報空間入
出力方法では、映像あるいは静止画等のマルチメディ
ア情報を提示した複数の画面に囲まれた空間内部で、利
用者が映像あるいは音楽を視聴するマルチメディア情報
空間に情報を入出力する方法において、予め前記マルチ
メディア情報空間に出力すべきマルチメディア情報を用
意し、該マルチメディア情報空間に映像が撮影されたな
らば、空間管理手段は、最初に出力すべき情報の再生位
置をもとに、マルチメディア情報と再生位置と表示位置
を空間出力手段に与え、該空間出力手段は、空間の指示
された表示位置にマルチメディア情報の再生位置を出力
し、利用者状態検出手段は、該マルチメディア情報空間
から各利用者の動作、形態、空間座標位置または移動距
離、動きベクトル等を連続的に取得し、かつ、利用者の
状態を利用者単位のデータ列に変換して、指示命令変換
手段に与え、該指示命令変換手段は、利用者状態を指示
命令変換ルールを参照して、状況に応じた指示命令に変
換し、空間管理手段に与え、該空間管理手段は、受取っ
た指示命令に応じて該マルチメディア情報空間に出力す
べきマルチメディア情報を更新し、該マルチメディア情
報を空間出力手段に与え、該空間出力手段は、指示を受
取り、指定されたスクリーンに指定されたマルチメディ
ア情報の指定されたフレームを該マルチメディア情報空
間に出力することを特徴としている。
出力方法では、映像あるいは静止画等のマルチメディ
ア情報を提示した複数の画面に囲まれた空間内部で、利
用者が映像あるいは音楽を視聴するマルチメディア情報
空間に情報を入出力する方法において、予め前記マルチ
メディア情報空間に出力すべきマルチメディア情報を用
意し、該マルチメディア情報空間に映像が撮影されたな
らば、空間管理手段は、最初に出力すべき情報の再生位
置をもとに、マルチメディア情報と再生位置と表示位置
を空間出力手段に与え、該空間出力手段は、空間の指示
された表示位置にマルチメディア情報の再生位置を出力
し、利用者状態検出手段は、該マルチメディア情報空間
から各利用者の動作、形態、空間座標位置または移動距
離、動きベクトル等を連続的に取得し、かつ、利用者の
状態を利用者単位のデータ列に変換して、指示命令変換
手段に与え、該指示命令変換手段は、利用者状態を指示
命令変換ルールを参照して、状況に応じた指示命令に変
換し、空間管理手段に与え、該空間管理手段は、受取っ
た指示命令に応じて該マルチメディア情報空間に出力す
べきマルチメディア情報を更新し、該マルチメディア情
報を空間出力手段に与え、該空間出力手段は、指示を受
取り、指定されたスクリーンに指定されたマルチメディ
ア情報の指定されたフレームを該マルチメディア情報空
間に出力することを特徴としている。
【0014】また、前記空間管理手段は、複数のマル
チメディア情報、指示対象となるアンカー領域名、およ
び対応する指示命令が用意されたならば、最初に出力す
べき情報の再生位置をもとに、マルチメディア情報と再
生位置と表示位置を空間出力手段に与え、指示対象管理
手段は、予め用意された、および該空間管理手段が管理
するアンカー情報を指示命令変換手段に与え、該指示命
令管理手段は、利用者状態と前記アンカー情報を指示命
令変換ルールを参照して、状態に応じた指示命令に変換
して、該空間管理手段に与えることも特徴としている。 また、前記空間管理手段は、特定スクリーンに質問文
と回答選択肢のボタン画像のデータを空間出力手段に与
え、該空間出力手段は、指定されたスクリーンに指定さ
れた質問文とボタン絵の画像を出力し、指示命令統合手
段は、指示命令変換手段より複数の指示命令を受けたと
き、予め用意した複数の指示命令統合ルールを参照し
て、状況に応じて統合した指示命令に変換し、該空間管
理手段に与えることも特徴としている。さらに、本発明
のプログラム記録媒体は、前記,,に記載した
マルチメディア情報空間入出力方法の各ステップをプロ
グラムに変換し、変換されたプログラムを記録したこと
を特徴としている。
チメディア情報、指示対象となるアンカー領域名、およ
び対応する指示命令が用意されたならば、最初に出力す
べき情報の再生位置をもとに、マルチメディア情報と再
生位置と表示位置を空間出力手段に与え、指示対象管理
手段は、予め用意された、および該空間管理手段が管理
するアンカー情報を指示命令変換手段に与え、該指示命
令管理手段は、利用者状態と前記アンカー情報を指示命
令変換ルールを参照して、状態に応じた指示命令に変換
して、該空間管理手段に与えることも特徴としている。 また、前記空間管理手段は、特定スクリーンに質問文
と回答選択肢のボタン画像のデータを空間出力手段に与
え、該空間出力手段は、指定されたスクリーンに指定さ
れた質問文とボタン絵の画像を出力し、指示命令統合手
段は、指示命令変換手段より複数の指示命令を受けたと
き、予め用意した複数の指示命令統合ルールを参照し
て、状況に応じて統合した指示命令に変換し、該空間管
理手段に与えることも特徴としている。さらに、本発明
のプログラム記録媒体は、前記,,に記載した
マルチメディア情報空間入出力方法の各ステップをプロ
グラムに変換し、変換されたプログラムを記録したこと
を特徴としている。
【0015】
【発明の実施の形態】以下、本発明の実施例を、図面に
より詳細に説明する。 (第1の実施例)図1は、本発明の第1の実施例を示す
マルチメディア情報空間のイメージ図である。マルチメ
ディア情報空間18は、複数の利用者が中に入れるよう
に、例えば一辺がNメートルの正方形のスクリーンを床
面および前後左右面に組み合わせ、各スクリーンにコン
ピュータから出力される画像をプロジェクターで投影で
きるようにする。ここで、16は左面のスクリーンと後
面のスクリーンとで家の模形の映像が、17は右面のス
クリーンと後面のスクリーンとでやはり家の模形の映像
がそれぞれ映されている。前面のスクリーンは省略され
ている。
より詳細に説明する。 (第1の実施例)図1は、本発明の第1の実施例を示す
マルチメディア情報空間のイメージ図である。マルチメ
ディア情報空間18は、複数の利用者が中に入れるよう
に、例えば一辺がNメートルの正方形のスクリーンを床
面および前後左右面に組み合わせ、各スクリーンにコン
ピュータから出力される画像をプロジェクターで投影で
きるようにする。ここで、16は左面のスクリーンと後
面のスクリーンとで家の模形の映像が、17は右面のス
クリーンと後面のスクリーンとでやはり家の模形の映像
がそれぞれ映されている。前面のスクリーンは省略され
ている。
【0016】図2は、本発明の第1の実施例を示すマル
チメディア情報空間入出力装置のブロック構成図であ
る。図2に示すマルチメディア情報空間入出力装置は、
マルチメディア情報空間19に存在する複数の利用者の
状態を検出する利用者状態検出手段11と、前記利用者
状態検出手段11により検出された複数の利用者の状態
を指示命令に変換する指示命令変換手段12と、指示命
令変換手段12により変換された指示命令を処理する空
間管理手段13と、マルチメディア情報空間にマルチメ
ディア情報を出力する空間出力手段14とから構成され
ている。このような構成のマルチメディア情報空間入出
力装置の作用について、詳述する。予め、マルチメディ
ア情報空間に出力すべきマルチメディア情報を用意し、
例えば、ファイルとして蓄積しておく。出力すべきマル
チメディア情報としては、例えば街路を等速かつ直線的
に移動しながら前方や左右後方等の複数の方向を同時に
撮影した映像等が考えられる。
チメディア情報空間入出力装置のブロック構成図であ
る。図2に示すマルチメディア情報空間入出力装置は、
マルチメディア情報空間19に存在する複数の利用者の
状態を検出する利用者状態検出手段11と、前記利用者
状態検出手段11により検出された複数の利用者の状態
を指示命令に変換する指示命令変換手段12と、指示命
令変換手段12により変換された指示命令を処理する空
間管理手段13と、マルチメディア情報空間にマルチメ
ディア情報を出力する空間出力手段14とから構成され
ている。このような構成のマルチメディア情報空間入出
力装置の作用について、詳述する。予め、マルチメディ
ア情報空間に出力すべきマルチメディア情報を用意し、
例えば、ファイルとして蓄積しておく。出力すべきマル
チメディア情報としては、例えば街路を等速かつ直線的
に移動しながら前方や左右後方等の複数の方向を同時に
撮影した映像等が考えられる。
【0017】図20は、図2におけるマルチメディア情
報空間入出力装置の動作フローチャートである。空間管
理手段13は、マルチメディア情報空間に出力すべきマ
ルチメディア情報を管理し、例えば街路を等速かつ直線
的に移動しながら前方や左右後方等、複数の方向を同時
に撮影した映像等をマルチメディア空間に出力する場合
に、マルチメディア情報空間のY軸を街路の前後方向、
正の方向を前、負の方向を後ろと仮定し、前後左右の方
向を撮影した映像とスクリーンを対応付けして管理する
(ステップ102)。空間管理手段13は、例えば、予
め定義された利用者に対して最初に出力すべきマルチメ
ディア情報の再生位置等の情報をもとに、空間出力手段
14に再生すべきマルチメディア情報およびそのマルチ
メディア情報の再生位置および表示位置を与える(ステ
ップ103)。
報空間入出力装置の動作フローチャートである。空間管
理手段13は、マルチメディア情報空間に出力すべきマ
ルチメディア情報を管理し、例えば街路を等速かつ直線
的に移動しながら前方や左右後方等、複数の方向を同時
に撮影した映像等をマルチメディア空間に出力する場合
に、マルチメディア情報空間のY軸を街路の前後方向、
正の方向を前、負の方向を後ろと仮定し、前後左右の方
向を撮影した映像とスクリーンを対応付けして管理する
(ステップ102)。空間管理手段13は、例えば、予
め定義された利用者に対して最初に出力すべきマルチメ
ディア情報の再生位置等の情報をもとに、空間出力手段
14に再生すべきマルチメディア情報およびそのマルチ
メディア情報の再生位置および表示位置を与える(ステ
ップ103)。
【0018】空間出力手段14は、前記空間管理手段1
3より受け取った情報をもとに、マルチメディア情報空
間の指定された表示位置に、指定されたマルチメディア
情報の指定された再生位置を出力する(ステップ10
4)。利用者状態検出手段11は、マルチメディア情報
空間内の利用者の動作、形状、空間座標位置または移動
距離、動きベクトル等を連続的に取得する(ステップ1
05)。利用者状態検出手段11は、利用者状態を利用
者単位のデータ列に変換し、指示命令変換手段12に与
える(ステップ106)。指示命令変換手段12は、利
用者状態を指示命令変換ルールを参照して、状況に応じ
た指示命令に変換し、空間管理手段13に与える(ステ
ップ107)。空間管理手段13は、受取った指示命令
に応じてマルチメディア情報空間に出力すべきマルチメ
ディア情報を更新し、空間出力手段14に与える(ステ
ップ108)。空間出力手段14は、空間管理手段13
から指示を受取り、指定されたスクリーンに指定された
マルチメディア情報の指定されたフレームを出力する
(ステップ109)。ここで、連続して出力する場合に
は(ステップ110)、ステップ105にジャンプして
動作を続行し、ルールを参照して動作を切り替えながら
出力を続ける。また、終了指示があったならば(ステッ
プ110)、そこで動作終了となる。
3より受け取った情報をもとに、マルチメディア情報空
間の指定された表示位置に、指定されたマルチメディア
情報の指定された再生位置を出力する(ステップ10
4)。利用者状態検出手段11は、マルチメディア情報
空間内の利用者の動作、形状、空間座標位置または移動
距離、動きベクトル等を連続的に取得する(ステップ1
05)。利用者状態検出手段11は、利用者状態を利用
者単位のデータ列に変換し、指示命令変換手段12に与
える(ステップ106)。指示命令変換手段12は、利
用者状態を指示命令変換ルールを参照して、状況に応じ
た指示命令に変換し、空間管理手段13に与える(ステ
ップ107)。空間管理手段13は、受取った指示命令
に応じてマルチメディア情報空間に出力すべきマルチメ
ディア情報を更新し、空間出力手段14に与える(ステ
ップ108)。空間出力手段14は、空間管理手段13
から指示を受取り、指定されたスクリーンに指定された
マルチメディア情報の指定されたフレームを出力する
(ステップ109)。ここで、連続して出力する場合に
は(ステップ110)、ステップ105にジャンプして
動作を続行し、ルールを参照して動作を切り替えながら
出力を続ける。また、終了指示があったならば(ステッ
プ110)、そこで動作終了となる。
【0019】図3は、図2における利用者部分の形状を
表す例を示す図である。利用者状態検出手段11は、例
えばマルチメディア情報空間上部に設置したビデオカメ
ラ28より連続する各フレームの輝度値をもとに利用者
部分27を認識し、各フレーム内における位置あるいは
過去のフレームにおける位置との位置関係あるいは形態
等をもとに、マルチメディア情報空間に存在する複数の
利用者29の状態として、例えば動作、形状、空間座標
位置あるいは一定時間前の位置と比較した移動距離、動
きベクトル等を連続的に取得する。このとき、形状は、
例えば図3に示すように、利用者部分の重心座標38お
よび最端点座標30等の座標で表わされる。
表す例を示す図である。利用者状態検出手段11は、例
えばマルチメディア情報空間上部に設置したビデオカメ
ラ28より連続する各フレームの輝度値をもとに利用者
部分27を認識し、各フレーム内における位置あるいは
過去のフレームにおける位置との位置関係あるいは形態
等をもとに、マルチメディア情報空間に存在する複数の
利用者29の状態として、例えば動作、形状、空間座標
位置あるいは一定時間前の位置と比較した移動距離、動
きベクトル等を連続的に取得する。このとき、形状は、
例えば図3に示すように、利用者部分の重心座標38お
よび最端点座標30等の座標で表わされる。
【0020】図4は、本発明において、利用者が指し示
している方向を取得する例の図である。利用者の視線方
向(太線)と、重心38−最端点30間ベクトル(破
線)に生じるずれを補正するため、この例では、重心3
8と最端点30および重心38と2番目に遠い端点39
間のベクトルの成す角より利用者の向いている方向を推
測し、前記端点間の成す角が鋭角である側に、重心38
−最端点30間のベクトルを角度θ分補正したベクトル
を利用者が示す方向として用いている。図5は、マルチ
メディア情報空間上部に設置したビデオカメラより利用
者の位置を検出する例を示す図である。利用者状態検出
手段11は、連続的に得た利用者状態を、例えば利用者
単位のデータ列に変換し、指示命令変換手段12に与え
る。図5(a)は、情報に設置したカメラから見た映像
であり、(b)は矩形の当てはめを行って矩形を利用者
位置とする例を示しており、(c)は重心を利用者位置
とする例を示している。
している方向を取得する例の図である。利用者の視線方
向(太線)と、重心38−最端点30間ベクトル(破
線)に生じるずれを補正するため、この例では、重心3
8と最端点30および重心38と2番目に遠い端点39
間のベクトルの成す角より利用者の向いている方向を推
測し、前記端点間の成す角が鋭角である側に、重心38
−最端点30間のベクトルを角度θ分補正したベクトル
を利用者が示す方向として用いている。図5は、マルチ
メディア情報空間上部に設置したビデオカメラより利用
者の位置を検出する例を示す図である。利用者状態検出
手段11は、連続的に得た利用者状態を、例えば利用者
単位のデータ列に変換し、指示命令変換手段12に与え
る。図5(a)は、情報に設置したカメラから見た映像
であり、(b)は矩形の当てはめを行って矩形を利用者
位置とする例を示しており、(c)は重心を利用者位置
とする例を示している。
【0021】図6は、マルチメディア情報空間より得た
利用者状態をデータに変換する例を示す図である。デー
タ列は、例えばCSV形式であり、画像より得た利用者
の形状のうち最端点座標を腕の先と仮定し、重心座標お
よび最端点座標の長さより、腕が延びているか否かを検
出している。この例では、最端点の腕が延びている状態
を状態Sn=1、延びていない状態をSn=0と表示し
ている。また、ベクトルVおよび変量N、および加速度
Anは、時刻Tn−2あるいはTn−1時の利用者状態
を参照して求める。図6の場合、利用者41に対しては
座標U2(PX2,PY2)と腕の先の座標(VX2,
VY2)が、利用者42に対しては座標U3(PX3,
PY3)が、利用者43に対しては座標U4(PX4,
PY4)および腕の先(VX4,VY4)が、利用者4
4に対しては、座標U1(PX1,PY1)および腕の
先(VX1,VY1)が、それぞれ求められている。
利用者状態をデータに変換する例を示す図である。デー
タ列は、例えばCSV形式であり、画像より得た利用者
の形状のうち最端点座標を腕の先と仮定し、重心座標お
よび最端点座標の長さより、腕が延びているか否かを検
出している。この例では、最端点の腕が延びている状態
を状態Sn=1、延びていない状態をSn=0と表示し
ている。また、ベクトルVおよび変量N、および加速度
Anは、時刻Tn−2あるいはTn−1時の利用者状態
を参照して求める。図6の場合、利用者41に対しては
座標U2(PX2,PY2)と腕の先の座標(VX2,
VY2)が、利用者42に対しては座標U3(PX3,
PY3)が、利用者43に対しては座標U4(PX4,
PY4)および腕の先(VX4,VY4)が、利用者4
4に対しては、座標U1(PX1,PY1)および腕の
先(VX1,VY1)が、それぞれ求められている。
【0022】図7は、本発明の第1の実施例を示す指示
命令変換に係わる構成図である。指示命令変換手段12
は、利用者状態検出手段11から受け取った、例えば利
用者単位のデータ列等利用者状態を、例えばスクリプト
等により用意された複数の指示命令変換ルール46を参
照して、状況に応じた指示命令に変換し、空間管理手段
14に与える。指示命令変換ルール46は、予め、例え
ばインタプリタ言語のスクリプト等で記述される。スク
リプトには、例えば一定の時間間隔毎に利用者状態をも
とにマルチメディア情報空間で一番多く移動している利
用者のY軸方向の動き等を演算し、演算して得た結果を
反映させた、例えば「特定のスクリーンに特定の映像を
特定のフレームから利用者状態を演算し得た値フレーム
数再生する」等の指示命令に変換し、空間管理手段14
に送信する等の内容が記述される。
命令変換に係わる構成図である。指示命令変換手段12
は、利用者状態検出手段11から受け取った、例えば利
用者単位のデータ列等利用者状態を、例えばスクリプト
等により用意された複数の指示命令変換ルール46を参
照して、状況に応じた指示命令に変換し、空間管理手段
14に与える。指示命令変換ルール46は、予め、例え
ばインタプリタ言語のスクリプト等で記述される。スク
リプトには、例えば一定の時間間隔毎に利用者状態をも
とにマルチメディア情報空間で一番多く移動している利
用者のY軸方向の動き等を演算し、演算して得た結果を
反映させた、例えば「特定のスクリーンに特定の映像を
特定のフレームから利用者状態を演算し得た値フレーム
数再生する」等の指示命令に変換し、空間管理手段14
に送信する等の内容が記述される。
【0023】空間管理手段13は、指示命令変換手段1
2より指示命令を受け取った際に、指示命令に応じてマ
ルチメディア情報空間に出力すべきマルチメディア情報
を更新する。例えば、指示命令変換手段12よりNフレ
ーム分マルチメディア情報の再生を進める等の指示命令
を受け取った場合には、空間管理手段13は、マルチメ
ディア情報空間出力手段14に再生すべきマルチメディ
ア情報名および再生フレーム位置および再生フレーム数
および出力スクリーン番号等を与え、現在管理している
再生フレーム位置と再生フレーム数を加減して、現在の
再生位置を更新する。マルチメディア情報空間出力手段
14は、空間管理手段13の指示を受け取り、指定され
たスクリーンに指定されたマルチメディア情報の例えば
指定されたフレーム等を出力する。
2より指示命令を受け取った際に、指示命令に応じてマ
ルチメディア情報空間に出力すべきマルチメディア情報
を更新する。例えば、指示命令変換手段12よりNフレ
ーム分マルチメディア情報の再生を進める等の指示命令
を受け取った場合には、空間管理手段13は、マルチメ
ディア情報空間出力手段14に再生すべきマルチメディ
ア情報名および再生フレーム位置および再生フレーム数
および出力スクリーン番号等を与え、現在管理している
再生フレーム位置と再生フレーム数を加減して、現在の
再生位置を更新する。マルチメディア情報空間出力手段
14は、空間管理手段13の指示を受け取り、指定され
たスクリーンに指定されたマルチメディア情報の例えば
指定されたフレーム等を出力する。
【0024】第1の実施例の指示命令変換手段12で
は、一例として一定の時間間隔毎に指示命令に変換する
指示命令変換ルール46を示しているが、例えば利用者
の動きベクトルの分散が一定値以下の場合等、別の条件
であってもよい。また、同じように、最大の変量を示し
た利用者の動きベクトルおよび変量より指示命令を求め
ているが、前記指示命令は、例えば利用者全員あるいは
特定あるいは任意の複数の利用者の動きベクトルおよび
変量を平均したものであってもよく、また利用者全員あ
るいは特定あるいは任意の複数の利用者の動きベクトル
を平均したベクトルおよび最大の変量を示した利用者の
変量、あるいは最大の変量を示した利用者の動きベクト
ルおよび利用者全員あるいは特定あるいは任意の複数の
利用者の変量を平均した値等を用いて求めてもよい。こ
の際に、特定の利用者は、例えば変量等が一定値以上で
ある、あるいはマルチメディア情報空間上の特定の領域
に存在している、あるいは一定距離以内に他の利用者が
存在する等の条件で選別される。
は、一例として一定の時間間隔毎に指示命令に変換する
指示命令変換ルール46を示しているが、例えば利用者
の動きベクトルの分散が一定値以下の場合等、別の条件
であってもよい。また、同じように、最大の変量を示し
た利用者の動きベクトルおよび変量より指示命令を求め
ているが、前記指示命令は、例えば利用者全員あるいは
特定あるいは任意の複数の利用者の動きベクトルおよび
変量を平均したものであってもよく、また利用者全員あ
るいは特定あるいは任意の複数の利用者の動きベクトル
を平均したベクトルおよび最大の変量を示した利用者の
変量、あるいは最大の変量を示した利用者の動きベクト
ルおよび利用者全員あるいは特定あるいは任意の複数の
利用者の変量を平均した値等を用いて求めてもよい。こ
の際に、特定の利用者は、例えば変量等が一定値以上で
ある、あるいはマルチメディア情報空間上の特定の領域
に存在している、あるいは一定距離以内に他の利用者が
存在する等の条件で選別される。
【0025】また、図7の指示命令変換ルール46は、
他に例えば各利用者の状態より代表となる値を導き出
し、導き出した値あるいはその値をもとに、さらに演算
し得た値のフレーム数分、現在出力中のマルチメディア
情報の再生を進める、あるいは、各利用者の状態より代
表となる座標値を導き出し、その座標値あるいはその座
標値を写像あるいは移動等の変換を行って得た座標値を
マルチメディア情報空間における表示位置として、別に
定めたマルチメディア情報を出力する等が考えられる。
この場合、導き出した値をもとに、さらに演算して値を
求める例としては、例えば、代表となる変量を整数に変
換する、あるいは代表となる座標とマルチメディア空間
における床面の中心座標との距離を求める等が考えられ
る。
他に例えば各利用者の状態より代表となる値を導き出
し、導き出した値あるいはその値をもとに、さらに演算
し得た値のフレーム数分、現在出力中のマルチメディア
情報の再生を進める、あるいは、各利用者の状態より代
表となる座標値を導き出し、その座標値あるいはその座
標値を写像あるいは移動等の変換を行って得た座標値を
マルチメディア情報空間における表示位置として、別に
定めたマルチメディア情報を出力する等が考えられる。
この場合、導き出した値をもとに、さらに演算して値を
求める例としては、例えば、代表となる変量を整数に変
換する、あるいは代表となる座標とマルチメディア空間
における床面の中心座標との距離を求める等が考えられ
る。
【0026】図8は、各利用者の状態より代表となる値
を導く例を示す図である。同じように、指示命令変換ル
ール46は、最大の変量を示した利用者の動きベクトル
および変量より代表値を導出しているが、例えば最小の
変量を示した利用者の動きベクトルであってもよく、最
大あるいは最小の加速度を示した利用者の動きベクトル
等であってもよく、利用者の形状の重心点と最端点の距
離が最大の利用者の重心点と最端点間の長さおよび重心
点を始点とし最端点を終点とするベクトル等であっても
よく、マルチメディア情報空間の例えば中央等、特定の
位置に一番近い位置にいる利用者の動きベクトル等であ
ってもよく、例えば前面スクリーン等マルチメディア情
報空間の特定の面から一番遠い地点にいる利用者の動き
ベクトル等であってもよく、例えば前面スクリーン等マ
ルチメディア情報空間の特定の面に近く、かつ動いてい
る利用者の動きベクトル等であってもよい。(a)は全
利用者の位置の重心位置および利用者を頂点とする多角
形の面積を算出して代表入力としており、(b)は全利
用者の位置の重心位置を算出してベクトル平均により補
正して代表点としており、(c)は動いている利用者の
位置だけを用いて重心位置を算出して代表点としてお
り、(d)は動いている利用者の位置だけを用いて重心
位置を算出し、ベクトル平均により補正を行って代表点
としている。
を導く例を示す図である。同じように、指示命令変換ル
ール46は、最大の変量を示した利用者の動きベクトル
および変量より代表値を導出しているが、例えば最小の
変量を示した利用者の動きベクトルであってもよく、最
大あるいは最小の加速度を示した利用者の動きベクトル
等であってもよく、利用者の形状の重心点と最端点の距
離が最大の利用者の重心点と最端点間の長さおよび重心
点を始点とし最端点を終点とするベクトル等であっても
よく、マルチメディア情報空間の例えば中央等、特定の
位置に一番近い位置にいる利用者の動きベクトル等であ
ってもよく、例えば前面スクリーン等マルチメディア情
報空間の特定の面から一番遠い地点にいる利用者の動き
ベクトル等であってもよく、例えば前面スクリーン等マ
ルチメディア情報空間の特定の面に近く、かつ動いてい
る利用者の動きベクトル等であってもよい。(a)は全
利用者の位置の重心位置および利用者を頂点とする多角
形の面積を算出して代表入力としており、(b)は全利
用者の位置の重心位置を算出してベクトル平均により補
正して代表点としており、(c)は動いている利用者の
位置だけを用いて重心位置を算出して代表点としてお
り、(d)は動いている利用者の位置だけを用いて重心
位置を算出し、ベクトル平均により補正を行って代表点
としている。
【0027】図9は、本発明において、代表となる利用
者を選択する例を示す図である。指示命令変換手段12
は、前述のような複数の指示命令変換ルール46を参照
し、例えば状況に応じてマルチメディア情報空間に出力
すべき情報の切り替え、あるいは切り替えに用いる利用
者の状態を切り替えながら指示命令への変換を行う。ま
た、本実施例の利用者状態検出手段11において、利用
者の形状を求める際に、例としてマルチメディア情報空
間上部に設置したビデオカメラより得た映像を用いてい
るが、例えば側部等、他の角度より複数のビデオカメラ
から撮影した映像も合わせて解析することにより、利用
者部分の重心座標および最端点座標を3次元で取得し、
利用者が指し示す方向を3次元ベクトルで取得すること
が可能である。(a)は、最も大きく移動した利用者を
代表としており、(b)は特定の位置に最も近い位置の
利用者を代表としており、(c)は前面スクリーンから
最も遠い地点の利用者を代表としており、(d)は前面
スクリーンから近く、かつ動いている利用者を代表とし
ている。以上の方法により、大きな複数の画面に提示し
たマルチメディア情報に対して、空間内部に存在する複
数の利用者の位置あるいは動きあるいは動作等を入力と
して取得し、複数の利用者からの入力を統合して状況に
応じた指示命令に変換し、マルチメディア情報を空間に
出力することが可能となる。
者を選択する例を示す図である。指示命令変換手段12
は、前述のような複数の指示命令変換ルール46を参照
し、例えば状況に応じてマルチメディア情報空間に出力
すべき情報の切り替え、あるいは切り替えに用いる利用
者の状態を切り替えながら指示命令への変換を行う。ま
た、本実施例の利用者状態検出手段11において、利用
者の形状を求める際に、例としてマルチメディア情報空
間上部に設置したビデオカメラより得た映像を用いてい
るが、例えば側部等、他の角度より複数のビデオカメラ
から撮影した映像も合わせて解析することにより、利用
者部分の重心座標および最端点座標を3次元で取得し、
利用者が指し示す方向を3次元ベクトルで取得すること
が可能である。(a)は、最も大きく移動した利用者を
代表としており、(b)は特定の位置に最も近い位置の
利用者を代表としており、(c)は前面スクリーンから
最も遠い地点の利用者を代表としており、(d)は前面
スクリーンから近く、かつ動いている利用者を代表とし
ている。以上の方法により、大きな複数の画面に提示し
たマルチメディア情報に対して、空間内部に存在する複
数の利用者の位置あるいは動きあるいは動作等を入力と
して取得し、複数の利用者からの入力を統合して状況に
応じた指示命令に変換し、マルチメディア情報を空間に
出力することが可能となる。
【0028】(第2の実施例)図10は、本発明の第2
の実施例を示すマルチメディア情報空間入出力装置のイ
メージ図である。第2の実施例では、利用者の指示対象
となる特定の点もしくは領域の指示命令を予め用意して
おくものである。図10では、マルチメディア情報47
として、壁面スクリーン48、床面スクリーン49が配
置されている上に、利用者の指示対象となる特定の点も
しくは領域であるアンカー領域の座標と、アンカー領域
の領域名と、特定のスクリーンに特定のマルチメディア
情報を出力する等の指示命令を、複数関連付けた情報で
あるアンカー情報を各アンカー領域について用意してお
く。ここでは、矢印10とその先に特定領域(斜線の円
領域)が示されている。
の実施例を示すマルチメディア情報空間入出力装置のイ
メージ図である。第2の実施例では、利用者の指示対象
となる特定の点もしくは領域の指示命令を予め用意して
おくものである。図10では、マルチメディア情報47
として、壁面スクリーン48、床面スクリーン49が配
置されている上に、利用者の指示対象となる特定の点も
しくは領域であるアンカー領域の座標と、アンカー領域
の領域名と、特定のスクリーンに特定のマルチメディア
情報を出力する等の指示命令を、複数関連付けた情報で
あるアンカー情報を各アンカー領域について用意してお
く。ここでは、矢印10とその先に特定領域(斜線の円
領域)が示されている。
【0029】図11は、本発明の第2の実施例を示すマ
ルチメディア情報空間入出力装置のブロック構成図であ
る。マルチメディア情報空間入出力装置は、マルチメデ
ィア情報空間51に存在する複数の利用者の状態を検出
する利用者状態検出手段21と、利用者状態検出手段2
1により検出された複数の利用者の状態を指示命令に変
換する指示命令変換手段22と、マルチメディア情報内
の利用者の指示対象となる特定の領域であるアンカー領
域を管理し、そのアンカー領域が選択された際の処理を
管理する指示対象管理手段23と、指示命令変換手段2
2により変換された指示命令を処理する空間管理手段2
4と、マルチメディア情報空間にマルチメディア情報を
出力する空間出力手段25とを具備している。
ルチメディア情報空間入出力装置のブロック構成図であ
る。マルチメディア情報空間入出力装置は、マルチメデ
ィア情報空間51に存在する複数の利用者の状態を検出
する利用者状態検出手段21と、利用者状態検出手段2
1により検出された複数の利用者の状態を指示命令に変
換する指示命令変換手段22と、マルチメディア情報内
の利用者の指示対象となる特定の領域であるアンカー領
域を管理し、そのアンカー領域が選択された際の処理を
管理する指示対象管理手段23と、指示命令変換手段2
2により変換された指示命令を処理する空間管理手段2
4と、マルチメディア情報空間にマルチメディア情報を
出力する空間出力手段25とを具備している。
【0030】図11のように構成されたマルチメディア
情報空間入出力装置の作用について、さらに詳細に説明
する。予め複数のマルチメディア情報を用意し、さらに
各マルチメディア情報において、利用者の指示対象とな
る特定の点もしくは領域であるアンカー領域の座標と、
そのアンカー領域の領域名と、例えば特定のスクリーン
に特定のマルチメディア情報を出力する等の指示命令
を、複数関連付けた情報であるアンカー情報を各アンカ
ー領域について用意しておく。例えば、地図画像と、そ
の地図上のある地点から複数の方向を撮影した風景映像
等、地図上の地点と関連のあるマルチメディア情報を用
意して、地図画像の座標値あるいは建物等の領域の座標
値と、その座標値が選択された際に再生すべきマルチメ
ディア情報および再生位置を関連付けた情報を用意す
る。
情報空間入出力装置の作用について、さらに詳細に説明
する。予め複数のマルチメディア情報を用意し、さらに
各マルチメディア情報において、利用者の指示対象とな
る特定の点もしくは領域であるアンカー領域の座標と、
そのアンカー領域の領域名と、例えば特定のスクリーン
に特定のマルチメディア情報を出力する等の指示命令
を、複数関連付けた情報であるアンカー情報を各アンカ
ー領域について用意しておく。例えば、地図画像と、そ
の地図上のある地点から複数の方向を撮影した風景映像
等、地図上の地点と関連のあるマルチメディア情報を用
意して、地図画像の座標値あるいは建物等の領域の座標
値と、その座標値が選択された際に再生すべきマルチメ
ディア情報および再生位置を関連付けた情報を用意す
る。
【0031】図21は、図11におけるマルチメディア
情報空間入出力装置の動作フローチャートである。複数
のマルチメディア情報、特定の領域であるアンカー領域
名、対応する指示命令等が用意できたとき(ステップ2
01)、映像が撮影されたならば(ステップ202)、
空間管理手段24は、最初に出力すべき情報の再生位置
をもとにマルチメディア情報と再生位置と表示位置を空
間出力手段25に与える(ステップ203)。空間出力
手段25、利用者状態検出手段21の動作ステップ20
4,205,206は、図20のステップ104,10
5,106と同じである。次に、指示対象管理手段23
は、予め用意された、および空間管理手段24の管理す
るアンカー情報を指示命令変換手段22に与える(ステ
ップ207)。指示命令変換手段22は、利用者状態と
アンカー情報を指示命令変換ルールを参照して、状況に
応じて指示命令に変換し、これを空間管理手段24に与
える(ステップ208)。次の空間管理手段24および
空間出力手段25の動作ステップ209,210は、図
20のステップ108と109に同じである。そこで、
連続して出力する場合には(ステップ211)、ステッ
プ205にジャンプして動作を続行し、ルールを参照し
て動作を切り替えながら出力を続ける。また、終了指示
が出されていれば、その時点で動作を終了する。
情報空間入出力装置の動作フローチャートである。複数
のマルチメディア情報、特定の領域であるアンカー領域
名、対応する指示命令等が用意できたとき(ステップ2
01)、映像が撮影されたならば(ステップ202)、
空間管理手段24は、最初に出力すべき情報の再生位置
をもとにマルチメディア情報と再生位置と表示位置を空
間出力手段25に与える(ステップ203)。空間出力
手段25、利用者状態検出手段21の動作ステップ20
4,205,206は、図20のステップ104,10
5,106と同じである。次に、指示対象管理手段23
は、予め用意された、および空間管理手段24の管理す
るアンカー情報を指示命令変換手段22に与える(ステ
ップ207)。指示命令変換手段22は、利用者状態と
アンカー情報を指示命令変換ルールを参照して、状況に
応じて指示命令に変換し、これを空間管理手段24に与
える(ステップ208)。次の空間管理手段24および
空間出力手段25の動作ステップ209,210は、図
20のステップ108と109に同じである。そこで、
連続して出力する場合には(ステップ211)、ステッ
プ205にジャンプして動作を続行し、ルールを参照し
て動作を切り替えながら出力を続ける。また、終了指示
が出されていれば、その時点で動作を終了する。
【0032】空間管理手段24は、マルチメディア情報
空間に出力すべきマルチメディア情報とマルチメディア
情報空間の出力面を対応付けて管理する。例えば、床面
スクリーンに地図画像を選択の対象として出力する場
合、マルチメディア情報空間のY軸を地図の南北方向、
正の方向を北、負の方向を南と定義することにより、地
図画像の座標と床面の座標を対応付ける。空間管理手段
24は、例えば予め利用者に対して最初に出力すべきマ
ルチメディア情報およびそのマルチメディア情報の再生
位置等の情報が定義されていた場合には、空間出力手段
25に出力すべきマルチメディア情報およびそのマルチ
メディア情報の再生位置および出力位置を与え、マルチ
メディア情報の出力を管理する。空間出力手段25は、
空間管理手段24のデータを受け取り、指定された位置
に指定されたマルチメディア情報を出力する。
空間に出力すべきマルチメディア情報とマルチメディア
情報空間の出力面を対応付けて管理する。例えば、床面
スクリーンに地図画像を選択の対象として出力する場
合、マルチメディア情報空間のY軸を地図の南北方向、
正の方向を北、負の方向を南と定義することにより、地
図画像の座標と床面の座標を対応付ける。空間管理手段
24は、例えば予め利用者に対して最初に出力すべきマ
ルチメディア情報およびそのマルチメディア情報の再生
位置等の情報が定義されていた場合には、空間出力手段
25に出力すべきマルチメディア情報およびそのマルチ
メディア情報の再生位置および出力位置を与え、マルチ
メディア情報の出力を管理する。空間出力手段25は、
空間管理手段24のデータを受け取り、指定された位置
に指定されたマルチメディア情報を出力する。
【0033】指示対象管理手段23は、予め用意したア
ンカー情報、および空間管理手段24の管理する、例え
ば現在出力中のマルチメディア情報名および出力中のマ
ルチメディア情報が動画像であった場合には、そのマル
チメディア情報中のアンカーに関する情報を取得し、指
示命令変換手段22にこれを与える。指示命令変換手段
22は、利用者状態検出手段21の検出した複数の利用
者の状態および指示対象管理手段23の取得した現在マ
ルチメディア情報空間において、利用者に提示されてい
るマルチメディア情報中のアンカーに関する情報を取得
し、予め用意した複数の指示命令変換ルールを参照し
て、状況に応じた指示命令に変換し、その指示命令を空
間管理手段24に与える。
ンカー情報、および空間管理手段24の管理する、例え
ば現在出力中のマルチメディア情報名および出力中のマ
ルチメディア情報が動画像であった場合には、そのマル
チメディア情報中のアンカーに関する情報を取得し、指
示命令変換手段22にこれを与える。指示命令変換手段
22は、利用者状態検出手段21の検出した複数の利用
者の状態および指示対象管理手段23の取得した現在マ
ルチメディア情報空間において、利用者に提示されてい
るマルチメディア情報中のアンカーに関する情報を取得
し、予め用意した複数の指示命令変換ルールを参照し
て、状況に応じた指示命令に変換し、その指示命令を空
間管理手段24に与える。
【0034】図12は、本発明の第2の実施例を示す指
示命令変換に関する構成図である。指示命令変換ルール
54は、例えばインタプリタ言語のスクリプト等で記述
される。指示命令変換ルール54には、例えば各利用者
の座標を頂点とする多角形の重心座標Gおよび面積Sを
演算し、面積Sが一定値以下であれば、重心座標Gをも
とにアンカーに関する情報55を検索し、一番近い位置
にあるアンカーと関連付けられた指示命令を空間管理手
段24に送信する、あるいは一番最初に停止した利用者
の指し示している方向にあるアンカーと関連付けられた
指示命令を空間管理手段24に送信する等の内容が定義
される。
示命令変換に関する構成図である。指示命令変換ルール
54は、例えばインタプリタ言語のスクリプト等で記述
される。指示命令変換ルール54には、例えば各利用者
の座標を頂点とする多角形の重心座標Gおよび面積Sを
演算し、面積Sが一定値以下であれば、重心座標Gをも
とにアンカーに関する情報55を検索し、一番近い位置
にあるアンカーと関連付けられた指示命令を空間管理手
段24に送信する、あるいは一番最初に停止した利用者
の指し示している方向にあるアンカーと関連付けられた
指示命令を空間管理手段24に送信する等の内容が定義
される。
【0035】空間管理手段24は、現在管理しているマ
ルチメディア情報空間の各スクリーンに出力しているマ
ルチメディア情報の出力スクリーンや出力位置、再生フ
レーム番号等の状態を管理する。また、指示命令変換手
段22より指示命令を受け取った際に、指示命令に応じ
てマルチメディア情報空間に出力すべきマルチメディア
情報を更新する。例えば、指示命令変換手段22より特
定スクリーンの特定位置に特定のマルチメディア情報の
再生を進める等の指示命令を受け取った場合、空間管理
手段24は、マルチメディア情報空間出力手段25に再
生すべきマルチメディア情報名および再生フレーム番号
および出力スクリーン番号および出力位置等を与え、現
在管理しているマルチメディア情報空間の各スクリーン
に出力しているマルチメディア情報の出力スクリーンや
出力位置、再生フレーム番号等の状態を更新する。マル
チメディア情報空間出力手段25は、空間管理手段24
の指示を受け取り、指定されたスクリーンに指定された
マルチメディア情報を出力する。
ルチメディア情報空間の各スクリーンに出力しているマ
ルチメディア情報の出力スクリーンや出力位置、再生フ
レーム番号等の状態を管理する。また、指示命令変換手
段22より指示命令を受け取った際に、指示命令に応じ
てマルチメディア情報空間に出力すべきマルチメディア
情報を更新する。例えば、指示命令変換手段22より特
定スクリーンの特定位置に特定のマルチメディア情報の
再生を進める等の指示命令を受け取った場合、空間管理
手段24は、マルチメディア情報空間出力手段25に再
生すべきマルチメディア情報名および再生フレーム番号
および出力スクリーン番号および出力位置等を与え、現
在管理しているマルチメディア情報空間の各スクリーン
に出力しているマルチメディア情報の出力スクリーンや
出力位置、再生フレーム番号等の状態を更新する。マル
チメディア情報空間出力手段25は、空間管理手段24
の指示を受け取り、指定されたスクリーンに指定された
マルチメディア情報を出力する。
【0036】本実施例の指示命令変換手段22において
は、利用者全員の座標より重心座標と面積を求め、アン
カー領域を選択しているが、利用者全員ではなく、例え
ば特定の利用者あるいは任意の複数の利用者の座標の重
心点および面積を用いてもよい。この際に、特定の利用
者は、例えば変量等が一定値以上である、あるいはマル
チメディア情報空間上の特定の領域に存在している、あ
るいは一定距離以内に他の利用者が存在する等の条件で
選別される。また、本実施例の指示命令変換手段22に
おいては、利用者全員の座標より求めた重心以外座標あ
るいは重心座標を他の値によって補正した座標であって
もよく、例えば重心座標の代りに重心座標より利用者全
員あるいは特定あるいは任意の利用者の動きベクトルを
加算した方向に利用者の変量分移動した座標を用いても
よく、あるいは利用者全員の座標ではなく、一定値以上
移動した利用者だけを用いた重心、あるいは一定値以上
移動した利用者だけを用いた重心を動きベクトル平均に
より補正した値等であってもよい。
は、利用者全員の座標より重心座標と面積を求め、アン
カー領域を選択しているが、利用者全員ではなく、例え
ば特定の利用者あるいは任意の複数の利用者の座標の重
心点および面積を用いてもよい。この際に、特定の利用
者は、例えば変量等が一定値以上である、あるいはマル
チメディア情報空間上の特定の領域に存在している、あ
るいは一定距離以内に他の利用者が存在する等の条件で
選別される。また、本実施例の指示命令変換手段22に
おいては、利用者全員の座標より求めた重心以外座標あ
るいは重心座標を他の値によって補正した座標であって
もよく、例えば重心座標の代りに重心座標より利用者全
員あるいは特定あるいは任意の利用者の動きベクトルを
加算した方向に利用者の変量分移動した座標を用いても
よく、あるいは利用者全員の座標ではなく、一定値以上
移動した利用者だけを用いた重心、あるいは一定値以上
移動した利用者だけを用いた重心を動きベクトル平均に
より補正した値等であってもよい。
【0037】また、本実施例においては、マルチメディ
ア情報空間において選択の対象となる面として、床面を
例に挙げているが、選択の対象となる面は壁面等であっ
てもよい。この場合、代表となる座標値は、例えば選択
の対象となる面に写像あるいは移動した後に領域に内包
されているか否かの処理を行う。例えば、前面スクリー
ンに選択の対象となる地図を出力する場合、空間管理手
段23はその面の上下軸を地図の南北方向、上の方向を
北、下の方向を南と仮定し、その面に出力している地図
等のマルチメディア情報の座標と、マルチメディア情報
空間の面の座標を対応付けして管理し、指示命令変換手
段22は、例えば図6または図8に示すように、前述の
床面を例に説明した方法で求めた座標値をその面に写像
し導出した座標値を指示命令における座標値として用い
る。
ア情報空間において選択の対象となる面として、床面を
例に挙げているが、選択の対象となる面は壁面等であっ
てもよい。この場合、代表となる座標値は、例えば選択
の対象となる面に写像あるいは移動した後に領域に内包
されているか否かの処理を行う。例えば、前面スクリー
ンに選択の対象となる地図を出力する場合、空間管理手
段23はその面の上下軸を地図の南北方向、上の方向を
北、下の方向を南と仮定し、その面に出力している地図
等のマルチメディア情報の座標と、マルチメディア情報
空間の面の座標を対応付けして管理し、指示命令変換手
段22は、例えば図6または図8に示すように、前述の
床面を例に説明した方法で求めた座標値をその面に写像
し導出した座標値を指示命令における座標値として用い
る。
【0038】図13は、座標値を壁面に写像して得た位
置を代表点とする例を示す図である。本実施例におい
て、指示命令変換手段22は、代表となる座標値をもと
に選択の対象となる領域を求めているが、選択の対象と
なる面が壁面であった場合、代表となる利用者の重心点
と最端点を結ぶ直線方向等と選択の対象となる面との接
点を代表とする。なお、(a)は前面壁に最も近い利用
者の位置を用いており、(b)は前面壁に最も近い動い
ている利用者の位置を用いている。あるいは、全利用者
もしくは特定あるいは任意の利用者各々の重心と最端点
とを結ぶ直線方向を例えば平均等の方法で演算して代表
化し、この直線方向と選択の対象となる面との接点を代
表としてもよい。(c)は前面壁の一定距離内に存在す
る利用者の重心位置を算出しており、(d)は(c)で
算出した重心位置をベクトル平均により補正を行ってお
り、(e)は同じく動いている利用者位置を用いて重心
位置を算出しており、(f)は同じく動いている利用者
位置を用いて重心位置を求め、ベクトル平均により補正
を行っている。
置を代表点とする例を示す図である。本実施例におい
て、指示命令変換手段22は、代表となる座標値をもと
に選択の対象となる領域を求めているが、選択の対象と
なる面が壁面であった場合、代表となる利用者の重心点
と最端点を結ぶ直線方向等と選択の対象となる面との接
点を代表とする。なお、(a)は前面壁に最も近い利用
者の位置を用いており、(b)は前面壁に最も近い動い
ている利用者の位置を用いている。あるいは、全利用者
もしくは特定あるいは任意の利用者各々の重心と最端点
とを結ぶ直線方向を例えば平均等の方法で演算して代表
化し、この直線方向と選択の対象となる面との接点を代
表としてもよい。(c)は前面壁の一定距離内に存在す
る利用者の重心位置を算出しており、(d)は(c)で
算出した重心位置をベクトル平均により補正を行ってお
り、(e)は同じく動いている利用者位置を用いて重心
位置を算出しており、(f)は同じく動いている利用者
位置を用いて重心位置を求め、ベクトル平均により補正
を行っている。
【0039】図14は、座標値を壁面に移動して得た位
置を代表点とする例を示す図である。例えば、図14に
示すように、床面におけるベクトルと代表座標を用い、
代表座標よりベクトル方向に結んだ線と壁面との交点を
代表となる座標値に用いてもよい。ただし、床面におけ
るベクトルは2次元ベクトルであるため、壁面との交点
において高さを確定する必要がある場合には、例えば代
表座標と壁面との交点間の最短距離等、他の値を用意
し、これを高さの座標値として用いる。図14では、全
利用者の位置の重心位置座標よりベクトル平均方向に引
いた線分と壁面との接点に近い領域を選択している。
置を代表点とする例を示す図である。例えば、図14に
示すように、床面におけるベクトルと代表座標を用い、
代表座標よりベクトル方向に結んだ線と壁面との交点を
代表となる座標値に用いてもよい。ただし、床面におけ
るベクトルは2次元ベクトルであるため、壁面との交点
において高さを確定する必要がある場合には、例えば代
表座標と壁面との交点間の最短距離等、他の値を用意
し、これを高さの座標値として用いる。図14では、全
利用者の位置の重心位置座標よりベクトル平均方向に引
いた線分と壁面との接点に近い領域を選択している。
【0040】本実施例における予め用意した指示命令変
換ルール54は、他にも例えば、各利用者の状態より代
表となる座標値を導出し、その座標値あるいはその座標
値を写像あるいは移動等の変換を行って得た座標値が、
前記アンカー領域のいずれかに、例えば内包されている
か、あるいは一定の距離以内にあるか等を算出し、該当
するアンカー領域が存在した場合には、そのアンカー領
域が選択されたものとする、あるいは各利用者の状態よ
り代表となる値および座標値を導き出し、その代表とな
る値が一定値以上の場合には、その代表となる座標値を
もとにアンカー領域が選択されているか否かを導き出
し、該当するアンカー領域が存在した場合には、そのア
ンカー領域が決定されたとする、あるいは各アンカー領
域に関して、利用者の位置座標あるいはアンカー領域の
出力されている面に写像あるいは移動等の変換を行って
得た座標値がアンカー領域に内包あるいは一定の距離に
存在している数を数え、一番多数の値を示したアンカー
領域を選択されたものとする、等が考えられる。また、
領域に内包される利用者の数を数える際には、利用者の
動きベクトルおよび変量等を用いて利用者の座標を補正
してもよい。
換ルール54は、他にも例えば、各利用者の状態より代
表となる座標値を導出し、その座標値あるいはその座標
値を写像あるいは移動等の変換を行って得た座標値が、
前記アンカー領域のいずれかに、例えば内包されている
か、あるいは一定の距離以内にあるか等を算出し、該当
するアンカー領域が存在した場合には、そのアンカー領
域が選択されたものとする、あるいは各利用者の状態よ
り代表となる値および座標値を導き出し、その代表とな
る値が一定値以上の場合には、その代表となる座標値を
もとにアンカー領域が選択されているか否かを導き出
し、該当するアンカー領域が存在した場合には、そのア
ンカー領域が決定されたとする、あるいは各アンカー領
域に関して、利用者の位置座標あるいはアンカー領域の
出力されている面に写像あるいは移動等の変換を行って
得た座標値がアンカー領域に内包あるいは一定の距離に
存在している数を数え、一番多数の値を示したアンカー
領域を選択されたものとする、等が考えられる。また、
領域に内包される利用者の数を数える際には、利用者の
動きベクトルおよび変量等を用いて利用者の座標を補正
してもよい。
【0041】図15は、アンカー領域を選択する例を示
す図である。図15(a)では、内包している利用者の
数が一番多い領域を選択する場合を示している。すなわ
ち、左側よりも右側の円内の方が利用者数が多いので、
こちらを選択する。(b)では、動きも見越して内包し
ている利用者数の最も多い領域を選択する場合を示して
いる。すなわち、左側も右側も利用者は1人であるが、
右側は2人になる予測がなされるため、右側の円内の領
域を選択する。
す図である。図15(a)では、内包している利用者の
数が一番多い領域を選択する場合を示している。すなわ
ち、左側よりも右側の円内の方が利用者数が多いので、
こちらを選択する。(b)では、動きも見越して内包し
ている利用者数の最も多い領域を選択する場合を示して
いる。すなわち、左側も右側も利用者は1人であるが、
右側は2人になる予測がなされるため、右側の円内の領
域を選択する。
【0042】(第3の実施例)図16は、本発明の第3
の実施例を示すマルチメディア情報空間入出力装置のイ
メージ図である。本実施例では、複数の指示命令を得た
ときには、指示命令統合ルールを参照する方法が示され
ている。壁面スクリーン57には、興味ある観光地はど
こであるかを問い合わせる質問58が表示される。床面
スクリーン59には、海、スポーツ、温泉、テーマパー
ク、山、等の領域が内包している。また、床面スクリー
ン59の奥中央には、興味ある観光地を選択するための
ボタンが出力されている。
の実施例を示すマルチメディア情報空間入出力装置のイ
メージ図である。本実施例では、複数の指示命令を得た
ときには、指示命令統合ルールを参照する方法が示され
ている。壁面スクリーン57には、興味ある観光地はど
こであるかを問い合わせる質問58が表示される。床面
スクリーン59には、海、スポーツ、温泉、テーマパー
ク、山、等の領域が内包している。また、床面スクリー
ン59の奥中央には、興味ある観光地を選択するための
ボタンが出力されている。
【0043】図17は、本発明の第3の実施例を示すマ
ルチメディア情報空間入出力装置のブロック構成図であ
る。本実施例のマルチメディア情報空間入出力装置は、
マルチメディア情報空間60に存在する複数の利用者の
状態を検出する利用者状態検出手段31と、利用者状態
検出手段31により検出された複数の利用者の状態を指
示命令に変換する指示命令変換手段32と、指示命令変
換手段32により変換された指示命令を統合する指示命
令統合手段33と、指示対象管理手段34と、マルチメ
ディア情報内の利用者の指示対象となる特定の領域を管
理し、その領域が選択された際の処理を管理する指示対
象管理手段34と、マルチメディア情報空間に出力する
マルチメディア情報を管理する空間管理手段35と、マ
ルチメディア情報空間にマルチメディア情報を出力する
空間出力手段36とを具備している。
ルチメディア情報空間入出力装置のブロック構成図であ
る。本実施例のマルチメディア情報空間入出力装置は、
マルチメディア情報空間60に存在する複数の利用者の
状態を検出する利用者状態検出手段31と、利用者状態
検出手段31により検出された複数の利用者の状態を指
示命令に変換する指示命令変換手段32と、指示命令変
換手段32により変換された指示命令を統合する指示命
令統合手段33と、指示対象管理手段34と、マルチメ
ディア情報内の利用者の指示対象となる特定の領域を管
理し、その領域が選択された際の処理を管理する指示対
象管理手段34と、マルチメディア情報空間に出力する
マルチメディア情報を管理する空間管理手段35と、マ
ルチメディア情報空間にマルチメディア情報を出力する
空間出力手段36とを具備している。
【0044】図22は、図17におけるマルチメディア
情報空間入出力装置の動作フローチャートである。予め
複数のマルチメディア情報を用意し、さらに各マルチメ
ディア情報において利用者の指示対象となる特定の点も
しくは領域であるアンカー領域の座標と、そのアンカー
領域の領域名と、例えば領域に対応したキーワード等
を、複数関連付けた情報であるアンカー情報を用意して
おく(ステップ301)。例えば、日本各地の観光地を
キーワードで分類し、各観光地のPRビデオ名等マルチ
メディア情報と関連付けた観光地データベースおよび観
光地のPRビデオ等の情報および利用者にキーワードを
選択してもらうための質問文を表示する画面、および選
択肢となるキーワードが記載されているボタンの絵が配
置された画像等を用意し、さらに選択肢となるキーワー
ドが記載されているボタンの絵が配置された画像のボタ
ン領域の例えば各頂点の座標値と、その領域の領域名、
およびキーワードを関連付けたアンカー情報等を用意す
る。
情報空間入出力装置の動作フローチャートである。予め
複数のマルチメディア情報を用意し、さらに各マルチメ
ディア情報において利用者の指示対象となる特定の点も
しくは領域であるアンカー領域の座標と、そのアンカー
領域の領域名と、例えば領域に対応したキーワード等
を、複数関連付けた情報であるアンカー情報を用意して
おく(ステップ301)。例えば、日本各地の観光地を
キーワードで分類し、各観光地のPRビデオ名等マルチ
メディア情報と関連付けた観光地データベースおよび観
光地のPRビデオ等の情報および利用者にキーワードを
選択してもらうための質問文を表示する画面、および選
択肢となるキーワードが記載されているボタンの絵が配
置された画像等を用意し、さらに選択肢となるキーワー
ドが記載されているボタンの絵が配置された画像のボタ
ン領域の例えば各頂点の座標値と、その領域の領域名、
およびキーワードを関連付けたアンカー情報等を用意す
る。
【0045】空間管理手段35は、マルチメディア情報
空間の前面等、特定のスクリーンに、例えば「興味のあ
る観光地のキーワードを選択して下さい。」という質問
文等、前記利用者にキーワードを選んでもらうための質
問文を表示する画像等、利用者に複数の選択肢の中から
候補を選ぶことを促す質問を出力するためのマルチメデ
ィア情報、および例えば床面スクリーンに、前記選択肢
となるキーワードが記載されているボタンの絵が配置さ
れた画像等、質問文の回答となる選択肢と対応付けられ
たボタン画像等を出力するためのデータを空間出力手段
36に受け渡し、指示命令を受け取るまで待機する(ス
テップ302,303)。
空間の前面等、特定のスクリーンに、例えば「興味のあ
る観光地のキーワードを選択して下さい。」という質問
文等、前記利用者にキーワードを選んでもらうための質
問文を表示する画像等、利用者に複数の選択肢の中から
候補を選ぶことを促す質問を出力するためのマルチメデ
ィア情報、および例えば床面スクリーンに、前記選択肢
となるキーワードが記載されているボタンの絵が配置さ
れた画像等、質問文の回答となる選択肢と対応付けられ
たボタン画像等を出力するためのデータを空間出力手段
36に受け渡し、指示命令を受け取るまで待機する(ス
テップ302,303)。
【0046】空間出力手段36は、空間管理手段35の
データを受け取り、指定されたスクリーンに指定された
質問文等を出力し、床面スクリーンに、例えば選択肢と
なるキーワードが記載されているボタンの絵が配置され
た画像を投影する(ステップ304)。利用者状態検出
手段31は、第1の実施例における利用者状態検出手段
11と同様の機能を持っている(ステップ305,30
6)。指示対象管理手段34は、予め用意したアンカー
情報、および空間管理手段35の管理する、例えば現在
出力中のマルチメディア情報名および出力中のマルチメ
ディア情報が動画像であった場合にはそのマルチメディ
ア情報の再生フレーム番号等を参照して、現在マルチメ
ディア情報空間において、利用者に提示されているマル
チメディア情報中のアンカーに関する情報を取得し、指
示命令変換手段32に与える(ステップ307)。
データを受け取り、指定されたスクリーンに指定された
質問文等を出力し、床面スクリーンに、例えば選択肢と
なるキーワードが記載されているボタンの絵が配置され
た画像を投影する(ステップ304)。利用者状態検出
手段31は、第1の実施例における利用者状態検出手段
11と同様の機能を持っている(ステップ305,30
6)。指示対象管理手段34は、予め用意したアンカー
情報、および空間管理手段35の管理する、例えば現在
出力中のマルチメディア情報名および出力中のマルチメ
ディア情報が動画像であった場合にはそのマルチメディ
ア情報の再生フレーム番号等を参照して、現在マルチメ
ディア情報空間において、利用者に提示されているマル
チメディア情報中のアンカーに関する情報を取得し、指
示命令変換手段32に与える(ステップ307)。
【0047】指示命令変換手段32は、利用者状態検出
手段31の検出した複数の利用者の状態および指示対象
管理手段34の取得した現在マルチメディア情報空間に
おいて利用者に提示されているマルチメディア情報中の
アンカーに関する情報を取得し、予め用意した複数の指
示命令変換ルールを参照して、状況に応じた指示命令に
変換し、その指示命令を指示命令統合手段33に与える
処理を行う(ステップ308)。指示命令変換ルール
は、例えばインタプリタ言語のスクリプト等で記述され
る。例えば、指示命令処理ルールは、各アンカーに関し
て利用者の位置座標がアンカー領域に内包している数を
数え、一定数以上の値を示したアンカーに関して「関連
付けられたキーワードを検索キーとして用い、観光地デ
ータベースを検索して関連付けたマルチメディア情報名
を取得し、そのマルチメディア情報を出力する」という
指示命令を指示命令統合手段33に送信する等の内容を
定義する。指示命令統合手段33は、指示命令変換手段
32より複数の指示命令を得た場合、予め用意した複数
の指示命令統合ルールを参照して、複数の指示命令を状
況に応じて統合した指示命令に変換する(ステップ30
9)。空間管理手段35および空間出力手段36の動作
ステップ310,311は、図20,図21のステップ
108(209),109(210)と同じである。そ
して、さらに連続して出力する場合には(ステップ31
2)、ステップ305にジャンプして動作を続行し、ル
ールを参照して指示を切り替えながら出力を続ける。終
了の指示が出された時点で動作は終了する。
手段31の検出した複数の利用者の状態および指示対象
管理手段34の取得した現在マルチメディア情報空間に
おいて利用者に提示されているマルチメディア情報中の
アンカーに関する情報を取得し、予め用意した複数の指
示命令変換ルールを参照して、状況に応じた指示命令に
変換し、その指示命令を指示命令統合手段33に与える
処理を行う(ステップ308)。指示命令変換ルール
は、例えばインタプリタ言語のスクリプト等で記述され
る。例えば、指示命令処理ルールは、各アンカーに関し
て利用者の位置座標がアンカー領域に内包している数を
数え、一定数以上の値を示したアンカーに関して「関連
付けられたキーワードを検索キーとして用い、観光地デ
ータベースを検索して関連付けたマルチメディア情報名
を取得し、そのマルチメディア情報を出力する」という
指示命令を指示命令統合手段33に送信する等の内容を
定義する。指示命令統合手段33は、指示命令変換手段
32より複数の指示命令を得た場合、予め用意した複数
の指示命令統合ルールを参照して、複数の指示命令を状
況に応じて統合した指示命令に変換する(ステップ30
9)。空間管理手段35および空間出力手段36の動作
ステップ310,311は、図20,図21のステップ
108(209),109(210)と同じである。そ
して、さらに連続して出力する場合には(ステップ31
2)、ステップ305にジャンプして動作を続行し、ル
ールを参照して指示を切り替えながら出力を続ける。終
了の指示が出された時点で動作は終了する。
【0048】図18は、本発明の第3の実施例を示すマ
ルチメディア情報空間入出力装置の指示命令変換に関す
る構成図である。指示命令統合ルール66は、例えばイ
ンタプリタ言語のスクリプト等で記述される。例えば、
指示命令変換ルール65は、「領域Aに関連付けられた
キーワードを検索キーとして用い、観光地データベース
を検索して関連付けたマルチメディア情報名を取得し、
そのマルチメディア情報を出力する」という指示命令
と、「領域Bに関連付けられたキーワードを検索キーと
して用い、観光地データベースを検索して関連付けたマ
ルチメディア情報名を取得し、そのマルチメディア情報
を出力する」という指示命令を受け取った場合、「領域
Aに関連付けられたキーワードと領域Bに関連付けられ
たキーワードを検索キーとして、観光地データベースを
AND検索して関連付けたマルチメディア情報名を取得
し、そのマルチメディア情報を出力する」という指示命
令に変換し、その指示命令を処理して、空間管理手段3
5に送る。この例では、例えば床面に表示された「海」
という領域と「温泉」という領域が、それぞれ一定数の
利用者の位置座標を内包していた場合、温泉および海を
キーワードに持つ観光地を検索し、該当する観光地のP
Rビデオの映像名を取得し、その映像を出力する指示命
令を空間管理手段35に与える。
ルチメディア情報空間入出力装置の指示命令変換に関す
る構成図である。指示命令統合ルール66は、例えばイ
ンタプリタ言語のスクリプト等で記述される。例えば、
指示命令変換ルール65は、「領域Aに関連付けられた
キーワードを検索キーとして用い、観光地データベース
を検索して関連付けたマルチメディア情報名を取得し、
そのマルチメディア情報を出力する」という指示命令
と、「領域Bに関連付けられたキーワードを検索キーと
して用い、観光地データベースを検索して関連付けたマ
ルチメディア情報名を取得し、そのマルチメディア情報
を出力する」という指示命令を受け取った場合、「領域
Aに関連付けられたキーワードと領域Bに関連付けられ
たキーワードを検索キーとして、観光地データベースを
AND検索して関連付けたマルチメディア情報名を取得
し、そのマルチメディア情報を出力する」という指示命
令に変換し、その指示命令を処理して、空間管理手段3
5に送る。この例では、例えば床面に表示された「海」
という領域と「温泉」という領域が、それぞれ一定数の
利用者の位置座標を内包していた場合、温泉および海を
キーワードに持つ観光地を検索し、該当する観光地のP
Rビデオの映像名を取得し、その映像を出力する指示命
令を空間管理手段35に与える。
【0049】図19は、複数の領域を選択する例を示す
図である。図19(a)は、領域Bを処理した後に、領
域Aを処理する場合を示し、(b)は、領域Aと領域B
とを並行して処理する場合を示している。空間管理手段
35は、現在管理しているマルチメディア情報空間の各
スクリーンに出力しているマルチメディア情報の出力ス
クリーンや出力位置、再生フレーム番号等の状態を管理
する。また、指示命令変換手段32より指示命令を受け
取った際に、指示命令に応じてマルチメディア情報空間
に出力すべきマルチメディア情報を更新する。例えば、
指示命令変換手段32より特定スクリーンの特定位置に
特定のマルチメディア情報の再生を進める等の指示命令
を受け取った場合、空間管理手段35は、マルチメディ
ア情報空間出力手段36に再生すべきマルチメディア情
報名および再生フレーム番号および出力スクリーン番号
および出力位置等を与え、現在管理しているマルチメデ
ィア情報空間の各スクリーンに出力しているマルチメデ
ィア情報の出力スクリーンや出力位置、再生フレーム番
号等の状態を更新する。マルチメディア情報空間出力手
段36は、空間管理手段35の指示を受け取り、指定さ
れたスクリーンに指定されたマルチメディア情報を出力
する。
図である。図19(a)は、領域Bを処理した後に、領
域Aを処理する場合を示し、(b)は、領域Aと領域B
とを並行して処理する場合を示している。空間管理手段
35は、現在管理しているマルチメディア情報空間の各
スクリーンに出力しているマルチメディア情報の出力ス
クリーンや出力位置、再生フレーム番号等の状態を管理
する。また、指示命令変換手段32より指示命令を受け
取った際に、指示命令に応じてマルチメディア情報空間
に出力すべきマルチメディア情報を更新する。例えば、
指示命令変換手段32より特定スクリーンの特定位置に
特定のマルチメディア情報の再生を進める等の指示命令
を受け取った場合、空間管理手段35は、マルチメディ
ア情報空間出力手段36に再生すべきマルチメディア情
報名および再生フレーム番号および出力スクリーン番号
および出力位置等を与え、現在管理しているマルチメデ
ィア情報空間の各スクリーンに出力しているマルチメデ
ィア情報の出力スクリーンや出力位置、再生フレーム番
号等の状態を更新する。マルチメディア情報空間出力手
段36は、空間管理手段35の指示を受け取り、指定さ
れたスクリーンに指定されたマルチメディア情報を出力
する。
【0050】本実施例では、例えば質問文の回答となる
選択肢と対応付けられたボタン映像が床面に出力されて
いるが、出力される位置は、例えば前面スクリーン等、
他の壁面スクリーンであってもよい。この場合、指示命
令変換手段32は、予め例えば前面スクリーン等、前記
選択肢と対応付けられたボタン映像の出力されている位
置と対応付けて壁面スクリーンに設定した複数の領域を
参照し、前述の第1の実施例あるいは第2の実施例にお
いて説明した他の代表となる値を求める方法、例えば利
用者の動きベクトル方向あるいは利用者の重心点と最端
点と結ぶ直線方向等とスクリーン面との接点が、内包し
ているか否かで判断し算出してもよく、また各利用者の
座標値および動きベクトル等を出力される面に写像し得
た値等を用いて、指示命令を導出してもよい。
選択肢と対応付けられたボタン映像が床面に出力されて
いるが、出力される位置は、例えば前面スクリーン等、
他の壁面スクリーンであってもよい。この場合、指示命
令変換手段32は、予め例えば前面スクリーン等、前記
選択肢と対応付けられたボタン映像の出力されている位
置と対応付けて壁面スクリーンに設定した複数の領域を
参照し、前述の第1の実施例あるいは第2の実施例にお
いて説明した他の代表となる値を求める方法、例えば利
用者の動きベクトル方向あるいは利用者の重心点と最端
点と結ぶ直線方向等とスクリーン面との接点が、内包し
ているか否かで判断し算出してもよく、また各利用者の
座標値および動きベクトル等を出力される面に写像し得
た値等を用いて、指示命令を導出してもよい。
【0051】また、本実施例では、指示命令統合ルール
において、一定数以上利用者を内包していた領域と関連
付けられたキーワードを検索キーに用いてAND検索す
る例を示しているが、例えば別々に検索を行い、内包し
ている数の多い順に、領域と関連付けられたマルチメデ
ィア情報を出力するような指示であってもよく、例え
ば、AND検索やOR検索等を行い得られた結果の出力
の候補をいくつかマルチメディア情報空間に例示し、前
記第2の実施例で説明した方法等を用いて、例示した出
力の候補を選択するように利用者に指示を促し、得た結
果に従ってマルチメディア情報の出力を行うような指示
命令であってもよく、またマルチメディア情報が出力さ
れている状況に応じて、前記第2の実施例で示したよう
に特定の領域を選択し関連するマルチメディア情報を出
力するような指示命令であってもよく、状況に応じて指
示命令変換手段32あるいは指示命令統合手段33は指
示命令変換ルール65を使い分ける。
において、一定数以上利用者を内包していた領域と関連
付けられたキーワードを検索キーに用いてAND検索す
る例を示しているが、例えば別々に検索を行い、内包し
ている数の多い順に、領域と関連付けられたマルチメデ
ィア情報を出力するような指示であってもよく、例え
ば、AND検索やOR検索等を行い得られた結果の出力
の候補をいくつかマルチメディア情報空間に例示し、前
記第2の実施例で説明した方法等を用いて、例示した出
力の候補を選択するように利用者に指示を促し、得た結
果に従ってマルチメディア情報の出力を行うような指示
命令であってもよく、またマルチメディア情報が出力さ
れている状況に応じて、前記第2の実施例で示したよう
に特定の領域を選択し関連するマルチメディア情報を出
力するような指示命令であってもよく、状況に応じて指
示命令変換手段32あるいは指示命令統合手段33は指
示命令変換ルール65を使い分ける。
【0052】前述のように、本実施例では、空間管理手
段35において、例えばボタン画像等のマルチメディア
情報と、選択の対象となるマルチメディア情報空間上の
領域を対応付けて管理することで、マルチメディア情報
空間における利用者の状態をもとに、出力されているマ
ルチメディア情報の特定の領域を選択、指示することを
実現している。また、本実施例では、指示命令変換手段
32において導出した代表値と選択の対象となる領域を
1対1に対応付けて、選択されているか否かを判断する
のではなく、選択の対象となる領域毎に各利用者の状態
との関係を求め、選択の判断基準に用いているため、複
数の領域が選択候補として与えられたとき、各々の領域
に対してどの程度の利用者が選択の意志を示しているの
か、という程度を考慮した上で、結果を出力に反映させ
ることを実現している。
段35において、例えばボタン画像等のマルチメディア
情報と、選択の対象となるマルチメディア情報空間上の
領域を対応付けて管理することで、マルチメディア情報
空間における利用者の状態をもとに、出力されているマ
ルチメディア情報の特定の領域を選択、指示することを
実現している。また、本実施例では、指示命令変換手段
32において導出した代表値と選択の対象となる領域を
1対1に対応付けて、選択されているか否かを判断する
のではなく、選択の対象となる領域毎に各利用者の状態
との関係を求め、選択の判断基準に用いているため、複
数の領域が選択候補として与えられたとき、各々の領域
に対してどの程度の利用者が選択の意志を示しているの
か、という程度を考慮した上で、結果を出力に反映させ
ることを実現している。
【0053】なお、図20、図21および図22の各フ
ローチャートのステップをプログラムに変換し、変換さ
れたプログラムをCD−ROMやハードディスク等の記
録媒体に記録することで、その記録媒体を任意のプロセ
ッサにロードまたはネットワークを介してダウンロード
すれば、本発明の各実施例のマルチメディア情報空間入
出力装置およびその方法を実現することができる。
ローチャートのステップをプログラムに変換し、変換さ
れたプログラムをCD−ROMやハードディスク等の記
録媒体に記録することで、その記録媒体を任意のプロセ
ッサにロードまたはネットワークを介してダウンロード
すれば、本発明の各実施例のマルチメディア情報空間入
出力装置およびその方法を実現することができる。
【0054】
【発明の効果】以上説明したように、本発明によれば、
大きな複数の画面に提示したマルチメディア情報に対し
て、空間内部に存在する複数の利用者の位置あるいは動
きあるいは動作等を入力として取得し、複数の利用者か
らの入力を統合して状況に応じた指示命令に変換し、マ
ルチメディア情報を空間に出力することができる。ま
た、予め複数のマルチメディア情報に対して、マルチメ
ディア情報の特定の領域に、その特定の領域が選択され
た際の処理を関連付けておき、マルチメディア情報が空
間に出力されている際に、複数の利用者からの入力を統
合してマルチメディア情報中の特定の領域が選択されて
いるか否かを判断して、選択された領域に応じた処理を
状況に応じて行い、マルチメディア情報を空間に出力す
ることができる。さらに、利用者の状態より導出した複
数の異なる領域を指示する命令を、状況に応じて統合し
て処理するので、指示命令の組み合わせにより多様性の
ある指示を行うことができる。
大きな複数の画面に提示したマルチメディア情報に対し
て、空間内部に存在する複数の利用者の位置あるいは動
きあるいは動作等を入力として取得し、複数の利用者か
らの入力を統合して状況に応じた指示命令に変換し、マ
ルチメディア情報を空間に出力することができる。ま
た、予め複数のマルチメディア情報に対して、マルチメ
ディア情報の特定の領域に、その特定の領域が選択され
た際の処理を関連付けておき、マルチメディア情報が空
間に出力されている際に、複数の利用者からの入力を統
合してマルチメディア情報中の特定の領域が選択されて
いるか否かを判断して、選択された領域に応じた処理を
状況に応じて行い、マルチメディア情報を空間に出力す
ることができる。さらに、利用者の状態より導出した複
数の異なる領域を指示する命令を、状況に応じて統合し
て処理するので、指示命令の組み合わせにより多様性の
ある指示を行うことができる。
【図1】本発明の第1の実施例を示すマルチメディア情
報空間入出力装置のイメージ図である。
報空間入出力装置のイメージ図である。
【図2】本発明の第1の実施例を示すマルチメディア情
報空間入出力装置のブロック構成図である。
報空間入出力装置のブロック構成図である。
【図3】本発明による利用者部分の形状を表す例を示す
図である。
図である。
【図4】本発明により、利用者が指し示している方向を
取得する例の図である。
取得する例の図である。
【図5】本発明により利用者の位置を検出する例を示す
図である。
図である。
【図6】本発明による利用者状態のデータ列の例を示す
図である。
図である。
【図7】本発明の第1の実施例を示す指示命令変換に関
連する部分の構成図である。
連する部分の構成図である。
【図8】本発明の各利用者の状態より代表となる値を導
く例を示す図である。
く例を示す図である。
【図9】本発明において、代表となる利用者を選択する
例を示す図である。
例を示す図である。
【図10】本発明の第2の実施例を示すマルチメディア
情報空間入出力装置のイメージ図である。
情報空間入出力装置のイメージ図である。
【図11】本発明の第2の実施例を示すマルチメディア
情報空間入出力装置のブロック構成図である。
情報空間入出力装置のブロック構成図である。
【図12】本発明の第2の実施例を示す指示命令変換に
関する構成図である。
関する構成図である。
【図13】本発明において、座標値を壁面に写像して得
た位置を代表点とする例を示す図である。
た位置を代表点とする例を示す図である。
【図14】本発明において、座標値を壁面に移動して得
た位置を代表点とする例を示す図である。
た位置を代表点とする例を示す図である。
【図15】本発明において、アンカー領域を選択する例
を示す図である。
を示す図である。
【図16】本発明の第3の実施例を示すマルチメディア
情報空間入出力装置のイメージ図である。
情報空間入出力装置のイメージ図である。
【図17】本発明の第3の実施例を示すマルチメディア
情報空間入出力装置のブロック構成図である。
情報空間入出力装置のブロック構成図である。
【図18】本発明の第3の実施例を示す指示命令変換に
関する構成図である。
関する構成図である。
【図19】本発明における複数の領域を選択する例を示
す図である。
す図である。
【図20】本発明の第1の実施例を示すマルチメディア
情報空間入出力方法の動作フローチャートである。
情報空間入出力方法の動作フローチャートである。
【図21】本発明の第2の実施例を示すマルチメディア
情報空間入出力方法の動作フローチャートである。
情報空間入出力方法の動作フローチャートである。
【図22】本発明の第3の実施例を示すマルチメディア
情報空間入出力方法の動作フローチャートである。
情報空間入出力方法の動作フローチャートである。
11…利用者状態検出手段、12…指示命令変換手段、
13…空間管理手段、14…空間出力手段、19…マル
チメディア情報空間、16,17…壁面スクリーン、1
8…床面、30…最端点、38…重心、28…ビデオカ
メラ、29…利用者、39…2番目に遠い端点、41〜
44…利用者、46…指示命令変換ルール、47…マル
チメディア情報、48…壁面スクリーン、49…床面ス
クリーン、50…矢印、21…利用者状態検出手段、2
2…指示命令変換手段、23…指示対象管理手段、24
…空間管理手段、25…空間出力手段、54…指示命令
変換ルール、55…アンカー情報、57…壁面スクリー
ン、58…興味のある観光地は、の質問文、59…床面
スクリーン、60…マルチメディア情報空間、31…利
用者状態検出手段、32…指示対象管理手段、33…指
示命令統合手段、34…指示対象管理手段、35…空間
管理手段、36…空間出力手段、65…指示命令変換ル
ール、66…指示命令統合ルール、64…アンカー情
報。
13…空間管理手段、14…空間出力手段、19…マル
チメディア情報空間、16,17…壁面スクリーン、1
8…床面、30…最端点、38…重心、28…ビデオカ
メラ、29…利用者、39…2番目に遠い端点、41〜
44…利用者、46…指示命令変換ルール、47…マル
チメディア情報、48…壁面スクリーン、49…床面ス
クリーン、50…矢印、21…利用者状態検出手段、2
2…指示命令変換手段、23…指示対象管理手段、24
…空間管理手段、25…空間出力手段、54…指示命令
変換ルール、55…アンカー情報、57…壁面スクリー
ン、58…興味のある観光地は、の質問文、59…床面
スクリーン、60…マルチメディア情報空間、31…利
用者状態検出手段、32…指示対象管理手段、33…指
示命令統合手段、34…指示対象管理手段、35…空間
管理手段、36…空間出力手段、65…指示命令変換ル
ール、66…指示命令統合ルール、64…アンカー情
報。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 15/70 410 (72)発明者 大竹 孝幸 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 上坂 剛 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5B050 AA09 BA08 BA09 BA11 BA12 DA02 EA05 EA06 EA19 EA24 EA27 FA02 FA08 FA12 FA13 5B075 ND16 PP22 PQ02 QS05 5E501 AA17 AA30 AC15 AC16 AC37 BA05 BA13 CA02 CA08 CC14 EA01 EA11 EB05 FA03 FA04 FA06 FA14 FA15 FA36 FA45 FB34 5L096 AA06 CA04 DA02 FA05 FA14 FA18 FA60 FA66 FA69 FA72 HA03 HA04 9A001 DZ12 JJ19
Claims (7)
- 【請求項1】 映像あるいは静止画等のマルチメディア
情報を提示した複数の画面に囲まれた空間内部で、利用
者が映像あるいは音楽を視聴するマルチメディア情報空
間に情報を入出力する装置において、 前記マルチメディア情報空間に存在する複数の利用者の
状態を検出する利用者状態検出手段と、 前記利用者情報検出手段により検出された複数の利用者
の状態を指示命令に変換する指示命令変換手段と、 前記指示命令変換手段により変換された指示命令を処理
し、該指示命令に応じて前記マルチメディア情報間に出
力すべきマルチメディア情報を更新する空間管理手段
と、 前記空間管理手段から受け取ったマルチメディア情報を
前記マルチメディア情報空間に出力する空間出力手段と
を具備することを特徴とするマルチメディア情報空間入
出力装置。 - 【請求項2】 請求項1に記載のマルチメディア情報空
間入出力装置において、 前記指示命令変換手段と前記空間管理手段との間に、マ
ルチメディア情報内の利用者の指示対象となる特定の領
域を管理し、該領域が選択された際の処理を管理する指
示対象管理手段を具備することを特徴とするマルチメデ
ィア情報空間入出力装置。 - 【請求項3】 請求項1または2に記載のマルチメディ
ア情報空間入出力装置において、 前記指示命令変換手段と前記指示対象管理手段との間
に、該指示命令変換手段により変換された指示命令を統
合する指示命令統合手段を具備することを特徴とするマ
ルチメディア情報空間入出力装置。 - 【請求項4】 映像あるいは静止画等のマルチメディア
情報を提示した複数の画面に囲まれた空間内部で、利用
者が映像あるいは音楽を視聴するマルチメディア情報空
間に情報を入出力する方法において、 予め前記マルチメディア情報空間に出力すべきマルチメ
ディア情報を用意し、 該マルチメディア情報空間に映像が撮影されたならば、
空間管理手段は、最初に出力すべき情報の再生位置をも
とに、マルチメディア情報と再生位置と表示位置を空間
出力手段に与え、 該空間出力手段は、空間の指示された表示位置にマルチ
メディア情報の再生位置を出力し、 利用者状態検出手段は、該マルチメディア情報空間から
各利用者の動作、形態、空間座標位置または移動距離、
動きベクトル等を連続的に取得し、 かつ、利用者の状態を利用者単位のデータ列に変換し
て、指示命令変換手段に与え、 該指示命令変換手段は、利用者状態を指示命令変換ルー
ルを参照して、状況に応じた指示命令に変換し、空間管
理手段に与え、 該空間管理手段は、受取った指示命令に応じて該マルチ
メディア情報空間に出力すべきマルチメディア情報を更
新し、該マルチメディア情報を空間出力手段に与え、 該空間出力手段は、指示を受取り、指定されたスクリー
ンに指定されたマルチメディア情報の指定されたフレー
ムを該マルチメディア情報空間に出力することを特徴と
するマルチメディア情報空間入出力方法。 - 【請求項5】 請求項4に記載のマルチメディア情報空
間入出力方法において、 前記空間管理手段は、複数のマルチメディア情報、指示
対象となるアンカー領域名、および対応する指示命令が
用意されたならば、最初に出力すべき情報の再生位置を
もとに、マルチメディア情報と再生位置と表示位置を空
間出力手段に与え、 指示対象管理手段は、予め用意された、および該空間管
理手段が管理するアンカー情報を指示命令変換手段に与
え、 該指示命令管理手段は、利用者状態と前記アンカー情報
を指示命令変換ルールを参照して、状態に応じた指示命
令に変換して、該空間管理手段に与えることを特徴とす
るマルチメディア情報空間入出力方法。 - 【請求項6】 請求項4または5に記載のマルチメディ
ア情報空間入出力方法において、 前記空間管理手段は、特定スクリーンに質問文と回答選
択肢のボタン画像のデータを空間出力手段に与え、 該空間出力手段は、指定されたスクリーンに指定された
質問文とボタン絵の画像を出力し、 指示命令統合手段は、指示命令変換手段より複数の指示
命令を受けたとき、予め用意した複数の指示命令統合ル
ールを参照して、状況に応じて統合した指示命令に変換
し、該空間管理手段に与えることを特徴とするマルチメ
ディア情報空間入出力方法。 - 【請求項7】 請求項4,5または6のいずれかに記載
のマルチメディア情報空間入出力方法の各ステップをプ
ログラムに変換し、変換されたプログラムを記録したこ
とを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000028013A JP2001216527A (ja) | 2000-02-04 | 2000-02-04 | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000028013A JP2001216527A (ja) | 2000-02-04 | 2000-02-04 | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001216527A true JP2001216527A (ja) | 2001-08-10 |
Family
ID=18553494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000028013A Pending JP2001216527A (ja) | 2000-02-04 | 2000-02-04 | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001216527A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246856A (ja) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | インタフェース装置 |
JP2004280856A (ja) * | 2000-10-06 | 2004-10-07 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
JP2005084245A (ja) * | 2003-09-05 | 2005-03-31 | Sharp Corp | 表示装置 |
JP2005157135A (ja) * | 2003-11-27 | 2005-06-16 | Nippon Telegr & Teleph Corp <Ntt> | 情報表示方法及びシステム及びプログラム |
JP2006078732A (ja) * | 2004-09-09 | 2006-03-23 | Nippon Telegr & Teleph Corp <Ntt> | 音声情報提供方法、音声情報提供装置、および、音声情報提供プログラム |
US7492362B2 (en) | 2002-07-19 | 2009-02-17 | Canon Kabushiki Kaisha | Virtual space rendering/display apparatus and virtual space rendering/display method |
WO2010070882A1 (ja) * | 2008-12-16 | 2010-06-24 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
JP2011033993A (ja) * | 2009-08-05 | 2011-02-17 | Sharp Corp | 情報提示装置、および情報提示方法 |
JP2011139120A (ja) * | 2009-12-25 | 2011-07-14 | Fujitsu Ltd | 測定装置、測定方法、測定システムおよび測定プログラム |
CN103562968A (zh) * | 2011-03-29 | 2014-02-05 | 高通股份有限公司 | 用于相对于每个用户的视点来渲染共享数字界面的*** |
JP2014061373A (ja) * | 2012-09-19 | 2014-04-10 | Disney Enterprises Inc | 没入型ストーリーテリング環境 |
WO2015029393A1 (ja) | 2013-08-29 | 2015-03-05 | ソニー株式会社 | 情報処理装置および情報処理方法 |
KR101745498B1 (ko) | 2015-05-28 | 2017-07-11 | (주)지엘어소시에이츠 | 인터랙티브 콘텐츠 제공시스템 및 방법 |
-
2000
- 2000-02-04 JP JP2000028013A patent/JP2001216527A/ja active Pending
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4615252B2 (ja) * | 2000-10-06 | 2011-01-19 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
JP2004280856A (ja) * | 2000-10-06 | 2004-10-07 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
US7492362B2 (en) | 2002-07-19 | 2009-02-17 | Canon Kabushiki Kaisha | Virtual space rendering/display apparatus and virtual space rendering/display method |
JP2004246856A (ja) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | インタフェース装置 |
US7821531B2 (en) | 2002-12-18 | 2010-10-26 | National Institute Of Advanced Industrial Science And Technology | Interface system |
JP2005084245A (ja) * | 2003-09-05 | 2005-03-31 | Sharp Corp | 表示装置 |
JP2005157135A (ja) * | 2003-11-27 | 2005-06-16 | Nippon Telegr & Teleph Corp <Ntt> | 情報表示方法及びシステム及びプログラム |
JP2006078732A (ja) * | 2004-09-09 | 2006-03-23 | Nippon Telegr & Teleph Corp <Ntt> | 音声情報提供方法、音声情報提供装置、および、音声情報提供プログラム |
WO2010070882A1 (ja) * | 2008-12-16 | 2010-06-24 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
US8421782B2 (en) | 2008-12-16 | 2013-04-16 | Panasonic Corporation | Information displaying apparatus and information displaying method |
JP5518713B2 (ja) * | 2008-12-16 | 2014-06-11 | パナソニック株式会社 | 情報表示装置及び情報表示方法 |
JP2011033993A (ja) * | 2009-08-05 | 2011-02-17 | Sharp Corp | 情報提示装置、および情報提示方法 |
JP2011139120A (ja) * | 2009-12-25 | 2011-07-14 | Fujitsu Ltd | 測定装置、測定方法、測定システムおよび測定プログラム |
CN103562968A (zh) * | 2011-03-29 | 2014-02-05 | 高通股份有限公司 | 用于相对于每个用户的视点来渲染共享数字界面的*** |
JP2014514653A (ja) * | 2011-03-29 | 2014-06-19 | クアルコム,インコーポレイテッド | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
US9047698B2 (en) | 2011-03-29 | 2015-06-02 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
US9142062B2 (en) | 2011-03-29 | 2015-09-22 | Qualcomm Incorporated | Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking |
US9384594B2 (en) | 2011-03-29 | 2016-07-05 | Qualcomm Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
JP2014061373A (ja) * | 2012-09-19 | 2014-04-10 | Disney Enterprises Inc | 没入型ストーリーテリング環境 |
WO2015029393A1 (ja) | 2013-08-29 | 2015-03-05 | ソニー株式会社 | 情報処理装置および情報処理方法 |
CN105518666A (zh) * | 2013-08-29 | 2016-04-20 | 索尼公司 | 信息处理装置和信息处理方法 |
US10019058B2 (en) | 2013-08-29 | 2018-07-10 | Sony Corporation | Information processing device and information processing method |
CN105518666B (zh) * | 2013-08-29 | 2020-01-17 | 索尼公司 | 信息处理装置和信息处理方法 |
KR101745498B1 (ko) | 2015-05-28 | 2017-07-11 | (주)지엘어소시에이츠 | 인터랙티브 콘텐츠 제공시스템 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11669152B2 (en) | Massive simultaneous remote digital presence world | |
JP7143443B2 (ja) | 車両の搭乗者及び遠隔ユーザのための共有環境 | |
KR101591579B1 (ko) | 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링 | |
WO2019037515A1 (zh) | 一种基于虚拟空间场景的信息交互方法、计算机设备及计算机可读存储介质 | |
US11250636B2 (en) | Information processing device, information processing method, and program | |
JPH09153146A (ja) | 仮想空間表示方法 | |
JP2001008232A (ja) | 全方位映像出力方法と装置 | |
US20060114251A1 (en) | Methods for simulating movement of a computer user through a remote environment | |
CN111880720B (zh) | 虚拟显示方法、装置、设备和计算机可读存储介质 | |
JPH09152954A (ja) | 情報提示方法及び情報提示装置 | |
JP2001216527A (ja) | マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 | |
US6714198B2 (en) | Program and apparatus for displaying graphical objects | |
CA3119609A1 (en) | Augmented reality (ar) imprinting methods and systems | |
US20230316659A1 (en) | Traveling in time and space continuum | |
JP2020087429A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
JP2000090285A (ja) | 映像表示装置 | |
JP7072706B1 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
CN112286355B (zh) | 一种用于沉浸式内容的交互方法和*** | |
KR101263881B1 (ko) | 무인 방송 제어 시스템 | |
WO2024131405A1 (zh) | 对象移动控制方法、装置、设备及介质 | |
JP3830923B2 (ja) | 仮想空間表示方法及び仮想空間表示装置 | |
JP2511771B2 (ja) | 画像メモリ式画像生成装置 | |
JP2023011219A (ja) | Ar表示管理装置、ar表示管理方法、プログラム及び記録媒体 | |
JP2023038691A (ja) | 研修支援システム | |
CN115004132A (zh) | 信息处理装置、信息处理***和信息处理方法 |