JP2009194595A - 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 - Google Patents
放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2009194595A JP2009194595A JP2008032674A JP2008032674A JP2009194595A JP 2009194595 A JP2009194595 A JP 2009194595A JP 2008032674 A JP2008032674 A JP 2008032674A JP 2008032674 A JP2008032674 A JP 2008032674A JP 2009194595 A JP2009194595 A JP 2009194595A
- Authority
- JP
- Japan
- Prior art keywords
- content
- information
- data
- presentation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
- H04H60/13—Arrangements for device control affected by the broadcast information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/48—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for recognising items expressed in broadcast information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
- H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Biodiversity & Conservation Biology (AREA)
- Emergency Management (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Ecology (AREA)
- Social Psychology (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Computer Security & Cryptography (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】コンテンツの提示を、柔軟に行う。
【解決手段】送受信システムは、データを送信する送信装置12と、データを受信する受信装置13とから構成される。送信装置12は、コンテンツに用いられるオブジェクトごとのオブジェクト情報を送信する。一方、受信装置13は、送信装置12からのオブジェクト情報を受信し、そのオブジェクト情報に基づいて、コンテンツを生成する。本発明は、例えば、放送を行う放送システム等に適用することができる。
【選択図】図1
【解決手段】送受信システムは、データを送信する送信装置12と、データを受信する受信装置13とから構成される。送信装置12は、コンテンツに用いられるオブジェクトごとのオブジェクト情報を送信する。一方、受信装置13は、送信装置12からのオブジェクト情報を受信し、そのオブジェクト情報に基づいて、コンテンツを生成する。本発明は、例えば、放送を行う放送システム等に適用することができる。
【選択図】図1
Description
本発明は、放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体に関し、特に、例えば、画像等のコンテンツの提示を、柔軟に行うことができるようにする放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体に関する。
例えば、現行の、アナログ放送やディジタル放送の放送システムでは、送信側である放送局において、素材データとしての画像や音声が、番組としてのコンテンツを制作するコンテンツ制作者によって編集され、その編集後の画像及び音声からなるコンテンツが、番組として放送される。
一方、受信側である、例えば、各家庭では、TV(テレビジョン受像機)等によって、放送局からの番組としてのコンテンツの画像が表示されるとともに、音声が出力される。
なお、送信側から、視点の異なる複数の画像の素材を放送し、受信側で、ユーザが、任意の視点の画像を選択することができる放送システムが提案されている(例えば、特許文献1を参照)。
受信側のTVでは、上述のように、放送局で編集がされた、編集後のコンテンツが提示(表示や出力等)される。
したがって、ユーザは、放送局において、コンテンツ制作者が、ある意図をもって編集したコンテンツを鑑賞(視聴)することになる。
その結果、例えば、コンテンツに、ユーザが嫌いな対象(オブジェクト)が含まれていても、ユーザは、そのオブジェクトを鑑賞することになる。
このため、ユーザが嫌いなオブジェクトを鑑賞せずに済むように、そのオブジェクトをコンテンツから削除すること等の加工を、ユーザが行うことができるようにすることが要請されている。
一方、例えば、セカンドライフ等の仮想空間(仮想的な空間)においては、ユーザは、仮想空間として提供されるコンテンツ(を構成するオブジェクト)を加工すること、すなわち、例えば、ユーザの好みの家を建てること等が可能である。
しかしながら、セカンドライフ等の仮想空間においては、各ユーザが、コンテンツを加工することはできても、その加工後のコンテンツは、ユーザ全員で共有することになる。
したがって、ユーザは、他のユーザが加工したコンテンツが気に入らなくても、そのコンテンツを鑑賞しなければならない。
また、上述のような放送システムや仮想空間において、ユーザが鑑賞することができるのは、画像及び音声という、視覚及び聴覚で鑑賞することができるコンテンツ(を構成するオブジェクト)だけであり、視覚及び聴覚以外の感覚で鑑賞することができるコンテンツ、すなわち、例えば、料理の匂いを鑑賞する(嗅ぐ)ことは困難であった。
さらに、放送システムや仮想空間では、上述のように、ユーザは、視覚及び聴覚の2つの感覚で、コンテンツを鑑賞するが、3つ以上の感覚で鑑賞することができるコンテンツの提示が要請されている。
また、特許文献1に記載の放送システムでは、各オブジェクトごとに分離された各オブジェとに固有の情報を放送することはしないため、ユーザがコンテンツを加工する自由度が低い。
本発明は、このような状況に鑑みてなされたものであり、例えば、ユーザが、各ユーザ固有のコンテンツを鑑賞することや、ユーザが、視覚及び聴覚以外の感覚でコンテンツを鑑賞すること、ユーザが、3つ以上の感覚でコンテンツを鑑賞すること等ができるように、コンテンツの提示を、柔軟に行うことができるようにするものである。
本発明の第1の側面の放送システムは、データを送信する送信装置と、前記データを受信する受信装置とから構成される放送システムであり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を有し、前記受信装置が、前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を有する放送システムである。
以上のような第1の側面においては、前記送信装置において、コンテンツに用いられるオブジェクトごとのオブジェクト情報が放送データとして送信され、前記受信装置において、前記オブジェクト情報に基づいて、コンテンツが生成される。
本発明の第2の側面の送信装置、又は、プログラムは、データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置であり、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を備える送信装置、又は、送信装置として、コンピュータを機能させるためのプログラムである。
本発明の第2の側面の送信方法は、データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置の送信方法であり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信するステップを含む送信方法である。
以上のような第2の側面においては、コンテンツに用いられるオブジェクトごとのオブジェクト情報が放送データとして送信される。
本発明の第3の側面の受信装置、又は、プログラムは、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置であり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を備える受信装置、又は、受信装置として、コンピュータを機能させるためのプログラムである。
本発明の第3の側面の受信方法は、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置の受信方法であり、前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記受信装置が、前記オブジェクト情報に基づいて、コンテンツを生成するステップを含む受信方法である。
以上のような第3の側面においては、前記オブジェクト情報に基づいて、コンテンツが生成される。
本発明の第4の側面の提示装置、又はプログラムは、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置であり、前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記オブジェクト情報に基づいて生成されるコンテンツを提示する提示手段を備える提示装置、又は、提示装置として、コンピュータを機能させるためのプログラムである。
本発明の第4の側面の提示方法は、データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置の提示方法であり、前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、前記提示装置が、前記オブジェクト情報に基づいて生成されるコンテンツを提示するステップを含む提示方法である。
以上のような第4の側面においては、前記オブジェクト情報に基づいて生成されるコンテンツが提示される。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
また、送信装置や、受信装置、提示装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
本発明の第1ないし第4の側面によれば、コンテンツの提示を、柔軟に行うことが可能となる。
図1は、本発明を適用した送受信システム(システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない)の一実施の形態の構成例を示している。
図1において、送受信システムは、例えば、番組としてのコンテンツの放送を行う放送システムであり、送信側の装置としてのセンシング装置11、及び送信装置12、並びに、受信側の装置としての受信装置13、及び提示装置14から構成されている。
センシング装置11は、コンテンツを構成する(コンテンツに用いられる)各種のオブジェクトをセンシングし、そのセンシングの結果得られるデータを、送信装置12に供給する。
送信装置12は、センシング装置11からのデータから、コンテンツの提示に必要な各種のデータ(情報)を生成し、放送用の放送データとして送信する。
また、送信装置12は、コンテンツ制作者の意図を反映したコンテンツ、つまり、コンテンツ制作者による編集後のコンテンツの提示に必要なデータを生成し、放送データとして送信する。
放送データは、例えば、地上波や、衛星回線、インターネット、CATV(Cable Television)網等の伝送媒体を介して送信される。
受信装置13は、送信装置12から送信されてくるデータを受信し、そのデータから、提示装置14で提示を行うための提示データ(コンテンツとなる提示データ)を生成して、提示装置14に供給する。
なお、受信装置13は、必要に応じて、ユーザからの指示に基づき、提示データを生成する。
提示装置14は、受信装置13からの提示データに従い、ユーザに対して、コンテンツの提示を行う。
図2は、図1のセンシング装置11を説明する図である。
センシング装置11としては、提示装置14でコンテンツの提示に必要な任意の物理量をセンシングする各種のセンサを採用することができる。
すなわち、センシング装置11としては、例えば、力をセンシングする力センサ、速度をセンシングする速度センサ、回転数をセンシング(計測)する回転数センサ、液体をセンシングする液センサ、ガス濃度やイオン濃度等をセンシングする化学センサ、変位をセンシング(計測)する変位センサ、加速度をセンシングする加速度センサ、距離をセンシングする距離センサ、磁気をセンシングする磁気センサ、位置をセンシングする位置センサ、角速度をセンシングする角速度センサ、光をセンシングする光センサ、温度をセンシングする温度センサ等を採用することができる。
なお、光センサには、光の検出や、明るさの検出を行うセンサの他、撮影を行い、画像を出力するイメージャ(カメラ)が含まれる。
また、センシング装置11としては、上述したセンサの他、時間、電場、電流、放射線(X線)、流量、湿度、振動、匂い、赤外線、音(音声)、その他の物理量をセンシングするセンサを採用することができる。
次に、センシング装置11によるセンシングの形態について説明する。
センシング装置11は、上述したように、コンテンツに用いられる各種のオブジェクトをセンシングするが、そのセンシングの形態としては、第1、第2、及び、第3の形態がある。
図3は、センシング装置11によるセンシングの第1の形態を示している。
なお、図3では(後述する図4、及び図5でも同様)、背景となるオブジェクトと、背景以外のオブジェクトである2つの物体(例えば、俳優である人物や、自動車、その他の有体物等)A及びBとからなるコンテンツを対象として、オブジェクトのセンシングを行うこととする。
ここで、背景は、その背景全体が1つのオブジェクトであることとし、物体A及びBは、その物体A及びBのそれぞれが1つのオブジェクトであることとする。
第1の形態では、センシング装置11として、背景となるオブジェクトをセンシングするセンサである背景用センサと、物体A及びBのそれぞれをセンシングするセンサである物体用センサとを、別個に用意して、コンテンツを構成している状態の背景と、2つの物体A及びBのそれぞれとが、同時にセンシングされる。
すなわち、背景は、背景用センサで、物体Aは、物体用センサで、物体Bは、他の物体用センサで、それぞれセンシングされる。
なお、背景用センサとしては、光をセンシングして画像を出力するカメラや、音をセンシングするマイク、温度をセンシングする温度センサ、湿度をセンシングする湿度センサ、イオン密度をセンシングするイオン密度センサ、匂いをセンシングする匂いセンサ、位置をセンシングする位置センサ(例えば、GPS(Global Positioning System))、距離をセンシングする距離センサ等が用いられる。
また、物体用センサしては、上述のカメラや、マイク、温度センサ、匂いセンサ、位置センサ、さらには、味をセンシングする味覚センサ、角速度をセンシングする角速度センサ、X線をセンシングするセンサ等が用いられる。
ここで、物体用センサは、1つのオブジェクトに複数割り当て、その複数の物体用センサによって、1つのオブジェクトのセンシングを行うことができる。背景用センサについても同様である。
なお、複数の物体用センサや背景センサによって、オブジェクトをセンシングする場合の、その複数の物体用センサや背景センサの配置としては、例えば、特開2004-266511号公報に記載されているカメラ配置を採用することができる。
図4は、センシング装置11によるセンシングの第2の形態を示している。
第2の形態では、図3の第1の形態と同様に、センシング装置11として、背景となるオブジェクトをセンシングするセンサである背景用センサと、物体A及びBのそれぞれをセンシングするセンサである物体用センサとを、別個に用意して、コンテンツに用いられる背景と、2つの物体A及びBそれぞれとが、同時にセンシングされる。
但し、第2の形態では、背景と物体A及びBのセンシングは、背景と物体A及びBがコンテンツを構成している状態で行われるのではなく、背景、物体A、及び物体Bのそれぞれが別々になっている状態で行われる。
すなわち、例えば、レース場を背景として、物体A及びBとしての2台の自動車が、カーレースを行っているコンテンツを例にすれば、第1形態では、物体A及びBとしての2台の自動車が、背景としてのレース場で、実際にカーレースを行っている状態で、背景としてのレース場と、物体A及びBとしての2台の自動車の撮影等のセンシングが行われる。
一方、第2の形態では、カーレースが行われていない状態のレース場の撮影等のセンシングが行われ、レース場のセンシングとは無関係な場所や時間に、物体Aとしての自動車のセンシングが行われる。物体Bとしての自動車のセンシングも、レース場のセンシングや、物体Aのセンシングと無関係に行われる。
図5は、センシング装置11によるセンシングの第3の形態を示している。
第3の形態では、背景をセンシングするセンサ、物体Aをセンシングするセンサ、及び物体Bをセンシングするセンサが兼用されている。
ここで、背景をセンシングするセンサと、物体Aをセンシングするセンサ、及び物体Bをセンシングするセンサとを兼用するセンサを、兼用センサという。
兼用センサによれば、背景、物体A、及び、物体Bそれぞれの物理量が合成した状態でセンシングがされる。
なお、センシング装置11での物理量のセンシングの結果得られたデータ(以下、センシング情報ともいう)は、後述するように、送信装置12において、オブジェクトごとのオブジェクト情報を生成するのに用いられる。
オブジェクトごとのオブジェクト情報の生成にあたっては、オブジェクトごとのセンシング情報が必要であり、そのため、兼用センサでセンシングする物理量は、兼用センサが出力するセンシング情報を、オブジェクトごとのセンシング情報に分離することができる物理量である必要がある。
例えば、カメラが出力するセンシング情報としての画像は、オブジェクト画像抽出の技術によって、オブジェクトごとの画像に分離することができる。また、例えば、マイクが出力するセンシング情報としての音は、音源分離の技術によって、オブジェクトごとの音に分離することができる。したがって、カメラやマイクは、兼用センサとして使用することができる。
一方、X線や、温度、匂い等をセンシングするセンサで、複数のオブジェクトをセンシングした場合、そのセンサが出力するセンシング情報を、オブジェクトごとに分離することは困難である。
このように、オブジェクトごとのセンシング情報に分離することが困難な物理量については、その物理量をセンシングするセンサを、オブジェクトごとに用意してセンシングを行う必要がある。
次に、図6は、図1の送信装置12の構成例を示している。
図6において、送信装置12は、オブジェクト情報生成部31、コンテンツデフォルト情報生成部32、及び、送信部33から構成される。
オブジェクト情報生成部31には、センシング装置11から、センシング情報が供給される。さらに、オブジェクト情報生成部31には、コンテンツ制作者が、図示せぬ操作部を操作することにより行った編集の指示を表す指示情報も供給される。
オブジェクト情報生成部31は、例えば、指示情報によって編集の指示がされたオブジェクト等について、センシング装置11からのセンシング情報から、オブジェクトごとのオブジェクト情報を生成する。さらに、オブジェクト情報生成部31は、オブジェクトを識別するためのユニークなオブジェクトID(idenfitication)を生成し、そのオブジェクトIDが表すオブジェクトのオブジェクト情報とともに、送信部33に供給する。
なお、オブジェクトIDは、オブジェクト情報生成部31から、コンテンツデフォルト情報生成部32にも供給される。
また、オブジェクト情報生成部31が生成するオブジェクト情報には、背景のオブジェクトのオブジェクト情報と、背景以外の物体のオブジェクトのオブジェクト情報とがある。以下、適宜、背景のオブジェクト情報を、背景オブジェクト情報ともいい、背景以外の物体のオブジェクト情報を、物体オブジェクト情報ともいう。
ここで、オブジェクト情報とは、オブジェクトを鑑賞したときに得られる感覚を再現するための情報でもある。
オブジェクトを鑑賞したときに得られる感覚には、いわゆる五感で感じることができるもの、すなわち、例えば、視覚で認識(知覚)されるオブジェクトの画像(オブジェクトが反射する光)、聴覚で認識される、オブジェクトが発する音(音声)、嗅覚で認識されるオブジェクトの匂い、味覚で認識されるオブジェクトの味、触覚で認識されるオブジェクトの温度等がある。
オブジェクト情報は、以上のような、オブジェクト、ひいては、オブジェクトを用いて構成されるコンテンツを鑑賞したときに得られる感覚を再現するための情報であり、かつ、オブジェクトごとの情報である。
ここで、オブジェクト(コンテンツ)を鑑賞したときに得られる感覚を再現するための情報を、感覚情報ともいう。
感覚情報であるオブジェクト情報としては、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのパラメータ(以下、モデルパラメータともいう)を採用することができる。
モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための、オブジェクトに固有の第1のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための、オブジェクトに固有の第2のパラメータがある。
オブジェクトを剛体としたときの運動をシミュレートするための第1のパラメータとしては、例えば、オブジェクトの質量や、慣性モーメント、ジオメトリ形状(オブジェクトどうしの相互作用(衝突や摩擦など)において用いられるオブジェクト境界形状)、反発係数、摩擦係数、実世界での大きさ(例えば、メッシュ座標の単位尺度が実世界のどの程度の距離に対応しているか)等がある。
なお、背景のオブジェクトについての第1のパラメータとしては、その他、例えば、その場の風速(空気中)や、流速(水中)、重力等がある。
また、モデルパラメータに、第1のパラメータが含まれる場合、受信装置13(図1)では、その第1のパラメータを用いて、オブジェクトを剛体としたときの運動をシミュレートするシミュレーションが行われる。
オブジェクトを剛体としたときの運動をシミュレートするシミュレーション方法としては、例えば、動力学シミュレータを使った運動シミュレーション(ODE(Open Dynamics Engine)(商標))がある。ODEについては、例えば、ODEのwebページ(URL:http://www.ode.org/)に記載されている。
一方、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第2のパラメータとしては、例えば、色情報、メッシュ情報などの外形形状モデル、照明情報、オブジェクト材質情報(照明反射率、反射特性に関連する)がある。
なお、背景のオブジェクトについての第2のパラメータとしては、その他、例えば、特開2004-015106号公報に記載されている中間データを採用することができる。中間データは、例えば、オブジェクトを様々な方向から見たときに視覚に映る画像のデータであり、以下、適宜、光線空間表現データベースともいう。
また、モデルパラメータに、第2のパラメータが含まれる場合、受信装置13(図1)では、その第2のパラメータを用いて、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするシミュレーションが行われる。
様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするシミュレーション方法としては、例えばOpenGL(R)(Open Graphics Library)を使ったCG(Computer Graphics)視点変更や照明条件の設定等を行った条件の下で、CGを生成する方法がある。OpenGL(R)については、例えば、URL:http://ja.wikipedia.org/wiki/OpenGLに記載されている。
ここで、モデルパラメータとして理想的な情報は、オブジェクトが実世界(現実世界)で起こすあらゆる状態の変化をシミュレーションするために必要な情報である。
モデルパラメータに、理想的な情報が含まれる場合、受信装置13(図1)では、その理想的な情報を用いて、例えば、剛体の運動をシミュレートする剛体シミュレーションの他、流体等の物体変形をもシミュレートする、ある程度汎用的な力学シミュレーション(例えば、格子法や粒子法等)や、光の拡散をシミュレートするシミュレーション、温度の変化をシミュレートするシミュレーション、そして、究極的には、原子のシミュレーションが行われ、このようなシミュレーションを行うための多数のシミュレータが必要となる。
なお、シミュレーションが困難な物理量、その他、オブジェクトの特定の物理量については、オブジェクト情報としては、モデルパラメータではなく、オブジェクト固有情報を採用することができる。
オブジェクト固有情報とは、例えば、センシング装置11でオブジェクトのセンシングを行うことにより得られるセンシング情報と、オブジェクトの擬似的な物理量をシミュレートするための情報である。
オブジェクト固有情報としてのセンシング情報としては、例えば、オブジェクトが発する音(音声)や、オブジェクトの温度、(X線により撮影される)オブジェクトの内部構造、オブジェクトの匂い、オブジェクトの味等を表す情報がある。
また、オブジェクト固有情報としての、オブジェクトの擬似的な物理量をシミュレートするための情報としては、例えば、物体の見た目から音をつくり出すクロスクリエーションに必要な情報(例えば、オブジェクトどうしが衝突したきに発生する音等のテンプレート)等がある。
オブジェクト情報には、上述のモデルパラメータや、オブジェクト固有情報の他に、コンテンツのエンターテイメント性を向上させるための情報(以下、エンタメ情報ともいう)や、エネルギ情報、トリガ情報を含めることができる。
エンタメ情報とは、例えば、物理シミュレーションでは不可能なオブジェクトの状態変化を創造するための情報であり、例えば、オブジェクトのスケッチ画(スケッチ画のような画像)(スケッチ調の画像)の情報である。
エネルギ情報とは、例えば、受信装置13側の視聴環境(例えば、ディスプレイの大きさ)を考慮したリアリティを実現するために必要な情報であり、例えば、オブジェクトの大きさである。
すなわち、受信装置13では、例えば、画像のコンテンツが、大画面のディスプレイに表示された場合に、その大画面のディスプレイにおいて、コンテンツを構成するオブジェクト(例えば、人物)が、実世界での大きさよりも大きく表示されることがある。
そして、例えば、ディスプレイに表示された人物が、実世界で実際に見た場合の大きさよりも大きい場合には、臨場感が薄れ、いわゆるリアリティが損なわれる。
そこで、受信装置13では、オブジェクトが、実世界での大きさよりも大きく表示されないように、すなわち、ユーザが、実世界のオブジェクトを見ているかのように認識するように、ディスプレイに表示されるオブジェクトの大きさを調整するリアリティ処理が行われる。
エネルギ情報は、受信装置13において、以上のようなリアリティ処理に用いられる。
トリガ情報とは、例えば、上述のクロスクリエーションに必要な情報である。
コンテンツデフォルト情報生成部32には、コンテンツ制作者が、図示せぬ操作部を操作することにより行った編集の指示を表す指示情報が供給される。
コンテンツデフォルト情報生成部32は、オブジェクト情報生成部31から供給されるオブジェクトIDが表す各オブジェクトについて、そのオブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を、コンテンツ制作者からの指示情報に従って生成し、送信部33に供給する。
すなわち、例えば、いま、コンテンツ制作者が制作しようとしている番組としてのコンテンツについて、仮想的な空間(仮想空間)を想定し、その仮想空間を、コンテンツ世界ということとすると、コンテンツ制作者は、オブジェクト情報生成部31からのオブジェクトIDが表す、コンテンツ世界の各オブジェクトの配置や向き等の、オブジェクトの状態に関する情報、コンテンツ世界の照明条件(コンテンツ世界のオブジェクトを照明する光源の位置や、その光源の明るさ等)、コンテンツ世界でオブジェクトを鑑賞する鑑賞者(ユーザ)の位置や向き等の情報を、操作部を操作することにより指示する。
コンテンツデフォルト情報生成部32は、コンテンツ制作者の指示を表す指示情報に従い、オブジェクトの状態に関する時系列データ、照明条件の時系列データ、鑑賞者の位置や向き等の時系列データを生成し、これらの時系列データを、コンテンツデフォルト情報として、送信部33に供給する。
ここで、受信装置13(図1)では、後述するように、ユーザからの指示が特にない場合には、コンテンツデフォルト情報に基づいて、コンテンツ世界の各オブジェクトの配置(位置)や向き、コンテンツ世界の照明条件、鑑賞者の位置、及び向きの設定を行い、その設定に従い、鑑賞者から見た画像等が、番組としてのコンテンツとして生成される。
送信部33は、オブジェクト情報生成部31から供給されるオブジェクト情報(物体オブジェクト情報、及び、背景オブジェクト情報)と、オブジェクトID、並びに、コンテンツデフォルト情報生成部32から供給されるコンテンツデフォルト情報を、放送データとして送信(放送)する。
なお、オブジェクト情報生成部31において生成するオブジェクト情報は、五感すべてについての感覚情報であっても良いし、五感のうちの一部の感覚についての感覚情報、すなわち、例えば、五感のうちの、1,2,3、又は4つについての感覚情報や、視覚及び聴覚以外の感覚、つまり、嗅覚、味覚、又は、触覚のうちの1以上についての感覚情報であっても良い。
次に、図7を参照して、図6の送信装置12の処理について説明する。
ステップS11において、オブジェクト情報生成部31は、センシング装置11から供給されるセンシング情報から、オブジェクトごとのオブジェクト情報を生成するとともに、オブジェクトを識別するためのオブジェクトIDを生成する。さらに、オブジェクト情報生成部31は、オブジェクトIDをコンテンツデフォルト情報生成部32に供給するとともに、オブジェクトIDと、そのオブジェクトIDが表すオブジェクトのオブジェクト情報とを対応付けて、送信部33に供給する。
また、ステップS11では、コンテンツデフォルト情報生成部32が、コンテンツ制作者からの指示情報に従い、オブジェクト情報生成部31からのオブジェクトIDが表す各オブジェクトについて、コンテンツデフォルト情報を生成し、送信部33に供給する。
そして、処理は、ステップS11からステップS12に進み、送信部33は、オブジェクト情報生成部31からのオブジェクトIDが対応付けられたオブジェクト情報と、コンテンツデフォルト情報生成部32からのコンテンツデフォルト情報を、放送データとして送信する。
次に、図8は、図6のオブジェクト情報生成部31の構成例を示している。
図8において、オブジェクト情報生成部31は、背景オブジェクト情報生成部41、物体オブジェクト情報生成部42、及びID付与部43から構成される。
背景オブジェクト情報生成部41、及び、物体オブジェクト情報生成部42には、センシング装置11(図1)から、センシング情報が供給される。
背景オブジェクト情報生成部41は、センシング装置11からのセンシング情報(のうちの背景のセンシング情報)から、背景オブジェクト(コンテンツの生成に必要となる、物体オブジェクト以外のオブジェクト)の背景オブジェクト情報を生成し、ID付与部43に供給する。
ここで、背景オブジェクト情報(オブジェクト情報)としては、図6で説明したように、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのモデルパラメータを採用することができ、モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための第1のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第2のパラメータがある。
背景オブジェクトについては、例えば、背景オブジェクトの様々な位置における風速や、流速、重力等が、背景オブジェクト情報としての第1のパラメータとなる。
また、例えば、複数のアングル(方向)から背景オブジェクトを見たときに得られる、背景オブジェクトのみの画像(以下、背景画像ともいう)から作成することができる、背景オブジェクトの光線空間表現データベース等が、背景オブジェクト情報としての第2のパラメータとなる。
なお、センシング装置11(図1)において、センシングとしての撮影を、第2の形態で行った場合(図4)には、センシング装置11が出力するセンシング情報としての画像には、背景オブジェクトのみが映っており、したがって、背景画像を得ることができる。
一方、センシング装置11において、センシングとしての撮影を、第1、又は第3の形態で行った場合(図3、又は図5)には、センシング装置11が出力するセンシング情報としての画像には、背景オブジェクトの他、物体オブジェクトも映っている。
この場合、背景オブジェクト情報生成部41は、背景オブジェクトと物体オブジェクトの両方が映っている画像から、背景メモリを利用して、背景画像、つまり、背景オブジェクトのみが映っている画像を抽出する。
背景メモリを利用して背景画像を抽出する方法については、例えば、特開1995-038858号公報や、特開1995-046533号公報、特開1999-164264号公報等に記載されている。
また、複数のアングルの背景画像からの、背景オブジェクトの光線空間表現データベースの作成は、例えば、特開2004-015106号公報に記載の技術によって行うことができる。
すなわち、背景オブジェクト情報生成部41は、複数のアングルの背景画像から、背景オブジェクトから所定の方向に放たれる光線の色情報を抽出し、その色情報を、背景オブジェクトを所定の方向の無限遠から見た場合の画像データとして、所定の方向ごとに保持する。このように、所定の方向ごとに保持された画像データが、光線空間表現データベースである。
なお、特開2004-015106号公報に記載されているように、所定の方向ごとに保持された画像データの画素の中には、背景画像から、画素値を直接取得することができない画素があり、この場合、画素値を取得することができなかった画素については、その画素の近傍の画素の画素値や、所定方向と隣接する方向の画像データの画素の画素値等を用いて、画素値の補間を行うことができる。
画素値の補間の方法としては、例えば、補間に用いる画素値の平均値を、補間の対象の画素の画素値とする方法や、クラス分類適応処理によって、補間前の画像データを、補間後の画像データに変換する方法等がある。
クラス分類適応処理については、例えば、特開2007-235312号公報等に記載されている。
以上のようにして得られる、背景オブジェクトの光線空間表現データベースによれば、特開2004-015106号公報に記載されているように、任意の方向から背景オブジェクトを見たときに得られる画像(任意のアングルの背景オブジェクトの画像)を生成することができる。
なお、図6で説明したように、背景オブジェクト情報(オブジェクト情報)としては、モデルパラメータではなく、(オブジェクト固有情報としての)センシング情報を採用することができる。
背景オブジェクト情報となるセンシング情報としては、例えば、背景オブジェクトが発する音(背景オブジェクトの音声)や、背景オブジェクトの温度、背景オブジェクトの湿度、背景オブジェクトの匂い、背景オブジェクトの大きさ(実世界での大きさ(空間の広さ等))を表す情報がある。
なお、センシング装置11(図1)において、センシングとしての集音を、第2の形態で行った場合(図4)には、センシング装置11が出力するセンシング情報としての音声は、背景オブジェクトの音声のみであり、したがって、背景オブジェクトのみの音声を得ることができる。
一方、センシング装置11において、センシングとしての集音を、第1、又は第3の形態で行った場合(図3、又は図5)には、センシング装置11が出力するセンシング情報としての音声には、背景オブジェクトの音声の他、物体オブジェクトの音声も含まれていることがある。
この場合、背景オブジェクト情報生成部41は、背景オブジェクトと物体オブジェクトの両方の音声が含まれる音声から、音源分離の技術によって、背景オブジェクトの音声のみを抽出し、背景オブジェクト情報とする。
物体オブジェクト情報生成部42は、センシング装置11からのセンシング情報(のうちの物体のセンシング情報)から、物体オブジェクトごとに、物体オブジェクトの物体オブジェクト情報を生成し、ID付与部43に供給する。
ここで、物体オブジェクト情報(オブジェクト情報)としては、図6で説明したように、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのモデルパラメータを採用することができ、モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための第1のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第2のパラメータがある。
物体オブジェクトについては、例えば、物体オブジェクトの質量や、大きさ、ジオメトリ形状、慣性モーメント、摩擦係数等が、物体オブジェクト情報としての第1のパラメータとなる。
ここで、物体オブジェクトの質量については、センシング装置11(図1)において、物体オブジェクトの重さを測定するセンシングを行い、物体オブジェクト情報生成部42は、そのセンシングの結果得られるセンシング情報から、物体オブジェクトの質量を取得する。
また、物体オブジェクトの大きさ、及びジオメトリ形状については、センシング装置11において、例えば、レーザ光によって、物体オブジェクトを360度の各方向から測距するセンシングを行い、物体オブジェクト情報生成部42は、そのセンシングの結果得られるセンシング情報から、物体オブジェクトの大きさ、及びジオメトリ形状を算出する。
さらに、慣性モーメントについては、物体オブジェクト情報生成部42は、物体オブジェクトのジオメトリ形状、大きさ、及び、密度を用いて、慣性モーメントを算出する。
また、物体オブジェクト情報生成部42において、反発係数、及び摩擦係数は、物体オブジェクトの種類ごとに、値をあらかじめ用意しておき、その値の中から、物体オブジェクトの種類に対応する値を選択する。
なお、反発係数、及び摩擦係数は、センシング装置11(図1)において、センシングとしての計測を行うことが可能であれば、計測してもよい。
次に、物体オブジェクト情報生成部42が生成する物体オブジェクト情報としての第2のパラメータについて説明する。
物体オブジェクト情報としての第2のパラメータは、様々な照明条件で、様々な位置及び方向から物体オブジェクトを見たときに視覚に映る物体オブジェクトの画像をシミュレートするためのパラメータであり、例えば、CGの作成に用いられるワイヤフレーム(3次元形状)とテクスチャ情報とを採用することができる。
この場合、物体オブジェクト情報生成部42は、センシング装置11において、センシングとしての撮影を行うことにより得られる、物体オブジェクトを2以上の方向から見て得られる画像(例えば、ステレオ画像等)から、第2のパラメータとしてのワイヤフレームとテクスチャ情報を求める。
ステレオ画像から、ワイヤフレームとテクスチャ情報を求める方法、及び、そのワイヤフレームとテクスチャ情報から、画像(CG)を作成する方法については、例えば、特開2005-165468号公報に記載されている。
以上のようにして得られる、ワイヤフレームとテクスチャ情報によれば、様々な照明条件で、様々な位置及び方向から物体オブジェクトを見たときに視覚に映る物体オブジェクトの画像をシミュレートすることができる。
なお、図6で説明したように、物体オブジェクト情報(オブジェクト情報)としては、モデルパラメータではなく、(オブジェクト固有情報としての)センシング情報を採用することができる。
物体オブジェクト情報となるセンシング情報としては、例えば、物体オブジェクトが発する音(物体オブジェクトの音声)や、物体オブジェクトの温度、物体オブジェクトの味、物体オブジェクトの匂い、(X線により撮影される)物体オブジェクトの内部構造、物体オブジェクトの大きさを表す情報がある。
なお、センシング装置11(図1)において、センシングとしての集音を、第2の形態で行った場合(図4)には、センシング装置11が出力するセンシング情報としての音声は、1つの物体オブジェクトの音声のみであり、したがって、1つの物体オブジェクトのみの音声を得ることができる。
一方、センシング装置11において、センシングとしての集音を、第1、又は第3の形態で行った場合(図3、又は図5)には、センシング装置11が出力するセンシング情報としての音声には、1つの物体オブジェクトの音声の他、他の物体オブジェクトや背景オブジェクトの音声も含まれていることがある。
この場合、物体オブジェクト情報生成部42は、1つの物体オブジェクトの音声と、他の物体オブジェクトや背景オブジェクトの音声とが含まれる音声から、音源分離の技術によって、1つの物体オブジェクトの音声のみを抽出し、その物体オブジェクトの物体オブジェクト情報とする。
ID付与部43は、背景オブジェクト情報生成部41からの背景オブジェクトの背景オブジェクト情報に、その背景オブジェクトを識別するオブジェクトIDを付加し、送信部33(図6)に供給するとともに、物体オブジェクト情報生成部42からの物体オブジェクトの物体オブジェクト情報に、その物体オブジェクトを識別するオブジェクトIDを付加し、送信部33に供給する。
次に、上述したように、図8において、物体オブジェクト情報生成部42は、特開2005-165468号公報に記載の技術を利用して、ワイヤフレームとテクスチャ情報を求める。
図9は、特開2005-165468号公報に記載の技術を利用して、ワイヤフレームとテクスチャ情報を求め、さらに、そのワイヤフレームとテクスチャ情報から、画像を作成する画像処理装置の構成例を示している。
図9の画像処理装置は、最低2枚以上の複数撮影された画像から、ステレオ画像を構成する左右2枚の画像を1単位として、測定対象物101の立体的な形状を算出するとともに、測定対象物101の全体を3D(3次元)計測もしくは取得された3Dデータを用いて、測定対象物101の2次元画像に立体感を表現するテクスチャ(texture)を貼り付ける。ここで、テクスチャとはグラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表すための描き込みをいう。
図9において、測定対象物101は、施工対象物・製作対象物となる有体物で、例えば建築物等の各種工作物や人物・風景等が該当する。
画像撮影装置110は、例えばステレオカメラや汎用のデジタルカメラとこのデジタルカメラで撮影された測定対象物101の左右画像に対してレンズ収差の補償を行う装置を組合せた機器である。
ステレオ画像データ記憶部112は、測定対象物101のステレオ画像を記憶する。すなわち、ステレオ画像データ記憶部112は、画像撮影装置110で撮影された測定対象物101の左右画像を記憶する。
3次元位置測定装置114は、測量の対象となる標点位置をレーザ等を用いて自動的に測定する機器で、トータルステーション、3次元スキャナ等が含まれる。
測定対象物位置データ記憶部116は、絶対標定に必要とされる3点の基準点となる測定対象物101の位置データを記憶する。すなわち、測定対象物位置データ記憶部116は、3次元位置測定装置114で測定された基準点の位置データを記憶する。なお、絶対標定を行わないで、モデル座標系を用いた相互標定で充分な用途では、測定対象物位置データ記憶部116を設けるに及ばない。
対応点指示部122は、標定部124で用いる対応点を指示する。対応点指示部122は、例えば、表示装置40に表示される測定対象物101に関して、指示位置近傍の特徴点を示すように構成されている。指示位置近傍の特徴点には、例えば測定対象物101の中心位置、重心位置、コーナ位置などがある。対応点指示部122により対応点を指示すると、操作者が厳格に特徴点を指示しなくても、操作者が本来意図した特徴点に引き込まれるため、標定部124による標定作業が容易に行える。
標定部124は、ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める。
表示画像形成部130は、3次元座標データ部131、モデル形成部132、モデル記憶部133、画像対応部134、モデル表示部135、姿勢指示部136、画像変換部137を備えている。
3次元座標データ部131は、標定部124で求められた対応点関係から、測定対象物101の対応点の3次元座標データを求める。
モデル形成部132は、対応点の3次元座標データから測定対象物101のモデルを形成する。
モデル記憶部133は、モデル形成部132で形成された測定対象物101のモデルを記憶する。
画像対応部134は、ステレオ画像データ記憶部112に記憶された測定対象物のステレオ画像とモデル形成部132で形成されたモデルとを、標定部124で求められた対応点関係を用いて対応付ける。
モデル表示部135は、画像対応部134によりモデルと対応付けられたステレオ画像を用いて、測定対象物101を、立体感のある2次元画像で表示装置140に表示する。なお、モデル表示部135は、放送局側で、オブジェクトのモデルの画像を確認するための表示部とすることができる。
姿勢指示部136は、例えば、操作者がマウス等のカーソル入力装置を操作することに応じて、表示装置140に表示される測定対象物101のモデルの姿勢を指示する。
画像変換部137は、モデルに対する姿勢指示に応じて、対応点の座標変換を行う。
表示装置140は、液晶表示装置等の画像表示装置である。
以上のように構成される画像処理装置では、まず、デジタルカメラ等の画像撮影装置110を用いて撮影した測定対象物101の2枚以上の画像が、ステレオ画像データ記憶部112に登録される。
次に、ステレオ画像データ記憶部112に登録された画像のうち、ステレオペアとなる左右画像の組が設定される。
次に、3次元位置測定装置114や3Dスキャナを用いて取得した、測定対象物101の3次元座標が存在しているかが判断され、存在していると判断された場合、測定対象物位置データ記憶部116に、測定対象物101の3次元座標を用いた位置データが読み込まれる。
一方、測定対象物101の3次元座標が存在していないと判断された場合、相対座標系で処理が可能なので、測定対象物位置データ記憶部116に、測定対象物101の3次元座標を用いた位置データを読み込む上述の処理は、スキップされる。
その後、標定部124は、標定作業を行い、ステレオ画像データ記憶部112に記憶された測定対象物101のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める。この標定作業には、マニュアルと半自動、全自動の三つのモードがある。
ここで、標定作業とは、2枚以上の画像のそれぞれの対応点(同一点)を各画像上で対応点指示部122により、マウスカーソルなどで指示し、その画像座標を読み取る作業である。この対応点は通常各画像毎に6点以上必要である。また、測定対象物位置データ記憶部116に基準点座標が記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。
その後、標定作業により求めた対応点の座標を用いて、標定部124により標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることが出来る。もし基準点座標があれば、測定対象物位置データ記憶部116から読み出して絶対標定計算処理も行う。もし基準点座標がなければ、相対(モデル)座標にて計算する。標定計算処理は、ステレオモデルの対応付けに関しては相互標定で行い、全画像間の標定に関してはバンドル調整にて行う。
次に、3次元座標データ部131にてステレオ計測を行い、測定対象物101の3次元座標を求める。あるいは、ステレオ計測を行わない場合でも、測定対象物位置データ記憶部116にステレオ画像の対応点の3次元座標を予め読み込んである場合には、3次元座標データ部131は測定対象物位置データ記憶部116から対応点の3次元座標を読み込む。ステレオ計測には、例えば、特開2003-284098号公報に記載されているように、マニュアル計測、半自動計測、自動計測の各種モードが存在している。そこで、標定計算処理結果に応じて、ステレオ計測では、立体視可能なステレオ(左右)画像を作成表示して、上述モードを利用して対応点の3次元座標を求める。自動計測モードで行う場合は、自動計測を行う計測領域を指定して自動計測を行う。マニュアル、半自動計測の場合は、左右のステレオ画面を観察しながら左右画像上の対応点を半自動もしくは、マニュアルにて対応している点をマウスにて確定しながら計測する。
その後、求められた3次元座標、あるいは読み込まれた3次元座標から、モデル形成部132にて測定対象物101のモデルである、例えば、ワイヤフレームが作成される。
そして、画像対応部134により、テクスチャマッピングしたい面を指定する。テクスチャマッピングとは、測定対象物101の2次元画像に立体感を表現するテクスチャを貼り付けることをいう。
次に、画像対応部134は、測定対象物101のステレオ画像とモデル形成部132によって形成されたモデルとを、標定部124で求められた対応点関係を用いてテクスチャマッピングする。
次に、モデル表示部135により、テクスチャマッピングされた画像をモデル画面上に表示する。モデル画面は、ステレオ画像から形成された立体感テクスチャ付き画像やテクスチャを除去した画像のように、斜視状態を表す測定対象物101の2次元画像である。
その後、操作者が、マウスやキーボード等を利用して、姿勢指示部136により、測定対象物101の表示の向きを指示すると、画像変換部137が表示装置140に表示される測定対象物101の表示の向きを、姿勢指示部136により指示された向きに座標変換する。
次に、図10は、図1の受信装置13の構成例を示すブロック図である。
図10において、受信装置13は、送信データ受信部201、オブジェクト情報DB(Database)202、生成部203、コマンド受信部206、及び、加工情報DB207から構成される。
送信データ受信部201は、送信装置12(の送信部33(図6))から送信されてくるデータを受信し、オブジェクトIDが対応付けられたオブジェクト情報と、コンテンツデフォルト情報とに分離する。さらに、送信データ受信部201は、オブジェクトIDが対応付けられたオブジェクト情報(以下、オブジェクトID付きのオブジェクト情報ともいう)を、オブジェクト情報DB202に供給し、コンテンツデフォルト情報を、生成部203に供給する。
オブジェクト情報DB202は、送信データ受信部201から供給される、オブジェクトID付きのオブジェクト情報を記憶する。
生成部203は、オブジェクト情報DB202に記憶されたオブジェクト情報に基づいて、コンテンツを生成する。
また、生成部203は、コマンド受信部206や加工情報DB207から供給される、コンテンツを鑑賞するユーザ(受信装置13のユーザ)の指示に従った、コンテンツに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成する。
さらに、生成部203は、必要に応じて、送信データ受信部201から供給されるコンテンツデフォルト情報にも基づいて、コンテンツを生成する。
すなわち、生成部203は、シミュレーション部204、及び、提示データ生成部205から構成される。
シミュレーション部204は、例えば、オブジェクト情報DB202に記憶されたオブジェクト情報としてのモデルパラメータに基づいて物理シミュレーションを行うことにより、コンテンツ(コンテンツ世界)を生成し、そのコンテンツ(のデータ)を、提示データ生成部205に供給する。
なお、シミュレーション部204では、コマンド受信部206や加工情報DB207から供給される加工情報や、送信データ受信部201から供給されるコンテンツデフォルト情報に基づき、コンテンツを構成するオブジェクトに、加工を加える。
但し、シミュレーション部204では、コマンド受信部206や加工情報DB207から供給される加工情報と、送信データ受信部201から供給されるコンテンツデフォルト情報とのうちの、加工情報が優先される。
したがって、シミュレーション部204では、コマンド受信部206や加工情報DB207から、加工情報が供給される場合には、その加工情報に基づき、オブジェクト(ひいては、そのオブジェクトから構成するコンテンツ)に加工を加える。
一方、シミュレーション部204に対して、コマンド受信部206や加工情報DB207から、加工情報が供給されていない場合には、物理シミュレーション部204では、送信データ受信部201から供給されるコンテンツデフォルト情報に基づき、オブジェクトに加工を加える。
提示データ生成部205は、シミュレーション部204からの、感覚情報でもあるオブジェクト情報に基づいて生成されたコンテンツに基づいて、その感覚情報に対応する感覚を与えるための提示を行う提示装置14で提示を行うための提示データを生成し、提示装置14に供給する。
なお、提示データ生成部205には、コマンド受信部206や加工情報DB207から、加工情報が供給される。提示データ生成部205は、コマンド受信部206や加工情報DB207から供給される加工情報にも基づいて、提示データを生成する。
コマンド受信部206は、リモートコマンダ210から送信されてくる、ユーザの指示を表すコマンドを受信する。
すなわち、リモートコマンダ210は、オブジェクト(コンテンツ)に対する加工等を指示する場合に、ユーザによって操作され、その操作に対応するコマンド、つまり、ユーザの指示を表すコマンドを、赤外線等で送信する。コマンド受信部206は、以上のようにしてリモートコマンダ210から送信されてくるコマンドを受信する。
さらに、コマンド受信部206は、リモートコマンダ210からのコマンドが表すユーザの指示に従った、コンテンツに対する加工に関する情報である加工情報を生成し、シミュレーション部204、提示データ生成部205、及び、加工情報DB207に供給する。
加工情報DB207は、コマンド受信部206から供給される加工情報を、順次記憶する。すなわち、これにより、加工情報DB207には、いわば、ユーザの指示の履歴が記憶される。
次に、生成部203のシミュレーション部204についてさらに説明する。
シミュレーション部204は、少なくとも、オブジェクト情報と、コンテンツデフォルト情報に基づいて、コンテンツ世界をシミュレートする。
なお、シミュレーション部204では、ユーザがコンテンツ世界を鑑賞したときに、視覚で認識(知覚)されるオブジェクトの画像(オブジェクトが反射する光)が、少なくとも、シミュレーションの対象とされる。
また、図6で説明したように、コンテンツデフォルト情報は、コンテンツ制作者によって指示された、オブジェクトの状態に関する時系列データ、照明条件の時系列データ、鑑賞者の位置や向き等の時系列データであり、シミュレーション部204は、コンテンツデフォルト情報に基づいて、オブジェクトの配置や向き、照明条件、ユーザ(コンテンツの鑑賞者)の鑑賞位置や向き等の設定を行い、その設定に従い、コンテンツを生成する。
この場合、コンテンツ制作者が意図したとおりのコンテンツ(例えば、現行のテレビジョン放送の番組と同様の番組)が生成される。
また、シミュレーション部204は、必要であれば、オブジェクトの状態の変化をシミュレートする。
すなわち、コンテンツ制作者の指示に従ったオブジェクトの状態の変化(配置、向きなどの変化)が、シミュレート可能な物理法則に支配された状態の変化である場合、つまり、オブジェクトの状態が物理シミュレーションにより算出可能である場合には、送信装置12では、オブジェクトの状態に関するデータを、コンテンツデフォルト情報に含めずに、コンテンツデフォルト情報を送信すること、つまり、コンテンツデフォルト情報として、オブジェクトの状態に関する時系列データに代えて、オブジェクトの状態の初期値を送信することができる。
この場合、シミュレーション部204では、コンテンツデフォルト情報としての、オブジェクトの状態の初期値からの、オブジェクトの状態の変化をシミュレートする物理シミュレーションを行うことにより、コンテンツを生成する。
ここで、「シミュレート可能な物理法則に支配された状態の変化」の具体例としては、例えば、オブジェクトの自由落下による位置(速度)変化等がある。物理シミュレータの性能次第では(例えば物体同士の衝突シミュレートも可能なシミュレータ)、必要なパラメータが既知のオブジェクト同士の衝突による位置変化等も「シミュレート可能な物理法則に支配された状態の変化」とみなすことができる。また、シミュレーション部204では、運動シミュレーションに限らず熱伝導等の様々な物理現象に伴う状態の変化の物理シミュレーション等も、オブジェクトの状態の初期値を用いて行うことが可能である。
以上のように、送信装置12において、オブジェクトの状態に関するデータ(時系列データ)を含まないコンテンツデフォルト情報を送信し、受信装置13において、オブジェクトの状態の変化をシミュレートすることにより、オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を送信する場合に比較して、送信装置12から送信するデータのデータ量を減少させることができる。
また、シミュレーション部204は、ユーザによるコンテンツ世界への介入があった場合には、ユーザからの介入情報にも基づいて、コンテンツ世界をシミュレートする。
すなわち、ユーザが、リモートコマンダ210を操作することにより、コマンド受信部206から、シミュレーション部204に対して、コンテンツに対する加工に関する加工情報が供給された場合、シミュレーション部204は、コンテンツデフォルト情報よりも、加工情報を優先して用いて、コンテンツを生成する。
ここで、加工情報は、コンテンツに対する加工に関する情報であり、ここでは、例えば、オブジェクトの位置を操作する等の、オブジェクトごとの加工に関する情報になっている。
すなわち、ユーザが、リモートコマンダ210を操作して、例えば、物体オブジェクトの位置を指示すると、コマンド受信部206は、その指示に応じて、物体オブジェクトの位置を操作する加工情報を生成し、シミュレーション部204に供給する。シミュレーション部204は、コマンド受信部206からの加工情報に基づいて、コンテンツを構成する物体オブジェクトの位置を操作(設定)する。
また、ユーザは、リモートコマンダ210を操作して、例えば、物体オブジェクトの削除や、別のオブジェクトへの入れ替え、力(撃力)作用(たたくなど)、温度等を指示することができる。さらに、ユーザは、リモートコマンダ210を操作して、例えば、背景オブジェクトにおける風速や、流速、重力、温度等を指示することができる。
コマンド受信部206は、ユーザの指示に応じて、コンテンツ(を構成するオブジェクト)の加工に関する加工情報を生成し、シミュレーション部204に供給する。シミュレーション部204では、コマンド受信部206からの加工情報に基づいて、コンテンツを構成する物体オブジェクトや背景オブジェクトの加工が行われる。
さらに、ユーザは、リモートコマンダ210を操作して、所定のオブジェクトの所定の感覚に関するデータの削除を指示することができる。
この場合、コマンド受信部206は、ユーザの指示に応じて、所定のオブジェクトの所定の感覚に関するデータを削除するための加工情報を生成し、シミュレーション部204に供給する。シミュレーション部204では、コマンド受信部206からの加工情報に基づいて、コンテンツを構成する所定のオブジェクトの所定の感覚に関するデータが削除される。
したがって、例えば、コンテンツを構成するオブジェクトに、ピーナッツが含まれている場合において、ユーザが、ピーナッツの味覚に関するデータの削除を指示すると、シミュレーション部204では、コンテンツを構成するピーナッツの味覚に関するデータが削除される。この場合、例えば、ピーナッツアレルギのユーザに、ピーナッツの味覚が提示されることを防止することができる。
また、ユーザは、リモートコマンダ210を操作して、所定のオブジェクトの所定の感覚に関するデータを、別のオブジェクトの所定の感覚に関するデータに変換することを指示することができる。
この場合、コマンド受信部206は、ユーザの指示に応じて、所定のオブジェクトの所定の感覚に関するデータを、別のオブジェクトの所定の感覚に関するデータに変換するための加工情報を生成し、シミュレーション部204に供給する。シミュレーション部204では、コマンド受信部206からの加工情報に基づいて、コンテンツを構成する所定のオブジェクトの所定の感覚に関するデータが、別のオブジェクトの所定の感覚に関するデータに変換される。
したがって、例えば、コンテンツを構成するオブジェクトに、ピーナッツが含まれている場合において、ユーザが、ピーナッツの味覚に関するデータを、別のオブジェクトとしてのイチゴの味覚に関するデータに変換することを指示すると、シミュレーション部204では、コンテンツを構成するピーナッツの味覚に関するデータが、イチゴの味覚に関するデータに変換される。この場合、例えば、イチゴの味覚を感じるピーナッツが提示される。
また、ユーザは、リモートコマンダ210を操作して、コンテンツ世界を鑑賞する鑑賞者であるユーザの位置(鑑賞位置)や向きを指示することができる。
この場合、コマンド受信部206は、ユーザの指示に応じて、鑑賞者の鑑賞位置や向きを操作する加工情報を生成し、シミュレーション部204に供給する。シミュレーション部204では、コマンド受信部206からの加工情報に基づいて、鑑賞者の鑑賞位置や向きを設定した物理シミュレーションを行うことにより、コンテンツが生成される。
さらに、ユーザは、リモートコマンダ210を操作して、コンテンツのエンターテイメント性を向上させる処理(以下、エンターテイメント処理という)を行うことを指示することができる。
この場合、コマンド受信部206は、エンターテイメント処理を行うことを要求する加工情報を生成し、シミュレーション部204に供給する。シミュレーション部204は、コマンド受信部206からの加工情報に基づいて、エンターテイメント処理を行う。
すなわち、シミュレーション部204は、オブジェクト情報DB202に記憶されたオブジェクト情報に含まれる、図6で説明したエンタメ情報を用い、オブジェクトの画像を、そのオブジェクトのスケッチ画とする。
また、ユーザは、リモートコマンダ210を操作して、リアリティ処理を行うことを指示することができる。
この場合、コマンド受信部206は、リアリティ処理を行うことを要求する加工情報を生成し、シミュレーション部204に供給する。シミュレーション部204は、コマンド受信部206からの加工情報に基づいて、リアリティ処理を行う。
すなわち、シミュレーション部204は、提示装置14のうちの、画像を提示(表示)するディスプレイのサイズ(大きさ)に応じた、リアリティを損ねないコンテンツを生成する。
具体的には、シミュレーション部204は、例えば、提示装置14にアクセスして、提示装置14のうちのディスプレイのサイズを認識する。さらに、シミュレーション部204は、オブジェクト情報DB202に記憶されたオブジェクト情報に含まれる、図6で説明したエネルギ情報から、コンテンツを構成するオブジェクトのサイズ(大きさ)を認識する。
そして、シミュレーション部204は、提示装置14のうちのディスプレイのサイズ、及び、コンテンツを構成するオブジェクトのサイズに基づいて、ディスプレイで表示されるオブジェクトが、実世界における、そのオブジェクトのサイズ(オブジェクトを実世界で見たときに認識される、そのオブジェクトのサイズ)になるように、オブジェクトのサイズを調整(拡大又は縮小)したコンテンツを生成する。
なお、コマンド受信部206は、加工情報を、シミュレーション部204に供給する他、加工情報DB207にも供給する。
加工情報DB207は、コマンド受信部206から加工情報が供給されると、その加工情報がコマンド受信部206から供給されたときの状況を表す状況情報を生成し、加工情報に対応付けて記憶する。
そして、加工情報DB207は、状況情報が表す状況と一致する状況となると、その状況情報に対応付けられた加工情報を、シミュレーション部204に供給する。シミュレーション部204は、加工情報DB207から加工情報が供給されると、その加工情報に基づき、コマンド受信部206から加工情報が供給された場合と同様の処理を行う。
すなわち、例えば、提示装置14において、ピーナッツを含むコンテンツが提示された場合に、ユーザが、上述したように、リモートコマンダ210を操作して、ピーナッツの味覚に関するデータの削除を指示し、コマンド受信部206が、ピーナッツの味覚に関するデータを削除するための加工情報を生成すると、その加工情報は、ピーナッツを含むコンテンツが提示される状況を表す状況情報と対応付けられて、加工情報DB207に記憶される。
その後、ピーナッツを含むコンテンツが提示される状況となると、加工情報DB207は、その状況を表す状況情報に対応付けられている加工情報、つまり、ピーナッツの味覚に関するデータを削除するための加工情報を、シミュレーション部204(及び、提示データ生成部205)に供給する。
シミュレーション部204では、加工情報DB207からの加工情報に基づき、コマンド受信部206から加工情報が供給された場合と同様に、コンテンツを構成するピーナッツの味覚に関するデータが削除される。
したがって、ユーザは、リモートコマンダ210を操作して、一度行った指示については、同様の指示を、再度行う必要がない。
また、シミュレーション部204では、上述したように、コマンド受信部206(又は加工情報DB207)からの加工情報の供給がない場合には、コンテンツデフォルト情報に基づいて、コンテンツが生成され、これにより、コンテンツ制作者が意図したとおりのコンテンツ(例えば、コンテンツ制作者が意図したとおりにオブジェクトが配置されたコンテンツ世界を、コンテンツ制作者が意図したとおりの視点から見た画像)が提示される。
一方、ユーザが、リモートコマンダ210を操作し、これにより、シミュレーション部204に対して、コマンド受信部206からの加工情報の供給があると、シミュレーション部204では、コンテンツデフォルト情報よりも、加工情報を優先して用いて、コンテンツが生成される。
この場合、ユーザの指示に従って加工がされた、ユーザ固有のコンテンツ(例えば、コンテンツ制作者が意図したコンテンツが、ピーナッツの味覚を提示する(感じさせる)コンテンツである場合に、ピーナッツの味覚に関するデータを削除するための加工情報に基づいて、ピーナッツの味覚に関するデータを削除する加工が行われ、ピーナッツの味覚の提示がないコンテンツ)が提示される。
シミュレーション部204は、以上のように、ユーザの指示に従ったオブジェクト(コンテンツ)の加工の後に、ユーザが特に指示をしない限り、オブジェクトの状態を徐々にコンテンツデフォルト情報に基づく状態へと遷移させる。
すなわち、シミュレーション部204は、コンテンツ世界が徐々にコンテンツデフォルト情報に基づく状態へと戻っていくようにシミュレートする。
これにより、例えば、ユーザが、リモートコマンダ210を操作して、ある物体オブジェクトの向きを、所定の方向とすることを指示した場合、シミュレーション部204では、物体オブジェクトが所定の方向を向いているコンテンツが生成される。
その後、ユーザが、リモートコマンダ210の操作を停止(解除)すると、シミュレーション部204では、所定の方向を向いていた物体オブジェクトが、コンテンツデフォルト情報によって指定されている方向に徐々に向いていくコンテンツが生成される。
次に、上述のようにしてシミュレーション部204で生成されたコンテンツは、提示データ生成部205に供給され、提示データ生成部205では、上述したように、シミュレーション部204からのコンテンツに基づいて、提示データが生成され、提示装置14(図1)に供給される。
すなわち、提示データ生成部205は、シミュレーション部204によりシミュレートされたコンテンツ世界の情報から、提示装置14の構成に適した情報を抽出し、提示装置14の構成に最適なデータ構成に変換して、提示装置14に供給する。
具体的には、例えば、提示装置14が、音(音声)を提示(出力)するスピーカ、画像(光)を提示(表示)するディスプレイ、匂いを提示する(発する)匂い発生装置、温度を提示(調整)するエアコン(エアコンディショナ)、及び、湿度を提示(調整)する加湿器である場合に、提示データ生成部205は、シミュレーション部204からのコンテンツを構成する各オブジェクトの音声を合成した音声情報を、提示データとして生成し、提示装置14のスピーカに供給する。
また、提示データ生成部205は、シミュレーション部204からのコンテンツのコンテンツ世界の画像情報を、提示データとして生成し、提示装置14のディスプレイに供給する。
さらに、提示データ生成部205は、シミュレーション部204からのコンテンツを構成する各オブジェクトの匂いを合成した匂い情報を、提示データとして生成し、提示装置14の匂い発生装置に供給する。
また、提示データ生成部205は、シミュレーション部204からのコンテンツを構成する背景オブジェクトの温度を表す温度情報を、提示データとして生成し、提示装置14のエアコンに供給する。
さらに、提示データ生成部205は、シミュレーション部204からのコンテンツを構成する背景オブジェクトの湿度を表す湿度情報を、提示データとして生成し、提示装置14の加湿器に供給する。
なお、提示データ生成部205は、例えば、コマンド受信部206、又は加工情報DB207から供給される加工情報が、所定のオブジェクトの所定の感覚に関するデータを削除するための情報である場合において、その削除の対象のデータが、シミュレーション部204からのコンテンツに基づいて生成された提示データに含まれるときには、その削除の対象のデータを削除する(提示装置14に供給しない)。
次に、図11を参照して、図10の受信装置13の処理について説明する。
受信装置13では、ステップS61において、送信データ受信部201が、送信装置12(図6)から送信されてくるデータを受信し、オブジェクトID付きのオブジェクト情報と、コンテンツデフォルト情報とに分離する。さらに、ステップS61では、送信データ受信部201が、オブジェクト情報を、オブジェクト情報DB202に供給して記憶させ、コンテンツデフォルト情報を、生成部203に供給して、処理は、ステップS62に進む。
ステップS62では、生成部203が、オブジェクト情報DB202に記憶されたオブジェクト情報、並びに、必要なコンテンツデフォルト情報、及び加工情報に基づいて、コンテンツを生成する。
すなわち、生成部203では、シミュレーション部204が、オブジェクト情報DB202に記憶されたオブジェクト情報、並びに、必要なコンテンツデフォルト情報、及び加工情報に基づいてシミュレーションを行うことにより、コンテンツを生成し、提示データ生成部205に供給する。提示データ生成部205は、シミュレーション部204からのコンテンツに基づいて、提示データを生成し、提示装置14に供給する。
次に、図12は、図1の提示装置14の構成例を示している。
提示装置14は、五感に刺激を与え、これにより、コンテンツを構成するオブジェクトを、実世界で鑑賞したならば得られるであろう感覚を再現するデバイスで構成することができる。
すなわち、提示装置14は、例えば、音を出力(提示)することで聴覚を刺激するスピーカや、画像表示(提示)することで視覚を刺激するディスプレイ、匂いを発する(提示する)ことで嗅覚を刺激する匂い発生装置等で構成することができる。
その他、提示装置14は、マイナスイオンを発生するマイナスイオン発生器や、着席しているユーザに動揺を与えるアクチュエータ付きの椅子、味を再現する味覚再現装置、温度を調整するエアコン、湿度を調整する加湿器等の、各種の提示を行うデバイスで構成することができる。
以上のように、図1の送受信システムでは、送信装置12において、オブジェクトごとのオブジェクト情報を送信し、受信装置13において、送信装置12からのオブジェクト情報に基づいて、コンテンツを生成するので、コンテンツの提示(音の出力や、画像の表示、匂いの発生、味覚の再現等)を、柔軟に行うことが可能となる。
すなわち、放送局で制作されたコンテンツを受動的に鑑賞する従来の放送とは異なり、送信装置12において、オブジェクトごとのオブジェクト情報を送信し、受信装置13において、そのオブジェクト情報に基づいて、コンテンツを生成することにより、ユーザにコンテンツを加工(操作)する余地が与えられ、これにより、各ユーザは、ユーザ固有のコンテンツを鑑賞することが可能となる。
送信装置12において、オブジェクトごとのオブジェクト情報を送信することにより、送信側において、複数のオブジェクトのオブジェクト情報を含む情報(例えば、複数の物体オブジェクトが映った画像や、複数の物体オブジェクトのそれぞれが発する音が混ざった音等)を送信した場合に、受信側での、コンテンツ(オブジェクト)の加工において必須となるオブジェクト抽出(例えば、個々の物体オブジェクトの画像の抽出や、個々の音の分離(音声分離)等)をする必要がなくなる。
また、送信装置12において、コンテンツデフォルト情報をさらに送信し、受信装置13において、オブジェクト情報及びコンテンツデフォルト情報に基づいて、コンテンツを生成するので、コンテンツ制作者の意図(例えば、コンテンツ制作者が意図したオブジェクトの配置等)をコンテンツに付加することができる。
さらに、受信装置13では、ユーザの指示に従った加工情報に基づいて、コンテンツの生成を行うので、上述したように、ユーザは、ユーザ固有のコンテンツを鑑賞することができる。また、ユーザによるコンテンツの加工とコンテンツ制作者の意図を融合させることができる。
また、オブジェクト情報は、オブジェクトを鑑賞したときに五感で得られる感覚を再現するための感覚情報でもあるため(図1の送受信システムで行われる放送が、五感のうちの、視覚(画像)、及び聴覚(音声)以外の感覚を(も)刺激する多感覚放送であるため)、ユーザは、視覚で認識される画像や、聴覚で認識される音声の他に、嗅覚や、味覚、触覚で認識される物理量を享受することができ、したがって、ユーザは、例えば、視覚及び聴覚以外の感覚でコンテンツを鑑賞することや、3つ以上の感覚でコンテンツを鑑賞すること等ができる。
なお、オブジェクトを鑑賞したときに五感で得られる感覚を再現するための感覚情報が、視覚で認識される画像(文字等を含む)、及び、聴覚で認識される音声のみの、受動的な(受信側でのコンテンツ(オブジェクト)の加工が不可能な)現行の放送システムで放送された場合、コンテンツに対するユーザの好き嫌いが激しくなる。例えば、ピーナッツの味覚を再現する感覚情報が、全ユーザに画一的に放送され、ピーナッツアレルギのユーザにピーナッツの味覚を提示してしまうことは、好ましいことではない。
そこで、受信装置13において、上述したように、加工情報に基づいて、コンテンツの生成(提示データの生成)を行い、例えば、ピーナッツの味覚に関するデータを削除することで、ピーナッツアレルギのユーザにピーナッツの味覚が提示されることを防止することができる。
また、送信装置12では、上述したように、オブジェクトごとのオブジェクト情報が送信されるので、受信装置13では、味覚や、嗅覚、触覚に関するデータ(味覚や、聴覚、触覚を刺激するデータ)の加工を、容易に行うことが可能となる。
すなわち、送信装置12において、例えば、イチゴとピーナッツ等の複数のオブジェクトの匂いが混ざった状態の匂いを再現するための感覚情報を送信すると、受信装置13では、その感覚情報から、イチゴとピーナッツのそれぞれの嗅覚に関するデータを分離することは困難である。一方、送信装置12において、オブジェクトごとのオブジェクト情報を送信する場合には、そのようなデータの分離が不要であるため、メリットが大きい。
図13は、図1の提示装置14の詳細な構成例を示すブロック図である。
図13において、提示装置14は、センシング部221、提示データ受信部222、及び提示部223から構成され、受信装置13の生成部203において、オブジェクト情報に基づいて生成されるコンテンツ(モデルパラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツ)(感覚情報に基づいて生成されるコンテンツ)を提示する。
センシング部221は、提示装置14において提示されるコンテンツが鑑賞される環境(以下、鑑賞環境ともいう)をセンシングし、そのセンシングの結果得られる、鑑賞環境に関する鑑賞環境情報を出力する。
ここで、センシング部221が出力する鑑賞環境情報は、受信装置13のシミュレーション部204に供給される。
受信装置13のシミュレーション部204(生成部203)では、オブジェクト情報(モデルパラメータ)(感覚情報)、並びに、必要なコンテンツデフォルト情報、及び加工情報の他、センシング部221からの必要な鑑賞環境情報にも基づいて、コンテンツが生成され、提示装置14では、そのようにして生成されたコンテンツの提示が行われる。
なお、センシング部221は、例えば、提示装置14自体と、その提示装置14が提示するコンテンツを鑑賞するユーザ(鑑賞者)との間の位置関係をセンシングし、その位置関係を表す情報を、鑑賞環境情報として出力する。また、センシング部221は、例えば、鑑賞環境において存在する物体をセンシングし、その物体に関する情報を、鑑賞環境情報として出力する。さらに、センシング部221は、例えば、鑑賞環境における照明条件(明るさ等)をセンシングし、その照明条件を表す情報を、鑑賞環境情報として出力する。
提示データ受信部222は、受信装置13の生成部203(の提示データ生成部205)からの提示データを受信し、提示部223に供給する。
提示部223は、五感に刺激を与え、これにより、コンテンツを構成するオブジェクトを、実世界で鑑賞したならば得られるであろう感覚を再現するデバイス、すなわち、例えば、音声を出力する音声出力部や、画像を表示する画像表示部等の各種のデバイスで構成され、提示データ受信部222からの提示データに従い、コンテンツの提示を行う。
図14は、図13の提示部223を構成するデバイスの配置の例を模式的に示している。
図14では、提示部223を構成するデバイスとして、音声を出力する音声出力部としてのスピーカや、画像を表示する画像表示部としてのディスプレイ、温度を調整するエアコン、湿度を調整する加湿器、匂いを提示する匂い発生装置、等が配置されている。
次に、図15を参照して、図13の提示装置14の処理について説明する。
提示装置14では、センシング部221が、鑑賞環境をセンシングし、そのセンシングの結果得られる鑑賞環境情報を、受信装置13のシミュレーション部204に供給している。
そして、ステップS71において、提示データ受信部222が、受信装置13の提示データ生成部205から提示データが供給されるのを待って、その提示データを受信し、提示部223に供給して、処理は、ステップS72に進む。
ステップS72では、提示部223が、提示データ受信部222からの提示データに従い、コンテンツの提示を行う。
次に、図16は、図1の提示装置14の、他の詳細な構成例を示すブロック図である。
なお、図中、図13の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図16の提示装置14は、移動機構231が新たに設けられていることを除き、図13の場合と同様に構成される。
但し、上述の場合には、受信装置13の生成部203において、コンテンツを構成する各オブジェクトの音声を合成した提示データや、各オブジェクトの匂いを合成した提示データ等の、コンテンツを構成する各オブジェクトの情報を合成した提示データを生成し、提示装置14に供給するようにしたが、図16では、受信装置13の生成部203において、コンテンツを構成するオブジェクトごとに、そのオブジェクトの提示データが生成され、提示装置14に供給されるようになっている。
さらに、図16では、提示装置14が、コンテンツを構成するオブジェクトごとに個別に用意されている。なお、図16では、提示装置14は、1つだけ図示してある。
また、図16では、センシング部221は、鑑賞環境情報を、シミュレーション部204の他、移動機構231にも供給する。
さらに、図16では、提示データ生成部205が、シミュレーション部204から、オブジェクト情報、及び、コンテンツデフォルト情報を取得し、提示データとともに、提示データ受信部222に供給するようになっている。
提示データ受信部222は、提示データ生成部205からの提示データ、並びに、オブジェクト情報、及び、コンテンツデフォルト情報を受信し、提示データを、提示部223に供給するとともに、オブジェクト情報、及び、コンテンツデフォルト情報を、移動機構231に供給する。
移動機構231は、センシング部221からの鑑賞環境情報や、提示データ受信部222からのオブジェクト情報、及び、コンテンツデフォルト情報に基づき、提示装置14を移動させ、提示装置14によるオブジェクトの情報の提示を制御する。
図17は、図16の提示装置14の構成例を模式的に示す図である。
図17では、提示装置14は、提示部223を構成するデバイスとして、音声を出力する音声出力部としてのスピーカや、画像を表示する画像表示部としてのディスプレイ、温度を調整するエアコン、湿度を調整する加湿器、匂いを提示する匂い発生装置、等を搭載しており、移動機構231によって移動する。
すなわち、図17では、移動機構231は、車輪を含んで構成され、その車輪を回転駆動することによって、提示装置14を移動させる。
なお、移動機構231としては、その他、例えば、可動レール(移動可能なレール)に沿って、提示装置14を移動させる機構等を採用することが可能である。
ここで、コンテンツを構成するオブジェクトごとに個別に用意された提示装置14のうちの注目する1つが提示するオブジェクトを、注目オブジェクトともいう。
注目オブジェクトの提示を行う提示装置14では、移動機構231が、受信装置13の生成部203で生成されるコンテンツ上での、注目オブジェクトの位置を表す情報に基づいて、注目オブジェクトの提示を行う提示装置14を移動させる。
すなわち、提示装置14では、移動機構231が、提示データ受信部222からのコンテンツデフォルト情報で設定されている注目オブジェクトの位置情報と鑑賞者(ユーザ)の位置情報とから、オブジェクトと鑑賞者の、コンテンツ上での位置関係を求める。
さらに、提示装置14では、移動機構231が、センシング部221からの鑑賞環境情報により把握される、その提示装置14自体(自機)と鑑賞者との実際の位置関係が、コンテンツデフォルト情報から求められた、コンテンツ上での位置関係と一致するように、提示装置14を移動させる(提示装置14の移動を制御する)。
但し、鑑賞者が、視点の位置を変更する指示を行うように、リモートコマンダ210を操作し、これにより、その視点の位置を変更する指示に対応する加工情報が、コマンド受信部206から生成部203に供給された場合、生成部203の提示データ生成部205は、コマンド受信部206からの加工情報を、提示装置14の提示データ受信部222に供給する。
提示データ受信部222は、提示データ生成部205からの加工情報を受信して、移動機構231に供給する。
移動機構231は、提示データ受信部222からの加工情報から把握される、視点の変更後の注目オブジェクトと鑑賞者のコンテンツ上での位置関係を表す情報に基づいて、提示装置14を移動させる。
なお、提示装置14が有する提示部223としてのデバイスが、例えば、平面ディスプレイや、指向性があるスピーカ等のように、提示に際して指向性を有するデバイス(以下、指向性デバイスともいう)である場合には、移動機構231は、指向性デバイスの指向性が、鑑賞者に対する方向と一致するように、提示装置14(自機)の向きの制御を行う。
また、提示装置14では、センシング部221は、その提示装置14自体(自機)と鑑賞者との位置や向きの関係を表す情報を、鑑賞環境情報としてセンシングし、受信装置13のシミュレーション部204に供給する。
シミュレーション部204では、コンテンツ世界において、注目オブジェクトとの間で、センシング部221からの鑑賞環境情報が表す位置や向きの関係を有する鑑賞者から鑑賞されるべき注目オブジェクトの提示内容がシミュレートされ、そのシミュレートの結果に対応する提示データが、提示データ生成部205から、注目オブジェクトに対応する提示装置14(注目オブジェクトの提示を行う提示装置14)に供給される。
なお、提示装置14には、より鑑賞環境との相互作用を強調した動作(以下、相互作用動作ともいう)を行わせることができる。
すなわち、提示装置14が相互作用動作を行う場合には、例えば、提示装置14のセンシング部221が、周辺(鑑賞環境)に存在する物体(鑑賞者含む)をセンシングし、その物体の情報を、鑑賞環境情報として、受信装置13のシミュレーション部204に供給する。
受信装置13のシミュレーション部204では、センシング部221からの鑑賞環境情報に基づいて、衝突によるオブジェクトの動き変化や変形をシミュレートして、その結果を、提示データ生成部205を介して、提示装置14に供給する。
これにより、提示装置14には、周辺に存在する物体(鑑賞者含む)と相互作用(衝突など)を行わせることができる。
また、例えば、提示装置14のセンシング部221は、鑑賞環境における照明条件をセンシングし、その照明条件を表す情報を、鑑賞環境情報として、受信装置13のシミュレーション部204に供給する。
受信装置13のシミュレーション部204では、センシング部221からの鑑賞環境情報に基づいて、鑑賞環境における照明条件でのオブジェクトの画像を生成し、提示データ生成部205を介して、提示装置14に供給する。
これにより、提示装置14には、鑑賞環境における照明条件でオブジェクトを提示させることができる。
以上のように、オブジェクトごとに個別に用意された提示装置14によりコンテンツを提示し、また、ぞれぞれの提示装置14が、鑑賞環境をセンシングして得られる鑑賞環境情報にも基づいてコンテンツを提示する場合には、鑑賞環境中にいる鑑賞者や鑑賞環境中に実在する物体(家具など)とコンテンツとが物理的にも相互作用することができるようになる。
なお、センシング部221は、提示装置14ではなく、受信装置13に設けることが可能である。
また、本実施の形態では、受信装置13を、提示装置14とは別に設けるようにしたが、受信装置13は、提示装置14とは別に設けるのではなく、オブジェクトごとに個別に用意される提示装置14のそれぞれに、受信装置13の機能を内蔵させるようにすることが可能である。
さらに、提示装置14の画像を表示する画像表示部としてのディスプレイとしては、平面(略平面)上に画像を表示するディスプレイの他、半球状のスクリーンに画像を表示するディスプレイ(以下、半球状ディスプレイともいう)を採用することが可能である。
ここで、半球状ディスプレイについては、例えば、特開2005-070963号公報に記載されている。
図18は、半球状ディスプレイの構成例を模式的に示す斜視図である。
半球状ディスプレイは、スクリーン251、画像発生部252、及び、魚眼レンズ253から構成される。
画像発生部252は、画像に対応する光を発生する。画像発生部252が発生した光は、魚眼レンズ253を介して、スクリーン251に照射される。
スクリーン251は、半球状の大きなスクリーンで、画像発生部252、及び魚眼レンズ253を覆うように設置されている。スクリーン251では、魚眼レンズ253を介して照射される光が散乱され、これにより、スクリーン251の全体に、例えば、ある物体を、その周囲から見たときに見える画像が表示される。
以上のような半球状ディスプレイでは、スクリーン251の表示領域のうちの、そのスクリーン251の周囲のある位置にいるユーザ(鑑賞者)Aに対向する位置の表示領域である表示部261には、ユーザAの位置から実際に物体を見たならば見えるであろう画像が表示される。
また、例えば、スクリーン251を挟んで、ユーザAの位置と反対側の位置にいるユーザBの位置に対向する、スクリーン251の一部の表示領域である表示部262には、ユーザBの位置から実際に物体を見たならば見えるであろう画像が表示される。
以上のような半球状ディスプレイによれば、複数の鑑賞者が、コンテンツの鑑賞を容易に行うことができる。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図19は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク305やROM303に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体311に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体311は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体311からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部308で受信し、内蔵するハードディスク305にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)302を内蔵している。CPU302には、バス301を介して、入出力インタフェース310が接続されており、CPU302は、入出力インタフェース310を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部307が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)303に格納されているプログラムを実行する。あるいは、また、CPU302は、ハードディスク305に格納されているプログラム、衛星若しくはネットワークから転送され、通信部308で受信されてハードディスク305にインストールされたプログラム、またはドライブ309に装着されたリムーバブル記録媒体311から読み出されてハードディスク305にインストールされたプログラムを、RAM(Random Access Memory)304にロードして実行する。これにより、CPU302は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU302は、その処理結果を、必要に応じて、例えば、入出力インタフェース310を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部306から出力、あるいは、通信部308から送信、さらには、ハードディスク305に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本実施の形態では、図1の送受信システムを、放送システムとしたが、本発明は、放送以外のデータの送受信に適用可能である。
11 センシング装置, 12 送信装置, 13 受信装置, 14 提示装置, 31 オブジェクト情報生成部, 32 コンテンツデフォルト情報生成部, 33 送信部, 41 背景オブジェクト情報生成部, 42 物体オブジェクト情報生成部, 43 ID付与部, 201 送信データ受信部, 202 オブジェクト情報DB, 203 生成部, 204 シミュレーション部, 205 提示データ生成部, 206 コマンド受信部, 207 加工情報DB, 210 リモートコマンダ, 221 センシング部, 222 提示データ受信部, 223 提示部, 231 移動機構, 251 スクリーン, 252 画像発生部, 253 魚眼レンズ, 261,262 表示部, 301 バス, 302 CPU, 303 ROM, 304 RAM, 305 ハードディスク, 306 出力部, 307 入力部, 308 通信部, 309 ドライブ, 310 入出力インタフェース, 311 リムーバブル記録媒体
Claims (30)
- データを送信する送信装置と、前記データを受信する受信装置とから構成される放送システムにおいて、
前記送信装置は、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を有し、
前記受信装置は、前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を有する
放送システム。 - 前記送信手段は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を放送データとしてさらに送信し、
前記生成手段は、前記オブジェクト情報及び前記コンテンツデフォルト情報に基づいて、コンテンツを生成する
請求項1に記載の放送システム。 - 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成し、前記ユーザの指示に従った前記オブジェクトの加工の後に、前記オブジェクトの状態を徐々に前記コンテンツデフォルト情報に基づく状態へと遷移させる
請求項2に記載の放送システム。 - 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくとも前記オブジェクトの配置、向き、又は照明条件の設定を行い、その設定に従い、コンテンツを生成する
請求項2に記載の放送システム。 - 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくともユーザの、コンテンツに対する鑑賞位置又は向きの設定を行い、その設定に従い、コンテンツを生成する
請求項2に記載の放送システム。 - 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成する
請求項1に記載の放送システム。 - 前記生成手段は、コンテンツを提示するための提示装置のサイズに応じたコンテンツを生成する
請求項1に記載の放送システム。 - 前記生成手段は、前記提示装置のサイズ及び前記オブジェクトのサイズに基づいて、前記提示装置で提示されるオブジェクトが、実世界におけるオブジェクトのサイズになるように、コンテンツを生成する
請求項7に記載の放送システム。 - データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置において、
コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段を備える
送信装置。 - 前記送信手段は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を放送データとしてさらに送信する
請求項9に記載の送信装置。 - データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置の送信方法において、
前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信するステップを含む
送信方法。 - データを受信する受信装置とともに放送システムを構成する、前記データを送信する送信装置として、コンピュータを機能させるプログラムにおいて、
コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する送信手段
として、コンピュータを機能させるためのプログラム。 - データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置において、
前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
前記オブジェクト情報に基づいて、コンテンツを生成する生成手段を備える
受信装置。 - 前記送信装置は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を放送データとしてさらに送信し、
前記生成手段は、前記オブジェクト情報及び前記コンテンツデフォルト情報に基づいて、コンテンツを生成する
請求項13に記載の受信装置。 - 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成し、前記ユーザの指示に従った前記オブジェクトの加工の後に、前記オブジェクトの状態を徐々に前記コンテンツデフォルト情報に基づく状態へと遷移させる
請求項14に記載の受信装置。 - 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくとも前記オブジェクトの配置、向き、又は照明条件の設定を行い、その設定に従い、コンテンツを生成する
請求項14に記載の受信装置。 - 前記生成手段は、前記コンテンツデフォルト情報に基づいて、少なくともユーザの、コンテンツに対する鑑賞位置又は向きの設定を行い、その設定に従い、コンテンツを生成する
請求項14に記載の受信装置。 - 前記生成手段は、コンテンツを鑑賞するユーザの指示に従った、前記オブジェクトに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成する
請求項13に記載の受信装置。 - 前記生成手段は、コンテンツを提示するための提示装置のサイズに応じたコンテンツを生成する
請求項13に記載の受信装置。 - 前記生成手段は、前記提示装置のサイズ及び前記オブジェクトのサイズに基づいて、前記提示装置で提示されるオブジェクトが、実世界におけるオブジェクトのサイズになるように、コンテンツを生成する
請求項19に記載の受信装置。 - データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置の受信方法において、
前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
前記受信装置が、前記オブジェクト情報に基づいて、コンテンツを生成するステップを含む
受信方法。 - データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置として、コンピュータを機能させるプログラムにおいて、
前記送信装置が、コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
前記オブジェクト情報に基づいて、コンテンツを生成する生成手段
として、コンピュータを機能させるためのプログラム。 - データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置において、
前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
前記オブジェクト情報に基づいて生成されるコンテンツを提示する提示手段を備える
提示装置。 - 提示されるコンテンツが鑑賞される鑑賞環境をセンシングするセンシング手段をさらに備え、
前記提示手段は、前記オブジェクト情報及び前記センシング手段によりセンシングされた前記鑑賞環境に関する鑑賞環境情報に基づいて生成されるコンテンツを提示する
請求項23に記載の提示装置。 - 前記提示装置を移動させる移動手段をさらに備え、
前記提示装置は、前記オブジェクトごとに個別に用意され、
前記移動手段は、生成されるコンテンツ上での前記オブジェクトの位置を表す情報に基づいて前記提示装置を移動させる
請求項24に記載の提示装置。 - 前記センシング手段は、前記鑑賞環境において存在する物体をセンシングする
請求項25に記載の提示装置。 - 前記センシング手段は、前記鑑賞環境における照明条件をセンシングする
請求項25に記載の提示装置。 - データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置の提示方法において、
前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
前記提示装置が、前記オブジェクト情報に基づいて生成されるコンテンツを提示するステップを含む
提示方法。 - データを送信する送信装置とともに放送システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置として、コンピュータを機能させるプログラムにおいて、
前記送信装置が、前記コンテンツに用いられるオブジェクトごとのオブジェクト情報を放送データとして送信する場合において、
前記オブジェクト情報に基づいて生成されるコンテンツを提示する提示手段
として、コンピュータを機能させるためのプログラム。 - 請求項12、請求項22、又は請求項29に記載のプログラムが記録されている記録媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008032674A JP2009194595A (ja) | 2008-02-14 | 2008-02-14 | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 |
EP09710743A EP2242270A1 (en) | 2008-02-14 | 2009-02-13 | Broadcast system, transmission device, transmission method, reception device, reception method, presentation device, presentation method, program, and recording medium |
CN2009801072485A CN101960849A (zh) | 2008-02-14 | 2009-02-13 | 广播***、发射设备、发射方法、接收设备、接收方法、表现设备、表现方法、程序和存储介质 |
PCT/JP2009/052364 WO2009101998A1 (ja) | 2008-02-14 | 2009-02-13 | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 |
US12/866,684 US20100325678A1 (en) | 2008-02-14 | 2009-02-13 | Broadcast system, transmission device, transmission method, reception device, reception method, presentation device, presentation method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008032674A JP2009194595A (ja) | 2008-02-14 | 2008-02-14 | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009194595A true JP2009194595A (ja) | 2009-08-27 |
JP2009194595A5 JP2009194595A5 (ja) | 2011-03-24 |
Family
ID=40957029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008032674A Pending JP2009194595A (ja) | 2008-02-14 | 2008-02-14 | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20100325678A1 (ja) |
EP (1) | EP2242270A1 (ja) |
JP (1) | JP2009194595A (ja) |
CN (1) | CN101960849A (ja) |
WO (1) | WO2009101998A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102307292A (zh) * | 2011-09-01 | 2012-01-04 | 宇龙计算机通信科技(深圳)有限公司 | 一种可视通话方法及可视终端 |
EP4070560A4 (en) * | 2020-01-06 | 2023-12-20 | Sourcepicture, Inc. | SYSTEMS AND METHODS FOR ADAPTING A PLAYBACK DEVICE FOR CONTENT DISPLAY |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197030A (ja) * | 1998-12-24 | 2000-07-14 | Toshiba Corp | 対話型視聴装置および方法および記憶媒体 |
WO2007069189A2 (en) * | 2005-12-15 | 2007-06-21 | Koninklijke Philips Electronics N.V. | Method and processing unit for processing a video transport stream |
JP2007178644A (ja) * | 2005-12-27 | 2007-07-12 | Pioneer Electronic Corp | 表示装置、表示制御装置、表示方法、表示プログラム、および記録媒体 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
IL109487A (en) * | 1994-04-29 | 1996-09-12 | Orad Hi Tec Systems Ltd | Chromakeying system |
JP3569992B2 (ja) * | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
DE19619090A1 (de) * | 1996-04-30 | 1997-11-13 | Cfb Gmbh | Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes |
US5917553A (en) * | 1996-10-22 | 1999-06-29 | Fox Sports Productions Inc. | Method and apparatus for enhancing the broadcast of a live event |
US6100925A (en) * | 1996-11-27 | 2000-08-08 | Princeton Video Image, Inc. | Image insertion in video streams using a combination of physical sensors and pattern recognition |
US6754905B2 (en) * | 1998-07-23 | 2004-06-22 | Diva Systems Corporation | Data structure and methods for providing an interactive program guide |
US6396473B1 (en) * | 1999-04-22 | 2002-05-28 | Webtv Networks, Inc. | Overlay graphics memory management method and apparatus |
JP3802322B2 (ja) * | 2000-07-26 | 2006-07-26 | 株式会社東芝 | 動画像内オブジェクト抽出方法及び装置 |
KR100372092B1 (ko) * | 2001-02-06 | 2003-02-14 | 주식회사 우리기술 | 바탕화면 동영상 매체재생기 및 이를 이용한 바탕화면의동영상 처리방법과 상기 매체재생기 또는 방법을실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수있는 기록매체 |
JP2003060996A (ja) * | 2001-08-17 | 2003-02-28 | Hiroyuki Tarumi | 放送装置、受信装置、および記録媒体 |
JP4295470B2 (ja) * | 2002-05-08 | 2009-07-15 | 日本放送協会 | コンテンツ提供システム、コンテンツ受信装置、コンテンツ提供方法、コンテンツ受信方法、コンテンツ提供プログラムおよびコンテンツ受信プログラム |
EP1520401A1 (en) * | 2002-07-01 | 2005-04-06 | Koninklijke Philips Electronics N.V. | System for processing video signals |
JP4181473B2 (ja) * | 2003-10-15 | 2008-11-12 | 日本放送協会 | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
JP2005159592A (ja) * | 2003-11-25 | 2005-06-16 | Nippon Hoso Kyokai <Nhk> | コンテンツ送信装置およびコンテンツ受信装置 |
US7872688B2 (en) * | 2005-11-30 | 2011-01-18 | Broadcom Corporation | Selectively applying spotlight and other effects using video layering |
-
2008
- 2008-02-14 JP JP2008032674A patent/JP2009194595A/ja active Pending
-
2009
- 2009-02-13 US US12/866,684 patent/US20100325678A1/en not_active Abandoned
- 2009-02-13 CN CN2009801072485A patent/CN101960849A/zh active Pending
- 2009-02-13 EP EP09710743A patent/EP2242270A1/en not_active Withdrawn
- 2009-02-13 WO PCT/JP2009/052364 patent/WO2009101998A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197030A (ja) * | 1998-12-24 | 2000-07-14 | Toshiba Corp | 対話型視聴装置および方法および記憶媒体 |
WO2007069189A2 (en) * | 2005-12-15 | 2007-06-21 | Koninklijke Philips Electronics N.V. | Method and processing unit for processing a video transport stream |
JP2007178644A (ja) * | 2005-12-27 | 2007-07-12 | Pioneer Electronic Corp | 表示装置、表示制御装置、表示方法、表示プログラム、および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2009101998A1 (ja) | 2009-08-20 |
CN101960849A (zh) | 2011-01-26 |
EP2242270A1 (en) | 2010-10-20 |
US20100325678A1 (en) | 2010-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11450071B2 (en) | Adapting acoustic rendering to image-based object | |
JP2009194597A (ja) | 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
JP2023021243A (ja) | 複合現実空間オーディオ | |
WO2018086224A1 (zh) | 一种虚拟现实场景的生成方法、设备及虚拟现实*** | |
JP2019526133A (ja) | 拡張された仮想現実 | |
US20140176607A1 (en) | Simulation system for mixed reality content | |
US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
JP2018527655A (ja) | ユーザ・ハプティック空間(HapSpace)に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置 | |
CN112150885B (zh) | 基于混合现实的驾驶舱***及场景构建方法 | |
US20060114251A1 (en) | Methods for simulating movement of a computer user through a remote environment | |
KR20130010424A (ko) | 콘텐츠 재생 방법 및 장치 | |
CN114401414B (zh) | 沉浸式直播的信息显示方法及***、信息推送方法 | |
US11656682B2 (en) | Methods and systems for providing an immersive virtual reality experience | |
JP2016045814A (ja) | 仮想現実サービス提供システム、仮想現実サービス提供方法 | |
CN102262705A (zh) | 实景虚拟现实方法 | |
WO2009101998A1 (ja) | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
WO2019034804A2 (en) | THREE-DIMENSIONAL VIDEO PROCESSING | |
WO2013041152A1 (en) | Methods to command a haptic renderer from real motion data | |
JP2006040053A (ja) | 画像処理方法及びプログラム | |
US20210049824A1 (en) | Generating a mixed reality | |
JP2009194596A (ja) | 送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 | |
JP7365132B2 (ja) | 情報処理装置、表示方法およびコンピュータプログラム | |
Chheang et al. | Natural embedding of live actors and entities into 360 virtual reality scenes | |
KR20210056414A (ko) | 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템 | |
CN206023911U (zh) | 虚拟现实*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130516 |