JP4950990B2 - 映像送信装置及び方法、視聴環境制御装置及び方法 - Google Patents
映像送信装置及び方法、視聴環境制御装置及び方法 Download PDFInfo
- Publication number
- JP4950990B2 JP4950990B2 JP2008521133A JP2008521133A JP4950990B2 JP 4950990 B2 JP4950990 B2 JP 4950990B2 JP 2008521133 A JP2008521133 A JP 2008521133A JP 2008521133 A JP2008521133 A JP 2008521133A JP 4950990 B2 JP4950990 B2 JP 4950990B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- control
- frame
- video
- type information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title claims description 42
- 238000000034 method Methods 0.000 title claims description 31
- 238000005286 illumination Methods 0.000 claims description 244
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 238000007796 conventional method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 241001085205 Prenanthella exigua Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/155—Coordinated control of two or more light sources
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/175—Controlling the light source by remote control
- H05B47/18—Controlling the light source by remote control via data-bus transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Environmental Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Library & Information Science (AREA)
- Ecology (AREA)
- Emergency Management (AREA)
- Environmental & Geological Engineering (AREA)
- Business, Economics & Management (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【0001】
本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法に関するものである。
【背景技術】
【0002】
例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与するようにした技術が知られている。
【0003】
例えば、特開平2−158094号公報には、カラーテレビの表示映像の色信号(R,G,B)と輝度信号(Y)とから、フレーム毎に光源の三原色の混光照度比を算出し、映像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。この光色可変形照明装置は、カラーテレビの表示映像から色信号(R,G,B)と輝度信号(Y)とを取り出し、その色信号と輝度信号とから、光源に使用する三色光(赤色光,緑色光,青色光)の適正調光照度比を算出し、その照度比に従って三色光の照度を設定し、三色光を混光して照明光として出力している。
【0004】
また、例えば、特開平2−253503号公報には、テレビの映像を複数に分割し、対応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビの設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
【0005】
さらに、例えば、特開平3−184203号公報には、単に画像表示装置の画面全体の平均色度及び平均輝度を求めるのではなく、画像表示装置の画面に映し出された画像から人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、その背景部の各画素のR,G,B信号及び輝度信号だけを取り出して平均色度及び平均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或いは人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【0006】
通常、映像のシーンは例えば映像制作者(脚本家や演出家など)の意図により、一連の場面設定に基づく一区切りの映像として作成される。従って、映像視聴時の臨場感や雰囲気を増大させるには、表示映像のシーン状況に応じた照明光を視聴空間に照射することが望ましい。
【0007】
しかしながら、上述した従来の技術においては、映像信号の輝度や色相のフレーム毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリッカーによる違和感を感じるという問題が生じる。さらに、場面設定に変化のない1つのシーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動することは、シーン毎の雰囲気を逆に阻害して好ましくない。
【0008】
図1は、上記従来の技術による照明変動の問題点の一例を説明するための図である。図1に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラワークが異なる3つのショット(ショット1,ショット2,ショット3)により構成されている。ショット1では、対象である亡霊をカメラがロングショットで撮影している。そして、ショット2に切り替わると、その亡霊がアップショットで撮影されている。ショット3では、再度ショット1のカメラ位置に戻っている。これらのショットは、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意図されて構成されている。
【0009】
このような場合、ショット1では、月夜の比較的暗い映像が連続しているため、これらの映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光となる。そしてショット1がショット2に切り替わると、アップショットで撮影された亡霊は比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる。そして、またショット3に切り替わると、ショット1と同様の暗い照明光に戻る。
【0010】
すなわち、一つの場面(雰囲気)が連続する一区切りのシーン内で照明光が暗くなったり明るくなったりすると、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【0011】
図2は、シーン内の照明の変動による問題点の他の例を説明するための図である。図2に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる撮影によって得られた映像からなる。この例では、カメラの上方からカメラ近傍に向かってスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着ており、空は晴天である。
【0012】
このシーンの映像は、その初期のフレームでは背景の青空の領域が大きく、スキーヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きくなってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率が変化してくる。
【0013】
このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色が強い照明光から赤い照明光に変化していくことになる。すなわち、一つの場面(雰囲気)が連続する一区切りのシーン内で照明光の色味が変化してしまい、却ってそのシーンの雰囲気を阻害して視聴者に違和感を与えることになる。
【0014】
以上のように、同一シーン内では、各フレームの映像特徴量に応じてフレーム毎に視聴環境照明光を切り替えるのではなく、視聴環境照明光を略一定に保持することが望ましい。
【0015】
さらに、ドラマや映画、音楽番組などのオープニング(あらすじ)や予告編、コマーシャルメッセージ(CM)期間では、短時間にショットが頻繁に変化するため、上記従来の技術のように、各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させた場合、照明光が煩雑に変化し、視聴者が違和感を感じるという問題が生じる。
【0016】
図3は、オープニング(あらすじ)表示時の照明の変動による問題点の例を説明するための図である。図3に示す例では、ドラマ番組のストーリー上、特に重要なショット(ショット1,ショット2,ショット3,ショット4)が短時間(数秒)で切り替えられた要約映像であり、ここでは、ショット1は晴天の日中の屋外、ショット2は晴天の早朝の屋外、ショット3は曇天の日中の屋外、ショット4は晴天の夕暮れの屋外の場面設定でそれぞれ撮影された映像となっている。
【0017】
すなわち、この映像を構成するフレームの映像特徴量は、各ショット毎に異なっており、上記従来の技術のように、各フレーム毎の色度や輝度を使用して照明光を制御すると、各ショットの切り替わりに同期して照明光も短時間で頻繁に変化することになり、却って視聴環境の雰囲気を阻害して視聴者に違和感を与えることになる。
【0018】
このように、複数のショットが短時間で頻繁に変化する映像を表示する際には、各フレームの映像特徴量に応じてフレーム毎に視聴環境照明光を切り替えるのではなく、予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するのが望ましい。
【0019】
そしてまた、テレビ番組の中では、シーンとシーンの間に短時間だけアイキャッチ(例えば、CM前後に挿入される番組クレジットや、バラエティ番組等で次のコーナーで取り上げる内容の抜粋やテロップなど)のような映像が挿入されることがある。このような場合、上記従来の技術のように、各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させると、シーンとシーンの間に挿入された短時間の映像に応じて照明光が変化し、視聴者が違和感を感じるという問題が生じる場合がある。
【0020】
図4は、シーンとシーンの間に短時間のショット映像が挿入された映像表示時の照明の変動による問題点の例を説明するための図である。図4に示す例では、晴天の日中の屋外の場面設定からなるシーン1と屋内の場面設定からなるシーン2との間に、夜間の湖面のショットが短時間だけ挿入された映像である。
【0021】
このような場合、上記従来の技術のように、各フレーム毎の色度や輝度を使用して照明光を制御すると、シーン1からショットへの移行に合わせて、明るい照明光から暗い照明光に大きく切り替わった後、短時間ですぐにシーン2への移行に合わせて再び明るい照明光に切り替わることとなり、却って視聴環境の雰囲気を阻害して視聴者に違和感を与えることになる。
【0022】
このように、シーンとシーンの間に短時間のショットが挿入された映像を表示する際には、該ショットを構成する各フレームの映像特徴量に応じて視聴環境照明光を切り替えるのではなく、直前のシーンの映像特徴量に応じた視聴環境照明光をそのまま維持して視聴環境空間に照射するか、或いは、予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するのが望ましい場合がある。
【0023】
さらに、例えば、ドラマや映画番組の中の回想シーンなどのように特殊映像処理が施されたシーンが挿入されることがあるが、このような場合、上記従来の技術においては、特殊映像効果が付加された各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させることとなり、視聴者が違和感を感じるという問題が生じる場合がある。
【0024】
このように、特殊映像処理が施された映像を表示する際には、各フレームの映像特徴量に応じて視聴環境照明光を切り替えるのではなく、直前のシーンの映像特徴量に応じた視聴環境照明光をそのまま維持して視聴環境空間に照射するか、或いは、予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するのが望ましい場合がある。
【0025】
また、例えば、スポーツ番組の競技シーンや、ニュース/報道、情報/ワイドショー番組などのスタジオ収録シーンは、一般的に、スポーツ会場や収録スタジオなどの一定の照明下で撮影された映像である。しかしながら、上記従来の技術のように、各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させると、映像信号に含まれる背景の人工物や、人物の顔や服装などの影響を受けて、不適切な色の照明光を周囲に照射してしまうこととなり、却って、そのシーンの雰囲気を阻害して視聴者に違和感を与えることがある。
【0026】
このように、一定の白色光照明下で撮影された映像を表示する際には、各フレームの映像特徴量に応じて視聴環境照明光を切り替えるのではなく、予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するか、或いは、ロングショットで撮影された競技場やスタジオの照明を含むフレームの映像特徴量に応じた視聴環境照明光をそのまま維持して視聴環境空間に照射するのが望ましい。
[0027]
本発明は、上記課題に鑑みてなされたものであり、視聴環境の照明光を切り替えるタイミングを適切に制御することにより、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。
[0028]
また、映像データの特徴量に応じた照明光と、予め決められた所定の照明光とを適切に切替制御することにより、最適な視聴環境の照明制御を実現することが可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及び視聴環境制御方法を提供することを目的とする。
課題を解決するための手段
【0029】
本願の第1の発明は、1以上のフレームから構成される映像データを送信する映像送信装置において、前記映像データの各フレームを表示する際の視聴環境の照明を制御する照明制御種別情報を前記映像データに付加するデータ多重部を備え、前記照明制御種別情報は、前記照明を前記送信する映像データのフレームの特徴量に基づいた制御を行なうか、同前記送信する映像データのフレームの特徴量に基づかない制御を行なうか、を示す情報が切替えられて前記映像データに付加される映像送信装置を特徴とする。
【0032】
本願の第2の発明は、前記フレームの特徴量に基づかない制御を行なうことを示す照明制御種別情報は、前記映像データの各フレームにおける特徴量に関わらず、直前の視聴環境の照明を維持する制御の指示を含むものであることを特徴とする。
【0033】
本願の第3の発明は、前記フレームの特徴量に基づかない制御を行なうことを示す照明制御種別情報は、前記映像データの各フレームにおける特徴量に関わらず、予め決められた所定の照明に切替える制御の指示を含むものであることを特徴とする。
【0034】
本願の第4の発明は、前記照明制御種別情報の付加の切替えは、前記映像データを構成する各フレームの出力開始タイミングに行なわれることを特徴とする。
【0037】
本願の第5の発明は、表示装置に表示すべき映像データ及び該映像データと共に送信される映像データを構成する各フレームを表示する際の視聴環境の照明の制御種別を示す照明制御種別情報を受信し、前記照明制御種別情報が前記映像データのフレームの特徴量に基づく照明制御を行なうことを示す制御種別情報の場合は前記受信した映像データに基づいて撮影時の雰囲気を推定して照明制御データ生成し、フレームの特徴量に基づかない照明の制御を行なうことを示す制御種別情報の場合は当該制御制御種別情報に沿って照明制御データを生成する照明制御データ生成部を備え、前記照明制御データによって前記表示装置の周辺に設置された照明装置の照明光を制御する視聴環境制御装置を特徴とする。
【0042】
本願の第6の発明は、1以上のフレームから構成される映像データに前記映像データの各フレームを表示する際の視聴環境の照明を制御する照明制御種別情報を付加して送信する映像送信方法において、前記照明制御種別情報は、前記映像データのフレームの特徴量に基づいた制御を行なうか、該フレームの特徴量に基づかない制御を行なうか、を示す情報が切替えられて前記映像データに付加される映像送信方法を特徴とする。
【0043】
本願の第7の発明は、前記照明制御種別情報の付加の切替えは、前記映像データを構成する各フレームの出力開始タイミングに行なわれることを特徴とする。
【0044】
本願の第8の発明は、 表示装置に表示すべき映像データ及び該映像データと共に送信される映像データを構成する各フレームを表示する際の視聴環境の照明を制御する照明制御種別情報を受信し、受信した照明制御種別情報が、前記フレームの特徴量に基づく制御を行なうことを示す制御種別情報の場合は前記前記受信した映像データに基づいて撮影時の雰囲気を推定して前記表示装置の周辺に設置された照明装置の照明光を制御し、前記フレームの特徴量に基づかない制御を行なうことを示す制御種別情報の場合は当該制御種別情報が示す制御指示に沿って前記表示装置の周辺に設置された照明装置の照明光を制御する視聴環境制御方法を特徴とする。
発明の効果
[0045]
本発明によれば、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応させて、視聴環境の照明光を適切に制御することが可能となり、視聴者に臨場感を与えてより高度な映像効果を得ることができる。
【図面の簡単な説明】
[0046]
[図1]従来技術による照明変動の問題点の一例を説明するための図である。
[図2]従来技術による照明変動の問題点の他の例を説明するための図である。
[図3]従来技術による照明変動の問題点の他の例を説明するための図である。
[図4]従来技術による照明変動の問題点の他の例を説明するための図である。
[図5]本発明の第1実施形態に係る視聴環境制御システムにおける映像送信装置の要部概略構成を示すブロック図である。
[図6]MPEGにより符号化された動画像の符号化データの階層構造を説明するための図である。
[図7]本発明の第1実施形態の視聴環境制御システムにおける照明制御種別情報の一例を示す説明図である。
[図8]シーンチェンジを含む映像データの一部を示す図である。
[図9]映像の構成要素を説明するための図である。
[図10]本発明の第1実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
[図11]本発明の第1実施形態に係る視聴環境制御システムにおける照明制御データ生成部の動作を示すフローチャートである。
【図12】本発明の第2実施形態に係る視聴環境制御システムにおける外部サーバ装置の要部概略構成を示すブロック図である。
【図13】本発明の第2実施形態に係る視聴環境制御システムにおける照明制御種別情報格納テーブルの一例を示す説明図である。
【図14】本発明の第2実施形態に係る視聴環境制御システムにおける映像受信装置の要部概略構成を示すブロック図である。
【符号の説明】
【0047】
1…データ多重部、2…送信部、10…映像送信装置、30、60…映像受信装置、31、61…受信部、32、62…データ分離部、33、34…ディレイ発生部、35、65…照明制御データ生成部、36…映像表示装置、37…音声再生装置、38…照明装置、50…外部サーバ装置(データ送信装置)、51…受信部、52…データ格納部、53…送信部、66…CPU、67…送信部、68…受信部。
【発明を実施するための最良の形態】
【0048】
<第1の実施形態>
以下、本発明の視聴環境制御システムの第1実施形態について、図5乃至図11とともに詳細に説明する。
本実施形態における映像送信装置(データ送信装置)10は、図5に示すように、映像データ(V)、音声データ(A)、付加データとして供給された照明制御種別情報(C)のそれぞれを多重するデータ多重部1と、データ多重部1の出力データに対して誤り訂正符号を付加する等した上で変調を施し、放送データ(B)として伝送路に送出する送信部2とを備えている。照明制御種別情報(C)は、映像データを構成する各フレームを表示する際の視聴環境照明の制御種別を示すものであり、ここでは、各フレームの映像特徴量に応じて視聴環境照明を切替制御するか、各フレームの映像特徴量に関わらず、直前の視聴環境照明を維持制御するか、或いは、各フレームの映像特徴量に関わらず、予め決められた所定の視聴環境照明に切替制御するかの制御種別を示すものとする。
【0049】
図6は、MPEG2(Moving Picture Experts Group 2)−Systemsで規定された動画像符号化データにおける階層構造の一部概略を示す説明図である。複数の連続するピクチャからなるシーケンスの符号化データは、(a)シーケンスレイヤ、(b)GOP(Group Of Pictures)レイヤ、(c)ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ(不図示)及びブロックレイヤ(不図示)の6層の階層構造となっており、ピクチャレイヤ(c)のデータは、先頭がピクチャヘッダー情報であり、その後に複数のスライスレイヤのデータ(スライス)が続く。
【0050】
ピクチャレイヤ(c)のピクチャヘッダー情報領域には、ピクチャ・タイプやフレーム全体のスケールなどの予め定められた種々の情報が記述されるピクチャヘッダー領域(picture header)に加えて、付加的な任意の情報を記述することができるユーザ・データ(extensions and user data)領域が設けられており、本実施形態では、このユーザ・データ領域に照明制御種別情報を記述する。ここでは、各フレームのユーザ・データとして規定された8ビットの下位2ビットに当該フレームに対応した照明制御種別情報を記述する。
【0051】
例えば、図7に示すように、当該フレームの映像特徴量から撮影シーンの場(雰囲気)を推定し、視聴環境照明を切替制御するように指示する場合に付加されるユーザ・データは「00000000」、当該フレームの映像特徴量に関わらず、予め決められた第1の明るさ及び色の視聴環境照明(デフォルト照明1)に切替制御するように指示する場合に付加されるユーザ・データは「00000001」、当該フレームの映像特徴量に関わらず、予め決められた第2の明るさ及び色の視聴環境照明(デフォルト照明2)に切替制御するように指示する場合に付加されるユーザ・データは「00000010」、当該フレームの映像特徴量に関わらず、直前の視聴環境照明を維持制御(照明切替無し)するように指示する場合に付加されるユーザ・データは「00000011」となる。なお、ここでは、デフォルト照明1として明るい白色照明、デフォルト照明2として暗い白色照明が設定されているものとする。
【0052】
なお、上記照明制御種別情報は、映像データを所定の方式により符号化(エンコード)する際に上述したピクチャレイヤ(c)のユーザ・データ領域に記述されるようにしてもよいことは言うまでもない。上記の例では、4種類の照明制御種別を記述するために、ユーザ・データとして割り当てられた8ビットの下位2ビットを利用しているが(従って、ユーザ・データの上位6ビットを「0」で表している)、本発明はこれに限られない。すなわち、本発明においては、各フレーム表示時における視聴環境照明の制御種別を識別することが可能な情報を、映像データまたは音声データに付加すればよく、その際のデータ構造は上記のものに限らない。例えば、照明制御種別情報を、MPEG2−Systemsで規定されたトランスポートストリームパケット(TSP)の拡張ヘッダに付加して伝送するようにしてもよい。そしてまた、照明制御種別情報は、上記のものに限られず、少なくとも当該フレームの映像特徴量に基づいた照明制御を行うか否かを表す1ビット以上の情報であればよく、さらに、8種類以上の照明制御種別を3ビット以上の情報で表現してもよい。
【0053】
さらに、上述した照明制御種別情報は、送信側で任意に付加することが可能であるが、映像撮影時のシナリオ(脚本)に基づいて生成することもできる。例えば、図8に示すように、映像撮影シーンの最初のフレーム(シーンチェンジ後の最初のフレーム)16には、当該フレームの映像特徴量から撮影シーンの場(雰囲気)を推定し、視聴環境照明を切替制御するように指示するユーザ・データ「00000000」を付加し、同じシーンに含まれるその他のフレーム17〜21には、各フレームの映像特徴量に関わらず、直前の視聴環境照明を維持制御(照明切替無し)するように指示するユーザ・データ「00000011」を付加することにより、映像制作者の意図を反映したシーン変化点に合わせて、後述する視聴環境照明の切替制御を適切に行うことができる。
【0054】
次に、シーンやショットを含む映像の構成について、図9を参照して説明する。連続する動画像シーケンスを構成する映像データは、図9に示すように、3層(レイヤ)構成に分けて考えることができる。映像(Video)を構成する第1レイヤ(#1)は、フレーム(Frame)である。フレームは物理的なレイヤであり、単一の2次元画像を指す。フレームは、通常、毎秒30フレームのレートで得られる。第2レイヤ(#2)は、ショット(Shot)である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第3レイヤ(#3)がシーン(Scene)である。シーンはストーリー的なつながりを有するショット列である。
【0055】
ここでは、上述したとおり、映像データのフレーム単位で、上記照明制御種別情報を付加することができ、映像制作者(脚本家や演出家など)の意図に応じて、後述するように、各フレームを表示する際の視聴環境照明を任意のタイミングで切り替えて適切に制御することが可能になっている。
【0056】
次に、上記映像送信装置より送出された放送データを受信して、映像・音声を表示・再生するとともに、そのときの視聴環境照明を制御する映像受信装置(データ受信装置)について説明する。
【0057】
本実施形態における映像受信装置は、図10に示すように、伝送路より入力された放送データ(B)を受信して復調するとともに、誤り訂正を行う受信部31と、受信部31の出力データから、映像表示装置36に出力する映像データ及びTC(タイムコード)、音声再生装置37に出力する音声データ及びTC(タイムコード)、付加情報としての照明制御種別情報のそれぞれを分離・抽出するデータ分離部32と、データ分離部32で分離された照明制御種別情報と、前記映像データ及び前記音声データの特徴量とに基づいて、各フレーム表示時に適した照明制御データ(R,G,Bデータ)を生成し、視聴環境空間を照明する照明装置38に出力する照明制御データ生成部35と、照明制御データ生成部35における処理時間分だけ映像データ、音声データを遅延して出力するディレイ発生部33,34とを備えている。
【0058】
ここで、照明装置38は、映像表示装置36の周囲に設置されて、所定の色相をもった例えばR,G,Bの三原色の光を発光するLEDにより構成することができる。ただし、照明装置38は、映像表示装置36の周囲環境の照明色及び明るさを制御することができるような構成であればよく、上記のような所定色を発光するLEDの組み合わせに限ることなく、白色LEDと色フィルタとによって構成してもよく、あるいは白色電球や蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。また、照明装置38は1個以上設置されていればよい。
【0059】
そして、また、タイムコード(TC)は、映像データ、音声データそれぞれの再生時間情報を示すために付加された情報であり、例えば、映像データの時間(h):分(m):秒(s):フレーム(f)を示す情報により構成されている。
【0060】
本実施形態の照明制御データ生成部35は、前記照明制御種別情報により指定された照明制御種別に応じて、各フレーム表示時に適した照明制御データ(R,G,Bデータ)を生成する。
【0061】
すなわち、前記照明制御種別情報により、各フレームの映像特徴量/音声特徴量に基づいて、視聴環境照明を切替制御するよう指示されている場合は、当該フレームの映像データ及び音声データに基づいて撮影現場の照明状態や場面設定(雰囲気)を推定し、この推定結果に応じて、照明装置38を制御する照明制御データを出力する。
【0062】
この照明制御データ生成部35による撮影時の周囲光の状態の推定方法は、公知のものをはじめとする各種の技術を用いることができる。なお、ここでは、場(雰囲気)の推定のために映像データの特徴量に加えて、音声データの特徴量も用いているが、これは場(雰囲気)の推定精度をより向上させるためであり、映像データの特徴量のみから撮影シーンの場(雰囲気)を推定するようにしてもよい。
【0063】
また、映像データの特徴量としては、例えば、上述した従来例のように、画面の所定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、音量、音声周波数などを用いることができる。
【0064】
これによって、照明制御データ生成部35は、映像データ、音声データの特徴量に基づいて、映像撮影時の場(雰囲気)、すなわち周囲光の状態を推定することができ、前記照明制御種別情報により指定されたタイミングで、この場(雰囲気)推定に基づいた照明光に切り替えて、視聴環境空間を照射することが可能となる。
【0065】
また、照明制御データ生成部35は、1以上の予め決められた明るさ及び色の照明光に対応した照明制御データを、図示しない記憶部に格納している。前記照明制御種別情報により、各フレームの映像特徴量/音声特徴量に関わらず、予め決められた所定の視聴環境照明に切替制御するよう指示されている場合は、上述した映像撮影時の場(雰囲気)の推定処理は行わず、対応する照明制御データを上記記憶部から読み出して出力する。
【0066】
ここでは、照明制御データ生成部35には、デフォルト照明1(明るい白色照明)、デフォルト照明2(暗い白色照明)に対応する2種類の照明制御データが予め用意されており、前記照明制御種別情報により視聴環境照明をデフォルト照明1に切替制御するよう指示されている場合は、デフォルト照明1に対応した照明制御データを出力し、前記照明制御種別情報により視聴環境照明をデフォルト照明2に切替制御するよう指示されている場合は、デフォルト照明2に対応した照明制御データを出力する。
【0067】
これによって、映像データ、音声データの特徴量に関わらず、前記照明制御種別情報により指定されたタイミングで、予め決められた所定の照明光に切り替えて、視聴環境空間を照射することが可能となる。
【0068】
さらに、前記照明制御種別情報により、各フレームの映像特徴量/音声特徴量に関わらず、直前の視聴環境照明を維持制御(照明切替無し)するよう指示されている場合は、上述した映像撮影時の場(雰囲気)の推定処理は行わず、直前のフレームに対して出力した照明制御データを繰り返し出力する。
【0069】
これによって、映像データ、音声データの特徴量の変化に関わらず、任意の期間、視聴環境照明光を同一状態に保持することが可能となる。例えば、撮影時の場(雰囲気)、すなわち、照明状態に変化のない同一シーン内では、視聴環境照明光を略同一に保持することが可能になる。また、映像特徴量/音声特徴量に基づいた視聴環境照明の制御が不適切な期間では、例えば、一定の白色照明光を保持して照射することが可能となる。従って、不適切な視聴環境照明により視聴者に違和感を与えることを防止し、最適な視聴環境を実現することができる。
【0070】
一方、映像表示装置36、音声再生装置37に出力される映像データ、音声データは、上述した映像データ及び音声データによる場(雰囲気)推定処理に必要な時間分だけ、ディレイ発生部33,34により遅延されるため、映像受信装置から照明装置38に出力される照明制御データと、映像表示装置36、音声再生装置37に出力される映像データ、音声データとは同期することになり、映像表示に同期したタイミングで照明装置38の照明光を切り替えることが可能となる。
【0071】
次に、照明制御データ生成部35における処理の流れを、図11のフローチャートとともに説明する。まず入力映像データから新しいフレームを取得し(ステップS1)、その取得したフレームの映像データ/音声データの特徴量に基づいて、視聴環境照明を切替制御するかどうかを、照明制御種別情報に基づいて判別する(ステップS2)。
【0072】
取得したフレームの映像特徴量/音声特徴量に基づいて、視聴環境照明を切替制御する場合、当該フレームの映像データ/音声データを用いてその映像特徴量/音声特徴量を検出することにより、場(雰囲気)の推定処理を行い(ステップS3)、その推定処理結果に基づいて、照明装置38を制御するための照明制御データを生成する(ステップS4)。そして照明制御データに基づき照明装置38による照明光の切替制御を行い(ステップS5)、この後処理が終了であるかどうかを判別する(ステップS6)。映像データがさらに続く場合には、ステップS1に戻って新しいフレームを取得する。
【0073】
上記ステップS2において、取得したフレームの映像データ/音声データの特徴量に基づいて、視聴環境照明を切替制御しないと判別された場合、視聴環境照明をデフォルト照明1に切替制御するかどうかを、照明制御種別情報に基づいて判別する(ステップS7)。取得したフレームの映像特徴量/音声特徴量に関わらず、視聴環境照明をデフォルト照明1に切替制御する場合、予め用意されたデフォルト照明1に対応する照明制御データを読み込み(ステップS8)、この照明制御データに基づき照明装置38による照明光の切替制御を行う(ステップS5)。この後処理が終了であるかどうかを判別し(ステップS6)、映像データがさらに続く場合には、ステップS1に戻って新しいフレームを取得する。
【0074】
また、上記ステップS7において、視聴環境照明をデフォルト照明1に切替制御しないと判別された場合、視聴環境照明をデフォルト照明2に切替制御するかどうかを、照明制御種別情報に基づいて判別する(ステップS9)。取得したフレームの映像特徴量/音声特徴量に関わらず、視聴環境照明をデフォルト照明2に切替制御する場合、予め用意されたデフォルト照明2に対応する照明制御データを読み込み(ステップS10)、この照明制御データに基づき照明装置38による照明光の切替制御を行う(ステップS5)。この後、処理が終了であるかどうかを判別し(ステップS6)、映像データがさらに続く場合には、ステップS1に戻って新しいフレームを取得する。
【0075】
さらに、上記ステップS9において、視聴環境照明をデフォルト照明2に切替制御しないと判別された場合、取得したフレームの映像特徴量/音声特徴量に関わらず、直前の視聴環境照明を維持制御するため、照明光の切替制御を行うことなく、処理が終了であるかどうかを判別し(ステップS6)、映像データがさらに続く場合には、ステップS1に戻って新しいフレームを取得する。
【0076】
以上のように、本実施形態においては、映像データに付加された照明制御種別情報に基づいて、視聴環境照明を制御する構成としているので、映像制作者の意図に応じた任意のタイミングで視聴環境照明の切替制御を行うことが可能となる。例えば、図1、図2に示した映像シーンを表示する際、シーン開始フレームの映像特徴量/音声特徴量に応じた視聴環境照明を、このシーンが終了するまで維持することができる。すなわち、同一シーン内では視聴環境照明光の明るさ及び色を略一定に保持することが可能になるので、同じシーン内で視聴環境照明が激しく変化して臨場感や雰囲気を損なってしまうことを防止し、常に適切な視聴環境を実現することができる。
【0077】
また、本実施形態においては、映像/音声データの特徴量に応じた視聴環境照明と、予め決められた所定の視聴環境照明とを適切に切替制御することにより、最適な視聴環境の照明制御を実現することが可能となる。例えば、図3に示したドラマ番組のオープニング(あらすじ)を表示する際には、各フレームの映像特徴量/音声特徴量に関わらず、視聴環境照明をデフォルト設定された一定の白色照明状態とすることができ、短時間で視聴環境照明光が激しく変化して視聴者に違和感を与えることを防止し、適切な視聴環境を実現することができる。
【0078】
さらに、例えば、図4に示したシーンとシーンの間に短時間のショットが挿入された映像を表示する際には、このショットを構成する各フレームの映像特徴量/音声特徴量に関わらず、直前のシーンに対する視聴環境照明をそのまま維持するか、或いは視聴環境照明をデフォルト設定された一定の白色照明状態とすることができ、短時間で視聴環境照明光が激しく変化して視聴者に違和感を与えることを防止し、適切な視聴環境を実現することができる。
【0079】
なお、本実施形態においては、各シーンのストーリー上における設定場面の区切り位置とも関連する照明制御種別情報を送受信するようにしているので、この照明制御種別情報を用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能となる。
【0080】
また、上記本発明の第1の実施形態においては、照明制御種別情報が放送データに付加されて送信される場合について説明したが、放送データに照明制御種別情報が付加されていない場合、表示する映像データに対応する照明制御種別情報を外部サーバ装置等より送受信することによって、映像再生時の最適な視聴環境を実現することが可能となる。これについて、本発明の第2の実施形態として以下に説明する。
【0081】
<第2の実施形態>
以下、本発明の視聴環境制御システムの第2実施形態について、図12乃至図14とともに詳細に説明するが、上記第1の実施形態と同一部分には同一符号を付し、その説明は省略する。
本実施形態における外部サーバ装置(データ送信装置)50は、図12に示すように、映像受信装置(データ受信装置)側から特定の映像データ(コンテンツ)に関する照明制御種別情報の送信要求を受信する受信部51と、映像データ(コンテンツ)毎の照明制御種別情報を格納しているデータ格納部52と、送信要求を受けた照明制御種別情報を要求元の映像受信装置(データ受信装置)へ送信する送信部53とを備えている。
【0082】
ここで、本実施形態のデータ格納部52に格納されている照明制御種別情報は、図13に示すように、各映像フレームの映像表示装置36への出力開始タイミング(再生開始タイミングともいう。以下、単に開始タイミングと称す)に対応付けてテーブル形式で記述されており、送信要求を受けた映像データ(番組コンテンツ)の照明制御種別情報を、当該映像データを構成するフレームの開始TC(タイムコード)とともに、送信部53より要求元の映像受信装置へ送信する。
【0083】
なお、本実施形態においても、図7に示した4通り(2ビット)の照明制御種別を想定しているが、ここでは、場(雰囲気)推定に基づく照明切替制御を行うフレームと、デフォルト照明1,2へ切替制御を行うフレームに関してのみその照明制御種別を照明制御種別情報格納テーブルに記述し、照明切替を禁止するフレームに関してはその照明制御種別の記述を省略している。すなわち、照明制御種別情報格納テーブルに特に記述されていないフレームを表示する際には、直前の視聴環境照明を維持することとしており、これによって、照明制御種別情報のデータ容量を大幅に削減している。
【0084】
次に、上記外部サーバ装置50より送出された照明制御種別情報を受けて、視聴環境照明を制御する映像受信装置(データ受信装置)60について説明する。本実施形態における映像受信装置60は、図14に示すように、伝送路より入力された放送データ(B)を受信して復調するとともに、誤り訂正を行う受信部61と、受信部61の出力データから、映像表示装置36に出力する映像データ、音声再生装置37に出力する音声データのそれぞれを分離・抽出するデータ分離部62と、表示する映像データ(コンテンツ)に対応した照明制御種別情報の送信要求を、通信ネットワークを介して外部サーバ装置(データ送信装置)に送出する送信部67と、前記送信要求した照明制御種別情報を、通信ネットワークを介して外部サーバ装置より受信する受信部68とを備えている。
【0085】
また、前記受信部68で受信した照明制御種別情報を一旦記憶し、この照明制御種別情報に対応付けられたフレーム開始TC(タイムコード)と、データ分離部62で抽出された映像データのTC(タイムコード)とを比較し、それらが一致したときに、対応する照明制御種別情報を示す情報を出力するCPU66と、CPU66からの照明制御種別情報と、前記映像データ及び前記音声データの特徴量とに基づいて、照明制御データ(R,G,Bデータ)を生成し、視聴環境空間を照明する照明装置38に出力する照明制御データ生成部65とを備えている。
【0086】
すなわち、CPU66は、外部サーバ装置より受信して内部に記憶している照明制御種別情報格納テーブルの各フレームの開始タイムコードと、照明制御データ生成部65に入力される映像データのタイムコードとを比較し、これらが一致した時にそのフレーム(タイムコード)に対応する照明制御種別情報を照明制御データ生成部65に出力する。
【0087】
そして、本実施形態の照明制御データ生成部65は、上述した第1の実施形態における照明制御データ生成部35と同様、前記照明制御種別情報に応じて、各フレーム表示時に適した照明制御データ(R,G,Bデータ)を生成する。
【0088】
すなわち、前記照明制御種別情報により、各フレームの映像特徴量/音声特徴量に基づいて、視聴環境照明を切替制御するよう指示されている場合は、当該フレームの映像データ及び音声データに基づいて撮影現場の照明状態や場面設定(雰囲気)を推定し、この推定結果に応じて、照明装置38を制御する照明制御データを出力する。
【0089】
また、前記照明制御種別情報により、各フレームの映像特徴量/音声特徴量に関わらず、予め決められた所定の視聴環境照明に切替制御するよう指示されている場合は、上述した映像撮影時の場(雰囲気)の推定処理は行わず、予め内部に用意されている照明制御データを読み出して出力する。
【0090】
上記以外の場合は、各フレームの映像特徴量/音声特徴量に関わらず、直前の視聴環境照明を維持制御(照明切替無し)するよう指示されているものとして、上述した映像撮影時の場(雰囲気)の推定処理は行わず、直前のフレームに対して出力された照明制御データを繰り返し出力する。
【0091】
これによって、放送データに照明制御種別情報が付加されていない場合であっても、表示映像データ(番組コンテンツ)に対応する照明制御種別情報を外部サーバ装置より入手し、この照明制御種別情報に基づいて、視聴環境照明を制御する構成としているので、上述した第1の実施形態と同様、映像制作者の意図に応じた任意のタイミングで視聴環境照明の切替制御を行うとともに、映像データの特徴量に応じた視聴環境照明と、予め決められた所定の視聴環境照明とを適切に切替制御することにより、最適な視聴環境の照明制御を実現することが可能となる。
【0092】
なお、本実施形態においても、各シーンのストーリー上における設定場面の区切り位置とも関連する照明制御種別情報を送受信するようにしているので、この照明制御種別情報を用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以外にも様々な機能を実現することが可能である。
【0093】
また、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述した本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能である。例えば、環境照明制御装置は映像表示装置内に設けられてもよく、入力映像データに含まれる種々の情報に基づいて、外部の照明機器を制御することができるような構成としてもよいことは言うまでもない。
【0094】
さらに、上述した照明制御種別情報は、放送データから分離・取得する場合や、外部サーバ装置から取得する場合に限られず、例えば、外部機器(DVD再生機やブルーレイディスク再生機など)で再生された映像情報を表示する場合、メディア媒体内に付加された照明制御種別情報を読み出して、これを用いるようにしてもよい。
Claims (8)
- 1以上のフレームから構成される映像データを送信する映像送信装置において、
前記映像データの各フレームを表示する際の視聴環境の照明を制御する照明制御種別情報を前記映像データに付加するデータ多重部を備え、
前記照明制御種別情報は、前記照明を前記送信する映像データのフレームの特徴量に基づいた制御を行なうか、同前記送信する映像データのフレームの特徴量に基づかない制御を行なうか、を示す情報が切替えられて前記映像データに付加されることを特徴とする映像送信装置。 - 前記フレームの特徴量に基づかない制御を行なうことを示す照明制御種別情報は、前記映像データの各フレームにおける特徴量に関わらず、直前の視聴環境の照明を維持する制御の指示を含むものであることを特徴とする請求項1に記載の映像送信装置。
- 前記フレームの特徴量に基づかない制御を行なうことを示す照明制御種別情報は、前記映像データの各フレームにおける特徴量に関わらず、予め決められた所定の照明に切替える制御の指示を含むものであることを特徴とする請求項1に記載の映像送信装置。
- 前記照明制御種別情報の付加の切替えは、前記映像データを構成する各フレームの出力開始タイミングに行なわれることを特徴とする請求項1に記載の映像送信装置。
- 表示装置に表示すべき映像データ及び該映像データと共に送信される映像データを構成する各フレームを表示する際の視聴環境の照明の制御種別を示す照明制御種別情報を受信し、
前記照明制御種別情報が前記映像データのフレームの特徴量に基づく照明制御を行なうことを示す制御種別情報の場合は前記受信した映像データに基づいて撮影時の雰囲気を推定して照明制御データ生成し、フレームの特徴量に基づかない照明の制御を行なうことを示す制御種別情報の場合は当該制御種別情報に沿って照明制御データを生成する照明制御データ生成部を備え、
前記照明制御データによって前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御装置。 - 1以上のフレームから構成される映像データに前記映像データの各フレームを表示する際の視聴環境の照明を制御する照明制御種別情報を付加して送信する映像送信方法において、
前記照明制御種別情報は、前記映像データのフレームの特徴量に基づいた制御を行なうか、該フレームの特徴量に基づかない制御を行なうか、を示す情報が切替えられて前記映像データに付加されることを特徴とする映像送信方法。 - 前記照明制御種別情報の付加の切替えは、前記映像データを構成する各フレームの出力開始タイミングに行なわれることを特徴とする請求項6に記載の映像送信方法。
- 表示装置に表示すべき映像データ及び該映像データと共に送信される映像データを構成する各フレームを表示する際の視聴環境の照明を制御する照明制御種別情報を受信し、
受信した照明制御種別情報が、前記フレームの特徴量に基づく制御を行なうことを示す制御種別情報の場合は前記前記受信した映像データに基づいて撮影時の雰囲気を推定して前記表示装置の周辺に設置された照明装置の照明光を制御し、
前記フレームの特徴量に基づかない制御を行なうことを示す制御種別情報場合は当該制御種別情報が示す制御指示に沿って前記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008521133A JP4950990B2 (ja) | 2006-06-13 | 2007-05-24 | 映像送信装置及び方法、視聴環境制御装置及び方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006162955 | 2006-06-13 | ||
JP2006162955 | 2006-06-13 | ||
JP2008521133A JP4950990B2 (ja) | 2006-06-13 | 2007-05-24 | 映像送信装置及び方法、視聴環境制御装置及び方法 |
PCT/JP2007/060603 WO2007145064A1 (ja) | 2006-06-13 | 2007-05-24 | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007145064A1 JPWO2007145064A1 (ja) | 2009-10-29 |
JP4950990B2 true JP4950990B2 (ja) | 2012-06-13 |
Family
ID=38831583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008521133A Expired - Fee Related JP4950990B2 (ja) | 2006-06-13 | 2007-05-24 | 映像送信装置及び方法、視聴環境制御装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20090322955A1 (ja) |
EP (1) | EP2040472A4 (ja) |
JP (1) | JP4950990B2 (ja) |
CN (1) | CN101467452A (ja) |
WO (1) | WO2007145064A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110042067A (ko) * | 2008-07-15 | 2011-04-22 | 샤프 가부시키가이샤 | 데이터 송신 장치, 데이터 수신 장치, 데이터 송신 방법, 데이터 수신 방법 및 시청 환경 제어 방법 |
WO2010087155A1 (ja) * | 2009-01-27 | 2010-08-05 | シャープ株式会社 | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム |
WO2010087153A1 (ja) * | 2009-01-27 | 2010-08-05 | シャープ株式会社 | 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体 |
JP5097149B2 (ja) * | 2009-02-17 | 2012-12-12 | シャープ株式会社 | コンテンツデータ再生装置 |
US9220158B2 (en) * | 2009-12-17 | 2015-12-22 | Koninklijke Philips N.V. | Ambience cinema lighting system |
CN103068095A (zh) * | 2011-10-21 | 2013-04-24 | 扬升照明股份有限公司 | 照明***及照明***的控制方法 |
JP2012234836A (ja) * | 2012-09-03 | 2012-11-29 | Panasonic Corp | 居住装置 |
JP6278741B2 (ja) * | 2014-02-27 | 2018-02-14 | 株式会社キーエンス | 画像測定器 |
GB2535135B (en) * | 2014-11-20 | 2018-05-30 | Ambx Uk Ltd | Light Control |
CN105472844A (zh) * | 2015-12-07 | 2016-04-06 | 重庆多邦科技股份有限公司 | 一种路灯控制方法及装置 |
KR102317619B1 (ko) * | 2016-09-23 | 2021-10-26 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN106507172B (zh) * | 2016-11-30 | 2019-10-18 | 微鲸科技有限公司 | 信息编码方法、解码方法及装置 |
WO2019228969A1 (en) * | 2018-06-01 | 2019-12-05 | Signify Holding B.V. | Displaying a virtual dynamic light effect |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001343900A (ja) * | 2000-05-31 | 2001-12-14 | Matsushita Electric Ind Co Ltd | 照明システムおよび照明制御データ作成方法 |
JP2004525735A (ja) * | 2001-05-11 | 2004-08-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | リアルワールド演出システムおよび言語 |
JP2005531909A (ja) * | 2002-07-04 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 周辺光および照明ユニットを制御する方法およびシステム |
JP2005310630A (ja) * | 2004-04-23 | 2005-11-04 | Sharp Corp | 高臨場感再生装置及び方法 |
JP2005341122A (ja) * | 2004-05-26 | 2005-12-08 | Sharp Corp | 映像記録装置及び記録方法、映像再生装置及び再生方法、プログラム及び記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4794865A (en) * | 1987-05-18 | 1989-01-03 | The Walt Disney Company | Amusement ride vehicle |
JPH0812793B2 (ja) | 1988-12-12 | 1996-02-07 | 松下電器産業株式会社 | 光色可変形照明装置 |
JPH02253503A (ja) | 1989-03-28 | 1990-10-12 | Matsushita Electric Works Ltd | 映像演出照明装置 |
JPH0815004B2 (ja) | 1989-12-14 | 1996-02-14 | 松下電器産業株式会社 | 光色可変形照明装置 |
US6564108B1 (en) * | 2000-06-07 | 2003-05-13 | The Delfin Project, Inc. | Method and system of auxiliary illumination for enhancing a scene during a multimedia presentation |
KR20030084948A (ko) * | 2001-02-26 | 2003-11-01 | 월드스테이지, 엘엘씨 | 통합형의 변형 가능한 영화관, 클럽 및 멀티플렉스 |
DE60239930D1 (de) * | 2001-04-25 | 2011-06-16 | Panasonic Corp | Videoanzeigevorrichtung und videoanzeigeverfahren |
CN1254296C (zh) * | 2001-05-11 | 2006-05-03 | 皇家菲利浦电子有限公司 | 一种标示语言启动的装置和操作一组装置的方法 |
EP1401547B1 (en) * | 2001-05-11 | 2012-01-25 | AMBX UK Limited | Operation of a set of devices |
US6611973B2 (en) * | 2001-05-15 | 2003-09-02 | Michelle D. Connell | Bed structure with storage area |
JP3661692B2 (ja) * | 2003-05-30 | 2005-06-15 | セイコーエプソン株式会社 | 照明装置、投射型表示装置及びその駆動方法 |
JP4343657B2 (ja) * | 2003-11-14 | 2009-10-14 | 富士通マイクロエレクトロニクス株式会社 | 画像記録装置 |
WO2006038169A1 (en) * | 2004-10-05 | 2006-04-13 | Koninklijke Philips Electronics N.V. | Interactive lighting system |
US20070222740A1 (en) * | 2006-03-22 | 2007-09-27 | Sharp Kabushiki Kaisha | Display apparatus, image data providing apparatus, and controlling method |
KR101506330B1 (ko) * | 2008-09-23 | 2015-03-27 | 삼성전자 주식회사 | 데이터 강건성 관리장치와, 데이터 저장 방법 및 데이터 복구 방법 |
-
2007
- 2007-05-24 US US12/304,457 patent/US20090322955A1/en not_active Abandoned
- 2007-05-24 EP EP07744037A patent/EP2040472A4/en not_active Ceased
- 2007-05-24 CN CNA2007800218353A patent/CN101467452A/zh active Pending
- 2007-05-24 WO PCT/JP2007/060603 patent/WO2007145064A1/ja active Search and Examination
- 2007-05-24 JP JP2008521133A patent/JP4950990B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001343900A (ja) * | 2000-05-31 | 2001-12-14 | Matsushita Electric Ind Co Ltd | 照明システムおよび照明制御データ作成方法 |
JP2004525735A (ja) * | 2001-05-11 | 2004-08-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | リアルワールド演出システムおよび言語 |
JP2005531909A (ja) * | 2002-07-04 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 周辺光および照明ユニットを制御する方法およびシステム |
JP2005310630A (ja) * | 2004-04-23 | 2005-11-04 | Sharp Corp | 高臨場感再生装置及び方法 |
JP2005341122A (ja) * | 2004-05-26 | 2005-12-08 | Sharp Corp | 映像記録装置及び記録方法、映像再生装置及び再生方法、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN101467452A (zh) | 2009-06-24 |
EP2040472A4 (en) | 2009-11-11 |
WO2007145064A1 (ja) | 2007-12-21 |
JPWO2007145064A1 (ja) | 2009-10-29 |
US20090322955A1 (en) | 2009-12-31 |
EP2040472A1 (en) | 2009-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4950990B2 (ja) | 映像送信装置及び方法、視聴環境制御装置及び方法 | |
WO2007052395A1 (ja) | 視聴環境制御システム | |
JP5058157B2 (ja) | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 | |
JP4950988B2 (ja) | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 | |
US10735668B2 (en) | Synchronized lighting and video active lighting tracks (VALT) with synchronized camera to enable multi-scheme motion picture capture | |
CN105409225B (zh) | Hdr元数据传输 | |
JP4889731B2 (ja) | 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 | |
JP5442643B2 (ja) | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム | |
US20150138395A1 (en) | Display System Using Metadata to Adjust Area of Interest and Method | |
CN114073089B (zh) | 生成数字视频比特流和回放视频内容的方法和介质 | |
JP5074864B2 (ja) | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 | |
CN107736017B (zh) | 影像再现装置和影像再现方法 | |
JP2009081822A (ja) | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 | |
JP4789592B2 (ja) | 視聴環境制御装置及び視聴環境制御方法 | |
JP2009081482A (ja) | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 | |
JP2009036801A (ja) | 視聴環境制御装置および視聴環境制御方法 | |
JP4709897B2 (ja) | 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法 | |
JP2009060541A (ja) | データ送信装置、データ送信方法、視聴環境制御装置、及び視聴環境制御方法 | |
JP2013255042A (ja) | 照明制御装置、表示装置、映像再生装置、照明制御方法、プログラム、および、記録媒体 | |
RU2818525C2 (ru) | Метаданные типа видеосодержимого для расширенного динамического диапазона | |
JP6751893B2 (ja) | 再生方法、再生装置、表示方法及び表示装置 | |
JP2009060542A (ja) | データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120309 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4950990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |