JPWO2011089982A1 - 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム - Google Patents

受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム Download PDF

Info

Publication number
JPWO2011089982A1
JPWO2011089982A1 JP2011550892A JP2011550892A JPWO2011089982A1 JP WO2011089982 A1 JPWO2011089982 A1 JP WO2011089982A1 JP 2011550892 A JP2011550892 A JP 2011550892A JP 2011550892 A JP2011550892 A JP 2011550892A JP WO2011089982 A1 JPWO2011089982 A1 JP WO2011089982A1
Authority
JP
Japan
Prior art keywords
image
image signal
video
image frame
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011550892A
Other languages
English (en)
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2011089982A1 publication Critical patent/JPWO2011089982A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本発明に係る受信装置は、第１の画像信号を復号化する第１のデコーダ（２０６）と、第１の画像信号による第１の画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を復号化する第２のデコーダ（２０８）と、第１の画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を取得するＣＰＵ（２０２）と、前記位置情報に基づいて、第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成するオブジェクト再生部（２１０）と、を備える。【選択図】図１４

Description

本発明は、受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラムに関する。
従来から、立体映像（３Ｄ映像）を表示するシステムとして様々なものが知られている。例えば下記の特許文献１〜３に記載されているように、視差を有する左目用画像及び右目用画像を所定周期で交互にディスプレイに供給し、この画像を所定周期に同期して駆動される液晶シャッターを備える眼鏡で観察する方法が知られている。
特開平９−１３８３８４号公報 特開２０００−３６９６９号公報 特開２００３−４５３４３号公報
３Ｄ映像を放送局から送信するためには、左目用画像及び右目用画像の双方を送信する必要があるため、既存の２Ｄ映像と同等の画質を確保しようとすると、２倍のデータを送る必要が生じ、伝送帯域も２Ｄ映像に対して２倍必要となる。しかしながら、放送波あるいはネットワークによる配信データの伝送帯域が限られているため、伝送帯域を増大することには困難が伴う。また、２倍のデータを送信した場合、受信装置側でのデコーダが過負荷になる問題がある。
また、３Ｄ映像を送信するフォーマットとして、１フレームを複数のビューに分割して送信する、サイドバイサイド方式などの手法が知られているが、１フレームが複数のビューに分割されるため、画質の劣化を避けることができない。更に、このような３Ｄ映像のフォーマットで映像データを送信すると、既にユーザに行き渡っている２Ｄ映像のテレビ受像機では、正しい表示ができないため、ユーザは２Ｄ映像、３Ｄ映像のいずれも適正に視聴することはできない。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、簡素な構成で３Ｄ映像を視聴することが可能な、新規かつ改良された受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、第１の画像信号を復号化する第１の復号化部と、前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を復号化する第２の復号化部と、前記第１の画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を取得する情報取得部と、前記位置情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する映像合成部と、を備える、受信装置が提供される。
また、前記第１の画像フレームによる画像と前記第２の画像フレームによる画像を周期的に表示する表示部を備えるものであってもよい。
また、前記第１の画像フレームは動画のフレームであり、前記オブジェクト指示情報は、前記第１の画像フレームに対する前記領域の画像の時間的な同期情報を含み、前記映像合成部は、前記位置情報及び前記同期情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成するものであってもよい。
また、前記オブジェクト指示情報は、前記第１の画像信号又は前記第２の画像信号による画像フレームのピクチャヘッダに含まれるものであってもよい。
また、前記オブジェクト指示情報は、前記第１の画像信号及び前記第２の画像信号とは別のストリームで送信され、タイムスタンプにより前記第１の画像信号及び前記第２の画像信号と対応付けられるものであってもよい。
また、前記第１の画像信号による前記第１の画像フレームのサイズと前記第２の画像信号による画像フレームのサイズが同一の場合、前記情報取得部による前記オブジェクト指示情報の取得を行わないものであってもよい。
また、前記第１の復号化部と前記第２の復号化部は、異なる復号化方式によりそれぞれの復号化を行うものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、第１の画像信号を符号化する第１の符号化部と、前記第１の画像信号による画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を符号化する第２の符号化部と、符号化された前記第１の画像信号、前記第２の画像信号、及び前記画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を送信する送信部と、を備える、送信装置が提供される。
また、前記画像フレームは動画のフレームであり、前記オブジェクト指示情報は、前記画像フレームに対する前記領域の画像の時間的な同期情報を含むものであってもよい。
また、前記オブジェクト指示情報は、前記第１の画像信号又は前記第２の画像信号による画像フレームのピクチャヘッダに挿入されるものであってもよい。
また、前記オブジェクト指示情報は、前記第１の画像信号及び前記第２の画像信号とは別のストリームで送信され、タイムスタンプにより前記第１の画像信号及び前記第２の画像信号と対応付けられるものであってもよい。
また、前記領域の画像を前記画像フレームから分離する画像分離部を備え、前記第２の符号化部は、前記画像分離部で分離された前記領域の画像に対応する前記第２の画像信号を符号化するものであってもよい。
また、前記画像分離部は、前記領域に対応するオブジェクトの動きに合わせて、前記画像フレーム内での前記領域の位置を変化させながら前記領域の画像を前記画像フレームから分離するものであってもよい。
また、前記第１の画像信号による前記第１の画像フレームのサイズと前記第２の画像信号による画像フレームのサイズが同一の場合、前記送信部は前記オブジェクト指示情報の送信を行わないものであってもよい。
また、前記第１の符号化部と前記第２の符号化部は、異なる符号化方式によりそれぞれの符号化を行うものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、第１の画像信号を符号化する第１の符号化部と、前記第１の画像信号による画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を符号化する第２の符号化部と、符号化された前記第１の画像信号、前記第２の画像信号、及び前記画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を送信する送信部と、を有する送信装置と、前記第１の画像信号を復号化する第１の復号化部と、前記第２の画像信号を復号化する第２の復号化部と、前記オブジェクト指示情報を取得する情報取得部と、前記オブジェクト指示情報に含まれる前記位置情報に基づいて、前記第１の画像信号による第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する映像合成部と、を有する、受信装置と、を備える通信システムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、第１の画像信号を復号化するステップと、前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を復号化するステップと、前記第１の画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を取得するステップと、
前記位置情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成するステップと、を備える、受信装置の制御方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、第１の画像信号を復号化する手段、前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を復号化する手段、前記第１の画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を取得する手段、前記位置情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する手段、としてコンピュータを機能させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、第１の画像信号を復号化する第１の復号化部と、前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の空間的な位置情報と、前記第１の画像フレームに対する前記領域のオフセット量を含むオブジェクト指示情報を取得する情報取得部と、前記オブジェクト指示情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する映像合成部と、を備える、受信装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、静止画のソース画像から切り出された第１の画像に対応する第１の画像信号を復号化する第１の復号化部と、静止画のソース画像から切り出された第２の画像に対応する第２の画像信号を復号化する第２の復号化部と、前記第１の画像と前記第２の画像との空間的な位置情報を取得する位置情報取得部と、前記位置情報に基づいて、前記第１の画像と前記第２の画像を相対的にオフセットさせた状態で周期的に表示する表示部と、を備える、受信装置が提供される。
本発明によれば、簡素な構成で３Ｄ映像を視聴することが可能な受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラムを提供することができる。
本発明の一実施形態に係る立体画像表示観察システムの構成を示す模式図である。 本発明の一実施形態にかかる送信装置の構成例を示す模式図である。 ターゲット分離部の構成を詳細に示す模式図である。 送信装置におけるエンコードの処理を説明するための模式図である。 送信装置におけるエンコードの処理を説明するための模式図である。 送信装置におけるエンコードの処理を説明するための模式図である。 ３Ｄオブジェクト表示のためのオブジェクト指示情報を示す模式図である。 3D_descriptorの定義を示す模式図である。 図７におけるVertical_Start_Position、Horizontal_Start_Position、Vertical_End_Position、Horizontal_End_Positionによって指定される情報を示す模式図である。 映像データのビットストリームに３Ｄ情報を付加する場合に、プライマリーの映像に３Ｄ情報を付加する例を示す模式図である。 セカンダリー映像が静止画などで表示時間が可変である場合に、プライマリーの映像に３Ｄ情報を付加する例を示す模式図である。 セカンダリーの映像に３Ｄ情報を付加する例を示す図であり、動画のピクチャ単位でプライマリー映像とセカンダリー映像を同期させる例を示す模式図である。 セカンダリー映像が静止画などで表示時間が可変の場合に、セカンダリーの映像に３Ｄ情報を付加する例を示す模式図である。 受信装置の構成例を示す模式図である。 オブジェクト再生部における処理を示す模式図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．システム構成例
２．送信装置の構成例
３．３Ｄオブジェクト表示のための情報
４．受信装置の構成例
［１．システム構成例］
図１は、本発明の一実施形態に係る立体画像表示観察システムの構成を示す模式図である。本実施形態に係るシステムは、映像コンテンツなどをデジタル放送フォーマットなどにより送信する送信装置１００と、例えばＬＣＤ等から構成される表示パネルを備えるテレビ受像機（受信装置）２００と、表示画像鑑賞用メガネ３００とを備える。図１では、受信装置２００と表示画像鑑賞用メガネ３００を示している。
受信装置２００は、地上デジタル放送などを受信するテレビ受像機であり、映像データのビットストリームを受信し、これ復号化して表示パネルに表示させるものである。受信装置２００は、送信装置から送られた映像データに基づいて、映像を時分割して非常に短い周期で画面全体に交互にディスプレイする。また、受信装置２００は、左眼用映像及び右眼用映像のディスプレイ周期に同期して左眼及び右眼に映像を分離して提供することができる。受信装置２００は、例えば、フィールド毎に右目用画像Ｒと左目用画像Ｌを交互に表示する。表示画像鑑賞用メガネ３００には、レンズに相当する部分に一対の液晶シャッター３００ａ，３００ｂが設けられている。液晶シャッター３００ａ，３００ｂは、受信装置２００のフィールド毎の画像切り換えに同期して交互に開閉動作を行う。すなわち、受信装置２００に右目用画像Ｒが表示されるフィールドでは、左目用の液晶シャッター３００ｂが閉鎖状態となり、右目用の液晶シャッターが開放状態３００ａとなる。また、左目用画像Ｌが表示されるフィールドでは、これと逆の動作を行う。このように、受信装置２００は、左眼用映像Ｌ及び右眼用映像Ｒを非常に短い周期で画面全体に交互にディスプレイすると同時に、左眼用映像Ｌ及び右眼用映像Ｒのディスプレイ周期に同期して左眼及び右眼に映像を分離して提供する。
このような動作により、鑑賞用メガネ３００を掛けて受信装置２００を見るユーザの右目には右目用画像Ｒのみが、また、左目には左目用画像Ｌのみが入射される。このため、鑑賞者の目の内部で右目用と左目用の画像が合成され、受信装置２００に表示される画像が立体的に認識される。また、受信装置２００は、ユーザが鑑賞用メガネ３００を使用していない場合は、通常の２次元画像を表示することもでき、この場合、右目用画像Ｒと左目用画像Ｌの切り換えは行われない。
なお、図１では、表示画像鑑賞用メガネ３００を備えるシステムを例示したが、本実施形態はこれに限定されるものではなく、偏光板方式などメガネ３００を用いない立体画像表示観察システムに適用することも可能である。
ところで、現時点で家庭などに行き渡っているテレビ受像機（以下、レガシーのテレビ受像機と称する場合がある）は、２Ｄに対応したデコードを想定している。このため、３Ｄ映像の視聴を想定したテレビ受像機が普及するまでの間は、既に行き渡っているテレビ受像機においても、３Ｄ映像を視聴できることが望ましい。このため、例えば現在放送波で送られている２Ｄの映像データを左右映像のうちの一方の映像データとし、更に同じデータ量の映像データを送って左右映像の他方の映像データとする方法が考えられる。しかし、この場合、伝送帯域が現在の２倍となってしまい、放送波は伝送帯域が限られているため、付加的な映像データを送ることで３Ｄ映像の視聴を実現することは困難である。また、この場合、通常のテレビ受像機で受信したデータをデコードしようとすると、デコーダ負荷が２チャンネル分になるため、デコーダに過負荷がかかり、正常にデコードできないことが想定される。このため、付加的な映像データを送ったとしても、通常のテレビ受像機では、３Ｄフォーマットとして扱うことができないことが想定される。
このため、既にユーザに行き渡っているテレビ受像機を利用して３Ｄ視聴を実現するためには、付加的な映像データを最小限にして送信することで、３Ｄ表示を実現する必要がある。これにより、３Ｄテレビ受像機が一般に行き渡るまでの導入期において、２Ｄ対応のテレビ受像機においても３Ｄ視聴が可能となり、３Ｄ映像を広く一般向けに提供することが可能となる。
一方、左目用画像Ｌと右眼用画像Ｒを伝送する際のフォーマットとして、サイドバイサイド、トップアンドボトムなどのように、複数のビューで画面を分割して送信する手法が知られている。しかし、既に一般に行き渡っている２Ｄ視聴用のテレビ受像機はこのようなフォーマットには対応していないため、正しい３Ｄ表示をすることはできない。また、このフォーマットに対応したテレビ受像機においても、１フレームに左右映像のデータが含まれるため、通常の２Ｄ画像を送信する場合と比較すると画質が１／２に低下してしまう。
本実施形態では、２つ以上のビューからなるソース画像に対して、３Ｄ表示させる領域のみを送信装置１００側で抽出して、その部分を切り出し、基本となるビューに対する相対位置情報とともにエンコードして、付加的（ａｄｄｉｔｉｏｎａｌ）なビューの映像データとして受信装置２００側に送信する。基本となるビューについてはその映像データが全て送信される。一方、付加的なビューでは、基本となるビューから切り出した映像のデータのみを送信する。このため、基本となるビューに対して視差のない映像については、付加的なビューでは送信されず、受信装置２００側では、視差のない映像については基本ビューの映像を付加的なビューにコピーして使用する。従って、受信装置２００側では、付加的なビューについては基本となるビューから切り出した映像データのみをデコードすれば良く、デコードに係る処理を大幅に低下させることが可能となる。このため、受信装置２００は、ＣＰＵで余剰となった負荷でデコードすることも可能となり、非常に簡素な構成で３Ｄの映像データをデコードすることができる。
なお、以下に説明する本実施形態では、映像データは動画に限られるものではなく、基本ビューの動画に付加的なビューとして静止画を付加することもできる。また、基本ビューと付加的なビューのそれぞれを静止画としてスライドショーの表示に適用することもできる。その際、符号化方式は、映像データの形式に依存せずに、基本ビューの符号化方式と付加的なビューのそれとは、同じ方式であっても良いし、あるいは別の符号化方式であっても構わない。
［２．送信装置の構成例］
図２は、本発明の一実施形態にかかる送信装置１００の構成例を示す模式図である。送信装置１００は、例えばテレビ番組などの映像コンテンツを提供する放送局側の機器である。送信装置１００は、デジタル放送フォーマット等のデータフォーマットによりテレビ受像機に対して映像コンテンツを提供する。
図２に示すように、送信装置１００は、ＣＰＵ１０２、映像取得部（Ｉｍａｇｅ Ｃａｐｔｕｒｅ）１０４、ターゲット分離部（Ｔａｒｇｅｔ Ｓｅｐａｒａｔｉｏｎ）１０６、第１のエンコーダ１０８、第２のエンコーダ１１０、マルチプレクサ（Ｍｕｌｔｉｐｌｅｘｅｒ）１１２、出力部１１４を備える。
本実施形態では、２つ以上のビュー（ｖｉｅｗ）からなるソース画像に対して、３Ｄ表示させる領域を送信側で抽出し、その部分を切り出し、基本となるｖｉｅｗに対する相対位置情報と共にその領域を別途エンコーダへ渡す。
具体的には、映像取得部１０４で取得されたライブ映像、または映像ファイルの入力に対して、ターゲット分離部１０６は、ＣＰＵ１０２から切り取り対象領域の指定（オブジェクトの大きさ）の指定を受けて、基本となるビューの映像から３Ｄ表示させる領域の切り出し処理を行う。ターゲット分離部１０６は、切り出した領域の制御情報（オブジェクト制御情報）をＣＰＵ１０２へ送り、ＣＰＵ１０２からエンコーダ１０８，１１０へ切り出し領域の指示データ、表示期間を指定するデータ（オブジェクト指示情報）が送られる。
図３は、ターゲット分離部１０６の構成を詳細に示す模式図である。図３に示すように、ターゲット分離部１０６は、ブロック化部１２２、フレーム遅延化部１２４、ブロックマッチング部１２６、ポジション移動部１２８、ターゲットオブジェクトブロック分離部１３０、セレクタ１３２を備える。なお、図２及び図３に示す各機能ブロックは、回路（ハードウェア）、またはＣＰＵ１０２とこれを機能させるためのソフトウェア（プログラム）によって構成することができる。この場合において、そのプログラムは、送信装置１００が備えるメモリなどの記録媒体、または送信装置１００の外部の記録媒体に格納されることができる。
本実施形態では、基本ビューの映像をプライマリーの映像と称し、プライマリーの映像から切り出して得られた別のビューの映像をセカンダリーの映像と称することとする。一例として、基本ビューであるプライマリー映像は、通常の２Ｄ映像とすることができる。ターゲット分離部１０６は、プライマリー映像から切り出す領域の動きを検出して、動きに応じて切り出す領域を変化させる。これにより、例えば基本ビューから人の顔のみを切り出す場合、顔の動きに合わせて切り出す領域を変更していく処理が可能になり、受信装置２００においては、３Ｄ効果により手前に飛び出して表示される顔を画面方向に移動しながら表示することができる。
図３のブロック化部１２２およびフレーム遅延部１２４には、基本ビューであるプライマリー映像が入力される。ブロック化部１２２は、セカンダリー映像の切り出しのため、ＣＰＵ１０２から切り出しの対象領域（またはオブジェクト）を指定する情報を受け取る。ブロック化部１２２では、ＣＰＵ１０２からの指令に基づいて、切り出しのターゲット領域１５０の現在のピクチャをブロック化する処理を行う。これにより、ターゲット領域１５０の現在のピクチャが複数の矩形のブロックに分割される。
フレーム遅延化部１２４では、フレームを遅延させ、ブロックマッチング部１２６において、ブロック化された現在のピクチャと遅延された１つ前のピクチャとのブロックマッチングが行われ、各ブロックの動きを表す動きベクトルを求める。ポジション移動部１２８では、動きベクトルに基づいて対象領域を移動させるブロックである。ポジション移動部１２８は、ブロックマッチング部１２６の処理結果に応じて、各ブロックに対応する複数の動きベクトルのうち、大多数のベクトルを含み、かつ対象領域の大きさを超えない範囲で、対象領域が一つ前のピクチャから動いたオフセット量ＯＦＳを判定して、次段へオフセット量ＯＦＳを送る。また、ポジション移動部１２８は、オフセット量ＯＦＳをオブジェクト制御情報としてＣＰＵ１０２へ送る。
ターゲットオブジェクトブロック分離部１３０には、フレーム毎の映像データが入力される。ターゲットオブジェクトブロック分離部１３０では、オフセット量ＯＦＳに応じてフレーム毎に対象領域の切り取りを行った後、セレクタ１３２へ送る。また、セレクタ１３２には、基本ビューであるプライマリー映像が入力される。セレクタ１３２は、ターゲットオブジェクトブロック分離部１３０から入力された映像と、元のプライマリー映像とを交互に切り換えて、第１及び第２のエンコーダ１０８,１１０へ送る。
この際、第１のエンコーダ１０８には元のプライマリー映像が入力され、第２のエンコーダ１１０にはターゲットオブジェクトブロック分離部１３０で切り取られた映像が送られる。第１のエンコーダ１０８は、元の映像であるプライマリーの映像データのエンコードを行い、第２のエンコーダ１１０は、切り出されたセカンダリーの映像データのエンコードを行う。ここで、第２のエンコーダ１１０に送られる切り出し後の映像は、ターゲット領域１５０の動きに応じてその領域が変化するため、３Ｄ表示の対象領域、または３Ｄ表示の対象オブジェクトが動きを伴うものであっても、常にその領域、またはオブジェクトの動きに応じた３Ｄ表示を行うことが可能である。
第１のエンコーダ１０８、および第２のエンコーダ１１０でエンコードされたプライマリー、セカンダリーの映像データは、マルチプレクサ１１２にて多重化され、音声データ、文字データ等とともに出力部１１４に送られる。出力部１１４は、デジタル放送信号フォーマットにより多重化された映像データ、音声データ、文字データを受信装置２００に対して送信する。
なお、送信装置１００は、通常の２Ｄの映像を送信する場合は、プライマリー映像のみを受信装置２００に送る。この場合、セカンダリー映像の切り出しは特に行われない。
以上のように、本実施形態では、プライマリー映像（一例として、通常の２Ｄの映像）に対して、３Ｄ表示が行われる領域のみを切り出して受信装置２００側へ送信するため、３Ｄ表示に必要な最小限のデータのみを受信装置２００に送ることができる。従って、受信装置２００におけるデコーダの構成を最小限に抑えることができ、受信装置２００のＣＰＵの余剰分でデコードを行うことも可能になる。従って、受信装置２００を簡素に構成することが可能である。
次に、プライマリーの映像に対するセカンダリーの映像の相対位置情報について説明する。後で詳細に説明するが、プライマリー映像とセカンダリー映像を受信した受信装置２００は、１ｓｔビューとしてプライマリー映像を使用し、２ｎｄビューとしてプライマリー映像にセカンダリー映像を合成した映像を使用する。そして、受信装置２００は、１ｓｔビューと２ｎｄビューを交互に表示することで３Ｄ表示を行う。
このため、送信装置１００は、受信装置２００に対して、プライマリー映像およびセカンダリー映像を送ると共に、プライマリー映像に対するセカンダリー映像の位置を指定する相対位置情報を送る。これにより、受信装置２００側では、プライマリーの映像に対して適正な位置にセカンダリーの映像を重ねることができる。プライマリー映像に対するセカンダリー映像の相対位置情報は、例えば符号化ストリームのピクチャ（picture）レイヤの補助データ領域に挿入する。ここで、補助データ領域に相対位置情報が存在しない場合、受信装置２００側では、基本ビュー（view）のピクチャのトップ（top）＆レフト（left）の画像に等しいと判断する。プライマリー映像およびセカンダリー映像のサイズが同一である場合は、送信装置１００は相対位置情報を送信を省略することが可能であり、受信装置２００は相対位置情報を受信を省略できる。
セカンダリーの映像データのストリームの符号化は、プライマリー映像である基本ビュー（ｂａｓｉｃ ｖｉｅｗ）の再生画質に対して著しく変わらないようする。セカンダリー映像のストリームの符号化は、プライマリーの符号化方法と同等でもよいし、あるいは別の動画コーデック、静止画コーデックなどを選択してエンコードするようにしてもよい。例えば、プライマリー映像をＭＰＥＧ−４ ＡＶＣで符号化し、セカンダリー映像をＭＰＥＧ２で符号化してもよい。この場合、セカンダリー映像をデコードする際の付加を依り低減できる。あるいは、プライマリー映像をＭＰＥＧ２ビデオで、セカンダリー映像をＭＰＥＧ―４ ＡＶＣで符号化することで、付加的なビューによる伝送帯域の増加を低減するようにしてもよい。また、プライマリー映像をＭＰＥＧ−４ ＡＶＣあるいはＭＰＥＧ２ビデオで符号化し、セカンダリー映像を静止画としてＪＰＥＧで符号化するなどしてもよい。
図４、図５及び図６は、送信装置１００におけるエンコードの処理を説明するための模式図である。ここで、図４は、２つのビューの画像を１フレームに合体してエンコードする例を示している。この場合、１ｓｔビューと２ｎｄビューはそれぞれ画面水平方向に圧縮処理が成され、１フレームに合体されてエンコードされる。この処理は、通常のサイドバイサイド（ｓｉｄｅ ｂｙ ｓｉｄｅ）の処理と同様である。
また、図５は、本実施形態における、１ｓｔビューと、２ｎｄビューの切り出し領域のコーデックを示す模式図である。この場合、２ｎｄビューは、エンコードされてエンハンスドレイヤー（Ｅｎｈａｎｃｅｄ Ｌａｙｅｒ）として付加される。図５に示すコンパチブルレイヤー（Ｃｏｍｐａｔｉｂｌｅ Ｌａｙｅｒ）は、通常の２Ｄ映像データであるプライマリーの映像データを示している。コンパチブルレイヤーは通常の２Ｄ映像データと同等の画質で送ることができる。エンハンスドレイヤーは必要最小限の切り出し領域に対応するため、コンパチブルレイヤーのデータ量よりも少なくなる。図５に示すように、プライマリー映像、セカンダリー映像は、ＰＩＤ若しくはビデオトラック（Ｖｉｄｅｏ Ｔｒａｃｋ）の情報によって指定される。
図６は、本実施形態による切り出し処理によるエンコードの手法を示す模式図である。図６の上段に示すように、２Ｄ映像として１ｓｔビューの映像のみを送る場合、１ｓｔビューの映像データのみがエンコードされる。この場合、第１のエンコーダ１０８でプライマリー映像が符号化されて、受信装置２００に送信される。図６の下段は、上述した本実施形態の手法により、２ｎｄビューとしてプライマリー映像から切り出した領域の映像をエンコードする場合を示している。
図６の下段に示すように。本実施形態では、１ｓｔビューについては、１フレームのデータがそのまま第１のエンコーダ１０８にてエンコードされる。一方、２ｎｄビューについては、１ｓｔビューからの切り出し領域のみが第２のエンコーダ１１０にてエンコードされる。このため、図６の下段に示すように、２ｎｄビューにおける、切り出した領域の符号化データのデータ量は、１ｓｔビューの符号化されたデータ（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｄａｔａ）のデータ量に比べて大幅に低減できる。従って、受信装置２００側においては、デコードの負荷を最小限に抑えることが可能である。
図１に示すマルチプレクサ１１２は、システム全体の多重化ストリームの中で、基本のビュー（通常の２Ｄのビデオ信号に相当）のビデオストリーム、セカンダリー映像のストリームとしてＩＤを付し、多重化する。これにより、多重化されたストリームの中で、プライマリー映像とセカンダリー映像をＩＤで紐付けすることができる。
また、タイムスタンプは、基本ビューの映像データのタイムスタンプと同様の同期方法を適用する。多重化の際のシステム管理は、ＣＰＵ１０２において、トランスポートストリーム（ＴＳ）のヘッダに定義されるＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）のテーブルにおいて行う。その際は、プライマリー映像を２Ｄのビデオストリームとし、追加ビュー（セカンダリー映像）のストリームを、以下のようにＰＭＴの下で２Ｄのビデオストリームに付加するように定義し、ＩＤを付けて管理する。このような手法によれば、現状のトランスポートストリームの仕組みを変えることなく、プライマリー映像とセカンダリー映像をＰＥＳのＩＤで紐付けすることができる。
ＰＡＴ------ＰＭＴ１-----------Ｖｉｄｅｏ (２Ｄ Ｂａｓｉｃ)
-----------Ａｕｄｉｏ
-----------Ｖｉｄｅｏ (Ｓｅｃｏｎｄａｒｙ ｅｎｈａｎｃｅｍｅｎｔ)
------ＰＭＴ２
ＰＭＴでは、各符号化信号のＰＩＤ指定、ＥＳの種類や状態、プログラムのＰＣＲのＰＩＤなどを指定する。受信装置２００側では、現状の仕組みを利用して、プライマリー映像とセカンダリー映像を紐付けし、上記の符号化過程とは反対の処理を行うことで、所望の表示を行うことができる。
マルチプレクサ１１２では、第１のエンコーダ１０８でエンコードされたデータと、第２のエンコーダ１１０でエンコードされたデータとを多重化する。多重化されたデータは出力部１１４から受信装置２００側へ送信される。
［３．３Ｄオブジェクト表示のための情報］
図７は、３Ｄオブジェクト表示のためのオブジェクト指示情報（以下、３Ｄ情報と称する場合がある）を示す模式図である。図７に示すオブジェクト指示情報は、第１のエンコーダ１０８、第２のエンコーダ１１０、マルチプレクサ１１２に送られて、映像データに挿入される。オブジェクト指示情報は、１つのエレメンタリーストリームとして送ることができる。この場合、プライマリー映像、セカンダリー映像、及びオブジェクト指示情報は、タイムスタンプによって対応付けすることができる。また、後述するように、オブジェクト指示情報は、プライマリー映像またはセカンダリー映像のピクチャ単位（ピクチャヘッダのユーザデータ領域）に挿入することができる。
図７に示す各情報を説明すると、Data_Lengthは、オブジェクト指示情報のデータ量を示す情報である。Number_of_VideoViews Nは、１のプライマリー映像から切り出されるセカンダリー映像の数を示す情報である。本実施形態では、一例として１のプライマリー映像から１のセカンダリー映像を切り出す例を示すが、２以上のセカンダリー映像を切り出しても良く、Ｎ個のセカンダリー映像を切り出すことができる。Target_videoView(i)は、本情報が扱うビュー（View）のElementary PIDを示す情報である。この情報によって、セカンダリー映像に対するプライマリー映像が識別情報であるＩＤによって指定され、セカンダリー映像に対するプライマリー映像の時間的なフレーム毎の対応付けを行うことができる。
図７において、Target_videoViewは、プライマリー映像のビューに対応し、対応するビューのＰＩＤを指定する。Partner_videoViewは、セカンダリー映像のビューに対応し、対応するビューのＰＩＤを指定する。例えば、Target_videoView=PID1、Partner_ViewoView=PID0とすることで、対応するビューを指定する。Picture_IDは、ピクチャ毎にカウントアップされる値で、静止画の時系列順の識別子に用いる。
また、各々のビューには、プライマリー映像に対するセカンダリー映像の空間的な位置（画面内の位置）を指定する位置情報、セカンダリー映像の表示期間等を指定するため、複数のフラグObject_Offset_position_flag、Status_Count_flagが設定される。
Object_Offset_position_flagが“１”の場合、Vertical_Start_Position、Horizontal_Start_Position、Vertical_End_Position、Horizontal_End_Positionの各データにより切り出し領域が指定される。これらの情報は、Target_videoViewの始点(0,0)に対するPartner_ViewoViewのオブジェクト（object）領域の開始位置、終了位置を指定するデータである。
Pixel_ratioは、Target_videoViewの解像度に対する、Partner_ViewoViewのオブジェクト領域の解像度比を指定する情報である。Pixel_ratio=0x0の場合は、解像度変換が不要であることを示す。
Status_Count _flagが“１”の場合、All_VideoView、DurationCounterにより、セカンダリー映像を使用した３Ｄ表示継続期間が指定される。All_VideoViewが“1”の場合は、Target_VideoViewのみならず、全てのvideoviewに関してDuration_Counterによる表示継続時間制御を適用する。Duration_Counterは、表示開始後、表示継続時間をフレーム数で指定する。なお、動画の場合は、各ピクチャにオブジェクト指示情報を挿入することで、受信装置２００側では、セカンダリー映像の表示継続期間を認識することができる。Duration_Counterは、特に静止画を送る場合に、表示継続期間を指定する際に有効である。
なお、送信装置１００は、セカンダリーの映像データ自体は送らずに、プライマリー映像からの切り出し領域と、プライマリー映像に対する視差量の情報を送信するようにしても良い。この場合、Vertical_Start_Position、Horizontal_Start_Position、Vertical_End_Position、Horizontal_End_Positionの各データにより切り出し領域を指定するとともに、視差量を示す情報を送信する。受信装置２００は、プライマリー映像からVertical_Start_Position、Horizontal_Start_Position、Vertical_End_Position、Horizontal_End_Positionの各データで示される領域を切り出して、視差をつけてセカンダリー映像を生成する。切り出し領域以外の視差のない領域については、プライマリー映像をコピーしてセカンダリー映像を生成する。これにより、受信装置２００は、プライマリー映像とセカンダリー映像とからなる３Ｄ映像を生成することができる。
なお、図７に示すオブジェクト指示情報の伝送方法は、独立エレメンタリーストリームで伝送しても良いし、あるいは映像データのピクチャ単位のユーザデータとして伝送しても良い。
上述のようにＭＰＥＧでは、伝送するコンテンツのストリーム情報を記述するＰＳＩ（Ｐｒｏｇｒａｍ Ｓｙｓｔｅｍ Ｉｎｆｏｒｍａｔｉｏｎ）として、ＰＭＴ（Ｐｒｏｇｒａｍ ｍａｐ ｔａｂｌｅ）がある。ＰＭＴのストリーム情報には、オーディオやビデオなどのパケットを選択するためのＰＩＤ（Ｐａｃｋｅｔ ＩＤ）、ｓｔｒｅａｍ＿ｔｙｐｅやｄｅｓｃｒｉｐｔｏｒなどが含まれ、ビデオのコーデックやオーディオのコーデックが何を用いて符号化されているかを知ることができる。図７に示す３Ｄ情報をトランスポートストリーム（Transport Stream）内で多重化する場合、ビュー間のリンク情報として、Program Map Section(TS Table ID=0x02)において、3D_descriptorによって指定することができる。この場合、3D_descriptorを図８で示すように定義する。
図９は、図７におけるVertical_Start_Position、Horizontal_Start_Position、Vertical_End_Position、Horizontal_End_Positionによって指定される情報を示す模式図である。
図９において、Ｘはプライマリー映像の水平方向のサイズ（Primary video Picture Horizontal Size）を、Ｙはプライマリー映像の垂直方向のサイズ（Primary video Picture Vertical Size）を示している。ＨＤサイズの場合、Ｘ＝１９２０ピクセル、Ｙ＝１０８０ピクセルである。また、(hs,vs)は、セカンダリー映像の始点Ｐ１の座標位置を、(he,ve)はセカンダリー映像の終点Ｐ２の座標位置を示している。図９の例では、セカンダリー映像（ｓｅｃｏｎｄａｒｙ ｖｉｄｅｏ）として切り出される映像は、(hs,vs)を左上の頂点とし(he,ve)を右下の頂点とする矩形領域である。なお、(he,ve)の代わりに、オブジェクト領域のサイズを送っても良い。また、３Ｄ情報は、符号化ストリーム内のヘッダ情報による伝送法で送っても良い。
上述の例では、Vertical_Start_Position、Horizontal_Start_Position、Vertical_End_Position、Horizontal_End_Positionによって指定される情報によって、プライマリー映像からのセカンダリー映像の切り出し範囲が指定される。一方、例えば送信装置１００から静止画を送信する場合、一般的に静止画像の画素数は動画フレームによって表示される表示パネル（フルＨＤサイズなど）の画素数よりも多いため、静止画のソース画像から所定の範囲を切り出して伝送することになる。このため、静止画の伝送においては、図７に示す各種情報を、ソース画像からの切り出し範囲を指定する情報として用いても良い。この場合、プライマリー画像、セカンダリー画像の双方がソース画像から切り出されて、受信装置２００に送られて、受信装置２００側でプライマリー画像とセカンダリー画像を交互に表示することで、静止画の３Ｄ映像の視聴が可能となる。
図１０は、映像データのビットストリームに３Ｄ情報を付加する場合に、プライマリーの映像に３Ｄ情報を付加する例を示す模式図である。図９は、動画の３Ｄ表示の場合にピクチャ単位でプライマリー映像とセカンダリー映像を同期させる例を示している。同期は、タイムスタンプを用いて、フレームバイフレームで行う。この場合、第１のエンコーダ１０８において、プライマリー映像のピクチャ毎に３Ｄ情報が挿入される。一例として、３Ｄ情報を符号化ビデオのＧＯＰ（Ｇｒｏｕｐｅ ｏｆ Ｐｉｃｔｕｒｅ）あるいはＩピクチャに同期させて、そのヘッダに挿入することができる。
図１１は、セカンダリー映像が静止画などで表示時間が可変である場合に、プライマリーの映像に３Ｄ情報を付加する例を示す模式図である。この場合、セカンダリー映像は所定の表示時間の間は変化しないため、ピクチャ毎に３Ｄ情報を挿入する必要はない。このため、第１のエンコーダ１０８において、セカンダリー映像の表示時間に応じて、所定数のピクチャ毎に３Ｄ情報を挿入する。セカンダリー映像の表示時間は、図７で説明したDuration Counterによって指定される。
図１２は、セカンダリーの映像に３Ｄ情報を付加する例を示す模式図であり、動画のピクチャ単位でプライマリー映像とセカンダリー映像を同期させる例を示している。この場合、第２のエンコーダ１１０において、セカンダリーのピクチャ毎に３Ｄ情報が挿入される。一例として、３Ｄ情報を符号化ビデオのＧＯＰあるいはＩピクチャに同期させて挿入することができる。
図１３は、セカンダリー映像が静止画などで表示時間が可変の場合に、セカンダリーの映像に３Ｄ情報を付加する例を示す模式図である。この場合、セカンダリー映像は所定の表示時間の間は変化しないため、第２のエンコーダ１１０において、表示時間に応じて、所定数のピクチャ毎に３Ｄ情報を挿入する。この場合においても、セカンダリー映像の表示時間は、図７で説明したDuration Counterによって指定される。
［４．受信装置の構成例］
次に、受信装置２００の構成について説明する。図１４は、受信装置２００の構成例を示す模式図である。図１４に示すように、受信装置２００は、ＣＰＵ２０２、デマルチプレクサ（Ｄｅｍｕｌｔｉｐｌｅｘｅｒ）２０４、第１のデコーダ２０６、第２のデコーダ２０８、オブジェクト再生部（Ｏｂｊｅｃｔ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）２１０、３Ｄ処理部（３Ｄ Ｐｒｏｃｅｓｓｉｎｇ Ｖｉｅｗ Ｉｎｔｅｒｌｅａｖｉｎｇ）２１２を有して構成される。また、受信装置２００は、液晶表示パネル等から構成される表示部を備える。なお、図１４に示す各機能ブロックは、回路（ハードウェア）、またはＣＰＵ２０２とこれを機能させるためのソフトウェア（プログラム）によって構成することができる。この場合において、そのプログラムは、受信装置２００が備えるメモリなどの記録媒体、または受信装置２００の外部の記録媒体に格納されることができる。
デマルチプレクサ２０４には、送信装置１００から送られたビットストリーム、または映像ファイルの出力が入力される。デマルチプレクサ２０４は、入力されたデータを映像データ、音声データ、文字データ等に分離し、映像データを第１のデコーダ１０８、第２のデコーダ１１０へ送る。また、デマルチプレクサ２０４は、オブジェクト指示情報をビットストリームから抽出し、ＣＰＵ２０２へ送る。
デマルチプレクサ２０４は、プライマリー映像のデータとセカンダリー映像のデータを分離して、プライマリー映像のデータについては第１のデコーダ２０６へ、セカンダリー映像のデータについては第２のデコーダ２０８へ送る。
第１及び第２のデコーダ２０６，２０８に対する入力のフォーマットは、既存の２Ｄ映像のデコードの場合と基本的に同じであるため、現在のデジタル映像信号フォーマットの仕組みを利用して、デコードを行うことができる。３Ｄの映像を見る必要がない場合は、プライマリー映像のみをデコードすることで、２Ｄ映像の視聴が可能である。セカンダリー映像が存在しない場合、第１のデコーダ２０６で通常の２Ｄ映像データのデコードが行われる。
ＣＰＵ２０２は、デマルチプレクサ２０４から送られたオブジェクト指示情報に基づいて、第１のデコーダ２０６及び第２のデコーダ２０８を制御する。ＣＰＵ２０２は、第２のデコーダ２０８に対して表示期間を指定する情報を送る。これにより、第２のデコーダ２０８は、指定された表示期間の間はセカンダリー映像が存在するものと認識して、セカンダリー映像のデコードを行う。
オブジェクト再生部２１０は、１ｓｔビューと２ｎｄビュー間で映像データをコピーして、オブジェクトの位置で映像を合成する。これにより、デコードされたプライマリー映像及びセカンダリー映像を合成して２ｎｄビューの映像が生成される。プライマリー映像については、第１のデコーダ２０６でデコードされた映像データが３Ｄ処理部２１２へ入力される。
図１５は、オブジェクト再生部２１０における処理を示す模式図である。図１５に示すように、１ｓｔビューのプライマリー映像のデータは第１のデコーダ２０６でデコードされて、プライマリー映像４００が得られる。この処理は、レガシーの受信装置２００で処理可能である。一方、セカンダリー映像のデータは第２のデコーダでデコードされて、セカンダリー映像４１０が得られる。オブジェクト再生部２１０では、１ｓｔビューとしてプライマリー映像４００を出力する。また、オブジェクト再生部２１０は、プライマリー映像４００をコピーして、これに対してセカンダリー映像４１０を、オフセット分だけずらして合成（Ｏｖｅｒｗｒｔｉｅ）して、２ｎｄビューの映像データとして出力する。ここで、オフセット量は上述したVertical_Start_Position、Horizontal_Start_Position、Vertical_End_Position、Horizontal_End_Positionによって指定され、デマルチプレクサ２０４からＣＰＵ２０２へ送られる。また、オブジェクト指示情報がピクチャ単位で挿入されている場合、第１及び第２のデコーダ２０６，２０８から取得しても良い。また、オブジェクト再生部２１０は、エレメンタリーストリームのタイムスタンプ、プライマリー映像とセカンダリー映像の識別ＩＤ（ＰＩＤ）に基づいて、プライマリー映像４００とセカンダリー映像４１０の時間的な同期を行う。
なお、上述したように、送信装置１００からセカンダリーの映像データ自体は送られず、プライマリー映像からの切り出し領域と、プライマリー映像に対する視差量の情報が送信された場合、切り出し領域に基づいて受信装置２００側でセカンダリー映像４１０を生成する。そして、オブジェクト再生部２１０は、プライマリー映像４００に対して、生成したセカンダリー映像４１０を視差量だけずらして合成し、２ｎｄビューの映像として出力する。
また、送信装置１００においてプライマリー画像、セカンダリー画像の双方がソース画像から切り出されて送信された場合、オブジェクト再生部２１０は、ソース画像から切り出されたプライマリー画像、セカンダリー画像をオフセット分だけずらして１ｓｔビュー、２ｎｄビューの映像として出力する。これにより、プライマリー画像とセカンダリー画像を交互に表示することで、静止画の３Ｄ映像の視聴が可能となる。
３Ｄ処理部２１２には、オブジェクト再生部２１０から出力された１ｓｔビュー及び２ｎｄビューの映像データが入力され、入力された１ｓｔビューの画像データ及び２ｎｄビューの画像データに対してハイフレームレートなどの所定の処理を行い、表示パネルへ出力する。１ｓｔビューを左目用画像Ｌ、２ｎｄビューを右眼用画像Ｒとした場合、表示パネルにおいては、左目用画像Ｌと右眼用画像Ｒが所定のフレームレートで交互に表示される。そして、観賞用メガネ３００の液晶シャッター３００ｂが開くタイミングで左目用画像Ｌが表示され、液晶シャッター３００ａが開くタイミングでは右目用画像Ｒが表示されるため、ユーザの両目には視差のある左目用画像Ｌ及び右眼用画像Ｒが視認され、これによって３Ｄ表示が実現される。
以上説明したように本実施形態によれば、また、３Ｄの領域を切り出し領域に限定するので、伝送帯域への要求を必要最小限にすることが可能である。また、受信装置２００におけるデコーダの負荷の増加は、２Ｄ映像に追加する付加的なビューの立体表示に該当する領域の分に限定されるため、既存のレガシーのテレビ受像機での２Ｄ表示、３Ｄ表示が可能となる。従って、既存のデジタル映像信号フォーマットの仕組みを利用して、既存のレガシーのテレビ受像機との後方互換性が維持できる。更に、受信装置２００側では、付加的な追加ビューの該当する領域のみを追加でデコードすれば良いので、既存の２Ｄデコードに対して追加されるデコード負荷を最小限に抑えることが可能である。これにより、追加のデコード負荷をデコーダ以外のＣＰＵなどで担当することでシステム前提での負荷分散を図ることが可能になる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１００ 送信装置
１０８ 第１のエンコーダ
１１０ 第２のエンコーダ
１１４ 出力部
２００ 受信装置
２０６ 第１のエンコーダ
２０８ 第２のエンコーダ
２０２ ＣＰＵ
２１０ オブジェクト再生部

Claims (20)

  1. 第１の画像信号を復号化する第１の復号化部と、
    前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を復号化する第２の復号化部と、
    前記第１の画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を取得する情報取得部と、
    前記位置情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する映像合成部と、
    を備える、受信装置。
  2. 前記第１の画像フレームによる画像と前記第２の画像フレームによる画像を周期的に表示する表示部を備える、請求項１に記載の受信装置。
  3. 前記第１の画像フレームは動画のフレームであり、前記オブジェクト指示情報は、前記第１の画像フレームに対する前記領域の画像の時間的な同期情報を含み、
    前記映像合成部は、前記位置情報及び前記同期情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成する、請求項１に記載の受信装置。
  4. 前記オブジェクト指示情報は、前記第１の画像信号又は前記第２の画像信号による画像フレームのピクチャヘッダに含まれる、請求項３に記載の受信装置。
  5. 前記オブジェクト指示情報は、前記第１の画像信号及び前記第２の画像信号とは別のストリームで送信され、タイムスタンプにより前記第１の画像信号及び前記第２の画像信号と対応付けられる、請求項３に記載の受信装置。
  6. 前記第１の画像信号による前記第１の画像フレームのサイズと前記第２の画像信号による画像フレームのサイズが同一の場合、前記情報取得部による前記オブジェクト指示情報の取得を行わない、請求項１に記載の受信装置。
  7. 前記第１の復号化部と前記第２の復号化部は、異なる復号化方式によりそれぞれの復号化を行う、請求項１に記載の受信装置。
  8. 第１の画像信号を符号化する第１の符号化部と、
    前記第１の画像信号による画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を符号化する第２の符号化部と、
    符号化された前記第１の画像信号、前記第２の画像信号、及び前記画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を送信する送信部と、
    を備える、送信装置。
  9. 前記画像フレームは動画のフレームであり、前記オブジェクト指示情報は、前記画像フレームに対する前記領域の画像の時間的な同期情報を含む、請求項８に記載の送信装置。
  10. 前記オブジェクト指示情報は、前記第１の画像信号又は前記第２の画像信号による画像フレームのピクチャヘッダに挿入される、請求項８に記載の送信装置。
  11. 前記オブジェクト指示情報は、前記第１の画像信号及び前記第２の画像信号とは別のストリームで送信され、タイムスタンプにより前記第１の画像信号及び前記第２の画像信号と対応付けられる、請求項８に記載の送信装置。
  12. 前記領域の画像を前記画像フレームから分離する画像分離部を備え、
    前記第２の符号化部は、前記画像分離部で分離された前記領域の画像に対応する前記第２の画像信号を符号化する、請求項８に記載の送信装置。
  13. 前記画像分離部は、前記領域に対応するオブジェクトの動きに合わせて、前記画像フレーム内での前記領域の位置を変化させながら前記領域の画像を前記画像フレームから分離する、請求項１２に記載の送信装置。
  14. 前記第１の画像信号による前記第１の画像フレームのサイズと前記第２の画像信号による画像フレームのサイズが同一の場合、前記送信部は前記オブジェクト指示情報の送信を行わない、請求項８に記載の送信装置。
  15. 前記第１の符号化部と前記第２の符号化部は、異なる符号化方式によりそれぞれの符号化を行う、請求項８に記載の送信装置。
  16. 第１の画像信号を符号化する第１の符号化部と、前記第１の画像信号による画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を符号化する第２の符号化部と、符号化された前記第１の画像信号、前記第２の画像信号、及び前記画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を送信する送信部と、を有する送信装置と、
    前記第１の画像信号を復号化する第１の復号化部と、前記第２の画像信号を復号化する第２の復号化部と、前記オブジェクト指示情報を取得する情報取得部と、前記オブジェクト指示情報に含まれる前記位置情報に基づいて、前記第１の画像信号による第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する映像合成部と、を有する、受信装置と、
    を備える通信システム。
  17. 第１の画像信号を復号化するステップと、
    前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を復号化するステップと、
    前記第１の画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を取得するステップと、
    前記位置情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成するステップと、
    を備える、受信装置の制御方法。
  18. 第１の画像信号を復号化する手段、
    前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の画像に対応する第２の画像信号を復号化する手段、
    前記第１の画像フレームに対する前記領域の空間的な位置情報を含むオブジェクト指示情報を取得する手段、
    前記位置情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する手段、
    としてコンピュータを機能させるためのプログラム。
  19. 第１の画像信号を復号化する第１の復号化部と、
    前記第１の画像信号による第１の画像フレームの少なくとも一部の領域の空間的な位置情報と、前記第１の画像フレームに対する前記領域のオフセット量を含むオブジェクト指示情報を取得する情報取得部と、
    前記オブジェクト指示情報に基づいて、前記第１の画像フレームに対して前記領域の画像を合成して第２の画像フレームを生成する映像合成部と、
    を備える、受信装置。
  20. 静止画のソース画像から切り出された第１の画像に対応する第１の画像信号を復号化する第１の復号化部と、
    静止画のソース画像から切り出された第２の画像に対応する第２の画像信号を復号化する第２の復号化部と、
    前記第１の画像と前記第２の画像との空間的な位置情報を取得する位置情報取得部と、
    前記位置情報に基づいて、前記第１の画像と前記第２の画像を相対的にオフセットさせた状態で周期的に表示する表示部と、
    を備える、受信装置。
JP2011550892A 2010-01-22 2011-01-14 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム Withdrawn JPWO2011089982A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010012204 2010-01-22
JP2010012204 2010-01-22
PCT/JP2011/050548 WO2011089982A1 (ja) 2010-01-22 2011-01-14 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2011089982A1 true JPWO2011089982A1 (ja) 2013-05-23

Family

ID=44306785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011550892A Withdrawn JPWO2011089982A1 (ja) 2010-01-22 2011-01-14 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム

Country Status (8)

Country Link
US (1) US20120307006A1 (ja)
EP (1) EP2528334A4 (ja)
JP (1) JPWO2011089982A1 (ja)
KR (1) KR20120127409A (ja)
CN (1) CN102804791A (ja)
BR (1) BR112012017469A2 (ja)
RU (1) RU2012130007A (ja)
WO (1) WO2011089982A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5549476B2 (ja) * 2010-08-24 2014-07-16 ソニー株式会社 画像処理装置と画像処理方法
CN103517062B (zh) * 2012-06-15 2016-05-25 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
WO2015042828A1 (en) * 2013-09-26 2015-04-02 Intel Corporation Image frame processing including usage of acceleration data in assisting object location
CN104851119B (zh) * 2014-02-13 2019-04-12 腾讯科技（深圳）有限公司 一种动画可移植网络图形图片的生成方法和装置
MX2020000449A (es) 2017-07-20 2020-07-13 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
EP3843376A4 (en) * 2018-08-20 2021-09-15 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING SYSTEM
JP7327083B2 (ja) * 2019-10-30 2023-08-16 富士通株式会社 領域切り出し方法および領域切り出しプログラム
CN110868600B (zh) * 2019-11-11 2022-04-26 腾讯云计算（北京）有限责任公司 目标跟踪视频推流方法、显示方法、装置和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3066298B2 (ja) * 1995-11-15 2000-07-17 三洋電機株式会社 立体画像観察用眼鏡の制御方法
JPH1139507A (ja) * 1997-07-23 1999-02-12 Sanyo Electric Co Ltd 立体画像表示装置
US7529400B2 (en) * 2002-04-25 2009-05-05 Sharp Kabushiki Kaisha Image encoder, image decoder, record medium, and image recorder
JP2004248212A (ja) * 2003-02-17 2004-09-02 Kazunari Era 立体視画像表示装置
US7636088B2 (en) * 2003-04-17 2009-12-22 Sharp Kabushiki Kaisha 3-Dimensional image creation device, 3-dimensional image reproduction device, 3-dimensional image processing device, 3-dimensional image processing program, and recording medium containing the program
US9667980B2 (en) * 2005-03-01 2017-05-30 Qualcomm Incorporated Content-adaptive background skipping for region-of-interest video coding
CN101164341B (zh) * 2005-03-01 2012-05-02 高通股份有限公司 用于视频电话的质量度量偏移的关注区编码
JP2007228390A (ja) * 2006-02-24 2007-09-06 Optrex Corp 画像表示装置及び画像処理方法
US7982733B2 (en) * 2007-01-05 2011-07-19 Qualcomm Incorporated Rendering 3D video images on a stereo-enabled display
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
CN101453639B (zh) * 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和***
EP2418861A4 (en) * 2009-04-14 2013-01-09 Panasonic Corp VIDEO DISPLAY DEVICE, GLASS FOR VIEWING VIDEO AND A VIDEO DISPLAY DEVICE AND GLASS FOR VIDEO LISTENING SYSTEM

Also Published As

Publication number Publication date
US20120307006A1 (en) 2012-12-06
RU2012130007A (ru) 2014-01-20
CN102804791A (zh) 2012-11-28
EP2528334A1 (en) 2012-11-28
EP2528334A4 (en) 2014-01-15
WO2011089982A1 (ja) 2011-07-28
BR112012017469A2 (pt) 2016-04-19
KR20120127409A (ko) 2012-11-21

Similar Documents

Publication Publication Date Title
US10341636B2 (en) Broadcast receiver and video data processing method thereof
JP5482254B2 (ja) 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
WO2011089982A1 (ja) 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
US9210354B2 (en) Method and apparatus for reception and transmission
US20070008575A1 (en) Transport stream structure including image data and apparatus and method for transmitting and receiving image data
KR20110088334A (ko) 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9485490B2 (en) Broadcast receiver and 3D video data processing method thereof
US20140078256A1 (en) Playback device, transmission device, playback method and transmission method
WO2012070364A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2013069608A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2013011834A1 (ja) 送信装置、送信方法および受信装置
WO2012105376A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법
JP2013021683A (ja) 映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システム
WO2010133852A2 (en) An apparatus and method of transmitting three- dimensional video pictures via a two dimensional monoscopic video channel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131227

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20150406