JP2012533925A - 多視点映像符号化及び復号化のための方法及び装置 - Google Patents

多視点映像符号化及び復号化のための方法及び装置 Download PDF

Info

Publication number
JP2012533925A
JP2012533925A JP2012520550A JP2012520550A JP2012533925A JP 2012533925 A JP2012533925 A JP 2012533925A JP 2012520550 A JP2012520550 A JP 2012520550A JP 2012520550 A JP2012520550 A JP 2012520550A JP 2012533925 A JP2012533925 A JP 2012533925A
Authority
JP
Japan
Prior art keywords
video
reconstructed
predicted
hierarchical
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012520550A
Other languages
English (en)
Inventor
パク，ミン−ウ
チョウ，デ−ソン
チェー，ウン−イル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012533925A publication Critical patent/JP2012533925A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

多視点映像サービスを提供するための多視点映像符号化方法及び装置と多視点映像復号化方法及び装置とが提供される。上記多視点映像符号化方法は、任意の映像コーデックを用いて基本階層映像を符号化するステップと、再構成された基本階層映像及び上記基本階層映像とは異なる視点を有する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、上記予測映像を用いて上記異なる視点を有する階層映像を残差符号化するステップとを含む。

Description

本発明は、符号化及び復号化映像シーケンスのための装置及び方法に関し、特に、階層符号化構造（layered coding structure）で立体（stereoscopic）映像シーケンスのような多視点映像シーケンスの符号化及び復号化のための方法及び装置に関する。
関連技術３次元（３Ｄ）映像を符号化する方法の代表的な例は、ＭＰＥＧ−２パート２映像に基づく多視点プロフィール（Multi-view Profile：ＭＶＰ）（以下、“ＭＰＥＧ−２ ＭＶＰ”と称する）及びＨ．２６４（ＭＰＥＧ−４ ＡＶＣ）アメンドメント４に基づく多視点映像符号化（Multi-view Video Coding：ＭＶＣ）（以下,“Ｈ．２６４ ＭＶＣ”と称する）を含む。
立体映像を符号化するためのＭＰＥＧ−２ ＭＶＰ方法は、映像の視点間（inter-view）に存在する重複性を用いてＭＰＥＧ−２のメインプロフィール（Main Profile）及び階層プロフィール（Scalable Profile）に基づいて映像符号化を実行する。また、多視点（multi-view）映像を符号化するためのＨ．２６４ ＭＶＣ方法は、映像の視点間に存在する重複性を用いてＨ．２６４に基づいて映像符号化を実行する。
既存のＭＰＥＧ−２ ＭＶＰ及びＨ．２６４ ＭＶＣを用いて符号化された３Ｄ映像シーケンスは、それぞれＭＰＥＧ−２及びＨ．２６４との互換性だけを有するために、ＭＰＥＧ−２又はＨ．２６４に基づかないシステムでは、ＭＰＥＧ−２ ＭＶＰ及びＨ．２６４ ＭＶＣ基盤の３Ｄ映像を使用することができない。例えば、デジタルシネマ（Digital Cinema）のように他のコーデックを用いるシステムは、使用されるそれぞれのコーデックとの互換性を有しつつ３Ｄ映像サービスを追加で提供できなければならない。しかしながら、ＭＰＥＧ−２ ＭＶＰ及びＨ．２６４ ＭＶＣが他のコーデックを用いるシステムとの互換性に欠けているので、ＭＰＥＧ−２ ＭＶＰやＨ．２６４ ＭＶＣ以外のコーデックを用いるシステムでも３Ｄ映像サービスを容易に提供するための新たな方案が要求される。
本発明の目的は、少なくとも上述した問題点及び／又は不都合に取り組み、少なくとも以下の便宜を提供することにある。すなわち、本発明の目的は、様々な映像コーデックとの互換性を提供しつつ多視点映像サービスを提供する映像符号化及び復号化方法と装置を提供することにある。
本発明の他の目的は、階層符号化及び復号化方法に基づいて多視点映像サービスを提供する映像符号化及び復号化方法と装置を提供することにある。
上記のような目的を達成するために、本発明の実施形態の一態様によれば、多視点映像サービスを提供するための多視点映像符号化方法を提供する。上記方法は、任意の映像コーデックを用いて基本階層映像を符号化するステップと、上記符号化された基本階層映像から再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、上記生成された予測映像を用いて上記異なる視点に対応する階層映像を残差符号化するステップとを有することを特徴とする。
本発明の実施形態の他の態様によれば、多視点映像サービスを提供するための多視点映像符号化装置を提供する。上記装置は、任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、上記符号化された基本階層映像から再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、上記生成された予測映像を用いて上記異なる視点に対応する階層映像を残差符号化する残差符号化器とを有することを特徴とする。
本発明の実施形態のさらに他の態様によれば、多視点映像サービスを提供するための多視点映像復号化方法を提供する。上記方法は、任意の映像コーデックを用いて基本階層映像を再構成するステップと、上記再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、残差復号化された階層映像及び上記生成された予測映像を用いて上記異なる視点に対応する階層映像を再構成するステップとを有することを特徴とする。
本発明の実施形態のさらなる他の態様によれば、多視点映像サービスを提供するための多視点映像復号化装置を提供する。上記装置は、任意の映像コーデックを用いて基本階層映像を再構成する基本階層復号化器と、上記再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、上記異なる視点に対応する階層映像を残差符号化する残差符号化器と、上記残差復号化された階層映像に上記生成された予測映像を加えることにより上記異なる視点に対応する上記階層映像を再構成する結合器とを有することを特徴とする。
本発明の実施形態のさらにその他の態様によれば、任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、上記符号化された基本階層映像から再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、上記生成された予測映像を用いて上記異なる視点に対応する階層映像を残差符号化する残差符号化器と、上記符号化された基本階層映像及び上記残差符号化された階層映像をビットストリームに多重化し、上記ビットストリームを出力する多重化器とを有する多視点映像符号化装置と、上記出力されたビットストリームを受信し、上記受信されたビットストリームを基本階層ビットストリーム及び階層ビットストリームに逆多重化する逆多重化器と、任意の映像コーデックに対応する映像コーデックを用いて基本階層ビットストリームから上記基本階層映像を再構成する基本階層復号化器と、上記再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、残差復号化された階層映像を出力するために上記階層ビットストリームを残差復号化する残差復号化器と、上記生成された予測映像を上記残差復号化された階層映像に加えることにより異なる視点に対応する上記階層映像を再構成する結合器とを有する多視点映像復号化装置を含むことを特徴とする。
本発明の他の目的、利点、及び顕著な特徴は、添付の図面及び本発明の実施形態からなされる以下の詳細な説明から、当業者にとって明確になるはずである。
例示的な実施形態による多視点映像符号化器の構成を示すブロック図である。 例示的な実施形態による多視点映像符号化器での視点変換器の構成を示すブロック図である。 例示的な実施形態による多視点映像符号化方法を示すフローチャートである。 例示的な実施形態による多視点映像符号化器で実行される視点変換方法を示すフローチャートである。 例示的な実施形態による多視点映像復号化器の構成を示すブロック図である。 例示的な実施形態による多視点映像復号化器での視点変換器の構成を示すブロック図である。 例示的な実施形態による多視点映像復号化方法を示すフローチャートである。 例示的な実施形態による多視点映像復号化器で実行される視点変換方法を示すフローチャートである。 例示的な他の実施形態に従ってＮ個の向上階層を有する多視点映像符号化器の一構成例を示すブロック図である。 例示的な他の実施形態に従ってＮ個の向上階層を有する多視点映像復号化器の一構成例を示すブロック図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。下記の説明において、具体的な構成及び要素のような特定詳細は、単に実施形態の全般的な理解を助けるために提供される。また、公知の機能及び構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。さらに、図面において、同一の構成要素には、可能な限り同一の参照符号及び番号を付するものとする。“少なくとも１つの”との表現は、要素のリストに先行する場合に、要素のリスト全体を変更し、上記リストの個別的な要素を変更しない。
下記の説明では、具体的なコーデックのタイプとしてＨ．２６４及びＶＣ−１のようなコーデックが紹介されているが、このような例示的なコーデックは、例示的な実施形態のさらなる理解を助けるために提供されるだけであり、本発明の範囲を限定するものではない。
例示的な実施形態は、映像符号化／復号化のために既存に使用された任意のコーデックと互換性を保持しつつも３次元（３Ｄ）映像サービスのような多視点映像サービスを提供するために映像符号化器／復号化器の階層的構造を提供する。
例示的な実施形態に従って階層符号化／復号化構造（layered coding/decoding structure）で設計された映像符号化器／復号化器は、１つの基本階層（base layer）映像及び少なくとも１つの向上階層（enhancement layer）映像を含む多視点映像の符号化／復号化を行う。ここで、この基本階層映像とは、ＶＣ−１及びＨ．２６４のような既存の映像コーデックを用いて既存の方式に基づいて圧縮符号化された映像を意味する。この向上階層映像は、基本階層で使用される映像コーデックのタイプと無関係に、一視点の基本階層映像及びこの基本階層とは異なる視点（view）の向上階層映像の中の少なくとも１つを用いて視点変換された映像を残差符号化することにより得られる映像を意味する。
本明細書において、この向上階層映像は、基本階層映像とは異なる視点を有する映像を意味する。
また、例示的な実施形態において、この基本階層映像が左側視点映像である場合に、向上階層映像は、右側視点映像であり得る。逆に、基本階層映像が右側視点映像である場合に、向上階層映像は、左側視点映像であり得る。基本階層映像及び向上階層映像は、前後視点映像及び上下視点映像のような様々な視点の映像であり得るが、この向上階層映像が１つである場合に、基本階層及び向上階層映像は、説明の便宜上、それぞれ左右視点映像で考慮される。したがって、向上階層映像は、基本階層映像とは異なる視点を有する階層映像として解釈され得る。以下、本明細書において、異なる視点を有する階層映像及び向上階層映像は、等価の意味で理解され得る。また、向上階層映像が複数である場合に、基本階層映像及び複数の向上階層映像を用いて（前後視点映像、上下視点映像などのような）様々な視点の映像を多視点映像として提供され得る。
さらに、例示的な実施形態によると、向上階層映像は、残差映像（residual picture）を符号化することにより生成される。この残差映像は、向上階層の入力映像と例示的な実施形態に従って視点変換（view conversion）による予測映像間の差から得られた映像データを符号化した結果として定義される。この予測映像は、再構成された基本階層映像及び再構成された向上階層映像の中の少なくとも１つを用いて生成される。
この基本階層の入力映像を“ｖｉｅｗ ０”として仮定し、この向上階層の入力映像を“ｖｉｅｗ １”として仮定する場合に、この再構成された基本階層映像は、入力映像“ｖｉｅｗ ０”を任意の既存の映像コーデックにより符号化した後に、この符号化された映像を復号化することにより現在再構成される基本階層映像を意味する。この予測映像の生成のために使用される再構成された向上階層映像は、前の残差映像と前の予測映像とを加えて生成された前に再構成された向上階層映像を意味する。また、向上階層の数が複数である場合に、この再構成された向上階層映像は、対応する向上階層とは異なる視点の他の向上階層で現在符号化された残差映像を再構成することにより生成された現在再構成された向上階層映像を意味する。予測映像を生成するための視点変換についての具体的な説明は後述する。
例示的な実施形態による多視点映像符号化器は、基本階層の入力映像を任意の映像コーデックを用いて符号化することにより一視点の基本階層映像をビットストリームで出力し、この視点変換により生成される予測映像を用いて向上階層の入力映像に対する残差符号化を実行することにより基本階層映像の視点とは異なる視点を有する向上階層映像をビットストリームで出力する。
例示的な実施形態による多視点映像復号化器は、この任意の映像コーデックを用いて符号化された一視点の基本階層映像を復号化することにより一視点の基本階層映像を再構成し、基本階層映像の視点とは異なる視点を有するこの符号化された向上階層映像を残差復号化した後に、この視点変換による予測映像を用いてこの異なる視点を有する向上階層映像を再構成する。
一視点の２次元（２Ｄ）映像は、このビットストリームから基本階層のビットストリームを取り、この基本階層のビットストリームを復号化することにより再構成され得、異なる視点を有する向上階層映像、例えば、３Ｄ映像は、基本階層のビットストリームを復号化した後に、例示的な実施形態による視点変換を実行することにより生成された予測映像を向上階層のビットストリームを復号化することにより生成された残差映像と結合することにより再構成され得る。
以下、例示的な実施形態による多視点映像符号化器の構成及び動作について具体的に説明する。説明の便宜のために、次に説明される例示的な実施形態は、視点変換の間に再構成された現在の基本階層映像及び再構成された前の向上階層映像をすべて使用し、向上階層の数は、１である。しかしながら、他の例示的な実施形態がこれに限定されないことに留意すべきである。
図１は、例示的な実施形態による多視点映像符号化器１００の構成を示すブロック図である。図１を参照すると、Ｐ１は、基本階層の入力映像を示し、Ｐ２は、向上階層の入力映像を示す。基本階層符号化器１０１は、既存の映像コーデック（例えば、ＶＣ−１，Ｈ．２６４，ＭＰＥＧ−４，Ｐａｒｔ ２ Ｖｉｓｕａｌ，ＭＰＥＧ−２ Ｐａｒｔ ２ Ｖｉｄｅｏ，ＡＶＳ，ＪＰＥＧ２０００など）の中で任意の映像コーデックを用いて既存の方式に従って基本階層で一視点の入力映像Ｐ１を圧縮符号化し、この符号化された基本階層映像を基本階層ビットストリームＰ３で出力する。さらに、基本階層符号化器１０１は、この符号化された基本階層映像を再構成し、この再構成された基本階層映像Ｐ４を基本階層バッファ１０３に記憶する。視点変換器１０５は、現在再構成された基本階層映像（以下、“現在基本階層映像”と称する）Ｐ８を基本階層バッファ１０３から受信する。
残差符号化器１０７は、向上階層の入力映像Ｐ２から視点変換器１０５の予測映像Ｐ５を減算した映像データを減算器１０９を通して受信し、この受信された映像データを残差符号化する。この残差符号化された向上階層映像、すなわち、符号化された残差映像は、向上階層ビットストリームＰ６で出力される。また、残差符号化器１０７は、この残差符号化された向上階層映像を再構成し、再構成された向上階層映像Ｐ７、すなわち、再構成された残差映像を出力する。視点変換器１０５からの予測映像Ｐ５及び再構成された向上階層映像Ｐ７は、加算器１１１により加算され、向上階層バッファ１１３に記憶される。視点変換器１０５は、前に再構成された向上階層映像（以下、“以前向上階層映像”と称する）を向上階層バッファ１１３から受信する。例示的な実施形態において、基本階層バッファ１０３及び向上階層バッファ１１３が個別に図示されたが、他の例示的な実施形態に従って基本階層バッファ１０３及び向上階層バッファ１１３を１つのバッファで実現することも可能である。
視点変換器１０５は、基本階層バッファ１０３から現在基本階層映像Ｐ８を受信し、向上階層バッファ１１３から以前向上階層映像Ｐ９を受信し、視点変換された予測映像Ｐ５を生成する。また、視点変換器１０５は、多視点映像復号化器で復号のために使用される後述する予測映像の制御情報を含む制御情報ビットストリームＰ１０を生成する。この生成された予測映像Ｐ５は、減算器１０９に出力されることにより向上階層ビットストリームＰ６を生成するのに使用されることはもちろん、加算器１１１に出力されることにより次の予測映像を生成するのに使用される。多重化器（ＭＵＸ）１１５は、基本階層ビットストリームＰ３、向上階層ビットストリームＰ６、及び制御情報ビットストリームＰ１０を多重化し、この多重化されたビットストリームＰ３、Ｐ６、Ｐ１０を１つのビットストリームで出力する。
多視点映像符号化器１００は、階層符号化構造を用いた任意の映像符号化方法と互換性があるために、既存のシステムで実現されることができ、３Ｄ映像サービスを含む多視点映像サービスを効率的にサポートすることができる。
図２は、例示的な実施形態による多視点映像符号化器１００の視点変換器１０５の構成を示すブロック図である。図２を参照すると、視点変換器１０５は、Ｍ×Ｎピクセルブロックの単位で映像データを分割し、ブロック単位で予測映像を順次に生成する。具体的に、映像タイプ決定器１０５１は、映像タイプ（Picture Type）（ＰＴ）に従って現在基本階層映像を用いて予測映像を生成するか、基本階層とは異なる視点の現在再構成された向上階層映像（以下、“現在向上階層映像”と称する）を用いて予測映像を生成するか、又は現在基本階層映像Ｐ８と以前向上階層映像Ｐ９との組合せを用いて予測映像を生成するかを決定する。例えば、現在向上階層映像を用いて予測映像を生成することは、向上階層が複数である場合に適用され得る。
映像タイプ決定器１０５１は、向上階層の入力映像Ｐ２のＰＴに従って現在基本階層映像Ｐ８と以前向上階層映像Ｐ９との参照関係、すなわち、使用するか否かを決定する。例えば、現在符号化される向上階層の入力映像Ｐ２のＰＴがイントラピクチャ（Intra-Picture）である場合に、現在基本階層映像Ｐ８を用いて予測映像Ｐ５の生成のための視点変換を実行し得る。また、複数の向上階層が提供され、ＰＴがイントラピクチャである場合に、現在向上階層映像だけを用いて予測映像の生成のための視点変換を実行することができる。
また、実施形態に従って、向上階層の入力映像Ｐ２のＰＴがインターピクチャ（Inter-Picture）である場合に、現在基本階層映像Ｐ８及び以前向上階層映像Ｐ９を用いて予測映像Ｐ５の生成のための視点変換を実行することができる。ＰＴは、例示的な実施形態の多視点映像符号化器が適用されたシステムの上位階層で与えられ得る。ＰＴは、イントラ映像及びインター映像の中の１つとして予め定められたタイプであり得る。
ディスパリティー予測器／動き予測器（ＤＥ／ＭＥ）１０５３は、映像タイプ決定器１０５１の決定結果に基づいて現在基本階層映像Ｐ８を用いてブロック単位のディスパリティー予測（Disparity Estimation：ＤＥ）を実行することによりディスパリティーベクトルを出力するか、又は現在基本階層映像Ｐ８及び以前向上階層映像Ｐ９を用いてブロック単位のディスパリティー予測（ＤＥ）及び動き予測（Motion Estimation：ＭＥ）を実行することにより関連するブロックのディスパリティーベクトル及び動きベクトルをそれぞれ出力する。また、向上階層が複数個である場合に、ＤＥ／ＭＥ１０５３は、対応する向上階層の入力映像の視点とは異なる視点を有する他の向上階層で現在向上階層映像を用いてブロック単位のＤＥを実行することができる。
このディスパリティーベクトル及びこの動きベクトルは、現在基本階層映像及び以前／現在向上階層映像の中でどの参照映像（ｓ）を用いるかに従って異なって名づけられるように解釈され得、使用される参照映像（ｓ）に基づく予測過程及びベクトル出力過程は、同一の方法で実行され得る。
視点変換器１０５は、視点変換をマクロブロック単位、例えば、Ｍ×Ｎピクセルブロック単位で実行する。視点変換の一実施形態として、ＤＥ／ＭＥ１０５３は、Ｍ×Ｎピクセルブロック単位でディスパリティーベクトル及び動きベクトルの中の少なくとも１つを出力し得る。他の実施形態として、ＤＥ／ＭＥ１０５３は、Ｍ×Ｎピクセルブロック単位でブロックの領域を様々な方法でＫ個のパーテーションに分け、Ｋ個のディスパリティーベクトル及び／又は動きベクトルを出力し得る。
例えば、視点変換器１０５が１６×１６ピクセルブロック単位で視点変換を実行する場合に、ＤＥ／ＭＥ１０５３は、１６×１６ピクセルブロックごとにディスパリティーベクトル又は動きベクトルを出力し得る。他の実施形態として、視点変換器１０５が１６×１６ピクセルブロックをＫ個のパーテーションに分け視点変換を実行する場合に、ＤＥ／ＭＥ１０５３は、１６×１６ピクセルブロック単位の１Ｋ個のディスパリティーベクトルや動きベクトル又は８×８ピクセルブロック単位の４Ｋ個のディスパリティーベクトルや動きベクトルを選択的に出力し得る。
モード選択器１０５５は、予測映像を生成しようとするＭ×Ｎピクセルブロックに対して現在基本階層映像又は以前向上階層映像を参照して補償を実行するか否かを決定する。向上階層が複数個である場合に、モード選択器１０５５は、対応する向上階層の視点とは異なる視点を有する他の向上階層で現在向上階層映像を参照して補償を実行するか否かを選択する。
ＤＥ／ＭＥ１０５３により実行されるＤＥ及び／又はＭＥの結果に基づいて、モード選択器１０５５は、ディスパリティーベクトルを用いてＤＥモードに従って現在のＭ×Ｎピクセルブロックに対してディスパリティー補償（Disparity Compensation：ＤＣ）を実行するか又は動きベクトルを用いてＭＥモードに従って動き補償を実行するようにＤＥモード及びＭＥモードの中で最適のモードを選択する。モード選択器１０５５は、Ｍ×Ｎピクセルブロックを複数のパーテーションに分け、複数のディスパリティーベクトル又は複数の動きベクトルを使用するかを決定し得る。この決定された情報は、後述する予測映像の制御情報を有する多視点映像復号化器に伝達され得る。この際に、分けられたパーテーションの個数は、予め定められ得る。
ディスパリティー補償器／動き補償器（ＤＣ／ＭＣ）１０５７は、モード選択器１０５５で選択された最小予測値を有するモードがＤＥモードであるか又はＭＥモードであるかに従ってＤＣを実行するか又はＭＣを実行することにより予測映像Ｐ５を生成する。モード選択器１０５５で選択されたモードがＤＥモードである場合に、ＤＣ／ＭＣ１０５７は、現在基本階層映像でディスパリティーベクトルを用いてＭ×Ｎピクセルブロックを補償することにより予測映像Ｐ５を生成する。この選択されたモードがＭＥモードである場合に、ＤＣ／ＭＣ１０５７は、以前向上階層映像で動きベクトルを用いてＭ×Ｎピクセルブロックを補償することにより予測映像Ｐ５を生成する。例示的な実施形態によると、この選択されたモードがＤＥモードであるか又はＭＥモードであるかを示すモード情報は、例えば、フラグ情報の形態で多視点映像復号化器に伝達され得る。
エントロピー符号化器１０５９は、予測映像が生成される各ブロックに対して、モード情報及びディスパリティーベクトル情報又は動きベクトル情報を含む予測映像の制御情報をエントロピー符号化し、制御情報ビットストリームＰ１０で符号化された情報を出力する。例えば、制御情報ビットストリームＰ１０は、向上階層ビットストリームＰ６の映像ヘッダー（picture header）に挿入された後に多視点映像復号化器に伝達され得る。この予測映像の制御情報の中でこのディスパリティーベクトル情報及び動きベクトル情報は、エントロピー符号化の間に同一のシンタックス（syntax）を使用して制御情報ビットストリームＰ１０に挿入され得る。
１つ又は複数の例示的な実施形態に従う多視点映像符号化方法は、図３及び図４を参照して説明する。
図３は、例示的な実施形態による多視点映像符号化方法を示すフローチャートである。図３を参照すると、ステップ３０１で、基本階層符号化器１０１は、コーデックを用いて第１の視点の基本階層の入力映像を符号化することにより基本階層ビットストリームを出力する。基本階層符号化器１０１は、この符号化された基本階層映像を再構成し、この再構成された基本階層映像を基本階層バッファ１０３に記憶する。一方、残差符号化器１０７は、前の時間で第２の視点の向上階層で前の入力映像を残差符号化し、この符号化された向上階層映像を再構成し、この再構成された向上階層映像を出力すると仮定する。したがって、前に再構成された向上階層映像は、視点変換器１０５で前に生成された予測映像に加えられた後に向上階層バッファ１１３に記憶された状態である。
ステップ３０３で、視点変換器１０５は、基本階層バッファ１０３から再構成された基本階層映像を受信し、向上階層バッファ１１３から再構成された向上階層映像を受信する。この後に、視点変換器１０５は、再構成された基本階層映像及び再構成された向上階層映像の中の少なくとも１つを用いて向上階層の入力映像に対して視点変換された予測映像を生成する。上述したように、視点変換器１０５は、現在基本階層映像を用いて予測映像を生成するか又は現在基本階層映像及び対応する向上階層で以前向上階層映像を用いて予測映像を生成し得る。ステップ３０５で、残差符号化器１０７は、第２の視点の向上階層の入力映像からこの予測映像を減算することにより得られた映像データを残差符号化し、この符号化された向上階層映像を出力する。
ステップ３０７で、多重化器１１５は、ステップ３０１で符号化された基本階層映像及びステップ３０５で符号化された向上階層映像を多重化し、この多重化された映像をビットストリームで出力する。図３の実施形態では、便宜上、向上階層の数を１つに例示的に仮定したが、この向上階層は、複数であり得る。この場合に、上述したように、現在基本階層映像及び以前向上階層映像を用いて予測映像を生成するか又は対応する向上階層の視点とは異なる視点を有する他の向上階層で現在向上階層映像を用いて予測映像を生成し得る。
図３の実施形態では、基本階層映像の符号化過程及び向上階層映像の符号化過程が順次に示されているが、基本階層映像の符号化及び向上階層映像の符号化は、並列にも実行され得ることが分かる。
図４は、例示的な実施形態による多視点映像符号化器で実行される視点変換方法を示すフローチャートである。例示的な実施形態において、予測映像の生成の間に処理されるマクロブロックは、１６×１６ピクセルブロックである。このマクロブロックのサイズは、例示であるだけであり、他の実施形態がこれに限定されるのではない。
図４を参照すると、ステップ４０１で、映像タイプ決定器１０５１は、向上階層で現在符号化される入力映像のＰＴがイントラ映像であるか又はインター映像であるかを決定する。ステップ４０１で、ＰＴがイントラ映像として決定される場合に、ステップ４０３で、ＤＥ／ＭＥ１０５３は、現在基本階層映像を参照映像として用いて１６×１６ピクセルブロック単位及び８×８ピクセルブロック単位のＤＥをそれぞれ実行することにより各ピクセルブロックの予測値（cost）を計算する。ステップ４０１で、ＰＴがインター映像として決定される場合に、ステップ４０５で、ＤＥ／ＭＥ１０５３は、現在基本階層映像及び以前向上階層映像を参照映像として用いて１６×１６ピクセルブロック単位及び８×８ピクセルブロック単位のＤＥ及びＭＥをそれぞれ実行することにより各ピクセルブロックの予測値を計算する。ステップ４０３及びステップ４０５で計算された予測値は、現在入力映像ブロックとディスパリティーベクトル又は動きベクトルに基づいて現在入力映像ブロックに対応するブロック間の差を意味する。予測値の一例は、ＳＡＤ（Sum of Absolute Difference）及びＳＳＤ（Sum of Square Difference）などを含む。
ステップ４０７で、現在符号化される向上階層の入力映像がイントラ映像である場合に、モード選択器１０５５は、１６×１６ピクセルブロックに対してＤＥを実行することにより得られた予測値を１６×１６ピクセルブロック内の８×８ピクセルブロックに対してＤＥを実行することにより得られた予測値と比較することにより最小予測値を有するＤＥモードを選択する。現在符号化される向上階層の入力映像がインター映像である場合に、モード選択器１０５５は、１６×１６ピクセルブロックに対してＤＥを実行することにより得られた予測値を１６×１６ピクセルブロック内の８×８ピクセルブロックに対してＤＥを実行することにより得られた予測値と、１６×１６ピクセルブロックに対してＭＥを実行することにより得られた予測値と、１６×１６ピクセルブロック内の８×８ピクセルブロックに対してＭＥを実行することにより得られた予測値と比較することにより、最小予測値を有するモードがＤＥモードであるか又はＭＥモードであるかを決定する。この決定の結果として、最小予測値を有するモードがＤＥモードである場合に、モード選択器１０５５は、フラグ情報“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”を“1”に設定する。逆に、最小予測値を有するモードがＭＥモードである場合に、モード選択器１０５５は、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”を“０”に設定する。
ステップ４０９で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“１”である場合に、ＤＣ／ＭＣ１０５７は、ステップ４１１で、ＤＥで生成された１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトルを用いて現在基本階層映像からＤＣを実行する。ステップ４０９で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“０”である場合に、ＤＣ／ＭＣ１０５７は、ステップ４１３で、ＭＥで生成された１６×１６ピクセル単位又は８×８ピクセル単位の動きベクトルを用いて以前向上階層映像からＭＣを実行する。このように、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”は、予測映像を生成する過程で基本階層映像及び向上階層映像の中のどの映像を参照してこの予測映像を実行するかを示し得る。
ステップ４１１で、対応するブロックに対してＤＣを実行するか又はステップ４１３でＭＣを実行した後に、ステップ４１５で、エントロピー符号化器１０５９は、ＤＥ／ＭＥ１０５３で計算されたディスパリティーベクトル又は動きベクトルに関する情報と、モード選択器１０５５で選択されたモードに関する情報をエントロピー符号化し、この結果をビットストリームで出力する。この際に、現在符号化される向上階層の入力映像がインター映像である場合に、エントロピー符号化器１０５９は、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”及び１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトル又は動きベクトルを使用するか否かに関するモード情報のエントロピー符号化を実行し、ディスパリティーベクトル又は動きベクトルの数だけディスパリティーベクトル又は動きベクトルのエントロピー符号化を実行する。ディスパリティーベクトル又は動きベクトルに対するエントロピー符号化は、ディスパリティーベクトル又は動きベクトルの予測値から実際のベクトル値を減算することにより得られた差分値を符号化することにより行われる。現在符号化される向上階層の入力映像がイントラ映像である場合に、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”の符号化は省略され得る。ランダムアクセスを保証するために前の映像が参照されることができないために基本階層の映像からＤＣだけが使用され得る。“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が存在しなくても、多視点映像復号化器は、向上階層映像がイントラ映像であることを確認して向上階層ビットストリームのヘッダーをチェックすることによりＤＣを実行し得る。
このエントロピー符号化が１つのブロックに対して完了した場合に、視点変換器１０５は、ステップ４１７で次のブロックに進み、ステップ４０１乃至ステップ４１５は、現在符号化される向上階層の入力映像の各ブロックに対して実行される。
例示的な実施形態による多視点映像復号化器の構成及び動作について具体的に説明する。説明の便宜のために、下記説明される例示的な実施形態は、視点変換の間に再構成された現在基本階層映像及び再構成された以前向上階層映像をすべて使用し、向上階層の数は１である。しかしながら、他の実施形態がこれに限定されるのではない。
図５は、例示的な実施形態による多視点映像復号化器５００の構成を示すブロック図である。図５を参照すると、逆多重化器５０１は、多視点映像符号化器１００により符号化されたビットストリームを基本階層ビットストリームＱ１、向上階層ビットストリームＱ２、及び向上階層映像の復号化の間に使用される制御情報ビットストリームＱ３に逆多重化する。また、逆多重化器５０１は、基本階層ビットストリームＱ１を基本階層復号化器５０３に提供し、向上階層ビットストリームＱ２を残差復号化器５０５に提供し、制御情報ビットストリームＱ３を視点変換器５０７に提供する。
基本階層復号化器５０３は、基本階層符号化器１０１で使用された任意の映像コーデックに対応する方式を用いて基本階層ビットストリームＱ１を復号化することにより第１の視点の基本階層映像Ｑ４を出力する。第１の視点の基本階層映像Ｑ４は、現在再構成された基本階層映像（以下、“現在基本階層映像”と称する）Ｑ５として基本階層バッファ５０９に記憶される。
一方、残差復号化器５０５は、前の時間で向上階層ビットストリームＱ２を残差復号化し、残差復号化器５０５により再構成された向上階層映像は、加算器５１１を結合器として使用して前の時間で視点変換器５０７で生成された予測映像Ｑ６に加えられた後に、向上階層バッファ５１３に記憶されると仮定する。したがって、視点変換器５０７は、前に再構成された向上階層映像（以下、“以前向上階層映像”と称する）Ｑ９を向上階層バッファ５１３から受信する。
図５の実施形態において、基本階層バッファ５０９及び向上階層バッファ５１３を個々に示したが、バッファ５０９及び５１３は、他の実施形態に従って１つのバッファで構成することも可能である。
視点変換器５０７は、基本階層バッファ５０９から現在基本階層映像Ｑ８を受信し、向上階層バッファ５１３から以前向上階層映像Ｑ９を受信し、現在時間で視点変換された予測映像Ｑ６を生成する。予測映像Ｑ６は、加算器５１１を用いて残差復号化器５０５により残差復号化された現在向上階層映像に付加された後に、向上階層バッファ５１３に出力される。向上階層バッファ５１３に記憶された現在再構成された向上階層映像は、再構成された第２の視点の向上階層映像Ｑ７として出力される。その後に、現在再構成された向上階層映像は、次の予測映像を生成するために使用されるように以前向上階層映像として視点変換器５０７に提供され得る。
多視点映像復号化器５００は、基本階層ビットストリームだけを復号化することにより１視点の復号化映像で既存の２Ｄ映像サービスをサポートすることができる。図５の実施形態では、１つの向上階層だけを図示したが、多視点映像復号化器５００は、基本階層ビットストリームとともに異なる視点を有するＮ個の向上階層ビットストリームを復号化することにより復号化された視点＃１〜Ｎを出力する場合に、多視点映像サービスもサポートすることができる。図５の構成に基づいて、様々な視点に対するスケーラービリティー（scalability）機能も提供され得る。
図６は、例示的な実施形態による多視点映像復号化器５００での視点変換器５０７の構成を示すブロック図である。図６を参照すると、視点変換器５０７は、Ｍ×Ｎピクセルブロック単位で映像データを分割し、ブロック単位で予測映像を順次に生成する。具体的に、映像タイプ決定器５０７１は、ＰＴに従って、現在基本階層映像を用いて予測映像を生成するか又は異なる視点で現在再構成された向上階層映像（以下、“現在向上階層映像”と称する）を用いて予測映像を生成するか、又は現在基本階層映像及び以前向上階層映像を用いて予測映像を生成するかを決定する。例えば、現在向上階層映像を用いて予測映像を生成することは、向上階層が複数個である場合に適用され得る。
ＰＴは、残差復号化器５０５に入力される向上階層ビットストリームＱ２のヘッダー情報に含まれ得、例示的な実施形態の多視点映像復号化器が適用されたシステムの上位階層によりヘッダー情報から取得され得る。
映像タイプ決定器５０７１は、ＰＴに従って現在基本階層映像Ｑ８及び以前向上階層映像Ｑ９の参照関係、すなわち、使用するか否かを決定する。例えば、現在復号化される向上階層ビットストリームＱ２のＰＴがイントラピクチャ（intra-picture）である場合に、予測映像Ｐ６の生成のための視点変換は、現在基本階層映像Ｑ８だけを用いて実行され得る。また、複数の向上階層が提供され、ＰＴがイントラピクチャである場合に、現在向上階層映像を用いて予測映像Ｑ６の生成のための視点変換を実行し得る。
さらに、向上階層ビットストリームＱ２のＰＴがインターピクチャ（inter-picture）である場合に、予測映像Ｑ６の生成のための視点変換は、現在基本階層映像Ｑ８及び以前向上階層映像Ｑ９を用いて実行され得る。
エントロピー復号化器５０７３は、逆多重化器５０１から受信された制御情報ビットストリームＱ３をエントロピー復号化し、この復号化された予測映像の制御情報をＤＣ／ＭＣ５０７５に出力する。上述したように、この予測映像の制御情報は、Ｍ×Ｎピクセルブロックの各ブロックに対応するモード情報とディスパリティー情報及び動き情報の中の少なくとも１つとを含む。
このモード情報は、現在のＭ×Ｎピクセルブロックでディスパリティーベクトルを用いてＤＣを実行するか又は動きベクトルを用いてＭＣを実行するかを示す情報及びＤＣ／ＭＣ５０７５が各Ｍ×Ｎピクセルブロックなどで選択するディスパリティーベクトル又は動きベクトルの数を示す情報を含む。
予測映像の制御情報に基づいて、符号化の間に選択された最小予測値を有するモードがＤＣモードである場合に、ＤＣ／ＭＣ５０７５は、復号化される向上階層の映像と同一の時間の現在基本階層映像のディスパリティーベクトルを用いるＤＣを実行することにより予測映像Ｑ６を生成する。逆に、この最小予測値を有するモードがＭＣモードである場合に、ＤＣ／ＭＣ５０７５は、以前向上階層映像の動きベクトルを用いるＭＣを実行することにより予測映像Ｑ６を生成する。
以下、１つ又は複数の例示的な実施形態による多視点映像符号化方法を図７及び図８を参照して説明する。
図７は、例示的な実施形態による多視点映像復号化方法を示すフローチャートである。例示的な実施形態において、多視点映像復号化器５００は、例えば、図１に示す多視点映像符号化器１００により符号化されたビットストリームを受信する。入力されたビットストリームは、逆多重化器５０１により基本階層ビットストリーム、向上階層ビットストリーム、及び制御情報ビーストストリームに逆多重化される。
図７を参照すると、ステップ７０１で、基本階層復号化器５０３は、基本階層ビットストリームを受信し、多視点映像符号化器１００の基本階層符号化器１０１で使用された任意のコーデックに対応する方式を用いて基本階層ビットストリームを復号化することにより第１の視点の基本階層映像を再構成する。基本階層復号化器５０３は、復号化により再構成された基本階層映像を基本階層バッファ５０９に記憶する。一方、残差復号化器５０５は、現在の向上階層ビットストリームを受信し、この受信された現在の向上階層映像を残差復号化する。この際に、この残差復号化により前に再構成された向上階層映像及び視点変換器５０７により前に生成された予測映像は、加算器５１１により前に加算され、向上階層バッファ５１３に予め記憶されると仮定する。
ステップ７０３で、視点変換器５０７は、基本階層バッファ５０９から再構成された基本階層映像を受信し、向上階層バッファ５１３から再構成された向上階層映像を受信する。この後に、視点変換器５０７は、再構成された基本階層映像及び再構成された向上階層映像の中の少なくとも１つを用いて向上階層の入力映像に対して視点変換された予測映像を生成する。上述したように、視点変換器５０７は、現在基本階層映像を用いて予測映像を生成するか又は現在基本階層映像及び対応する向上階層で以前向上階層映像を用いて予測映像を生成し得る。ステップ７０５で、加算器５１１は、残差復号化器５０５により残差復号化された現在向上階層映像にステップ７０３で生成された予測映像を加えることにより第２の視点の向上階層映像を再構成する。ここで、現在再構成された第２の視点の向上階層映像は、向上階層バッファ５１３に記憶され、次の予測映像を生成する際に以前向上階層映像として使用され得る。
図７では、向上階層の数が１であると仮定して例示的な実施形態を説明したが、この向上階層は、多視点映像符号化器１００で向上階層の個数に対応するように複数個であり得る。この場合に、上述したように、現在基本階層映像及び以前向上階層を用いて予測映像を生成するか又は対応する向上階層の視点とは異なる視点を有する他の向上階層で現在向上階層映像を用いて予測映像を生成し得る。
また、図７の実施形態では、基本階層映像の復号化及び向上階層映像の復号化過程が順次に示されているが、基本階層映像の復号化及び向上階層映像の復号化は、並列にも実行され得る。
図８は、例示的な実施形態による多視点映像復号化器で実行される視点変換方法を示すフローチャートである。図８の実施形態において、予測映像の生成の間に処理されるマクロブロックは、１６×１６ピクセルブロックである。しかしながら、このようなブロックのサイズは、一例であるだけであり、他の実施形態がこれに限定されるのではない。
図８を参照すると、ステップ８０１で、映像タイプ決定器５０７１は、向上階層で現在復号化される向上階層の入力映像のＰＴがイントラ映像であるか又はインター映像であるかを決定する。ステップ８０３で、エントロピー復号化器５０７３は、この決定されたＰＴに従ってエントロピー復号化を実行する。具体的に、現在復号化される向上階層の映像がインター映像である場合に、エントロピー復号化器５０７３は、制御情報ビットストリームから予測映像が生成される各ブロックに対して“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”、１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトル又は動きベクトルが使用されるか否かに関するモード情報、ディスパリティーベクトル情報又は動きベクトル情報を含む予測映像制御情報をエントロピー復号化する。現在復号化される向上階層の映像がイントラ映像である場合に、エントロピー復号化器５０７３は、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”の復号化を省略し、残りの予測映像制御情報を同一の方式でエントロピー復号化し得る。この際に、復号化が省略された“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”は、１に設定され得る。
図４のステップ４１５で説明したエントロピー符号化に対応するステップ８０３のエントロピー復号化動作において、エントロピー復号化器５０７３は、ディスパリティーベクトル又は動きベクトルが使用されるか否かに関するモード情報をエントロピー復号化し、このディスパリティーベクトル又は動きベクトルの数だけ動きベクトルのエントロピー復号化を実行する。ここで、このディスパリティーベクトル又は動きベクトルの復号化結果は、ディスパリティーベクトル又は動きベクトルの差分値を含む。ステップ８０５で、エントロピー復号化器５０７３は、ディスパリティーベクトル又は動きベクトルの予測値にこの差分値を加えることによりディスパリティーベクトル又は動きベクトルを生成し、この結果をＤＣ／ＭＣ５０７５に出力する。
ステップ８０６で、ＤＣ／ＭＣ５０７５は、ステップ８０１で決定されたＰＴ、ステップ８０３で計算された“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”、及びディスパリティーベクトル又は動きベクトルを受信した後に、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”の値を確認する。
ステップ８０６で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“１”である場合に、ＤＣ／ＭＣ５０７５は、ステップ８０７で、１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトルを用いて現在基本階層映像からＤＣを実行する。ステップ８０６で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“０”である場合に、ＤＣ／ＭＣ５０７５は、ステップ８０９で、１６×１６ピクセル単位又は８×８ピクセル単位の動きベクトルを用いて以前向上階層映像からＭＣを実行する。このように、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”は、予測映像を生成する過程で基本階層映像及び向上階層映像の中のどの映像を参照してこの予測映像を実行するかを示すことができる。
ＤＣ又はＭＣが１つのブロックに対して完了した場合に、視点変換器５０７は、現在復号化される向上階層の映像の各ブロックに対してステップ８０１乃至ステップ８０９の動作が同一に行われるようにステップ８１１で次のブロックに移動する。
上述した説明において、１つの向上階層を有する多視点映像符号化器及び復号化器を例を挙げて説明した。Ｎ個（ここで、Ｎは、３より大きいか又は同一の自然数）の視点を有する多視点映像サービスを提供する場合に、図９及び図１０に示す他の例示的な実施形態に従って、多視点映像符号化器及び復号化器は、Ｎ個の向上階層を有するように拡張され得る。
図９は、他の例示的な実施形態によるＮ個の向上階層を有する多視点映像符号化器９００の一構成例を示し、図１０は、他の例示的な実施形態によるＮ個の向上階層を有する多視点映像復号化器１０００の一構成例を示す。
図９を説明すると、多視点映像符号化器９００は、Ｎ個の向上階層に対応する第１乃至第Ｎの向上階層符号化ブロック９００１〜９００Ｎを含む。第１乃至第Ｎの向上階層符号化ブロック９００１〜９００Ｎにおいて、各ブロックは、同一であるか又は類似した構成を有し、各ブロックは、関連する向上階層の入力映像を例示的な実施形態による視点変換が適用された予測映像を用いて符号化する。各向上階層符号化ブロックは、関連する向上階層に対して上述した制御情報ビットストリーム及び向上階層ビットストリームを符号化結果として出力する（９０１）。向上階層符号化ブロックの構成及び動作は、図１で説明したそれの構成及び動作と同一であるか又は類似しているので、その詳細な説明は省略する。
図１０を説明すると、多視点映像復号化器１０００は、Ｎ個の向上階層に対応する第１乃至第Ｎの向上階層復号化ブロック１０００１〜１０００Ｎを含む。第１乃至第Ｎの向上階層復号化ブロック１０００１〜１０００Ｎは、同一であるか又は類似した構成を有し、第１乃至第Ｎの向上階層復号化ブロック１０００１〜１０００Ｎのそれぞれは、例示的な実施形態による視点変換が適用された予測映像を用いて関連する向上階層ビットストリームを復元する。各向上階層復号化ブロックは、関連する向上階層映像の復号化のために上述した制御情報ビットストリーム及び向上階層ビットストリームを受信する（１００１）。各向上階層復号化ブロックの構成及び動作は、図５で説明したそれの構成及び動作と同一であるか又は類似しているので、その詳細な説明を省略する。
図９及び図１０の多視点映像符号化器９００及び復号化器１０００が予測映像の生成の間に各向上階層で再構成された基本階層映像Ｐ４を使用する場合の構成例を示したが、予測映像の生成の間に各向上階層で再構成された基本階層映像Ｐ４を使用せず、多視点映像符号化器９００及び復号化器１０００が関連する向上階層の視点とは異なる視点の現在再構成された向上階層映像を使用するように適用され得る。この場合に、多視点映像符号化器９００及び復号化器１０００は、向上階層ｎで予測映像を生成する際にこの再構成された基本階層映像Ｐ４に代えて向上階層ｎ−１で現在再構成された向上階層映像を使用するか又は向上階層ｎで予測映像を生成する際に向上階層ｎ−１及びｎ＋１のそれぞれで再構成された映像を使用するように適用され得る。
本発明の実施形態は、コンピュータ読み取り可能な記録媒体上でコンピュータ読み取り可能なコードとして実現することもできる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み出すことができるデータを記憶することができる任意のデータ記憶装置である。コンピュータ読み取り可能な記録媒体の例は、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、及び光学データ記憶装置を含むが、これらに限定されるものではない。また、コンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なコードが分配される方式で記憶され実行されるように、ネットワーク結合型コンピュータシステムを介して分配されることができる。さらに、例示的な実施形態は、搬送波のようなコンピュータ読み取り可能な伝送媒体を介して送信され、一般的な使用又はプログラムを実行する特別目的デジタルコンピュータで受信され実行されるコンピュータプログラムとして記録され得る。さらに、すべての様態で要求されないが、符号化器１００、９００及び復号化器５００、１０００の中の１つ又は複数のユニットは、コンピュータ読み取り可能な記録媒体に記憶されたコンピュータプログラムを実行するプロセッサ又はマイクロプロセッサを含むことができる。
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。

Claims (38)

  1. 多視点映像サービスを提供するための多視点映像符号化方法であって、
    任意の映像コーデックを用いて基本階層映像を符号化するステップと、
    前記符号化された基本階層映像から再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、
    前記生成された予測映像を用いて前記異なる視点に対応する階層映像を残差符号化するステップとを有することを特徴とする多視点映像符号化方法。
  2. 前記予測映像を生成するステップは、映像タイプに従って前記予測映像を生成するステップを有することを特徴とする請求項１に記載の多視点映像符号化方法。
  3. 前記基本階層映像の視点は、３次元（３Ｄ）映像の左側視点であり、前記階層映像の視点は、前記３次元映像の右側視点であるか、又は前記階層映像の視点は、右側視点であり、前記基本階層映像の視点は、左側視点であることを特徴とする請求項１に記載の多視点映像符号化方法。
  4. 前記階層映像を残差符号化するステップは、前記階層映像から前記生成された予測映像を減算することにより映像データを取得するステップと、
    前記取得された映像データを残差符号化するステップとを有することを特徴とする請求項１に記載の多視点映像符号化方法。
  5. 前記予測映像を生成するステップは、
    前記再構成された基本階層映像と、前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成するステップを有することを特徴とする請求項１に記載の多視点映像符号化方法。
  6. 前記予測映像を生成するステップは、
    前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するステップをさらに有することを特徴とする請求項１に記載の多視点映像符号化方法。
  7. 前記予測映像を生成するステップは、
    前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行するステップをさらに有することを特徴とする請求項１に記載の多視点映像符号化方法。
  8. 前記予測映像を生成するステップは、
    映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成するステップと、
    前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成するステップとを有することを特徴とする請求項１に記載の多視点映像符号化方法。
  9. 前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項１に記載の多視点映像符号化方法。
  10. 前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項１に記載の多視点映像符号化方法。
  11. 前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項１に記載の多視点映像符号化方法。
  12. 多視点映像サービスを提供するための多視点映像符号化装置であって、
    任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、
    前記符号化された基本階層映像から再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
    前記生成された予測映像を用いて前記異なる視点に対応する階層映像を残差符号化する残差符号化器とを有することを特徴とする多視点映像符号化装置。
  13. 前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項１２に記載の多視点映像符号化装置。
  14. 前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項１２に記載の多視点映像符号化装置。
  15. 前記視点変換器は、前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するディスパリティー補償器を有することを特徴とする請求項１２に記載の多視点映像符号化装置。
  16. 前記視点変換器は、前記再構成された基本階層映像及び前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成することを特徴とする請求項１２に記載の多視点映像符号化装置。
  17. 前記視点変換器は、前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行する動き補償器を有することを特徴とする請求項１２に記載の多視点映像符号化装置。
  18. 前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項１２に記載の多視点映像符号化装置。
  19. 前記視点変換器は、映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成し、前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成することを特徴とする請求項１２に記載の多視点映像符号化装置。
  20. 多視点映像サービスを提供するための多視点映像復号化方法であって、
    任意の映像コーデックを用いて基本階層映像を再構成するステップと、
    前記再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、
    残差復号化された階層映像及び前記生成された予測映像を用いて前記異なる視点に対応する階層映像を再構成するステップと
    を有することを特徴とする多視点映像復号化方法。
  21. 前記予測映像を生成するステップは、
    前記再構成された基本階層映像と、前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成するステップを有することを特徴とする請求項２０に記載の多視点映像復号化方法。
  22. 前記予測映像を生成するステップは、
    前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するステップをさらに有することを特徴とする請求項２０に記載の多視点映像復号化方法。
  23. 前記予測映像を生成するステップは、
    前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行するステップをさらに有することを特徴とする請求項２０に記載の多視点映像復号化方法。
  24. 前記予測映像を生成するステップは、
    映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成するステップと、
    前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成するステップとを有することを特徴とする請求項２０に記載の多視点映像復号化方法。
  25. 前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項２０に記載の多視点映像復号化方法。
  26. 前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項２０に記載の多視点映像復号化方法。
  27. 前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項２０に記載の多視点映像復号化方法。
  28. 多視点映像サービスを提供するための多視点映像復号化装置であって、
    任意の映像コーデックを用いて基本階層映像を再構成する基本階層復号化器と、
    前記再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
    前記異なる視点に対応する階層映像を残差符号化する残差符号化器と、
    前記残差復号化された階層映像に前記生成された予測映像を加えることにより前記異なる視点に対応する前記階層映像を再構成する結合器と
    を有することを特徴とする多視点映像復号化装置。
  29. 前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項２８に記載の多視点映像復号化装置。
  30. 前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項２８に記載の多視点映像復号化装置。
  31. 前記視点変換器は、前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するディスパリティー補償器を有することを特徴とする請求項２８に記載の多視点映像復号化装置。
  32. 前記視点変換器は、前記再構成された基本階層映像及び前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成することを特徴とする請求項２８に記載の多視点映像復号化装置。
  33. 前記視点変換器は、前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行する動き補償器を有することを特徴とする請求項２８に記載の多視点映像復号化装置。
  34. 前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項２８に記載の多視点映像復号化装置。
  35. 前記視点変換器は、映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成し、前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成することを特徴とする請求項２８に記載の多視点映像復号化装置。
  36. 請求項１の方法を実行するためのコンピュータにより実行されることができるプログラムを記録したコンピュータ読み取り可能な記録媒体。
  37. 請求項２０の方法を実行するためのコンピュータにより実行されることができるプログラムを記録したコンピュータ読み取り可能な記録媒体。
  38. 任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、
    前記符号化された基本階層映像から再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
    前記生成された予測映像を用いて前記異なる視点に対応する階層映像を残差符号化する残差符号化器と
    前記符号化された基本階層映像及び前記残差符号化された階層映像をビットストリームに多重化し、前記ビットストリームを出力する多重化器と
    を有する多視点映像符号化装置と、
    前記出力されたビットストリームを受信し、前記受信されたビットストリームを基本階層ビットストリーム及び階層ビットストリームに逆多重化する逆多重化器と、
    任意の映像コーデックに対応する映像コーデックを用いて基本階層ビットストリームから前記基本階層映像を再構成する基本階層復号化器と、
    前記再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
    残差復号化された階層映像を出力するために前記階層ビットストリームを残差復号化する残差復号化器と、
    前記生成された予測映像を前記残差復号化された階層映像に加えることにより異なる視点に対応する前記階層映像を再構成する結合器と
    を有する多視点映像復号化装置と
    を有することを特徴とする多視点映像提供システム。
JP2012520550A 2009-07-17 2010-07-19 多視点映像符号化及び復号化のための方法及び装置 Pending JP2012533925A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2009-0065615 2009-07-17
KR1020090065615A KR20110007928A (ko) 2009-07-17 2009-07-17 다시점 영상 부호화 및 복호화 방법과 장치
PCT/KR2010/004717 WO2011008065A2 (en) 2009-07-17 2010-07-19 Method and apparatus for multi-view video coding and decoding

Publications (1)

Publication Number Publication Date
JP2012533925A true JP2012533925A (ja) 2012-12-27

Family

ID=43450009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012520550A Pending JP2012533925A (ja) 2009-07-17 2010-07-19 多視点映像符号化及び復号化のための方法及び装置

Country Status (7)

Country Link
US (1) US20110012994A1 (ja)
EP (1) EP2452491A4 (ja)
JP (1) JP2012533925A (ja)
KR (1) KR20110007928A (ja)
CN (1) CN102577376B (ja)
MX (1) MX2012000804A (ja)
WO (1) WO2011008065A2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250056A1 (en) * 2010-10-06 2013-09-26 Nomad3D Sas Multiview 3d compression format and algorithms
US9137539B2 (en) * 2010-12-22 2015-09-15 Panasonic Corporation Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
CN103430549B (zh) * 2011-03-18 2017-05-10 索尼公司 图像处理装置和图像处理方法
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
CN103563387A (zh) * 2011-05-16 2014-02-05 索尼公司 图像处理设备和图像处理方法
CN103931173B (zh) * 2011-06-30 2016-12-21 维德约股份有限公司 可伸缩视频编码中的运动预测
MX2014001617A (es) 2011-08-09 2014-05-28 Samsung Electronics Co Ltd Metodo de codificacion de prediccion de video de multiples vistas y aparato para el mismo, y metodo de decodificacion de prediccion de video de multiples vistas y aparato para el mismo.
WO2013042359A1 (ja) * 2011-09-22 2013-03-28 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、および、動画像復号化装置
JP5735181B2 (ja) 2011-09-29 2015-06-17 ドルビー ラボラトリーズ ライセンシング コーポレイション デュアルレイヤフレームコンパチブルフル解像度立体３ｄビデオ配信
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
WO2013051896A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
US9674534B2 (en) 2012-01-19 2017-06-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-view video prediction capable of view switching, and method and apparatus for decoding multi-view video prediction capable of view switching
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
CN103379340B (zh) * 2012-04-19 2017-09-01 乐金电子(中国)研究开发中心有限公司 一种残差预测方法及装置
WO2013173282A1 (en) * 2012-05-17 2013-11-21 The Regents Of The University Of Califorina Video disparity estimate space-time refinement method and codec
US9219913B2 (en) * 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
KR101356890B1 (ko) * 2012-06-22 2014-02-03 한국방송공사 다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
US20150334389A1 (en) * 2012-09-06 2015-11-19 Sony Corporation Image processing device and image processing method
WO2014047351A2 (en) * 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
US9648318B2 (en) * 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
US20150245063A1 (en) * 2012-10-09 2015-08-27 Nokia Technologies Oy Method and apparatus for video coding
US9781416B2 (en) * 2013-02-26 2017-10-03 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
US9596448B2 (en) 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
US9762905B2 (en) * 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
KR20140122195A (ko) * 2013-04-05 2014-10-17 삼성전자주식회사 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
WO2014163466A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
WO2014168893A1 (en) 2013-04-08 2014-10-16 General Instrument Corporation Signaling for addition or removal of layers in video coding
US9667990B2 (en) * 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
GB201309866D0 (en) * 2013-06-03 2013-07-17 Vib Vzw Means and methods for yield performance in plants
WO2015008464A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Video parameter set signaling
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
MX2018013877A (es) * 2014-05-21 2022-06-15 Arris Int Ip Ltd Gestion individual de memorias intermedias en transporte de video escalable.
EP3146721A1 (en) 2014-05-21 2017-03-29 ARRIS Enterprises LLC Individual buffer management in transport of scalable video
US20170145169A1 (en) 2015-10-26 2017-05-25 University Of Wyoming Methods of Generating Microparticles and Porous Hydrogels Using Microfluidics
US20180213202A1 (en) * 2017-01-23 2018-07-26 Jaunt Inc. Generating a Video Stream from a 360-Degree Video
FR3072850B1 (fr) 2017-10-19 2021-06-04 Tdf Procedes de codage et de decodage d'un flux de donnees representatif d'une video omnidirectionnelle

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH11252586A (ja) * 1998-03-03 1999-09-17 Kdd Corp ステレオ動画像用符号化装置
WO2007102665A1 (en) * 2006-03-09 2007-09-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video to provide uniform picture quality
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
WO2008126986A1 (en) * 2007-04-11 2008-10-23 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
WO2009005658A2 (en) * 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
WO2009050658A2 (en) * 2007-10-15 2009-04-23 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
WO2009065325A1 (en) * 2007-10-24 2009-05-28 Shenzhen Huawei Communication Technologies Co. , Ltd. A video encoding/decoding method and a video encoder/decoder
JP2009523356A (ja) * 2006-01-12 2009-06-18 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
AU2007232607B2 (en) * 2006-03-30 2010-09-16 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
CN101491079A (zh) * 2006-07-11 2009-07-22 汤姆逊许可证公司 用在多视角视频编码中的方法和装置
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
CN101415114B (zh) * 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
KR101560182B1 (ko) * 2008-01-07 2015-10-15 삼성전자주식회사 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH11252586A (ja) * 1998-03-03 1999-09-17 Kdd Corp ステレオ動画像用符号化装置
JP2009523356A (ja) * 2006-01-12 2009-06-18 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
WO2007102665A1 (en) * 2006-03-09 2007-09-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video to provide uniform picture quality
WO2008051041A1 (en) * 2006-10-25 2008-05-02 Electronics And Telecommunications Research Institute Multi-view video scalable coding and decoding
WO2008126986A1 (en) * 2007-04-11 2008-10-23 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
WO2009005658A2 (en) * 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
WO2009050658A2 (en) * 2007-10-15 2009-04-23 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
WO2009065325A1 (en) * 2007-10-24 2009-05-28 Shenzhen Huawei Communication Technologies Co. , Ltd. A video encoding/decoding method and a video encoder/decoder

Also Published As

Publication number Publication date
WO2011008065A3 (en) 2011-05-19
CN102577376A (zh) 2012-07-11
KR20110007928A (ko) 2011-01-25
EP2452491A4 (en) 2014-03-12
CN102577376B (zh) 2015-05-27
WO2011008065A2 (en) 2011-01-20
MX2012000804A (es) 2012-03-14
EP2452491A2 (en) 2012-05-16
US20110012994A1 (en) 2011-01-20

Similar Documents

Publication Publication Date Title
JP2012533925A (ja) 多視点映像符号化及び復号化のための方法及び装置
US10194133B2 (en) Device and method for eliminating redundancy of view synthesis prediction candidate in motion merge mode
JP5916266B2 (ja) ビデオコーディング方法および装置
KR101475527B1 (ko) 스케일링가능한 비디오 코딩을 이용한 멀티-뷰 비디오 코딩
KR101854003B1 (ko) 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법
US9894383B2 (en) Method and apparatus for motion information prediction and inheritance in video coding
US10412403B2 (en) Video encoding/decoding method and apparatus
US20230336764A1 (en) Method and device for inducing motion information between temporal points of sub prediction unit
KR20140046385A (ko) 비디오 데이터 디코딩 방법 및 비디오 데이터 디코딩 장치
US10045048B2 (en) Method and apparatus for decoding multi-view video
KR102116265B1 (ko) 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
KR101841914B1 (ko) 컬러 영상 및 깊이 영상을 포함하는 다시점 비디오의 부호화 및 복호화 방법, 그리고 부호화 및 복호화 장치
US20170180755A1 (en) 3d video encoding/decoding method and device
Yan et al. Multiview-video-plus-depth coding and inter-component prediction in high-level-syntax extension of H. 265/HEVC
KR20150043164A (ko) 2d 비디오 기반 3d 비디오 코딩을 위한 병합 움직임 후보 리스트를 구성하는 방법 및 장치
KR20140003689A (ko) 다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140704

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140715

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140808