JP5873395B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム Download PDF

Info

Publication number
JP5873395B2
JP5873395B2 JP2012135117A JP2012135117A JP5873395B2 JP 5873395 B2 JP5873395 B2 JP 5873395B2 JP 2012135117 A JP2012135117 A JP 2012135117A JP 2012135117 A JP2012135117 A JP 2012135117A JP 5873395 B2 JP5873395 B2 JP 5873395B2
Authority
JP
Japan
Prior art keywords
video
encoding
decoding
component
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012135117A
Other languages
English (en)
Other versions
JP2013258651A (ja
Inventor
知伸 吉野
知伸 吉野
内藤　整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2012135117A priority Critical patent/JP5873395B2/ja
Priority to US14/407,877 priority patent/US20150181253A1/en
Priority to PCT/JP2013/065875 priority patent/WO2013187334A1/ja
Priority to EP13804466.4A priority patent/EP2863629A4/en
Priority to CN201380030288.0A priority patent/CN104365094B/zh
Priority to GB1422150.1A priority patent/GB2518088A/en
Publication of JP2013258651A publication Critical patent/JP2013258651A/ja
Application granted granted Critical
Publication of JP5873395B2 publication Critical patent/JP5873395B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。
従来、映像信号における画素値表現方法に関しては、ＹＵＶやＲＧＢなどのフォーマットが定義されている。また、各フォーマットでは、色成分のサンプリング方法が定義されているとともに、色成分の表現ビット数も複数定義されている。
以降では、フォーマットやサンプリング方法やビット数の組み合わせを総称して、映像フォーマットと呼ぶこととする。この映像フォーマット間では、画素値の間引きや補間処理などにより、映像を互いに変換することが可能である。
なお、フォーマットとは、例えばＹＵＶやＲＧＢやＬａｂやＣＭＹＫなどのことである。また、サンプリング方法とは、例えばＹＵＶであれば、４：４：４や４：２：２や４：２：０のことである。また、ビット数とは、１画素あたりのビット数のことである。
一方、Ｈ．２６４（例えば、非特許文献１参照）に代表される映像圧縮符号化技術では、入出力映像は、所定の映像フォーマットに対応しており、用途に応じて使い分けることが可能である。また、Ｈ．２６４では、スケーラブル性を有する映像ストリームを生成可能なプロファイル（ＳＶＣ ｐｒｏｆｉｌｅ）が設けられており、このプロファイルでは、例えば解像度スケーラビリティが定義されている。
Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding,"
Ｈ．２６４に代表される映像圧縮符号化技術では、映像フォーマット間のスケーラビリティが定義されていない。このため、映像フォーマットの異なる映像については、絵柄が同じであっても、映像フォーマットごとに映像ストリームを生成する必要があった。したがって、絵柄は同じだが映像フォーマットが異なる映像を、効率的に圧縮することは困難であった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、絵柄は同じだが映像フォーマットが異なる複数の映像を、効率的に圧縮することを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、入力映像に対するスケーラブル符号化が可能な動画像符号化装置であって、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する映像フォーマット変換手段と、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する符号化側予測手段と、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第１の符号化手段と、前記映像フォーマット変換手段により生成された前記変換後映像を符号化する第２の符号化手段と、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する多重化手段と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、入力映像に対するスケーラブル符号化が可能な動画像符号化装置に、映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を設けた。そして、映像フォーマット変換手段により、入力映像を、入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成することとした。また、符号化側予測手段により、映像フォーマット変換手段により変換後映像を生成する際に失われた情報を予測することとした。また、第１の符号化手段により、符号化側予測手段による予測結果を用いて、入力映像を符号化することとした。また、第２の符号化手段により、映像フォーマット変換手段により生成された変換後映像を符号化することとした。また、多重化手段により、第１の符号化手段による符号化結果と、第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成することとした。
映像には、成分間で、画素値の変化について相関性があったり、対関係にあったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、上位レイヤの映像と下位レイヤの映像とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮データとして効率よく圧縮できる。
（２） 本発明は、（１）の動画像符号化装置について、前記映像フォーマット変換手段（例えば、図４の色情報サンプリング部３７に相当）は、前記変換後映像として、前記入力映像（例えば、図４の入力映像ａに相当）のフォーマットと同じフォーマットで、かつ、当該入力映像より色情報の少ない映像フォーマットの映像（例えば、図４の下位レイヤの映像ｘに相当）を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（１）の動画像符号化装置において、映像フォーマット変換手段により、変換後映像として、入力映像のフォーマットと同じフォーマットで、かつ、入力映像より色情報の少ない映像フォーマットの映像を生成することとした。このため、上述の成分間での相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（３） 本発明は、（２）の動画像符号化装置について、前記第１の符号化手段（例えば、図２のエントロピー符号化部１５と、図３のエントロピー符号化部２５と、に相当）は、既存の標準方式によりベースレイヤの符号化を行い、前記符号化側予測手段（例えば、図２の予測値生成部１２に相当）は、前記ベースレイヤの復号画像の輝度成分の画素値を用いて、前記失われた色情報を予測することを特徴とする動画像符号化装置を提案している。
この発明によれば、（２）の動画像符号化装置において、第１の符号化手段により、既存の標準方式によりベースレイヤの符号化を行い、符号化側予測手段により、ベースレイヤの復号画像の輝度成分の画素値を用いて、失われた色情報を予測することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（４） 本発明は、（３）の動画像符号化装置について、前記符号化側予測手段は、前記入力映像についての復号画像の輝度成分の画素値と、前記変換後映像についての復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（３）の動画像符号化装置において、符号化側予測手段により、入力映像についての復号画像の輝度成分の画素値と、変換後映像についての復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（５） 本発明は、（３）の動画像符号化装置について、前記符号化側予測手段は、前記入力映像についての復号画像の輝度成分の画素値と、前記変換後映像についての復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（３）の動画像符号化装置において、符号化側予測手段により、入力映像についての復号画像の輝度成分の画素値と、変換後映像についての復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（６） 本発明は、（３）の動画像符号化装置について、前記符号化側予測手段は、前記入力映像についての復号画像の輝度成分の画素値と、前記変換後映像についての復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（３）の動画像符号化装置において、符号化側予測手段により、入力映像についての復号画像の輝度成分の画素値と、変換後映像についての復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（７） 本発明は、（１）の動画像符号化装置について、前記映像フォーマット変換手段（例えば、図１１の色フォーマット変換部２２６に相当）は、前記変換後映像として、前記入力映像（例えば、図１１の入力映像αに相当）のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像（例えば、図１１の変換後映像θに相当）を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（１）の動画像符号化装置において、映像フォーマット変換手段により、変換後映像として、入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が入力映像より少ない映像フォーマットの映像を生成することとした。このため、上述の成分間での対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（８） 本発明は、（７）の動画像符号化装置について、前記第１の符号化手段（例えば、図１０のエントロピー符号化部２１６に相当）は、既存の標準方式によりベースレイヤの符号化を行い、前記符号化側予測手段（例えば、図１０の予測値生成部２１３に相当）は、前記ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測することを特徴とする動画像符号化装置を提案している。
この発明によれば、（７）の動画像符号化装置において、第１の符号化手段により、既存の標準方式によりベースレイヤの符号化を行い、符号化側予測手段により、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、失われた情報を予測することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（９） 本発明は、（８）の動画像符号化装置について、前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分（例えば、後述のＲＧＢフォーマットにおけるＧ成分に相当）と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分（例えば、後述のＹＵＶフォーマットにおけるＹ成分に相当）と、は対関係にあり、前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（８）の動画像符号化装置において、入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、が対関係にある。そして、符号化側予測手段により、入力映像についての復号画像の特定成分の画素値と、変換後映像についての復号画像の所定成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１０） 本発明は、（８）の動画像符号化装置について、前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分（例えば、後述のＲＧＢフォーマットにおけるＧ成分に相当）と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分（例えば、後述のＹＵＶフォーマットにおけるＹ成分に相当）と、は対関係にあり、前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（８）の動画像符号化装置において、入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、が対関係にある。そして、符号化側予測手段により、入力映像についての復号画像の特定成分の画素値と、変換後映像についての復号画像の所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１１） 本発明は、（８）の動画像符号化装置について、前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分（例えば、後述のＲＧＢフォーマットにおけるＧ成分に相当）と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分（例えば、後述のＹＵＶフォーマットにおけるＹ成分に相当）と、は対関係にあり、前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、（８）の動画像符号化装置において、入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、が対関係にある。そして、符号化側予測手段により、入力映像についての復号画像の特定成分の画素値と、変換後映像についての復号画像の所定成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１２） 本発明は、（１）〜（６）のいずれかの動画像符号化装置で生成された圧縮データ（例えば、図５の圧縮ストリームｂに相当）に対するスケーラブル復号が可能な動画像復号装置であって、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す逆多重化手段と、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する復号手段と、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する復号側予測手段と、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第１の映像出力手段と、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第２の映像出力手段と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、（１）〜（６）のいずれかの動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置に、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を設けた。そして、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
映像には、成分間で、画素値の変化について相関性がある場合がある。このため、この相関性を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
（１３） 本発明は、（１２）の動画像復号装置について、前記復号手段（例えば、図６のエントロピー復号部１１１や、図７のエントロピー復号部１２１や、図８のエントロピー復号部１３１に相当）は、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、前記逆多重化手段（例えば、図５のストリームＤＥＭＵＸ部１４０に相当）により取り出された符号化結果のうち当該ベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行い、前記復号側予測手段（例えば、図６の予測値生成部１１４に相当）は、前記ベースレイヤの復号画像の輝度成分の画素値を用いて、前記失われた色情報を予測することを特徴とする動画像復号装置を提案している。
この発明によれば、（１２）の動画像復号装置において、復号手段により、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、逆多重化手段により取り出された符号化結果のうちベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行うこととした。また、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値を用いて、失われた色情報を予測することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１４） 本発明は、（１３）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の輝度成分の画素値と、前記エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像復号装置を提案している。
この発明によれば、（１３）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値と、エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１５） 本発明は、（１３）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の輝度成分の画素値と、前記エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像復号装置を提案している。
この発明によれば、（１３）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値と、エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１６） 本発明は、（１３）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の輝度成分の画素値と、前記エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた色差成分の予測値を生成することを特徴とする動画像復号装置を提案している。
この発明によれば、（１３）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の輝度成分の画素値と、エンハンスメントレイヤの復号画像の輝度成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた色差成分の予測値を生成することとした。このため、輝度と色情報との相関性を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１７） 本発明は、（１）、（７）〜（１１）のいずれかの動画像符号化装置で生成された圧縮データ（例えば、図１２の圧縮ストリームβに相当）に対するスケーラブル復号が可能な動画像復号装置であって、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す逆多重化手段と、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する復号手段と、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する復号側予測手段と、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第１の映像出力手段と、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第２の映像出力手段と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、（１）、（７）〜（１１）のいずれかの動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置に、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を設けた。そして、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
映像には、成分間で対関係がある場合がある。このため、この対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
（１８） 本発明は、（１７）の動画像復号装置について、前記復号手段（例えば、図１３のエントロピー復号部３１１や、図１４のエントロピー復号部３２１に相当）は、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、前記逆多重化手段（例えば、図１２のストリームＤＥＭＵＸ部３３０に相当）により取り出された符号化結果のうち当該ベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行い、前記復号側予測手段（例えば、図１３の予測値生成部３１５に相当）は、前記ベースレイヤの復号画像の前記特定成分の画素値を用いて、前記失われた情報を予測することを特徴とする動画像復号装置を提案している。
この発明によれば、（１７）の動画像復号装置において、復号手段により、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、逆多重化手段により取り出された符号化結果のうちベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行うこととした。また、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値を用いて、失われた情報を予測することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（１９） 本発明は、（１８）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像の前記所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像復号装置を提案している。
この発明によれば、（１８）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値と、エンハンスメントレイヤの復号画像の所定成分の画素値と、を用いて、多項式近似に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（２０） 本発明は、（１８）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像の前記所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像復号装置を提案している。
この発明によれば、（１８）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値と、エンハンスメントレイヤの復号画像の所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（２１） 本発明は、（１８）の動画像復号装置について、前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像の前記所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする動画像復号装置を提案している。
この発明によれば、（１８）の動画像復号装置において、復号側予測手段により、ベースレイヤの復号画像の特定成分の画素値と、エンハンスメントレイヤの復号画像の所定成分の画素値と、を用いて、非線形補間処理に基づき、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた成分の予測値を生成することとした。このため、例えばＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分と、のように、予め定められた成分間にある対関係を用いて、色成分間予測に基づくレイヤ間予測を行って、上述した効果と同様の効果を奏することができる。
（２２） 本発明は、映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法であって、前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、を備えることを特徴とする動画像符号化方法を提案している。
この発明によれば、映像フォーマット変換手段により、入力映像を、入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成することとした。また、符号化側予測手段により、映像フォーマット変換手段により変換後映像を生成する際に失われた情報を予測することとした。また、第１の符号化手段により、符号化側予測手段による予測結果を用いて、入力映像を符号化することとした。また、第２の符号化手段により、映像フォーマット変換手段により変換された映像を符号化することとした。また、多重化手段により、第１の符号化手段による符号化結果と、第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成することとした。
映像には、成分間で、画素値の変化について相関性があったり、対関係にあったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、上位レイヤの映像と下位レイヤの映像とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮データとして効率よく圧縮できる。
（２３） 本発明は、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、（２２）の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法であって、前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、を備えることを特徴とする動画像復号方法を提案している。
この発明によれば、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
映像には、成分間で、画素値の変化について相関性があったり、対関係があったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
（２４） 本発明は、映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、映像フォーマット変換手段により、入力映像を、入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成することとした。また、符号化側予測手段により、映像フォーマット変換手段により変換後映像を生成する際に失われた情報を予測することとした。また、第１の符号化手段により、符号化側予測手段による予測結果を用いて、入力映像を符号化することとした。また、第２の符号化手段により、映像フォーマット変換手段により変換された映像を符号化することとした。また、多重化手段により、第１の符号化手段による符号化結果と、第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成することとした。
映像には、成分間で、画素値の変化について相関性があったり、対関係にあったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、上位レイヤの映像と下位レイヤの映像とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮データとして効率よく圧縮できる。
（２５） 本発明は、逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、（２４）の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、逆多重化手段により、圧縮データから、映像の符号化結果を映像フォーマットごとに取り出すこととした。また、復号手段により、逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号することとした。また、復号側予測手段により、映像フォーマット変換手段により入力映像から変換後映像を生成した際に失われた情報を予測することとした。また、第１の映像出力手段により、復号手段により復号された映像と、復号側予測手段による予測結果と、を用いて、入力映像を求めることとした。また、第２の映像出力手段により、復号手段により復号された映像に基づいて、変換後映像を求めることとした。
映像には、成分間で、画素値の変化について相関性があったり、対関係があったりする。このため、これら相関性や対関係を用いて、色成分間予測に基づくレイヤ間予測を行うことで、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。したがって、１つの圧縮データから、絵柄は同じだが互いに映像フォーマットの異なる映像を復号できる。
本発明によれば、絵柄は同じだが映像フォーマットが異なる複数の映像を、効率的に圧縮できる。
本発明の第１実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備える第１の上位レイヤ符号化部の構成を示すブロック図である。 前記動画像符号化装置が備える第２の上位レイヤ符号化部の構成を示すブロック図である。 前記動画像符号化装置が備える下位レイヤ符号化部の構成を示すブロック図である。 本発明の第１実施形態に係る動画像復号装置の構成を示すブロック図である。 前記動画像復号装置が備える第１の上位レイヤ復号部の構成を示すブロック図である。 前記動画像復号装置が備える第２の上位レイヤ復号部の構成を示すブロック図である。 前記動画像復号装置が備える下位レイヤ復号部の構成を示すブロック図である。 本発明の第２実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備える上位レイヤ符号化部の構成を示すブロック図である。 前記動画像符号化装置が備える下位レイヤ符号化部の構成を示すブロック図である。 本発明の第２実施形態に係る動画像復号装置の構成を示すブロック図である。 前記動画像復号装置が備える上位レイヤ復号部の構成を示すブロック図である。 前記動画像復号装置が備える下位レイヤ復号部の構成を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
［動画像符号化装置ＡＡの構成および動作］
図１は、本発明の第１実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、入力された入力映像ａから、２つの映像フォーマットの映像を生成し、１つの映像ストリームに多重化して、圧縮ストリームｂとして出力する。
なお、本実施形態では、入力映像ａとして、ＹＵＶ４：４：４フォーマットの映像が入力されるものとする。また、本実施形態では、２つの映像フォーマットの映像として、ＹＵＶ４：４：４フォーマットの映像（上位レイヤ）と、ＹＵＶ４：２：２フォーマットの映像またはＹＵＶ４：２：０フォーマットの映像（下位レイヤ）と、を動画像符号化装置ＡＡが生成するものとする。このため、下位レイヤの映像は、入力映像ａのフォーマットと同じフォーマットで、かつ、入力映像ａより色情報の少ない映像フォーマットの映像となる。
また、本実施形態では、ベースレイヤのデコード画素値を用いて、エンハンスメントレイヤの予測符号化を行うものとする。ベースレイヤの情報としては、デコード画素値しか用いないため、ベースレイヤの符号化には既存の標準方式（例えば、Ｈ．２６４やＭＰＥＧ−２など）を用いることができる。
動画像符号化装置ＡＡは、第１の上位レイヤ符号化部１０、第２の上位レイヤ符号化部２０、下位レイヤ符号化部３０、およびストリームＭＵＸ部４０を備える。
ストリームＭＵＸ部４０は、第１の上位レイヤ符号化部１０から出力される後述の上位レイヤのＵＶ成分に関する符号化情報ｃと、第２の上位レイヤ符号化部２０から出力される後述の上位レイヤのＹ成分に関する符号化情報ｄと、下位レイヤ符号化部３０から出力される後述の下位レイヤの符号化情報ｅと、を入力とする。このストリームＭＵＸ部４０は、これら入力された情報を、標準規格などで予め定められた方法に従って１つの圧縮ストリームｂに多重化し、出力する。
（第１の上位レイヤ符号化部１０の構成および動作）
図２は、第１の上位レイヤ符号化部１０の構成を示すブロック図である。第１の上位レイヤ符号化部１０は、色情報スケーラブル予測部１１、予測値生成部１２、ＤＣＴ／量子化部１３、逆ＤＣＴ／逆量子化部１４、エントロピー符号化部１５、およびローカルメモリ１６を備える。
色情報スケーラブル予測部１１は、第２の上位レイヤ符号化部２０から出力される後述の上位レイヤのＹ成分のローカルデコード映像ｆと、下位レイヤ符号化部３０から出力される後述の下位レイヤのローカルデコード映像ｇと、を入力とする。この色情報スケーラブル予測部１１は、上位レイヤのＹ成分のデコード画素値の情報、および、下位レイヤのＹ成分のデコード画素値の情報を用いて、線形処理、補間フィルタ処理、または非線形処理により上位レイヤのＵＶ成分の予測値ｈを生成し、出力する。
まず、色情報スケーラブル予測部１１が上述の線形処理を行う場合について、説明する。この場合、色情報スケーラブル予測部１１は、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素（Ｓは、Ｓ≧１を満たす整数であり、Ｔは、Ｔ≧１を満たす整数）のＹ成分の画素値を、多項式により線形的に近似表現する。そして、得られた多項式をこれら処理画素近傍のＳ×Ｔ画素のＵＶ成分の画素値に適用して、処理画素のＵＶ成分の予測値ｈを得る。
次に、色情報スケーラブル予測部１１が上述の補間フィルタ処理を行う場合について、説明する。この場合、色情報スケーラブル予測部１１は、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素のＹ成分の画素について、処理画素のＹ成分の画素値の誤差が最小となるフィルタ係数を算出する。そして、得られたフィルタ係数を、処理画素近傍のＳ×Ｔ画素のＵＶ成分の画素値に適用して、処理画素のＵＶ成分の予測値ｈを得る。
次に、色情報スケーラブル予測部１１が上述の非線形処理を行う場合について、説明する。この場合、色情報スケーラブル予測部１１は、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素のＹ成分の画素値に基づいて、メディアフィルタやランクフィルタなどの非線形処理により処理画素のＹ成分の予測値を生成し、処理画素におけるＹ成分の画素値と予測値との差分値を求める。また、処理画素を中心としたこの処理画素近傍のＳ×Ｔ画素のＵＶ成分の画素値に基づいて、メディアフィルタやランクフィルタなどの非線形処理により処理画素のＵＶ成分の予測値を生成する。そして、Ｙ成分の画素値と予測値との差分値についてＹ成分とＵＶ成分との表示ビット深度に基づいてスケーリングした値を求め、ＵＶ成分の予測値と、スケーリングした値と、を加算して、処理画素のＵＶ成分の予測値ｈとする。
予測値生成部１２は、入力映像ａのＵＶ成分と、上位レイヤのＵＶ成分の予測値ｈと、ローカルメモリ１６から出力される後述の上位レイヤのＵＶ成分のローカルデコード映像ｉと、を入力とする。この予測値生成部１２は、これら入力された情報を用いて、予め定められた予測方法のうち符号化効率の最も良い予測方法により、予測値ｊを生成する。そして、予測値ｊを出力するとともに、予測値ｊを生成するのに利用した予測方法を示す情報を、予測情報ｋとして出力する。
ＤＣＴ／量子化部１３は、入力映像ａと予測値ｊとの差分情報を、入力とする。このＤＣＴ／量子化部１３は、入力された差分情報に対してＤＣＴを施し、ＤＣＴ係数を量子化して、量子化されたＤＣＴ係数ｍとして出力する。
逆ＤＣＴ／逆量子化部１４は、量子化されたＤＣＴ係数ｍを入力とする。この逆ＤＣＴ／逆量子化部１４は、入力された量子化されたＤＣＴ係数ｍを逆量子化し、逆量子化した係数を逆ＤＣＴして、逆ＤＣＴおよび逆量子化された差分情報ｎとして出力する。
エントロピー符号化部１５は、量子化されたＤＣＴ係数ｍと、予測情報ｋと、を入力とする。このエントロピー符号化部１５は、入力された情報について、可変長符号化法または算術符号化法により符号化し、上位レイヤのＵＶ成分に関する符号化情報ｃとして出力する。
ローカルメモリ１６は、ローカルデコード映像を入力とする。ローカルメモリ１６に入力されるローカルデコード映像とは、予測値ｊと、逆ＤＣＴおよび逆量子化された差分情報ｎと、の加算情報のことである。このローカルメモリ１６は、入力されたローカルデコード映像を蓄積し、上位レイヤのＵＶ成分のローカルデコード映像ｉとして適宜出力する。
（第２の上位レイヤ符号化部２０の構成および動作）
図３は、第２の上位レイヤ符号化部２０の構成を示すブロック図である。第２の上位レイヤ符号化部２０は、予測値生成部２２、ＤＣＴ／量子化部２３、逆ＤＣＴ／逆量子化部２４、エントロピー符号化部２５、およびローカルメモリ２６を備える。
予測値生成部２２は、入力映像ａのＹ成分と、ローカルメモリ２６から出力される後述の上位レイヤのＹ成分のローカルデコード映像ｆと、下位レイヤ符号化部３０から出力される後述の下位レイヤのローカルデコード映像ｇと、を入力とする。この予測値生成部２２は、これら入力された情報を用いて、予め定められた予測方法のうち符号化効率の最も良い予測方法により、予測値ｐを生成する。そして、予測値ｐを出力するとともに、予測値ｐを生成するのに利用した予測方法を示す情報を、予測情報ｑとして出力する。
ＤＣＴ／量子化部２３は、入力映像ａと予測値ｐとの差分情報を、入力とする。このＤＣＴ／量子化部２３は、入力された差分情報に対してＤＣＴを施し、ＤＣＴ係数を量子化して、量子化されたＤＣＴ係数ｒとして出力する。
逆ＤＣＴ／逆量子化部２４は、量子化されたＤＣＴ係数ｒを入力とする。この逆ＤＣＴ／逆量子化部２４は、入力された量子化されたＤＣＴ係数ｒを逆量子化し、逆量子化した係数を逆ＤＣＴして、逆ＤＣＴおよび逆量子化された差分情報ｓとして出力する。
エントロピー符号化部２５は、量子化されたＤＣＴ係数ｒと、予測情報ｑと、を入力とする。このエントロピー符号化部２５は、入力された情報について、可変長符号化法または算術符号化法により符号化し、上位レイヤのＹ成分に関する符号化情報ｄとして出力する。
ローカルメモリ２６は、ローカルデコード映像を入力とする。ローカルメモリ２６に入力されるローカルデコード映像とは、予測値ｐと、逆ＤＣＴおよび逆量子化された差分情報ｓと、の加算情報のことである。このローカルメモリ２６は、入力されたローカルデコード映像を蓄積し、上位レイヤのＹ成分のローカルデコード映像ｆとして適宜出力する。
（下位レイヤ符号化部３０の構成および動作）
図４は、下位レイヤ符号化部３０の構成を示すブロック図である。下位レイヤ符号化部３０は、予測値生成部３２、ＤＣＴ／量子化部３３、逆ＤＣＴ／逆量子化部３４、エントロピー符号化部３５、ローカルメモリ３６、および色情報サンプリング部３７を備える。
色情報サンプリング部３７は、入力映像ａを入力とする。この色情報サンプリング部３７は、入力映像ａに対して色情報をサブサンプルした映像を生成し、下位レイヤの映像ｘとして出力する。具体的には、本実施形態では、上述のように入力映像ａがＹＵＶ４：４：４フォーマットの映像であるため、色情報サンプリング部３７は、下位レイヤの映像ｘとして、ＹＵＶ４：２：２フォーマットの映像またはＹＵＶ４：２：０フォーマットの映像を出力する。
予測値生成部３２は、下位レイヤの映像ｘと、ローカルメモリ３６から出力される後述の下位レイヤのローカルデコード映像ｇと、を入力とする。この予測値生成部３２は、これら入力された情報を用いて、予め定められた予測方法のうち符号化効率の最も良い予測方法により、予測値ｔを生成する。そして、予測値ｔを出力するとともに、予測値ｔを生成するのに利用した予測方法を示す情報を、予測情報ｕとして出力する。
ＤＣＴ／量子化部３３は、下位レイヤの映像ｘと予測値ｔとの差分情報を、入力とする。このＤＣＴ／量子化部３３は、入力された差分情報に対してＤＣＴを施し、ＤＣＴ係数を量子化して、量子化されたＤＣＴ係数ｖとして出力する。
逆ＤＣＴ／逆量子化部３４は、量子化されたＤＣＴ係数ｖを入力とする。この逆ＤＣＴ／逆量子化部３４は、入力された量子化されたＤＣＴ係数ｖを逆量子化し、逆量子化した係数を逆ＤＣＴして、逆ＤＣＴおよび逆量子化された差分情報ｗとして出力する。
エントロピー符号化部３５は、量子化されたＤＣＴ係数ｖと、予測情報ｕと、を入力とする。このエントロピー符号化部３５は、入力された情報について、可変長符号化法または算術符号化法により符号化し、下位レイヤの符号化情報ｅとして出力する。
ローカルメモリ３６は、ローカルデコード映像を入力とする。ローカルメモリ３６に入力されるローカルデコード映像とは、予測値ｔと、逆ＤＣＴおよび逆量子化された差分情報ｗと、の加算情報のことである。このローカルメモリ３６は、入力されたローカルデコード映像を蓄積し、下位レイヤのローカルデコード映像ｇとして適宜出力する。
［動画像復号装置ＢＢの構成および動作］
図５は、本発明の第１実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、動画像符号化装置ＡＡにおいて生成された圧縮ストリームｂを復号して、上位レイヤ出力映像Ａおよび下位レイヤ出力映像Ｂを生成する。この動画像復号装置ＢＢは、第１の上位レイヤ復号部１１０、第２の上位レイヤ復号部１２０、下位レイヤ復号部１３０、およびストリームＤＥＭＵＸ部１４０を備える。上位レイヤ出力映像Ａは、第１の上位レイヤ復号部１１０から出力される後述の上位レイヤのＵＶ成分に関するデコード画像Ａ１と、第２の上位レイヤ復号部１２０から出力される後述の上位レイヤのＹ成分に関するデコード画像Ａ２と、で構成される。
ストリームＤＥＭＵＸ部１４０は、圧縮ストリームｂを入力とする。このストリームＤＥＭＵＸ部１４０は、圧縮ストリームｂから、上位レイヤの符号化情報と、下位レイヤの符号化情報と、を取り出す。そして、上位レイヤのＵＶ成分に関する符号化情報Ｃを第１の上位レイヤ復号部１１０に出力し、上位レイヤのＹ成分に関する符号化情報Ｄを第２の上位レイヤ復号部１２０に出力し、下位レイヤの符号化情報Ｅを下位レイヤ復号部１３０に出力する。
（第１の上位レイヤ復号部１１０の構成および動作）
図６は、第１の上位レイヤ復号部１１０の構成を示すブロック図である。第１の上位レイヤ復号部１１０は、エントロピー復号部１１１、色情報スケーラブル予測部１１２、逆ＤＣＴ／逆量子化部１１３、予測値生成部１１４、およびローカルメモリ１１５を備える。
エントロピー復号部１１１は、上位レイヤのＵＶ成分に関する符号化情報Ｃを入力とする。このエントロピー復号部１１１は、可変長符号化法または算術符号化法に基づいて符号化情報Ｃを復号し、差分情報Ｈおよび予測情報Ｊを取り出して出力する。
色情報スケーラブル予測部１１２は、第２の上位レイヤ復号部１２０から出力される後述の上位レイヤのＹ成分のデコード画像Ｆと、下位レイヤ復号部１３０から出力される後述の下位レイヤのデコード画像Ｇと、を入力とする。この色情報スケーラブル予測部１１２は、図２に示した色情報スケーラブル予測部１１と同様に、上位レイヤのＹ成分のデコード画素値の情報、および、下位レイヤのＹ成分のデコード画素値の情報を用いて、線形処理、補間フィルタ処理、または非線形処理により上位レイヤのＵＶ成分の予測値Ｋを生成し、出力する。
逆ＤＣＴ／逆量子化部１１３は、差分情報Ｈを入力とする。この差分情報Ｈは、量子化されたＤＣＴ係数である。この逆ＤＣＴ／逆量子化部１１３は、差分情報Ｈを逆量子化し、その結果に対して逆ＤＣＴを施して、逆量子化および逆ＤＣＴされた差分情報Ｌとして出力する。
予測値生成部１１４は、予測情報Ｊと、上位レイヤのＵＶ成分の予測値Ｋと、ローカルメモリ１１５から出力される後述の上位レイヤのＵＶ成分のデコード画像Ｍと、を入力とする。この予測値生成部１１４は、予測情報Ｊに従った予測方法により、予測値Ｋおよびデコード画像Ｍを用いて予測値Ｎを生成し、出力する。
ローカルメモリ１１５は、上位レイヤのＵＶ成分に関するデコード画像Ａ１を入力とする。この上位レイヤのＵＶ成分に関するデコード画像Ａ１とは、差分情報Ｌと、予測値Ｎと、の加算情報のことである。このローカルメモリ１１５は、上位レイヤのＵＶ成分に関するデコード画像Ａ１を蓄積し、上位レイヤのＵＶ成分のデコード画像Ｍとして適宜出力する。
（第２の上位レイヤ復号部１２０の構成および動作）
図７は、第２の上位レイヤ復号部１２０の構成を示すブロック図である。第２の上位レイヤ復号部１２０は、エントロピー復号部１２１、逆ＤＣＴ／逆量子化部１２３、予測値生成部１２４、およびローカルメモリ１２５を備える。
エントロピー復号部１２１は、上位レイヤのＹ成分に関する符号化情報Ｄを入力とする。このエントロピー復号部１２１は、可変長符号化法または算術符号化法に基づいて符号化情報Ｄを復号し、差分情報Ｐおよび予測情報Ｑを取り出して出力する。
逆ＤＣＴ／逆量子化部１２３は、差分情報Ｐを入力とする。この差分情報Ｐは、量子化されたＤＣＴ係数である。この逆ＤＣＴ／逆量子化部１２３は、差分情報Ｐを逆量子化し、その結果に対して逆ＤＣＴを施して、逆量子化および逆ＤＣＴされた差分情報Ｒとして出力する。
予測値生成部１２４は、予測情報Ｑと、下位レイヤのデコード画像Ｇと、ローカルメモリ１２５から出力される後述の上位レイヤのＹ成分のデコード画像Ｆと、を入力とする。この予測値生成部１２４は、予測情報Ｑに従った予測方法により、デコード画像Ｆ、Ｇを用いて予測値Ｓを生成し、出力する。
ローカルメモリ１２５は、上位レイヤのＹ成分に関するデコード画像Ａ２を入力とする。この上位レイヤのＹ成分に関するデコード画像Ａ２とは、差分情報Ｒと、予測値Ｓと、の加算情報のことである。このローカルメモリ１２５は、上位レイヤのＹ成分に関するデコード画像Ａ２を蓄積し、上位レイヤのＹ成分のデコード画像Ｆとして適宜出力する。
（下位レイヤ復号部１３０の構成および動作）
図８は、下位レイヤ復号部１３０の構成を示すブロック図である。下位レイヤ復号部１３０は、エントロピー復号部１３１、逆ＤＣＴ／逆量子化部１３３、予測値生成部１３４、およびローカルメモリ１３５を備える。
エントロピー復号部１３１は、下位レイヤの符号化情報Ｅを入力とする。このエントロピー復号部１３１は、可変長符号化法または算術符号化法に基づいて符号化情報Ｅを復号し、差分情報Ｔおよび予測情報Ｕを取り出して出力する。
逆ＤＣＴ／逆量子化部１３３は、差分情報Ｔを入力とする。この差分情報Ｔは、量子化されたＤＣＴ係数である。この逆ＤＣＴ／逆量子化部１３３は、差分情報Ｔを逆量子化し、その結果に対して逆ＤＣＴを施して、逆量子化および逆ＤＣＴされた差分情報Ｖとして出力する。
予測値生成部１３４は、予測情報Ｕと、ローカルメモリ１３５から出力される後述の下位レイヤのデコード画像Ｇと、を入力とする。この予測値生成部１３４は、予測情報Ｕに従った予測方法により、デコード画像Ｇを用いて予測値Ｗを生成し、出力する。
ローカルメモリ１３５は、下位レイヤの出力映像Ｂを入力とする。この下位レイヤの出力映像Ｂとは、差分情報Ｖと、予測値Ｗと、の加算情報のことである。このローカルメモリ１３５は、下位レイヤの出力映像Ｂを蓄積し、下位レイヤのデコード画像Ｇとして適宜出力する。
以上の動画像符号化装置ＡＡによれば、以下の効果を奏することができる。
映像には、輝度と色情報との間で、画素値の変化について相関性があることが知られている。そこで、動画像符号化装置ＡＡは、輝度と色情報との間の相関性を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。このため、上位レイヤの映像（ＹＵＶ４：４：４フォーマットの映像）と下位レイヤの映像（ＹＵＶ４：２：２フォーマットまたはＹＵＶ４：２：０フォーマットの映像）とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮ストリームｂとして効率よく圧縮できる。したがって、例えば、下位レイヤを放送用の映像フォーマットとし、上位レイヤを素材用の映像フォーマットとして、両者を効率よく圧縮できる。
なお、動画像符号化装置ＡＡは、レイヤ間で映像フォーマットが同一な色成分についても、上位レイヤにおいて、下位レイヤでの劣化を補償する情報を付与すること（ＳＮＲスケーラビリティ）が可能である。
また、以上の動画像復号装置ＢＢによれば、以下の効果を奏することができる。
動画像復号装置ＢＢは、輝度と色情報との間の相関性を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの色情報を高精度に予測できる。このため、１つの圧縮ストリームｂから、上位レイヤ出力映像Ａおよび下位レイヤ出力映像Ｂという互いに映像フォーマットの異なる映像を復号できる。
＜第２実施形態＞
［動画像符号化装置ＣＣの構成および動作］
図９は、本発明の第２実施形態に係る動画像符号化装置ＣＣの構成を示すブロック図である。動画像符号化装置ＣＣは、入力された入力映像αから、２つの映像フォーマットの映像を生成し、１つの映像ストリームに多重化して、圧縮ストリームβとして出力する。
なお、本実施形態では、入力映像αとして、ＲＧＢフォーマットの映像が入力され、２つの映像フォーマットの映像として、ＲＧＢフォーマットの映像（上位レイヤ）と、ＹＵＶ（４：２：０）フォーマットの映像（下位レイヤ）と、を動画像符号化装置ＣＣが生成するものとする。このため、下位レイヤの映像は、入力映像αのフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が入力映像αより少ない映像フォーマットとの映像となる。
また、本実施形態では、上位レイヤの表現ビット数と、下位レイヤの表現ビット数とは、同一であるものとする。
動画像符号化装置ＣＣは、上位レイヤ符号化部２１０、下位レイヤ符号化部２２０、およびストリームＭＵＸ部２３０を備える。
ストリームＭＵＸ部２３０は、上位レイヤ符号化部２１０から出力される後述の上位レイヤの符号化情報γと、下位レイヤ符号化部２２０から出力される後述の下位レイヤの符号化情報δと、を入力とする。このストリームＭＵＸ部２３０は、これら入力された情報を、標準規格などで予め定められた方法に従って１つの圧縮ストリームβに多重化し、出力する。
（上位レイヤ符号化部２１０の構成および動作）
図１０は、上位レイヤ符号化部２１０の構成を示すブロック図である。上位レイヤ符号化部２１０は、色フォーマット変換部２１１、色予測値生成部２１２、予測値生成部２１３、ＤＣＴ／量子化部２１４、逆ＤＣＴ／逆量子化部２１５、エントロピー符号化部２１６、およびローカルメモリ２１７を備える。
予測値生成部２１３、ＤＣＴ／量子化部２１４、逆ＤＣＴ／逆量子化部２１５、エントロピー符号化部２１６、およびローカルメモリ２１７は、それぞれ、図２に示した予測値生成部１２、ＤＣＴ／量子化部１３、逆ＤＣＴ／逆量子化部１４、エントロピー符号化部１５、およびローカルメモリ１６と同様に動作する。
色フォーマット変換部２１１は、下位レイヤのローカルデコード映像εを入力とする。ここで、下位レイヤのローカルデコード映像εは、ＹＵＶフォーマットの映像である。そこで、色フォーマット変換部２１１は、下位レイヤのローカルデコード映像εのＹ成分、Ｕ成分、およびＶ成分のそれぞれの画素値の重み付け和により、Ｒ成分、Ｇ成分、およびＢ成分のそれぞれの画素値を得て、ＲＧＢフォーマットの変換後映像ζとして出力する。
色予測値生成部２１２は、変換後映像ζを入力とする。この色予測値生成部２１２は、ＲＧＢの各成分のうちの１つを基準として、残りの２成分の予測値を生成する。
ここで、ＹＵＶフォーマットとＲＧＢフォーマットとでは、Ｙ成分とＧ成分とが視覚的に重要な成分であることが知られており、これらＹ成分とＧ成分とは、略同等の情報量を持つ。すなわち、Ｙ成分とＧ成分とは、対関係にある。そこで、本実施形態では、Ｇ成分を基準とするものとする。すると、色予測値生成部２１２は、Ｇ成分を、図２に示した色情報スケーラブル予測部１１のＹ成分として、色情報スケーラブル予測部１１でＵＶ成分の予測値ｈを生成するのと同様の方法で、ＲＢ成分を予測する。そして、上位レイヤにおける基準色成分（Ｇ成分）と、残りの成分（ＲＢ成分）の予測値と、を予測値ηとして出力とする。
（下位レイヤ符号化部２２０の構成および動作）
図１１は、下位レイヤ符号化部２２０の構成を示すブロック図である。下位レイヤ符号化部２２０は、予測値生成部２２１、ＤＣＴ／量子化部２２２、逆ＤＣＴ／逆量子化部２２３、エントロピー符号化部２２４、ローカルメモリ２２５、および色フォーマット変換部２２６を備える。
予測値生成部２２１、ＤＣＴ／量子化部２２２、逆ＤＣＴ／逆量子化部２２３、エントロピー符号化部２２４、およびローカルメモリ２２５は、それぞれ、図４に示した予測値生成部３２、ＤＣＴ／量子化部３３、逆ＤＣＴ／逆量子化部３４、エントロピー符号化部３５、およびローカルメモリ３６と同様に動作する。
色フォーマット変換部２２６は、入力映像αを入力とする。ここで、入力映像αは、ＲＧＢフォーマットの映像である。そこで、色フォーマット変換部２２６は、入力映像αのＲ成分、Ｇ成分、およびＢ成分のそれぞれの画素値の重み付け和により、Ｙ成分、Ｕ成分、およびＶ成分のそれぞれの画素値を得て、ＹＵＶフォーマットの変換後映像θとして出力する。
［動画像復号装置ＤＤの構成および動作］
図１２は、本発明の第２実施形態に係る動画像復号装置ＤＤの構成を示すブロック図である。動画像復号装置ＤＤは、動画像符号化装置ＣＣにおいて生成された圧縮ストリームβを復号して、上位レイヤ出力映像κおよび下位レイヤ出力映像λを生成する。この動画像復号装置ＤＤは、上位レイヤ復号部３１０、下位レイヤ復号部３２０、およびストリームＤＥＭＵＸ部３３０を備える。
ストリームＤＥＭＵＸ部３３０は、圧縮ストリームβを入力とする。このストリームＤＥＭＵＸ部３３０は、圧縮ストリームβから、上位レイヤの符号化情報νと、下位レイヤの符号化情報ξと、を取り出す。そして、上位レイヤの符号化情報νを上位レイヤ復号部３１０に出力し、下位レイヤの符号化情報ξを下位レイヤ復号部３２０に出力する。
（上位レイヤ復号部３１０の構成および動作）
図１３は、上位レイヤ復号部３１０の構成を示すブロック図である。上位レイヤ復号部３１０は、エントロピー復号部３１１、色フォーマット変換部３１２、色予測値生成部３１３、逆ＤＣＴ／逆量子化部３１４、予測値生成部３１５、およびローカルメモリ３１６を備える。
エントロピー復号部３１１、逆ＤＣＴ／逆量子化部３１４、予測値生成部３１５、およびローカルメモリ３１６は、それぞれ、図６に示したエントロピー復号部１１１、逆ＤＣＴ／逆量子化部１１３、予測値生成部１１４、およびローカルメモリ１１５と同様に動作する。
色フォーマット変換部３１２は、下位レイヤ復号部３２０から出力される後述の下位レイヤのデコード画像μを入力とする。ここで、下位レイヤのデコード画像μは、ＹＵＶフォーマットの映像である。そこで、色フォーマット変換部３１２は、下位レイヤのデコード画像μのＹ成分、Ｕ成分、およびＶ成分のそれぞれの画素値の重み付け和により、Ｒ成分、Ｇ成分、およびＢ成分のそれぞれの画素値を得て、ＲＧＢフォーマットの下位レイヤのデコード画像πとして出力する。
色予測値生成部３１３は、下位レイヤのデコード画像πを入力とする。この色予測値生成部３１３は、図１０に示した色予測値生成部２１２と同様に、色予測値の生成を行う。そして、下位レイヤにおける基準色成分（Ｇ成分）と、残りの成分（ＲＢ成分）の予測値と、を予測値ρとして出力とする。
（下位レイヤ復号部３２０の構成および動作）
図１４は、下位レイヤ復号部３２０の構成を示すブロック図である。下位レイヤ復号部３２０は、エントロピー復号部３２１、逆ＤＣＴ／逆量子化部３２２、予測値生成部３２３、およびローカルメモリ３２４を備える。
エントロピー復号部３２１、逆ＤＣＴ／逆量子化部３２２、予測値生成部３２３、およびローカルメモリ３２４は、それぞれ、図８に示したエントロピー復号部１３１、逆ＤＣＴ／逆量子化部１３３、予測値生成部１３４、およびローカルメモリ１３５と同様に動作する。
以上の動画像符号化装置ＣＣによれば、以下の効果を奏することができる。
上述のように、ＹＵＶフォーマットにおけるＹ成分と、ＲＧＢフォーマットにおけるＧ成分とは、対関係にある。そこで、動画像符号化装置ＣＣは、Ｙ成分とＧ成分との対関係を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの映像を高精度に予測できる。このため、上位レイヤの映像（ＲＧＢフォーマットの映像）と下位レイヤの映像（ＹＵＶフォーマットの映像）とで、絵柄は同じだが映像フォーマットが異なっていても、これら映像を１つの圧縮ストリームβとして効率よく圧縮できる。したがって、例えば、下位レイヤを放送用の映像フォーマットとし、上位レイヤを素材用の映像フォーマットとして、両者を効率よく圧縮できる。
なお、動画像符号化装置ＣＣは、レイヤ間で映像フォーマットが同一な色成分についても、上位レイヤにおいて、下位レイヤでの劣化を補償する情報を付与すること（ＳＮＲスケーラビリティ）が可能である。
また、以上の動画像復号装置ＤＤによれば、以下の効果を奏することができる。
動画像復号装置ＤＤは、Ｙ成分とＧ成分との対関係を用いて、色成分間予測に基づくレイヤ間予測を行う。これによれば、下位レイヤの映像を用いて上位レイヤの映像を高精度に予測できる。このため、１つの圧縮ストリームβから、上位レイヤ出力映像κおよび下位レイヤ出力映像λという互いに映像フォーマットの異なる映像を復号できる。
なお、本発明の動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の第１実施形態では、入力映像ａとして、ＹＵＶ４：４：４フォーマットの映像が入力されるものとしたが、これに限らず、例えば、ＹＵＶ４：２：２フォーマットの映像が入力されてもよい。ＹＵＶ４：２：２フォーマットの映像が入力映像ａとして入力される場合には、図４の色情報サンプリング部３７は、ＹＵＶ４：２：０フォーマットの映像を生成することになる。
また、上述の第１実施形態では、上位レイヤと下位レイヤとの２階層が存在する場合について説明したが、これに限らず、例えば、３階層や４階層が存在する場合にも本発明を適用できる。３階層以上が存在する場合であっても、上述の第１実施形態と同様に、下位のレイヤから逐次的に上位のレイヤの符号化や復号を行えばよい。
また、上述の第１実施形態において、入力映像ａのＹ成分と、下位レイヤのローカルデコード映像ｇのＹ成分と、の差分が予め定められた閾値より小さい場合に、予測値生成部２２は、入力映像ａと同じ値を予測値ｐとして出力してもよい。これによれば、Ｙ成分について、下位レイヤのローカルデコード映像ｇの画質が十分に良ければ、下位レイヤのローカルデコード映像ｇが、上位レイヤのＹ成分として置き換えられることになる。そして、ＤＣＴ／量子化部２３に入力される入力映像ａと予測値ｐとの差分情報がゼロになり、エントロピー符号化部２５では予測情報ｑのみが符号化されることになる。また、生成される圧縮ストリームｂに対して、後述する動画像復号装置ＢＢで追加情報や特別な処理が不要になる。
また、上述の第２実施形態では、上位レイヤの表現ビット数と、下位レイヤの表現ビット数と、は同一であるものとしたが、これに限らず、異なるものであってもよい。例えば、下位レイヤから上位レイヤを予測する際に表現ビット数を増加させることで、上位レイヤのビット数が下位レイヤのビット数を包含する映像フォーマット階層構造において、表現ビット数のスケーラビリティを実現できる。
また、上述の第１実施形態ではＹＵＶフォーマットの映像について説明し、第２実施形態ではＲＧＢフォーマットの映像とＹＵＶフォーマットの映像とについて説明した。しかしながら、これに限らず、ＬａｂやＣＭＹＫなどの他の色空間との間のスケーラビリティについても、本発明を適用できる。
１０・・・第１の上位レイヤ符号化部
２０・・・第２の上位レイヤ符号化部
３０、２２０・・・下位レイヤ符号化部
４０、２３０・・・ストリームＭＵＸ部
１１０・・・第１の上位レイヤ復号部
１２０・・・第２の上位レイヤ復号部
１３０、３２０・・・下位レイヤ復号部
１４０、３３０・・・ストリームＤＥＭＵＸ部
２１０・・・上位レイヤ符号化部
３１０・・・上位レイヤ復号部
ＡＡ、ＣＣ・・・動画像符号化装置
ＢＢ、ＤＤ・・・動画像復号装置

Claims (13)

  1. 入力映像に対するスケーラブル符号化が可能な動画像符号化装置であって、
    前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する映像フォーマット変換手段と、
    前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する符号化側予測手段と、
    前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第１の符号化手段と、
    前記映像フォーマット変換手段により生成された前記変換後映像を符号化する第２の符号化手段と、
    前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する多重化手段と、を備え、
    前記映像フォーマット変換手段は、前記変換後映像として、前記入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像を生成し、
    前記符号化側予測手段は、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測し、
    前記第１の符号化手段は、既存の標準方式により前記ベースレイヤの符号化を行うことを特徴とする動画像符号化装置。
  2. 前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、は対関係にあり、
    前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、は対関係にあり、
    前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項１に記載の動画像符号化装置。
  4. 前記入力映像についての復号画像を構成する複数の成分のうちの１つである特定成分と、前記変換後映像についての復号画像を構成する複数の成分のうちの１つである所定成分と、は対関係にあり、
    前記符号化側予測手段は、前記入力映像についての復号画像の前記特定成分の画素値と、前記変換後映像についての復号画像の前記所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により当該入力映像から当該変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項１に記載の動画像符号化装置。
  5. 請求項１から４のいずれかの動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置であって、
    前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す逆多重化手段と、
    前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する復号手段と、
    前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する復号側予測手段と、
    前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第１の映像出力手段と、
    前記復号手段により復号された映像に基づいて、前記変換後映像を求める第２の映像出力手段と、を備えることを特徴とする動画像復号装置。
  6. 前記復号手段は、既存の標準方式により符号化されたベースレイヤの符号化結果の復号と、前記逆多重化手段により取り出された符号化結果のうち当該ベースレイヤとは異なるエンハンスメントレイヤの符号化結果の復号と、を行い、
    前記復号側予測手段は、前記ベースレイヤの復号画像を構成する複数の成分のうちの１つである特定成分の画素値を用いて、前記失われた情報を予測することを特徴とする請求項５に記載の動画像復号装置。
  7. 前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像を構成する複数の成分のうちの１つである所定成分の画素値と、を用いて、多項式近似に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
  8. 前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像を構成する複数の成分のうちの１つである所定成分の画素値と、を用いて、処理画素値の誤差が最小となる補間フィルタに基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
  9. 前記復号側予測手段は、前記ベースレイヤの復号画像の前記特定成分の画素値と、前記エンハンスメントレイヤの復号画像を構成する複数の成分のうちの１つである所定成分の画素値と、を用いて、非線形補間処理に基づき、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた成分の予測値を生成することを特徴とする請求項６に記載の動画像復号装置。
  10. 映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法であって、
    前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、
    前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、
    前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、
    前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、
    前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、を備え、
    前記第１のステップでは、前記映像フォーマット変換手段が、前記変換後映像として、前記入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像を生成し、
    前記第２のステップでは、前記符号化側予測手段が、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測し、
    前記第３のステップでは、前記第１の符号化手段が、既存の標準方式により前記ベースレイヤの符号化を行うことを特徴とする動画像符号化方法。
  11. 逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、請求項１０の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法であって、
    前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、
    前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、
    前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、
    前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、
    前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、を備えることを特徴とする動画像復号方法。
  12. 映像フォーマット変換手段、符号化側予測手段、第１の符号化手段、第２の符号化手段、および多重化手段を備え、入力映像に対するスケーラブル符号化が可能な動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    前記映像フォーマット変換手段が、前記入力映像を、当該入力映像の映像フォーマットとは異なる映像フォーマットの映像に変換して、変換後映像を生成する第１のステップと、
    前記符号化側予測手段が、前記映像フォーマット変換手段により前記変換後映像を生成する際に失われた情報を予測する第２のステップと、
    前記第１の符号化手段が、前記符号化側予測手段による予測結果を用いて、前記入力映像を符号化する第３のステップと、
    前記第２の符号化手段が、前記映像フォーマット変換手段により変換された映像を符号化する第４のステップと、
    前記多重化手段が、前記第１の符号化手段による符号化結果と、前記第２の符号化手段による符号化結果と、を多重化して、映像フォーマットに関するスケーラビリティを有する圧縮データを生成する第５のステップと、をコンピュータに実行させ、
    前記第１のステップでは、前記映像フォーマット変換手段が、前記変換後映像として、前記入力映像のフォーマットと異なるフォーマットで、かつ、１画素あたりのデータ量が当該入力映像より少ない映像フォーマットの映像を生成し、
    前記第２のステップでは、前記符号化側予測手段が、ベースレイヤの復号画像を構成する複数の成分のうちの１つの画素値を用いて、前記失われた情報を予測し、
    前記第３のステップでは、前記第１の符号化手段が、既存の標準方式により前記ベースレイヤの符号化を行うためのプログラム。
  13. 逆多重化手段、復号手段、復号側予測手段、第１の映像出力手段、および第２の映像出力手段を備え、請求項１２の動画像符号化装置で生成された圧縮データに対するスケーラブル復号が可能な動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記逆多重化手段が、前記圧縮データから、映像の符号化結果を映像フォーマットごとに取り出す第６のステップと、
    前記復号手段が、前記逆多重化手段により取り出された映像フォーマットごとの符号化結果を復号する第７のステップと、
    前記復号側予測手段が、前記映像フォーマット変換手段により前記入力映像から前記変換後映像を生成した際に失われた情報を予測する第８のステップと、
    前記第１の映像出力手段が、前記復号手段により復号された映像と、前記復号側予測手段による予測結果と、を用いて、前記入力映像を求める第９のステップと、
    前記第２の映像出力手段が、前記復号手段により復号された映像に基づいて、前記変換後映像を求める第１０のステップと、をコンピュータに実行させるためのプログラム。
JP2012135117A 2012-06-14 2012-06-14 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム Expired - Fee Related JP5873395B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012135117A JP5873395B2 (ja) 2012-06-14 2012-06-14 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US14/407,877 US20150181253A1 (en) 2012-06-14 2013-06-07 Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
PCT/JP2013/065875 WO2013187334A1 (ja) 2012-06-14 2013-06-07 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
EP13804466.4A EP2863629A4 (en) 2012-06-14 2013-06-07 VIDEO ENCODING DEVICE, VIDEO DECODING DEVICE, VIDEO ENCODING METHOD, VIDEO DECODING METHOD, AND PROGRAM
CN201380030288.0A CN104365094B (zh) 2012-06-14 2013-06-07 动画图像编码装置、动画图像解码装置、动画图像编码方法、动画图像解码方法以及程序
GB1422150.1A GB2518088A (en) 2012-06-14 2013-06-07 Video encoding device, video decoding device, video encoding method, video decoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012135117A JP5873395B2 (ja) 2012-06-14 2012-06-14 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013258651A JP2013258651A (ja) 2013-12-26
JP5873395B2 true JP5873395B2 (ja) 2016-03-01

Family

ID=49758157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012135117A Expired - Fee Related JP5873395B2 (ja) 2012-06-14 2012-06-14 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Country Status (6)

Country Link
US (1) US20150181253A1 (ja)
EP (1) EP2863629A4 (ja)
JP (1) JP5873395B2 (ja)
CN (1) CN104365094B (ja)
GB (1) GB2518088A (ja)
WO (1) WO2013187334A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536710B2 (en) 2012-06-27 2020-01-14 Intel Corporation Cross-layer cross-channel residual prediction
CA2933563C (en) * 2013-12-27 2022-02-22 Sony Corporation Image processing apparatus and method
JP6233121B2 (ja) * 2014-03-17 2017-11-22 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US10904534B2 (en) * 2016-04-19 2021-01-26 Dolby Laboratories Licensing Corporation Enhancement layer masking for high-dynamic range video coding
CN112689197B (zh) * 2019-10-18 2022-07-08 腾讯科技（深圳）有限公司 一种文件格式转换方法、装置、以及计算机存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703088B2 (ja) * 2001-06-08 2005-10-05 日本ビクター株式会社 拡張画像符号化装置及び拡張画像復号化装置
WO2004045217A1 (en) * 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US20050129130A1 (en) * 2003-12-10 2005-06-16 Microsoft Corporation Color space coding framework
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법

Also Published As

Publication number Publication date
US20150181253A1 (en) 2015-06-25
CN104365094B (zh) 2018-05-18
CN104365094A (zh) 2015-02-18
GB2518088A (en) 2015-03-11
WO2013187334A1 (ja) 2013-12-19
EP2863629A4 (en) 2015-12-02
JP2013258651A (ja) 2013-12-26
EP2863629A1 (en) 2015-04-22

Similar Documents

Publication Publication Date Title
CN111869212B (zh) 视频解码方法、装置和可读介质
JP7271683B2 (ja) エンコーダ、デコーダ、および対応するイントラ予測方法
TWI544787B (zh) 當跳過轉換時用於有損寫碼之內部預測模式
JP6065095B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
CN104813667B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
JP4908180B2 (ja) 動画像符号化装置
JP2022520944A (ja) 変換スキップモードとブロック差分パルスコード変調の改善された残差コーディング
CN101467461B (zh) 基于多层的视频编码方法及其装置
JP6333942B2 (ja) ビデオ情報のスケーラブルコード化のための装置及び方法
JP2017216698A (ja) ビデオビットストリームをトランスコーディングする方法及び構成
CN101601299A (zh) 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
JP2008536440A (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP6409516B2 (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
JP5873395B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2012017945A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5768180B2 (ja) 画像復号方法及び画像復号装置
JP2012517178A (ja) 多視点映像の符号化及び復号化のための装置及び方法
WO2015091360A1 (en) Method for coding a sequence of pictures and method for decoding a bitstream and corresponding devices
JP5800362B2 (ja) 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム
WO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
CN113748678B (zh) 视频编解码方法、装置和存储介质
JP5878792B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2013035358A1 (ja) 動画像符号化装置およびその方法、ならびに動画像復号装置およびその方法
CN115702566A (zh) 基于子层级别信息的图像编码/解码方法和设备及存储比特流的记录介质
JP2008270974A (ja) 動画像符号化装置及び動画像復号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160115

R150 Certificate of patent or registration of utility model

Ref document number: 5873395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees