JP6352141B2 - 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム Download PDF

Info

Publication number
JP6352141B2
JP6352141B2 JP2014202509A JP2014202509A JP6352141B2 JP 6352141 B2 JP6352141 B2 JP 6352141B2 JP 2014202509 A JP2014202509 A JP 2014202509A JP 2014202509 A JP2014202509 A JP 2014202509A JP 6352141 B2 JP6352141 B2 JP 6352141B2
Authority
JP
Japan
Prior art keywords
prediction
predicted
target block
pixel
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014202509A
Other languages
English (en)
Other versions
JP2016072903A (ja
Inventor
圭 河村
圭 河村
内藤 整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014202509A priority Critical patent/JP6352141B2/ja
Priority to PCT/JP2015/069043 priority patent/WO2016051893A1/ja
Priority to CN201580041788.3A priority patent/CN106688237B/zh
Priority to EP15845627.7A priority patent/EP3203746B1/en
Publication of JP2016072903A publication Critical patent/JP2016072903A/ja
Priority to US15/403,905 priority patent/US10681366B2/en
Application granted granted Critical
Publication of JP6352141B2 publication Critical patent/JP6352141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラムに関する。
イントラ予測(フレーム内予測)またはインター予測(フレーム間予測)と、残差変換と、を用いた動画像符号化方式が提案されている(例えば、非特許文献1参照)。
まず、上述の動画像符号化方式に対応する従来例に係る動画像符号化装置について説明する。従来例に係る動画像符号化装置は、まず、入力画像を複数のブロックに分割する。次に、分割したブロック単位で、入力画像と、イントラ予測画像またはインター予測画像と、の誤差(残差)信号を変換および量子化して量子化係数レベルを生成する。次に、生成した量子化係数レベルをサイド情報(画素値の再構成に必要な予測モードや動きベクトルなどの関連情報)とともにエントロピー符号化して、ビットストリームを生成する。
一方、上述の動画像符号化方式に対応する従来例に係る動画像復号装置は、上述の従来例に係る動画像符号化装置で行われる手順と逆の手順により、ビットストリームから出力画像を得る。具体的には、ビットストリームから得られた量子化係数レベルを逆量子化および逆変換して残差信号を生成し、イントラ予測画像またはインター予測画像と合算してフィルタ前局所復号画像を生成する。このフィルタ前局所復号画像は、イントラ予測に用いられる。また、フィルタ前局所復号画像にインループフィルタ(例えば、デブロックフィルタ)を適用してフィルタ後局所復号画像を生成し、フレームバッファに蓄積する。このフィルタ後局所復号画像は、インター予測に用いられる。なお、ビットストリームからサイド情報および量子化係数レベルを得る処理のことは、パース処理と呼ばれ、これらサイド情報および量子化係数レベルを用いて画素値を再構成することは、復号処理と呼ばれる。
次に、上述の従来例に係る動画像符号化装置および動画像復号装置で行われる、従来例に係るイントラ予測について説明する。従来例に係るイントラ予測では、輝度および色差について、イントラ参照画素生成およびイントラ予測画素生成を行う。
イントラ参照画素生成では、輝度についてであれば、まず、局所復号バッファから出力される対象ブロックmよりも前に復号されたブロックi(ただし、i<mとする)の輝度局所復号画素を入力とし、参照画素位置に相当する画素が復号済みであることを確認する参照可能性の検証を行い、参照不可能であれば、他の位置からコピーして参照画素を生成するパディング処理を行う。次に、参照画素への3タップフィルタによる平滑化処理を行って、輝度イントラ参照画素を出力する。色差についても、輝度についてと同様に、イントラ参照画素生成により、色差イントラ参照画素を出力する。
イントラ予測画素生成では、輝度についてであれば、明記されていない予測モードにしたがって水平、垂直、DC、Planar、方向性などの予測を行って、輝度イントラ予測画素を出力する。色差についても、輝度についてと同様に、イントラ予測画素生成により、色差イントラ予測画素を出力する。
なお、パース処理が完了していれば、輝度と色差とで独立して復号処理を行うことができる。
HEVC Version 2では、YUV4:2:2色形式、YUV4:4:4色形式、RGB4:4:4色形式などに色形式の対象を拡張したFormat Range Extensionsが検討された。また、4:4:4色形式では、U/VやB/Rのように、色差成分の画素数が4:2:0色形式の場合と比べて4倍になるので、符号化効率を改善するための手法も検討された。
一方、HEVC Version 3では、PC画面やコンピュータグラフィクスなどの、カメラ撮影映像以外のスクリーンコンテンツに特化した符号化方式および復号方式が検討されている(例えば、非特許文献2参照)。非特許文献2には、輝度再構成信号を参照信号とし、色差信号を線形予測して符号化効率を改善する輝度・色差予測が示されている。この輝度・色差予測では、輝度信号の再構成信号と、色差信号の局所復号信号と、を入力とし、イントラ予測モードの1つとして線形予測により色差予測信号を出力する。
上述の線形予測は、以下の数式(1)により実現される。
Figure 0006352141
なお、数式(1)において、Predは、色差ブロックの予測信号を示し、Recは、輝度ブロックの再構成信号を示し、αおよびβは、予測係数を示す。M(X)をベクトルXの平均と定義するとともに、R(A、B)を以下の数式(2)のように定義すると、予測係数αは、以下の数式(3)により求めることができ、予測係数βは、以下の数式(4)により求めることができる。
Figure 0006352141
Figure 0006352141
Figure 0006352141
JCTVC-R1013_v2, Draft high efficiency video coding (HEVC) version 2, combined format range extensions (RExt), scalability (SHVC), and multi-view (MV-HEVC) extensions. JCTVC-R0072, SCCE5 3.1.2: Extended inter-component prediction (JCTVC-Q0036).
図21は、上述の従来例に係る線形予測による輝度・色差予測を行うために必要な参照画素を示す図である。色差信号については、予測対象ブロックP0の左に隣接するイントラ予測参照画素P5と、予測対象ブロックP0の左上に隣接するイントラ予測参照画素P6と、予測対象ブロックP0の上に隣接するイントラ予測参照画素P7と、が必要である。一方、輝度信号については、予測対象ブロックに対応する輝度信号の輝度・色差予測の参照ブロックP1と、参照ブロックP1の左に隣接するイントラ予測参照画素P2と、参照ブロックP1の左上に隣接するイントラ予測参照画素P3と、参照ブロックP1の上に隣接するイントラ予測参照画素P4と、が必要である。
このため、上述の従来例に係る線形予測による輝度・色差予測では、色差信号の予測対象ブロックP0を予測するためには、輝度信号の参照ブロックP1が必要である。したがって、色差ブロックmを予測するためには、輝度ブロックmの局所復号(再構成)が完了していなければならず、処理タイミングの制約により、ハードウェア実装の自由度が低下するという課題があった。
そこで、本発明は、上述の課題を鑑みてなされたものであり、線形予測を用いたイントラ予測における処理タイミングの制約を軽減することを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、複数の色成分を有する動画像を符号化する動画像符号化装置(例えば、図1の動画像符号化装置1に相当)であって、前記複数の色成分のうち予測対象となる色成分を除くもの(例えば、後述の輝度成分)のイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分(例えば、後述の色差成分)の参照画素を線形予測する線形予測手段(例えば、図3の予測係数導出部2211およびチャネル間参照画素生成部2212に相当)と、前記線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測するイントラ予測手段(例えば、図3のイントラ予測画素生成部223に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、線形予測手段により、複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、予測対象となる色成分の参照画素を線形予測することとした。また、イントラ予測手段により、線形予測手段により線形予測された予測対象となる色成分の参照画素を用いて、予測対象となる色成分の予測対象ブロックをイントラ予測することとした。このため、複数の色成分のうち予測対象となる色成分を除くものにおいて、予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、予測対象ブロックについて線形予測を用いてイントラ予測を行う際には、特定ブロックは不要になる。したがって、予測対象ブロックについて線形予測を用いてイントラ予測を行う際には、特定ブロックの局所復号(再構成)が完了している必要はない。したがって、線形予測を用いたイントラ予測における処理タイミングの制約を軽減することができる。
(2) 本発明は、(1)の動画像符号化装置について、前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロック(例えば、図6の予測対象ブロックP0に相当)に対応するブロックのことを特定ブロック(例えば、図6の参照ブロックP1に相当)と呼ぶこととすると、前記線形予測手段は、前記特定ブロックの左に隣接する画素(例えば、図6の参照画素P2に相当)と、当該特定ブロックの左上に隣接する画素(例えば、図6の参照画素P3に相当)と、当該特定ブロックの上に隣接する画素(例えば、図6の参照画素P4に相当)と、を用いて、前記予測対象ブロックの左に隣接する画素(例えば、図6の参照画素P5に相当)と、当該予測対象ブロックの左上に隣接する画素(例えば、図6の参照画素P6に相当)と、当該予測対象ブロックの上に隣接する画素(例えば、図6の参照画素P7に相当)と、を線形予測し、前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)の動画像符号化装置において、線形予測手段により、特定ブロックの左に隣接する画素と、特定ブロックの左上に隣接する画素と、特定ブロックの上に隣接する画素と、を用いて、予測対象ブロックの左に隣接する画素と、予測対象ブロックの左上に隣接する画素と、予測対象ブロックの上に隣接する画素と、を線形予測することとした。また、イントラ予測手段により、線形予測手段により線形予測された予測対象ブロックの左に隣接する画素と、予測対象ブロックの左上に隣接する画素と、予測対象ブロックの上に隣接する画素と、を用いて、予測対象ブロックをイントラ予測することとした。このため、上述した効果と同様の効果を奏することができる。
(3) 本発明は、(1)または(2)の動画像符号化装置について、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、当該検証処理により参照不可能であると判定した場合に当該参照画素位置とは異なる位置から参照画素を生成するパディング処理と、当該参照画素への平滑化処理と、を行うイントラ参照画素生成手段(例えば、図3のイントラ参照画素生成部121、222に相当)を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)または(2)の動画像符号化装置において、イントラ参照画素生成手段により、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、検証処理により参照不可能であると判定した場合に参照画素位置とは異なる位置から参照画素を生成するパディング処理と、参照画素への平滑化処理と、を行うこととした。このため、イントラ参照画素を生成することができる。
(4) 本発明は、(1)から(3)のいずれかの動画像符号化装置について、前記線形予測手段は、前記予測対象となる色成分の参照画素と、前記複数の色成分のうち当該予測対象となる色成分を除くものの参照画素と、を用いて予測係数を導出する予測係数導出手段(例えば、図3の予測係数導出部2211に相当)を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)から(3)のいずれかの動画像符号化装置において、予測係数導出手段により、予測対象となる色成分の参照画素と、複数の色成分のうち予測対象となる色成分を除くものの参照画素と、を用いて予測係数を導出することとした。このため、予測係数を求めることができる。
(5) 本発明は、(1)から(3)のいずれかの動画像符号化装置について、前記線形予測手段は、予め定められた複数の予測係数の中から予測係数を選択する予測係数導出手段(例えば、図8の予測係数導出部2211Aに相当)を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)から(3)のいずれかの動画像符号化装置において、予測係数導出手段により、予め定められた複数の予測係数の中から予測係数を選択することとした。このため、予測係数を求めることができる。
(6) 本発明は、(1)から(5)のいずれかの動画像符号化装置について、前記予測対象ブロックの線形予測を動画像復号装置で行うか否かを決定し、決定結果を色差イントラ予測モードの1モードとして当該動画像復号装置にシグナリングする判定手段(例えば、図12の判定部2213Aに相当)を備え、前記判定手段は、前記予測対象ブロックの線形予測を動画像復号装置で行うと決定した場合に、前記決定結果をシグナリングした後に、前記予測対象となる色成分の予測モードを、前記複数の色成分のうち当該予測対象となる色成分を除くものにおける予測モードと同一にすることを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)から(5)のいずれかの動画像符号化装置において、判定手段により、予測対象ブロックの線形予測を動画像復号装置で行うか否かを決定し、決定結果を色差イントラ予測モードの1モードとして動画像復号装置にシグナリングすることとした。また、判定手段により、予測対象ブロックの線形予測を動画像復号装置で行うと決定した場合に、決定結果をシグナリングした後に、予測対象となる色成分の予測モードを、複数の色成分のうち予測対象となる色成分を除くものにおける予測モードと同一にすることとした。このため、予測対象ブロックの線形予測を動画像復号装置で行うか否かを、色差イントラ予測モードの1モードとして動画像復号装置に伝達することができる。
(7) 本発明は、(1)から(5)のいずれかの動画像符号化装置について、前記予測対象となる色成分における予測モードと、前記複数の色成分のうち当該予測対象となる色成分を除くものにおける予測モードと、が同一であれば、前記予測対象ブロックの線形予測を動画像復号装置で行うか否かを決定し、決定結果を当該動画像復号装置にシグナリングする判定手段(例えば、図16の判定部2213Bに相当)を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)から(5)のいずれかの動画像符号化装置において、判定手段により、予測対象となる色成分における予測モードと、複数の色成分のうち予測対象となる色成分を除くものにおける予測モードと、が同一であれば、予測対象ブロックの線形予測を動画像復号装置で行うか否かを決定し、決定結果を動画像復号装置にシグナリングすることとした。このため、予測対象となる色成分における予測モードと、複数の色成分のうち予測対象となる色成分を除くものにおける予測モードと、が同一である場合に、予測対象ブロックの線形予測を動画像復号装置で行うか否かを、動画像復号装置に伝達することができる。
(8) 本発明は、複数の色成分を有する動画像を復号する動画像復号装置(例えば、図1の動画像復号装置100に相当)であって、前記複数の色成分のうち予測対象となる色成分を除くもの(例えば、後述の輝度成分)のイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分(例えば、後述の色差成分)の参照画素を線形予測する線形予測手段(例えば、図5の予測係数導出部12811およびチャネル間参照画素生成部12812に相当)と、前記線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測するイントラ予測手段(例えば、図5のイントラ予測画素生成部1283に相当)と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、線形予測手段により、複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、予測対象となる色成分の参照画素を線形予測することとした。また、イントラ予測手段により、線形予測手段により線形予測された予測対象となる色成分の参照画素を用いて、予測対象となる色成分の予測対象ブロックをイントラ予測することとした。このため、複数の色成分のうち予測対象となる色成分を除くものにおいて、予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、予測対象ブロックについて線形予測を用いてイントラ予測を行う際には、特定ブロックは不要になる。したがって、予測対象ブロックについて線形予測を用いてイントラ予測を行う際には、特定ブロックの局所復号(再構成)が完了している必要はない。したがって、線形予測を用いたイントラ予測おける処理タイミングの制約を軽減することができる。
(9) 本発明は、(8)の動画像復号装置について、前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロック(例えば、図6の予測対象ブロックP0に相当)に対応するブロックのことを特定ブロック(例えば、図6の参照ブロックP1に相当)と呼ぶこととすると、前記線形予測手段は、前記特定ブロックの左に隣接する画素(例えば、図6の参照画素P2に相当)と、当該特定ブロックの左上に隣接する画素(例えば、図6の参照画素P3に相当)と、当該特定ブロックの上に隣接する画素(例えば、図6の参照画素P4に相当)と、を用いて、前記予測対象ブロックの左に隣接する画素(例えば、図6の参照画素P5に相当)と、当該予測対象ブロックの左上に隣接する画素(例えば、図6の参照画素P6に相当)と、当該予測対象ブロックの上に隣接する画素(例えば、図6の参照画素P7に相当)と、を線形予測し、前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することを特徴とする動画像復号装置を提案している。
この発明によれば、(8)の動画像復号装置において、線形予測手段により、特定ブロックの左に隣接する画素と、特定ブロックの左上に隣接する画素と、特定ブロックの上に隣接する画素と、を用いて、予測対象ブロックの左に隣接する画素と、予測対象ブロックの左上に隣接する画素と、予測対象ブロックの上に隣接する画素と、を線形予測することとした。また、イントラ予測手段により、線形予測手段により線形予測された予測対象ブロックの左に隣接する画素と、予測対象ブロックの左上に隣接する画素と、予測対象ブロックの上に隣接する画素と、を用いて、予測対象ブロックをイントラ予測することとした。このため、上述した効果と同様の効果を奏することができる。
(10) 本発明は、(8)または(9)の動画像復号装置について、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、当該検証処理により参照不可能であると判定した場合に当該参照画素位置とは異なる位置から参照画素を生成するパディング処理と、当該参照画素への平滑化処理と、を行うイントラ参照画素生成手段(例えば、図5のイントラ参照画素生成部1121、1282に相当)を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(8)または(9)の動画像復号装置において、イントラ参照画素生成手段により、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、検証処理により参照不可能であると判定した場合に参照画素位置とは異なる位置から参照画素を生成するパディング処理と、参照画素への平滑化処理と、を行うこととした。このため、イントラ参照画素を生成することができる。
(11) 本発明は、(8)から(10)のいずれかの動画像復号装置について、前記線形予測手段は、前記予測対象となる色成分の参照画素と、前記複数の色成分のうち当該予測対象となる色成分を除くものの参照画素と、を用いて予測係数を導出する予測係数導出手段(例えば、図5の予測係数導出部12811に相当)を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(8)から(10)のいずれかの動画像復号装置において、予測係数導出手段により、予測対象となる色成分の参照画素と、複数の色成分のうち予測対象となる色成分を除くものの参照画素と、を用いて予測係数を導出することとした。このため、予測係数を求めることができる。
(12) 本発明は、(8)から(10)のいずれかの動画像復号装置について、前記線形予測手段は、予め定められた複数の予測係数の中から予測係数を選択する予測係数導出手段(例えば、図10の予測係数導出部12811Aに相当)を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(8)から(10)のいずれかの動画像復号装置において、予測係数導出手段により、予め定められた複数の予測係数の中から予測係数を選択することとした。このため、予測係数を求めることができる。
(13) 本発明は、(8)から(12)のいずれかの動画像復号装置について、前記線形予測手段は、前記予測対象となる色成分の予測モードのひとつとして動画像符号化装置からのシグナリングに基づいて、前記線形予測を行うか否かを決定するとともに、前記線形予測を行うと決定した場合に、前記予測対象となる色成分の予測モードを、前記複数の色成分のうち当該予測対象となる色成分を除くものにおける予測モードと同一にすることを特徴とする請求項8から12のいずれかに記載の動画像復号装置を提案している。
この発明によれば、(8)から(12)のいずれかの動画像復号装置において、線形予測手段により、予測対象となる色成分の予測モードのひとつとして動画像符号化装置からのシグナリングに基づいて、線形予測を行うか否かを決定することとした。また、線形予測手段により、線形予測を行うと決定した場合に、予測対象となる色成分の予測モードを、複数の色成分のうち予測対象となる色成分を除くものにおける予測モードと同一にすることとした。このため、動画像符号化装置からのシグナリングに応じて線形予測を行うことができるとともに、予測対象となる色成分の予測モードを、複数の色成分のうち予測対象となる色成分を除くものにおける予測モードと同一にすることができる。
(14) 本発明は、(8)から(12)のいずれかの動画像復号装置について、前記線形予測手段は、前記予測対象となる色成分における予測モードと、前記複数の色成分のうち当該予測対象となる色成分を除くものにおける予測モードと、が同一であれば、動画像符号化装置からのシグナリングに基づいて、前記線形予測を行うか否かを決定することを特徴とする動画像復号装置を提案している。
この発明によれば、(8)から(12)のいずれかの動画像復号装置において、線形予測手段により、予測対象となる色成分における予測モードと、複数の色成分のうち予測対象となる色成分を除くものにおける予測モードと、が同一であれば、動画像符号化装置からのシグナリングに基づいて、線形予測を行うか否かを決定することとした。このため、動画像符号化装置からのシグナリングに応じて線形予測を行うことができる。
(15) 本発明は、複数の色成分を有する動画像を符号化する動画像符号化装置(例えば、図1の動画像符号化装置1に相当)と、複数の色成分を有する動画像を復号する動画像復号装置(例えば、図1の動画像復号装置100に相当)と、を備える動画像圧縮伝送システムであって、前記動画像符号化装置は、前記複数の色成分のうち予測対象となる色成分を除くもの(例えば、後述の輝度成分)のイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分(例えば、後述の色差成分)の参照画素を線形予測する符号化側線形予測手段(例えば、図3の予測係数導出部2211およびチャネル間参照画素生成部2212に相当)と、前記符号化側線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測する符号化側イントラ予測手段(例えば、図3のイントラ予測画素生成部223に相当)と、を備え、前記動画像復号装置は、前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、前記予測対象となる色成分の参照画素を線形予測する復号側線形予測手段(例えば、図5の予測係数導出部12811およびチャネル間参照画素生成部12812に相当)と、前記復号側線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測する復号側イントラ予測手段(例えば、図5のイントラ予測画素生成部1283に相当)と、を備えることを特徴とする動画像圧縮伝送システムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(16) 本発明は、線形予測手段(例えば、図3の予測係数導出部2211およびチャネル間参照画素生成部2212に相当)およびイントラ予測手段(例えば、図3のイントラ予測画素生成部223に相当)を備え、複数の色成分を有する動画像を符号化する動画像符号化装置(例えば、図1の動画像符号化装置1に相当)における動画像符号化方法であって、前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもの(例えば、後述の輝度成分)のイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分(例えば、後述の色差成分)の参照画素を線形予測する第1のステップと、前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックを線形予測する第2のステップと、を備えることを特徴とする動画像符号化方法を提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(17) 本発明は、線形予測手段(例えば、図5の予測係数導出部12811およびチャネル間参照画素生成部12812に相当)およびイントラ予測手段(例えば、図5のイントラ予測画素生成部1283に相当)を備え、複数の色成分を有する動画像を復号する動画像復号装置(例えば、図1の動画像復号装置100に相当)における動画像復号方法であって、前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもの(例えば、後述の輝度成分)のイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分(例えば、後述の色差成分)の参照画素を線形予測する第1のステップと、前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックを線形予測する第2のステップと、を備えることを特徴とする動画像復号方法を提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(18) 本発明は、線形予測手段(例えば、図3の予測係数導出部2211およびチャネル間参照画素生成部2212に相当)およびイントラ予測手段(例えば、図3のイントラ予測画素生成部223に相当)を備え、複数の色成分を有する動画像を符号化する動画像符号化装置(例えば、図1の動画像符号化装置1に相当)における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもの(例えば、後述の輝度成分)のイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分(例えば、後述の色差成分)の参照画素を線形予測する第1のステップと、前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測する第2のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(19) 本発明は、線形予測手段(例えば、図5の予測係数導出部12811およびチャネル間参照画素生成部12812に相当)およびイントラ予測手段(例えば、図5のイントラ予測画素生成部1283に相当)を備え、複数の色成分を有する動画像を復号する動画像復号装置(例えば、図1の動画像復号装置100に相当)における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもの(例えば、後述の輝度成分)のイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分(例えば、後述の色差成分)の参照画素を線形予測する第1のステップと、前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックを線形予測する第2のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
本発明によれば、線形予測における処理タイミングの制約を軽減することができる。
本発明の第1実施形態に係る動画像圧縮伝送システムのブロック図である。 本発明の第1実施形態に係る動画像符号化装置のブロック図である。 本発明の第1実施形態に係るイントラ予測部のブロック図である。 本発明の第1実施形態に係る動画像復号装置のブロック図である。 本発明の第1実施形態に係るイントラ予測部のブロック図である。 本発明の第1実施形態に係る動画像符号化装置および動画像復号装置の動作を説明するための図である。 本発明の第2実施形態に係る動画像符号化装置のブロック図である。 本発明の第2実施形態に係るイントラ予測部のブロック図である。 本発明の第2実施形態に係る動画像復号装置のブロック図である。 本発明の第2実施形態に係るイントラ予測部のブロック図である。 本発明の第3実施形態に係る動画像符号化装置のブロック図である。 本発明の第3実施形態に係るイントラ予測部のブロック図である。 本発明の第3実施形態に係る動画像復号装置のブロック図である。 本発明の第3実施形態に係るイントラ予測部のブロック図である。 本発明の第4実施形態に係る動画像符号化装置のブロック図である。 本発明の第4実施形態に係るイントラ予測部のブロック図である。 本発明の第4実施形態に係る動画像復号装置のブロック図である。 本発明の第4実施形態に係るイントラ予測部のブロック図である。 本発明の第5実施形態に係る動画像符号化装置のブロック図である。 本発明の第5実施形態に係るイントラ予測部のブロック図である。 従来例に係る動画像符号化装置および動画像復号装置の動作を説明するための図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
図1は、本発明の第1実施形態に係る動画像圧縮伝送システムAAのブロック図である。動画像圧縮伝送システムAAは、動画像を符号化して符号化データ(図2、4のビットストリームSIG2参照)を生成する動画像符号化装置1と、動画像符号化装置1により生成された符号化データを復号する動画像復号装置100と、を備える。これら動画像符号化装置1と動画像復号装置100とは、上述の符号化データを、例えば伝送路を介して伝送する。
[動画像符号化装置1の構成および動作]
図2は、動画像符号化装置1のブロック図である。動画像符号化装置1は、インター予測部11、21と、イントラ予測部12、22と、変換・量子化部13、23と、逆量子化・逆変換部14、24と、局所復号バッファ15、25と、インループフィルタ16、26と、フレームバッファ17、27と、成分間予測部31と、エントロピー符号化部32と、を備える。
(輝度信号に対する処理)
インター予測部11は、フレームバッファ17から供給される後述のフィルタ後輝度局所復号画像SIG11を入力とする。このインター予測部11は、フィルタ後輝度局所復号画像SIG11を用いてインター予測を行って輝度インター予測画素SIG13を生成し、出力する。
イントラ予測部12は、局所復号バッファ15から供給される後述のフィルタ前輝度局所復号画像SIG12を入力とする。このイントラ予測部12は、フィルタ前輝度局所復号画像SIG12を用いてイントラ予測を行って輝度イントラ予測画素SIG14を生成し、出力する。また、イントラ予測部12は、輝度イントラ参照画素SIG34を生成して出力する。このイントラ予測部12の詳細については、図3を用いて後述する。
変換・量子化部13は、輝度残差信号SIG16を入力とする。この変換・量子化部13は、輝度残差信号SIG16を変換および量子化して輝度量子化係数SIG17を生成し、出力する。なお、輝度残差信号SIG16とは、入力画像SIG1の輝度信号と、輝度予測画素SIG15と、の誤差(残差)信号のことであり、輝度予測画素SIG15とは、輝度インター予測画素SIG13または輝度イントラ予測画素SIG14のことである。
逆量子化・逆変換部14は、輝度量子化係数SIG17を入力とする。この逆量子化・逆変換部14は、輝度量子化係数SIG17を逆量子化および逆変換して、逆変換された輝度残差信号SIG18を生成し、出力する。
局所復号バッファ15は、フィルタ前輝度局所復号画像SIG12を蓄積し、適宜、イントラ予測部12およびインループフィルタ16に供給する。なお、フィルタ前輝度局所復号画像SIG12とは、輝度予測画素SIG15と、逆変換された輝度残差信号SIG18と、を合算した信号のことである。
インループフィルタ16は、フィルタ前輝度局所復号画像SIG12を入力とする。このインループフィルタ16は、フィルタ前輝度局所復号画像SIG12に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後輝度局所復号画像SIG11を生成し、出力する。
フレームバッファ17は、フィルタ後輝度局所復号画像SIG11を蓄積し、適宜、インター予測部11に供給する。
(色差信号に対する処理)
インター予測部21は、フレームバッファ27から供給される後述のフィルタ後色差局所復号画像SIG21を入力とする。このインター予測部21は、フィルタ後色差局所復号画像SIG21を用いてインター予測を行って色差インター予測画素SIG23を生成し、出力する。
イントラ予測部22は、局所復号バッファ25から供給される後述のフィルタ前色差局所復号画像SIG22と、イントラ予測部12から供給される上述の輝度イントラ参照画素SIG34と、を入力とする。このイントラ予測部22は、フィルタ前色差局所復号画像SIG22および輝度イントラ参照画素SIG34を用いてイントラ予測を行って色差イントラ予測画素SIG24を生成し、出力する。イントラ予測部22の詳細については、図3を用いて後述する。
変換・量子化部23は、色差残差信号SIG32を入力とする。この変換・量子化部23は、色差残差信号SIG32を変換および量子化して色差量子化係数SIG27を生成し、出力する。なお、色差残差信号SIG32とは、色差残差信号SIG26と、成分間予測部31から供給される後述の色差残差修正用信号SIG31と、の誤差(残差)信号のことである。また、色差残差信号SIG26とは、入力画像SIG1の色差信号と、色差予測画素SIG25と、の誤差(残差)信号のことであり、色差予測画素SIG25とは、色差インター予測画素SIG23または色差イントラ予測画素SIG24のことである。
逆量子化・逆変換部24は、色差量子化係数SIG27を入力とする。この逆量子化・逆変換部24は、色差量子化係数SIG27を逆量子化および逆変換して、逆変換された色差残差信号SIG33を生成し、出力する。
局所復号バッファ25は、フィルタ前色差局所復号画像SIG22を蓄積し、適宜、イントラ予測部22およびインループフィルタ26に供給する。なお、フィルタ前色差局所復号画像SIG22とは、色差予測画素SIG25と、色差残差信号SIG28と、を合算した信号のことであり、色差残差信号SIG28とは、色差残差修正用信号SIG31と、逆変換された色差残差信号SIG33と、を合算した信号のことである。フィルタ前色差局所復号画像SIG22は、以下の数式(5)により求めることができる。
Figure 0006352141
インループフィルタ26は、フィルタ前色差局所復号画像SIG22を入力とする。このインループフィルタ26は、フィルタ前色差局所復号画像SIG22に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後色差局所復号画像SIG21を生成し、出力する。
フレームバッファ27は、フィルタ後色差局所復号画像SIG21を蓄積し、適宜、インター予測部21に供給する。
成分間予測部31は、逆変換された輝度残差信号SIG18と、サイド情報としての予測係数(図示省略)と、を入力とする。この成分間予測部31は、以下の数式(6)により色差残差修正用信号SIG31を生成し、出力する。
Figure 0006352141
なお、数式(6)において、ResScaleValは、成分間予測部31に入力される予測係数のことを示す。
エントロピー符号化部32は、輝度量子化係数SIG17と、色差量子化係数SIG27と、図示しないサイド情報と、を入力とする。このエントロピー符号化部32は、入力された信号をエントロピー符号化し、ビットストリームSIG2として出力する。
図3は、イントラ予測部12、22のブロック図である。イントラ予測部12は、イントラ参照画素生成部121およびイントラ予測画素生成部122を備える。
イントラ参照画素生成部121は、対象ブロックmよりも前に復号されたブロックi(ただし、i<mとする)のフィルタ前輝度局所復号画像SIG12を入力とする。このイントラ参照画素生成部121は、まず、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証を行い、参照不可能であれば、他の位置からコピーして参照画素を生成するパディング処理を行う。次に、参照画素への3タップフィルタによる平滑化処理を行って、ブロックiの輝度イントラ参照画素SIG34を出力する。
イントラ予測画素生成部122は、輝度イントラ参照画素SIG34を入力とする。このイントラ予測画素生成部122は、予測モードにしたがって水平、垂直、DC、Planar、方向性などの予測を輝度イントラ参照画素SIG34を用いて行って、輝度イントラ予測画素SIG14を生成して出力する。
イントラ予測部22は、チャネル間予測部221、イントラ参照画素生成部222、およびイントラ予測画素生成部223を備える。チャネル間予測部221は、予測係数導出部2211、チャネル間参照画素生成部2212、および判定部2213を備える。
イントラ参照画素生成部222は、対象ブロックnよりも前に復号されたブロックj(ただし、j≦n≦mとする)のフィルタ前色差局所復号画像SIG22を入力とする。このイントラ参照画素生成部222は、まず、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証を行い、参照不可能であれば、他の位置からコピーして参照画素を生成するパディング処理を行う。次に、参照画素への3タップフィルタによる平滑化処理を行って、ブロックjの色差イントラ参照画素SIG41を出力する。
イントラ予測画素生成部223は、色差イントラ参照画素SIG44を入力とする。このイントラ予測画素生成部223は、予測モードにしたがって水平、垂直、DC、Planar、方向性などの予測を色差イントラ参照画素SIG44を用いて行って、色差イントラ予測画素SIG24を生成して出力する。なお、色差イントラ参照画素SIG44とは、色差イントラ参照画素SIG41と、チャネル間参照画素生成部2212から供給される後述の色差イントラ予測参照画素SIG43と、のいずれかのことである。
予測係数導出部2211は、ブロックiの輝度イントラ参照画素SIG34と、ブロックjの色差イントラ参照画素SIG41と、を入力とする。この予測係数導出部2211は、最小二乗法や非特許文献2に示されている手法などにより、ブロックiの輝度イントラ参照画素SIG34と、ブロックjの色差イントラ参照画素SIG41と、を用いて予測係数SIG42を導出し、出力する。
チャネル間参照画素生成部2212は、ブロックiの輝度イントラ参照画素SIG34と、予測係数SIG42と、を入力とする。このチャネル間参照画素生成部2212は、以下の数式(7)により色差イントラ予測参照画素SIG43を生成し、出力する。
Figure 0006352141
なお、数式(7)のαおよびβは、予測係数SIG42から取り出すことができる。
判定部2213は、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、を入力とする。この判定部2213は、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、に基づいて制御信号SIG45を生成して、色差イントラ参照画素SIG41と、色差イントラ予測参照画素SIG43と、のうちいずれを色差イントラ参照画素SIG44としてイントラ予測画素生成部223に供給するのかを切り替える。
[動画像復号装置100の構成および動作]
図4は、動画像復号装置100のブロック図である。動画像復号装置100は、エントロピー復号部101と、成分間予測部102と、インター予測部111、127と、イントラ予測部112、128と、逆量子化・逆変換部113、123と、局所復号バッファ114、124と、インループフィルタ115、125と、フレームバッファ116、126と、を備える。
エントロピー復号部101は、ビットストリームSIG2を入力とする。このエントロピー復号部101は、ビットストリームSIG2をエントロピー復号し、量子化係数レベルSIG101と、画素値の再構成に必要な予測モードや動きベクトルなどの関連情報(サイド情報)と、を導出して出力する。
(輝度信号に対する処理)
インター予測部111は、フレームバッファ116から供給される後述のフィルタ後輝度局所復号画像SIG111を入力とする。このインター予測部111は、フィルタ後輝度局所復号画像SIG111を用いてインター予測を行って輝度インター予測画素SIG113を生成し、出力する。
イントラ予測部112は、局所復号バッファ114から供給される後述のフィルタ前輝度局所復号画像SIG112を入力とする。このイントラ予測部112は、フィルタ前輝度局所復号画像SIG112を用いてイントラ予測を行って輝度イントラ予測画素SIG114を生成し、出力する。また、イントラ予測部112は、輝度イントラ参照画素SIG104を生成して出力する。このイントラ予測部112の詳細については、図5を用いて後述する。
逆量子化・逆変換部113は、量子化係数レベルSIG101の輝度信号を入力とする。この逆量子化・逆変換部113は、量子化係数レベルSIG101の輝度信号を逆量子化および逆変換して、逆変換された輝度残差信号SIG115を生成し、出力する。
局所復号バッファ114は、フィルタ前輝度局所復号画像SIG112を蓄積し、適宜、イントラ予測部112およびインループフィルタ115に供給する。なお、フィルタ前輝度局所復号画像SIG112とは、輝度予測画素SIG116と、逆変換された輝度残差信号SIG115と、を合算した信号のことであり、輝度予測画素SIG116とは、輝度インター予測画素SIG113または輝度イントラ予測画素SIG114のことである。
インループフィルタ115は、フィルタ前輝度局所復号画像SIG112を入力とする。このインループフィルタ115は、フィルタ前輝度局所復号画像SIG112に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後輝度局所復号画像SIG111を生成し、出力する。
フレームバッファ116は、フィルタ後輝度局所復号画像SIG111を蓄積し、適宜、インター予測部111に供給する。
成分間予測部102は、逆変換された輝度残差信号SIG115と、サイド情報としての予測係数(図示省略)と、を入力とする。この成分間予測部102は、以下の数式(8)により色差残差修正用信号SIG102を生成し、出力する。
Figure 0006352141
なお、数式(8)において、ResScaleValは、成分間予測部102に入力される予測係数のことを示す。
(色差信号に対する処理)
インター予測部127は、フレームバッファ126から供給される後述のフィルタ後色差局所復号画像SIG121を入力とする。このインター予測部127は、フィルタ後色差局所復号画像SIG121を用いてインター予測を行って色差インター予測画素SIG123を生成し、出力する。
イントラ予測部128は、局所復号バッファ124から供給される後述のフィルタ前色差局所復号画像SIG122と、イントラ予測部112から供給される上述の輝度イントラ参照画素SIG104と、を入力とする。このイントラ予測部128は、フィルタ前色差局所復号画像SIG122および輝度イントラ参照画素SIG104を用いてイントラ予測を行って色差イントラ予測画素SIG124を生成し、出力する。イントラ予測部128の詳細については、図5を用いて後述する。
逆量子化・逆変換部123は、量子化係数レベルSIG101の色差信号を入力とする。この逆量子化・逆変換部123は、量子化係数レベルSIG101の色差信号を逆量子化および逆変換して、逆変換された色差残差信号SIG125を生成し、出力する。
局所復号バッファ124は、フィルタ前色差局所復号画像SIG122を蓄積し、適宜、イントラ予測部128およびインループフィルタ125に供給する。なお、フィルタ前色差局所復号画像SIG122とは、色差予測画素SIG126と、色差残差信号SIG103と、を合算した信号のことであり、色差残差信号SIG103とは、逆変換された色差残差信号SIG125と、色差残差修正用信号SIG102と、を合算した信号のことである。フィルタ前色差局所復号画像SIG122は、以下の数式(9)により求めることができる。また、色差予測画素SIG126とは、色差インター予測画素SIG123または色差イントラ予測画素SIG124のことである。
Figure 0006352141
インループフィルタ125は、フィルタ前色差局所復号画像SIG122を入力とする。このインループフィルタ125は、フィルタ前色差局所復号画像SIG122に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後色差局所復号画像SIG121を生成し、出力する。
フレームバッファ126は、フィルタ後色差局所復号画像SIG121を蓄積し、適宜、インター予測部127に供給する。
図5は、イントラ予測部112、128のブロック図である。イントラ予測部112は、イントラ参照画素生成部1121およびイントラ予測画素生成部1122を備える。
イントラ参照画素生成部1121は、対象ブロックmよりも前に復号されたブロックi(ただし、i<mとする)のフィルタ前輝度局所復号画像SIG112を入力とする。このイントラ参照画素生成部1121は、まず、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証を行い、参照不可能であれば、他の位置からコピーして参照画素を生成するパディング処理を行う。次に、参照画素への3タップフィルタによる平滑化処理を行って、ブロックiの輝度イントラ参照画素SIG104を出力する。
イントラ予測画素生成部1122は、輝度イントラ参照画素SIG104を入力とする。このイントラ予測画素生成部1122は、予測モードにしたがって水平、垂直、DC、Planar、方向性などの予測を輝度イントラ参照画素SIG104を用いて行って、輝度イントラ予測画素SIG114を生成して出力する。
イントラ予測部128は、チャネル間予測部1281、イントラ参照画素生成部1282、およびイントラ予測画素生成部1283を備える。チャネル間予測部1281は、予測係数導出部12811、チャネル間参照画素生成部12812、および判定部12813を備える。
イントラ参照画素生成部1282は、対象ブロックnよりも前に復号されたブロックj(ただし、j≦n≦mとする)のフィルタ前色差局所復号画像SIG122を入力とする。このイントラ参照画素生成部1282は、まず、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証を行い、参照不可能であれば、他の位置からコピーして参照画素を生成するパディング処理を行う。次に、参照画素への3タップフィルタによる平滑化処理を行って、ブロックjの色差イントラ参照画素SIG131を出力する。
イントラ予測画素生成部1283は、色差イントラ参照画素SIG134を入力とする。このイントラ予測画素生成部1283は、予測モードにしたがって水平、垂直、DC、Planar、方向性などの予測を色差イントラ参照画素SIG134を用いて行って、色差イントラ予測画素SIG124を生成して出力する。なお、色差イントラ参照画素SIG134とは、色差イントラ参照画素SIG131と、チャネル間参照画素生成部12812から供給される後述の色差イントラ予測参照画素SIG133と、のいずれかのことである。
予測係数導出部12811は、ブロックiの輝度イントラ参照画素SIG104と、ブロックjの色差イントラ参照画素SIG131と、を入力とする。この予測係数導出部12811は、最小二乗法や非特許文献2に示されている手法などにより、ブロックiの輝度イントラ参照画素SIG104と、ブロックjの色差イントラ参照画素SIG131と、を用いて予測係数SIG132を導出し、出力する。
チャネル間参照画素生成部12812は、ブロックiの輝度イントラ参照画素SIG104と、予測係数SIG132と、を入力とする。このチャネル間参照画素生成部12812は、以下の数式(10)を用いた線形予測により色差イントラ予測参照画素SIG133を生成し、出力する。
Figure 0006352141
なお、数式(10)のαおよびβは、予測係数SIG132から取り出すことができる。
判定部12813は、図示されていない符号化側で判定されたシグナリングを入力とする。この判定部12813は、シグナリングに基づいて制御信号SIG135を生成して、色差イントラ参照画素SIG131と、色差イントラ予測参照画素SIG133と、のうちいずれを色差イントラ参照画素SIG134としてイントラ予測画素生成部1283に供給するのかを切り替える。
図6は、動画像符号化装置1および動画像復号装置100において、線形予測による輝度・色差予測を行うために必要な参照画素を示す図である。
動画像符号化装置1であれば、色差信号の予測対象ブロックP0を予測するに際して、まず、予測係数導出部2211およびチャネル間参照画素生成部2212により、輝度信号のイントラ予測参照画素P2、P3、P4(図3のブロックiの輝度イントラ参照画素SIG34)を用いて色差信号の予測対象ブロックP5、P6、P7(図3のブロックiの色差イントラ予測参照画素SIG43)を線形予測する。次に、イントラ予測画素生成部223により、これら色差信号の予測対象ブロックP5からP7を参照画素として色差信号の予測対象ブロックP0(図3の色差イントラ予測画素SIG24)をイントラ予測する。
動画像復号装置100であれば、色差信号の予測対象ブロックP0を予測するに際して、まず、予測係数導出部12811およびチャネル間参照画素生成部12812により、輝度信号のイントラ予測参照画素P2、P3、P4(図5のブロックiの輝度イントラ参照画素SIG104)を用いて色差信号の予測対象ブロックP5、P6、P7(図5の色差イントラ予測参照画素SIG133)を線形予測する。次に、イントラ予測画素生成部1283により、これら色差信号の予測対象ブロックP5からP7を参照画素として色差信号の予測対象ブロックP0(図5の色差イントラ予測画素SIG124)をイントラ予測する。
このため、動画像符号化装置1および動画像復号装置100における線形予測による輝度・色差予測では、色差信号の予測対象ブロックP0を予測するためには、輝度信号の参照ブロックP1は不要である。したがって、色差ブロックmを予測するためには、輝度ブロックmの局所復号(再構成)が完了している必要はない。
以上の動画像符号化装置1によれば、以下の効果を奏することができる。
動画像符号化装置1は、予測係数導出部2211およびチャネル間参照画素生成部2212により、輝度成分のイントラ予測に用いる参照画素P2からP4を用いて、色差成分の参照画素P5からP7を線形予測する。また、イントラ予測画素生成部223により、予測係数導出部2211およびチャネル間参照画素生成部2212により線形予測された色差成分の参照画素P5からP7を用いて、色差成分の予測対象ブロックP0をイントラ予測する。このため、色差成分の予測対象ブロックP0について線形予測を用いてイントラ予測を行う際には、輝度信号の参照ブロックP1は不要になる。したがって、色差成分の予測対象ブロックP0について線形予測を用いてイントラ予測を行う際には、輝度信号の参照ブロックP1の局所復号(再構成)が完了している必要はない。したがって、線形予測における処理タイミングの制約を軽減することができる。
また、動画像符号化装置1は、イントラ参照画素生成部121により、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、検証処理により参照不可能であると判定した場合に参照画素位置とは異なる位置から参照画素を生成するパディング処理と、参照画素への平滑化処理と、を行う。このため、イントラ参照画素を生成することができる。
また、動画像符号化装置1は、予測係数導出部2211により、予測対象となる色成分の参照画素と、複数の色成分のうち予測対象となる色成分を除くものの参照画素と、を用いて予測係数を導出する。このため、予測係数を求めることができる。
以上の動画像復号装置100によれば、以下の効果を奏することができる。
動画像復号装置100は、予測係数導出部12811およびチャネル間参照画素生成部12812により、輝度成分のイントラ予測に用いる参照画素P2からP4を用いて、色差成分の参照画素P5からP7を線形予測する。また、イントラ予測画素生成部1283により、予測係数導出部12811およびチャネル間参照画素生成部12812により線形予測された色差成分の参照画素P5からP7を用いて、色差成分の予測対象ブロックP0をイントラ予測する。このため、色差成分の予測対象ブロックP0について線形予測を用いてイントラ予測を行う際には、輝度信号の参照ブロックP1は不要になる。したがって、色差成分の予測対象ブロックP0について線形予測を用いてイントラ予測を行う際には、輝度信号の参照ブロックP1の局所復号(再構成)が完了している必要はない。したがって、線形予測を用いてイントラ予測における処理タイミングの制約を軽減することができる。
また、動画像復号装置100は、イントラ参照画素生成部1121により、参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、検証処理により参照不可能であると判定した場合に参照画素位置とは異なる位置から参照画素を生成するパディング処理と、参照画素への平滑化処理と、を行う。このため、イントラ参照画素を生成することができる。
また、動画像復号装置100は、予測係数導出部12811により、予測対象となる色成分の参照画素と、複数の色成分のうち予測対象となる色成分を除くものの参照画素と、を用いて予測係数を導出する。このため、予測係数を求めることができる。
<第2実施形態>
[動画像符号化装置1Aの構成および動作]
図7は、本発明の第2実施形態に係る動画像符号化装置1Aのブロック図である。動画像符号化装置1Aは、図2に示した本発明の第1実施形態に係る動画像符号化装置1とは、イントラ予測部22の代わりにイントラ予測部22Aを備える点で異なる。なお、動画像符号化装置1Aにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
図8は、イントラ予測部12、22Aのブロック図である。イントラ予測部22Aは、チャネル間予測部221A、イントラ参照画素生成部222、およびイントラ予測画素生成部223を備える。チャネル間予測部221Aは、予測係数導出部2211A、チャネル間参照画素生成部2212、および判定部2213を備える。
予測係数導出部2211Aは、ブロックiの輝度イントラ参照画素SIG34と、ブロックjの色差イントラ参照画素SIG41と、を入力とする。この予測係数導出部2211Aは、予め定められた複数の予測係数の中から予測係数を選択し、予測係数SIG42として出力する。また、予測係数導出部2211Aは、選択した予測係数の添字をbin値に変換し、サイド情報としてシグナリングする。
[動画像復号装置100Aの構成および動作]
図9は、本発明の第2実施形態に係る動画像復号装置100Aのブロック図である。動画像復号装置100Aは、図4に示した本発明の第1実施形態に係る動画像復号装置100とは、イントラ予測部128の代わりにイントラ予測部128Aを備える点で異なる。なお、動画像復号装置100Aにおいて、動画像復号装置100と同一構成要件については、同一符号を付し、その説明を省略する。
図10は、イントラ予測部112、128Aのブロック図である。イントラ予測部128Aは、チャネル間予測部1281A、イントラ参照画素生成部1282、およびイントラ予測画素生成部1283を備える。チャネル間予測部1281Aは、予測係数導出部12811Aおよびチャネル間参照画素生成部12812を備える。
予測係数導出部12811Aは、図示しない予測係数シグナリングを入力とする。この予測係数導出部12811Aは、入力された予測係数シグナリングに基づいて、予め定められた複数の予測係数の中からシグナリングにより指定された予測係数を選択し、予測係数SIG132として出力する。なお、上述の予測係数シグナリングとは、動画像符号化装置1Aの予測係数導出部2211Aによりシグナリングされたサイド情報のことである。
以上の動画像符号化装置1Aによれば、動画像符号化装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置1Aは、予測係数導出部2211Aにより、予め定められた複数の予測係数の中から予測係数を選択する。このため、予測係数を求めることができる。
以上の動画像復号装置100Aによれば、動画像復号装置100が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像復号装置100Aは、予測係数導出部12811Aにより、予め定められた複数の予測係数の中から、動画像符号化装置1Aからのシグナリングに応じた予測係数を選択する。このため、予測係数を求めることができる。
<第3実施形態>
[動画像符号化装置1Bの構成および動作]
図11は、本発明の第3実施形態に係る動画像符号化装置1Bのブロック図である。動画像符号化装置1Bは、図2に示した本発明の第1実施形態に係る動画像符号化装置1とは、イントラ予測部22の代わりにイントラ予測部22Bを備える点で異なる。なお、動画像符号化装置1Bにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
図12は、イントラ予測部12、22Bのブロック図である。イントラ予測部22Bは、チャネル間予測部221B、イントラ参照画素生成部222、およびイントラ予測画素生成部223を備える。チャネル間予測部221Bは、予測係数導出部2211、チャネル間参照画素生成部2212、および判定部2213Aを備える。
判定部2213Aは、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、を入力とする。この判定部2213Aは、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、に基づいて制御信号SIG45を生成して、色差イントラ参照画素SIG41と、色差イントラ予測参照画素SIG43と、のうちいずれを色差イントラ参照画素SIG44としてイントラ予測画素生成部223に供給するのかを切り替える。また、判定部2213Aは、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、に基づいて、動画像復号装置100Bの予測係数導出部12811およびチャネル間参照画素生成部12812(後述の図14参照)により線形予測を行うか否かを決定し、決定結果を色差イントラ予測モードの1モードとしてシグナリングする。このため、色差イントラ予測モードの番号が追加されることになる。
また、判定部2213Aは、線形予測を行うと決定した場合に色差イントラ予測モードを輝度イントラ予測モードと同一にする。
[動画像復号装置100Bの構成および動作]
図13は、本発明の第3実施形態に係る動画像復号装置100Bのブロック図である。動画像復号装置100Bは、図4に示した本発明の第1実施形態に係る動画像復号装置100とは、イントラ予測部128の代わりにイントラ予測部128Bを備える点で異なる。なお、動画像復号装置100Bにおいて、動画像復号装置100と同一構成要件については、同一符号を付し、その説明を省略する。
図14は、イントラ予測部112、128Bのブロック図である。イントラ予測部128Bは、チャネル間予測部1281B、イントラ参照画素生成部1282、およびイントラ予測画素生成部1283Aを備える。チャネル間予測部1281Bは、予測係数導出部12811およびチャネル間参照画素生成部12812を備える。
イントラ予測画素生成部1283Aは、色差イントラ参照画素SIG131と、色差イントラ予測参照画素SIG133と、図示しない予測モード信号と、を入力とする。このイントラ予測画素生成部1283Aは、入力された予測モード信号が、色差イントラ予測参照画素SIG133を使うことを示している場合には、色差イントラ予測参照画素SIG133を用いて色差イントラ予測画素SIG124を生成し、出力する。また、入力された予測モード信号が、色差イントラ参照画素SIG131を使うことを示している場合には、色差イントラ参照画素SIG131を用いて色差イントラ予測画素SIG124を生成し、出力する。なお、上述の入力された予測モード信号とは、動画像符号化装置1Bの判定部2213Aによりシグナリングされた色差イントラ予測モードのことである。
また、イントラ予測画素生成部1283Aは、入力された予測モード信号が、色差イントラ予測参照画素SIG133を使うことを示している場合には、色差イントラ予測モードを輝度イントラ予測モードと同一とする。
以上の動画像符号化装置1Bによれば、動画像符号化装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置1Bは、判定部2213Aにより、予測対象ブロックの線形予測を動画像復号装置100Bで行うか否かを決定し、決定結果を色差イントラ予測モードの1モードとして動画像復号装置100Bにシグナリングする。また、判定部2213Aにより、予測対象ブロックの線形予測を動画像復号装置100Bで行うと決定した場合に、予測対象となる色成分の予測モードを、複数の色成分のうち予測対象となる色成分の予測モードと同一にする。このため、予測対象ブロックの線形予測を動画像復号装置100Bで行うか否かを、色差イントラ予測モードの1モードとして動画像復号装置100Bに伝達することができる。
以上の動画像復号装置100Bによれば、動画像復号装置100が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像復号装置100Bは、動画像符号化装置1Bからのシグナリングに応じて線形予測を行うことができる。
<第4実施形態>
[動画像符号化装置1Cの構成および動作]
図15は、本発明の第4実施形態に係る動画像符号化装置1Cのブロック図である。動画像符号化装置1Cは、図2に示した本発明の第1実施形態に係る動画像符号化装置1とは、イントラ予測部22の代わりにイントラ予測部22Cを備える点で異なる。なお、動画像符号化装置1Cにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
図16は、イントラ予測部12、22Cのブロック図である。イントラ予測部22Cは、チャネル間予測部221C、イントラ参照画素生成部222、およびイントラ予測画素生成部223を備える。チャネル間予測部221Cは、予測係数導出部2211、チャネル間参照画素生成部2212、および判定部2213Bを備える。
判定部2213Bは、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、を入力とする。この判定部2213Bは、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、に基づいて制御信号SIG45を生成して、色差イントラ参照画素SIG41と、色差イントラ予測参照画素SIG43と、のうちいずれを色差イントラ参照画素SIG44としてイントラ予測画素生成部223に供給するのかを切り替える。また、判定部2213Bは、入力画像SIG1の色差信号と、色差イントラ予測画素SIG24と、に基づいて、色差イントラ予測モードのうち輝度と色差とで同一のモードを利用する場合にのみ、動画像復号装置100Cの予測係数導出部12811およびチャネル間参照画素生成部12812(後述の図18参照)により線形予測を行うか否かを決定し、決定結果をシグナリングする。シグナリングの方法としては、例えば1binのフラグで行うことができる。
[動画像復号装置100Cの構成および動作]
図17は、本発明の第4実施形態に係る動画像復号装置100Cのブロック図である。動画像復号装置100Cは、図4に示した本発明の第1実施形態に係る動画像復号装置100とは、イントラ予測部128の代わりにイントラ予測部128Cを備える点で異なる。なお、動画像復号装置100Cにおいて、動画像復号装置100と同一構成要件については、同一符号を付し、その説明を省略する。
図18は、イントラ予測部112、128Cのブロック図である。イントラ予測部128Cは、チャネル間予測部1281B、イントラ参照画素生成部1282、およびイントラ予測画素生成部1283Bを備える。チャネル間予測部1281Bは、予測係数導出部12811およびチャネル間参照画素生成部12812を備える。
イントラ予測画素生成部1283Bは、色差イントラ参照画素SIG131と、色差イントラ予測参照画素SIG133と、図示しないシグナルと、を入力とする。このイントラ予測画素生成部1283Bは、入力されたシグナルが、色差イントラ予測参照画素SIG133を使うことを示している場合には、色差イントラ予測参照画素SIG133を用いて色差イントラ予測画素SIG124を生成し、出力する。また、入力されたシグナルが、色差イントラ参照画素SIG131を使うことを示している場合には、色差イントラ参照画素SIG131を用いて色差イントラ予測画素SIG124を生成し、出力する。なお、上述の入力されたシグナルとは、動画像符号化装置1Cの判定部2213Bによりシグナリングされた信号のことである。
以上の動画像符号化装置1Cによれば、動画像符号化装置1が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置1Cは、判定部2213Bにより、色差成分における予測モードと、輝度成分における予測モードと、が同一であれば、予測対象ブロックの線形予測を動画像復号装置100Cで行うか否かを決定し、決定結果を動画像復号装置100Cにシグナリングする。このため、色差成分における予測モードと、輝度成分における予測モードと、が同一である場合に、予測対象ブロックの線形予測を動画像復号装置100Cで行うか否かを、動画像復号装置100Cに伝達することができる。
以上の動画像復号装置100Cによれば、動画像復号装置100が奏することのできる上述の効果に加えて、以下の効果を奏することができる。
動画像復号装置100Cは、動画像符号化装置1Cからのシグナリングに応じて線形予測を行うことができる。
<第5実施形態>
[動画像符号化装置1Dの構成および動作]
図19は、本発明の第5実施形態に係る動画像符号化装置1Dのブロック図である。動画像符号化装置1Dは、図2に示した本発明の第1実施形態に係る動画像符号化装置1とは、イントラ予測部22の代わりにイントラ予測部22Dを備える点で異なる。なお、動画像符号化装置1Dにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
図20は、イントラ予測部12、22Dのブロック図である。イントラ予測部22Dは、チャネル間参照画素生成部2212、イントラ参照画素生成部222、イントラ予測画素生成部223A、予測係数テーブル224、符号コスト導出部225、残差コスト導出部226、および予測係数決定部227を備える。
予測係数テーブル224は、予測係数決定部227から出力される後述の予測係数インデックスSIG51を入力とする。この予測係数テーブル224は、予め定められた複数の予測係数を記憶しており、これら複数の予測係数の中から予測係数インデックスSIG51に応じた予測係数を決定し、予測係数SIG42として出力する。
符号コスト導出部225は、予測係数SIG42を入力とする。この符号コスト導出部225は、予測係数SIG42によって発生する符号量の概算と、量子化パラメータQPによって定まる係数λと、の積を符号コストSIG48として導出し、出力する。なお、量子化パラメータQPによって定まる係数λは、以下の数式(11)により求めることができる。
Figure 0006352141
残差コスト導出部226は、入力画像SIG1の色差信号と、イントラ予測画素生成部223Aから出力される後述の色差予測信号SIG46と、の差分信号SIG47を入力とする。この残差コスト導出部226は、符号化対象ブロックの変換前かつ量子化前の輝度と色差との予測残差信号に対して取り得る全ての予測係数について、それぞれ、差分信号SIG47についてのアダマール変換係数の絶対値和であるSATDを残差コストSIG49として導出し、出力する。
予測係数決定部227は、符号コストSIG48と残差コストSIG49との和を入力とする。この予測係数決定部は、符号コストSIG48と残差コストSIG49との和が最小となる予測係数を、予測係数テーブル224に記憶されている複数の予測係数の中から最適な予測係数として決定し、決定した予測係数を示す予測係数インデックスSIG51を出力する。
イントラ予測画素生成部223Aは、色差イントラ参照画素SIG44を入力とする。このイントラ予測画素生成部223Aは、予測係数決定部227により最適な予測係数が決定される際には、予測モードにしたがって水平、垂直、DC、Planar、方向性などの予測を色差イントラ参照画素SIG44を用いて行って、色差予測信号SIG46を生成して出力する。また、イントラ予測画素生成部223Aは、予測係数決定部227により最適な予測係数が決定された後においては、予測モードにしたがって水平、垂直、DC、Planar、方向性などの予測を色差イントラ参照画素SIG44を用いて行って、色差イントラ予測画素SIG24を生成して出力する。
以上の動画像符号化装置1Dによれば、動画像符号化装置1が奏することのできる上述の効果と同様の効果を奏することができる。
なお、本発明の動画像符号化装置1、1A、1B、1C、1Dおよび動画像復号装置100、100A、100B、100Cの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置1、1A、1B、1C、1Dおよび動画像復号装置100、100A、100B、100Cに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置1、1A、1B、1C、1Dおよび動画像復号装置100、100A、100B、100Cに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置1、1A、1B、1C、1Dおよび動画像復号装置100、100A、100B、100Cから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置1、1A、1B、1C、1Dおよび動画像復号装置100、100A、100B、100Cにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の第3実施形態において、予測係数導出部2211(図12参照)の代わりに第2実施形態に係る予測係数導出部2211A(図8参照)を用いるとともに、予測係数導出部12811(図14参照)の代わりに第2実施形態に係る予測係数導出部12811A(図10参照)を用いることとしてもよい。
また、上述の第4実施形態において、予測係数導出部2211(図16参照)の代わりに第2実施形態に係る予測係数導出部2211A(図8参照)を用いるとともに、予測係数導出部12811(図18参照)の代わりに第2実施形態に係る予測係数導出部12811A(図10参照)を用いることとしてもよい。
AA・・・動画像圧縮伝送システム
1、1A、1B、1C、1D・・・動画像符号化装置
22、22A、22B、22C、22D・・・イントラ予測部
100、100A、100B、100C・・・動画像復号装置
128、128A、128B、128C、128D・・・イントラ予測部

Claims (11)

  1. 複数の色成分を有する動画像を符号化する動画像符号化装置であって、
    前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する線形予測手段と、
    前記線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測するイントラ予測手段と、を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することを特徴とする動画像符号化装置。
  2. 参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、当該検証処理により参照不可能であると判定した場合に当該参照画素位置とは異なる位置から参照画素を生成するパディング処理と、当該参照画素への平滑化処理と、を行うイントラ参照画素生成手段を備えることを特徴とする請求項に記載の動画像符号化装置。
  3. 前記線形予測手段は、予め定められた複数の予測係数の中から予測係数を選択する予測係数導出手段を備えることを特徴とする請求項1または2のいずれかに記載の動画像符号化装置。
  4. 複数の色成分を有する動画像を復号する動画像復号装置であって、
    前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する線形予測手段と、
    前記線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測するイントラ予測手段と、を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することを特徴とする動画像復号装置。
  5. 参照画素位置に相当する画素が局所復号済みであることを確認する参照可能性の検証処理と、当該検証処理により参照不可能であると判定した場合に当該参照画素位置とは異なる位置から参照画素を生成するパディング処理と、当該参照画素への平滑化処理と、を行うイントラ参照画素生成手段を備えることを特徴とする請求項に記載の動画像復号装置。
  6. 前記線形予測手段は、予め定められた複数の予測係数の中から予測係数を選択する予測係数導出手段を備えることを特徴とする請求項4または5のいずれかに記載の動画像復号装置。
  7. 複数の色成分を有する動画像を符号化する動画像符号化装置と、複数の色成分を有する動画像を復号する動画像復号装置と、を備える動画像圧縮伝送システムであって、
    前記動画像符号化装置は、
    前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する線形予測手段と、
    前記線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測するイントラ予測手段と、を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測するものであり、
    前記動画像復号装置は、
    前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する線形予測手段と、
    前記線形予測手段により線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測するイントラ予測手段と、を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測するものであることを特徴とする動画像圧縮伝送システム。
  8. 線形予測手段およびイントラ予測手段を備え、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法であって、
    前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する第1のステップと、
    前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測する第2のステップと、
    を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記第1のステップにおいて、前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記第2のステップにおいて、前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することを特徴とする動画像符号化方法。
  9. 線形予測手段およびイントラ予測手段を備え、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、
    前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する第1のステップと、
    前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測する第2のステップと、
    を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記第1のステップにおいて、前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記第2のステップにおいて、前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することを特徴とする動画像復号方法。
  10. 線形予測手段およびイントラ予測手段を備え、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法をコンピュータに実行させるためのプログラムであって、
    前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する第1のステップと、
    前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測する第2のステップと、
    を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記第1のステップにおいて、前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記第2のステップにおいて、前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することをコンピュータに実行させるためのプログラム。
  11. 線形予測手段およびイントラ予測手段を備え、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法をコンピュータに実行させるためのプログラムであって、
    前記線形予測手段が、前記複数の色成分のうち予測対象となる色成分を除くもののイントラ予測に用いる参照画素を用いて、当該予測対象となる色成分の参照画素を線形予測する第1のステップと、
    前記イントラ予測手段が、前記第1のステップにより線形予測された前記予測対象となる色成分の参照画素を用いて、当該予測対象となる色成分の予測対象ブロックをイントラ予測する第2のステップと、
    を備え
    前記複数の色成分のうち前記予測対象となる色成分を除くものにおいて、前記予測対象ブロックに対応するブロックのことを特定ブロックと呼ぶこととすると、
    前記第1のステップにおいて、前記線形予測手段は、前記特定ブロックの左に隣接する画素と、当該特定ブロックの左上に隣接する画素と、当該特定ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を線形予測し、
    前記第2のステップにおいて、前記イントラ予測手段は、前記線形予測手段により線形予測された前記予測対象ブロックの左に隣接する画素と、当該予測対象ブロックの左上に隣接する画素と、当該予測対象ブロックの上に隣接する画素と、を用いて、前記予測対象ブロックをイントラ予測することをコンピュータに実行させるためのプログラム。
JP2014202509A 2014-09-30 2014-09-30 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム Active JP6352141B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014202509A JP6352141B2 (ja) 2014-09-30 2014-09-30 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム
PCT/JP2015/069043 WO2016051893A1 (ja) 2014-09-30 2015-07-01 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム
CN201580041788.3A CN106688237B (zh) 2014-09-30 2015-07-01 视频编码设备、视频译码设备、视频压缩传输***、视频编码方法、视频译码方法和程序
EP15845627.7A EP3203746B1 (en) 2014-09-30 2015-07-01 Video coding apparatus, video decoding apparatus, video coding method, video decoding method, and program
US15/403,905 US10681366B2 (en) 2014-09-30 2017-01-11 Video encoding apparatus, video decoding apparatus, video compression and transmission system, video encoding method, video decoding method, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014202509A JP6352141B2 (ja) 2014-09-30 2014-09-30 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016072903A JP2016072903A (ja) 2016-05-09
JP6352141B2 true JP6352141B2 (ja) 2018-07-04

Family

ID=55629946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014202509A Active JP6352141B2 (ja) 2014-09-30 2014-09-30 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム

Country Status (5)

Country Link
US (1) US10681366B2 (ja)
EP (1) EP3203746B1 (ja)
JP (1) JP6352141B2 (ja)
CN (1) CN106688237B (ja)
WO (1) WO2016051893A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122838B2 (ja) * 2017-03-10 2022-08-22 日本放送協会 符号化装置、復号装置及びプログラム
GB2571313B (en) * 2018-02-23 2022-09-21 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
JP2019213096A (ja) 2018-06-06 2019-12-12 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
CN112672758A (zh) * 2018-06-25 2021-04-16 英摩杜伦治疗学公司 癌症治疗
CN112313950B (zh) * 2018-09-21 2023-06-02 Oppo广东移动通信有限公司 视频图像分量的预测方法、装置及计算机存储介质
CN113261291A (zh) 2018-12-22 2021-08-13 北京字节跳动网络技术有限公司 基于多个参数的两步交叉分量预测模式
CN113597760A (zh) * 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
CN111683247A (zh) * 2019-03-11 2020-09-18 上海天荷电子信息有限公司 多权重可减少分量数的分量间自预测数据压缩方法和装置
WO2021054437A1 (ja) * 2019-09-19 2021-03-25 ソニー株式会社 画像処理装置および画像処理方法
WO2021115235A1 (en) * 2019-12-08 2021-06-17 Beijing Bytedance Network Technology Co., Ltd. Cross-component prediction using multiple components

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
WO2011099792A2 (ko) * 2010-02-10 2011-08-18 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR101373814B1 (ko) 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
WO2012087077A2 (ko) * 2010-12-23 2012-06-28 삼성전자 주식회사 영상 예측 단위에 대한 인트라 예측 모드 부호화 방법 및 장치, 및 영상 예측 단위에 대한 인트라 예측 모드 복호화 방법 및 장치
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
GB2498982B (en) * 2012-02-01 2014-04-16 Canon Kk Method and device for encoding or decoding an image
EP2920964B1 (en) * 2013-03-26 2018-05-09 MediaTek Inc. Method of cross color intra prediction

Also Published As

Publication number Publication date
EP3203746A4 (en) 2017-09-13
WO2016051893A1 (ja) 2016-04-07
US20170127080A1 (en) 2017-05-04
CN106688237B (zh) 2020-02-21
EP3203746A1 (en) 2017-08-09
US10681366B2 (en) 2020-06-09
EP3203746B1 (en) 2019-01-09
CN106688237A (zh) 2017-05-17
JP2016072903A (ja) 2016-05-09

Similar Documents

Publication Publication Date Title
JP6352141B2 (ja) 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム
JP6163574B2 (ja) 映像復号化装置
US10390034B2 (en) Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
JP2020017986A (ja) 映像復号化方法、映像符号化方法および記録媒体
JP7009632B2 (ja) 変換に基づく映像コーディング方法及びその装置
JP6497423B2 (ja) 映像復号装置、映像復号方法及びプログラム
KR101857755B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP6233465B2 (ja) 映像復号装置、映像復号方法及びプログラム
JP6172162B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
KR20220038710A (ko) 비디오 코딩 방법 및 장치
JP6590412B2 (ja) 映像符号化装置、方法及びプログラム、並びに映像復号装置、方法及びプログラム
KR101979857B1 (ko) 비디오 신호의 디코딩 방법 및 장치
JP6886825B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
KR20230048544A (ko) 오프셋 기반 미세 조정 및 다중 참조선 선택을 위한 조화된 설계
KR20230126694A (ko) 화면 내 예측을 위한 보간 필터를 사용하는 비디오 코딩 방법 및 장치
JP6494929B2 (ja) 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2024510600A (ja) 一般化サンプルオフセットの適応的適用
KR101938389B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180606

R150 Certificate of patent or registration of utility model

Ref document number: 6352141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150