JP2011135460A - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
JP2011135460A
JP2011135460A JP2009294618A JP2009294618A JP2011135460A JP 2011135460 A JP2011135460 A JP 2011135460A JP 2009294618 A JP2009294618 A JP 2009294618A JP 2009294618 A JP2009294618 A JP 2009294618A JP 2011135460 A JP2011135460 A JP 2011135460A
Authority
JP
Japan
Prior art keywords
interpolation filter
interpolation
initial value
decoding
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009294618A
Other languages
English (en)
Other versions
JP5439162B2 (ja
Inventor
Tomonobu Yoshino
知伸 吉野
Hitoshi Naito
整 内藤
Shigeyuki Sakasawa
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Research Inc
Original Assignee
KDDI R&D Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI R&D Laboratories Inc filed Critical KDDI R&D Laboratories Inc
Priority to JP2009294618A priority Critical patent/JP5439162B2/ja
Priority to US12/963,138 priority patent/US8780995B2/en
Publication of JP2011135460A publication Critical patent/JP2011135460A/ja
Application granted granted Critical
Publication of JP5439162B2 publication Critical patent/JP5439162B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化性能の向上を実時間処理にて実現できる動画像符号化装置および動画像復号装置を提供すること。
【解決手段】動画像符号化装置AAは、入力映像aと、符号化済みブロックにおける局所復号値dと、符号化済みブロックにおける予測方向情報eと、補間フィルタ初期制御情報bと、を入力とするインター符号化予測値生成部2を備える。インター符号化予測値生成部2は、フィルタ制御部21を備える。フィルタ制御部21は、補間フィルタ初期制御情報bから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出し、補間フィルタのタップ係数の初期値c(i,j)を、補間フィルタのタップ係数c(i,j)として決定する。
【選択図】図2

Description

本発明は、動画像を符号化する動画像符号化装置と、この動画像符号化装置により符号化された動画像を復号する動画像復号装置と、に関する。
従来より、動画像を符号化する際にフレーム間予測を許容する手法が提案されている(例えば、非特許文献1参照)。フレーム間予測では、既に符号化を行った画像から、符号化対象領域の絵柄に類似した絵柄を有する領域を探し、探した領域の画素値を符号化対象領域の予測値とする。以降では、フレーム間予測により予測誤差を求める処理を、動き補償と呼び、符号化対象領域から符号化済みである類似領域までの空間的なベクトルを、動きベクトル(MV;Motion Vector)と呼ぶものとする。
非特許文献1に記載の手法では、中間的な位置(小数精度画素)の画素値を補間により生成することで、整数サンプリング位置(整数精度画素)の画素値だけでなく、中間的な位置(小数精度画素)の画素値も、類似領域の探索(動き探索)の際に予測値とすることができる。非特許文献1に記載の手法では、1/4精度画素までフレーム間予測が許容される。
また、小数精度の動き探索における補間処理(補間フィルタを用いる処理)について、映像特徴などに適応的に処理する手法(適応的な補間フィルタを用いる手法)が提案されている(例えば、非特許文献2、3参照)。これら非特許文献2、3に記載の手法によれば、上述の非特許文献1に記載の手法と比べて、高い符号化性能を得ることができる。
Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," July 2004. Thomas Wedi, "Adaptive Interpolation Filters and High-Resolution Displacements for Video Coding," IEEE Trans. on Circuits and Systems for Video Technology, Vol.16, No.4, April 2006. Yuri Vatis and Joern Ostermann, "Adaptive Interpolation Filter for H.264/AVC," IEEE Trans. on Circuits and Systems for Video Technology, Vol.19, No.2, February 2009.
非特許文献2、3に記載の手法では、符号化する画像(以降、「原画像」と呼ぶ)の画素値と、符号化した画像(以降、「参照画像」と呼ぶ)の画素値と、を用いて演算することで、原画像に最適な補間フィルタを決定する。
ここで、原画像に最適な補間フィルタを決定するためには、原画像における動きベクトルが必要である。この原画像における動きベクトルを得るためには、事前に動きベクトルを得るための符号化処理を原画像に施す必要があるため、原画像に対する符号化処理を複数回行う必要がある。
また、原画像に最適な補間フィルタを決定するためには、タップ数に応じた方程式を解く必要がある。
以上によれば、非特許文献2、3に記載の手法により、原画像に最適な補間フィルタを決定するためには、多大な演算量が必要であり、処理時間が長期化してしまう。このため、動画像符号化装置や動画像復号装置において、実時間処理が要求されているにもかかわらず、適応的な補間フィルタを適用しようとすると実時間処理を実現できない場合があった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化性能の向上を実時間処理にて実現できる動画像符号化装置および動画像復号装置を提供することを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、補間フィルタのタップ数(例えば、後述の補間フィルタのタップサイズNに相当)および補間フィルタ係数の初期値(例えば、後述の補間フィルタのタップ係数の初期値c(i,j)に相当)の入力を受け付ける入力受付手段(例えば、図2のフィルタ制御部21に相当)と、前記入力受付手段により受け付けた補間フィルタ係数の初期値により補間フィルタを生成する補間フィルタ生成手段(例えば、図2のフィルタ制御部21に相当)と、前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データ(例えば、図1の符号化データcに相当)を生成する符号化データ生成手段(例えば、図1のエントロピー符号化部6に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に小数位置における補間値の参照を許容する動画像符号化装置に、補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付ける入力受付手段と、入力受付手段により受け付けた補間フィルタ係数の初期値により補間フィルタを生成する補間フィルタ生成手段と、補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成する符号化データ生成手段と、を設けた。
このため、入力された補間フィルタ係数の初期値を用いて補間フィルタが生成されるので、多大な演算を行うことなく、補間フィルタを決定することができる。したがって、原画像に最適な補間フィルタや、原画像に準最適な補間フィルタに応じた補間フィルタ係数を動画像符号化装置に入力することで、動画像符号化装置において、符号化性能の向上を実時間処理にて実現できる。
(2) 本発明は、(1)の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段(例えば、図4のフィルタ制御部131に相当)と、前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値を用いて、前記符号化データを復号し、復号データ(例えば、図3の復号済み画素値Aに相当)を生成する復号データ生成手段(例えば、図3の復号済み画素値Aを生成する手段に相当)と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(1)の動画像符号化装置において生成された符号化データを復号する動画像復号装置に、入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段と、復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値を用いて、符号化データを復号し、復号データを生成する復号データ生成手段と、を設けた。
このため、入力された補間フィルタのタップ係数および補間フィルタ係数の初期値を用いて符号化データが復号されるので、多大な演算を行うことなく、復号データを生成することができる。したがって、原画像に最適な補間フィルタや、原画像に準最適な補間フィルタに応じた補間フィルタ係数を動画像復号装置に入力することで、動画像復号装置において、符号化性能の向上を実時間処理にて実現できる。
(3) 本発明は、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、補間フィルタのタップ数(例えば、後述の補間フィルタのタップサイズNに相当)および補間フィルタ係数の初期値(例えば、後述の補間フィルタのタップ係数の初期値c(i,j)に相当)の入力を受け付ける入力受付手段(例えば、図2のフィルタ制御部21に相当)と、前記入力受付手段により受け付けた補間フィルタのタップ数と、映像特徴量(例えば、後述の画素値の分散値、または、後述の画素値の画素間相関に相当)と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成する補間フィルタ生成手段(例えば、図2のフィルタ制御部21に相当)と、前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データ(例えば、図1の符号化データcに相当)を生成する符号化データ生成手段(例えば、図1のエントロピー符号化部6に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に小数位置における補間値の参照を許容する動画像符号化装置に、補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付ける入力受付手段と、補間フィルタを生成する補間フィルタ生成手段と、補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成する符号化データ生成手段と、を設けた。そして、補間フィルタ生成手段により、入力受付手段により受け付けた補間フィルタのタップ数と、映像特徴量と、に基づいて、入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、更新した補間フィルタ係数により補間フィルタを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、映像特徴量と、を用いて、補間フィルタが生成されるので、多大な演算を行うことなく、補間フィルタを決定することができる。したがって、上述した効果と同様の効果を奏することができる。
(4) 本発明は、(3)の動画像符号化装置について、前記補間フィルタ生成手段は、符号化する画像の映像特徴量(例えば、後述の原画像の画素値の分散値σ、または、後述の原画像の画素値に関する画素間相関Rに相当)に応じて、主要な特性変化が求められる帯域(例えば、後述の主要な帯域ωに相当)を決定し、前記符号化する画像の映像特徴量と、符号化した画像の映像特徴量(例えば、後述の参照画像の画素値の分散値σ、または、後述の参照画像の画素値に関する画素間相関Rに相当)と、に応じて、前記主要な特性変化が求められる帯域における特性変化量を決定し、前記入力受付手段により受け付けた補間フィルタのタップ数と、前記特性変化量と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、補間フィルタ生成手段により、符号化する画像の映像特徴量に応じて、主要な特性変化が求められる帯域を決定することとした。そして、符号化する画像の映像特徴量と、符号化した画像の映像特徴量と、に応じて、主要な特性変化が求められる帯域における特性変化量を決定することとした。さらに、入力受付手段により受け付けた補間フィルタのタップ数と、特性変化量と、に基づいて、入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、更新した補間フィルタ係数により補間フィルタを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、映像特徴量と、を用いて、補間フィルタが生成されるので、多大な演算を行うことなく、補間フィルタを決定することができる。したがって、上述した効果と同様の効果を奏することができる。
(5) 本発明は、(3)または(4)の動画像符号化装置について、前記映像特徴量は、画素値の分散値(例えば、後述の原画像の画素値の分散値σ、および、後述の参照画像の画素値の分散値σに相当)、または、画素値の画素間相関(例えば、後述の原画像の画素値に関する画素間相関R、および、後述の参照画像の画素値に関する画素間相関Rに相当)であることを特徴とする動画像符号化装置を提案している。
この発明によれば、映像特徴量として、画素値の分散値、または、画素値の画素間相関を用いることとした。これによれば、上述した効果と同様の効果を奏することができる。
(6) 本発明は、(3)〜(5)のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段(例えば、図4のフィルタ制御部131に相当)と、前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、映像特徴量と、を用いて、前記符号化データを復号し、復号データ(例えば、図3の復号済み画素値Aに相当)を生成する復号データ生成手段(例えば、図3の復号済み画素値Aを生成する手段に相当)、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(3)〜(5)のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置に、復号側入力受付手段および復号データ生成手段を設けた。そして、復号側入力受付手段により、入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付けることとした。また、復号データ生成手段により、復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、映像特徴量と、を用いて、符号化データを復号し、復号データを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、映像特徴量と、を用いて符号化データが復号されるので、多大な演算を行うことなく、復号データを生成することができる。したがって、上述した効果と同様の効果を奏することができる。
(7) 本発明は、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、補間フィルタのタップ数(例えば、後述の補間フィルタのタップサイズNに相当)および補間フィルタ係数の初期値(例えば、後述の補間フィルタのタップ係数の初期値c(i,j)に相当)の入力を受け付ける入力受付手段(例えば、図2のフィルタ制御部21に相当)と、前記入力受付手段により受け付けた補間フィルタのタップ数と、符号化制御情報(例えば、後述の量子化パラメータQp、または、後述の量子化ステップ幅Qwに相当)と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成する補間フィルタ生成手段(例えば、図2のフィルタ制御部21に相当)と、前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データ(例えば、図1の符号化データcに相当)を生成する符号化データ生成手段(例えば、図1のエントロピー符号化部6に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に小数位置における補間値の参照を許容する動画像符号化装置に、入力受付手段、補間フィルタ生成手段、および符号化データ生成手段を設けた。そして、入力受付手段により、補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付けることとした。また、補間フィルタ生成手段により、入力受付手段により受け付けた補間フィルタのタップ数と、符号化制御情報と、に基づいて、入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、更新した補間フィルタ係数により補間フィルタを生成することとした。また、符号化データ生成手段により、補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、符号化制御情報と、を用いて、補間フィルタが生成されるので、多大な演算を行うことなく、補間フィルタを決定することができる。したがって、上述した効果と同様の効果を奏することができる。
(8) 本発明は、(7)の動画像符号化装置について、前記補間フィルタ生成手段は、前記符号化制御情報に応じて、主要な特性変化が求められる帯域(例えば、後述の主要な帯域ωに相当)と、当該帯域における特性変化量と、を決定し、前記入力受付手段により受け付けた補間フィルタのタップ数と、前記符号化制御情報と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、補間フィルタ生成手段により、符号化制御情報に応じて、主要な特性変化が求められる帯域と、この帯域における特性変化量と、を決定することとした。そして、入力受付手段により受け付けた補間フィルタのタップ数と、符号化制御情報と、に基づいて、入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、更新した補間フィルタ係数により補間フィルタを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、符号化制御情報と、を用いて、補間フィルタが生成されるので、多大な演算を行うことなく、補間フィルタを決定することができる。したがって、上述した効果と同様の効果を奏することができる。
(9) 本発明は、(7)または(8)の動画像符号化装置について、前記符号化制御情報は、量子化パラメータ(例えば、後述の量子化パラメータQpに相当)、または、量子化ステップ幅(例えば、後述の量子化ステップ幅Qwに相当)であることを特徴とする動画像符号化装置を提案している。
この発明によれば、符号化制御情報として、量子化パラメータ、または、量子化ステップ幅を用いることとした。これによれば、上述した効果と同様の効果を奏することができる。
(10) 本発明は、(7)〜(9)のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段(例えば、図4のフィルタ制御部131に相当)と、前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、符号化制御情報と、を用いて、前記符号化データを復号し、復号データ(例えば、図3の復号済み画素値Aに相当)を生成する復号データ生成手段(例えば、図3の復号済み画素値Aを生成する手段に相当)と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(7)〜(9)のいずれかの動画像符号化装置において生成された符号化データを復号する動画像復号装置に、復号側入力受付手段および復号データ生成手段を設けた。そして、復号側入力受付手段により、入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付けることとした。また、復号データ生成手段により、復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、符号化制御情報と、を用いて、符号化データを復号し、復号データを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、符号化制御情報と、を用いて符号化データが復号されるので、多大な演算を行うことなく、復号データを生成することができる。したがって、上述した効果と同様の効果を奏することができる。
(11) 本発明は、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、補間フィルタのタップ数(例えば、後述の補間フィルタのタップサイズNに相当)および補間フィルタ係数の初期値(例えば、後述の補間フィルタのタップ係数の初期値c(i,j)に相当)の入力を受け付ける入力受付手段(例えば、図2のフィルタ制御部21に相当)と、前記入力受付手段により受け付けた補間フィルタのタップ数と、周波数特性(例えば、後述の原画像の画素値の周波数特性V、および、後述の参照画像の周波数特性Wに相当)と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成する補間フィルタ生成手段(例えば、図2のフィルタ制御部21に相当)と、前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データ(例えば、図1の符号化データcに相当)を生成する符号化データ生成手段(例えば、図1のエントロピー符号化部6に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に小数位置における補間値の参照を許容する動画像符号化装置に、入力受付手段、補間フィルタ生成手段、および符号化データ生成手段を設けた。そして、入力受付手段により、補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付けることとした。また、補間フィルタ生成手段により、入力受付手段により受け付けた補間フィルタのタップ数と、周波数特性と、に基づいて、入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、更新した補間フィルタ係数により補間フィルタを生成することとした。また、符号化データ生成手段により、補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、周波数特性と、を用いて、補間フィルタが生成されるので、多大な演算を行うことなく、補間フィルタを決定することができる。したがって、上述した効果と同様の効果を奏することができる。
(12) 本発明は、(11)の動画像符号化装置について、前記補間フィルタ生成手段は、符号化する画像の周波数特性に応じて、主要な特性変化が求められる帯域(例えば、後述の主要な帯域ωに相当)を決定し、前記符号化する画像の周波数特性と、符号化した画像の周波数特性と、に応じて、前記主要な特性変化が求められる帯域における特性変化量を決定し、前記入力受付手段により受け付けた補間フィルタのタップ数と、前記特性変化量と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成することを特徴とする動画像符号化装置を提案している。
この発明によれば、補間フィルタ生成手段により、符号化する画像の周波数特性に応じて、主要な特性変化が求められる帯域を決定することとした。そして、符号化する画像の周波数特性と、符号化した画像の周波数特性と、に応じて、主要な特性変化が求められる帯域における特性変化量を決定することとした。そして、入力受付手段により受け付けた補間フィルタのタップ数と、特性変化量と、に基づいて、入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、更新した補間フィルタ係数により補間フィルタを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、周波数特性と、を用いて、補間フィルタが生成されるので、多大な演算を行うことなく、補間フィルタを決定することができる。したがって、上述した効果と同様の効果を奏することができる。
(13) 本発明は、(11)または(12)の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段(例えば、図4のフィルタ制御部131に相当)と、前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、周波数特性と、を用いて、前記符号化データを復号し、復号データ(例えば、図3の復号済み画素値Aに相当)を生成する復号データ生成手段(例えば、図3の復号済み画素値Aを生成する手段に相当)と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(11)または(12)の動画像符号化装置において生成された符号化データを復号する動画像復号装置に、復号側入力受付手段および復号データ生成手段を設けた。そして、復号側入力受付手段により、入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付けることとした。また、復号データ生成手段により、復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、周波数特性と、を用いて、符号化データを復号し、復号データを生成することとした。
このため、入力された補間フィルタのタップ数および補間フィルタ係数の初期値と、周波数特性と、を用いて符号化データが復号されるので、多大な演算を行うことなく、復号データを生成することができる。したがって、上述した効果と同様の効果を奏することができる。
本発明によれば、多大な演算を行うことなく補間フィルタを決定することができるので、符号化性能の向上を実時間処理にて実現できる。
本発明の第1実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備えるインター符号化予測値生成部の構成を示すブロック図である。 本発明の第1実施形態に係る動画像復号装置の構成を示すブロック図である。 前記動画像復号装置が備えるインター予測値生成部の構成を示すブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
[動画像符号化装置AAの構成]
図1は、本発明の第1実施形態に係る動画像符号化装置AAの構成を示すブロック図である。動画像符号化装置AAは、イントラ符号化予測値生成部1、インター符号化予測値生成部2、モード判定制御部3、DCT/量子化部4、IDCT/逆量子化部5、エントロピー符号化部6、第1のローカルメモリ7、および第2のローカルメモリ8を備える。
イントラ符号化予測値生成部1は、入力映像aと、符号化済みブロックにおける局所復号値dと、符号化済みブロックにおける予測方向情報eと、を入力とする。このイントラ符号化予測値生成部1は、符号化済みブロックにおける局所復号値dに基づいて、予測値を生成し、生成した予測値と入力信号との差分を求めることで、符号化歪みを算出する。そして、算出した符号化歪みと、符号化済みブロックにおける予測方向情報eと、に基づいて、符号化に要するコスト値hを算出する。そして、イントラ予測値fと、イントラ予測情報(動きベクトルを含む)gと、符号化コスト値hと、を出力する。
インター符号化予測値生成部2は、入力映像aと、符号化済みブロックにおける局所復号値dと、符号化済みブロックにおける予測方向情報eと、補間フィルタ初期制御情報bと、を入力とする。補間フィルタ初期制御情報bには、補間フィルタのタップサイズN(Nは、N≧1を満たす整数)と、補間フィルタのタップ係数の初期値c(i,j)と(iは、0≦i≦Nを満たす整数であり、jは、0≦j≦Nを満たす整数)、が含まれる。ここで、補間フィルタのタップ係数の初期値c(i,j)とは、補間フィルタのタップ係数c(i,j)の初期値のことである。このインター符号化予測値生成部2は、これら入力に基づいて、インター予測値iと、インター予測情報(動きベクトルを含む)jと、補間フィルタ制御情報kと、符号化コスト値mと、を出力する。このインター符号化予測値生成部2の詳細については、図2を用いて後述する。
モード判定制御部3は、イントラ符号化予測値生成部1から出力される符号化コスト値hと、インター符号化予測値生成部2から出力される符号化コスト値mと、を入力とする。このモード判定制御部3は、これら入力されるコスト値h、mの比較を行い、処理ブロックに適する符号化モードを選択する。
DCT/量子化部4は、入力映像aと、イントラ予測値fおよびインター予測値iのうちモード判定制御部3により選択された符号化モードに応じたものと、の差分を入力とする。ここで、イントラ予測値fおよびインター予測値iのうちモード判定制御部3により選択された符号化モードに応じたものとは、モード判定制御部3によりイントラ符号化が選択された場合にはイントラ予測値fのことであり、モード判定制御部3によりインター符号化が選択された場合にはインター予測値iのことである。このDCT/量子化部4は、入力される信号に対してDCT処理および量子化処理を施し、量子化されたDCT係数(残差信号)nとして出力する。
IDCT/逆量子化部5は、量子化されたDCT係数(残差信号)nを入力とする。このIDCT/逆量子化部5は、入力される信号に対して逆DCT処理および逆量子化処理を施し、逆DCTされた画素信号pとして出力する。
エントロピー符号化部6は、量子化されたDCT係数(残差信号)nと、イントラ予測情報gおよびインター予測情報jのうちモード判定制御部3により選択された符号化モードに応じたものと、補間フィルタ制御情報kと、を入力とする。ここで、イントラ予測情報gおよびインター予測情報jのうちモード判定制御部3により選択された符号化モードに応じたものとは、モード判定制御部3によりイントラ符号化が選択された場合にはイントラ予測情報gのことであり、モード判定制御部3によりインター符号化が選択された場合にはインター符号化情報はjのことである。このエントロピー符号化部6は、入力される信号に対してエントロピー符号化を行い、符号化データcとして出力する。
第1のローカルメモリ7は、イントラ予測値fおよびインター予測値iのうちモード判定制御部3により選択された符号化モードに応じたものと、逆DCTされた画素信号pと、の和をとった信号、すなわち符号化済みブロックにおける局所復号値dを入力とする。ここで、イントラ予測値fおよびインター予測値iのうちモード判定制御部3により選択された符号化モードに応じたものとは、モード判定制御部3によりイントラ符号化が選択された場合にはイントラ予測値fのことであり、モード判定制御部3によりインター符号化が選択された場合にはインター予測値iのことである。この第1のローカルメモリ7は、符号化済みブロックにおける局所復号値dを蓄積し、適宜、イントラ符号化予測値生成部1およびインター符号化予測値生成部2に供給する。
第2のローカルメモリ8は、イントラ予測情報gおよびインター予測情報jのうちモード判定制御部3により選択された符号化モードに応じたもの、すなわち符号化済みブロックにおける予測方向情報eを入力とする。ここで、イントラ予測情報gおよびインター予測情報jのうちモード判定制御部3により選択された符号化モードに応じたものとは、モード判定制御部3によりイントラ符号化が選択された場合にはイントラ予測情報gのことであり、モード判定制御部3によりインター符号化が選択された場合にはインター予測情報jのことである。この第2のローカルメモリ8は、符号化済みブロックにおける予測方向情報eを蓄積し、適宜、イントラ符号化予測値生成部1およびインター符号化予測値生成部2に供給する。
[インター符号化予測値生成部2の構成]
図2は、インター符号化予測値生成部2の構成を示すブロック図である。インター符号化予測値生成部2は、フィルタ制御部21、小数位置補間値生成部22、および動き補償処理部23を備える。
フィルタ制御部21は、入力映像aと、符号化済みブロックにおける局所復号値dと、符号化済みブロックにおける予測方向情報eと、補間フィルタ初期制御情報bと、を入力とする。このフィルタ制御部21は、これら入力された情報に基づいて、後述の第1の方法により、フレーム毎に補間フィルタのタップ係数c(i,j)を決定し、補間フィルタのタップ係数c(i,j)と、補間フィルタ制御情報kと、を出力する。
小数位置補間値生成部22は、符号化済みブロックにおける局所復号値dと、補間フィルタのタップ係数c(i,j)と、を入力とする。この小数位置補間値生成部22は、符号化済みブロックにおける局所復号値dに対して、補間フィルタのタップ係数c(i,j)を用いて小数画素位置における補間値を生成し、局所復号値dに関する小数画素位置における補間値qとして出力する。
動き補償処理部23は、入力映像aと、符号化済みブロックにおける局所復号値dと、符号化済みブロックにおける予測方向情報eと、局所復号値dに関する小数画素位置における補間値qと、を入力とする。この動き補償処理部23は、入力映像a、局所復号値d、および補間値qに基づいて、この符号化済みブロックにおける動き補償予測を行って動きベクトルを求め、求めた動きベクトルと、予測方向情報eから求められる予測ベクトルと、の差分を計算し、符号化すべきインター予測制御情報を求める。また、予測誤差および発生符号量に基づいて、インター符号化におけるコスト値を求める。そして、インター予測値i、インター予測情報j、および符号化コスト値mとして出力する。
(第1の方法)
上述のフィルタ制御部21において行われる第1の方法について、以下に説明する。第1の方法では、補間フィルタ初期制御情報bから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出し、補間フィルタのタップ係数の初期値c(i,j)を、補間フィルタのタップ係数c(i,j)として決定する。そして、決定した補間フィルタのタップ係数c(i,j)と、補間フィルタ制御情報kと、を出力する。なお、補間フィルタ制御情報kには、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、が含まれる。
[動画像復号装置BBの構成]
図3は、本発明の第1実施形態に係る動画像復号装置BBの構成を示すブロック図である。動画像復号装置BBは、符号化データ解析部110、イントラ予測値生成部120、インター予測値生成部130、予測手法制御部140、およびメモリ150を備え、動画像符号化装置AAにおいて生成された符号化データcを復号する。
符号化データ解析部110は、符号化データcを入力とする。この符号化データ解析部110は、まず、符号化シンタックスに従って、符号化データcに記載されている内容を解析し、エントロピー復号する。次に、エントロピー復号の結果として得られる、エントロピー復号された残差信号Bと、エントロピー復号された予測情報Cと、を出力する。なお、エントロピー復号された予測情報Cには、補間フィルタ制御情報kが含まれる。
予測手法制御部140は、エントロピー復号された予測情報Cを入力とする。この予測手法制御部140は、エントロピー復号された予測情報Cが、イントラ予測に関するものであるのか、インター予測に関するものであるのかを識別し、イントラ予測とインター予測とを切り替えるための制御信号Fを出力する。
イントラ予測値生成部120およびインター予測値生成部130には、制御信号Fに応じて、エントロピー復号された予測情報Cと、復号済み画素値Aと、が入力される。具体的には、エントロピー復号された予測情報Cがイントラ予測に関するものであると予測手法制御部140により識別された場合には、エントロピー復号された予測情報Cと、復号済み画素値Aと、がイントラ予測値生成部120に入力される。一方、エントロピー復号された予測情報Cがインター予測に関するものであると予測手法制御部140により識別された場合には、エントロピー復号された予測情報Cと、復号済み画素値Aと、がインター予測値生成部130に入力される。
イントラ予測値生成部120は、復号済み画素値Aを元に、エントロピー復号された予測情報Cに従ってイントラ予測値Dを生成し、出力する。
インター予測値生成部130は、復号済み画素値Aを元に、エントロピー復号された予測情報Cに従ってインター予測値Eを生成し、出力する。このインター予測値生成部130の詳細については、図4を用いて後述する。
メモリ150は、エントロピー復号された残差信号Bと、イントラ予測値Dおよびインター予測値Eのうち制御信号Fに応じたものと、の和をとった信号、すなわち復号済み画素値Aを入力とする。ここで、イントラ予測値Dおよびインター予測値Eのうち制御信号Fに応じたものとは、エントロピー復号された予測情報Cがイントラ予測に関するものであると予測手法制御部140により識別された場合には、イントラ予測値Dのことであり、エントロピー復号された予測情報Cがインター予測に関するものであると予測手法制御部140により識別された場合には、インター予測値Eのことである。メモリ150は、入力された復号済み画素値Aを蓄積し、未復号ブロックの復号処理を行う際に、適宜、イントラ予測値生成部120またはインター予測値生成部130に供給する。
[インター予測値生成部130の構成]
図4は、インター予測値生成部130の構成を示すブロック図である。インター予測値生成部130は、フィルタ制御部131、小数位置補間値生成部132、および動き補償処理部133を備える。
フィルタ制御部131は、復号済み画素値Aと、エントロピー復号された予測情報Cと、を入力とする。このフィルタ制御部131は、これら入力された情報に基づいて、後述の第2の方法により、補間フィルタのタップ係数c(i,j)を決定し、出力する。
小数位置補間値生成部132は、復号済み画素値Aと、補間フィルタのタップ係数c(i,j)と、を入力とする。そして、復号済み画素値Aに対して、補間フィルタのタップ係数c(i,j)を用いて小数画素位置における補間値を生成し、復号済み画素値Aに関する小数画素位置における補間値Gとして出力する。
動き補償処理部133は、復号済み画素値Aと、エントロピー復号された予測情報Cと、復号済み画素値Aに関する小数画素位置における補間値Gと、を入力とする。この動き補償処理部133は、エントロピー復号された予測情報Cから生成される動きベクトルに基づいて、復号済み画素値Aおよび補間値Gを参照してインター予測値Eを生成し、出力する。
(第2の方法)
上述のフィルタ制御部131において行われる第2の方法について、以下に説明する。第2の方法では、エントロピー復号された予測情報Cに含まれる補間フィルタ制御情報kから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)を抽出し、補間フィルタのタップ係数c(i,j)として決定する。そして、決定した補間フィルタのタップ係数c(i,j)を出力する。
以上の動画像符号化装置AAによれば、入力された補間フィルタ初期制御情報bに含まれる補間フィルタのタップ係数の初期値c(i,j)を、補間フィルタのタップ係数c(i,j)とするため、多大な演算を行うことなく、補間フィルタを決定することができる。このため、原画像に最適な補間フィルタや、原画像に準最適な補間フィルタに応じた補間フィルタ係数のタップ係数c(i,j)を、補間フィルタのタップ係数の初期値c(i,j)として、動画像符号化装置AAに入力することで、動画像符号化装置AAにおいて、符号化性能の向上を実時間処理にて実現できる。
また、以上の動画像復号装置BBによれば、動画像符号化装置AAから出力された符号化データcに含まれる補間フィルタのタップ係数の初期値c(i,j)を、補間フィルタのタップ係数c(i,j)として決定し、この補間フィルタのタップ係数c(i,j)を用いて復号済み画素値Aを生成する。このため、多大な演算を行うことなく、復号済み画素値Aを生成できる。したがって、原画像に最適な補間フィルタや、原画像に準最適な補間フィルタに応じた補間フィルタ係数のタップ係数c(i,j)を、補間フィルタのタップ係数の初期値c(i,j)として、動画像復号装置BBに入力することで、動画像復号装置BBにおいて、符号化性能の向上を実時間処理にて実現できる。
<第2実施形態>
[動画像符号化装置CCの構成]
本発明の第2実施形態に係る動画像符号化装置CCについて、以下に説明する。動画像符号化装置CCは、図1に示した本発明の第1実施形態に係る動画像符号化装置AAと同様の構成を有する。動画像符号化装置CCにおいて、動画像符号化装置AAと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像符号化装置AAのフィルタ制御部21は、上述の第1の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像符号化装置CCのフィルタ制御部21は、後述の第3の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第3の方法)
第3の方法では、まず、入力映像aから、符号化対象フレームにおける原画像の画素値の分散値σを抽出するとともに、補間フィルタ初期制御情報bから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、原画像の画素値の分散値σに応じて、フィルタ特性変化に関する主要な帯域ωを決定する。具体的には、例えば、主要帯域におけるフィルタ特性変更により、式(1)に示す特性を更新する場合、式(2)に示す演算により、主要な帯域ωを決定する。
Figure 2011135460
Figure 2011135460
なお、式(2)において、aは、映像に固有な重み付け係数である。ここで、更新前のフィルタ特性をC(ω)とし、更新後のフィルタ特性をC(ω)とすると、主要な帯域ωにおける更新前のフィルタ特性C(ω)は、式(3)のように表される。
Figure 2011135460
次に、原画像の画素値の分散値σと、参照フレームにおける参照画像の画素値の分散値σと、に応じて、主要な帯域ωにおける特性の変化を決定する。ここで、主要な帯域ωにおける更新前のフィルタ特性C(ω)と、主要な帯域ωにおける更新後のフィルタ特性C(ω)と、の関係は、式(4)のように表される。
Figure 2011135460
このため、更新後のフィルタ特性をC(ω)から、(N−2)×π/Nにおける特性を式(5)のように決定することができる。
Figure 2011135460
次に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。具体的には、式(5)のC(ω)を希望特性として逆フーリエ変換することで、補間フィルタのタップ係数c(i,j)を決定する。
[動画像復号装置DDの構成]
本発明の第2実施形態に係る動画像復号装置DDについて、以下に説明する。動画像復号装置DDは、動画像符号化装置CCにおいて生成された符号化データcを復号するものであり、図3に示した本発明の第1実施形態に係る動画像復号装置BBと同様の構成を有する。動画像復号装置DDにおいて、動画像復号装置BBと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像復号装置BBのフィルタ制御部131は、上述の第2の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像復号装置DDのフィルタ制御部131は、後述の第4の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第4の方法)
第4の方法では、まず、復号済み画素値Aから、原画像の画素値の分散値σを抽出するとともに、エントロピー復号された予測情報Cに含まれる補間フィルタ制御情報kから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、上述の第3の方法と同様に、原画像の画素値の分散値σに応じて、フィルタ特性変化に関する主要な帯域ωを決定する。
次に、上述の第3の方法と同様に、原画像の画素値の分散値σと、参照画像の画素値の分散値σと、に応じて、主要な帯域ωにおける特性の変化を決定する。
次に、上述の第3の方法と同様に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。
以上の動画像符号化装置CCによれば、入力された補間フィルタ初期制御情報bに含まれる補間フィルタのタップサイズNおよび補間フィルタのタップ係数の初期値c(i,j)と、入力された入力映像aに含まれる原画像の画素値の分散値σおよび参照画像の画素値の分散値σと、を用いて、補間フィルタのタップ係数c(i,j)を決定する。このため、多大な演算を行うことなく、補間フィルタを決定することができるので、動画像符号化装置CCにおいて、符号化性能の向上を実時間処理にて実現できる。
以上の動画像復号装置DDによれば、動画像符号化装置CCから出力された符号化データcに含まれる補間フィルタのタップサイズN、補間フィルタのタップ係数の初期値c(i,j)、原画像の画素値の分散値σ、および参照画像の画素値の分散値σを用いて、復号済み画素値Aを生成する。このため、多大な演算を行うことなく、復号済み画素値Aを生成できるので、動画像復号装置DDにおいて、符号化性能の向上を実時間処理にて実現できる。
<第3実施形態>
[動画像符号化装置EEの構成]
本発明の第3実施形態に係る動画像符号化装置EEについて、以下に説明する。動画像符号化装置EEは、図1に示した本発明の第1実施形態に係る動画像符号化装置AAと同様の構成を有する。動画像符号化装置EEにおいて、動画像符号化装置AAと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像符号化装置AAのフィルタ制御部21は、上述の第1の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像符号化装置EEのフィルタ制御部21は、後述の第5の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第5の方法)
第5の方法では、まず、入力映像aから、符号化対象フレームにおける原画像の画素値に関する画素間相関Rを抽出するとともに、補間フィルタ初期制御情報bから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、原画像の画素値に関する画素間相関Rに応じて、フィルタ特性変化に関する主要な帯域ωを決定する。具体的には、例えば、主要帯域におけるフィルタ特性変更により、上述の式(1)に示した特性を更新する場合、式(6)に示した演算により、主要な帯域ωを決定する。
Figure 2011135460
なお、式(6)において、aは、映像に固有な重み付け係数である。ここで、更新前のフィルタ特性をC(ω)とし、更新後のフィルタ特性をC(ω)とすると、主要な帯域ωにおける更新前のフィルタ特性C(ω)は、式(7)のように表される。
Figure 2011135460
次に、原画像の画素値に関する画素間相関Rと、参照フレームにおける参照画像の画素値に関する画素間相関Rと、に応じて、主要な帯域ωにおける特性の変化を決定する。ここで、主要な帯域ωにおける更新前のフィルタ特性C(ω)と、主要な帯域ωにおける更新後のフィルタ特性C(ω)と、の関係は、式(8)のように表される。
Figure 2011135460
このため、更新後のフィルタ特性をC(ω)から(N−2)×π/Nにおける特性を、上述の式(5)のように決定することができる。
次に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。具体的には、式(5)のC(ω)を希望特性として逆フーリエ変換することで、補間フィルタのタップ係数c(i,j)を決定する。
[動画像復号装置FFの構成]
本発明の第3実施形態に係る動画像復号装置FFについて、以下に説明する。動画像復号装置FFは、動画像符号化装置EEにおいて生成された符号化データcを復号するものであり、図3に示した本発明の第1実施形態に係る動画像復号装置BBと同様の構成を有する。動画像復号装置FFにおいて、動画像復号装置BBと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像復号装置BBのフィルタ制御部131は、上述の第2の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像復号装置FFのフィルタ制御部131は、後述の第6の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第6の方法)
第6の方法では、まず、復号済み画素値Aから、原画像の画素値に関する画素間相関Rを抽出するとともに、エントロピー復号された予測情報Cに含まれる補間フィルタ制御情報kから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、上述の第5の方法と同様に、原画像の画素値に関する画素間相関Rに応じて、フィルタ特性変化に関する主要な帯域ωを決定する。
次に、上述の第5の方法と同様に、原画像の画素値に関する画素間相関Rと、参照画像の画素値に関する画素間相関Rと、に応じて、主要な帯域ωにおける特性の変化を決定する。
次に、上述の第5の方法と同様に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。
以上の動画像符号化装置EEによれば、入力された補間フィルタ初期制御情報bに含まれる補間フィルタのタップサイズNおよび補間フィルタのタップ係数の初期値c(i,j)と、入力された入力映像aに含まれる原画像の画素値に関する画素間相関Rおよび参照画像の画素値に関する画素間相関Rと、を用いて、補間フィルタのタップ係数c(i,j)を決定する。このため、多大な演算を行うことなく、補間フィルタを決定することができるので、動画像符号化装置EEにおいて、符号化性能の向上を実時間処理にて実現できる。
以上の動画像復号装置FFによれば、動画像符号化装置EEから出力された符号化データcに含まれる補間フィルタのタップサイズN、補間フィルタのタップ係数の初期値c(i,j)、原画像の画素値に関する画素間相関R、および参照画像の画素値に関する画素間相関Rを用いて、復号済み画素値Aを生成する。このため、多大な演算を行うことなく、復号済み画素値Aを生成できるので、動画像復号装置FFにおいて、符号化性能の向上を実時間処理にて実現できる。
<第4実施形態>
[動画像符号化装置GGの構成]
本発明の第4実施形態に係る動画像符号化装置GGについて、以下に説明する。動画像符号化装置GGは、図1に示した本発明の第1実施形態に係る動画像符号化装置AAと同様の構成を有する。動画像符号化装置GGにおいて、動画像符号化装置AAと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像符号化装置AAのフィルタ制御部21は、上述の第1の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像符号化装置GGのフィルタ制御部21は、後述の第7の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第7の方法)
第7の方法では、まず、入力映像aから、符号化対象フレームにおける原画像の画素値の周波数特性Vを抽出するとともに、補間フィルタ初期制御情報bから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、原画像の画素値の周波数特性Vに対して(N/2+2)等分した箇所における周波数特性Vと、参照フレームにおける参照画像の周波数特性Wに対して(N/2+2)等分した箇所における周波数特性Wと、を求める。
次に、周波数特性V、Wから、予測誤差値の周波数特性Dを求める。
次に、周波数特性V、Dに応じて、フィルタ特性変化に関する主要な帯域ωを決定する。具体的には、例えば、周波数特性D、Mから、式(9)に示した演算により、予測誤差値と原画像の周波数特性に関する振幅の比Hを求める。ここで、Hが、ピークとなる周波数、すなわち主要な帯域ωとなる。
Figure 2011135460
次に、周波数特性V、Dに応じて、主要な帯域ωにおける特性の変化を決定する。ここで、更新前のフィルタ特性をC(ω)とし、更新後のフィルタ特性をC(ω)とすると、主要な帯域ωにおける更新前のフィルタ特性C(ω)と、主要な帯域ωにおける更新後のフィルタ特性C(ω)と、の関係は、式(10)のように表される。
Figure 2011135460
なお、式(10)において、clip(x)は、式(11)で定義されるものとする。
Figure 2011135460
次に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。具体的には、更新後のフィルタ特性C(ω)から、ω(n=−N/2,−N/2+1,・・・,−1,0,1・・・,N/2−1,N/2)のフィルタ特性を式(12)の演算により求める。そして、式(12)のC(ω)を希望特性として逆フーリエ変換することで、補間フィルタのタップ係数c(i,j)を決定する。
Figure 2011135460
なお、式(12)において、予測誤差値と原画像の周波数特性に関する振幅の比Hが閾値Tを超える最小のωをω(>0)とする。
[動画像復号装置HHの構成]
本発明の第4実施形態に係る動画像復号装置HHについて、以下に説明する。動画像復号装置HHは、動画像符号化装置GGにおいて生成された符号化データcを復号するものであり、図3に示した本発明の第1実施形態に係る動画像復号装置BBと同様の構成を有する。動画像復号装置HHにおいて、動画像復号装置BBと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像復号装置BBのフィルタ制御部131は、上述の第2の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像復号装置HHのフィルタ制御部131は、後述の第8の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第8の方法)
第8の方法では、まず、復号済み画素値Aから、原画像の画素値信号の周波数特性Vに関する情報を抽出するとともに、エントロピー復号された予測情報Cに含まれる補間フィルタ制御情報kから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。また、参照画像の画素値信号の周波数特性Wを求める。また、周波数特性V、Wから、予測誤差値の周波数特性Dを求める。
次に、上述の第7の方法と同様に、周波数特性V、Dに応じて、フィルタ特性変化に関する主要な帯域ωを決定する。
次に、上述の第7の方法と同様に、周波数特性V、Dに応じて、主要な帯域ωにおける特性の変化を決定する。
次に、上述の第7の方法と同様に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。
以上の動画像符号化装置GGによれば、入力された補間フィルタ初期制御情報bに含まれる補間フィルタのタップサイズNおよび補間フィルタのタップ係数の初期値c(i,j)と、入力された入力映像aに含まれる原画像の画素値の周波数特性Vと、を用いて、補間フィルタのタップ係数c(i,j)を決定する。このため、多大な演算を行うことなく、補間フィルタを決定することができるので、動画像符号化装置GGにおいて、符号化性能の向上を実時間処理にて実現できる。
以上の動画像復号装置HHによれば、動画像符号化装置GGから出力された符号化データcに含まれる補間フィルタのタップサイズN、補間フィルタのタップ係数の初期値c(i,j)、および原画像の画素値信号の周波数特性Vに関する情報を用いて、復号済み画素値Aを生成する。このため、多大な演算を行うことなく、復号済み画素値Aを生成できるので、動画像復号装置HHにおいて、符号化性能の向上を実時間処理にて実現できる。
<第5実施形態>
[動画像符号化装置IIの構成]
本発明の第5実施形態に係る動画像符号化装置IIについて、以下に説明する。動画像符号化装置IIは、図1に示した本発明の第1実施形態に係る動画像符号化装置AAと同様の構成を有する。動画像符号化装置IIにおいて、動画像符号化装置AAと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像符号化装置AAのフィルタ制御部21は、上述の第1の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像符号化装置IIのフィルタ制御部21は、後述の第9の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第9の方法)
第9の方法では、まず、補間フィルタ初期制御情報bから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、入力映像aや補間フィルタ初期制御情報bと同様に入力される量子化パラメータQpに応じて、フィルタ特性変化に関する主要な帯域ωと、主要な帯域ωにおける特性の変化と、を決定する。具体的には、例えば、主要帯域におけるフィルタ特性変更により、上述の式(1)に示した特性を更新する場合、式(13)に示した演算により、主要な帯域ωを決定する。
Figure 2011135460
なお、式(13)において、QpMaxは、量子化パラメータQpの上限値であり、動画像符号化装置IIと後述の動画像復号装置JJとで予め共有される情報である。ここで、更新前のフィルタ特性をC(ω)とし、更新後のフィルタ特性をC(ω)とすると、主要な帯域ωにおける更新前のフィルタ特性C(ω)と、主要な帯域ωにおける更新後のフィルタ特性C(ω)と、の関係は、式(14)のように表される。
Figure 2011135460
このため、更新後のフィルタ特性をC(ω)から(N−2)×π/Nにおける特性を、上述の式(5)のように決定することができる。
次に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。具体的には、式(5)のC(ω)を希望特性として逆フーリエ変換することで、補間フィルタのタップ係数c(i,j)を決定する。
[動画像復号装置JJの構成]
本発明の第5実施形態に係る動画像復号装置JJについて、以下に説明する。動画像復号装置JJは、動画像符号化装置IIにおいて生成された符号化データcを復号するものであり、図3に示した本発明の第1実施形態に係る動画像復号装置BBと同様の構成を有する。動画像復号装置JJにおいて、動画像復号装置BBと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像復号装置BBのフィルタ制御部131は、上述の第2の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像復号装置JJのフィルタ制御部131は、後述の第10の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第10の方法)
第10の方法では、まず、エントロピー復号された予測情報Cに含まれる補間フィルタ制御情報kから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、上述の第9の方法と同様に、符号化データcと同様に入力される量子化パラメータQpに応じて、フィルタ特性変化に関する主要な帯域ωと、主要な帯域ωにおける特性の変化と、を決定する。
次に、上述の第9の方法と同様に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。
以上の動画像符号化装置IIによれば、入力された補間フィルタ初期制御情報bに含まれる補間フィルタのタップサイズNおよび補間フィルタのタップ係数の初期値c(i,j)と、量子化パラメータQpと、を用いて、補間フィルタのタップ係数c(i,j)を決定する。このため、多大な演算を行うことなく、補間フィルタを決定することができるので、動画像符号化装置IIにおいて、符号化性能の向上を実時間処理にて実現できる。
以上の動画像復号装置JJによれば、動画像符号化装置IIから出力された符号化データcに含まれる補間フィルタのタップサイズN、補間フィルタのタップ係数の初期値c(i,j)、および量子化パラメータQpを用いて、復号済み画素値Aを生成する。このため、多大な演算を行うことなく、復号済み画素値Aを生成できるので、動画像復号装置JJにおいて、符号化性能の向上を実時間処理にて実現できる。
<第6実施形態>
[動画像符号化装置KKの構成]
本発明の第6実施形態に係る動画像符号化装置KKについて、以下に説明する。動画像符号化装置KKは、図1に示した本発明の第1実施形態に係る動画像符号化装置AAと同様の構成を有する。動画像符号化装置KKにおいて、動画像符号化装置AAと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像符号化装置AAのフィルタ制御部21は、上述の第1の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像符号化装置KKのフィルタ制御部21は、後述の第11の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第11の方法)
第11の方法では、まず、補間フィルタ初期制御情報bから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、入力映像aや補間フィルタ初期制御情報bと同様に入力される量子化ステップ幅Qwに応じて、フィルタ特性変化に関する主要な帯域ωと、主要な帯域ωにおける特性の変化と、を決定する。具体的には、例えば、主要帯域におけるフィルタ特性変更により、上述の式(1)に示した特性を更新する場合、式(15)に示した演算により、主要な帯域ωを決定する。
Figure 2011135460
なお、式(15)において、QwMaxは、量子化ステップ幅Qwの上限値であり、動画像符号化装置KKと後述の動画像復号装置LLとで予め共有される情報である。ここで、更新前のフィルタ特性をC(ω)とし、更新後のフィルタ特性をC(ω)とすると、主要な帯域ωにおける更新前のフィルタ特性C(ω)と、主要な帯域ωにおける更新後のフィルタ特性C(ω)と、の関係は、式(16)のように表される。
Figure 2011135460
このため、更新後のフィルタ特性をC(ω)から(N−2)×π/Nにおける特性を、上述の式(5)のように決定することができる。
次に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。具体的には、式(5)のC(ω)を希望特性として逆フーリエ変換することで、補間フィルタのタップ係数c(i,j)を決定する。
[動画像復号装置LLの構成]
本発明の第6実施形態に係る動画像復号装置LLについて、以下に説明する。動画像復号装置LLは、動画像符号化装置KKにおいて生成された符号化データcを復号するものであり、図3に示した本発明の第1実施形態に係る動画像復号装置BBと同様の構成を有する。動画像復号装置LLにおいて、動画像復号装置BBと同一構成要件については、同一符号を付し、その説明を省略する。ただし、動画像復号装置BBのフィルタ制御部131は、上述の第2の方法により、補間フィルタのタップ係数c(i,j)を決定したのに対して、動画像復号装置LLのフィルタ制御部131は、後述の第12の方法により、補間フィルタのタップ係数c(i,j)を決定する。
(第12の方法)
第12の方法では、まず、エントロピー復号された予測情報Cに含まれる補間フィルタ制御情報kから、補間フィルタのタップサイズNと、補間フィルタのタップ係数の初期値c(i,j)と、を抽出する。
次に、上述の第11の方法と同様に、符号化データcと同様に入力される量子化ステップ幅Qwに応じて、フィルタ特性変化に関する主要な帯域ωと、主要な帯域ωにおける特性の変化と、を決定する。
次に、上述の第11の方法と同様に、補間フィルタのタップ係数の初期値c(i,j)に対して、上述の決定した特性の変化に応じて、補間フィルタのタップ係数c(i,j)を更新する。
以上の動画像符号化装置KKによれば、入力された補間フィルタ初期制御情報bに含まれる補間フィルタのタップサイズNおよび補間フィルタのタップ係数の初期値c(i,j)と、量子化ステップ幅Qwと、を用いて、補間フィルタのタップ係数c(i,j)を決定する。このため、多大な演算を行うことなく、補間フィルタを決定することができるので、動画像符号化装置KKにおいて、符号化性能の向上を実時間処理にて実現できる。
以上の動画像復号装置LLによれば、動画像符号化装置KKから出力された符号化データcに含まれる補間フィルタのタップサイズN、補間フィルタのタップ係数の初期値c(i,j)、および量子化ステップ幅Qwを用いて、復号済み画素値Aを生成する。このため、多大な演算を行うことなく、復号済み画素値Aを生成できるので、動画像復号装置LLにおいて、符号化性能の向上を実時間処理にて実現できる。
なお、本発明の動画像符号化装置AA、CC、EE、GG、II、KKの処理や、動画像復号装置BB、DD、FF、HH、JJ、LLの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置AA、CC、EE、GG、II、KKや、動画像復号装置BB、DD、FF、HH、JJ、LLに読み込ませ、実行することによって、本発明を実現できる。
また、上述のプログラムは、このプログラムを記憶装置等に格納した動画像符号化装置AA、CC、EE、GG、II、KKや動画像復号装置BB、DD、FF、HH、JJ、LLから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置AA、CC、EE、GG、II、KKや動画像復号装置BB、DD、FF、HH、JJ、LLにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、上述の各実施形態において、フィルタ制御部21は、第1の方法、第3の方法、第5の方法、第7の方法、第9の方法、第11の方法のいずれか1つを行うものとしたが、これに限らない。例えば、第3の方法、第5の方法、第7の方法のいずれか1つの方法と、第9の方法、第11の方法のいずれかの方法と、を組み合わせて行うこととしてもよい。
また、上述の各実施形態では、動き補償予測に基づいて予測符号化を行う映像符号化方式について説明したが、これに限らず、本発明は、動き補償予測と同様のブロックマッチングに基づいて予測符号化を行う映像符号化方式にも、適用可能である。
具体的には、本発明は、例えば、複数台のカメラで撮影した映像(多視点映像)を効率的に圧縮する多視点映像符号化方式にも、適用可能である。多視点映像符号化方式としては、例えばH.264 MVC(Multiview Video Coding)が挙げられる。H.264 MVCでは、圧縮効率を上げるため、視点間でブロックマッチングに基づく予測符号化(視差補償予測)を行うが、この視差補償予測に対して、本発明を容易に適用可能である。
また、本発明は、例えば、複数解像度の映像をまとめて圧縮する方式(スケーラブル符号化方式)においても、解像度間におけるブロックマッチングに基づく予測符号化に対して、本発明を容易に適用可能である。
AA、CC、EE、GG、II、KK・・・動画像符号化装置
BB、DD、FF、HH、JJ、LL・・・動画像復号装置
1・・・イントラ符号化予測値生成部
2・・・インター符号化予測値生成部
3・・・モード判定制御部
4・・・DCT/量子化部
5・・・IDCT/逆量子化部
6・・・エントロピー符号化部
7・・・第1のローカルメモリ
8・・・第2のローカルメモリ
21・・・フィルタ制御部
22・・・小数位置補間値生成部
23・・・動き補償処理部
110・・・符号化データ解析部
120・・・イントラ予測値生成部
130・・・インター予測値生成部
140・・・予測手法制御部
150・・・メモリ
131・・・フィルタ制御部
132・・・小数位置補間値生成部
133・・・動き補償処理部

Claims (13)

  1. 異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、
    補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付ける入力受付手段と、
    前記入力受付手段により受け付けた補間フィルタ係数の初期値により補間フィルタを生成する補間フィルタ生成手段と、
    前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成する符号化データ生成手段と、を備えることを特徴とする動画像符号化装置。
  2. 請求項1に記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
    前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段と、
    前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値を用いて、前記符号化データを復号し、復号データを生成する復号データ生成手段と、を備えることを特徴とする動画像復号装置。
  3. 異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、
    補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付ける入力受付手段と、
    前記入力受付手段により受け付けた補間フィルタのタップ数と、映像特徴量と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成する補間フィルタ生成手段と、
    前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成する符号化データ生成手段と、を備えることを特徴とする動画像符号化装置。
  4. 請求項3に記載の動画像符号化装置において、
    前記補間フィルタ生成手段は、
    符号化する画像の映像特徴量に応じて、主要な特性変化が求められる帯域を決定し、
    前記符号化する画像の映像特徴量と、符号化した画像の映像特徴量と、に応じて、前記主要な特性変化が求められる帯域における特性変化量を決定し、
    前記入力受付手段により受け付けた補間フィルタのタップ数と、前記特性変化量と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成することを特徴とする動画像符号化装置。
  5. 請求項3または4に記載の動画像符号化装置において、
    前記映像特徴量は、画素値の分散値、または、画素値の画素間相関であることを特徴とする動画像符号化装置。
  6. 請求項3乃至5のいずれかに記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
    前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段と、
    前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、映像特徴量と、を用いて、前記符号化データを復号し、復号データを生成する復号データ生成手段と、を備えることを特徴とする動画像復号装置。
  7. 異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、
    補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付ける入力受付手段と、
    前記入力受付手段により受け付けた補間フィルタのタップ数と、符号化制御情報と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成する補間フィルタ生成手段と、
    前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成する符号化データ生成手段と、を備えることを特徴とする動画像符号化装置。
  8. 請求項7に記載の動画像符号化装置において、
    前記補間フィルタ生成手段は、
    前記符号化制御情報に応じて、主要な特性変化が求められる帯域と、当該帯域における特性変化量と、を決定し、
    前記入力受付手段により受け付けた補間フィルタのタップ数と、前記符号化制御情報と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成することを特徴とする動画像符号化装置。
  9. 請求項7または8に記載の動画像符号化装置において、
    前記符号化制御情報は、量子化パラメータ、または、量子化ステップ幅であることを特徴とする動画像符号化装置。
  10. 請求項7乃至9のいずれかに記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
    前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段と、
    前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、符号化制御情報と、を用いて、前記符号化データを復号し、復号データを生成する復号データ生成手段と、を備えることを特徴とする動画像復号装置。
  11. 異なるフレーム間でブロックマッチングに基づく予測符号化を行う際に、小数位置における補間値の参照を許容する動画像符号化装置であって、
    補間フィルタのタップ数および補間フィルタ係数の初期値の入力を受け付ける入力受付手段と、
    前記入力受付手段により受け付けた補間フィルタのタップ数と、周波数特性と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成する補間フィルタ生成手段と、
    前記補間フィルタ生成手段により生成された補間フィルタを用いて符号化データを生成する符号化データ生成手段と、を備えることを特徴とする動画像符号化装置。
  12. 請求項11に記載の動画像符号化装置において、
    前記補間フィルタ生成手段は、
    符号化する画像の周波数特性に応じて、主要な特性変化が求められる帯域を決定し、
    前記符号化する画像の周波数特性と、符号化した画像の周波数特性と、に応じて、前記主要な特性変化が求められる帯域における特性変化量を決定し、
    前記入力受付手段により受け付けた補間フィルタのタップ数と、前記特性変化量と、に基づいて、前記入力受付手段により受け付けた補間フィルタ係数の初期値に対して、補間フィルタ係数を更新し、当該更新した補間フィルタ係数により補間フィルタを生成することを特徴とする動画像符号化装置。
  13. 請求項11または12に記載の動画像符号化装置において生成された符号化データを復号する動画像復号装置であって、
    前記入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値について、入力を受け付ける復号側入力受付手段と、
    前記復号側入力受付手段により受け付けた補間フィルタのタップ数および補間フィルタ係数の初期値と、周波数特性と、を用いて、前記符号化データを復号し、復号データを生成する復号データ生成手段と、を備えることを特徴とする動画像復号装置。
JP2009294618A 2009-12-25 2009-12-25 動画像符号化装置および動画像復号装置 Expired - Fee Related JP5439162B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009294618A JP5439162B2 (ja) 2009-12-25 2009-12-25 動画像符号化装置および動画像復号装置
US12/963,138 US8780995B2 (en) 2009-12-25 2010-12-08 Video encoding apparatus and video decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009294618A JP5439162B2 (ja) 2009-12-25 2009-12-25 動画像符号化装置および動画像復号装置

Publications (2)

Publication Number Publication Date
JP2011135460A true JP2011135460A (ja) 2011-07-07
JP5439162B2 JP5439162B2 (ja) 2014-03-12

Family

ID=44187554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009294618A Expired - Fee Related JP5439162B2 (ja) 2009-12-25 2009-12-25 動画像符号化装置および動画像復号装置

Country Status (2)

Country Link
US (1) US8780995B2 (ja)
JP (1) JP5439162B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072722A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 영상 특성을 반영한 보간 필터를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN108293130A (zh) * 2015-11-27 2018-07-17 联发科技股份有限公司 通过帧内预测的视频编解码的装置及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
GB2577339A (en) * 2018-09-24 2020-03-25 Sony Corp Image data encoding and decoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005514872A (ja) * 2002-01-14 2005-05-19 ノキア コーポレイション 動的フィルタのコーディング
JP2005151385A (ja) * 2003-11-19 2005-06-09 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP2006279383A (ja) * 2005-03-29 2006-10-12 Nippon Telegr & Teleph Corp <Ntt> 階層間予測符号化方法,装置,階層間予測復号方法,装置,階層間予測符号化プログラム,階層間予測復号プログラムおよびそれらのプログラム記録媒体
JP2008544708A (ja) * 2005-06-24 2008-12-04 株式会社エヌ・ティ・ティ・ドコモ 適応補間を使用する映像符号化及び復号化の方法と装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8729878D0 (en) * 1987-12-22 1988-02-03 Philips Electronic Associated Processing sub-sampled signals
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
EP1908292A4 (en) * 2005-06-29 2011-04-27 Nokia Corp METHOD AND DEVICE FOR THE UPDATE STEP IN VIDEO CODING USING MOTION COMPENSATED TIME FILTERING
US8971412B2 (en) * 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
JP5317562B2 (ja) * 2008-07-17 2013-10-16 キヤノン株式会社 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005514872A (ja) * 2002-01-14 2005-05-19 ノキア コーポレイション 動的フィルタのコーディング
JP2005151385A (ja) * 2003-11-19 2005-06-09 Sony Corp 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP2006279383A (ja) * 2005-03-29 2006-10-12 Nippon Telegr & Teleph Corp <Ntt> 階層間予測符号化方法,装置,階層間予測復号方法,装置,階層間予測符号化プログラム,階層間予測復号プログラムおよびそれらのプログラム記録媒体
JP2008544708A (ja) * 2005-06-24 2008-12-04 株式会社エヌ・ティ・ティ・ドコモ 適応補間を使用する映像符号化及び復号化の方法と装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072722A1 (ko) * 2014-11-04 2016-05-12 삼성전자 주식회사 영상 특성을 반영한 보간 필터를 이용하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10659806B2 (en) 2014-11-04 2020-05-19 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus using interpolation filter on which image characteristic is reflected
CN108293130A (zh) * 2015-11-27 2018-07-17 联发科技股份有限公司 通过帧内预测的视频编解码的装置及方法
CN108293130B (zh) * 2015-11-27 2021-01-26 联发科技股份有限公司 一种视频编解码方法及装置、非暂时性计算机可读介质

Also Published As

Publication number Publication date
JP5439162B2 (ja) 2014-03-12
US20110158324A1 (en) 2011-06-30
US8780995B2 (en) 2014-07-15

Similar Documents

Publication Publication Date Title
JP5169978B2 (ja) 画像処理装置および方法
WO2010001917A1 (ja) 画像処理装置および方法
WO2011125256A1 (ja) 画像符号化方法及び画像復号化方法
WO2010001916A1 (ja) 画像処理装置および方法
WO2010143583A1 (ja) 画像処理装置および方法
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
JP2010035137A (ja) 画像処理装置および方法、並びにプログラム
JP2010268259A (ja) 画像処理装置および方法、並びにプログラム
WO2010123054A1 (ja) 画像処理装置および方法
WO2008148272A1 (en) Method and apparatus for sub-pixel motion-compensated video coding
KR20210129736A (ko) 옵티컬 플로 기반 비디오 인터 예측
JP5439162B2 (ja) 動画像符号化装置および動画像復号装置
JP5488684B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5488685B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
US20120069901A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
JP5367161B2 (ja) 画像符号化方法、装置、及びプログラム
JP2010288182A (ja) 動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
JP5649701B2 (ja) 画像復号化方法、装置、及びプログラム
JP6102977B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6102978B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5776804B2 (ja) 画像処理装置および方法、並びに記録媒体
JP5776803B2 (ja) 画像処理装置および方法、並びに記録媒体
KR20130119717A (ko) 보조 움직임 정보를 활용한 효율적인 영상 부호화 방법 및 장치
KR20140124438A (ko) 밝기 보상을 이용한 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees