JP5184447B2 - 動画像符号化装置および復号装置 - Google Patents

動画像符号化装置および復号装置 Download PDF

Info

Publication number
JP5184447B2
JP5184447B2 JP2009147583A JP2009147583A JP5184447B2 JP 5184447 B2 JP5184447 B2 JP 5184447B2 JP 2009147583 A JP2009147583 A JP 2009147583A JP 2009147583 A JP2009147583 A JP 2009147583A JP 5184447 B2 JP5184447 B2 JP 5184447B2
Authority
JP
Japan
Prior art keywords
encoding
information
unit block
value
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009147583A
Other languages
English (en)
Other versions
JP2011004322A (ja
Inventor
知伸 吉野
整 内藤
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI R&D Laboratories Inc
Original Assignee
KDDI R&D Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI R&D Laboratories Inc filed Critical KDDI R&D Laboratories Inc
Priority to JP2009147583A priority Critical patent/JP5184447B2/ja
Priority to US12/814,634 priority patent/US20100322316A1/en
Publication of JP2011004322A publication Critical patent/JP2011004322A/ja
Application granted granted Critical
Publication of JP5184447B2 publication Critical patent/JP5184447B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置および復号装置に関し、特に、高解像度画像に対して高圧縮符号化および復号を行うともに予測性能を向上させることができる動画像符号化装置および復号装置に関する。
予測方法が異なる符号化モードを備え、これらの符号化モードによる符号化を単位ブロックごとに適応的に切り替えて動画像を符号化する動画像符号化装置は、公知である。また、符号化モードとして、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードも公知である。なお、ここでの単位ブロックとは、符号化モードを切り替える単位を指している。非特許文献１では、単位ブロックはマクロブロック(MB)に相当する。
非特許文献１には、当該単位ブロック(マクロブロック:MB。以降、MBは単位ブロックと同等である)では、符号化モード識別子以外の符号化情報を持たないスキップ符号化モードが記載されている。スキップ符号化モードでは、動き補償の予測符号化に準じた符号化処理が行われる。しかし、スキップ符号化モードでは、復号の際、動きベクトルに関する情報として、周囲の符号化済みMBから推測される動きベクトル情報を用いるので、当該MBでは、動きベクトルに関する情報を符号化しない。また、画像の復号値として、動き補償の参照先の画素値をそのまま用いるので、予測誤差に関する情報も符号化しない。
図１０は、従来のスキップ符号化部の構成を示すブロック図である。このスキップ符号化部は、スキップMV情報生成部101、局所復号画像(画素値)生成部102およびスキップ符号化モード識別子生成部103を備える。
スキップMV情報生成部101は、符号化済みMBにおける動きベクトル情報(MV)を入力とし、隣接する符号化済みMBにおけるMV情報を当該MBのMV情報として出力し、局所復号画像(画素値)生成部102は、スキップMV情報生成部21からのMV情報および符号化済みMBの局所復号画像(画素値)を入力とし、当該MBの局所復号画像(画素値)を生成する。当該MBの局所復号画像(画素値)は、MV情報が示す参照先の局所復号画像(画素値)を取得し、この画素値を当該MBの局所復号画像(画素値)とすることで生成される。局所復号画像(画素値)生成部22により生成された局所復号画像(画素値)は、他のMBを符号化する際の局所復号画像として用いられる。
スキップ符号化モード識別子生成部103は、当該MBがスキップ符号化により符号化されていることを示すスキップ符号化モード識別子を生成する。このスキップ符号化モード識別子は、例えば1bitのフラグ情報であり、符号化モード情報となる。スキップ符号化モード識別子生成部23からのスキップ符号化モード識別子は、符号化情報としてエントロピー符号化部(図示せず)に出力される。
Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, "Text of ISO/IEC 14496 10 Advanced Video Coding 3rd Edition", July 2004.
非特許文献１に記載されているスキップ符号化モードを利用すれば、予測性能の低下を伴いつつも、符号量を大幅に抑制することができる。しかしながら、高解像度画像に対する高圧縮符号化では、スキップ符号化モードよりも、多少の符号量を費やしつつも、高い予測性能が要求されることが知られている。非特許文献１の技術によれば、符号量を大幅に抑制することはできるが、上記のような要求に応えることができないという課題がある。
本発明の目的は、上記課題を解決し、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードでの予測性能を向上させることができる動画像符号化装置および復号装置を提供することにある。
上記課題を解決するため、本発明の動画像符号化装置は、予測方法が異なる符号化モードを備え、符号化モードを単位ブロックごとに適応的に切り替えて動画像を符号化する動画像符号化装置であって、符号化モードとして、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードを有し、該符号化モードでの符号化情報に対して予測性能を改善するための補助的な符号化情報を付与する手段を備え、前記補助的な符号化情報を、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とする点に第１の特徴がある。
また、本発明の動画像符号化装置は、前記補助的な符号化情報、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とするのに代えて、当該単位ブロックの予測誤差の平均値に相当する情報とする点に第２の特徴がある。
また、本発明の動画像符号化装置は、前記補助的な符号化情報を、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とするのに代えて、選択可能とされた当該単位ブロックの動きベクトル情報と当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分の一方とする点に第３の特徴がある。
また、本発明の動画像符号化装置は、前記補助的な符号化情報を、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とするのに代えて、選択可能とされた当該単位ブロックの動きベクトル情報と当該単位ブロックの予測誤差の平均値に相当する情報の一方とする点に第４の特徴がある。
また、本発明の動画像符号化装置は、前記第１の特徴を有する動画像符号化装置において、前記予測誤差に対する直交変換結果のＤＣ成分から予測誤差の平均値に相当する値を算出し、これにより算出された値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えた点に第５の特徴がある。
また、本発明の動画像符号化装置は、前記第２の特徴を有する動画像符号化装置において、前記予測誤差の平均値に相当する値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えた点に第６の特徴がある。
また、本発明の動画像符号化装置は、前記第３の特徴を有する動画像符号化装置において、前記動きベクトル情報と前記予測誤差に対する直交変換結果のＤＣ成分の一方の選択に従って、前記動きベクトル情報を用いて、符号化済み単位ブロックの局所復号画像から当該単位ブロックの予測値を取得し、該予測値を当該単位ブロックの局所復号画像の画素値として生成する、あるいは前記予測誤差に対する直交変換結果のＤＣ成分から予測誤差の平均値に相当する値を算出し、これにより算出された値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えた点に第７の特徴がある。
また、本発明の動画像符号化装置は、前記第１の特徴を有する動画像符号化装置において、前記動きベクトル情報と前記予測誤差の平均値に相当する情報の一方の選択に従って、前記動きベクトル情報を用いて、符号化済み単位ブロックの局所復号画像から当該単位ブロックの予測値を取得し、該予測値を当該単位ブロックの局所復号画像の画素値として生成する、あるいは前記予測誤差の平均値に相当する値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えた点に第８の特徴がある。
本発明は、上記動画像符号化装置による符号化情報を復号する動画像復号装置としても特徴がある。動画像復号装置の場合には、上記局所復号画像生成手段と同様の構成を有する復号手段により動画像を復号できる。
本発明によれば、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードでの予測性能を向上させることができるので、高解像度画像に対して高圧縮符号化および復号を行うともに予測性能を向上させることができる。
スキップ符号化モードでの予測性能を、動きベクトル情報を補助的な符号化情報として付加するで改善する動画像符号化装置の構成を示すブロック図である。 図１のスキップ符号化部の構成例を示すブロック図である。 図２のMV情報生成部の詳細構成を示すブロック図である。 本発明の動画像符号化装置の第１実施形態におけるスキップ符号化部の構成例を示すブロック図である。 本発明の動画像符号化装置の第２実施形態を示すブロック図である。 図１の動画像符号化装置により符号化された動画像を復号する動画像復号装置の構成を示すブロック図である。 図６のスキップ復号部の構成例を示すブロック図である。 本発明の動画像復号装置の第１実施形態におけるスキップ復号部の構成例を示すブロック図である。 本発明の動画像復号装置の第２実施形態を示すブロック図である。 従来のスキップ符号化部の構成を示すブロック図である。
以下、図面を参照して本発明を説明する。まず、本発明の動画像符号化装置について説明する。
図１は、スキップ符号化モードでの予測性能を、動きベクトル情報を補助的な符号化情報として付加して改善する動画像符号化装置の構成を示すブロック図である。第１実施形態の動画像符号化装置は、インター符号化部11、スキップ符号化部12、エントロピー符号化部13、符号化性能評価部14、メモリ15,16、動きベクトル(MV:Motion Vevtor)情報抽出部17および切替スイッチSW1,SW2を備える。
外部から入力画像をインター符号化部11に入力する。インター符号化部11は、入力画像、メモリ15からの符号化済みMBの局所復号画像およびMV情報抽出部17からの隣接する符号化済みMBにおけるMV情報を入力とし、動き補償予測に基づくインター符号化を行って符号化情報を生成する。符号化情報は、予測誤差情報およびMV情報からなる。インター符号化部11は、この符号化情報をエントロピー符号化部13、メモリ16および符号化性能評価部14に出力する。また、インター符号化部11は、符号化情報を復号して局所復号画像を生成し、メモリ15および符号化性能評価部14に出力する。
スキップ符号化部12は、入力画像、メモリ15からの符号化済みMBの局所復号画像およびMV情報抽出部17からの隣接する符号化済みMBにおけるMV情報を入力とし、符号化済みMBの符号化情報のみからの推測によりインター符号化に準じた符号化を行い、符号化情報を生成する。この符号化情報は、スキップ符号化が行われたことを示す識別情報およびこの識別情報に補助的に付与される符号化情報からなる。補助的に付与される符号化情報については後述する。スキップ符号化部12は、この符号化情報をエントロピー符号化部13、メモリ16および符号化性能評価部14に出力する。また、スキップ符号化部12は、この符号化情報を復号して局所復号画像を生成し、メモリ15および符号化性能評価部14に出力する。
エントロピー符号化部13は、インター符号化部11およびスキップ符号化部12から出力される符号化情報をエントロピー符号化により２値化し、符号化データを生成する。
符号化性能評価部14は、入力画像、インター符号化部11からのインター符号化による符号化情報および局所復号画像およびスキップ符号化部12からのスキップ符号化による符号化情報および局所復号画像を入力とし、インター符号化とスキップ符号化の符号化性能を比較し、符号化性能が優れている方の符号化を選択するための制御信号を出力する。インター符号化とスキップ符号化の符号化性能は、例えば、符号化誤差の大きさおよび符号量を基にして評価値を算出し、この評価値の大小により判断することができる。制御信号は、インター符号化とスキップ符号化の何れかを選択するために切替スイッチSW1,SW2に出力される。
メモリ15は、インター符号化部11およびスキップ符号化部12から出力される局所復号画像を蓄積する。メモリ15から局所復号画像が適宜読み出され、インター符号化部11およびスキップ符号化部12での符号化処理で使用される。
メモリ16は、インター符号化部11およびスキップ符号化部12から出力される符号化情報を蓄積する。メモリ16から符号化情報が適宜読み出され、MV情報抽出部17に出力される。
MV情報抽出部17は、メモリ16からの符号化情報を入力とし、符号化情報からMV情報を抽出し、インター符号化部11およびスキップ符号化部12に出力する。
切替スイッチSW1,SW2は、符号化性能評価部14からの制御信号に従ってインター符号化モードとスキップ符号化モードを切り替える。すなわち、当該MBをインター符号化により符号化するかスキップ符号化により符号化するかを切り替える。切替スイッチSW1,SW2が一方(図示上側)に切り替えられれば、インター符号化モードとなり、他方(図示下側)に切り替えられれば、スキップ符号化モードとなる。
図１の動画像符号化装置は、特にスキップ符号化部12に特徴がある。図２は、図１のスキップ符号化部12の構成例を示すブロック図である。このスキップ符号化部12は、MV情報生成部21、局所復号画像(画素値)生成部22およびスキップ符号化モード識別子生成部23を備える。
MV情報生成部21は、入力画像、符号化済みMBの局所復号画像(画素値)および隣接する符号化済みMBにおけるMV情報を入力とし、スキップ符号化での符号化情報に対して補助的に付与する符号化情報を生成する、本例の場合、補助的に付与する符号化情報はMV情報(予測ベクトルとの差分)である。MV情報生成部21は、当該MBのMV情報も生成する。
局所復号画像(画素値)生成部22は、MV情報生成部21により生成されたMV情報および符号化済みMBの局所復号画像(画素値)を入力とし、当該MBの局所復号画像(画素値)を生成する。当該MBの局所復号画像(画素値)は、MV情報が示す参照先の局所復号画像(画素値)を取得し、この画素値を当該MBの局所復号画像(画素値)とすることで生成される。局所復号画像(画素値)生成部22により生成された局所復号画像(画素値)は、符号化性能評価部14およびメモリ15(図１)に出力される。
スキップ符号化モード識別子生成部23は、当該MBがスキップ符号化により符号化されていることを示すスキップ符号化モード識別子を生成する。このスキップ符号化モード識別子は、例えば1bitのフラグ情報であり、符号化モード情報となる。
スキップ符号化モード識別子生成部23からのスキップ符号化モード識別子およびMV情報生成部21からのMV情報は、符号化情報としてエントロピー符号化部13(図１)に出力される。エントロピー符号化部13では、従来の符号化情報(スキップ符号化モード識別子)にMV情報が付加された符号化情報がエントロピー符号化される。
図３は、図２のMV情報生成部21の詳細構成を示すブロック図である。MV情報生成部21は、予測ベクトル生成部31、MV探索部32および減算器33を備える。
予測ベクトル生成部31は、隣接する符号化済みMBにおけるMV情報を入力とし、このMV情報からメディアン予測により当該MBにおける予測ベクトルを生成する。
MV探索部32は、入力画像および符号化済みMBの局所復号画像(画素値)を入力とし、当該MBの原画像に対して、符号化済み画像(局所復号画像)の中で最も誤差が小さい位置を探索により求め、該位置までのベクトル(MV情報)を生成する。
既標準方式では、MV情報は直接符号化されず、予測ベクトルとの差分が符号化される。これに合わせるため、減算器33は、MV情報の符号化に用いられるMV情報(予測ベクトルとの差分)を生成する。なお、MV探索部32からのMV情報は、後段の局所復号画像(画素値)生成部22(図２)で動き補償予測を行うために用いられる。
図１の動画像符号化装置では、スキップ符号化モードでの符号化情報に補助的な符号化情報としてMV情報(予測ベクトルとの差分)を付与することにより、予測性能を向上させるようにしている。
次に、本発明の動画像符号化装置の第１実施形態について説明する。第１実施形態の動画像符号化装置は、図１と同様の構成であるが、スキップ符号化部12の構成が相違し、スキップ符号化での符号化情報に対して補助的に付与する符号化情報が相違する。
図４は、第１実施形態の動画像符号化装置におけるスキップ符号化部12の構成例を示すブロック図である。第１実施形態の動画像符号化装置のスキップ符号化部12は、スキップMV情報生成部41、スキップ予測値生成部42、DC成分抽出部43、予測誤差平均値算出部44およびスキップ符号化モード識別子生成部45を備える。
スキップMV情報生成部41は、隣接する符号化済みMBにおけるMV情報を入力とし、このMV情報のメディアン予測により当該MBにおけるスキップMV情報を生成する。スキップMV情報は、スキップ予測値生成部42に出力される。
スキップ予測値生成部42は、スキップMV情報生成部41からのスキップMV情報および符号化済みMBの局所復号画像(画素値)を入力とし、当該MBのスキップ予測値を生成する。
当該MBのスキップ予測値は、スキップMV情報が示す参照先の局所復号画像(画素値)を取得し、この画素値を当該MBのスキップ予測値とすることで生成される。スキップ予測値生成部42により生成されたスキップ予測値は、DC成分抽出部43および予測誤差平均値算出部44に出力される。
DC成分抽出部43は、入力画像およびスキップ予測値生成部42からのスキップ予測値を入力とし、当該MBにおける予測誤差の直交変換結果のDC成分を抽出する。直交変換は、例えばDCTである。DC成分抽出部43により抽出されたDC成分は、予測誤差平均値算出部44に出力される。
予測誤差平均値算出部44は、スキップ予測値生成部42からのスキップ予測値およびDC成分抽出部43からのDC成分を入力とし、当該MBの局所復号画像(画素値)を生成する。当該MBの局所復号画像(画素値)は、スキップ予測値に対して、DC成分から得られる予測誤差の平均値を加算することで生成される。予測誤差平均値算出部44により生成された局所復号画像(画素値)は、符号化性能評価部14およびメモリ15(図１参照)に出力される。
スキップ符号化モード識別子生成部45は、当該MBがスキップ符号化により符号化されていることを示すスキップ符号化モード識別子を生成する。このスキップ符号化モード識別子は、例えば1bitのフラグ情報であり、符号化モード情報となる。
スキップ符号化モード識別子生成部45からのスキップ符号化モード識別子およびDC成分抽出部43からのDC成分は、符号化情報としてエントロピー符号化部13(図１参照)に出力される。エントロピー符号化部13では、従来の符号化情報(スキップ符号化モード識別子)にDC成分が付加された符号化情報がエントロピー符号化される。
本発明の第１実施形態の動画像符号化装置では、スキップ符号化モードでの符号化情報に補助的な符号化情報として予測誤差の直交変換結果のDC成分を付与することにより、予測性能を向上させるようにしている。
次に、本発明の動画像符号化装置の第２実施形態について説明する。第２実施形態の動画像符号化装置は、図５に示す構成を有し、図２および図４のスキップ符号化部を選択的に使用できるようになっている。図５において、図１と同一あるいは同等部分には同じ符号を付している。
第２実施形態の動画像符号化装置は、インター符号化部11、スキップ符号化部12′、スキップ符号化部12″、エントロピー符号化部13、符号化性能評価部14、メモリ15,16、MV情報抽出部17および切替スイッチSW1,SW2を備える。スキップ符号化部12′は、図２の構成を有し、スキップ符号化部12″は、図４の構成を有する。
第２実施形態の動画像符号化装置では、入力画像、インター符号化部11からのインター符号化による符号化情報および符号化済みMBの局所復号画像およびスキップ符号化部12′,12″からのスキップ符号化による符号化情報および符号化済みMBの局所復号画像を符号化性能評価部14に入力する。
符号化性能評価部14は、インター符号化部11でのインター符号化、スキップ符号化部12′でのスキップ符号化およびスキップ符号化部12″でのスキップ符号化の符号化性能を比較し、符号化性能が優れている符号化を選択するための制御信号を出力する。
切替スイッチSW1,SW2は、符号化性能評価部14からの制御信号に従ってインター符号化部11によるインター符号化モード、スキップ符号化部12′によるスキップ符号化モードあるいはスキップ符号化部12″によるスキップ符号化モードに切り替える。その他の部分の動作は、図１〜図４の動作と同様であるので、説明を省略する。なお、第２実施形態では、インター符号化部11とスキップ符号化部12′とスキップ符号化部12″による符号化を識別するために、少なくとも2bitのスキップ符号化モード識別子が必要となる。
次に、本発明の動画像復号装置について説明する。本発明の動画像復号装置は、上記動画像符号化装置による符号化情報を復号するものである。動画像は、動画像符号化装置の局所復号画像生成部と同様の構成で復号することができる。
図６は、図１の動画像符号化装置により符号化された動画像を復号する動画像復号装置の構成を示すブロック図であり、エントロピー復号部61、符号化モード判定部62、メモリ63,64、MV情報抽出部65、インター復号部66、スキップ復号部67および切替スイッチSW3,SW4を備える。
図１の動画像符号化装置からの符号化データがエントロピー復号部61に入力される。エントロピー復号部61は、符号化データを復号し、符号化情報を生成する。この符号化情報は、符号化モード判定部62およびメモリ63に出力され、また、切替スイッチSW3を通してインター復号部66あるいはスキップ復号部67に出力される。
符号化モード判定部62は、エントロピー復号部61からの符号化情報から符号化モード情報を抽出し、当該MBがインター符号化されているかスキップ符号化されているかを判定し、切替スイッチSW3,SW4を切り替えるための制御信号を出力する。
メモリ63は、エントロピー復号部61からの符号化情報を蓄積し、MV情報抽出部65に適宜出力する。MV情報抽出部65は、メモリ63からの符号化情報からMV情報を抽出する。MV情報抽出部65により抽出されたMV情報は、インター復号部66あるいはスキップ復号部67に出力される。
インター復号部66は、エントロピー復号部61からの符号化情報(予測誤差情報およびMV情報)、MV情報抽出部65からの復号済みMBにおけるMV情報およびメモリ64からの復号済み画像を入力とし、インター復号を行う。すなわち、予測値と予測誤差を算出して当該MBの復号画像を生成する。
スキップ復号部67は、エントロピー復号部61からの符号化情報、MV情報抽出部65からの復号済みMBにおけるMV情報およびメモリ64からの復号済み画像を入力とし、スキップ復号を行う。すなわち、予測値を取得して当該MBの復号画像を生成する。
インター復号部66およびスキップ復号部67により生成された復号画像は、動画像復号装置の出力として送出されるとともに、メモリ66に蓄積される。メモリ66に蓄積された復号画像は、インター復号部66およびスキップ復号部67に適宜出力される。
切替スイッチSW3,SW4は、符号化モード判定部62からの制御信号により制御され、インター符号化されているMBの符号化情報がインター復号部66側(図示上側)で復号され、スキップ符号化されているMBの符号化情報がスキップ復号部67側(図示下側)で復号されるように、切り替えられる。
図７は、図６の動画像復号装置におけるスキップ復号部67の構成例を示すブロック図である。図６の動画像復号装置におけるスキップ復号部67は、予測ベクトル生成部71、加算器72および復号画像(画素値)生成部73を備える。
予測ベクトル生成部71は、MV情報抽出部65(図６)からの復号済みMBにおけるMV情報を入力とし、隣接する復号済みMBにおけるMV情報からメディアン予測により予測ベクトルを生成し、加算器72に出力する。
加算器72は、予測ベクトル生成部71からの予測ベクトルに、エントロピー復号部61からの符号化情報であるMV情報(予測ベクトルとの差分)を加算し、当該MBにおけるMV情報を生成する。
復号画像(画素値)生成部73は、加算器72からのMV情報およびメモリ64(図６)からの復号済み画像を基に当該MBの復号画像(画素値)を生成する。すなわち、加算器72からのMV情報が示す参照先の復号済み画像(画素値)を取得し、取得された画像(画素値)を当該MBの復号画像とする。
次に、本発明の第１実施形態の動画像復号装置について説明する。第１実施形態の動画像復号装置は、図６と同様の構成であるが、スキップ復号部67が、第１実施形態の動画像符号化装置により符号化された動画像を復号するように構成されている点で相違する。
図８は、第１実施形態の動画像復号装置におけるスキップ復号部67の構成例を示すブロック図である。第１実施形態の動画像復号装置におけるスキップ復号部67は、予測誤差平均値決定部81、スキップMV情報生成部82、スキップ予測値生成部83および加算器84を備える。
予測誤差平均値決定部81は、エントロピー復号部61からの符号化情報であるDC情報を入力とし、予測誤差の平均値に相当する値(予測誤差平均値)を算出する。
スキップMV情報生成部82は、MV情報抽出部65(図６)からの復号済みMBにおけるMV情報を入力とし、隣接する復号済みMBにおけるMV情報からメディアン予測により当該MBにおけるスキップMV情報を生成する。
スキップ予測値生成部83は、スキップMV情報生成部82からのスキップMV情報およびメモリ64(図６)からの復号済み画像を入力とし、当該MBのスキップ予測値を生成する。すなわち、スキップMV情報生成部82からのスキップMV情報が示す参照先の復号済み画像(画素値)を取得し、取得された画像(画素値)を当該MBのスキップ予測値とする。
加算器84は、予測誤差平均値決定部81からの予測誤差平均値とスキップ予測値生成部83からのスキップ予測値を加算し、当該MBの復号画像(画素値)を出力する。
次に、本発明の第２実施形態の動画像復号装置について説明する。第２実施形態の動画像復号装置は、図９に示す構成を有し、第２実施形態の動画像符号化装置により符号化された動画像を復号できるようになっている。図９において、図６と同一あるいは同等部分には同じ符号を付してある。
第２実施形態の動画像復号装置は、エントロピー復号部61、符号化モード判定部62、メモリ63,64、MV情報抽出部65、インター復号部66、スキップ復号部67′、スキップ復号部67″および切替スイッチSW3,SW4を備える。スキップ復号部67′は、図７の構成を有し、スキップ復号部67″は、図８の構成を有する。
符号化モード判定部62は、エントロピー復号部61からの符号化情報から符号化モード情報を抽出し、当該MBがインター符号化されているかスキップ符号化されているか、さらにスキップ符号化が図２によるものか図４にものかを判定し、切替スイッチSW3,SW4を切り替えるための制御信号を出力する。
切替スイッチSW3,SW4は、符号化モード判定部62からの制御信号により制御される。インター符号化されているMBの符号化情報はインター復号部66で復号され、図２によりスキップ符号化されているMBの符号化情報はスキップ復号部67′で復号され、図４によりスキップ符号化されているMBの符号化情報はスキップ復号部67″で復号される。その他の部分の動作は、図６〜図８の動作と同様であるので、説明を省略する。
以上、実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、種々に変形されたものも含む。例えば、第１実施形態の動画像符号化装置では、スキップ符号化モードでの符号化情報に補助的な符号化情報として予測誤差の直交変換結果のDC成分を付与しているが、このDC成分に代えて、予測誤差の平均値に相当する値、例えば、予測誤差の平均値を量子化した値を補助的な符号化情報として付与してもよい。この場合には、予測誤差の平均値に相当する値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算することにより、符号化の際の局所復号画像を生成でき、また、同様の構成で動画像を復号できる。
さらに、スキップ符号化モードをそのまま存在させつつ、スキップ符号化モードでの符号化情報に補助的な符号化情報として付与するモードを新たな符号化モードとして加え、スキップ符号化モードと新たな符号化モードを適宜選択し得るようにすることもできる。これによれば、符号化対象の画像で要求される予測性能に応じて、スキップ符号化モードあるいは新たな符号化モードを適用することができる。
11・・・インター符号化部、12,12′,12″・・・スキップ符号化部、13・・・エントロピー符号化部、14・・・符号化性能評価部、15,16,63,64・・・メモリ、17,65・・・MV情報抽出部、21・・・MV情報生成部、22,102・・・局所復号画像生成部、23,45,103・・・スキップ符号化モード識別子生成部、31・・・予測ベクトル生成部、32・・・MV探索部、33・・・減算器、41,82,101・・・スキップMV情報生成部、42,83・・・スキップ予測値生成部、43・・・DC成分抽出部、44・・・予測誤差平均値算出部、61・・・エントロピー復号部、62・・・符号化モード判定部、66・・・インター復号部、67・・・スキップ復号部、71・・・予測ベクトル生成部、72,84・・・加算器、73・・・復号画像生成部、81・・・予測誤差平均値決定部、SW1〜SW4・・・切替スイッチ

Claims (12)

  1. 予測方法が異なる符号化モードを備え、符号化モードを単位ブロックごとに適応的に切り替えて動画像を符号化する動画像符号化装置であって、
    符号化モードとして、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードを有し、
    該符号化モードでの符号化情報に対して予測性能を改善するための補助的な符号化情報を付与する手段を備え、
    前記補助的な符号化情報を、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とすることを特徴とする動画像符号化装置。
  2. 前記補助的な符号化情報を、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とするのに代えて、当該単位ブロックの予測誤差の平均値に相当する情報とすることを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記補助的な符号化情報を、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とするのに代えて、選択可能とされた当該単位ブロックの動きベクトル情報と当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分の一方とすることを特徴とする請求項１に記載の動画像符号化装置。
  4. 前記補助的な符号化情報を、当該単位ブロックの予測誤差に対する直交変換結果のＤＣ成分とするのに代えて、選択可能とされた当該単位ブロックの動きベクトル情報と当該単位ブロックの予測誤差の平均値に相当する情報の一方とすることを特徴とする請求項１に記載の動画像符号化装置。
  5. 前記予測誤差に対する直交変換結果のＤＣ成分から予測誤差の平均値に相当する値を算出し、これにより算出された値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えたことを特徴とする請求項１に記載の動画像符号化装置。
  6. 前記予測誤差の平均値に相当する値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えたことを特徴とする請求項２に記載の動画像符号化装置。
  7. 前記動きベクトル情報と前記予測誤差に対する直交変換結果のＤＣ成分の一方の選択に従って、前記動きベクトル情報を用いて、符号化済み単位ブロックの局所復号画像から当該単位ブロックの予測値を取得し、該予測値を当該単位ブロックの局所復号画像の画素値として生成する、あるいは前記予測誤差に対する直交変換結果のＤＣ成分から予測誤差の平均値に相当する値を算出し、これにより算出された値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えたことを特徴とする請求項３に記載の動画像符号化装置。
  8. 前記動きベクトル情報と前記予測誤差の平均値に相当する情報の一方の選択に従って、前記動きベクトル情報を用いて、符号化済み単位ブロックの局所復号画像から当該単位ブロックの予測値を取得し、該予測値を当該単位ブロックの局所復号画像の画素値として生成する、あるいは前記予測誤差の平均値に相当する値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成する局所復号画像生成手段を備えたことを特徴とする請求項４に記載の動画像符号化装置。
  9. 請求項１に記載の動画像符号化装置による符号化情報を復号する動画像復号装置であって、
    前記予測誤差に対する直交変換結果のＤＣ成分から予測誤差の平均値に相当する値を算出し、これにより算出された値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成することにより、符号化済み単位ブロックの符号化情報からの推測のみで符号化する符号化モードで符号化された単位ブロックの画像を復号する復号手段を備えたことを特徴とする動画像復号装置。
  10. 請求項２に記載の動画像符号化装置による符号化情報を復号する動画像復号装置であって、
    前記予測誤差の平均値に相当する値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として生成することにより、符号化済み単位ブロックの符号化情報からの推測のみで符号化する符号化モードで符号化された単位ブロックの画像を復号する復号手段を備えたことを特徴とする動画像復号装置。
  11. 請求項３に記載の動画像符号化装置による符号化情報を復号する動画像復号装置であって、
    前記動きベクトル情報と前記予測誤差に対する直交変換結果のＤＣ成分の一方の選択に従って、前記動きベクトル情報を用いて、符号化済み単位ブロックの局所復号画像から当該単位ブロックの予測値を取得し、該予測値を当該単位ブロックの局所復号画像の画素値として生成する、あるいは前記予測誤差に対する直交変換結果のＤＣ成分から予測誤差の平均値に相当する値を算出し、これにより算出された値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として復号する復号手段を備えたことを特徴とする動画像復号装置。
  12. 請求項４に記載の動画像符号化装置による符号化情報を復号する動画像復号装置であって、
    前記動きベクトル情報と前記予測誤差の平均値に相当する情報の一方の選択に従って、前記動きベクトル情報を用いて、符号化済み単位ブロックの局所復号画像から当該単位ブロックの予測値を取得し、該予測値を当該単位ブロックの局所復号画像の画素値として生成する、あるいは前記予測誤差の平均値に相当する値を、符号化済み単位ブロックの符号化情報からの推測のみで当該単位ブロックの画像を符号化する符号化モードの予測値に加算し、これにより算出された値を当該単位ブロックの局所復号画像の画素値として復号する復号手段を備えたことを特徴とする動画像復号装置。
JP2009147583A 2009-06-22 2009-06-22 動画像符号化装置および復号装置 Expired - Fee Related JP5184447B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009147583A JP5184447B2 (ja) 2009-06-22 2009-06-22 動画像符号化装置および復号装置
US12/814,634 US20100322316A1 (en) 2009-06-22 2010-06-14 Moving-picture encoding apparatus and decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009147583A JP5184447B2 (ja) 2009-06-22 2009-06-22 動画像符号化装置および復号装置

Publications (2)

Publication Number Publication Date
JP2011004322A JP2011004322A (ja) 2011-01-06
JP5184447B2 true JP5184447B2 (ja) 2013-04-17

Family

ID=43354359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009147583A Expired - Fee Related JP5184447B2 (ja) 2009-06-22 2009-06-22 動画像符号化装置および復号装置

Country Status (2)

Country Link
US (1) US20100322316A1 (ja)
JP (1) JP5184447B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110123651A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
CA2961681C (en) 2014-09-30 2022-08-09 Hfi Innovation Inc. Method of adaptive motion vetor resolution for video coding
AU2017261992A1 (en) * 2016-05-13 2018-11-22 Sony Corporation Image processing device and method
WO2017195667A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6432787A (en) * 1987-07-29 1989-02-02 Toshiba Corp Adaptive predictive coding device
JP2892783B2 (ja) * 1990-07-09 1999-05-17 松下電器産業株式会社 動画像信号の符号化装置
JP3367992B2 (ja) * 1993-04-27 2003-01-20 日本ビクター株式会社 動画像符号化装置および復号化装置
JPH06351003A (ja) * 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動き補償フレーム間予測符号化装置
JP4345024B2 (ja) * 1996-04-12 2009-10-14 ソニー株式会社 画像符号化装置、画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP3496604B2 (ja) * 1999-12-20 2004-02-16 日本電気株式会社 圧縮画像データ再生装置および圧縮画像データ再生方法
JP2007060693A (ja) * 2002-04-10 2007-03-08 Toshiba Corp 動画像符号化、復号化方法及び装置
CN100420308C (zh) * 2002-04-26 2008-09-17 株式会社Ntt都科摩 图象编码装置和图象译码装置
JP2003023641A (ja) * 2002-05-08 2003-01-24 Toshiba Corp 動画像符号化装置
JP3866624B2 (ja) * 2002-06-26 2007-01-10 日本電信電話株式会社 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置
US20060251176A1 (en) * 2003-02-17 2006-11-09 Atsushi Hatabu Media-encoded data transmission method, apparatus and program
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
EP1631089A1 (en) * 2004-08-30 2006-03-01 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and decoding apparatus
JP2006140758A (ja) * 2004-11-12 2006-06-01 Toshiba Corp 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US20070053325A1 (en) * 2005-04-26 2007-03-08 Interdigital Technology Corporation Method and apparatus for securing wireless communications

Also Published As

Publication number Publication date
US20100322316A1 (en) 2010-12-23
JP2011004322A (ja) 2011-01-06

Similar Documents

Publication Publication Date Title
JP6679782B2 (ja) 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
JP6701409B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
KR101711688B1 (ko) 움직임 벡터 예측 및 미세조정
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
CN111418214A (zh) 使用重建像素点的语法预测
JP5184447B2 (ja) 動画像符号化装置および復号装置
JP5938424B2 (ja) 画像ブロックを再構成および符号化する方法
JP4868539B2 (ja) 動画像符号化装置および復号装置
JP2009290889A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR20110134404A (ko) 화상 데이터의 블록을 예측하는 방법, 이 방법을 실행하는 복호 장치 및 부호화 장치
WO2020059616A1 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP5099776B2 (ja) 動画像符号化装置および復号装置
JP5705948B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2010233135A (ja) 動画像符号化装置および動画像復号装置
JP2008148060A (ja) 画像符号化変換装置及び画像符号化変換方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121010

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees