JP2008252176A - 動画像符号化装置及び方法 - Google Patents

動画像符号化装置及び方法 Download PDF

Info

Publication number
JP2008252176A
JP2008252176A JP2007087193A JP2007087193A JP2008252176A JP 2008252176 A JP2008252176 A JP 2008252176A JP 2007087193 A JP2007087193 A JP 2007087193A JP 2007087193 A JP2007087193 A JP 2007087193A JP 2008252176 A JP2008252176 A JP 2008252176A
Authority
JP
Japan
Prior art keywords
encoding
distortion
prediction
target region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2007087193A
Other languages
English (en)
Inventor
Tomoya Kodama
知也 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007087193A priority Critical patent/JP2008252176A/ja
Priority to US12/047,601 priority patent/US20080240240A1/en
Publication of JP2008252176A publication Critical patent/JP2008252176A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】量子化ステップが粗い場合であっても、予測画像の視覚的な劣化を抑制可能な動画像符号化装置を提供することを目的とする。
【解決手段】入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算部113と;符号化対象領域に対するイントラ及びインター予測画像の予測残差に基づいて符号化歪を推定する第1の推定部122及び124と;予測残差の符号化による発生符号量を推定する第2の推定部121及び123と;歪耐性値が上昇するほど符号化歪よりも発生符号量の影響が強くなるように、符号化歪と発生符号量とを重み付き加算した符号化コストを算出する第2の計算部125乃至129と;符号化コストが最小となる予測残差を選択する選択部130と;選択部130によって選択された予測残差を符号化するエントロピー符号化器106と;を具備する。
【選択図】 図1

Description

本発明は、レート・歪最適化を用いて最適な予測モードや動きベクトルを選択する動画像符号化装置及び方法に関する。
近年、動画像符号化国際標準として主流になりつつあるMPEG−4 AVC/H.264では、動き補償フレーム間予測(インター予測)やフレーム内予測(イントラ予測)に複数の予測モードが設けられており、これらの中から入力画像のブロック毎に最適な予測モードを1つ選択して符号化を行う。また、インター予測では複数の動きベクトル候補の中から最適な動きベクトルを1つ選択し、動き補償を行う。これら予測モード及び動きベクトルを選択するための評価手法の1つとして、レート・歪最適化が知られている。
特許文献1によれば、予測モードに関する具体的なレート・歪最適化の評価関数として以下の関数が開示されている。
Figure 2008252176
ここで、Dはある予測モードで符号化を行った場合の符号化歪、Rは当該予測モードで符号化を行った場合の発生符号量、Cは当該予測モードの符号化コストを夫々示している。また、λはラグランジュ未定乗数を示している。また、符号化歪Dとして一般的には原画像と当該符号化画像との間の差分二乗和(SSD:Sum of Squared Difference)を用いる。数式1によって導出された符号化コストCが最小となる予測モードが最適な予測モードとされる。また、特許文献2には、アクティビティに応じて符号化コストCを補正する手法について提案されている。
また、非特許文献1には上記ラグランジュ未定乗数λの具体的な決定方法について提案されている。非特許文献1では予測モード選択のためのラグランジュ未定乗数λmodeを以下の式で決定する。
Figure 2008252176
ここで、Qは量子化ステップを示している。
また、非特許文献1では複数の動きベクトルの候補から最適の動きベクトルを推定する際にも同様の評価関数が用いられ、動きベクトル推定のためのラグランジュ未定乗数λmotionを以下の式で決定する。
Figure 2008252176
また、動きベクトル推定の際には、上記数式(1)において符号化歪Dとして差分絶対値和(SAD:Sum of Absolute Difference)を用いる。
特開2003−230149号公報 特開2006−94801号公報 Thomas Wiegand and Bernd Girod, "Lagrange Multiplier selection in Hybrid Video Coder Control, "ICIP2001, vol.3, pp.542-545, Oct.2001"
非特許文献1にはラグランジュ未定乗数λmodeの具体的な導出として数式2が提案されているが、これによるとラグランジュ未定乗数λは量子化ステップQのみに依存して決まる。従って、量子化ステップQが粗い(大きい)場合にラグランジュ未定乗数λが過度に増大し、符号化コストCを計算する際に発生符号量Rを必要以上に重視するおそれがある。符号化コストCを計算する際に発生符号量Rを必要以上に重視すると、予測画像と原画像との予測誤差(符号化歪)が目立ちやすい画像を符号化する際に特に問題となり、予測画像の視覚的な劣化を引き起こすおそれがある。
従って、本発明は量子化ステップが粗い場合であっても、予測画像の視覚的な劣化を抑制可能な動画像符号化装置を提供することを目的とする。
本発明の一態様に係る動画像符号化装置は、入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算部と;前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測器と;前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測器と;前記符号化対象領域に対する前記イントラ予測画像の第1の予測残差及び当該符号化対象領域に対する前記インター予測画像の第2の予測残差に基づいて符号化歪を推定する第1の推定部と;前記第1及び第2の予測残差の符号化による発生符号量を推定する第2の推定部と;前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算部と;前記第1及び第2の予測残差から前記符号化コストが最小となる予測残差を選択する選択部と;前記選択部によって選択された予測残差を符号化するエントロピー符号化器と;を具備する。
本発明の他の態様に係る動画像符号化装置は、入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算部と;前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成部と;前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第1の推定部と;前記候補の符号化による発生符号量を推定する第2の推定部と;前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算部と;前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出部と;前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測器と;前記符号化対象領域に対する前記インター予測画像の予測残差から1つの予測残差を選択する選択部と;前記選択部によって選択された予測残差を符号化するエントロピー符号化器と;を具備する。
本発明によれば、量子化ステップが粗い場合であっても、予測画像の視覚的な劣化を抑制可能な動画像符号化装置を提供できる。
以下、図面を参照して本発明の実施形態について説明する。
図1に示すように、本発明の一実施形態に係る動画像符号化装置は、ブロックスキャン変換器101、イントラ予測器102、減算器103、直交変換部104、量子化部105、エントロピー符号化器106、逆量子化部107、逆直交変換部108、選択器109、加算器110、フレームメモリ111、動き補償器112、歪耐性値計算部113、モード選択部120及び動きベクトル推定部140を有する。
また、モード選択部120は、符号量推定部121、符号化歪推定部122、符号量推定部123、符号化歪推定部124、λmode計算部125、乗算器126、乗算器127、加算器128、加算器129及び最小値選択部130を含む。また、動きベクトル推定部140は、動きベクトル候補生成部141、符号量推定部142、符号化歪推定部143、λmotion計算部144、乗算器145、加算器146及び最小値選択部147を含む。
入力画像(原画像)はブロックスキャン変換器101によってマクロブロック単位に分割される。ブロックスキャン変換器101によってマクロブロックに分割された入力画像(以後、単にブロック画像と称する)は、イントラ予測器102、減算器103、歪耐性値計算部112に入力される。
イントラ予測器102は、ブロックスキャン変換器101からのブロック画像の画素について周囲の符号化済みのブロックからイントラ予測を行う。イントラ予測画像が選択器109に入力され、イントラ予測画像とブロック画像との差分に相当する第1予測残差信号がモード選択部120に入力される。
減算器103は、動き補償器112からのインター予測画像と、ブロックスキャン変換器101からのブロック画像との差分を算出し、第2予測残差信号を得る。第2予測残差信号はモード選択部120に入力される。
直交変換部104は、モード選択部120によって選択された最適な予測モードにおける予測残差信号に対して直交変換処理を行い、直交変換係数を得る。量子化部105は、直交変換部104から出力される直交変換係数を量子化処理する。
エントロピー符号化器106は、量子化部105によって量子化された直交変換係数に対して可変長符号化または算術符号化などのエントロピー符号化を行い、符号化ビットストリームを出力する。エントロピー符号化器106は、更に動きベクトル推定部140により推定された動きベクトルなどの動き補償パラメータ及びモード選択部120によって選択された予測モードを示すモード情報(これらを総称してサイド情報という)に対しても符号化を行い、サイド情報の符号化結果を符号化ビットストリームに付加して出力する。
逆量子化部107は、量子化部105からの量子化された直交変換係数を逆量子化する。逆直交変換部108は、逆量子化部107からの直交変換係数を逆直交変換し、予測残差信号を復号する。選択器109はモード選択部120の選択結果に従って、イントラ予測器102からのイントラ予測信号または動き補償器112からのインター予測信号のいずれか一方を選択する。加算器110は、逆直交変換部108からの予測残差信号と選択器109からの予測信号を加算することにより、局所復号画像を生成する。
フレームメモリ111には、加算器110からの局所復号画像が参照画像として保存される。尚、フレームメモリ111の前段にデブロッキングフィルタを設けることにより、局所復号画像からブロック歪を除去してもよい。
動き補償器112は、フレームメモリ111からの参照画像を動きベクトル推定部140からの動きベクトルを用いて動き補償したインター予測画像を減算器103及び選択器109に入力する。
歪耐性値計算部113は、ブロックスキャン変換器101より入力されたブロック画像の画素値からλmode計算部125及びλmotion計算部144においてλmode及びλmotionを導出する際に利用される歪耐性値resを計算する。歪耐性値計算部113は歪耐性値resとして例えば図2に示すような、マクロブロックMBを4分割したブロックblk0乃至blk3の画素値の分散の最小値を計算する。この場合の歪耐性値resの算出は次の式に基づいて行われる。
Figure 2008252176
ここで、pは画素値を示している。画素値が平坦な領域では周囲の画素値の変化が滑らかであるため、符号化歪Dが目立ちやすい。従って、数式4によれば当該マクロブロックMBにおける符号化歪Dの目立ちにくさを示す歪耐性値resが得られる。
また、歪耐性値計算部113は歪耐性値resとして例えば図2に示すような、マクロブロックMBを4分割したブロックblk0乃至blk3の画素値の平均輝度の最小値を計算してもよい。この場合の歪耐性値resの算出は次の式に基づいて行われる。
Figure 2008252176
ここで、pは画素値を示している。平均輝度の低い領域(暗部)では符号化歪Dが目立ちやすい。従って、数式5によれば当該マクロブロックMBにおける符号化歪Dの目立ちにくさを示す歪耐性値resが得られる。
また、歪耐性値計算部113は歪耐性値resとして例えば図2に示すような、マクロブロックMBを4分割したブロックblk0乃至blk3の画素値のダイナミックレンジの最小値を計算してもよい。この場合の歪耐性値resの算出は次の式に基づいて行われる。
Figure 2008252176
ここで、pは画素値、pmaxは画素値pの最大値、pminは画素値pの最小値を夫々示している。ダイナミックレンジの狭い領域では符号化歪Dが目立ちやすい。従って、数式6によれば当該マクロブロックにおける符号化歪Dの目立ちにくさを示す歪耐性値resが得られる。
また、歪耐性値計算部113は関心領域(ROI:region of interest)を加味して、ブロックblk0乃至blk3が肌色などの特定の色相を持つか否かに基づいて歪耐性値resを算出してもよい。この場合の歪耐性値resの算出は次の式に基づいて行われる。
Figure 2008252176
ここで、pYは輝度値、pU及びpVは色差、ROIは関心領域を夫々示している。以下、関心領域として肌色を用いる場合の一例について説明する。文献1:色相科学ハンドブック[第2版]−東京大学出版会によれば、HSV表色系の色相(H)は0〜100の値を持ち、日本色彩研究所の肌色色票として色相H=1.0〜7.0、彩度S=16.0〜19.0、明度V=1.0〜5.0の範囲を規定している。また、文献2:特許第3863809号公報によれば、色相H、彩度S、明度Vを夫々[0,2π]、[0,1]、[0,1]の範囲で規定する場合、0.11<H<0.22、0.2<S<0.5を肌色としている。尚、これらは関心領域として肌色を用いる場合の色相や彩度の範囲に関する例示に過ぎず、本実施形態における肌色の範囲を限定するものではない。
また、マクロブロックMBの解像度が比較的低い場合には、マクロブロックMBの画面全体に占める割合が大きくなるため(少ないマクロブロックMBで画面全体を覆うため)、マクロブロックMB中に含まれ得るオブジェクトの数が増える。このような場合は例えば図3に示すように、更に細かいブロックblk0乃至blk15に分割して歪耐性値resを計算してもよい。その他、上に挙げた式をいくつか組み合わせて歪耐性値resを導出してもよい。
モード選択部120は量子化ステップQ、イントラ予測器102からの第1予測残差信号、減算器103からの第2予測残差信号及び歪耐性値計算部113からの歪耐性値resに基づいて最適な予測モードを選択する。
符号量推定部121は第1予測残差信号を符号化する際の発生符号量Rを推定し、符号量推定部123は第2予測残差信号及び動きベクトルを符号化する際の発生符号量Rを推定する。
符号化歪推定部122及び124では、入力された第1及び第2予測残差信号から各予測モードにて符号化した場合の符号化歪Dとして差分二乗和SSDを夫々算出する。差分二乗和SSDは以下の式で導出する。
Figure 2008252176
ここでLdec(x,y)は当該符号化ブロックを、各予測モードで符号化した際の再生画像の座標(x,y)における画素値、cur(x,y)は原画像の座標(x,y)における画素値を夫々示している。
λmode計算部125は、本実施形態に係る予測モード選択のためのラグランジュ未定乗数λmodeを算出する。ラグランジュ未定乗数λmodeは量子化ステップQ及び歪耐性値resを用いて以下の式より導出される。
Figure 2008252176
ここで、αは0以上1未満の定数、TH1及びTH2は歪耐性値resに関する第1及び第2閾値であり、第1閾値TH1は第2閾値TH2より小さい。数式9によれば歪耐性値resに対して単調増加するようなラグランジュ未定乗数λmodeが得られる。具体的には、図4に示すように(a)歪耐性値resが第1閾値TH1未満の場合には、ラグランジュ未定乗数λmodeは0.85αQ2に固定され、(b)歪耐性値resが第1閾値TH1以上第2閾値TH2未満の場合には、ラグランジュ未定乗数λmodeは線形的に増加し、(c)歪耐性値resが第2閾値TH2以上の場合には、ラグランジュ未定乗数λmodeは0.85Q2に固定される。尚、数式9は本実施形態に係るラグランジュ未定乗数λmodeを導出するための関数の一例に過ぎず、具体的な導出方法まで限定するものでない。即ち、ラグランジュ未定乗数λmodeは歪耐性値resに対して単調に増加していればよい。
以下、図5乃至図7を用いてラグランジュ未定乗数λを量子化ステップQのみに基づいて定めることの問題点について説明する。
図5左は固定カメラによって撮影した野球の打球の映像の1フレームを示している。図5左においてオブジェクトとしてボールを含むマクロブロックMBを符号化する場合について考える。図5左に示すように符号化対象ブロックはほとんどの領域をグラウンドで占められており、ボールの占める領域はわずかである。従って、別フレームの同一位置のマクロブロックMBとの差分は実質的にはボールの部分だけとなるが、当該領域そのものが狭いため動きベクトルMVを0としても両ブロックの差分二乗和SSDは比較的小さな値で収まってしまう。即ち、正確にボールの動きを補償するような(符号化歪Dが最小となるような)動きベクトルMVを選択した場合も動きベクトルMVを0とした場合も符号化歪Dはあまり変わらない。
一方、図5左においてボール以外に動きを持つオブジェクトはほぼ無いから、符号化対象ブロック周辺のマクロブロックMBの動きベクトルMVは0とされる。MPEG−4 AVC/H.264では符号化対象ブロックの周辺のマクロブロックMBの動きベクトルMVによって決まる予測動きベクトルMVpredを基準として、この予測動きベクトルMVpredと探索された動きベクトルの差分を符号化している。この例では符号化対象ブロックの周辺のマクロブロックの動きベクトルMVはいずれも0であるから予測動きベクトルMVpredも0となる。従って、動きベクトルMVを0とした場合に発生符号量Rが最小となる。
以上の条件下で符号化コストCを算出する場合、特に量子化ステップQが粗い場合には前述したラグランジュ未定乗数λが大きくなり、符号化コストCを算出する際に発生符号量Rが重視されるため、発生符号量Rを抑えるために動きベクトルMVとして0が選択されやすい。ここで、符号化対象ブロックが図6に示すように変化し、全てのフレームにおいて動きベクトルMVを0として符号化したとする。ここで、原画像IaがIスライス、原画像Ib乃至IdがPスライスであったと仮定すると、原画像Iaはイントラ予測によって符号化され、局所復号画像Ia'がフレームメモリ111に記録される。次に、局所復号画像Ia'から原画像Ibが予想され、図7に示す動き補償残差Dbが求まる。量子化部105における動き補償残差Dbの量子化による符号化ノイズNbが付加された局所復号画像Ib'(=Ia'+Db+Nb)がフレームメモリ111に記録される。局所復号画像Ia'の動きベクトルMVが0であるから、動き補償残差Db中のボールの位置に符号化ノイズNbが集中している。次に、局所復号画像Ib'から原画像Icが予想され、動き補償残差Dcが求まる。量子化部105における動き補償残差Dcの量子化による符号化ノイズNcが付加された局所復号画像Ic'(=Ib'+Dc+Nc)がフレームメモリ111に記録される。局所復号画像Ib'の動きベクトルMVが0であるから、動き補償残差Dc中の右側のボールに符号化ノイズNcが集中している。また、動き補償残差Dc中の左側のボールには局所復号画像Ib'から伝搬した符号化ノイズNbが集中している。次に、局所復号画像Ic'から原画像Idが予想され、動き補償残差Ddが求まる。量子化部105における動き補償残差Ddの量子化による符号化ノイズNdが付加された局所復号画像Id'(=Ic'+Dd+Nd)がフレームメモリ111に記録される。局所復号画像Ic'の動きベクトルMVが0であるから、動き補償残差Dd中の右側のボールに符号化ノイズNdが集中している。また、動き補償残差Dd中の左側及び真ん中のボールには局所復号画像Ic'から伝搬した符号化ノイズNb及びNcが夫々集中している。
このように、量子化ステップQのみに基づいてラグランジュ未定乗数λを決定すると、当該量子化ステップQが粗い場合には動き補償残差を十分に符号化しきれないため、図5右に示すようにボールの残像が発生し、視覚的な劣化を引き起こすおそれがある。一方、本実施形態に示すように符号化対象領域の歪耐性値resに対して単調増加するようにラグランジュ未定乗数λを調整すれば、符号化歪の目立ちやすさ/にくさに基づいて符号化コストCを導出する際の符号化歪Dと発生符号量Rの優先度合いを適応的に変更することができるため、視覚的な劣化を抑制できる。
乗算器126及び127、加算器128及び129は以下の式を実行するために設けられる。
Figure 2008252176
ここで、Cmodeは当該予測モードによる符号化コストを示している。即ち、乗算器126及び127は数式10中のラグランジュ未定乗数λmodeと発生符号量Rとの乗算を実行し、更にこの乗算出力と差分二乗和SSDとの加算を加算器128及び129が実行し、符号化コストCmodeを算出する。
最小値選択部130は加算器128及び129からの符号化コストCmodeが最小となる予測モードを選択し、当該予測モードにおける予測残差信号を直交変換部104に入力する。尚、これまでイントラ及びインター予測モードが1種類のみであるかのように記載したが、各予測モードは複数種あってもよい。
動きベクトル推定部140は量子化ステップQ、ブロックスキャン変換器101からのブロック画像信号、フレームメモリ111からの参照画像信号及び歪耐性値計算部113からの歪耐性値resに基づいて最適な動きベクトルを選択する。
動きベクトル候補生成部141は動きベクトルMVの候補を生成する。まず、動きベクトル候補生成部141は符号化対象マクロブロックの周囲のマクロブロックから予測動きベクトルMVpredを検出する。ここで、予測動きベクトルMVpredは例えば図8に示すように符号化対象ブロックの左、上及び右上に夫々位置するマクロブロックMBa、MBb、MBcの動きベクトルMVa、MVb及びMVcのメディアンで与えられる。例えばMBa=(xa,ya)、MBb=(xb,yb)及びMBc=(xc,yc)とし、xa<xb<xcかつya<yb<ycとすれば予測動きベクトルMVpred=(xb,yb)で与えられる。次に、動きベクトル候補生成部141は、動きベクトルMVの候補として例えば図9に示すように、予測動きベクトルMVpredを探索中心とした所定の探索範囲内で動きベクトルMVの候補を生成し、候補動きベクトルMVcanとしてベクトル符号量推定部142及びSAD計算部143に入力する。
ベクトル符号量推定部142は動きベクトル候補生成部141からの候補動きベクトルMVcanを符号化する際の発生符号量Rmvを推定し、乗算器145に入力する。
SAD計算部143は参照フレームメモリ111からの参照画像信号、ベクトル候補生成部141からの候補動きベクトルMVcan及びブロックスキャン変換器101からのブロック画像信号を用いて、参照画像を候補動きベクトルMVcanで動き補償した場合の符号化歪として、差分絶対値和SADを以下の式により導出する。
Figure 2008252176
ここでref(x,y)は参照画像中の座標(x,y)における画素値、cur(x,y)は原画像中の座標(x,y)における画素値、xmv及びymvは候補動きベクトルMVcanのx成分及びy成分をそれぞれ示している。差分絶対値和SADは加算器146に入力される。
λmotion計算部144は、本実施形態に係る動きベクトル選択のためのラグランジュ未定乗数λmotionを算出する。ラグランジュ未定乗数λmotionは例えば前述した数式3及び数式9を用いて以下の式より導出する。
Figure 2008252176
尚、数式12は本実施形態に係るラグランジュ未定乗数λmotionを導出するための関数の一例に過ぎず、具体的な導出方法まで限定するものでない。即ち、ラグランジュ未定乗数λmotionはラグランジュ未定乗数λmodeと同様に、歪耐性値resに対して単調に増加していればよい。λmotionは乗算器145に入力される。
乗算器145及び加算器146は以下の式を実行するために設けられる。
Figure 2008252176
ここで、C(MV)は当該候補動きベクトルMVcanによる符号化コストを示している。即ち、乗算器145は数式13中のラグランジュ未定乗数λmotionと発生符号量Rmvとの乗算を実行し、更にこの乗算出力と差分絶対値和SADとの加算を加算器146が実行し、符号化コストC(MV)を算出する。
最小値選択部147は加算器146からの符号化コストC(MV)が最小となる候補動きベクトルMVcanを選択し、当該動きベクトルMVを動き補償器112に入力する。
以上説明したように、本実施形態によれば符号化歪の目立ちにくさを示す歪耐性値に対して単調増加するラグランジュ未定乗数を用いることにより、レート・歪最適化における符号化コストを算出する際に符号化歪と発生符号量の影響を適応的に変更できる。即ち、符号化コストの算出において符号化歪が目立ちやすい領域では符号化歪の抑制を重視し、符号化歪が目立ちにくい領域では発生符号量の抑制を重視している。従って、量子化ステップが粗い場合であっても、符号化歪が目立ちやすい領域では符号化歪の低減を重視した予測モード及び動きベクトルが選択されるため、予測画像の視覚的な画質劣化を抑制できる。
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
本発明の一実施形態に係る動画像符号化装置を示すブロック図。 マクロブロックMBを4個のブロックblk0乃至blk3で分割した様子を示す図。 マクロブロックMBを16個のブロックblk0乃至blk15で分割した様子を示す図。 横軸を歪耐性値resとし、縦軸をラグランジュ未定乗数λmodeとした、数式9のグラフ図。 量子化ステップQのみでラグランジュ未定乗数λを決定する際の問題点を説明するための図。 図5に示す符号化対象ブロックのフレーム間の変化を示す図。 図6に対応する動き補償残差を示す図。 予測動きベクトルMVpredの導出の一例を示す図。 候補動きベクトルMVcanの探索について説明するための図。
符号の説明
101・・・ブロックスキャン変換器
102・・・イントラ予測器
103・・・減算器
104・・・直交変換部
105・・・量子化部
106・・・エントロピー符号化器
107・・・逆量子化部
108・・・逆直交変換部
109・・・選択器
110・・・加算器
111・・・フレームメモリ
112・・・動き補償器
113・・・歪耐性値計算部
120・・・モード選択部
121・・・符号量推定部
122・・・符号化歪推定部
123・・・符号量推定部
124・・・符号化歪推定部
125・・・λmode計算部
126・・・乗算器
127・・・乗算器
128・・・加算器
129・・・加算器
130・・・最小値選択部
140・・・動きベクトル推定部
141・・・動きベクトル候補生成部
142・・・ベクトル符号量推定部
143・・・SAD計算部
144・・・λmotion計算部
145・・・乗算器
146・・・加算器
147・・・最小値選択部

Claims (11)

  1. 入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算部と、
    前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測器と、
    前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測器と、
    前記符号化対象領域に対する前記イントラ予測画像の第1の予測残差及び当該符号化対象領域に対する前記インター予測画像の第2の予測残差に基づいて符号化歪を推定する第1の推定部と、
    前記第1及び第2の予測残差の符号化による発生符号量を推定する第2の推定部と、
    前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算部と、
    前記第1及び第2の予測残差から前記符号化コストが最小となる予測残差を選択する選択部と、
    前記選択部によって選択された予測残差を符号化するエントロピー符号化器と
    を具備することを特徴とする動画像符号化装置。
  2. 入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算部と、
    前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成部と、
    前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第1の推定部と、
    前記候補の符号化による発生符号量を推定する第2の推定部と、
    前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算部と、
    前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出部と、
    前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測器と、
    前記符号化対象領域に対する前記インター予測画像の予測残差から1つの予測残差を選択する選択部と、
    前記選択部によって選択された予測残差を符号化するエントロピー符号化器と
    を具備することを特徴とする動画像符号化装置。
  3. 前記第1の計算部は前記符号化対象領域に含まれる画素値の分散に基づいて前記歪耐性値を計算することを特徴とする請求項1または2記載の動画像符号化装置。
  4. 前記第1の計算部は前記符号化対象領域に含まれる画素値のダイナミックレンジに基づいて前記歪耐性値を計算することを特徴とする請求項1または2記載の動画像符号化装置。
  5. 前記第1の計算部は前記符号化対象領域の平均輝度に基づいて前記歪耐性値を計算することを特徴とする請求項1または2記載の動画像符号化装置。
  6. 前記第1の計算部は前記符号化対象領域の平均色相及び平均彩度が肌色の領域に属するか否かに基づいて前記歪耐性値を計算することを特徴とする請求項1または2記載の動画像符号化装置。
  7. 前記第2の計算部は前記歪耐性値に対して単調に増加する重みを前記発生符号量に乗じ、更に前記符号化歪を加算することにより前記符号化コストを計算することを特徴とする請求項1または2記載の動画像符号化装置。
  8. 入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算ステップと、
    前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測ステップと、
    前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測ステップと、
    前記符号化対象領域に対する前記イントラ予測画像の第1の予測残差及び当該符号化対象領域に対する前記インター予測画像の第2の予測残差に基づいて符号化歪を推定する第1の推定ステップと、
    前記第1及び第2の予測残差の符号化による発生符号量を推定する第2の推定ステップと、
    前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算ステップと、
    前記第1及び第2の予測残差から前記符号化コストが最小となる予測残差を選択する選択ステップと、
    前記選択ステップによって選択された予測残差を符号化するエントロピー符号化ステップと
    を具備することを特徴とする動画像符号化方法。
  9. 入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算ステップと、
    前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成ステップと、
    前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第1の推定ステップと、
    前記候補の符号化による発生符号量を推定する第2の推定ステップと、
    前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算ステップと、
    前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出ステップと、
    前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測ステップと、
    前記符号化対象領域に対する前記インター予測画像の予測残差から1つの予測残差を選択する選択ステップと、
    前記選択ステップによって選択された予測残差を符号化するエントロピー符号化ステップと
    を具備することを特徴とする動画像符号化方法。
  10. コンピュータを
    入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算手段、
    前記符号化対象領域に対してイントラ予測を行い、イントラ予測画像を出力するイントラ予測手段、
    前記符号化対象領域に対してインター予測を行い、インター予測画像を出力するインター予測手段、
    前記符号化対象領域に対する前記イントラ予測画像の第1の予測残差及び当該符号化対象領域に対する前記インター予測画像の第2の予測残差に基づいて符号化歪を推定する第1の推定手段、
    前記第1及び第2の予測残差の符号化による発生符号量を推定する第2の推定手段、
    前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算手段、
    前記第1及び第2の予測残差から前記符号化コストが最小となる予測残差を選択する選択手段、
    前記選択手段によって選択された予測残差を符号化するエントロピー符号化手段
    として機能させるための動画像符号化プログラム。
  11. 入力画像中の符号化対象領域における符号化歪の目立ちにくさを示す歪耐性値を計算する第1の計算手段、
    前記符号化対象領域と参照画像との間の動きベクトルの候補を生成する生成手段、
    前記候補によって前記符号化対象領域を動き補償した場合の符号化歪を推定する第1の推定手段、
    前記候補の符号化による発生符号量を推定する第2の推定手段、
    前記歪耐性値が上昇するほど前記符号化歪よりも前記発生符号量の影響が強くなるように、前記符号化歪と前記発生符号量とを重み付き加算した符号化コストを算出する第2の計算手段、
    前記符号化コストが最小となる候補を検出し、動きベクトルとして出力する検出手段、
    前記符号化対象領域に対して前記動きベクトルを用いてインター予測を行い、インター予測画像を出力するインター予測手段、
    前記符号化対象領域に対する前記インター予測画像の予測残差から1つの予測残差を選択する選択手段、
    前記選択手段によって選択された予測残差を符号化するエントロピー符号化手段
    としてコンピュータを機能させるための動画像符号化プログラム。
JP2007087193A 2007-03-29 2007-03-29 動画像符号化装置及び方法 Abandoned JP2008252176A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007087193A JP2008252176A (ja) 2007-03-29 2007-03-29 動画像符号化装置及び方法
US12/047,601 US20080240240A1 (en) 2007-03-29 2008-03-13 Moving picture coding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007087193A JP2008252176A (ja) 2007-03-29 2007-03-29 動画像符号化装置及び方法

Publications (1)

Publication Number Publication Date
JP2008252176A true JP2008252176A (ja) 2008-10-16

Family

ID=39794279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007087193A Abandoned JP2008252176A (ja) 2007-03-29 2007-03-29 動画像符号化装置及び方法

Country Status (2)

Country Link
US (1) US20080240240A1 (ja)
JP (1) JP2008252176A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296104A (ja) * 2008-06-03 2009-12-17 Hitachi Kokusai Electric Inc 画像符号化装置
JP2010283583A (ja) * 2009-06-04 2010-12-16 Canon Inc 動画像符号化装置及び動画像符号化方法
KR101043758B1 (ko) 2009-03-24 2011-06-22 중앙대학교 산학협력단 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
JP2011193363A (ja) * 2010-03-16 2011-09-29 Nippon Hoso Kyokai <Nhk> 符号化装置、復号装置及びプログラム
JP2011234070A (ja) * 2010-04-27 2011-11-17 Panasonic Corp 画像符号化装置、画像符号化方法およびプログラム
JP2011239307A (ja) * 2010-05-12 2011-11-24 Canon Inc 動画像符号化装置、及びその制御方法
WO2013111551A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
CN110720222A (zh) * 2017-07-10 2020-01-21 影图辟开思公司 用于数字数据压缩的方法和设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100278236A1 (en) * 2008-01-17 2010-11-04 Hua Yang Reduced video flicker
FR2931610B1 (fr) * 2008-05-20 2010-12-17 Canon Kk Procede et un dispositif de transmission de donnees d'images
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
WO2011080807A1 (ja) * 2009-12-28 2011-07-07 富士通株式会社 動画像符号化装置および動画像復号装置
JP5533885B2 (ja) * 2010-01-08 2014-06-25 富士通株式会社 動画像符号化装置および動画像復号装置
NO332189B1 (no) * 2010-02-17 2012-07-23 Cisco Systems Int Sarl Fremgangsmate for videokoding
EP2583457A4 (en) * 2010-06-21 2015-07-29 Thomson Licensing METHOD AND APPARATUS FOR ENCODING / DECODING IMAGE DATA
WO2013067435A1 (en) * 2011-11-04 2013-05-10 Huawei Technologies Co., Ltd. Differential pulse code modulation intra prediction for high efficiency video coding
WO2014000160A1 (en) * 2012-06-26 2014-01-03 Intel Corporation Inter-layer coding unit quadtree pattern prediction
JP6412819B2 (ja) * 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム
JP6822123B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN109923865A (zh) * 2017-03-22 2019-06-21 华为技术有限公司 一种视频数据的解码方法、解码装置、编码方法和编码装置
US10886943B2 (en) * 2019-03-18 2021-01-05 Samsung Electronics Co., Ltd Method and apparatus for variable rate compression with a conditional autoencoder
KR20220157765A (ko) * 2021-05-21 2022-11-29 삼성전자주식회사 영상 부호화 장치 및 이의 동작 방법
US11412156B1 (en) * 2021-11-29 2022-08-09 Unity Technologies Sf Increasing dynamic range of a virtual production display

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1723706B (zh) * 2003-01-07 2010-09-22 汤姆森特许公司 用于宏块分割部分的混合块间/块内编码的装置和方法
JP2006074474A (ja) * 2004-09-02 2006-03-16 Toshiba Corp 動画像符号化装置、動画像符号化方法および動画像符号化プログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296104A (ja) * 2008-06-03 2009-12-17 Hitachi Kokusai Electric Inc 画像符号化装置
KR101043758B1 (ko) 2009-03-24 2011-06-22 중앙대학교 산학협력단 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
JP2010283583A (ja) * 2009-06-04 2010-12-16 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2011193363A (ja) * 2010-03-16 2011-09-29 Nippon Hoso Kyokai <Nhk> 符号化装置、復号装置及びプログラム
JP2011234070A (ja) * 2010-04-27 2011-11-17 Panasonic Corp 画像符号化装置、画像符号化方法およびプログラム
JP2011239307A (ja) * 2010-05-12 2011-11-24 Canon Inc 動画像符号化装置、及びその制御方法
WO2013111551A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JPWO2013111551A1 (ja) * 2012-01-27 2015-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
US9560353B2 (en) 2012-01-27 2017-01-31 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
US10554999B2 (en) 2012-01-27 2020-02-04 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
US11206423B2 (en) 2012-01-27 2021-12-21 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
CN110720222A (zh) * 2017-07-10 2020-01-21 影图辟开思公司 用于数字数据压缩的方法和设备

Also Published As

Publication number Publication date
US20080240240A1 (en) 2008-10-02

Similar Documents

Publication Publication Date Title
JP2008252176A (ja) 動画像符号化装置及び方法
CN111385569B (zh) 一种编解码方法及其设备
TWI730380B (zh) 在視訊編解碼系統中利用雙向預測處理視訊的方法、設備和可讀介質
JP5669278B2 (ja) 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法
JP6698077B2 (ja) モデルベースの映像符号化用の知覚的最適化
US10091500B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
CN110741640B (zh) 用于视频代码化中的运动补偿预测的光流估计
US8040948B2 (en) Method and system for coding moving image signals, corresponding computer program product
CN107079165B (zh) 使用预测残差的视频编码方法及装置
KR20110008653A (ko) 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
US9485513B2 (en) Encoding device, decoding device, and program
JP2023036776A (ja) オプティカルフローを用いた予測リファインメントに関する方法および装置
KR20130126698A (ko) 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램
JP4786612B2 (ja) 動画像符号化装置の予測動きベクトル生成装置
JP2008219147A (ja) 動画像符号化装置
US11290739B2 (en) Video processing methods and apparatuses of determining motion vectors for storage in video coding systems
JP2010041191A (ja) 画像符号化方法及び画像符号化装置
JP5407974B2 (ja) 動画像符号化装置及び動きベクトル検出方法
JP6313614B2 (ja) 動画像符号化装置及びその制御方法
JP5701018B2 (ja) 画像復号装置
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
JP6273828B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法
KR101324352B1 (ko) 인접한 블록의 움직임 벡터를 이용한 고속 움직임 추정 방법
JP2007060452A (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2012054618A (ja) 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090325