JP5215951B2 - 符号化装置及びその制御方法、コンピュータプログラム - Google Patents

符号化装置及びその制御方法、コンピュータプログラム Download PDF

Info

Publication number
JP5215951B2
JP5215951B2 JP2009157317A JP2009157317A JP5215951B2 JP 5215951 B2 JP5215951 B2 JP 5215951B2 JP 2009157317 A JP2009157317 A JP 2009157317A JP 2009157317 A JP2009157317 A JP 2009157317A JP 5215951 B2 JP5215951 B2 JP 5215951B2
Authority
JP
Japan
Prior art keywords
prediction mode
block
flat
encoding
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009157317A
Other languages
English (en)
Other versions
JP2011015171A5 (ja
JP2011015171A (ja
Inventor
幸史 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009157317A priority Critical patent/JP5215951B2/ja
Priority to US12/818,620 priority patent/US8588301B2/en
Publication of JP2011015171A publication Critical patent/JP2011015171A/ja
Publication of JP2011015171A5 publication Critical patent/JP2011015171A5/ja
Application granted granted Critical
Publication of JP5215951B2 publication Critical patent/JP5215951B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は符号化装置及びその制御方法、コンピュータプログラムに関する。
動画像の符号化処理において、H.264符号化方式ではインタースライスにおいて、インター予測モードとイントラ予測モードとを選択することができる。インター予測モードにおいては、符号化を行うマクロブロックに対して、参照画像と符号化画像の間でブロックマッチングを取り、最も符号化効率が良い位置を動きベクトル位置として決定する。この動きベクトル位置の決定には、一般的に符号化画像と参照画像との減算から得られる差分データをベースにしたコスト関数が用いられる。コスト関数には色々な関数が考えられるが、代表的なものとして式(1)が挙げられる。
Cost= SATD+Qp×Mvcost・・・(1)
ここでSATDとは、符号化画像と参照画像を減算して得られた差分データに対してアダマール変換をかけたものに対し、差分絶対値和演算を行ったものである。Qpは量子化処理に使用される量子化値であり、Mvcostは動きベクトルの長さに応じた動きベクトルの符号量相当のコスト値である。このコスト関数を用い、最もコスト値の小さい位置を動きベクトル位置として決定する。このようにして決定された動きベクトル位置の参照画像と符号化画像との間で減算を行い、差分データを生成する。その差分データに対して直交変換処理、量子化処理、可変長符号化処理を行うことにより、インター予測モードの符号化が行われる。
これに対して、イントラ予測モードでは参照画像として、符号化を行うマクロブロックの周辺の画素が用いられる。イントラ予測モードに用いられる参照画像用の画素を図2に示す。イントラ予測モードにはイントラ4×4予測、イントラ8×8予測、イントラ16×16予測があり、それぞれ垂直予測モード、水平予測モード、DC予測モード等、複数の予測モードが存在する。ここでは、イントラ4×4予測モードを例に説明する。符号化を行う4×4ブロックの画素aからpに対して、周辺の画素AからMが参照画像用の画素として用いられる。画素AからDは符号化を行う4×4ブロックの上方向に隣接する4画素であり、画素EからHは画素Dの右方向に続く4画素である。画素IからLは符合化を行う4×4ブロックの左方向に隣接する4画素であり、画素Mは画素Iの上の位置の画素である。この周辺の画素AからMは、原画像の画素ではなく符号化が行われたローカルデコード画像の画素が用いられる。
この周辺の画素を用いて参照画像がどのように作られるかは、予測モードによって異なる。図3のようにイントラ4×4予測には予測モード0から予測モード8まで9つの予測モードが用意されている。それぞれの予測モードにおける参照画像の作成方法を図4に示す。例えば、予測モード0では垂直方向に隣接する画素AからDから参照画像を生成するモードである。符号化を行う4×4ブロックの画素aからpに対して、1列目の画素a、e、i、mに対する参照画像は画素A、2列目の画素b、f、j、nに対する参照画像は画素Bとなる。同様に、3列目の画素c、g、k、oに対する参照画像は画素C、4列目の画素d、h、l、pに対する参照画像は画素Dとなる。
また予測モード2はDC予測であり、式(2)で示される画素が画素aからpの全てに対する参照画像となる。
(A+B+C+D+I+J+K+L+4)>> 3……(2)
このように各予測モードで生成された参照画像と符号化画像との間で減算を行い差分データを生成する。それを用いて式(1)のコスト関数に適用し(イントラ予測モードの場合、Mvcostは予測モードの符号量相当のコストになる)、最もコスト値の小さいものを符号化に用いる予測モードとして決定する。決定した予測モードにおける参照画像と符号化画像との差分データに対して直交変換処理、量子化処理、可変長符号化処理を行うことにより、イントラ予測モードの符号化が行われる。
インタースライスにおいて、インター予測モードが用いられるか、イントラ予測モードが用いられるかは、動きベクトル位置のコスト値とイントラ予測の最適予測モードのコスト値を比較して判定される。
ここで、コスト値が小さい方が符号化効率が良く一般的に画質が良くなるため、コスト値が小さい方の予測モードを選択するという方法がある。
この方法を用いると、当該マクロブロックの符号化効率はいいのだが、以下のような問題がある。まず、インター予測モードとイントラ予測モードとでは、参照画像の生成方法が異なっている。従って、芝生やグラウンド等の地面のように平坦なマクロブロックの集合エリアにおいてインター予測モードとイントラ予測モードが混在する場合、同程度のコスト値でも視覚的な劣化具合が異なり、イントラ予測モードの方が劣化が激しく見えてしまう。そのため、地面のように平坦なマクロブロックの集合エリアの中で、イントラ予測モードで符号化されたマクロブロックは特に劣化が目につきやすく、画質を損なってしまう。
この問題を解決するために、従来技術では、地面のような平坦な部分、すなわち各マクロブロックの平坦度を示すアクティビティが低いほどイントラ予測モードが選択されにくい判定式にするというものがある(例えば、特許文献1参照)。
特開2006−094081号公報
ここで符号化対象の画像には、平坦なマクロブロックが集合している平坦集合エリアが存在する一方で、高周波成分を多く持つマクロブロックと、そうではないマクロブロックとが混在するようなエリアも存在する。後者のようなエリアにおいて高周波成分を含む平坦度の低いマクロブロックを符号化する場合、イントラ予測モードを選択した場合でも特に視覚的劣化が目立つわけではない。しかし、上記の提案技術ではマクロブロック単位での平坦度のみを考慮するため、イントラ予測モードが選択されにくくなってしまう。そのため、単純にインター予測モードのコスト値とイントラ予測モードのコスト値の小さい方を選択する場合と比較し、符号化効率が低下し、画質が損なわれてしまうという問題がある。
そこで本発明は、当該マクロブロックが平坦集合エリアに属する場合と、そうではない場合とのどちらのケースでも良好な画像を得ることを目的とする。
上記課題を解決するための本発明は、入力画像を複数画素で構成された符号化対象のブロックに分割し、当該ブロック毎にインター予測モードとイントラ予測モードとのいずれかを選択して符号化処理を行う符号化装置であって、
注目ブロックに含まれる画素値に基づいて平坦度を算出し、該注目ブロックが平坦なブロックであるかを判定する平坦判定手段と、
前記平坦判定手段で判定された判定結果を前記ブロック毎に記憶する記憶手段と、
前記記憶手段に記憶された判定結果に基づいて、前記平坦判定手段により平坦なブロックと判定された前記注目ブロックが、平坦なブロックが集合するエリアに属するか否かを判定するエリア判定手段と、
前記エリア判定手段の判定結果と、符号化効率を示すコスト関数により算出された前記インター予測モード及び前記イントラ予測モードの各コスト値とに従って、前記注目ブロックの符号化処理の予測モードとして、前記インター予測モードと前記イントラ予測モードとのいずれかを選択する予測モード選択手段と、
前記予測モード選択手段が選択した予測モードに従って、予測符号化を行う符号化手段と
を備えることを特徴とする。
本発明によれば、マクロブロックが平坦集合エリアに属する場合と、そうではない場合とのどちらのケースでもインター予測モードとイントラ予測モードの選択において最適な予測モード選択を行うことができ、良好な画像を得ることができる。
発明の第1の実施形態の符号化装置の構成例を示すブロック図。 イントラ予測モードの参照画像に使用する画素の説明図。 イントラ4×4予測における予測モードの説明図。 イントラ予測モードにおける参照画像の作成方法の説明図。 特徴検出部101の機能構成の一例を示す図。 発明の実施形態の予測モードの選択処理の一例を示すフローチャート。 平坦集合エリアに属するか否かの判定方法の説明図。 平坦集合エリアに属するかの判定結果を示す図。 発明の第2の実施形態の符号化装置の構成例を示すブロック図。 特徴検出部801の動作を示すフローチャート。
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
[第1の実施形態]
図1は本実施形態による符号化装置の構成を説明するブロック図である。特徴検出部101では、これから符号化処理を行う画像が入力され、その入力画像に対してどの部分が平坦集合エリアであるかの判定を行う。ここでの判定結果は、マクロブロック単位に平坦集合エリアに属するかどうかを示す平坦集合エリアフラグとして、予測モード選択部105に出力される。
図5Aに特徴検出部101の内部構成の例を示す。図5Bに特徴検出部101及び予測モード選択部105における予測モードの選択に関わるフローチャートを示す。まず、S101で平坦判定部501には入力画像が入力され、マクロブロック(例えば、16画素×16画素)単位に該マクロブロックが平坦であるかどうかが判定される。平坦判定には、いくつかの方法が考えられる。例えば、マクロブロックにおける画素値の分散値を平坦度を表す値として算出し、平坦度が所定の閾値より低いものを平坦であると判定することができる。S102において平坦フラグバッファ502は、平坦判定部501からの判定結果を受け取り、マクロブロックごとに平坦か、平坦ではないかのフラグを格納しておく。本実施形態では、一例としてフラグ値を平坦の場合に「1」、平坦でない場合に「0」とする。平坦フラグバッファ502は1画面分の平坦フラグを格納することができ、後段の平坦集合エリア判定部503が動作する前に、1画面分全ての平坦判定を完了するよう動作する。
平坦集合エリア判定部503は、S103及びS104において平坦フラグバッファ502に格納されている平坦フラグから、各マクロブロックが平坦集合エリアに属しているかどうかの判定を行う。図6に判定方法の例を示す。ここでは、平坦であると判定されたマクロブロックを「1」、平坦ではないと判定されたマクロブロックを「0」で表している。平坦集合エリア判定部503は、S103において注目マクロブロックとその周辺マクロブロックのフラグ値を平坦フラグバッファ502から取得して、これを判定に用いる。S104では、注目マクロブロックが平坦であり、かつ周辺の8つのマクロブロックのうち平坦と判定されたものがN個以上ある場合に、平坦集合エリアに属すると判定する。Nの値は例えば4とすることができるが、これは一例であって、4未満でも4より大きくても良い。
図6(a)では、丸印601で囲んだ注目マクロブロックは平坦であるが、周辺のマクロブロックのうち平坦であると判定されたものは1つしかない。この場合、平坦集合エリアには属さないと判定される。一方図6(b)では、注目マクロブロック602が平坦であり、かつ周辺のマクロブロックのうち平坦であると判定されたものが4つある。この場合、平坦集合エリアに属すると判定される。このようにして、平坦集合エリアに属するかどうかの判定を行い、判定結果を予測モード選択部105に出力する。ここでの判定結果も2値で表すことができ、本実施形態では、平坦集合エリアに属する場合を「1」、平坦集合エリアに属しない場合を「0」とする。
以上のようにして各マクロブロックについて判定を行った結果を図7に示す。図7(a)は平坦フラグバッファ502における1画面分の平坦フラグを示している。ここで網掛部分701は、平坦であると判定されたマクロブロックであるが、平坦集合エリアではないと判定されたマクロブロックである。一方、太線で囲まれた領域702に含まれるマクロブロックは平坦集合エリアとして判定される。図7(b)は、平坦集合エリアフラグ504の一例を示したものであって、ここでは網掛部分701のフラグ値が「0」となっている。これにより、当該マクロブロックは平坦集合エリアに属していないことを表すことができる。一方、太線領域702内は全てフラグ値が「1」となっており、当該マクロブロックは平坦集合エリアに属していることを表している。なお、特徴検出部101の構成は図5のようなものに限ったものではなく、平坦な集合エリアを検出できれば、どのような構成をとっても良い。
以上のようにして生成されたエリア判定結果としての平坦集合エリアフラグは、S105において平坦集合エリア判定部503から、符号化処理対象の注目マクロブロック毎に予測モード選択部105に出力される。予測モード選択部105は、S106において取得した平坦集合エリアフラグと、動き予測部103及びイントラ予測部104から取得したコスト値とを用いて、予測符号化における予測モードを選択する。以下、S106における予測モードの選択処理の詳細を説明する。
図1のブロック図の説明に戻る。フレームバッファ102には、符号化対象の入力画像が格納されており、動き予測部103、ならびにイントラ予測部104に処理対象画像を出力する。動き予測部103では、フレームバッファ102からの処理対象画像と参照フレームバッファ114からの参照画像との間でブロックマッチングをとり、符号化効率を示すコスト関数によるコスト値の最も小さい位置の動きベクトルを算出する。動きベクトル位置の参照画像と処理対象画像との差分データとしての動き予測結果と、コスト値とが予測モード選択部105に出力される。
イントラ予測部104では、フレームバッファ102から読み込んだ処理対象画像と参照フレームバッファ114から読み込んだ参照画像との間でイントラ予測を行う。各予測モードのうち、符号化効率を示すコスト関数によるコスト値の最も小さい予測モードを選択する。選択した予測モードにおける参照画像と処理対象画像との差分データとしてのイントラ予測結果と、コスト値とが予測モード選択部105に出力される。
予測モード選択部105では、符号化を行う注目マクロブロックが平坦集合エリアに属するかどうかを示すフラグ値を特徴検出部101から取得する。特徴検出部101は、処理対象のマクロブロック毎に平坦集合エリアフラグ504を出力する。フラグ値が当該マクロブロックが平坦集合エリアに属することを示す場合、同程度のコスト値ではインター予測モードよりもイントラ予測モードの方が劣化が激しく見えてしまうため、インター予測モードが優先的に採用されるようにする。具体的には、ある程度のコスト値の差がないとイントラ予測モードにならないように、下記の式(3)のイントラ・インター判定式を用いる。
InterCOST > IntraCOST + α の場合、イントラ予測
InterCOST <= IntraCOST + α の場合、インター予測・・・(3)
ここで、InterCOSTは動き予測部103から入力されるインター予測モードのコスト値、IntraCOSTはイントラ予測部104から入力されるイントラ予測モードのコスト値である。また、αはイントラ予測モードのコスト値の補正値であり、任意に設定できる定数とする。
次に、フラグが平坦集合エリアに属しないことを示す場合、コスト値が小さい予測モードを選択した方が符号化効率が良く、画質も良くなるため、式(4)のイントラ・インター判定式を用いる。
InterCOST > IntraCOST の場合、イントラ予測
InterCOST <= IntraCOST の場合、インター予測・・・(4)
これらの判定式に従い、イントラ予測モードとインター予測モードとのいずれを採用すべきかを決定する。これにより平坦なマクロブロックの集合エリアではインター予測モードよりもイントラ予測モードの方がコスト値が非常に小さい、即ち画質劣化がより少ないマクロブロックがイントラ予測モードで符号化されることになる。よって、インター予測モードとイントラ予測モードが混在している場合の画質劣化を抑えることができる。また、平坦なマクロブロックの集合エリアではない場合では、コスト値が小さい方の予測モードを選択することにより、符号化効率を損なわずに良い画質を得ることができる。
このようにして決定した予測モードの予測結果である差分データを直交変換部106に送る。直交変換部106では、差分データに対して離散コサイン変換を行い、変換係数を生成し、量子化部108に送る。量子化部108では、送られてきた変換係数に対して、量子化制御部107が出力する量子化ステップサイズに従い、量子化を行う。量子化された変換係数はエントロピー符号化部109、ならびローカルデコード画像作成のため逆量子化部110に送られる。エントロピー符号化部109では、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化が行われる。これに対して、動きベクトルや量子化ステップサイズ、マクロブロック分割情報などの符号化方式情報を可変長符号化したものが付加され、符号化ストリームを生成する。また、符号化の際にマクロブロックごとの発生符号量を算出し、量子化制御部107に送る。量子化制御部107では、エントロピー符号化部109から受け取った発生符号量を用いて、目標とする符号量になるように量子化ステップサイズを決定し、量子化部108へ出力する。
逆量子化部110では、入力された量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部111に出力される。逆直交変換部111では、入力された変換係数に対して、逆離散コサイン変換を行い、差分画像を生成する。差分画像は動き補償部112に出力される。動き補償部112では、動きベクトル位置の参照画像を参照フレームバッファ114から読み出し、入力された差分画像を加算することにより、ローカルデコード用の画像データを作成する。作成された画像データはデブロッキングフィルタ部113に出力される。デブロッキングフィルタ部113では、入力された画像をデブロッキングフィルタをかける前に一旦参照フレームバッファ114に格納する。これはイントラ予測において、デブロッキングフィルタをかける前の参照画像が必要だからである。そのあと、デブロッキングフィルタをかけ、フィルタ後の画像がローカルデコード画像として参照フレームバッファ114に格納される。このような動作により、符号化ストリーム、ローカルデコード画像が作成される。
なお、以上の実施形態では、任意の定数αを加算することによりイントラ予測モードのコスト値の補正を行ったが、補正方法は所定値を用いた加算に限定されるものではなく減算、乗算、除算によってもよい。例えば、上記定数αをインター予測モードのコスト値から減算しても良い。また、任意の係数α’をイントラ予測モードのコスト値に乗算しても良いし、或いは、インター予測モードのコスト値を任意の係数α”により割っても良い。それ以外の補正方法でも、補正前のコスト値がほぼ同一の場合にインター予測モードがイントラ予測モードに優先して採用されるものであれば利用することができる。なお、当該補正は、インター予測モードにおけるコスト値に対するイントラ予測モードにおけるコスト値の比率(IntraCOST/InterCOST)が増大するように行われる。
以上のように本実施形態では、入力画像の各マクロブロックについて、平坦集合エリアに属するか否かを判定する。そして、各マクロブロックの符号化モードをインター予測モードとイントラ予測モードとのいずれにするかを決定する際に、当該判定結果を利用する。即ち、平坦集合エリアに属する場合は、インター予測モードが選択されやすくなるようにコスト値を補正した上で補正後のコスト値の比較を行う。これにより、画質劣化がより少ないマクロブロックがイントラ予測モードとして選択されるようになる。また、平坦な集合エリアに属さない場合には、コスト値の補正を行わず、単純なコスト値の比較により予測モードの選択を行う。これにより、マクロブロックが平坦集合エリアに属するか否かにかかわらず良好な画像を得ることができる。
[第2の実施形態]
図8は本発明による第2の実施形態による符号化装置の構成を説明するブロック図である。ここでは、第1の実施形態との差異についてのみ詳細に説明する。第1の実施形態とは、特徴検出部801の動作が特徴検出部101の動作と違う点、及び、量子化制御部107から特徴検出部801に対して量子化ステップサイズが通知されている点で異なる。まず、特徴検出部801では、量子化ステップサイズがある判定閾値より大きい場合に、平坦集合エリアかどうかの判定を行う。これは量子化ステップサイズが小さい場合には、劣化の度合いが少ないため、平坦集合エリアにおいてイントラ予測とインター予測が混在しても劣化が目立たないからである。
図9に本実施形態における特徴検出部801の動作を表すフローチャートを示す。まずS201で、特徴検出部801は処理対象の注目マクロブロックの量子化ステップサイズ(Qstep)を量子化制御部107から取得する。ここで、平坦集合エリアかどうかの判定を行う量子化ステップサイズの閾値をβとする。S202では、特徴検出部801は量子化ステップサイズ(Qstep)が閾値βより小さいかどうかを判定する。もし、量子化ステップサイズ(Qstep)が閾値βより小さい場合、S203に移行する。S203では、平坦集合エリアかどうかの判定は行わず、予測モード選択部105に対して平坦集合エリアではないというフラグを出力する。一方、量子化ステップサイズ(Qstep)が閾値β以上の場合、S204に移行する。S204では注目マクロブロックが平坦集合エリアに属するかどうかを判定する。もし、注目マクロブロックが平坦集合エリアに属する場合は(S204で「YES」)、S205にて平坦集合エリアであるとのフラグ値「1」を出力する。一方、注目マクロブロックが平坦集合エリアに属しない場合は(S204で「NO」)、S206にて平坦集合エリアでないとのフラグ値「0」を出力する。
予測モード選択部105では、符号化を行う注目マクロブロックが平坦集合エリアに属するかどうかを示すフラグ値を特徴検出部801から取得する。予測モード選択部105における処理は第1の実施形態において説明したものと同様であるので本実施形態では説明を省略する。
以上のように本実施形態によれば、量子化ステップサイズが一定値以上の大きさを有する場合にのみ、平坦集合エリアかどうかの判定を行う。平坦な集合エリアに属すると判定されれば、第1の実施形態と同様に予測モードの選択を行って、画質劣化が少ないマクロブロックのみがイントラ予測モードとして選択されるようにする。また量子化ステップサイズが一定値より小さい場合、もしくは平坦集合エリアに属さない場合には、コスト値のみを考慮して予測モードを選択する。これにより、マクロブロックが平坦集合エリアに属するか否かにかかわらず良好な画像を得ることができる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (8)

  1. 入力画像を複数画素で構成された符号化対象のブロックに分割し、当該ブロック毎にインター予測モードとイントラ予測モードとのいずれかを選択して符号化処理を行う符号化装置であって、
    注目ブロックに含まれる画素値に基づいて平坦度を算出し、該注目ブロックが平坦なブロックであるかを判定する平坦判定手段と、
    前記平坦判定手段で判定された判定結果を前記ブロック毎に記憶する記憶手段と、
    前記記憶手段に記憶された判定結果に基づいて、前記平坦判定手段により平坦なブロックと判定された前記注目ブロックが、平坦なブロックが集合するエリアに属するか否かを判定するエリア判定手段と、
    前記エリア判定手段の判定結果と、符号化効率を示すコスト関数により算出された前記インター予測モード及び前記イントラ予測モードの各コスト値とに従って、前記注目ブロックの符号化処理の予測モードとして、前記インター予測モードと前記イントラ予測モードとのいずれかを選択する予測モード選択手段と、
    前記予測モード選択手段が選択した予測モードに従って、予測符号化を行う符号化手段と
    を備えることを特徴とする符号化装置。
  2. 前記予測モード選択手段は、
    前記インター予測モードと前記イントラ予測モードとのそれぞれについて、前記符号化処理において参照する参照画像と前記入力画像との差分に基づいて前記コスト値を算出し、
    前記エリアに属する注目ブロックについては、前記インター予測モードのコスト値に対する前記イントラ予測モードのコスト値の比率が増大するように前記算出されたコスト値を補正し、補正後のコスト値を比較して前記予測モードを選択することを特徴とする請求項1に記載の符号化装置。
  3. 前記エリア判定手段は、前記平坦判定手段により平坦なブロックと判定された前記注目ブロックの周辺のブロックのうち、前記平坦判定手段により前記平坦なブロックと判定されたブロックの数に基づいて、前記エリアに属するか否かの判定を行うことを特徴とする請求項1又は2に記載の符号化装置。
  4. 前記符号化手段は、
    前記注目ブロックと前記参照画像とを用いて動き予測を行う動き予測手段と、
    前記注目ブロックと該注目ブロックの周辺の画素を用いて予測を行うイントラ予測手段と、
    前記予測モード選択手段が前記インター予測モードを選択した場合には前記動き予測手段における予測結果を直交変換し、前記イントラ予測モードを選択した場合には前記イントラ予測手段における予測結果を直交変換する直交変換手段と、
    前記直交変換手段における前記直交変換により得られた変換係数を、量子化ステップサイズに基づいて量子化する量子化手段と、
    前記量子化手段における量子化後の変換係数をエントロピー符号化するエントロピー符号化手段と
    を備え、
    前記エリア判定手段は、前記注目ブロックの前記量子化手段における前記量子化ステップサイズが一定値以上の大きさを有する場合に、該注目ブロックが前記エリアに属するか否かを判定し、前記一定値より小さい場合には、該注目ブロックが前記エリアに属しないと判定する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の符号化装置。
  5. 前記補正は、所定値を前記イントラ予測モードのコスト値に加算、または、乗算することにより行われるか、または、前記インター予測モードを前記所定値で除算することにより行われることを特徴とする請求項2に記載の符号化装置。
  6. 前記平坦判定手段は、前記ブロックに含まれる画素値の分散に基づいて前記平坦度を算出することを特徴とする請求項1乃至のいずれか1項に記載の符号化装置。
  7. 入力画像を複数画素で構成された符号化対象のブロックに分割し、当該ブロック毎にインター予測モードとイントラ予測モードとのいずれかを選択して符号化処理を行う符号化装置の制御方法であって、
    平坦判定手段が、注目ブロックに含まれる画素値に基づいて平坦度を算出し、該注目ブロックが平坦なブロックであるかを判定する平坦判定工程と、
    記憶手段が、前記平坦判定工程で判定された判定結果を前記ブロック毎に記憶する記憶工程と、
    エリア判定手段が、前記記憶工程で記憶された判定結果に基づいて、前記平坦判定工程において平坦なブロックと判定された前記注目ブロックが、平坦なブロックが集合するエリアに属するか否かを判定するエリア判定工程と、
    予測モード選択手段が、前記エリア判定工程における判定結果と、符号化効率を示すコスト関数により算出された前記インター予測モード及び前記イントラ予測モードの各コスト値とに従って、前記注目ブロックの符号化処理の予測モードとして、前記インター予測モードと前記イントラ予測モードとのいずれかを選択する予測モード選択工程と、
    符号化手段が、前記予測モード選択工程において選択された予測モードに従って、予測符号化を行う符号化工程とを有することを特徴とする符号化装置の制御方法。
  8. コンピュータを請求項1乃至のいずれか1項に記載の符号化装置として機能させるためのプログラム。
JP2009157317A 2009-07-01 2009-07-01 符号化装置及びその制御方法、コンピュータプログラム Active JP5215951B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009157317A JP5215951B2 (ja) 2009-07-01 2009-07-01 符号化装置及びその制御方法、コンピュータプログラム
US12/818,620 US8588301B2 (en) 2009-07-01 2010-06-18 Image coding apparatus, control method therefor and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009157317A JP5215951B2 (ja) 2009-07-01 2009-07-01 符号化装置及びその制御方法、コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013042344A Division JP5518224B2 (ja) 2013-03-04 2013-03-04 符号化装置、符号化方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2011015171A JP2011015171A (ja) 2011-01-20
JP2011015171A5 JP2011015171A5 (ja) 2012-08-16
JP5215951B2 true JP5215951B2 (ja) 2013-06-19

Family

ID=43412653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009157317A Active JP5215951B2 (ja) 2009-07-01 2009-07-01 符号化装置及びその制御方法、コンピュータプログラム

Country Status (2)

Country Link
US (1) US8588301B2 (ja)
JP (1) JP5215951B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2010009194A (es) * 2008-03-07 2010-09-10 Toshiba Kk Metodo y dispositivo de codificacion/decodificacion dinamica de imagen.
US8917765B2 (en) * 2010-07-20 2014-12-23 Vixs Systems, Inc. Video encoding system with region detection and adaptive encoding tools and method for use therewith
CN103548350B (zh) * 2011-06-28 2017-03-01 日本电气株式会社 图像编码设备和图像解码设备
KR101423648B1 (ko) 2011-09-09 2014-07-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치
JP6226578B2 (ja) * 2013-06-13 2017-11-08 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
CN103686169A (zh) * 2013-10-25 2014-03-26 四川大学 一种基于宏块特征的帧内预测快速算法
US20160173906A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Partition mode and transform size determination based on flatness of video
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Nttエレクトロニクス株式会社 動画像符号化装置
US9955186B2 (en) 2016-01-11 2018-04-24 Qualcomm Incorporated Block size decision for video coding
KR102465914B1 (ko) * 2016-03-04 2022-11-14 한국전자통신연구원 영상 부호화 장치의 부호화 방법
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
EP3370419B1 (en) 2017-03-02 2019-02-13 Axis AB A video encoder and a method in a video encoder
CN106961603B (zh) * 2017-03-07 2018-06-15 腾讯科技(深圳)有限公司 帧内编码帧码率分配方法和装置
CN109151469B (zh) * 2017-06-15 2020-06-30 腾讯科技(深圳)有限公司 视频编码方法、装置及设备
BR112021012260A2 (pt) * 2018-12-28 2021-08-31 Sony Group Corporation Dispositivo e método de processamento de imagens
EP3965416B1 (en) * 2020-09-08 2022-08-03 Axis AB Method and device for intra-coding an image frame

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748242A (en) * 1995-08-25 1998-05-05 Lucent Technologies Inc. Color video vector quantization with chrominance codebook bypass
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
JP4529615B2 (ja) * 2004-09-24 2010-08-25 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP4877449B2 (ja) * 2004-11-04 2012-02-15 カシオ計算機株式会社 動画像符号化装置および動画像符号化処理プログラム
FR2880745A1 (fr) * 2005-01-07 2006-07-14 France Telecom Procede et dispositif de codage video
JP4774265B2 (ja) * 2005-09-30 2011-09-14 富士通株式会社 画像符号化装置
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding
JP4748603B2 (ja) * 2007-02-28 2011-08-17 株式会社Kddi研究所 動画像符号化装置

Also Published As

Publication number Publication date
US20110002385A1 (en) 2011-01-06
JP2011015171A (ja) 2011-01-20
US8588301B2 (en) 2013-11-19

Similar Documents

Publication Publication Date Title
JP5215951B2 (ja) 符号化装置及びその制御方法、コンピュータプログラム
JP6397555B2 (ja) ビデオ符号化方法、ビデオ復号方法、ビデオエンコーダ、及びビデオデコーダ
JP6084735B2 (ja) 映像復号化装置
JP6163595B2 (ja) 映像符号化装置
JP5905613B2 (ja) 映像復号化装置
JP5846674B2 (ja) イントラ予測モード復号化方法及び装置
JP5711098B2 (ja) 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム
JP5722506B2 (ja) 映像復号化装置
US8189667B2 (en) Moving picture encoding apparatus
JP2010251952A (ja) 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
JP5377395B2 (ja) 符号化装置、復号装置及びプログラム
JP5518224B2 (ja) 符号化装置、符号化方法及びプログラム
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP2011130192A (ja) エンコーダおよび画像変換装置
JP2008177916A (ja) 画像符号化装置及び方法
JP6409400B2 (ja) 映像符号化装置、方法及びプログラム
JP2006191287A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
KR101802304B1 (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130301

R151 Written notification of patent or utility model registration

Ref document number: 5215951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3