JP5913929B2 - 動画像符号化装置及びその制御方法、コンピュータプログラム - Google Patents
動画像符号化装置及びその制御方法、コンピュータプログラム Download PDFInfo
- Publication number
- JP5913929B2 JP5913929B2 JP2011259512A JP2011259512A JP5913929B2 JP 5913929 B2 JP5913929 B2 JP 5913929B2 JP 2011259512 A JP2011259512 A JP 2011259512A JP 2011259512 A JP2011259512 A JP 2011259512A JP 5913929 B2 JP5913929 B2 JP 5913929B2
- Authority
- JP
- Japan
- Prior art keywords
- filter strength
- image
- encoding
- filter
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000004590 computer program Methods 0.000 title description 2
- 238000012937 correction Methods 0.000 claims description 52
- 230000006866 deterioration Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 41
- 230000015556 catabolic process Effects 0.000 claims description 34
- 238000006731 degradation reaction Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 31
- 238000013139 quantization Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 48
- 230000002093 peripheral effect Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像符号化装置及びその制御方法、コンピュータプログラムに関する。
画像を高能率符号化するための技術として、JPEG方式の圧縮技術や動き予測・動き補償技術を用いたMPEG1、2といった符号化方式が確立されている。各メーカーは、これらの符号化方式を利用して画像を記録媒体に記録可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはDVDレコーダーなどを開発し製品化している。
ところで、ディジタル化された動画像は膨大なデータ量となる。膨大なデータ量を圧縮するためには、ブロック単位に符号化を行う際に粗く量子化を行い、圧縮率を高くする必要がある。しかし、粗く量子化することにより発生する量子化誤差により、ブロック境界に画素値レベルの差が発生する。映像視聴時にこの画素値レベルの差(以下、ブロックノイズと称す)が知覚されるので、画質劣化の要因となっていた。符号化方式のH.264では、このようなブロックノイズを低減するために、デブロッキングフィルタと呼ばれるノイズリダクションフィルタが規格化された。H.264は、ITU−T(国際電気通信連合 電気通信標準化部門)とISO(国際標準化機構)によって規格化され、正式にはH.264/MPEG−4 part10という。
このデブロッキングフィルタ処理は、復号化された画像に対して施される。符号化時にも動き補償のために局所復号化を行う場合には、この局所復号化画像に対し、デブロックキングフィルタ処理を行うことができる。このデブロッキングフィルタのフィルタ強度は、H.264で規格化されている方式に従い、例えば量子化パラメータ等に応じて画素単位に変化する。また、画素単位よりも大きい領域(スライス)単位に変更する仕組みも規格化されている。この仕組みに従い、符号化時にデブロッキングフィルタのフィルタ強度を制御することが可能となっている。デブロッキングフィルタ処理された局所復号化画像は、符号化順で次フレームの動き補償を行う際に参照する画像となるため、ブロックノイズを低減させることにより、符号化効率を向上させることが可能となる。
このような符号化時のフィルタ処理におけるフィルタ強度の制御技術として、特許文献1のような技術が開示されている。特許文献1は、符号化前の原画像と符号化時に動き補償により生成された予測画像とのPSNRに応じて、原画像に対する帯域制限フィルタの強度を変更する技術を開示している。
上記のようにH.264規格では、デブロッキングフィルタ処理とそのフィルタ強度を制御する方式が規格化されている。しかし、ブロックノイズの度合いに応じたフィルタ強度でデブロッキングフィルタ処理を施さなければ、画像の絵柄がボケてしまったり、また、逆にブロックノイズを十分に低減できなかったりする。
また、デブロッキングフィルタ処理後の画像を参照して動き補償を行う際に、ブロックノイズが十分に低減できていないと、動き補償後の予測画像に本来符号化前の画像には存在しないブロックノイズが残存し、それにより、符号化効率が低下してしまう。
そこで本発明は、発生したブロックノイズの度合いに応じたフィルタ強度でデブロッキングフィルタ処理を実施可能にすることを目的とする。
上記課題を解決するための本発明は動画像符号化装置であって、
予測符号化処理のための予測画像を生成する予測画像生成手段と、
原画像を所定数の画素から成るブロックに分割し、前記予測画像との差分についてブロック単位に直交変換及び量子化を行う変換手段と、
前記変換手段における変換結果を、符号化して符号化ストリームを生成する符号化手段と、
前記変換手段における前記変換結果に対して逆量子化及び逆直交変換を行って局所復号化画像を出力する局所復号化手段と
を備え、
前記原画像と前記局所復号化画像とから画質劣化度を算出する画質劣化度算出手段と、
前記画質劣化度に応じたフィルタ強度を算出するフィルタ強度算出手段と、
前記算出されたフィルタ強度を補正するフィルタ強度補正手段と、
前記局所復号化画像に対し、前記フィルタ強度補正手段から得られたフィルタ強度を用いてデブロッキングフィルタ処理を行うフィルタ処理手段と、
を更に備え、
前記予測画像生成手段は、前記デブロッキングフィルタ処理後の局所復号化画像を用いて、前記予測画像を生成し、
前記フィルタ強度補正手段は、前記局所復号化画像と、隣接する他の局所復号化画像との境界画素の隣接画素間の差分値、及び、前記動画像符号化装置における前記予測符号化処理の結果から得られる符号化情報に基づき推定したフィルタ強度と、前記算出された前記フィルタ強度との比較に基づき、前記補正を行う。
予測符号化処理のための予測画像を生成する予測画像生成手段と、
原画像を所定数の画素から成るブロックに分割し、前記予測画像との差分についてブロック単位に直交変換及び量子化を行う変換手段と、
前記変換手段における変換結果を、符号化して符号化ストリームを生成する符号化手段と、
前記変換手段における前記変換結果に対して逆量子化及び逆直交変換を行って局所復号化画像を出力する局所復号化手段と
を備え、
前記原画像と前記局所復号化画像とから画質劣化度を算出する画質劣化度算出手段と、
前記画質劣化度に応じたフィルタ強度を算出するフィルタ強度算出手段と、
前記算出されたフィルタ強度を補正するフィルタ強度補正手段と、
前記局所復号化画像に対し、前記フィルタ強度補正手段から得られたフィルタ強度を用いてデブロッキングフィルタ処理を行うフィルタ処理手段と、
を更に備え、
前記予測画像生成手段は、前記デブロッキングフィルタ処理後の局所復号化画像を用いて、前記予測画像を生成し、
前記フィルタ強度補正手段は、前記局所復号化画像と、隣接する他の局所復号化画像との境界画素の隣接画素間の差分値、及び、前記動画像符号化装置における前記予測符号化処理の結果から得られる符号化情報に基づき推定したフィルタ強度と、前記算出された前記フィルタ強度との比較に基づき、前記補正を行う。
本発明によれば、発生したブロックノイズの度合いに応じたフィルタ強度でデブロッキングフィルタ処理を行うことができる。これにより復号化画像の画質を向上することができる。また、十分にブロックノイズを低減できるので、デブロッキングフィルタ処理後の画像を参照した動き補償では動き予測精度が向上し、符号化効率を向上させることができる。
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
[実施形態1]
図1は、本発明の一実施形態による動画像符号化装置の構成例を示すブロック図である。本実施形態における動画像符号化装置は、局所復号化画像の原画像に対する画質劣化度に応じて算出したフィルタ強度を符号化情報及び局所復号化画像の絵柄情報に応じて補正する。そして、補正後のフィルタ強度に基づきデブロッキングフィルタ処理を行う動画像符号化装置である。以下、本発明の構成例について図1を参照して説明する。
本実施形態における動画像符号化装置は、フレーム並替部101、減算器102、直交変換部103、量子化部104、算術符号化部105、逆量子化部106、逆直交変換部107、加算器108、フレームメモリ109及び113、イントラ予測部110、スイッチ111及び116、デブロッキングフィルタ112、インター予測部114、動き検出部115、画質劣化度算出部117、フィルタ強度算出部118、絵柄情報算出部119、符号化情報算出部120、フィルタ強度判定部121、フィルタ強度補正部122を有し構成される。本実施形態における動画像符号化装置は、入力された原画像を所定数の画素から成るブロックに分割し、ブロック単位に予測符号化処理を行って符号化ストリームを出力する。
図1は、本発明の一実施形態による動画像符号化装置の構成例を示すブロック図である。本実施形態における動画像符号化装置は、局所復号化画像の原画像に対する画質劣化度に応じて算出したフィルタ強度を符号化情報及び局所復号化画像の絵柄情報に応じて補正する。そして、補正後のフィルタ強度に基づきデブロッキングフィルタ処理を行う動画像符号化装置である。以下、本発明の構成例について図1を参照して説明する。
本実施形態における動画像符号化装置は、フレーム並替部101、減算器102、直交変換部103、量子化部104、算術符号化部105、逆量子化部106、逆直交変換部107、加算器108、フレームメモリ109及び113、イントラ予測部110、スイッチ111及び116、デブロッキングフィルタ112、インター予測部114、動き検出部115、画質劣化度算出部117、フィルタ強度算出部118、絵柄情報算出部119、符号化情報算出部120、フィルタ強度判定部121、フィルタ強度補正部122を有し構成される。本実施形態における動画像符号化装置は、入力された原画像を所定数の画素から成るブロックに分割し、ブロック単位に予測符号化処理を行って符号化ストリームを出力する。
図1の動画像符号化装置において、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
続いて、本実施形態に対応する予測符号化処理について説明する。まず、フレーム並替部101は、表示順で入力された原画像を符号化順に並び替える。減算器102は、入力画像データから、スイッチ116を介して提供される予測画像データを減算し、画像残差データを直交変換部103に出力する。なお、予測画像データの生成については後述する。
直交変換部103は、減算器102が出力した画像残差データを直交変換処理して変換係数を出力する。量子化部104は、直交変換部103が出力した変換係数を所定の量子化パラメータを用いて量子化する。直交変換部103及び量子化部104をまとめて変換部と称す。算術符号化部105は、直交変換、量子化を経た変換部による変換結果である量子化済の変換係数を算術符号化して符号化ストリームとして出力する。この量子化部104で量子化された変換係数は、前述した予測画像データの生成にも使われる。
逆量子化部106は、量子化部104で量子化された変換係数を逆量子化する。逆直交変換部107は、逆量子化部106における逆量子化で得られた変換係数を逆直交変換し、復号画像残差データとして出力する。加算器108は、逆直交変換部107より出力された復号画像残差データと、予測画像データとを加算して、局所復号化画像データとして出力する。局所復号化画像データの出力先は、フレームメモリ109、スイッチ111、絵柄情報算出部119、画質劣化度算出部117である。逆量子化部106、逆直交変換部107及び加算器108をまとめて局所復号化部と称す。
フレームメモリ109は、加算器108から出力された局所復号化画像データを記憶する。スイッチ111は、加算器108から出力された局所復号化画像データに対してデブロッキングフィルタ処理を施すか否かを切り替える。局所復号化画像データに対してデブロッキングフィルタ処理を施す場合、デブロッキングフィルタ112が後述の方法にて算出されたフィルタ強度に基づきデブロッキングフィルタ処理を行う。フレームメモリ113は、デブロッキングフィルタ処理された局所復号化画像データを記録する。デブロッキングフィルタ処理を施さない場合、デブロッキングフィルタ112を介さずにフレームメモリ113に直接記録する。局所復号化画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ109または113に保存される。
イントラ予測部110は、フレームメモリ109に記録された局所復号化画像データを用いてフレーム内予測処理を行い、予測画像生成を行う。また、インター予測部114は、フレームメモリ113に記録されたデブロッキングフィルタ処理後の局所復号化画像を用いて動き検出部115により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像生成を行う。動き検出部115は、フレームメモリ113に記録された局所復号画像を参照して入力画像データにおける動きベクトルを検出する。検出した動きベクトル情報を算術符号化部105及びインター予測部114にそれぞれ出力する。
尚、フレームメモリ113が記録するデブロッキングフィルタ処理後の局所復号化画像にブロックノイズが残存していると、原画像には存在しない情報が予測画像データに存在するため、減算器102からの出力データ量が多くなる。つまり、デブロッキングフィルタ112により十分ブロックノイズを低減することにより、減算器102からの出力データ量を減らし、符号化効率を向上させることが可能となる。
スイッチ116は、予測画像データとしてイントラ予測部110で生成された予測画像データ又はインター予測部114で生成された予測画像データのどちらを用いるか、すなわちイントラ予測又はインター予測のどちらを用いるか選択するための選択部である。例えば、Iピクチャであれば、イントラ予測部110からの出力を選択し、Pピクチャであればイントラ予測部110またはインター予測部114の出力のうち、予測精度の高い方を選択する。選択された予測画像データは減算器102、加算器108に出力される。
画質劣化度算出部117は、原画像とその原画像を符号化し、局所復号化を行った局所復号化画像間の画質劣化度を算出する。画質劣化度とは、例えば、原画像と局所復号化画像の差分やPSNR(Peak Signal-to-Noise Ratio)が挙げられる。尚、画質劣化度を算出するための原画像と局所復号化画像の画像は、動画像符号化装置内部で位相を合わせ、同一フレームのものとする。
フィルタ強度算出部118は、画質劣化度算出部117により算出された画質劣化度に応じて画質劣化度フィルタ強度を算出する。絵柄情報算出部119は、デブロッキングフィルタ処理前の局所復号化画像の絵柄情報を算出する。符号化情報算出部120は、符号化時の符号化パラメータを収集し、符号化情報として出力する。
フィルタ強度判定部121は、絵柄情報と符号化情報に応じて、画質劣化度フィルタ強度が局所復号化画像に対して適切か否かを判定する。フィルタ強度補正部122は、フィルタ強度判定部121の判定結果と絵柄情報に応じて、画質劣化度フィルタ強度を補正し、補正後のフィルタ強度をデブロッキングフィルタ112に出力する。
以上が本実施形態における動画像符号化装置に関する説明である。尚、本実施形態ではデブロッキングフィルタ処理前の局所復号化画像を用いてフィルタ強度を算出する構成について説明するが、フィルタ強度の算出はデブロッキングフィルタ処理後の局所復号化画像を用いても良い。デブロッキングフィルタ処理後の局所復号化画像を用いてフィルタ強度を算出する場合、フィルタ処理後画像に対する画質劣化度及び絵柄情報に応じて、フィルタ強度を算出する構成となる。
次に、画質劣化度算出部117、フィルタ強度算出部118、絵柄情報算出部119、符号化情報算出部120、フィルタ強度判定部121、フィルタ強度補正部122について詳しく説明する。
[画質劣化度算出部117とフィルタ強度算出部118]
まず、画質劣化度算出部117及びフィルタ強度算出部118について、図2を参照して詳細に説明する。尚、本実施形態では、画質劣化度算出部117が画質劣化度として原画像と局所復号化画像のPSNRを算出する例について説明する。
まず、画質劣化度算出部117及びフィルタ強度算出部118について、図2を参照して詳細に説明する。尚、本実施形態では、画質劣化度算出部117が画質劣化度として原画像と局所復号化画像のPSNRを算出する例について説明する。
フィルタ強度算出部118は、原画像と局所復号化画像間の画素値の差が、どの程度存在するかという情報を客観的に表すPSNRに応じて画質劣化度フィルタ強度を算出している。画質劣化度算出部117におけるPSNRの算出は、例えば、画面全体に対して2画像間のPSNRを算出する。PSNRの値の意味としては、原画像と局所復号化画像の画素値の差が大きければPSNRの値は小さくなり、逆に、原画像と局所復号化画像の画素値の差が小さければPSNRの値は大きくなる。このようなPSNRを算出することにより、原画像と局所復号化画像の差、つまり、予測符号化処理による画質劣化度を算出することができる。
このPSNRは、局所復号化画像と原画像とを用いて、以下の式1により算出される。
ここで、NおよびMは画像の縦と横の画素数を表す。また、p(i,j)は現行の画像データにおける位置(i,j)の画素値を表し、p'(i,j)は局所復号化画像における位置(i,j)の画素値を表す。Tは、画像の階調数-1(8ビット/ピクセル画像ではT=255)を表す。
ここで、NおよびMは画像の縦と横の画素数を表す。また、p(i,j)は現行の画像データにおける位置(i,j)の画素値を表し、p'(i,j)は局所復号化画像における位置(i,j)の画素値を表す。Tは、画像の階調数-1(8ビット/ピクセル画像ではT=255)を表す。
フィルタ強度算出部118は、画質劣化度算出部117が算出したPSNRに応じて、図2のように画質劣化度フィルタ強度を算出する。PSNRの値が小さい場合は、画質劣化によるノイズ発生の可能性が高いため、フィルタ強度を強めに制御する。逆に、PSNRの値が大きい場合は、画質劣化によるノイズ発生の可能性が低いため、フィルタ強度を弱めに制御する。尚、フィルタ強度は、値が大きいほど強いフィルタ強度を表すものとし、−6〜+6まで1刻み精度で13段階の設定が可能なものとする。ただし、フィルタ強度の段数はここで示すものに限定されず、より多くてもよいし、少なくてもよい。
以上のように、PSNRという客観的画質評価値に応じて算出した画質劣化度フィルタ強度は、PSNRという指標の特性上、時間的に安定しており動画画質の連続性を保つためには望ましい。しかし、必ずしもブロックノイズによる画質劣化を正しく表現できている画質評価値ではない。そのため、後述の方法によりこの画質劣化度フィルタ強度を補正する。
[絵柄情報算出部119]
次に、絵柄情報算出部119について、図3及び図4を参照して詳細に説明する。図3は、絵柄情報算出部119の構成例を示した図である。以下、絵柄情報算出部119の動作について説明する。
次に、絵柄情報算出部119について、図3及び図4を参照して詳細に説明する。図3は、絵柄情報算出部119の構成例を示した図である。以下、絵柄情報算出部119の動作について説明する。
境界差分算出部301は、局所復号化画像におけるブロック境界の隣接画素間の差分絶対値の平均値を「境界差分値」として算出する。周辺差分算出部302は、局所復号化画像におけるブロック境界周辺の隣接画素間の差分絶対値の平均値を「周辺差分値」として算出する。算出された各差分値は、ブロックノイズ目立ち易さ判定部303に出力される。
次に、ブロック境界及びブロック境界周辺について図4を参照して説明する。図4は、ブロックPとブロックQの局所復号化画像を画素単位に示した図であり、図4において、例えば、p00やq00といった四角形が1画素を示す。画像符号化装置では原画像を複数ブロックに分割して符号化(直交変換)するため、復号化した局所復号化画像には複数のブロック境界が生じる。図4の例においては、4画素×4画素をブロックとした場合の垂直ブロック境界の例が示されている。垂直ブロック境界は、例えば図4に示すp00とq00の境界に存在する。なお、図4の場合、ブロックQが処理対象のブロックであって、ブロックPは処理済みのブロックである。ブロックノイズは、このようなブロック境界を挟む画素(ブロック境界画素)間の画素レベルの差により知覚される。境界差分算出部301は、まず、図4におけるブロック境界を挟み隣接する水平画素(ブロック境界画素)間の差分絶対値を算出する。つまり、|p00−q00|、|p01−q01|、|p02−q02|、|p03−q03|を算出する。そして、境界差分算出部301は、このように算出した4つの隣接画素間の差分絶対値の平均値を境界差分値として出力する。
一方の周辺差分算出部302は、ブロック境界画素以外の画素について隣接画素間の差分値を算出する。図4の場合、ブロック境界から水平方向に1画素離れた画素について、隣接する水平画素間(ブロック境界周辺画疎)の差分絶対値を算出する。つまり|p20−p10|、|p21−p11|、|p22−p12|、|p23−p13|、|q20−q10|、|q21−q11|、|q22−q12|、|q23−q13|を算出する。
もちろん、周辺差分値を算出する画素はこれに限ったものではない。前述の画素よりも広範囲で隣接画素間の差分絶対値を算出してもよいし、差分絶対値を算出する画素は、隣接していなくても良い。例えば、ある画素から2画素離れた位置の画素との差分絶対値を算出してもよい。そして、周辺差分算出部302は、このように算出した8つの差分絶対値の平均値を周辺差分値として出力する。
以上は、垂直方向のブロック境界について水平方向の隣接画素間で差分絶対値の平均値を算出する場合を説明したが、水平方向のブロック境界について垂直方向の隣接画素間で差分絶対値の平均値についても、同様にして算出できる。例えば、図4のブロックQの局所復号化画像の場合にはブロックQの上側に位置する局所復号化画像のブロックとの間で算出できる。
次に、図3におけるブロックノイズ目立ち易さ判定部303について説明する。ブロックノイズは一般にブロック境界を挟む画素における画素値レベルの差に応じて発生する。つまり、境界差分値が大きい場合は、ブロックノイズが発生している可能性が高い。ただし、人間の視覚特性として、境界差分値が同値だと仮定しても、ブロック境界周辺の絵柄が複雑な場合よりも平坦な場合の方がブロックノイズは目立ち易いといった特性がある。この点につき、平坦な絵柄は周辺差分値が小さいために境界差分値の大きさが相対的に強調され、ブロック境界におけるブロックノイズが目立ち易くなる。その一方、複雑な絵柄は周辺差分値も大きいので境界差分値がその中に埋もれてしまい、結果としてブロック境界におけるブロックノイズが目立ちにくくなる。
ブロックノイズ目立ち易さ判定部303は、このような特徴を応用し、境界差分算出部301から出力される境界差分値の大きさと周辺差分算出部302から出力される周辺差分値の大きさとを比較し、比率や差を算出する。この比率や差に基づけば、ブロックノイズの目立ち易さを判定することができる。例えば、境界差分値が周辺差分値に比べ大きい場合、ブロックノイズが目立ち易いと判定できる。この場合、境界差分値と周辺差分値との比率は1.0以上、差は0.0以上の正の値とする。逆に、境界差分値が周辺差分値に比べ小さい場合は、ブロックノイズが目立ち難いと判定できる。この場合、境界差分値と周辺差分値の比率は1.0未満、差は0.0未満の負の値とする。
絵柄情報算出部119は、ブロック境界単位に算出した境界差分値をフィルタ強度判定部121へ出力する。また、ブロックノイズ目立ち易さ判定結果として、境界差分値と周辺差分値の比率又は差の値をフィルタ強度補正部122へ出力する。
[符号化情報算出部120]
次に、符号化情報算出部120について詳細に説明する。符号化情報算出部120は、符号化効率やブロックノイズの発生に関係する符号化時の符号化パラメータを動画像符号化装置の制御部等より収集し、符号化情報として出力する。符号化情報として出力する情報としては、例えば、下記の5項目が挙げられる。
次に、符号化情報算出部120について詳細に説明する。符号化情報算出部120は、符号化効率やブロックノイズの発生に関係する符号化時の符号化パラメータを動画像符号化装置の制御部等より収集し、符号化情報として出力する。符号化情報として出力する情報としては、例えば、下記の5項目が挙げられる。
(1)符号量平均:符号量が少ないほどブロックノイズが発生し易い。所定範囲内の符号量を平均化し、符号化情報として出力する。
(2)量子化ステップ平均:量子化ステップが粗いほど量子化誤差が発生しブロックノイズが発生し易い。所定範囲内の量子化ステップを平均化し、符号化情報として出力する。
(3)イントラ予測モード割合:一般的にイントラ予測の方が、インター予測に比べ符号化効率が低いためブロックノイズが発生し易い。そこで、所定範囲内での予測符号化処理において採用された予測モードのうちイントラ予測モードがしめる割合を算出し、符号化情報として出力する。
(4)動きベクトルランダム度:動きベクトルの大きさや向きがブロック毎にバラバラであれば、動き予測精度が低い可能性が高いため、符号化効率が低下しブロックノイズが発生し易い。所定範囲内での動きベクトルの大きさ及び方向の標準偏差を算出し、符号化情報として出力する。
(5)直交変換サイズ大割合:直交変換を行う際のブロックサイズには、4×4画素サイズ、8×8画素サイズがあるが、ブロックサイズが大きいとブロックノイズが発生するサイズも大きくなりブロックノイズが目立ち易くなる。そこで大きい直交変換サイズが選択されている割合を算出し、符号化情報として出力する。
(2)量子化ステップ平均:量子化ステップが粗いほど量子化誤差が発生しブロックノイズが発生し易い。所定範囲内の量子化ステップを平均化し、符号化情報として出力する。
(3)イントラ予測モード割合:一般的にイントラ予測の方が、インター予測に比べ符号化効率が低いためブロックノイズが発生し易い。そこで、所定範囲内での予測符号化処理において採用された予測モードのうちイントラ予測モードがしめる割合を算出し、符号化情報として出力する。
(4)動きベクトルランダム度:動きベクトルの大きさや向きがブロック毎にバラバラであれば、動き予測精度が低い可能性が高いため、符号化効率が低下しブロックノイズが発生し易い。所定範囲内での動きベクトルの大きさ及び方向の標準偏差を算出し、符号化情報として出力する。
(5)直交変換サイズ大割合:直交変換を行う際のブロックサイズには、4×4画素サイズ、8×8画素サイズがあるが、ブロックサイズが大きいとブロックノイズが発生するサイズも大きくなりブロックノイズが目立ち易くなる。そこで大きい直交変換サイズが選択されている割合を算出し、符号化情報として出力する。
前述の画質劣化度、絵柄情報及び符号化情報は、所定範囲内で平均化しても良い。所定範囲とは、例えば、ブロック、スライス、フレームを単位とする領域として考えることができる。具体的に1フレーム内の所定領域(例えば、ブロックやスライスを単位とする領域)や1フレーム全体領域が挙げられる。また、動画ではフレーム毎にフィルタ強度が極端に大きく変更するのは画質の連続性を損なう恐れがあるため望ましくない。そのため、複数フレームを所定範囲としても良い。さらに、ピクチャタイプによって、ブロックノイズの発生具合が異なるためピクチャタイプ毎のフレームを単位として所定範囲を設定しても良い。H.264規格においては、スライス単位でフィルタ強度を変更することが可能なよう規格化されているため、スライス単位を所定範囲とすることにより、フィルタ強度の変更単位と整合が取れ制御し易いと考えられる。
[フィルタ強度判定部121]
次に、フィルタ強度判定部121について、図5を参照して詳細に説明する。フィルタ強度判定部121は、絵柄情報と符号化情報に応じて、画質劣化度フィルタ強度が局所復号化画像に対して適切か否かを判定する。
次に、フィルタ強度判定部121について、図5を参照して詳細に説明する。フィルタ強度判定部121は、絵柄情報と符号化情報に応じて、画質劣化度フィルタ強度が局所復号化画像に対して適切か否かを判定する。
まず、フィルタ強度判定部121は、絵柄情報と符号化情報に基づき、適切と推定される推定フィルタ強度を算出する。この算出方法について、図5を参照して説明する。図5の例では、符号化情報及び絵柄情報は所定範囲内(例えば、スライス)で平均化された値として説明を行う。なお、絵柄情報については、処理対象の局所復号化画像の値を用いてもよい。
図5は、符号化情報及び絵柄情報の合計6評価項目から導出されるブロックノイズの発生可能性に基づき得点付けを行い、その合計得点から推定フィルタ強度を算出する方式を表す図である。得点は、例えば、−6〜+6で構成され、ブロックノイズの発生可能性が高い項目については、正の値、ブロックノイズの発生可能性が低い項目については、負の値で得点化する。この場合、各項目について想定される最小値と最大値との間を13段階に分割し、それぞれの段階に得点を割り当てる。
まず、符号化情報における符号量平均値については、割り当てる得点毎に、想定される最大最小値の間で符号量平均値の閾値を設定し、閾値処理により得点を算出する。この閾値は、符号化する対象画像の解像度やフレームレート、ビット深度等に基づき決定される。図5の例では、所定の閾値処理により符号量平均値3000は得点−1となっている。つまり、符号量平均値3000は、符号量がやや多いと判定され、ブロックノイズの発生可能性が低いマイナス得点となっている。
次に、符号化情報における量子化ステップ平均値については、割り当てる得点毎に、想定される最大最小値の間で量子化ステップ平均値の閾値を設定し、閾値処理により得点を算出する。図5の例では、所定の閾値処理により量子化ステップ平均値48は得点+5となっている。つまり、量子化ステップ平均値48は、量子化ステップが非常に粗いと判定され、ブロックノイズの発生可能性が高いプラス得点となっている。
次に、符号化情報におけるイントラ予測モード割合については、割り当てる得点毎に、想定される最大最小値の間でイントラ予測モード割合の閾値を設定し、閾値処理により得点を算出する。図5の例では、所定の閾値処理によりイントラ予測モード割合10%は得点−2となっている。つまり、イントラ予測モード割合10%は、イントラ予測モード割合が低いと判定され、ブロックノイズの発生可能性が低いマイナス得点となっている。
次に、符号化情報における動きベクトルランダム度については、割り当てる得点毎に想定される最大最小値の間で動きベクトルランダム度の閾値を設定し、閾値処理により得点を算出する。図5の例では、所定の閾値処理により動きベクトルランダム度10は得点−5となっている。つまり、動きベクトルランダム度−5は、動きベクトルランダム度が低いと判定され、ブロックノイズの発生可能性が低いマイナス得点となっている。
次に、符号化情報における直交変換サイズ大割合については、割り当てる得点毎に想定される最大最小値の間で直交変換サイズ大割合の閾値を設定し、閾値処理により得点を算出する。図5の例では、所定の閾値処理により直交変換サイズ大割合80%は得点+2となっている。つまり、直交変換サイズ大割合80%は、直交変換サイズ大割合が高いと判定され、ブロックノイズが目立ち易いプラス得点となっている。
次に、絵柄情報における境界差分値については、割り当てる得点毎に想定される最大最小値の間で境界差分値の閾値を設定し、閾値処理により得点を算出する。図5の例では、所定の閾値処理により境界差分値の値77は得点+6となっている。つまり、境界差分値の77は大きい値と判定され、ブロックノイズの発生可能性が高いプラス得点となっている。
以上のように算出した各評価項目の合計得点が推定フィルタ強度となる。つまり、図5の例では、推定フィルタ強度は+5である。フィルタ強度判定部121は、この推定フィルタ強度をフィルタ強度補正部122に出力する。
[フィルタ強度補正部122]
次に、フィルタ強度補正部122について、図6を参照して詳細に説明する。フィルタ強度補正部122は、フィルタ強度判定部121において生成された推定フィルタ強度と絵柄情報(ブロックノイズ目立ち易さ)に応じて、画質劣化度フィルタ強度を補正し、補正後のフィルタ強度をデブロッキングフィルタ112に出力する。尚、本実施形態では、ブロックノイズ目立ち易さ判定結果として、境界差分値と周辺差分値の差を用いた例について説明する。
次に、フィルタ強度補正部122について、図6を参照して詳細に説明する。フィルタ強度補正部122は、フィルタ強度判定部121において生成された推定フィルタ強度と絵柄情報(ブロックノイズ目立ち易さ)に応じて、画質劣化度フィルタ強度を補正し、補正後のフィルタ強度をデブロッキングフィルタ112に出力する。尚、本実施形態では、ブロックノイズ目立ち易さ判定結果として、境界差分値と周辺差分値の差を用いた例について説明する。
まず、画質劣化度フィルタ強度の補正量は、例えば、下記の式に基づき行う。
(推定フィルタ強度−画質劣化度フィルタ強度)×ABS(ブロックノイズ目立ち易さ×K)・・・(式2)
このように算出した画質劣化度フィルタ強度の補正量を画質劣化度フィルタ強度に加算することにより補正を行う。なお、推定フィルタ強度と画質劣化度フィルタ強度とが一致する場合には、算出されたフィルタ強度は適切であるとして補正は行われない。Kは、正の定数であり、ブロックノイズ目立ち易さ(境界差分値と周辺差分値の差)の大きさを調整する役割を担う。例えば、定数Kは0.01とする。ABS(P)は、Pを絶対値化を意味する関数を示す。
このように算出した画質劣化度フィルタ強度の補正量を画質劣化度フィルタ強度に加算することにより補正を行う。なお、推定フィルタ強度と画質劣化度フィルタ強度とが一致する場合には、算出されたフィルタ強度は適切であるとして補正は行われない。Kは、正の定数であり、ブロックノイズ目立ち易さ(境界差分値と周辺差分値の差)の大きさを調整する役割を担う。例えば、定数Kは0.01とする。ABS(P)は、Pを絶対値化を意味する関数を示す。
以下、図6に示す4つの場合を具体的に説明する。
(1)図6の番号1のケース
このケースは、例えば、推定フィルタ強度が+5、画質劣化度フィルタ強度が+3、ブロックノイズ目立ち易さが50のように、ブロックノイズが目立ち易く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも弱くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズを低減できない可能性が高いので、画質劣化度フィルタ強度を増加させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式2に基づき+1と算出され、フィルタ強度補正部122が算出する補正後のフィルタ強度は+4となる。これは、補正前に比べフィルタ強度が+1増加されたことになる。
このケースは、例えば、推定フィルタ強度が+5、画質劣化度フィルタ強度が+3、ブロックノイズ目立ち易さが50のように、ブロックノイズが目立ち易く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも弱くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズを低減できない可能性が高いので、画質劣化度フィルタ強度を増加させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式2に基づき+1と算出され、フィルタ強度補正部122が算出する補正後のフィルタ強度は+4となる。これは、補正前に比べフィルタ強度が+1増加されたことになる。
(2)図6の番号2のケース
このケースは、例えば、推定フィルタ強度が+3、画質劣化度フィルタ強度が+5、ブロックノイズ目立ち易さが50の場合は、ブロックノイズが目立ち易く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも強くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズのみならず、複雑な絵柄もボカしてしまう可能性が高いので、画質劣化度フィルタ強度を減少させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式2に基づき−1と算出され、フィルタ強度補正部122が算出する補正後のフィルタ強度は+4となる。これは、補正前に比べフィルタ強度が−1減少されたことになる。
このケースは、例えば、推定フィルタ強度が+3、画質劣化度フィルタ強度が+5、ブロックノイズ目立ち易さが50の場合は、ブロックノイズが目立ち易く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも強くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズのみならず、複雑な絵柄もボカしてしまう可能性が高いので、画質劣化度フィルタ強度を減少させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式2に基づき−1と算出され、フィルタ強度補正部122が算出する補正後のフィルタ強度は+4となる。これは、補正前に比べフィルタ強度が−1減少されたことになる。
(3)図6の番号3のケース
このケースは、例えば、推定フィルタ強度が+5、画質劣化度フィルタ強度が+3、ブロックノイズ目立ち易さが−50の場合は、ブロックノイズが目立ち難く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも弱くなる。この場合、ブロックノイズが目立ち難いためフィルタ強度を強く補正する必要がない。仮に、フィルタ強度を強く補正してしまうと、雑な絵柄もボカしてしまう可能性がある。また、フィルタ強度を弱くしてしまうと、目立ち難かったブロックノイズが目立ち易くなってしまう可能性がある。そのため本ケースでは、画質劣化度フィルタ強度は補正しない。つまり、フィルタ強度補正部122は、入力した画質劣化度フィルタ強度を補正せず+3というフィルタ強度を出力する。
このケースは、例えば、推定フィルタ強度が+5、画質劣化度フィルタ強度が+3、ブロックノイズ目立ち易さが−50の場合は、ブロックノイズが目立ち難く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも弱くなる。この場合、ブロックノイズが目立ち難いためフィルタ強度を強く補正する必要がない。仮に、フィルタ強度を強く補正してしまうと、雑な絵柄もボカしてしまう可能性がある。また、フィルタ強度を弱くしてしまうと、目立ち難かったブロックノイズが目立ち易くなってしまう可能性がある。そのため本ケースでは、画質劣化度フィルタ強度は補正しない。つまり、フィルタ強度補正部122は、入力した画質劣化度フィルタ強度を補正せず+3というフィルタ強度を出力する。
(4)図6の番号4のケース
このケースは、例えば、推定フィルタ強度が+3、画質劣化度フィルタ強度が+5、ブロックノイズ目立ち易さが−50の場合は、ブロックノイズが目立ち難く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも強くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズのみならず、複雑な絵柄もボカしてしまう可能性が高いので、画質劣化度フィルタ強度を減少させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式2に基づき−1と算出され、フィルタ強度補正部122が算出する補正後のフィルタ強度は+4となる。これは、補正前に比べフィルタ強度が−1減少されたことになる。
このケースは、例えば、推定フィルタ強度が+3、画質劣化度フィルタ強度が+5、ブロックノイズ目立ち易さが−50の場合は、ブロックノイズが目立ち難く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも強くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズのみならず、複雑な絵柄もボカしてしまう可能性が高いので、画質劣化度フィルタ強度を減少させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式2に基づき−1と算出され、フィルタ強度補正部122が算出する補正後のフィルタ強度は+4となる。これは、補正前に比べフィルタ強度が−1減少されたことになる。
以上のように、フィルタ強度補正部122は、画質劣化度フィルタ強度を補正し、補正後のフィルタ強度をデブロッキングフィルタ112に出力する。
尚、式2の定数Kは前述の説明では、ブロックノイズの目立ち易さに関わらず固定値を設定する例について説明をしたが、ブロックノイズの目立ち易さに応じて変更しても良い。例えば、ブロックノイズが目立ち易い場合と目立ち難い場合とで定数Kの値を変更することにより、ブロックノイズが目立ち易い場合と目立ち難い場合とで、画質劣化度フィルタ強度の補正量を調整できる。
尚、フィルタ強度を弱く補正する代りに、スイッチ111により局所復号化画像に対し、デブロッキングフィルタ処理を施さないよう制御しても良い。例えば、推定フィルタ強度が−20となった場合、デブロッキングフィルタ112でフィルタ処理を行う際の最小フィルタ強度−6を大きく下回る。そこで、例えばフィルタ強度補正部がスイッチ111に対して切り替え信号を供給し、デブロッキングフィルタ112をバイパスしてもより。この場合、局所復号化画像に対しデブロッキングフィルタ処理は施されない。デブロッキングフィルタ112をバイパスする条件としては、推定フィルタ強度が所定値(例えば、−10)より小さくなった場合とすることができる。
次に、以上で説明した各ブロックにおける処理を本実施形態に対応するデブロッキングフィルタ処理のフィルタ強度を算出する一連の処理として、図7を参照して説明する。
まずS701において、画質劣化度算出部117が、原画像と局所復号化画像に応じて画質劣化度を算出する。次にS702において、フィルタ強度算出部118が、画質劣化度に応じて画質劣化度フィルタ強度を算出する。次にS703において、絵柄情報算出部119が絵柄情報を算出する。次にS704において、符号化情報算出部120が符号化情報を算出する。次にS705において、フィルタ強度判定部121が絵柄情報と符号化情報に応じて、画質劣化度フィルタ強度が局所復号化画像に対して適切か否かを判定する。画質劣化度フィルタ強度が適切でないと判定された場合(S705で「NO」)、S706に移行する。S706ではフィルタ強度補正部122が、フィルタ強度判定部121の判定結果と絵柄情報(ブロックノイズ目立ち易さ)に応じて画質劣化度フィルタ強度を補正する。また、補正後のフィルタ強度をデブロッキングフィルタ112に出力する。画質劣化度フィルタ強度が適切であると判定された場合(S705で「YES」)、S707に移行する。S707ではフィルタ強度補正部122が、画質劣化度フィルタ強度を補正せずにデブロッキングフィルタ112に出力する。S708において、デブロッキングフィルタ112が、フィルタ強度補正部122より出力されたフィルタ強度に基づきデブロッキングフィルタ処理を行う。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (13)
- 予測符号化処理のための予測画像を生成する予測画像生成手段と、
原画像を所定数の画素から成るブロックに分割し、前記予測画像との差分についてブロック単位に直交変換及び量子化を行う変換手段と、
前記変換手段における変換結果を、符号化して符号化ストリームを生成する符号化手段と、
前記変換手段における前記変換結果に対して逆量子化及び逆直交変換を行って局所復号化画像を出力する局所復号化手段と
を備える動画像符号化装置であって、
前記原画像と前記局所復号化画像とから画質劣化度を算出する画質劣化度算出手段と、
前記画質劣化度に応じたフィルタ強度を算出するフィルタ強度算出手段と、
前記算出されたフィルタ強度を補正するフィルタ強度補正手段と、
前記局所復号化画像に対し、前記フィルタ強度補正手段から得られたフィルタ強度を用いてデブロッキングフィルタ処理を行うフィルタ処理手段と、
を更に備え、
前記予測画像生成手段は、前記デブロッキングフィルタ処理後の局所復号化画像を用いて、前記予測画像を生成し、
前記フィルタ強度補正手段は、前記局所復号化画像と、隣接する他の局所復号化画像との境界画素の隣接画素間の差分値、及び、前記動画像符号化装置における前記予測符号化処理の結果から得られる符号化情報に基づき推定したフィルタ強度と、前記算出された前記フィルタ強度との比較に基づき、前記補正を行うことを特徴とする動画像符号化装置。 - 前記フィルタ強度補正手段は、前記局所復号化画像における前記境界画素以外の画素について算出された隣接画素間の差分値と、前記境界画素の隣接画素間の差分値とに基づいて算出された、前記局所復号化画像におけるブロックノイズの目立ち易さを表す値に更に基づいて前記補正を行うことを特徴とする請求項1に記載の動画像符号化装置。
- 前記フィルタ強度補正手段は、前記ブロックノイズの目立ち易さを表す値が当該ブロックノイズが目立ち易いことを示す場合に、前記算出されたフィルタ強度の値を補正することを特徴とする請求項2に記載の動画像符号化装置。
- 前記フィルタ強度補正手段は更に、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも大きい場合に、前記算出されたフィルタ強度の値を増加させることにより前記補正を行うことを特徴とする請求項3に記載の動画像符号化装置。
- 前記フィルタ強度補正手段は更に、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも小さい場合に、前記算出されたフィルタ強度の値を減少させることにより前記補正を行うことを特徴とする請求項3又は4に記載の動画像符号化装置。
- 前記フィルタ強度補正手段は、前記ブロックノイズの目立ち易さを表す値が当該ブロックノイズが目立ち難いことを示し、かつ、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも小さい場合に、前記算出されたフィルタ強度の値を減少させることにより前記補正を行うことを特徴とする請求項2乃至5のいずれか1項に記載の画像符号化装置。
- 前記フィルタ強度補正手段は、前記ブロックノイズの目立ち易さを表す値が当該ブロックノイズが目立ち難いことを示し、かつ、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも大きい場合、及び、前記推定したフィルタ強度と前記算出されたフィルタ強度とが一致する場合に、前記算出されたフィルタ強度の値の補正を行わないことを特徴とする請求項2乃至6のいずれか1項に記載の動画像符号化装置。
- 前記フィルタ処理手段は、前記推定したフィルタ強度が閾値を下回る場合に前記局所復号化画像に対する前記デブロッキングフィルタ処理を行わないことを特徴とする請求項1乃至7のいずれか1項に記載の動画像符号化装置。
- 前記境界画素の隣接画素間の差分値及び前記符号化情報は、前記動画像符号化装置が前記予測符号化処理を行うフレーム、スライス及びブロックのいずれかを単位とした各値の平均値であることを特徴とする請求項1乃至8のいずれか1項に記載の動画像符号化装置。
- 前記境界画素の隣接画素間の差分値及び前記符号化情報は、前記動画像符号化装置が前記予測符号化処理を行うフレームのうち、同一のピクチャタイプのフレームを単位とした各値の平均値であることを特徴とする請求項1乃至8のいずれか1項に記載の動画像符号化装置。
- 前記符号化情報には、符号量、量子化ステップ、採用された予測モードにおけるイントラ予測モードの割合、動きベクトルのランダム度、前記直交変換を行うブロックサイズに関する情報が含まれることを特徴とする請求項1乃至10のいずれか1項に記載の動画像符号化装置。
- 予測符号化処理のための予測画像を生成する予測画像生成手段と、
原画像を所定数の画素から成るブロックに分割し、前記予測画像との差分についてブロック単位に直交変換及び量子化を行う変換手段と、
前記変換手段における変換結果を、符号化して符号化ストリームを生成する符号化手段と、
前記変換手段における前記変換結果に対して逆量子化及び逆直交変換を行って局所復号化画像を出力する局所復号化手段と
を備える動画像符号化装置の制御方法であって、
前記動画像符号化装置の画質劣化度算出手段が、前記原画像と前記局所復号化画像とから画質劣化度を算出する画質劣化度算出工程と、
前記動画像符号化装置のフィルタ強度算出手段が、前記画質劣化度に応じてフィルタ強度を算出するフィルタ強度算出工程と、
前記動画像符号化装置のフィルタ強度補正手段が、前記算出されたフィルタ強度を補正するフィルタ強度補正工程と、
前記動画像符号化装置のフィルタ処理手段が、前記局所復号化画像に対し、前記フィルタ強度補正工程で得られたフィルタ強度を用いてデブロッキングフィルタ処理を行うフィルタ処理工程と、
を備え、
前記予測画像生成手段は、前記デブロッキングフィルタ処理後の局所復号化画像を用いて、前記予測画像を生成し、
前記フィルタ強度補正工程では、前記局所復号化画像と、隣接する他の局所復号化画像との境界画素の隣接画素間の差分値、及び、前記動画像符号化装置における前記予測符号化処理の結果から得られる符号化情報に基づき推定したフィルタ強度と、前記算出された前記フィルタ強度との比較に基づき、前記補正が行われることを特徴とする動画像符号化装置の制御方法。 - コンピュータを請求項1乃至11のいずれか1項に記載の動画像符号化装置の各手段として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011259512A JP5913929B2 (ja) | 2011-11-28 | 2011-11-28 | 動画像符号化装置及びその制御方法、コンピュータプログラム |
PCT/JP2012/081016 WO2013081085A1 (en) | 2011-11-28 | 2012-11-22 | Moving image encoding apparatus, control method thereof and computer program |
US14/343,505 US9635359B2 (en) | 2011-11-28 | 2012-11-22 | Method and apparatus for determining deblocking filter intensity |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011259512A JP5913929B2 (ja) | 2011-11-28 | 2011-11-28 | 動画像符号化装置及びその制御方法、コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013115580A JP2013115580A (ja) | 2013-06-10 |
JP5913929B2 true JP5913929B2 (ja) | 2016-05-11 |
Family
ID=48710753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011259512A Expired - Fee Related JP5913929B2 (ja) | 2011-11-28 | 2011-11-28 | 動画像符号化装置及びその制御方法、コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5913929B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7026065B2 (ja) * | 2019-03-12 | 2022-02-25 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
JP2021170727A (ja) * | 2020-04-15 | 2021-10-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd | 装置、画像処理装置、撮像装置、移動体、プログラム及び方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1209624A1 (en) * | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
JP4455487B2 (ja) * | 2005-12-16 | 2010-04-21 | 株式会社東芝 | 復号化装置及び復号化方法及びプログラム |
JP2007336468A (ja) * | 2006-06-19 | 2007-12-27 | Sharp Corp | 再符号化装置、再符号化方法およびプログラム |
JP4847890B2 (ja) * | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | 符号化方式変換装置 |
JP2011139208A (ja) * | 2009-12-28 | 2011-07-14 | Sony Corp | 画像処理装置および方法 |
JP4799678B1 (ja) * | 2010-07-27 | 2011-10-26 | 株式会社東芝 | 符号化歪み低減装置、符号化歪み低減方法およびそのためのプログラム |
-
2011
- 2011-11-28 JP JP2011259512A patent/JP5913929B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013115580A (ja) | 2013-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7805016B2 (en) | Decoding apparatus and decoding method | |
JP4194479B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
US20090225842A1 (en) | Method and apparatus for encoding and decoding image by using filtered prediction block | |
US20120027092A1 (en) | Image processing device, system and method | |
CN107646194B (zh) | 用于视频运动补偿的装置和方法 | |
RU2696309C1 (ru) | Устройство и способ компенсации движения видео | |
US8514935B2 (en) | Image coding apparatus, image coding method, integrated circuit, and camera | |
US20140233645A1 (en) | Moving image encoding apparatus, method of controlling the same, and program | |
US9635359B2 (en) | Method and apparatus for determining deblocking filter intensity | |
JP5100572B2 (ja) | 符号化装置 | |
JP6253406B2 (ja) | 画像符号化装置、撮像装置、画像符号化方法、及びプログラム | |
JP5913929B2 (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム | |
KR20210157419A (ko) | 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램 | |
US11202082B2 (en) | Image processing apparatus and method | |
JP5295089B2 (ja) | 画像符号化装置 | |
JP2009260595A (ja) | 量子化マトリクス切り換え方法,映像符号化装置,映像符号化プログラムおよびその記録媒体 | |
JP4784618B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム | |
JP6313614B2 (ja) | 動画像符号化装置及びその制御方法 | |
JP6174966B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム | |
JP6200220B2 (ja) | 画像処理装置、符号化装置、復号装置、及びプログラム | |
JP4695115B2 (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6012307B2 (ja) | 動画像符号化装置及びその制御方法、並びに、プログラム | |
JP6239838B2 (ja) | 動画像符号化装置、その制御方法、及び撮像装置 | |
US20200413105A1 (en) | Metric driven adaptive processing for video encoders | |
JP2011166357A (ja) | 画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160404 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5913929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |