JP2009194617A - 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP2009194617A
JP2009194617A JP2008032893A JP2008032893A JP2009194617A JP 2009194617 A JP2009194617 A JP 2009194617A JP 2008032893 A JP2008032893 A JP 2008032893A JP 2008032893 A JP2008032893 A JP 2008032893A JP 2009194617 A JP2009194617 A JP 2009194617A
Authority
JP
Japan
Prior art keywords
orthogonal transform
prediction
determination information
processing
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008032893A
Other languages
English (en)
Inventor
Junichi Minamimoto
淳一 南本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008032893A priority Critical patent/JP2009194617A/ja
Priority to US12/369,906 priority patent/US8711950B2/en
Publication of JP2009194617A publication Critical patent/JP2009194617A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばMPEG-2及びMPEG-4 Part10 AVC のビットストリームを復号可能な復号装置に適用して、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができるようにする。
【解決手段】本発明は、隣接する予測値生成単位とのイントラ符号化及びインター符号化の異同、及び予測値の生成単位の境界に対する直交変換処理単位の境界に応じて、境界強度判定情報を設定し、隣接する直交変換処理単位で予測モードが異なる場合には、フィルタリング強度が強くなるように境界強度判定情報を設定する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばMPEG（Moving Picture Experts Group）-2及びMPEG-4 Part10 AVC （Advanced Video Coding ）（以下、H.264/AVC と呼ぶ）のビットストリームを復号可能な復号装置に適用することができる。本発明は、隣接する予測値生成単位とのイントラ符号化及びインター符号化の異同、及び予測値の生成単位の境界に対する直交変換処理単位の境界に応じて、境界強度判定情報を設定し、隣接する直交変換処理単位で予測モードが異なる場合には、フィルタリング強度が強くなるように境界強度判定情報を設定することにより、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができるようにする。
従来、映像機器は、MPEG-2、H.264/AVC 等の手法で動画像をデータ圧縮している。ここでMPEG-2の符号化装置は、連続するピクチャーをＧＯＰ単位で区切って順次ピクチャータイプを設定し、各ピクチャーを並べ替えする。またMPEG-2の符号化装置は、予測値の生成単位であるマクロブロック単位で並べ替えした各ピクチャーを区切り、ピクチャータイプに応じた予測値との間でマクロブロック毎に予測誤差を生成する。MPEG-2の符号化装置は、このマクロブロック単位の予測誤差を、直交変換処理単位である８画素×８画素のＤＣＴ（Discrete Cosine Transform ）ブロック単位でディスクリートコサイン変換処理し、その結果得られるＤＣＴ係数を順次量子化処理、エントロピー符号化処理してビットストリームを生成する。
この符号化装置の構成に対応してMPEG-2の復号装置は、図２１に示すように構成される。ここで復号装置１において、エントロピー復号部２は、MPEG-2のビットストリームＳ１を入力してエントロピー復号処理する。動き予測部３は、このエントロピー復号部２の出力データから動きベクトルＭＶを検出して出力する。動き補償部４は、この動きベクトルＭＶを使用してフレームメモリ（ＦＭ）５に保持された参照画像データを動き補償し、インター符号化時の予測値を生成する。イントラ予測部６は、イントラ符号化時の予測値を生成する。
逆量子化部（ＩＱ）７は、エントロピー復号部２の出力データを逆量子化処理し、符号化時に生成したＤＣＴ係数を復号する。逆ＤＣＴ変換部８は、この逆量子化部７の出力データを逆ディスクリートコサイン変換処理し、符号化時に生成した予測誤差を復号する。加算部９は、動き補償部４から出力される予測値又はイントラ予測部６から出力される予測値を、逆ＤＣＴ変換部８から出力される予測誤差に加算し、各マクロブロックの画像データを復号する。復号装置１は、この加算部９で復号された画像データをフレームメモリ５に格納して一時保持し、ピクチャーを並べ直してビデオ信号ＳＶを出力する。またこのフレームメモリ５に格納した画像データを参照画像データとして動き補償部４に出力する。
H.264/AVC は、MPEG-2と同様にイントラ予測及びインター予測による予測誤差を直交変換処理、可変長符号化処理して動画像をデータ圧縮する。しかしながらH.264/AVC は、MPEG-2に比して一段と効率良く高画質の動画像をデータ圧縮可能に種々の工夫が図られている。
ここで図２２は、図２１との対比によりH.264/AVC の復号装置を示すブロック図である。H.264/AVC の復号装置１１において、エントロピー復号部１２は、H.264/AVC のビットストリームＳ２をエントロピー復号処理する。動き予測部１３は、このエントロピー復号部１２の出力データから動きベクトルＭＶ、参照フレームを特定する情報等を検出して出力する。動き補償部１４は、この動き予測部１３で検出された動きベクトルＭＶ等を使用してフレームメモリ（ＦＭ）１５に保持された参照画像データを動き補償し、インター符号化時の予測値を生成する。イントラ予測部１６は、加算部１９の出力データからイントラ符号化時の予測値を生成する。
逆量子化部（ＩＱ）１７は、エントロピー復号部１２の出力データを逆量子化処理し、符号化時に生成したＤＣＴ係数を復号する。逆ＤＣＴ変換部１８は、この逆量子化部１７の出力データを逆ディスクリートコサイン変換処理し、符号化時に生成した予測誤差を復号する。加算部１９は、動き補償部１４から出力される予測値又はイントラ予測部１６から出力される予測値をこの予測誤差に加算して画像データを復号する。
デブロッキングフィルタ２０は、加算部１９の出力データからブロックノイズを除去して出力する。復号装置１１は、このデブロッキングフィルタ２０の出力データをフレームメモリ１５に格納して一時保持し、ピクチャーを並べ直してビデオ信号ＳＶを出力する。またこのフレームメモリ１５に格納した画像データを参照画像データとして動き補償部１４に出力する。
これらMPEG-2、H.264/AVC の符号化処理は、データ圧縮率を大きくすると、量子化処理の際に高周波成分が失われ、その結果、復号したビデオ信号ＳＶのＤＣＴブロック境界で階調差が発生する。また動きの激しい場合等には、予測誤差が大きくなり、その結果、同様に量子化処理の際に高周波成分が失われ、復号したビデオ信号のＤＣＴブロック境界で階調差が発生する。また動きが激しい場合には、マクロブロックにおける予測誤差も大きくなり、この場合はマクロブロック境界で階調差が発生する。これら各種の原因によって発生するＤＣＴブロック境界、マクロブロック境界の階調差は、ブロックノイズと称され、画質を著しく劣化させる。
H.264/AVC では、デブロッキングフィルタの使用が規定されており、このデブロッキングフィルタでブロックノイズが抑圧される。しかしながらMPEG-2では、デブロッキングフィルタの使用が規定されていない。そのためMPEG-2においてブロックノイズを抑圧する場合には、図２１との対比により図２３に示すように、復号装置１の出力段に別途ブロックノイズ低減装置２１を設け、このブロックノイズ低減装置２１でビデオ信号ＳＶのブロックノイズを抑圧していた。なおこの図２３において、図２１の復号装置１と同一の構成は、対応する符号を付して示し、説明を省略する。
これらMPEG-2等の復号処理に関して、特開２００７−１８４８７０号公報、特開２００７−１８４８７１号公報には、符号化モード、量子化パラメータに応じてデブロッキングフィルタの処理を省略する構成が開示されている。また特開２００７−３６４６３号公報には、H.264/AVC の復号装置で使用するデブロッキングフィルタを、MPEG-2の復号装置に利用する構成が開示されている。
ところで図２３に示すように、復号装置１の出力段にブロックノイズ低減装置２１を設け、ビデオ信号ＳＶの画質の劣化を有効に回避してブロックノイズを抑圧するためには、ブロックノイズによる階調差のみを選択的に抑圧することが必要である。そのためにはベースバンドのビデオ信号からブロックノイズ成分のみ確実に検出することが必要であり、全体構成が複雑になる問題がある。
この問題を解決する１つの方法として特開２００７−３６４６３号公報に開示の手法を適用することが考えられる。特に、近年、MPEG-2のビットストリームとH.264/AVC のビットストリームとの双方に対応可能に構成された復号装置も予測され、H.264/AVC の復号装置で使用するデブロッキングフィルタをMPEG-2の復号装置に利用することができれば、双方の方式に対応可能に復号装置を構成する場合に、構成を一段と簡略化することができると考えられる。
しかしながらMPEG-2では、H.264/AVC で規定されていない種々の処理が存在する等の理由により、特開２００７−３６４６３号公報に開示の手法にあっては、実用上未だ不十分な問題がある。
特開２００７−１８４８７０号公報 特開２００７−１８４８７１号公報 特開２００７−３６４６３号公報
本発明は以上の点を考慮してなされたもので、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
上記の課題を解決するため請求項１の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理装置に適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理装置は、前記予測誤差を復号する逆直交変換部と、前記予測値を生成する予測値生成部と、前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、前記制御部は、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項５の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理装置に適用して、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成部と、前記予測値に基づいて前記画像データの予測誤差を生成する減算部と、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換部と、前記直交変換部の出力データを処理して前記ビットストリームを生成するデータ処理部と、前記直交変換部の出力データから前記画像データを復号する復号部と、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号部で復号された画像データのブロックノイズを除去するデブロッキングフィルタと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、前記制御部は、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項６の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理装置に適用して、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理装置は前記予測誤差を復号する逆直交変換部と、前記予測値を生成する予測値生成部と、前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、前記制御部は、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項７の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法に適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理方法は、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項８の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法において、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項９の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法において、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理方法は、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項１０の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムに適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項１１の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムに適用して、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項１２の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムにおいて、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項１３の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムを記録した記録媒体に適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項１４の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
また請求項１５の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムを記録した記録媒体に適用して、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
請求項１、請求項７、請求項１０、請求項１３の構成によれば、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるビットストリームから予測誤差を復号して画像データを復号することから、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるMPEG-2等のビットストリームから画像データを復号することができる。また位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するデブロッキングフィルタを用いてブロックノイズを除去することから、位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するH.264/AVC 等のデブロッキングフィルタを使用して、復号した画像データからブロックノイズが除去される。従って従来に比して簡易な構成で、動的にフィルタリング処理の強度を切り換えてブロックノイズを除去することができ、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。また隣接する直交変換処理単位とで予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるビットストリームに固有の予測モードに適切に対応してフィルタリング強度を制御することができ、一段と画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
また請求項５、請求項８、請求項１１、請求項１４の構成によれば、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理してビットストリームを生成することから、フレーム構造及びフィールド構造からピクチャータイプの設定を選択するMPEG-2等により画像データを符号化処理することができる。また位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するデブロッキングフィルタを用いてブロックノイズを除去することから、位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するH.264/AVC 等のデブロッキングフィルタを使用して、復号した画像データからブロックノイズが除去される。従って従来に比して簡易な構成で、動的にフィルタリング強度を切り換えてブロックノイズを除去することができ、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。また隣接する直交変換処理単位とで予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるビットストリームに固有の予測モードに適切に対応してフィルタリング強度を制御することができ、一段と画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
また請求項６、請求項９、請求項１２、請求項１５の構成によれば、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成される第１のビットストリームと、フレーム単位でピクチャータイプが設定されて生成される第２のビットストリームとを選択的に処理して画像データを復号することから、フレーム構造及びフィールド構造からピクチャータイプの設定を選択するMPEG-2等による第１のビットストリーム、及びフレーム単位でピクチャータイプが設定されて生成されるH.264/AVC 等の第２のビットストリームの双方から画像データを復号することができる。また位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するデブロッキングフィルタを用いて第１及び第２のビットストリームから復号された画像データのブロックノイズを除去することから、位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するH.264/AVC 等のデブロッキングフィルタを使用して、これら復号した画像データからブロックノイズが除去される。従って従来に比して簡易な構成で、動的にフィルタリング強度を切り換えてブロックノイズを除去することができ、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。また隣接する直交変換処理単位とで予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成される第１のビットストリームに固有の予測モードに適切に対応してフィルタリング強度を制御することができ、一段と画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
本発明によれば、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
（１）実施例の構成
図２は、本発明の実施例１の復号装置を示すブロック図である。この復号装置３１は、MPEG-2のビットストリームＳ１とH.264/AVC のビットストリームＳ２とを復号可能な復号装置である。復号装置３１は、図示しないコントローラにより復号処理するビットストリームＳ１、Ｓ２に応じて各部の動作を切り換え、MPEG-2のビットストリームＳ１又はH.264/AVC のビットストリームＳ２を復号する。
この復号装置３１において、エントロピー復号部３２は、コントローラの制御により動作を切り換え、ビットストリームＳ１又はＳ２をエントロピー復号処理する。動き予測部３３は、このエントロピー復号部３２の出力データから動きベクトルＭＶ、参照フレームを特定する情報等を検出して出力する。動き補償部３４は、この動き予測部３３で検出された動きベクトルＭＶ等を使用してフレームメモリ（ＦＭ）３５に保持された参照画像データを動き補償し、インター符号化時の予測値を生成する。イントラ予測部３６は、加算部３９の出力データからイントラ符号化時の予測値を生成する。
逆量子化部（ＩＱ）３７は、エントロピー復号部３２の出力データを逆量子化処理し、符号化時に生成したＤＣＴ係数を復号する。逆ＤＣＴ変換部３８は、この逆量子化部３７の出力データを逆ディスクリートコサイン変換処理し、符号化時に生成した予測誤差を復号する。加算部３９は、動き補償部３４から出力される予測値又はイントラ予測部３６から出力される予測値をこの予測誤差に加算して画像データを復号する。
デブロッキングフィルタ４０は、H.264/AVC の復号装置に使用されるデブロッキングフィルタモジュールにより構成され、例えば垂直方向及び水平方向にフィルタリング処理をそれぞれ実行する４タップのＦＩＲ（Finite Impulse Response ）フィルタの直列回路で構成される。デブロッキングフィルタ４０は、加算部３９の出力データからブロックノイズを除去して出力する。復号装置３１は、このデブロッキングフィルタ４０の出力データをフレームメモリ３５に格納して一時保持し、ピクチャーを並べ直してビデオ信号ＳＶを出力する。またこのフレームメモリ３５に格納した画像データを参照画像データとして動き補償部３４に出力する。
（１−１）H.264/AVC におけるブロックノイズの低減
ここでデブロッキングフィルタ４０は、H.264/AVC のビットストリームＳ２を復号する場合、H.264/AVC 用のブロックノイズ低減情報生成部４１Ａから出力される位置情報ＤＰ、境界強度判定情報ＢＳ（Boundary Strength ）、量子化パラメータＱＰ（Quantization Parameter）に基づいて、フィルタリング処理を動的に切り換えてブロックノイズを除去する。ブロックノイズ低減情報生成部４１Ａは、これら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰを設定してデブロッキングフィルタの動作を制御する制御部であり、H.264/AVC のビットストリームＳ２に含まれる各種の情報に基づいてこれら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰを出力する。
ここで図３に示すように、デブロッキングフィルタ４０は、ＤＣＴブロック境界を間に挟んで、垂直方向及び水平方向のラスタ走査開始端側に隣接するＤＣＴブロックとの間で画像データをフィルタリング処理してブロックノイズを低減する。なおここでＱは、処理対象のＤＣＴブロックであり、Ｐは水平方向及び垂直方向のラスタ走査開始端側に隣接するＤＣＴブロックである（図１０参照）。またp3〜p0、q0〜q3は、フィルタリング処理前の各画素の画素値であり、p'3 〜p'0 、q'0 〜q'3 は、フィルタリング処理後の対応する画素の画素値である。
従ってブロックノイズを除去するＤＣＴブロックが画面の最上段及び最も左端である場合、隣接ブロックＰがそもそも垂直方向及び水平方向には存在しないことになる。従ってデブロッキングフィルタ４０は、ブロックノイズを除去するＤＣＴブロックＱが画面の最上段及び最も左端である場合、それぞれ垂直方向及び水平方向へのブロックノイズ低減処理を中止する。
位置情報ＤＰは、この処理対象ＤＣＴブロックＱの位置を特定することを目的に、処理対象ＤＣＴブロックＱが属するマクロブロックの位置を特定する情報であり、ブロックノイズ低減情報生成部４１Ａは、H.264/AVC のビットストリームＳ２に設けられたスライスヘッダ等からこの位置情報ＤＰを生成して出力する。
境界強度判定情報ＢＳは、ＤＣＴブロックの境界に対するフィルタリング強度を設定するための情報であり、H.264/AVC では、図４に示すように定義される。境界強度判定情報ＢＳは、図３について上述した画素値p0及びq0の画素の何れか一方がイントラ符号化されるマクロブロックに属し、かつ当該画素がマクロブロック境界に位置する場合、最も強度の強いフィルタリング処理を指示する値４に設定される。
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の何れか一方がイントラ符号化されるマクロブロックに属し、かつ当該画素がマクロブロック境界に位置しない場合、値４の場合の次に強度の強いフィルタリング処理を指示する値３に設定される。
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の双方がイントラ符号化されるマクロブロックに属するものでは無く、かついずれか一方の画素が直交変換係数（ＤＣＴ係数）を持つ場合、値３の場合の次に強度の強いフィルタリング処理を指示する値２に設定される。
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の双方がイントラ符号化されるマクロブロックに属するものでは無く、かついずれの画素も直交変換係数を持たないという条件を満たす場合に、当該画素で参照フレーム又は参照フレームの枚数が異なるか、又は当該画素で動きベクトルが異なる場合に、値２の場合の次に強度の強いフィルタリング処理を指示する値１に設定される。
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の双方がイントラ符号化されるマクロブロックに属するものでは無く、かついずれの画素も直交変換係数を持たず、参照フレーム及び動きベクトルが同一の場合に、フィルタリング処理を行わないことを指示する値０に設定される。
従って境界強度判定情報ＢＳは、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置に応じて設定される。より具体的に、境界強度判定情報ＢＳは、インター符号化の場合に比してイントラ符号化でフィルタリング強度が強くなるように設定される。またＤＣＴブロック境界がマクロブロック境界でない場合に比してＤＣＴブロック境界がマクロブロック境界である場合、フィルタリング強度が強くなるように設定される。
ブロックノイズ低減情報生成部４１Ａは、H.264/AVC のビットストリームＳ２に設定されたＤＣＴブロックの位置情報、参照フレームを特定する情報、動きベクトルの情報等に基づいて境界強度判定情報ＢＳを生成する。またブロックノイズ低減情報生成部４１Ａは、各マクロブロックに設定されたヘッダから量子化パラメータＱＰを検出する。
デブロッキングフィルタ４０は、上述したように水平方向及び垂直方向のラスタ走査開始端側に隣接ＤＣＴブロックが存在する場合にあって、次式の関係式が成立する場合にのみ、フィルタリングの処理を実行する。
Figure 2009194617
但し、しきい値α及びβは、図５に示すようにindex Ａ及びindex Ｂに応じて定義される。またindex Ａ及びindex Ｂは、次式により示すように量子化スケールＱＰに応じて定義される。なおqPp は、隣接ＤＣＴブロックＰの量子化パラメータＱＰであり、qPq は、処理対象のＤＣＴブロックの量子化パラメータＱＰである。またClip3(a,b,c)は、ｃがａ≦ｃ≦ｂとなるようにａ又はｂでクリップする処理である。なおFilter Offset Ａ及びFilter Offset Ｂは、ユーザーにより設定されるフィルタリング処理の強度を可変するパラメータである。
Figure 2009194617
またデブロッキングフィルタ４０は、フィルタリング処理する場合であって、境界強度判定情報ＢＳが値４より小さい場合、次式の演算処理により、ブロック境界に隣接する各画素の画素値p'0 及びq'0 を生成する。
Figure 2009194617
但し、Clip1 （ａ）は、ａをクリップする処理である。またtcは、chroma Edge Flagが「０」の場合、（４）式により、chroma Edge Flagが「０」で無い場合、（５）式により求められる。
Figure 2009194617
Figure 2009194617
なお「（）？１：０」は、（）内の条件を満たす場合は値１、（）内の条件を満たさない場合は値０である。またtc0 は、図６に示すように、境界強度判定情報ＢＳ及びindex
Ａに応じて求められる。またap，aqは、次式により求められる。
Figure 2009194617
またこれら画素値p0及びq0の画素に隣接する画素値p1及びq1の画素は、chroma Edge Flagが値０で、かつapがβ以下である場合、次式の演算処理により画素値p'1 及びq'1 が求められる。
Figure 2009194617
またchroma Edge Flagが値０以外である場合、又はapがβ以下で無い場合、次式の演算処理により画素値p'1 及びq'1 が求められる。
Figure 2009194617
なお残る画素値p2、p3、q2、q3の画素にあっては、フィルタリング処理の前後で画素値は変化しない。従ってp'2 ＝p2、p'3 ＝p3、q'2 ＝q2、q'3 ＝q3である。
これに対して境界強度判定情報ＢＳが値４の場合、デブロッキングフィルタ４０は、（９）式の関係式が成立する場合、（１０）式の演算処理により、隣接ブロックＰの画素値p'0 、p'1 、p'2 を求める。
Figure 2009194617
Figure 2009194617
また境界強度判定情報ＢＳが値４の場合であって、（９）式の関係式が成立しない場合、次式の演算処理により、隣接ブロックＰの画素値p'0 、p'1 、p'2 を求める。
Figure 2009194617
また境界強度判定情報ＢＳが値４の場合であって、フラグchroma Edge Flagが値０であり、かつ（１２）式の関係式が成立する場合、（１３）式の演算処理により処理対象ブロックＱの画素値q'0 、q'1 、q'2 を求める。
Figure 2009194617
Figure 2009194617
また境界強度判定情報ＢＳが値４の場合であって、フラグchroma Edge Flagが値０で無い場合、又は（１２）式の関係式が成立しない場合、次式の演算処理により処理対象ブロックＱの画素値q'0 、q'1 、q'2 を求める。
Figure 2009194617
デブロッキングフィルタ４０は、これら（１）〜（１４）式の演算処理を垂直方向及び水平方向に実行して垂直方向及び水平方向のブロックノイズをそれぞれ除去する。
（１−２）MPEG-2におけるブロックノイズの低減
この復号装置３１は（図２）、H.264/AVC 用のブロックノイズ低減情報生成部４１Ａに対応して、MPEG-2用のブロックノイズ低減情報生成部４１Ｂが設けられる。ここでこのMPEG-2用のブロックノイズ低減情報生成部４１Ｂは、MPEG-2のビットストリームＳ１を復号する場合、ブロックノイズ低減情報生成部４１Ａから出力される位置情報ＤＰ、量子化スケールＱＰ、境界強度判定情報ＢＳにそれぞれ対応する位置情報ＤＰＭ、量子化スケールＱＰＭ、境界強度判定情報ＢＳＭを生成する。
復号装置３１において、デブロッキングフィルタ４０は、MPEG-2のビットストリームＳ１を復号する場合、H.264/AVC 用のブロックノイズ低減情報生成部４１Ａから出力される位置情報ＤＰ、量子化スケールＱＰ、境界強度判定情報ＢＳに代えて、このMPEG-2用のブロックノイズ低減情報生成部４１Ｂで生成される位置情報ＤＰＭ、量子化スケールＱＰＭ、境界強度判定情報ＢＳＭに基づいてブロックノイズを除去する。
なおブロックノイズ低減情報生成部４１Ａ及び４１Ｂは、演算処理部におけるプログラムの実行により構成されるものの、ハードウエアにより構成してもよい。またこのプログラムは、この実施例では復号装置３１に事前にインストールされて提供されるものの、これに代えて各種の通信手段を介したダウンロードにより提供してもよく、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供してもよい。
ここでブロックノイズ低減情報生成部４１Ｂは、MPEG-2のシーケンス層、ピクチャー層等に設けられたパラメータから、ピクチャー構成及びマクロブロックの位置関係情報を検出する。ここでマクロブロックの位置関係情報は、１画面内における先頭マクロブロックからの位置情報、復号した１画面における水平方向及び垂直方向のマクロブロック数に基づいて検出される。
ここで図７は、動画像の１画面とマクロブロックＭＢとの関係を示す図である。なおこの図７のマクロブロックＭＢは輝度データのマクロブロックである。ここでブロックノイズが発生する箇所は、マクロブロック間の境界又はＤＣＴブロック間の境界である。ここでこの１画面を構成する水平方向及び垂直方向のマクロブロック数は、１画面を構成する画素数が変化すると変化する。従ってこれらの境界のうちマクロブロックの境界は、１画面を構成する画素数の変化により変化することになる。具体的に、例えば１画面を構成する画素数が少なく、例えば水平方向のマクロブロック数が１０個の場合、１つのピクチャーの先頭から１０番目のマクロブロックまでが、１画面の最上段に位置することになる。従ってこれらの１０個のマクロブロックでは、１つのマクロブロックを構成する４つのＤＣＴブロックのうちの、上側、２つのＤＣＴブロックでは、垂直方向、ラスタ走査開始端側に隣接ブロックが存在しないことになる。
これに対して１画面を構成する画素数が多く、例えば水平方向のマクロブロック数が２０個の場合、１つのピクチャーの先頭から２０番目までのマクロブロックにおいて、上側、２つのＤＣＴブロックで、垂直方向、ラスタ走査開始端側に隣接ブロックが存在しないことになる。従って、デブロッキングフィルタ４０におけるフィルタリング処理は、処理するＤＣＴブロックが存在するマクロブロックの位置を考慮して、適宜、垂直方向及び又は水平方向へのフィルタリング処理を中止することが必要になる。
そこでブロックノイズ低減情報生成部４１Ｂは、検出したピクチャー構成及びマクロブロックの位置関係情報から、ラスタ走査開始端のマクロブロックをTop Left、Top Leftのマクロブロックを除く最上段のマクロブロックをTop 、Top Leftのマクロブロック及び最も下段のマクロブロックを除く左端のマクロブロックをLeft、最も左端であって、かつ最も下段のマクロブロックをBottom Left、最も右端であって、かつ最も下段のマクロブロックをBottom Right、Bottom Left及びBottom Rightのマクロブロックを除く最も下段のマクロブロックをBottom と定義して位置情報ＤＰＭを生成する。ブロックノイズ低減情報生成部４１Ｂは、この位置情報ＤＰＭをデブロッキングフィルタ４０に通知し、フィルタリング処理の不要なＤＣＴブロック境界をデブロッキングフィルタ４０に指示する。
またブロックノイズ低減情報生成部４１Ｂは、MPEG-2のビットストリームＳ１からエッジ判定用の情報を取得する。ここでエッジ判定用の情報は、ブロック境界に位置しているか否か、図８において符号Ａにより示すように、隣接画素との階調差がブロックノイズによるものか否か、符号Ｂにより示すように隣接画素との階調差がＤＣＴブロック内部における輪郭等によるものか否か等の判定するための情報である。なお図８においては、丸印により各画素の画素値を示す。
この実施例は、この隣接画素との階調差がＤＣＴブロック内部における輪郭等によるものか否か等の判定するための情報として、MPEG-2の量子化スケールコードQ SCALE をピクチャー単位、スライス単位及びマクロブロック単位で利用する。
ここでMPEG-2の符号化処理は、量子化スケールコードQ SCALE が大きい場合程、量子化処理における丸め誤差が大きくなる。従ってMPEG-2の符号化処理は、量子化スケールコードQ SCALE が大きい場合程、ブロックノイズが発生し易くなる。従ってブロック境界を間に挟んだ隣接画素間のレベル差は、量子化スケールコードQ SCALE が大きい場合程、ブロックノイズによるものである可能性が高い。その結果、量子化値を利用して、エッジを判定する目安とすることができる。すなわち量子化スケールコードQ SCALE を、H.264/AVC
について上述したindex Ａ及びindex Ｂ等の生成に利用することができる。
しかしながらH.264/AVC とMPEG-2とでは、量子化の特性が異なる。従ってこの実施例において、ブロックノイズ低減情報生成部４１Ｂは、H.264/AVC の量子化の特性に対応するように量子化スケールコードQ SCALE を処理して量子化パラメータＱＰＭを生成する。
ここで図９は、H.264/AVC の量子化パラメータＱＰとMPEG-2の量子化スケールコードQ
SCALE との関係を示す特性曲線図である。H.264/AVC の量子化パラメータＱＰにおけるレンジ０〜３３の量子化パラメータＱＰ’と、MPEG-2の量子化スケールコードQ SCALE との間には、次式の関係式が成立する。
Figure 2009194617
ここでＡ（ＱＰ’＝０，……，３３）は、次式で表される。
Figure 2009194617
これら（１５）式及び（１６）式から、次式が求められる。
Figure 2009194617
従ってブロックノイズ低減情報生成部４１Ｂは、この（１７）式の変換式の逆変換処理を実行し、H.264/AVC の量子化の特性に対応するように量子化スケールコードQ SCALE を処理して量子化パラメータＱＰ’を求める。具体的に、量子化スケールコードQ SCALE が値１００の場合、（１７）式の右辺では、値１００が、値９１．２４４０と値１０３．１０９８の中間の値であることから、値９１．２４４０に対応する値３１が量子化パラメータＱＰ’として求められることになる。なお図９は、この（１７）式の関係を示したものである。
但し、この量子化パラメータＱＰ’は、レンジが０〜３３であるのに対し、H.264/AVC
の量子化パラメータＱＰは、レンジが０〜５１である。そこでブロックノイズ低減情報生成部４１Ｂは、この（１７）式を用いた変換処理により、量子化パラメータＱＰ’を生成した後、任意のオフセット値を加算して量子化パラメータＱＰＭを生成する。またこのオフセット値をユーザーの指示により可変し、デブロッキングフィルタ４０におけるフィルタリング処理の強度をユーザーの指示により可変する。
またブロックノイズ低減情報生成部４１Ｂは、MPEG-2のビットストリームＳ１からmacroblock type 、picture coding type 、picture structure 、動きベクトルの情報等を取得し、この取得した情報から境界強度判定情報ＢＳＭを生成する。なおこの境界強度判定情報ＢＳＭを生成するためにMPEG-2のビットストリームＳ１から取得する情報は、PictureType 及びマクロブロックのモードの情報、動きベクトル及び予測モードの情報、動きベクトルで示される動きベクトル量の情報に大別される。
これらの情報のうちのPictureType 及びマクロブロックのモードの情報は、マクロブロックのpicture coding type 、macroblock type 、picture structure 、dct type、macroblock patternである。ここでマクロブロックのpicture coding type は、Ｉピクチャー、Ｐピクチャー、Ｂピクチャーの判別に利用される。またmacroblock type は、スキップドマクロブロック、イントラ予測によるマクロブロック、インター予測によるマクロブロックの判別に利用される。またpicture structure は、FIELD PICTURE 、FRAME PICTURE の判別に利用される。またdct typeは、FRAME DCT 、 FIELD DCTの判別に利用される。またmacroblock patternは、DCT 係数の有無の判別に利用される。
また動きベクトル及び予測モードの情報は、frame(field) motion type、motion vector count(ベクターの数のカウント）、mv format 、concealment motion vectors、frame
pred frame dct、picture structure 、picture structure 、motion vertical field selectである。ここでframe(field) motion type、motion vector count 、mv format 、concealment motion vectors、frame pred frame dct、picture structure は、MPEG-2の６つの予測モードの判定に利用される。なおここでこの６つの予測モードは、フレーム構造（FRAME MOTION TYPE ）におけるフィールド予測、フレーム予測及びデュアルプライム、フィールド構造（FIELD MOTION TYPE ）におけるフィールド予測、フィールド１６×８予測、デュアルプライムである。またpicture structure は、参照方向の判別、TopField、BottomField 、Frame の判別に利用される。またmotion vertical field selectは、参照フィールドセレクトがTop であるかBottomであるかの判別に利用される。
また動きベクトル量の情報は、macroblock type 、mv format 、picture structure 、motion code 、motion residual 、dmvector、Foword(Back),Horizontal(vertical),Field 、frame motion type 、field motion type 、motion vector count 、motion horizontal forward 、motion vertical forward 、motion vertical field select for、forward hor r size、forward ver r size、backward hor r size 、backward ver r size 、forward f code and backward f codeであり、動きベクトル量の算出、判別に利用される。
図１、図１１〜図１３は、垂直方向に延長するブロック境界に対する境界強度判定情報ＢＳＭの生成処理手順を示すフローチャートである。従ってこの処理手順で生成される境界強度判定情報ＢＳＭは、デブロッキングフィルタ４０において、水平方向のフィルタリング処理に使用される。なおこの図１、図１１〜図１３の処理手順では、図１０において符号Ｃで示すように、処理対象のＤＣＴブロックの属するマクロブロックをＱＭとし、このマクロブロックＱＭの水平方向、ラスタ走査開始端側に隣接するマクロブロックをＰＭとする。またこのマクロブロックＰＭ及びＱＭの設定に対応して処理対象のＤＣＴブロックをＱとし、このＤＣＴブロックＱの左側に隣接するＤＣＴブロックをＰとする。
ブロックノイズ低減情報生成部４１Ｂは、例えばラスタ走査順に画像データを順次選択し、この選択した画像データがＤＣＴブロックの左端側のＤＣＴブロック境界に隣接する画像データの場合、この処理手順を実行して境界強度判定情報ＢＳＭを設定する。
ブロックノイズ低減情報生成部４１Ｂは、この処理手順を開始するとステップＳＰ１からステップＳＰ２に移り（図１１）、マクロブロックＰＭ及びＱＭの何れかが、IntraCodedか否か判断する。ここでIntraCodedの場合、InterCodedの場合に比してブロックノイズが発生し易いことから、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２で肯定結果が得られると、ステップＳＰ２からステップＳＰ３に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。
ここでマクロブロック間では量子化係数が異なる可能性があることから、ブロックノイズは、ＤＣＴブロック境界がマクロブロック境界に一致しない場合に比して、ＤＣＴブロック境界がマクロブロック境界に一致する場合に激しくなる可能性が高い。そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３で肯定結果が得られると、ステップＳＰ３からステップＳＰ４に移り、境界強度判定情報ＢＳＭを値４に設定した後、この処理手順を終了する。
これに対してステップＳＰ３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３からステップＳＰ５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、IntraCodedか否か判断し、肯定結果が得られると、ステップＳＰ５からステップＳＰ６に移って境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。これに対してステップＳＰ５で否定結果が得られると、ステップＳＰ５からステップＳＰ７に移って境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。
これに対してステップＳＰ２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２からステップＳＰ８に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＰＭ及びＱＭのＤＣＴモードが異なるか否か判断する。ここでＤＣＴモードは、MPEG-2で定義されているものの、H.264/AVC では定義されていない。MPEG-2では、フレーム構造においてマクロブロック単位でＤＣＴモードをframeDCTとfieldDCTとで切り換えることができ、フィールド構造ではfieldDCTが適用される。ここでマクロブロックＱＭ及びＰＭでＤＣＴモードが異なる場合、当然のことながら直交変換処理の単位が異なることにより、ブロックノイズが発生し易くなる。そこでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭでＤＣＴモードが異なる場合には、デブロッキングフィルタ４０のフィルタリング強度が強くなるように、境界強度判定情報ＢＳＭを設定する。
すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８で肯定結果が得られると、ステップＳＰ８からステップＳＰ９（図１２）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこの図１１の例では、この判定基準値を１／２画素精度で６単位（３画素）とする。ここでこの絶対差分値が大きい場合、動きの激しい画像であり、マクロブロックＱＭ及びＰＭの予測値の生成に使用される参照画像データが、遠く離れた関連性の低い画像データであると言え、この場合、ブロックノイズが発生し易くなる。
そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９で肯定結果が得られると、ステップＳＰ９からステップＳＰ１０に移る。またこのステップＳＰ１０において、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０からステップＳＰ１１に移り、境界強度判定情報ＢＳＭを値４に設定した後、この処理手順を終了する。
またステップＳＰ１０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０からステップＳＰ１２に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここでＤＣＴ係数を有していない場合、当該マクロブロックは、他のマクロブロックのコピー又は参照ブロックである。そこでステップＳＰ１２で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１２からステップＳＰ１３に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。またステップＳＰ１２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１２からステップＳＰ１４に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。
これに対してステップＳＰ９で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９からステップＳＰ１５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１５からステップＳＰ１６に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
またステップＳＰ１５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１５からステップＳＰ１７に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１７からステップＳＰ１８に移り、境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。またステップＳＰ１７で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１７からステップＳＰ１９に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
これに対してステップＳＰ８で否定結果が得られると（図１１）、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８からステップＳＰ２０に移る（図１３）。ブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ２０において、マクロブロックＱＭ及びＰＭの何れかがＤＣＴ係数を有しているか否か判断する。ここでマクロブロックがＤＣＴ係数を有している場合は、符号化されたＤＣＴブロックが設けられていることから、ブロックノイズの発生確率が高くなる。そこでブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ２０で肯定結果が得られると、ステップＳＰ２０からステップＳＰ２１に移る。
このステップＳＰ２１において、ブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭがスキップドマクロブロックであるか否か判断する。ここでスキップドマクロブロックは、MPEG-2で定義されているものの、H.264/AVC では定義されていないモードである。スキップドマクロブロックである場合、水平方向の直前マクロブロックをコピーして画像データが復号される方法などが採用されることから、ブロックノイズの発生確率が極めて小さいと言える。そこでブロックノイズ低減情報生成部４１Ｂは、この場合はフィルタリング処理しないように境界強度判定情報ＢＳＭを設定する。すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２１で肯定結果が得られると、ステップＳＰ２１からステップＳＰ２２に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ２１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２１からステップＳＰ２３に移り、ステップＳＰ９と同様にして動きベクトルの絶対差分値を判定する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２３からステップＳＰ２４に移り、ステップＳＰ１０と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２４からステップＳＰ２５に移り、境界強度判定情報ＢＳＭを値４に設定した後、この処理手順を終了する。
またステップＳＰ２４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２４からステップＳＰ２６に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。またステップＳＰ２３で否定結果が得られると、ステップＳＰ２３からステップＳＰ２７に移り、ステップＳＰ２４と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２７からステップＳＰ２８に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。またステップＳＰ２７で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２７からステップＳＰ２９に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。
これに対してステップＳＰ２０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２０からステップＳＰ３０（図１）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの予測モードが異なるか否か判断する。なおこのステップＳＰ３０では、動きベクトル及び予測モードの情報について上述した６つの予測モードについて、予測モードが一致するか否か判断する。
ここでこれら６つの予測モードは、MPEG-2では定義されているものの、H.264/AVC では定義されていない。マクロブロックＱＭ及びＰＭで予測モードが異なる場合、参照する参照画像データの関連性が低くなることからブロックノイズの発生確率が高くなる。そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０で肯定結果が得られると、境界強度判定情報ＢＳＭを値２又は値０に設定するのに対し、ステップＳＰ３０で否定結果が得られると、境界強度判定情報ＢＳＭを値１又は値０に設定する。
すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０で肯定結果が得られると、ステップＳＰ３０からステップＳＰ３１に移り、ステップＳＰ２４と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３１からステップＳＰ３２に移り、境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。またステップＳＰ３１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３１からステップＳＰ３３に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
これに対してステップＳＰ３０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０からステップＳＰ３４に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭで予測方向が異なるか否か判断する。ここで予測方向が異なる場合、参照する参照画像データの関連性が２つのマクロブロックＰＭ及びＱＭで低くなることからブロックノイズの発生確率が高まることになる。
そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３４で肯定結果が得られると、ステップＳＰ３４からステップＳＰ３５に移り、ステップＳＰ３１と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３５からステップＳＰ３６に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。またステップＳＰ３５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３５からステップＳＰ３７に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ３４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３４からステップＳＰ３９に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこのステップＳＰ３９における判定基準値は、ステップＳＰ９、ステップＳＰ２３における判定基準値に比して小さな値に設定される。より具体的に、この図１の例では、この判定基準値を１／２画素精度で２単位（１画素）とする。
このステップＳＰ３９で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３９からステップＳＰ４０に移り、ステップＳＰ３５と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ４０からステップＳＰ４１に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。またステップＳＰ４０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ４０からステップＳＰ４２に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ３９で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３９からステップＳＰ４３に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
従ってデブロッキングフィルタ４０は、水平方向に対しては、８画素×８画素のブロック単位でフィルタリング処理する動作モードである８×８モードにより、画像データをフィルタリング処理してブロックノイズを低減する。
図１４〜図１７は、水平方向に延長するブロック境界に対する境界強度判定情報ＢＳＭの生成処理手順を示すフローチャートである。従ってこの処理手順で生成される境界強度判定情報ＢＳＭは、デブロッキングフィルタ４０において、垂直方向のフィルタリング処理に使用される。なおこの図１４〜図１７の処理手順では、図１０において符号Ｄで示すように、処理対象のＤＣＴブロックの属するマクロブロックＱＭに対して、垂直方向、ラスタ走査開始端側に隣接するマクロブロックをＰＭとする。またこのマクロブロックＰＭ及びＱＭの設定に対応して処理対象のＤＣＴブロックをＱとし、ＤＣＴブロックＱの上側に隣接する隣接ＤＣＴブロックをＰとする。
ここでMPEG-2では、H.264/AVC では定義されてないフィールド構造が定義されている。このフィールド構造では、１フィールドが１つのピクチャーに設定されて、フィールドを単位にして予測値が生成され、またフィールドＤＣＴにより符号化処理される。またMPEG-2では、このフィールド構造に対してフレーム構造が定義されており、フレーム構造では、フィールド又はフレームを単位にして予測値が生成され、またフィールドＤＣＴ又はフレームＤＣＴにより符号化処理される。なお図１８では、ハッチングによりフィールドの異同を示す。
ここで図１８（Ａ）により示すように、MPEG-2では、フレーム構造によりフレームＤＣＴで符号化処理した場合、符号Ｆで示すＤＣＴブロックの境界でブロックノイズが発生する。しかしながらフィールドＤＣＴで符号化処理した場合、符号Ｅで示すように、フィールドＤＣＴ構造をフレームＤＣＴ構造で表現した場合に、ＤＣＴブロックの境界間における垂直方向の中央のライン間を間に挟んだ上下で、直交変換処理の相違によりブロックノイズが発生する場合がある。
そこでこの実施例では、垂直方向については、フィールドＤＣＴ構造をフレームＤＣＴ構造に直した後に、４画素×４画素のブロック単位でフィルタリング処理を実行する４×４モードによりデブロッキングフィルタ４０を動作させて、この中央のライン間についてもブロックノイズを抑圧する。そのためブロックノイズ低減情報生成部４１Ｂは、このライン間についても、境界強度判定情報ＢＳＭを設定する。なお図１４〜図１７において、単にＢＳＭ値のみ記載しているステップは、ＤＣＴブロック境界に対する境界強度判定情報ＢＳＭの値を示すものであり、ＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭについては、フィルタリング処理しない場合を指示する値０に設定される。またこの２箇所に対する境界強度判定情報ＢＳＭの設定を「ＡＬＬ」により示す。またＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭは、適宜、「その他」で示す。
ブロックノイズ低減情報生成部４１Ｂは、例えばラスタ走査順に画像データを順次選択し、この選択した画像データがＤＣＴブロックの上端側のＤＣＴブロック境界に隣接する画像データの場合、この処理手順を実行して垂直方向の境界強度判定情報ＢＳＭを設定する。
ブロックノイズ低減情報生成部４１Ｂは、この処理手順を開始するとステップＳＰ５１からステップＳＰ５２に移り（図１４）、マクロブロックＰＭ及びＱＭの何れかが、IntraCodedか否か判断する。ここでIntraCodedの場合、InterCodedの場合に比してブロックノイズが発生し易いことから、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５２で肯定結果が得られると、ステップＳＰ５２からステップＳＰ５３に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。
ここでブロックノイズは、ＤＣＴブロック境界がマクロブロック境界に一致しない場合に比して、ＤＣＴブロック境界がマクロブロック境界に一致する場合に激しくなる可能性が高い。そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５３で肯定結果が得られると、ステップＳＰ５３からステップＳＰ５４に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値４に設定すると共に、ＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
これに対してステップＳＰ５３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５３からステップＳＰ５５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、IntraCodedか否か判断し、肯定結果が得られると、ステップＳＰ５５からステップＳＰ５６に移る。
ブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ５６において、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ５６で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５６からステップＳＰ５７に移り、処理対象ＤＣＴブロックＱのブロック境界、当該ＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
またブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５６で否定結果が得られると、ステップＳＰ５６からステップＳＰ５８に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ５５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５５からステップＳＰ５９に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ５９で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５９からステップＳＰ６０に移り、処理対象ＤＣＴブロックＱのブロック境界及び当該ＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。
またブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５９で否定結果が得られると、ステップＳＰ５９からステップＳＰ６１に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値２に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
これに対してステップＳＰ５２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５２からステップＳＰ６２に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＰＭ及びＱＭのＤＣＴモードが異なるか否か判断する。ここでマクロブロックＱＭ及びＰＭでＤＣＴモードが異なる場合、ブロックノイズが発生し易くなることから、ブロックノイズ低減情報生成部４１Ｂは、デブロッキングフィルタ４０のフィルタリング強度が強くなるように、境界強度判定情報ＢＳＭを設定する。
すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６２で肯定結果が得られると、ステップＳＰ６２からステップＳＰ６３（図１５）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこの図１５の例では、この判定基準値を１／２画素精度で６単位（３画素）とする。
そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６３で肯定結果が得られると、ステップＳＰ６３からステップＳＰ６４に移る。またこのステップＳＰ６４において、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６４からステップＳＰ６５に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値４に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ６４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６４からステップＳＰ６６に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６６からステップＳＰ６７に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ６７で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６８に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
またステップＳＰ６７で否定結果が得られると、ステップＳＰ６７からステップＳＰ６９に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ６６で否定結果が得られると、ステップＳＰ６６からステップＳＰ７０に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ６３で否定結果が得られると、ステップＳＰ６３からステップＳＰ７１に移り、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７１からステップＳＰ７２に移り、処理対象ＤＣＴブロックＱのブロック境界に対する境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ７１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７１からステップＳＰ７３に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７３からステップＳＰ７４に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ７４で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７５に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。
またこのステップＳＰ７４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７６に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値２に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ７３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７３からステップＳＰ７７に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ６２で否定結果が得られると（図１４）、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６２からステップＳＰ７８に移る（図１６）。ブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ７８において、マクロブロックＱＭ及びＰＭの何れかがＤＣＴ係数を有しているか否か判断する。ここでステップＳＰ７８で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７８からステップＳＰ７９に移る。
このステップＳＰ７９において、ブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭがスキップドマクロブロックであるか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７９からステップＳＰ８０に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ７９で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７９からステップＳＰ８１に移り、ステップＳＰ６３と同様にして動きベクトルの絶対差分値を判定する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８１からステップＳＰ８２に移り、ステップＳＰ７１と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８２からステップＳＰ８３に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値４に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ８２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８２からステップＳＰ８４に移り、マクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここでステップＳＰ８４で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８４からステップＳＰ８５に移る。
ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱがフィールドＤＣＴ構造か否か判断する。このステップＳＰ８５で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８６に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
またこのステップＳＰ８５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８７に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ８４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８４からステップＳＰ８８に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ８１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８１からステップＳＰ９０に移り、ステップＳＰ８２と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９０からステップＳＰ９１に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ９０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９０からステップＳＰ９２に移り、マクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここでステップＳＰ９２で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９２からステップＳＰ９３に移る。
ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱがフィールドＤＣＴ構造か否か判断する。このステップＳＰ９３で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９４に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。
またこのステップＳＰ９３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９５に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値１に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ９２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９２からステップＳＰ９６に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
これに対してステップＳＰ７８で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７８からステップＳＰ９７（図１７）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０と同様に、マクロブロックＱＭ及びＰＭの予測モードが異なるか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９７からステップＳＰ９８に移り、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９８からステップＳＰ９９に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値２に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ９８で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９８からステップＳＰ１００に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
これに対してステップＳＰ９７で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９７からステップＳＰ１０１に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭで予測方向が異なるか否か判断する。
ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０１からステップＳＰ１０２に移り、ステップＳＰ９８と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０２からステップＳＰ１０３に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値１に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ１０２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０２からステップＳＰ１０４に移り、処理対象ＤＣＴブロックＱのブロック境界及びＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ１０１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０１からステップＳＰ１０５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこのステップＳＰ１０５における判定基準値は、ステップＳＰ６３、ステップＳＰ８１における判定基準値に比して小さな値に設定される。より具体的に、この図１７の例では、この判定基準値を１／２画素精度で２単位（１画素）とする。
このステップＳＰ１０５で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０５からステップＳＰ１０６に移り、ステップＳＰ１０２と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０６からステップＳＰ１０７に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値１に設定すると共に、ＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ１０６で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０６からステップＳＰ１０８に移り、処理対象ＤＣＴブロックＱのブロック境界及びＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
またステップＳＰ１０５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０５からステップＳＰ１０９に移り、処理対象ＤＣＴブロックＱのブロック境界及びＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
従ってMPEG-2でも、境界強度判定情報ＢＳＭは、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置に応じて設定され、さらにMPEG-2でのみ発生する隣接する直交変換処理単位で予測モードが異なる場合等の条件に応じてフィルタリングの強度が変化するように設定される。
（２）実施例の動作
以上の構成において、この復号装置３１（図２）では、H.264/AVC のビットストリームＳ２を処理する場合、このビットストリームＳ２がエントロピー復号部３２でエントロピー復号処理される。ビットストリームＳ２は、このエントロピー復号部３２の出力データに基づいて、符号化時の処理に対応して、１６画素×１６画素、８画素×１６画素等の予測値生成単位で動き補償部３４及びイントラ予測部３６でそれぞれインター符号化時及びイントラ符号化時の予測値が生成される。またビットストリームＳ２は、逆量子化部３７において、エントロピー復号部３２の出力データが４画素×４画素の直交変換処理単位であるＤＣＴブロック単位で逆直交変換処理された後、逆ディスクリートコサイン変換部３８で順次処理されて予測誤差が復号され、この予測誤差が加算部３９で動き補償部３４、イントラ予測部３６で生成された予測値と加算されて画像データが復号される。
ビットストリームＳ２は、この復号された画像データのブロックノイズが、続くデブロッキングフィルタ４０で除去された後、フレームメモリ３５を介して出力される。ビットストリームＳ２は、ブロックノイズ低減情報生成部４１Ａにおいて、ビットストリームに設定された各種パラメータからブロックノイズを除去するＤＣＴブロックの位置情報ＤＰが求められる。またブロックノイズ低減情報生成部４１Ａにおいて、同様にして隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置関係等に応じて、フィルタリング強度を指示する境界強度判定情報ＢＳが設定され（図３及び図４）、さらに各マクロブロックにおける量子化パラメータＱＰが検出される。
ビットストリームＳ２は、これら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰがデブロッキングフィルタ４０に出力され、デブロッキングフィルタ４０において、これら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰに基づいて、垂直方向及び水平方向に適応的に強度を可変してフィルタリング処理が実行される（（１）式〜（１４）式、図５、図６）。その結果、ビットストリームＳ２は、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置等に応じてフィルタリングの強度が動的に設定され、画像データの高域成分の劣化を有効に回避してブロックノイズ成分のみが抑圧される。その結果、この復号装置３１では、画質の劣化を有効に回避してブロックノイズを低減することができる。
これに対してMPEG-2のビットストリームＳ１を処理する場合、復号装置３１では、同様にこのビットストリームＳ１がエントロピー復号部３２でエントロピー復号処理される。ビットストリームＳ１は、このエントロピー復号部３２の出力データに基づいて、符号化時の処理に対応して、１６画素×１６画素の予測値生成単位で動き補償部３４及びイントラ予測部３６でそれぞれインター符号化時及びイントラ符号化時の予測値が生成される。またビットストリームＳ１は、逆量子化部３７において、エントロピー復号部３２の出力データが８画素×８画素のＤＣＴブロック単位で逆直交変換処理された後、逆ディスクリートコサイン変換部３８で順次処理されて予測誤差が復号され、この予測誤差が加算部３９で動き補償部３４、イントラ予測部３６で生成された予測値と加算されて画像データが復号される。
ビットストリームＳ１は、この復号された画像データのブロックノイズが、続くデブロッキングフィルタ４０で除去された後、フレームメモリ３５を介して出力される。
しかしながらMPEG-2では、デブロッキングフィルタ４０の使用が予定されていないことにより、H.264/AVC のビットストリームＳ２のように、ビットストリームＳ１中に、デブロッキングフィルタ４０の制御に必要な位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰ等を設定するための情報が含まれていない。従って、直には、デブロッキングフィルタ４０を使用してビットストリームＳ１のブロックノイズを除去することが困難となる。
そこでこの復号装置３１では、ビットストリームＳ１を処理する場合、ブロックノイズ低減情報生成部４１Ｂにおいて、位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰに対応する位置情報ＤＰＭ、境界強度判定情報ＢＳＭ、量子化パラメータＱＰＭが設定され、これら位置情報ＤＰＭ、境界強度判定情報ＢＳＭ、量子化パラメータＱＰＭによりデブロッキングフィルタ４０でブロックノイズが除去される。
より具体的に、ビットストリームＳ１から１画面を構成するマクロブロック数、水平方向及び垂直方向のマクロブロック数が検出され、これらの検出結果から処理対象のＤＣＴブロックが属するマクロブロックの位置が検出される。またこの検出結果に基づいて位置情報ＤＰＭが生成される（図７）。
またH.264/AVC とMPEG-2とでは、量子化の特性が異なることから、H.264/AVC の量子化の特性に対応するように量子化スケールコードQ SCALE が処理されて量子化パラメータＱＰＭが生成される（（１５）式〜（１７）式、図９）。
またヘッダ等に設定された各種の情報に基づいて各マクロブロックのピクチャータイプ等が検出され、検出結果に基づいて、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置等に応じて境界強度判定情報ＢＳＭが設定される（図１、図９〜図１７）。
その結果、この復号装置３１では、H.264/AVC 用のデブロッキングフィルタ４０を使用してMPEG-2の復号結果からブロックノイズを除去することができる。またこの場合も、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置等に応じてフィルタリングの強度を動的に設定してブロックノイズを除去することができ、その結果、画質の劣化を有効に回避してブロックノイズを低減することができる。
しかしながらMPEG-2では、H.264/AVC では定義されてないフィールド構造が定義されており、このフィールド構造では、フィールド予測、フィールドＤＣＴにより符号化処理される。またMPEG-2では、このフィールド構造に対してフレーム構造が定義されており、フレーム構造では、フィールド予測又はフレーム予測、フィールドＤＣＴ又はフレームＤＣＴにより符号化処理される。
従ってこれらフィールド構造等を考慮してデブロッキングフィルタ４０を制御すれば、一段と画質劣化を有効に回避してブロックノイズを低減することができる。
そこでこの復号装置３１では、それぞれ垂直方向及び水平方向のブロック境界に対する境界強度判定情報ＢＳＭを設定する際に、隣接するＤＣＴブロックとの間でＤＣＴモードが一致するか否か判定される（図１１、ステップＳＰ８及び図１４、ステップＳＰ６２）。また隣接するＤＣＴブロックとの間でＤＣＴモードが異なる場合には、直交変換処理の単位が異なることにより、ブロックノイズが発生し易くなる。そこで復号装置３１では、隣接するＤＣＴブロックとの間でＤＣＴモードが異なる場合、ＤＣＴモードが一致する場合に比してフィルタリング強度が強くなるように境界強度判定情報ＢＳＭが設定される。その結果、この復号装置３１では、直交変換処理のモードの相違によるブロックノイズを目立たなくすることができ、MPEG-2に固有のブロックノイズを低減することができる。
また復号装置３１では、処理対象のＤＣＴブロックが属するマクロブロックが、スキップドマクロブロックであるか否か判定され（図１３、ステップＳＰ２１及び図１６、ステップＳＰ７９）、スキップドマクロブロックである場合、フィルタリング処理しないように境界強度判定情報ＢＳＭが設定される（図１３、ステップＳＰ２２及び図１６、ステップＳＰ８０）。その結果、復号装置３１では、MPEG-2に固有のスキップドマクロブロックでは、不必要に高域を抑圧しないようにし、画質劣化を有効に回避することができる。
また復号装置３１では、隣接するＤＣＴブロックの属するマクロブロックとの間で、予測モードが一致するか否か判定される（図１、ステップＳＰ３０及び図１７、ステップＳＰ９７）。ここで隣接するＤＣＴブロックとの間で予測モードが異なる場合には、参照する参照画像データの関連性が低くなることからブロックノイズの発生確率が高くなる。そこで復号装置３１では、隣接するＤＣＴブロックの属するマクロブロックとの間で、予測モードが異なる場合、予測モードが一致する場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報ＢＳＭが設定される。その結果、この復号装置３１では、予測モードの相違によるブロックノイズを目立たなくすることができ、MPEG-2に固有のブロックノイズを低減することができる。
ところでH.264/AVC では、４画素×４画素のブロックを基本として直交変換処理するのに対し、MPEG-2では、８画素×８画素のブロックを基本として直交変換処理する。デブロッキングフィルタ４０におけるフィルタリング処理は、この直交変換処理単位であるＤＣＴブロックの境界に対するフィルタリング処理であることから（図３）、MPEG-2のビットストリームＳ１を処理する場合、デブロッキングフィルタ４０では、水平方向及び垂直方向にそれぞれ８画素単位で出現するＤＣＴブロック境界でフィルタリング処理すればブロックノイズを抑圧できることになる。
しかしながら垂直方向についてフィールド構造による場合を考察すると、フィールド構造の場合には、最終的に表示されるラスタ表示順に直したフレームＤＣＴ構造で表現した場合に、ＤＣＴブロックの境界間における垂直方向の中央のライン間を間に挟んだ上下で、直交変換処理の相違によりブロックノイズが発生する（図１８）。従ってＤＣＴブロックの境界に加えて、ＤＣＴブロックの境界間における垂直方向の中央ライン間でもブロックノイズが発生することになる。このブロックノイズは、復号されたインターレース方式によるビデオ信号において、画像表示して時間軸方向で観察されるブロックノイズであり、フィールド構造が定義されたMPEG-2に固有のブロックノイズであると言える。
そこで復号装置３１では、垂直方向に延長するＤＣＴブロック境界に対するフィルタリング処理については、H.264/AVC における８画素×８画素の処理モードである８×８モードでフィルタリング処理し、水平方向に延長するＤＣＴブロック境界に対するフィルタリング処理については、H.264/AVC における４画素×４画素の処理モードである４×４モードでフィルタリング処理し、ＤＣＴブロックの境界間における垂直方向の中央のライン間で発生するブロックノイズについても除去可能にデブロッキングフィルタ４０を動作させる。
またこのデブロッキングフィルタ４０の設定に対応して、ブロックノイズ低減情報生成部４１Ｂでは、水平方向に延長するＤＣＴブロック境界に対する境界強度判定情報ＢＳＭについては、併せてＤＣＴブロックの境界間における垂直方向の中央のライン間に対しても境界強度判定情報ＢＳＭを設定する。またフィールドＤＣＴ構造か否か判定し（図１５、ステップＳＰ６７及び図１６、ステップＳＰ８５、ステップＳＰ９３）、フィールドＤＣＴ構造の場合には、このライン間でもフィルタリングするように境界強度判定情報ＢＳＭを設定する。
その結果、復号装置３１では、この場合も、MPEG-2に固有のフィールド構造によるブロックノイズを低減することができ、一段と画質の劣化を有効に回避してMPEG-2に固有のブロックノイズを低減することができる。
（３）実施例の効果
以上の構成によれば、隣接する予測値生成単位とのイントラ符号化及びインター符号化の異同、及び予測値の生成単位の境界に対する直交変換処理単位の境界に応じて、境界強度判定情報を設定し、隣接する直交変換処理単位で予測モードが異なる場合には、フィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
また処理対象の直交変換処理単位が属する予測値生成単位がスキップドマクロブロックである場合、フィルタリング処理しないように、境界強度判定情報を設定することにより、MPEG-2に固有のスキップドマクロブロックでは、不必要に高域を抑圧しないようにし、画質劣化を有効に回避することができる。
また隣接する直交変換処理単位とで直交変換処理のモードが異なる場合、モードが同一の場合に比してフィルタリング強度が強くなるように、境界強度判定情報を設定することにより、直交変換処理のモードの相違によるブロックノイズを目立たなくすることができ、MPEG-2に固有のブロックノイズを低減することができる。
またデブロッキングフィルタにおける垂直方向及び水平方向のフィルタリング処理用にそれぞれ境界強度判定情報を出力し、垂直方向のフィルタリング処理については、フィールドＤＣＴ構造を、最終的に表示されるラスタ表示順に直したフレームＤＣＴ構造で表現した場合のＤＣＴブロック境界間のライン間に対しても実行できるようにし、ビットストリームがフィールド構造である場合、直交変換処理単位の境界と、境界間のライン間とでフィルタリング処理するように境界強度判定情報を設定することにより、MPEG-2に固有のフィールド構造によるブロックノイズを低減することができ、一段と画質の劣化を有効に回避してMPEG-2に固有のブロックノイズを低減することができる。
なお上述の実施例においては、フィールド構造において、ＤＣＴブロック境界間のライン間に対してもフィルタリング処理する場合について述べたが、本発明はこれに限らず、ＤＣＴタイプ（dct type）の差異を考慮して、より細かくフィルタリング処理を実行するようにしてもよい。すなわち図１９に示すように、フィールド構造の場合、処理対象のＤＣＴブロックノイズＱと、隣接するＤＣＴブロックノイズＰとが同一のマクロブロックに存在する場合であっても、これら２つのＤＣＴブロックノイズが時間的に異なるTop Field 及びBottom Fieldから作成されたブロックである場合が発生する。この場合、この２つのＤＣＴブロックノイズＰ及びＱＨは、関連性、相似性が低くなって、これらＤＣＴブロック間でブロックノイズの発生が予測される。ここでこの場合、ブロックノイズは、２ライン毎に発生することになる。そこでこの２ライン毎のライン間（破線により示す）についてもデブロッキングフィルタ４０を機能させるように構成すると共に、ＤＣＴタイプに応じて境界強度判定情報を設定することにより、MPEG-2に固有のブロックノイズを一段と確実に低減することができる。
図２０は、本発明の実施例３の符号化装置を示すブロック図である。この符号化装置５１は、MPEG-2のビットストリームＳ１とH.264/AVC のビットストリームＳ２とを生成可能な符号化装置である。符号化装置５１は、図示しないコントローラにより生成するビットストリームＳ１、Ｓ２に応じて各部の動作を切り換え、MPEG-2のビットストリームＳ１又はH.264/AVC のビットストリームＳ２を生成する。なおこの図２０において、図２の復号装置３１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
すなわちこの符号化装置５１において、画面並べ替えバッファ５２は、ピクチャータイプに応じて画像データＤ１を並べ替えて出力する。動き補償部５３及びイントラ予測部５４は、それぞれインター符号化及びイントラ符号化の予測値を生成して出力する。減算部６８は、画面並べ替えバッファ５２の出力データから動き補償部５３から出力される予測値又はイントラ予測部５４から出力される予測値を減算し、予測誤差を出力する。
直交変換部５６は、減算部６８から出力される予測誤差を直交変換処理し、量子化部５７は、直交変換部５６の出力データを量子化して出力する。エントロピー符号化部５８は、量子化部５７の出力データをエントロピー符号化し、バッファ５９は、このエントロピー符号化部５８に動きベクトルの情報等を付加してビットストリームＳ１、Ｓ２を出力する。
逆量子化部６０は、量子化部５７の出力データを逆量子化処理し、逆直交変換部６１は、量子化部５７の出力データを逆直交変換処理して予測誤差値を復号する。加算部６２は、この逆直交変換部６１で復号された予測誤差に予測値を加算して画像データＤ１を復号する。符号化装置５１は、この加算部６２で復号された画像データのブロックノイズをデブロッキングフィルタ４０で除去した後、フレームメモリ６４に参照画像データとして格納する。
この符号化装置５１は、ブロックノイズ低減情報生成部４１Ａ、４１Ｂでそれぞれ位置情報ＤＰ、ＤＰＭ、境界強度判定情報ＢＳ、ＢＳＭ、量子化パラメータＱＰ、ＱＰＭを設定し、これら位置情報ＤＰ、ＤＰＭ、境界強度判定情報ＢＳ、ＢＳＭ、量子化パラメータＱＰ、ＱＰＭをデブロッキングフィルタ４０に出力する。なおブロックノイズ低減情報生成部４１Ａ、４１Ｂでは、復号装置３１と同様に、ビットストリームＳ１、Ｓ２からこれらの位置情報ＤＰ、ＤＰＭ、境界強度判定情報ＢＳ、ＢＳＭ、量子化パラメータＱＰ、ＱＰＭを設定してもよく、直交変換部５６等から生成に必要な情報を取得して生成してもよい。またこれらMPEG-2用に生成した位置情報ＤＰＭ、境界強度判定情報ＢＳＭ、量子化パラメータＱＰＭをビットストリームＳ１により復号装置に伝送するようにしてもよい。
この実施例によれば、符号化装置に適用して実施例１と同様の効果を得ることができる。
なお上述の実施例においては、H.264/AVC 及びMPEG-2の双方に対応可能な復号装置及び符号化装置に本発明を適用する場合について述べたが、本発明はこれに限らず、MPEG-2のみに対応可能な復号装置及び符号化装置、さらにはMPEG-2と、H.264/AVC 以外の他の方式との双方に対応可能な復号装置及び符号化装置等にも広く適用することができる。
また上述の実施例においては、H.264/AVC 用のデブロッキングフィルタを用いてMPEG-2のビットストリームを処理する場合等について述べたが、本発明はこれに限らず、H.264/AVC と同種の符号化方法に適用されるデブロッキングフィルタを用いて、MPEG-2と同種の符号化方法によるビットストリームを処理する場合にも広く適用することができる。
本発明は、例えばMPEG-2及びMPEG-4 Part10 AVC のビットストリームを復号可能な復号装置に適用することができる。
本発明の実施例１の復号装置のブロックノイズ低減情報生成部の処理手順を示すフローチャートである。 本発明の実施例１の復号装置を示すブロック図である。 図１の復号装置におけるデブロッキングフィルタの動作の説明に供する略線図である。 図１の復号装置における境界強度判定情報の説明に供する図表である。 図４の境界強度判定情報によるフィルタリングの説明に供する図表である。 図５のindex Ａ、index Ｂを示す図表である。 図１の復号装置における位置情報の説明に供する図表である。 ブロックノイズの説明に供する略線図である。 量子化の特性を示す特性曲線図である。 処理対象ＤＣＴブロックに属するマクロブロックと隣接マクロブロックとの関係を示す図である。 図１の続きの処理手順を示すフローチャートである。 図１１の続きの処理手順を示すフローチャートである。 図１２の続きの処理手順を示すフローチャートである。 本発明の実施例１の復号装置のブロックノイズ低減情報生成部における水平方向のブロック境界に対する処理手順を示すフローチャートである。 図１４の続きの処理手順を示すフローチャートである。 図１５の続きの処理手順を示すフローチャートである。 図１６の続きの処理手順を示すフローチャートである。 フィールド構造におけるブロックノイズの説明に供する略線図である。 ＤＣＴタイプによるブロックノイズの説明に供する略線図である。 本発明の実施例３の符号化装置を示すブロック図である。 従来のMPEG-2の復号装置を示すブロック図である。 従来のH.264/AVC の復号装置を示すブロック図である。 従来のMPEG-2の復号装置においてブロックノイズを除去する構成を示すブロック図である。
符号の説明
１、１１、３１……復号装置、２、１２、３２……エントロピー復号部、３、１３、３３……動き予測部、４、１４、３４、５３……動き補償部、５、１５、３５……フレームメモリ、６、１６、３６、５４……イントラ予測部、７、１７、３７、６０、６４……逆量子化部、８、１８、３８……逆ディスクリートコサイン変換部、９、１９、３９……加算部、２０、４０……デブロッキングフィルタ、４１Ａ、４１Ｂ……ブロックノイズ低減情報発生部、５１……符号化装置、５６……直交変換部、５７……量子化部、６１……逆直交変換部

Claims (15)

  1. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理装置において、
    前記ビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記画像処理装置は、
    前記予測誤差を復号する逆直交変換部と、
    前記予測値を生成する予測値生成部と、
    前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、
    前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
    前記制御部は、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理装置。
  2. 前記制御部は、
    前記ビットストリームが、スキップドマクロブロックである場合、フィルタリング処理しないように、前記境界強度判定情報を設定する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記制御部は、
    前記ビットストリームが、隣接する前記直交変換処理単位とで前記直交変換処理のモードが異なる場合、前記直交変換処理のモードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記デブロッキングフィルタは、
    垂直方向に連続する画像データをフィルタリング処理する垂直方向のフィルタリング処理と、水平方向に連続する画像データをフィルタリング処理する水平方向のフィルタリング処理とを順次実行して前記ブロックノイズを除去し、
    前記制御部は、
    前記垂直方向及び水平方向のフィルタリング処理用にそれぞれ前記境界強度判定情報を出力し、
    前記デブロッキングフィルタは、
    前記水平方向のフィルタリング処理では、前記直交変換処理単位の境界に対して前記フィルタリング処理を実行し、
    前記垂直方向のフィルタリング処理では、
    前記直交変換処理単位の境界と、前記直交変換処理単位内部のライン間とに対して前記フィルタリング処理を実行し、
    前記制御部は、
    前記ビットストリームがフレームＤＣＴ構造である場合、前記境界間のライン間に対してフィルタリング処理しないように前記垂直方向のフィルタリング処理用の前記境界強度判定情報を設定し、
    前記ビットストリームがフィールドＤＣＴ構造である場合、前記直交変換処理単位の境界と、前記直交変換処理単位内部のライン間とでフィルタリング処理するように前記境界強度判定情報を設定する
    ことを特徴とする請求項１に記載の画像処理装置。
  5. フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理装置において、
    予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成部と、
    前記予測値に基づいて前記画像データの予測誤差を生成する減算部と、
    前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換部と、
    前記直交変換部の出力データを処理して前記ビットストリームを生成するデータ処理部と、
    前記直交変換部の出力データから前記画像データを復号する復号部と、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号部で復号された画像データのブロックノイズを除去するデブロッキングフィルタと、
    前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
    前記制御部は、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理装置。
  6. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理装置において、
    前記第１のビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記第２のビットストリームは、
    フレーム単位でピクチャータイプが設定されて生成され、
    前記画像処理装置は、
    前記予測誤差を復号する逆直交変換部と、
    前記予測値を生成する予測値生成部と、
    前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、
    前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
    前記制御部は、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理装置。
  7. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法において、
    前記ビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記画像処理方法は、
    前記予測誤差を復号する逆直交変換のステップと、
    前記予測値を生成する予測値生成のステップと、
    前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法。
  8. フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法において、
    予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
    前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
    前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
    前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
    前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法。
  9. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法において、
    前記第１のビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記第２のビットストリームは、
    フレーム単位でピクチャータイプが設定されて生成され、
    前記画像処理方法は、
    前記予測誤差を復号する逆直交変換のステップと、
    前記予測値を生成する予測値生成のステップと、
    前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法。
  10. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムにおいて、
    前記ビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記画像処理方法のプログラムは、
    前記予測誤差を復号する逆直交変換のステップと、
    前記予測値を生成する予測値生成のステップと、
    前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法のプログラム。
  11. フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムにおいて、
    予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
    前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
    前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
    前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
    前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリン処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法のプログラム。
  12. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムにおいて、
    前記第１のビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記第２のビットストリームは、
    フレーム単位でピクチャータイプが設定されて生成され、
    前記画像処理方法のプログラムは、
    前記予測誤差を復号する逆直交変換のステップと、
    前記予測値を生成する予測値生成のステップと、
    前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法のプログラム。
  13. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムを記録した記録媒体において、
    前記ビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記画像処理方法のプログラムは、
    前記予測誤差を復号する逆直交変換のステップと、
    前記予測値を生成する予測値生成のステップと、
    前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
  14. フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
    前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
    前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
    前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
    前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
  15. 予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムを記録した記録媒体において、
    前記第１のビットストリームは、
    フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
    前記第２のビットストリームは、
    フレーム単位でピクチャータイプが設定されて生成され、
    前記画像処理方法のプログラムは、
    前記予測誤差を復号する逆直交変換のステップと、
    前記予測値を生成する予測値生成のステップと、
    前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
    フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
    前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
    前記制御のステップは、
    隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
    前記第１のビットストリームから前記境界強度判定情報を生成する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
JP2008032893A 2008-02-14 2008-02-14 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Pending JP2009194617A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008032893A JP2009194617A (ja) 2008-02-14 2008-02-14 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US12/369,906 US8711950B2 (en) 2008-02-14 2009-02-12 Apparatus and method for adapted deblocking filtering strength

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008032893A JP2009194617A (ja) 2008-02-14 2008-02-14 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2009194617A true JP2009194617A (ja) 2009-08-27

Family

ID=40955080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008032893A Pending JP2009194617A (ja) 2008-02-14 2008-02-14 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US8711950B2 (ja)
JP (1) JP2009194617A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086836A1 (ja) * 2010-01-12 2011-07-21 シャープ株式会社 符号化装置、復号装置、および、データ構造
WO2011129100A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 画像符号化方法および画像復号化方法
WO2013058542A1 (ko) * 2011-10-17 2013-04-25 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
WO2014051081A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1950973A4 (en) * 2005-09-26 2011-04-13 Mitsubishi Electric Corp DYNAMIC IMAGE ENCODING AND DECODING DEVICE
WO2009004985A1 (ja) 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20110116545A1 (en) * 2009-11-17 2011-05-19 Jinwen Zan Methods and devices for in-loop video deblocking
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
US8712173B2 (en) * 2010-03-12 2014-04-29 Mediatek Singapore Pte. Ltd. Methods for processing 2Nx2N block with N being positive integer greater than four under intra-prediction mode and related processing circuits thereof
AU2016201399B2 (en) * 2010-04-13 2016-11-17 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
AU2015200779B2 (en) * 2010-04-13 2015-12-24 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
JP2013524717A (ja) * 2010-04-13 2013-06-17 サムスン エレクトロニクス カンパニー リミテッド ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
JP2011259205A (ja) 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
US8787459B2 (en) 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
US9438906B2 (en) 2011-03-03 2016-09-06 Sun Patent Trust Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
JP5159927B2 (ja) * 2011-07-28 2013-03-13 株式会社東芝 動画像復号装置及び動画像復号方法
CN103947208B (zh) 2011-09-13 2017-07-07 寰发股份有限公司 减少解块滤波器的方法及装置
RU2646308C1 (ru) * 2011-10-17 2018-03-02 Кт Корпорейшен Способ декодирования видеосигнала
KR101549913B1 (ko) 2011-10-17 2015-09-03 주식회사 케이티 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
KR102094939B1 (ko) * 2011-11-25 2020-03-31 선 페이턴트 트러스트 화상 처리 방법 및 화상 처리 장치
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
US20140119446A1 (en) * 2012-11-01 2014-05-01 Microsoft Corporation Preserving rounding errors in video coding
US9106813B2 (en) * 2013-02-27 2015-08-11 Samsung Electronics Co., Ltd. Noise suppression devices and image capturing apparatuses having the same
JP2015002429A (ja) * 2013-06-14 2015-01-05 株式会社東芝 符号化装置及び監視システム
WO2016200115A1 (ko) * 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
US20230106242A1 (en) * 2020-03-12 2023-04-06 Interdigital Vc Holdings France Method and apparatus for video encoding and decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180248A (ja) * 2001-11-29 2004-06-24 Matsushita Electric Ind Co Ltd 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2007036463A (ja) * 2005-07-25 2007-02-08 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2007235931A (ja) * 2006-02-06 2007-09-13 Matsushita Electric Ind Co Ltd 画像復号化方法及び画像復号化装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009740B2 (en) * 2005-04-08 2011-08-30 Broadcom Corporation Method and system for a parametrized multi-standard deblocking filter for video compression systems
JP4643453B2 (ja) 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4643454B2 (ja) 2006-01-10 2011-03-02 株式会社東芝 動画像復号装置及び動画像復号方法
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180248A (ja) * 2001-11-29 2004-06-24 Matsushita Electric Ind Co Ltd 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP2007036463A (ja) * 2005-07-25 2007-02-08 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2007235931A (ja) * 2006-02-06 2007-09-13 Matsushita Electric Ind Co Ltd 画像復号化方法及び画像復号化装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011086836A1 (ja) * 2010-01-12 2013-05-16 シャープ株式会社 符号化装置、復号装置、および、データ構造
WO2011086836A1 (ja) * 2010-01-12 2011-07-21 シャープ株式会社 符号化装置、復号装置、および、データ構造
US9906791B2 (en) 2010-04-13 2018-02-27 Sun Patent Trust Image coding method and image decoding method
CN102835114B (zh) * 2010-04-13 2016-06-15 松下电器（美国）知识产权公司 图像解码方法及图像解码装置
CN102835114A (zh) * 2010-04-13 2012-12-19 松下电器产业株式会社 图像编码方法及图像解码方法
JPWO2011129100A1 (ja) * 2010-04-13 2013-07-11 パナソニック株式会社 画像符号化方法および画像復号化方法
WO2011129100A1 (ja) * 2010-04-13 2011-10-20 パナソニック株式会社 画像符号化方法および画像復号化方法
JP2015128311A (ja) * 2010-04-13 2015-07-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化復号化装置
JP5705833B2 (ja) * 2010-04-13 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像復号化方法
US10237553B2 (en) 2010-04-13 2019-03-19 Sun Patent Trust Image coding method and image decoding method
US10554973B2 (en) 2010-04-13 2020-02-04 Sun Patent Trust Image coding method and image decoding method
US9445129B2 (en) 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
US10834397B2 (en) 2010-04-13 2020-11-10 Sun Patent Trust Image coding method and image decoding method
JP2016059074A (ja) * 2010-04-13 2016-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化復号化装置
US9560384B2 (en) 2011-10-17 2017-01-31 Kt Corporation Method and apparatus for encoding/decoding image
US9560385B2 (en) 2011-10-17 2017-01-31 Kt Corporation Method and apparatus for encoding/decoding image
US9661354B2 (en) 2011-10-17 2017-05-23 Kt Corporation Method and apparatus for encoding/decoding image
US9661346B2 (en) 2011-10-17 2017-05-23 Kt Corporation Method and apparatus for encoding/decoding image
US9661352B2 (en) 2011-10-17 2017-05-23 Kt Corporation Method and apparatus for encoding/decoding image
US9826251B2 (en) 2011-10-17 2017-11-21 Kt Corporation Method and apparatus for encoding/decoding image
WO2013058542A1 (ko) * 2011-10-17 2013-04-25 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
GB2510078B (en) * 2011-10-17 2018-04-25 Kt Corp Method and apparatus for encoding/decoding image
GB2510078A (en) * 2011-10-17 2014-07-23 Kt Corp Method and apparatus for encoding/decoding image
WO2014051081A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JPWO2014051081A1 (ja) * 2012-09-28 2016-08-25 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Also Published As

Publication number Publication date
US8711950B2 (en) 2014-04-29
US20090207911A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
JP2009194617A (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
KR101749269B1 (ko) 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
CA2999826C (en) Apparatus and method for video motion compensation with selectable interpolation filter
US20110069752A1 (en) Moving image encoding/decoding method and apparatus with filtering function considering edges
JP5684407B2 (ja) ブロッキングアーチファクトを低減する方法、デブロッキングフィルタユニット、符号器、復号器、ユーザ機器、ネットワーク装置、コンピュータプログラム及びコンピュータプログラム記憶媒体
CN107295341B (zh) 视频编码方法
US20110150080A1 (en) Moving-picture encoding/decoding method and apparatus
KR101982824B1 (ko) 이미지들을 인코딩 및 디코딩하기 위한 방법，인코딩 및 디코딩 디바이스，및 대응하는 컴퓨터 프로그램들
KR102323427B1 (ko) 영상 부호화 방법 및 장치
US8160132B2 (en) Reducing key picture popping effects in video
WO2009123033A1 (ja) デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法
EP2145481A1 (en) Directional transforms for intra-coding
EP2080363A1 (en) Method and apparatus for adaptive noise filtering of pixel data
JP2007166522A (ja) 復号化装置及び復号化方法及びプログラム
EP2156674A1 (en) Method and apparatus for intraprediction encoding/decoding using image inpainting
WO2020216255A1 (en) Method and apparatus of encoding or decoding with mode dependent intra smoothing filter in intra prediction
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
JP5137687B2 (ja) 復号装置及び復号方法、プログラム
WO2016133865A1 (en) Inter-layer prediction for signals with enhanced dynamic range
JP2007006390A (ja) 画像処理装置、画像処理方法及びプログラム
JP2003179921A (ja) 符号化映像復号化装置
EP2870759B1 (en) Strong deblocking filtering decisions
US8306110B2 (en) Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy
WO2007094329A1 (ja) 動画像処理装置、動画像処理方法、および動画像処理プログラム
US20120155534A1 (en) Image Decoding Apparatus, Image Decoding Method and Computer Readable, Non-Transitory Storage Medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100622