JP6992351B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP6992351B2
JP6992351B2 JP2017179066A JP2017179066A JP6992351B2 JP 6992351 B2 JP6992351 B2 JP 6992351B2 JP 2017179066 A JP2017179066 A JP 2017179066A JP 2017179066 A JP2017179066 A JP 2017179066A JP 6992351 B2 JP6992351 B2 JP 6992351B2
Authority
JP
Japan
Prior art keywords
offset
block
image
unit
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017179066A
Other languages
English (en)
Other versions
JP2019054489A (ja
Inventor
秀誠 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017179066A priority Critical patent/JP6992351B2/ja
Priority to US16/123,475 priority patent/US10827172B2/en
Publication of JP2019054489A publication Critical patent/JP2019054489A/ja
Application granted granted Critical
Publication of JP6992351B2 publication Critical patent/JP6992351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
動画像を符号化する情報処理装置は、Ｈ．２６４またはＨＥＶＣ（High Efficiency Video Coding）等の符号化の規格に準拠した動画像符号化方式に基づいて、動画像をフレーム毎に符号化する。例えば、ＨＥＶＣでは、時間方向に階層化した時間階層構造、ＳＡＯ（Sample Adaptive Offset）のフィルタ処理等が採用される。以下、ＳＡＯは、適応オフセットフィルタとも称される。時間階層構造では、画像をインター予測（フレーム間予測）で符号化する場合、符号化対象の画像と同じ階層または浅い階層の画像が参照画像として使用される（例えば、特許文献１参照）。また、適応オフセットフィルタは、符号化された画像を復号して生成される復号画像の画素値に、適応的に設定されたオフセットを加算する（例えば、特許文献２参照）。
特開２０１６－１４６６６７号公報 特開２０１６－２０１８２４号公報
適応オフセットフィルタを用いたフィルタ処理が実行された復号画像は、復号画像より深い階層に含まれる画像をインター予測で符号化する場合に、参照画像として参照される。ＨＥＶＣでは、適応オフセットフィルタは、例えば、エッジオフセット、バンドオフセット、オフセットを付加しないタイプ等の複数種のフィルタから選択される。なお、エッジオフセットは、処理対象の画素に隣接する画素との画素値の差に応じて、処理対象の画素の値（画素値）にオフセットを付加する。バンドオフセットは、画素値の範囲を複数の区画に分割し、特定の連続する４つの区画に属する画素値にオフセットを付加する。例えば、連続する４つの区画に符号化対象のブロック内の画素値が集中している場合、エッジオフセット等に比べて、バンドオフセットが選択されやすい。なお、符号化対象のブロックは、符号化対象の動画像のフレームを分割した複数のブロックのうちのいずれかである。また、バンドオフセットでは、符号化による誤差がランダムに発生するほど、符号化対象のブロック内の誤差を最小にするオフセットが、特定の連続する４つの区画に属する画素値に付加される。例えば、フィルタ処理後の画素値をブロック内の画素の平均値に近づけるオフセットが、特定の連続する４つの区画に属する画素値に付加される。
また、時間階層構造では、符号化対象のブロックの予測画像は、符号化対象のブロックより浅い階層のフィルタ処理後の復号画像から選択された参照画像の一部の領域である参照ブロックに基づいて生成される。なお、符号化対象のブロックが背景等の静止領域の場合、参照画像において、符号化対象の画像における符号化対象のブロックの位置と同じ位置のブロックが参照ブロックとして選択される。この場合、符号化対象のブロックは、参照ブロックと同一または同様な絵柄である。このため、符号化対象のブロックが静止領域の場合、符号化対象のブロックに対応する復号画像のフィルタ処理に用いられる適応オフセットフィルタは、参照ブロックの生成に用いられた適応オフセットフィルタと同じフィルタが選択されやすい。例えば、バンドオフセットを用いたフィルタ処理により参照ブロックが生成された場合、符号化対象のブロックに対応する復号画像のフィルタ処理に用いられる適応オフセットフィルタとして、エッジオフセット等に比べて、バンドオフセットが選択されやすい。したがって、符号化対象のブロックが静止領域の場合、複数の階層の各々において、符号化対象のブロックと同じ位置の静止領域の画像に対してバンドオフセットを用いたフィルタ処理が実行される場合がある。
時間階層構造の複数の階層で、符号化対象のブロックと同じ位置の画像に対してバンドオフセットを用いたフィルタ処理が繰り返し実行されることにより、符号化、復号およびフィルタ処理が実行された後の符号化対象のブロック内の各画素の値が平均化される。符号化対象のブロック内の各画素の値が平均化されることにより、符号化対象のブロック内のテクスチャが消失し、符号化対象のブロックを含む画像にブロック歪みが発生する場合がある。この場合、符号化した画像を復号して生成される画像の画質は、ブロック歪みの発生を抑制した場合に比べて低下する。
１つの側面では、本発明は、時間階層構造において、バンドオフセットを用いたフィルタ処理が繰り返されることによる画質の低下を抑制することを目的とする。
１つの実施態様では、動画像を時間方向に階層化してフレーム毎に符号化する情報処理装置は、符号化部と、復号部と、評価値算出部と、静止領域判定部と、調整部と、フィルタ実行部とを有する。符号化部は、動画像のフレーム内の各ブロックを、参照画像を用いて符号化する。復号部は、符号化されたブロックを復号して復号画像を生成する。評価値算出部は、特定の画素値にオフセットを付加するバンドオフセットを用いたフィルタ処理である第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出する。静止領域判定部は、符号化対象のブロックが静止領域であるかを判定する。調整部は、静止領域判定部により符号化対象のブロックが静止領域であると判定された場合、参照画像の時間方向の階層位置が深いほど、第１のオフセットフィルタ処理の評価値を第１のオフセットフィルタ処理の選択を抑制する方向に調整する。フィルタ実行部は、第１のオフセットフィルタ処理の調整後の評価値と、第２のオフセットフィルタ処理および第３のオフセットフィルタ処理の各々の評価値とに基づいて、複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行する。
１つの側面では、本発明は、時間階層構造において、バンドオフセットを用いたフィルタ処理が繰り返されることによる画質の低下を抑制することができる。
情報処理装置、情報処理方法および情報処理プログラムの一実施形態を示す図である。 図１に示した情報処理装置の動作の一例を示す図である。 情報処理装置、情報処理方法および情報処理プログラムの別の実施形態を示す図である。 図３に示した適応オフセットフィルタ部の一例を示す図である。 ＳＡＯタイプの一例を示す図である。 図３に示した情報処理装置の動作の一例を示す図である。
以下、実施形態について、図面を用いて説明する。以下では、画像を表示するための画像信号は、画像そのものと特に区別せずに、画像とも称される。
図１は、情報処理装置、情報処理方法および情報処理プログラムの一実施形態を示す。図１に示す情報処理装置１００は、例えば、ＨＥＶＣの規格に準拠した動画像符号化方式で動画像を時間方向に階層化してフレーム毎に符号化する。なお、情報処理装置１００は、ＨＥＶＣ以外の符号化の規格に準拠した動画像符号化方式で動画像を時間方向に階層化してフレーム毎に符号化してもよい。
図１に示すかぎ括弧内には、時間階層構造の一例を示す。図１に示す時間階層構造の横軸は、画像の表示順であり、縦軸は、階層の深さを示すＴＩＤ（Temporal ID）である。ＴＩＤが示す数字は、階層が深くなるほど増加する。図１に示す例は、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格ＳＴＤ－Ｂ３２に規定された８Ｋ１２０Ｈｚ符号化における時間階層構造を示し、階層の深さを示すＬは４である。ＡＲＩＢ標準規格ＳＴＤ－Ｂ３２では、例えば、画像の符号化順、参照関係等を記述する単位であるＳＯＰ（Set of Pictures）毎に、参照画像がピラミッド状に配置される時間階層構造が採用される。
図１に示す時間階層構造に記載した矢印は、インター予測（フレーム間予測）で符号化する場合の各画像の参照関係を示す。例えば、矢印の起点の画像は、矢印の終点の画像を参照画像として符号化される。図１に示すように、時間階層構造では、符号化対象の画像と同じ階層または浅い階層の画像が参照画像として使用される。なお、時間階層構造の矩形内に記載した符号Ｂは、前方および後方の画像を参照画像として符号化される画像（Ｂピクチャ）を示し、符号Ｐは、前方の画像を参照画像として符号化される画像（Ｐピクチャ）を示す。また、時間階層構造の矩形内に記載した符号Ｉは、イントラ予測（フレーム内予測）により符号化される画像（Ｉピクチャ）を示す。符号Ｂの後に付した数字は、符号化の順序を示す。例えば、１６枚の画像のうち、表示順が０番目から数えて１５番目の画像は、ＴＩＤが０で、Ｉピクチャ、ＰピクチャおよびＢピクチャのいずれかであり、０番目に符号化される。また、表示順が０番目の画像は、ＴＩＤがＭ（ＡＲＩＢ標準規格ＳＴＤ－Ｂ３２ではＭ＝６）のＢピクチャであり、０番目から数えて１番目に符号化される。以下では、符号化順が０番目の画像は、Ｉピクチャ、ＰピクチャおよびＢピクチャを特に区別せずに、画像Ｂ０とも称される。なお、図１に示す破線の矩形は、画像Ｂ０－Ｂ１５（実線の矩形で示す画像）を含むＳＯＰより前に符号化されるＳＯＰの画像を示す。
情報処理装置１００は、例えば、動画像符号化装置またはコンピュータ等である。例えば、情報処理装置１００は、符号化部２００、復号部２２０、静止領域判定部３００、評価値算出部３２０、調整部３４０およびフィルタ実行部３６０を有する。なお、符号化部２００、復号部２２０、静止領域判定部３００、評価値算出部３２０、調整部３４０およびフィルタ実行部３６０は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、復号部２２０、静止領域判定部３００、評価値算出部３２０、調整部３４０およびフィルタ実行部３６０は、情報処理装置１００に含まれる図示しないプロセッサが情報処理プログラムを実行することにより、実現されてもよい。なお、情報処理プログラムは、情報処理装置１００内の図示しないメモリ等の記憶装置に格納されてもよく、情報処理装置１００の外部の記憶装置に格納されてもよい。また、情報処理プログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の情報処理装置１００により読み取り可能な記録媒体ＲＥＣに格納されてもよい。この場合、記録媒体ＲＥＣに格納された情報処理プログラムは、情報処理装置１００に設けられる図示しない入出力インタフェースを介して記録媒体ＲＥＣからメモリ等に転送される。なお、情報処理装置１００は、記録媒体ＲＥＣから図示しないハードディスクに転送された後、ハードディスクからメモリに転送されてもよい。
符号化部２００は、動画像のフレーム内の各ブロックを、参照画像を用いて符号化する。例えば、符号化部２００は、符号化対象の画像（動画像のフレーム）を分割した複数のブロックのうちの符号化対象のブロックを、動画像を符号化する場合の全体の動作を制御する図示しない全体制御部から受ける。なお、符号化対象の画像は、例えば、時間階層構造に基づく符号化順（図１に示す符号Ｂの後に付した数字の順）に、全体制御部により選択される。また、符号化部２００は、符号化対象のブロックの参照画像を時間階層構造に基づいて選択し、選択した参照画像を用いてインター予測を実行する。これにより、符号化対象のブロックの予測画像が生成される。インター予測では、参照画像の一部の領域である参照ブロックとして、符号化対象のブロックに最も類似するブロックが参照画像から抽出され、参照画像から抽出された参照ブロックを用いて予測画像が生成される。なお、符号化部２００は、イントラ予測を実行して符号化対象のブロックの予測画像を生成してもよい。そして、符号化部２００は、符号化対象のブロックと予測画像との差分を示す予測誤差画像を算出し、予測誤差画像を直交変換する。さらに、符号化部２００は、直交変換した予測誤差画像を量子化し、量子化した予測誤差画像を復号部２２０に出力する。また、符号化部２００は、量子化した予測誤差画像をエントロピー符号化して図示しない動画復号装置等に出力する。量子化された予測誤差画像は、符号化されたブロックの一例である。
復号部２２０は、符号化部２００から受けた量子化された予測誤差画像（符号化されたブロック）を復号して、復号画像を生成する。例えば、復号部２２０は、量子化された予測誤差画像を逆量子化し、逆量子化した予測誤差画像を逆直交変換する。これにより、予測誤差画像が復号される。そして、復号部２２０は、復号した予測誤差画像と符号化部２００で生成された予測画像とを加算して復号画像を生成し、復号画像を評価値算出部３２０に出力する。
静止領域判定部３００は、符号化部２００に転送される符号化対象のブロックを受け、符号化対象のブロックが背景等の静止領域であるかを判定する。例えば、静止領域判定部３００は、符号化部２００で生成された予測誤差画像の各画素の値（絶対値）の和が所定値以下の場合、符号化対象のブロックが静止領域であると判定する。そして、静止領域判定部３００は、符号化対象のブロックが静止領域であるか否かの判定結果を示す情報を、調整部３４０に出力する。予測誤差画像の各画素の値（絶対値）の和は、参照画像から生成される予測画像と符号化対象のブロックとの差分に基づいて算出されるコストの一例である。
なお、静止領域の判定方法は、予測誤差画像を用いる方法に限定されない。例えば、静止領域判定部３００は、インター予測で予測画像を生成する場合に算出される動きベクトルの大きさが所定値以下の場合、符号化対象のブロックが静止領域であると判定してもよい。動きベクトルは、画像の動き量を推定する情報であり、例えば、符号化対象のブロック毎に算出される。
評価値算出部３２０は、符号化部２００に転送される符号化対象のブロックを受け、復号部２２０で復号された復号画像を受ける。そして、評価値算出部３２０は、画素値にオフセットを付加するオフセットフィルタ処理およびオフセットを画素値に付加しないオフセットフィルタ処理等の複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出する。画素値にオフセットを付加するオフセットフィルタ処理は、例えば、バンドオフセットを用いたフィルタ処理およびエッジオフセットを用いたフィルタ処理等である。
ＨＥＶＣでは、オフセットフィルタ処理の種類として、例えば、バンドオフセット、エッジオフセット、オフセットを画素値に付加しないタイプの３つのＳＡＯタイプが規定される。バンドオフセットは、画素値の範囲を複数の区画に分割し、特定の連続する４つの区画に属する画素値にオフセットを付加する。エッジオフセットは、処理対象の画素に隣接する画素との画素値の差に応じて、処理対象の画素の値（画素値）にオフセットを付加する。なお、バンドオフセットおよびエッジオフセットの詳細は、図５で説明する。
バンドオフセットを用いたフィルタ処理は、第１のオフセットフィルタ処理の一例であり、エッジオフセットを用いたフィルタ処理は、第２のオフセットフィルタ処理の一例である。また、オフセットを画素値に付加しないオフセットフィルタ処理は、第３のオフセットフィルタ処理の一例である。以下、バンドオフセットを用いたフィルタ処理の評価値は、バンドオフセットの評価値またはバンドオフセットのＳＡＯコストとも称される。また、エッジオフセットを用いたフィルタ処理の評価値は、エッジオフセットの評価値またはエッジオフセットのＳＡＯコストとも称される。
例えば、評価値算出部３２０は、各オフセットフィルタ処理が実行された場合の復号画像と、復号画像の原画である符号化対象のブロックとの誤差等に基づいて、各オフセットフィルタ処理の評価値を算出する。そして、評価値算出部３２０は、複数種のオフセットフィルタ処理の評価値のうち、バンドオフセットの評価値を調整部３４０に出力し、残りのオフセットフィルタ処理の評価値をフィルタ実行部３６０に出力する。なお、評価値算出部３２０は、残りのオフセットフィルタ処理の評価値を、調整部３４０を介してフィルタ実行部３６０に転送してもよい。
調整部３４０は、例えば、符号化対象のブロックの符号化に使用される参照画像のＴＩＤを図示しない全体制御部から取得し、参照画像の時間方向の階層位置（階層の深さ）を特定する。そして、調整部３４０は、バンドオフセットの評価値を、符号化対象のブロックが静止領域であるかの判定結果と参照画像のＴＩＤ（時間方向の階層位置）とに基づいて、バンドオフセットの選択を抑制する方向に調整する。バンドオフセットの選択を抑制する方向は、例えば、複数種のオフセットフィルタ処理のうち、評価値が最小のオフセットフィルタ処理がフィルタ実行部３６０で選択される場合、バンドオフセットの評価値が大きくなる方向である。例えば、調整部３４０は、符号化対象のブロックが静止領域の場合、参照画像のＴＩＤと所定の定数との積を、評価値算出部３２０で算出されたバンドオフセットの評価値に加算して、バンドオフセットの評価値を調整する。そして、調整部３４０は、バンドオフセットの調整後の評価値をフィルタ実行部３６０に出力する。
このように、調整部３４０は、静止領域判定部３００により符号化対象のブロックが静止領域であると判定された場合、参照画像の時間方向の階層位置（ＴＩＤ）に基づいて、バンドオフセットの評価値を調整する。なお、調整部３４０は、符号化対象のブロックが静止領域でない場合、評価値算出部３２０で算出されたバンドオフセットの評価値を調整せずにフィルタ実行部３６０に出力してもよい。
フィルタ実行部３６０は、バンドオフセットの調整後の評価値と、エッジオフセットの評価値と、オフセットを画素値に付加しない場合の評価値とに基づいて、複数種のオフセットフィルタ処理のいずれかを選択する。そして、フィルタ実行部３６０は、評価値に基づいて選択したオフセットフィルタ処理を復号画像に対して実行する。オフセットフィルタ処理が実行された復号画像は、後続の画像を符号化する場合に参照画像として使用可能であり、図示しないメモリに格納される。
ここで、図１に示す時間階層構造では、画像Ｂ１－Ｂ１５の各々の予測画像は、符号化対象のブロックより浅い階層に含まれる参照画像から選択した参照ブロックを用いて生成される。例えば、符号化対象のブロックが静止領域の場合、予測画像の生成に用いる参照ブロックとして、符号化対象のブロックより浅い階層のフィルタ処理後の復号画像から、符号化対象のブロックと同じ位置のブロックが選択される。この場合、符号化対象のブロックが参照ブロックと同一または同様な絵柄であるため、階層分だけバンドオフセットを用いたフィルタ処理が実行されるおそれがある。例えば、画像Ｂ１５内の複数のブロックのうちの第１のブロックの参照ブロックとして、画像Ｂ１４内の複数のブロックのうち、画像Ｂ１５の第１のブロックと同じ位置の第１のブロックが選択される。また、画像Ｂ１４の第１のブロックの参照ブロックとして、画像Ｂ１０内の複数のブロックのうち、画像Ｂ１４の第１のブロックと同じ位置の第１のブロックが選択される。また、画像Ｂ１０の第１のブロックの参照ブロックとして、画像Ｂ２内の複数のブロックのうち、画像Ｂ１０の第１のブロックと同じ位置の第１のブロックが選択される。また、画像Ｂ２の第１のブロックの参照ブロックとして、画像Ｂ０内の複数のブロックのうち、画像Ｂ２の第１のブロックと同じ位置の第１のブロックが選択される。そして、画像Ｂ０の第１のブロックの参照ブロックとして、画像Ｂ０－Ｂ１５を含むＳＯＰより前に符号化されるＳＯＰの画像（図１に示す破線の矩形）内の複数のブロックのうち、画像Ｂ０の第１のブロックと同じ位置の第１のブロックが選択される。この場合、画像Ｂ１５の第１のブロックに対して、バンドオフセットを用いたフィルタ処理が５回実行される。
バンドオフセットは、ブロック内の各画素の値を平均化する傾向がある。このため、静止領域のブロックに対して、バンドオフセットを用いたフィルタ処理が繰り返し実行された場合、ブロック内のテクスチャが消失し、静止領域のブロックを含む画像にブロック歪みが発生する場合がある。すなわち、バンドオフセットの評価値が調整されない場合、静止領域のブロックに対して、バンドオフセットを用いたフィルタ処理が繰り返し実行され、静止領域のブロックを含む画像にブロック歪みが発生するおそれがある。このため、情報処理装置１００は、符号化対象のブロックが静止領域の場合、バンドオフセットの評価値を、バンドオフセットの選択を抑制する方向に調整する。これにより、情報処理装置１００は、静止領域のブロックに対して、バンドオフセットを用いたフィルタ処理を繰り返し実行することを抑制でき、ブロック歪みの発生を抑制できる。この結果、情報処理装置１００は、符号化した画像を復号して生成される画像の画質を、バンドオフセットの評価値を調整しない符号化方式に比べて、向上できる。
図２は、図１に示した情報処理装置１００の動作の一例を示す。図２に示す動作は、情報処理方法の一例である。また、図２に示す動作をコンピュータ等の情報処理装置１００に実行させるためのプログラムは、情報処理プログラムの一例である。なお、図２に示す動作は、符号化対象のブロック毎に実行される。
ステップＳ１０では、符号化部２００は、図１で説明したように、符号化対象のブロックを符号化する。ステップＳ１０で符号化されたブロックは、後述するステップＳ２０で使用される他に、エントロピー符号化されて図示しない動画復号装置等に出力される。
次に、ステップＳ２０では、復号部２２０は、ステップＳ１０で符号化されたブロックを復号する。これにより、符号化対象のブロックを符号化したブロックの復号画像が生成される。
次に、ステップＳ３０では、評価値算出部３２０は、符号化対象のブロックについて、オフセットフィルタ処理の評価値を種類毎に算出する。
次に、ステップＳ４０では、静止領域判定部３００は、符号化対象のブロックが静止領域であるかを判定する。符号化対象のブロックが静止領域である場合、情報処理装置１００の動作は、ステップＳ５０に移る。一方、符号化対象のブロックが静止領域でない場合、情報処理装置１００の動作は、ステップＳ６０に移る。
ステップＳ５０では、調整部３４０は、ステップＳ３０で算出した複数種のオフセットフィルタ処理の評価値の１つであるバンドオフセットの評価値を、参照画像の時間方向の階層位置に基づいて調整する。例えば、調整部３４０は、バンドオフセットの評価値を、参照画像の時間方向の階層位置に基づいて、バンドオフセットの選択を抑制する方向に調整する。これにより、図１で説明したように、静止領域のブロックに対して、バンドオフセットを用いたフィルタ処理が繰り返し実行されることを抑制することができる。ステップＳ５０の処理が実行された後、情報処理装置１００の動作は、ステップＳ６０に移る。
ステップＳ６０では、フィルタ実行部３６０は、複数種のオフセットフィルタ処理のいずれかを、評価値に基づいて選択する。例えば、フィルタ実行部３６０は、符号化対象のブロックが静止領域でない場合、ステップＳ３０で算出された複数種のオフセットフィルタ処理の各々の評価値を比較し、最小の評価値を示すオフセットフィルタ処理を選択する。なお、フィルタ実行部３６０は、符号化対象のブロックが静止領域である場合、バンドオフセットの評価値として、ステップＳ３０で算出された評価値の代わりに、ステップＳ５０で調整された評価値を参照する。
次に、ステップＳ７０では、フィルタ実行部３６０は、ステップＳ６０で選択したオフセットフィルタ処理を、ステップＳ２０で生成した復号画像に対して実行する。オフセットフィルタ処理が実行された復号画像は、後続の画像を符号化する場合に参照画像として使用可能であり、図示しないメモリに格納される。ステップＳ７０の処理の終了により、符号化対象のブロックを符号化する場合の一連の処理は、終了する。
なお、情報処理装置１００の動作は、図２に示す例に限定されない。例えば、情報処理装置１００は、ステップＳ４０の判定をステップＳ３０の前に実行し、符号化対象のブロックが静止領域である場合、バンドオフセットの評価値の算出と調整をまとめて実行してもよい。
以上、図１および図２に示す実施形態では、情報処理装置１００は、符号化対象のブロックが静止領域である場合、複数種のオフセットフィルタ処理の評価値の１つであるバンドオフセットの評価値を、参照画像の時間方向の階層位置に基づいて調整する。これにより、符号化対象のブロックが静止領域である場合、バンドオフセットの評価値は、バンドオフセットの選択を抑制する方向に調整される。この結果、静止領域のブロックに対して、バンドオフセットを用いたフィルタ処理が繰り返し実行されることを抑制することができ、ブロック歪みの発生を抑制することができる。これにより、時間階層構造において、バンドオフセットを用いたフィルタ処理が繰り返されることによる画質の低下を抑制することができる。
図３は、情報処理装置、情報処理方法および情報処理プログラムの別の実施形態を示す。図１から図２で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図３に示す情報処理装置１０２は、例えば、動画像符号化装置またはコンピュータ等であり、ＨＥＶＣの規格に準拠した動画像符号化方式で動画像を時間方向に階層化してフレーム毎に符号化する。なお、情報処理装置１０２は、ＨＥＶＣ以外の符号化の規格に準拠した動画像符号化方式で動画像を時間方向に階層化してフレーム毎に符号化してもよい。
情報処理装置１０２は、図１に示した符号化部２００、復号部２２０および静止領域判定部３００の代わりに、符号化部２０２、復号部２２２および静止領域判定部３０２を有する。また、情報処理装置１０２は、図１に示した評価値算出部３２０、調整部３４０およびフィルタ実行部３６０の代わりに、図４に示す評価値算出部３２１、調整値算出部３２３およびフィルタ実行部３２５を含む適応オフセットフィルタ部３１０を有する。さらに、情報処理装置１０２では、復号画像記憶部１４０、デブロッキングフィルタ部２３０および符号化情報記憶部３０４が図１に示した情報処理装置１００に追加される。情報処理装置１０２のその他の構成は、図１に示した情報処理装置１００と同一または同様である。
例えば、情報処理装置１０２は、参照画像ＩＭＧｒに使用される画像を保持する復号画像記憶部１４０と、符号化部２０２と、復号部２２２と、デブロッキングフィルタ部２３０と、静止領域判定部３０２と、符号化情報記憶部３０４とを有する。さらに、情報処理装置１０２は、適応オフセットフィルタ部３１０を有する。なお、符号化部２０２、復号部２２２、デブロッキングフィルタ部２３０、静止領域判定部３０２および適応オフセットフィルタ部３１０は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、符号化部２０２、復号部２２２、デブロッキングフィルタ部２３０、静止領域判定部３０２および適応オフセットフィルタ部３１０は、情報処理装置１０２に含まれる図示しないプロセッサが情報処理プログラムを実行することにより、実現されてもよい。なお、情報処理プログラムは、情報処理装置１０２内の図示しないメモリ等の記憶装置に格納されてもよく、情報処理装置１０２の外部の記憶装置に格納されてもよい。また、情報処理プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ等の情報処理装置１０２により読み取り可能な記録媒体ＲＥＣに格納されてもよい。この場合、記録媒体ＲＥＣに格納された情報処理プログラムは、情報処理装置１０２に設けられる図示しない入出力インタフェースを介して記録媒体ＲＥＣからメモリ等に転送される。なお、情報処理装置１０２は、記録媒体ＲＥＣから図示しないハードディスクに転送された後、ハードディスクからメモリに転送されてもよい。
符号化部２０２の動作は、図１に示した符号化部２００と同一または同様である。例えば、符号化部２０２は、動き探索部２０４、動き補償画像生成部２０６、予測画像生成部２０８、差分算出部２１０、直交変換部２１２、量子化部２１４およびエントロピー符号化部２１６を有する。
動き探索部２０４は、例えば、符号化対象の画像（動画像のフレーム）を分割した複数のブロックのうちの符号化対象のブロックＩＢＬｉを、動画像を符号化する場合の全体の動作を制御する図示しない全体制御部から受ける。例えば、全体制御部は、動画像のフレームのうちの符号化対象のフレームを、時間階層構造に基づく符号化順に選択する。そして、全体制御部は、符号化対象のフレームを複数のブロックに分割し、符号化対象のフレーム内の複数のブロックの各々を符号化対象のブロックＩＢＬｉとして、動き探索部２０４に順に転送する。なお、符号化対象のブロックＩＢＬｉは、動き探索部２０４の他に、予測画像生成部２０８、差分算出部２１０および適応オフセットフィルタ部３１０に転送される。
また、動き探索部２０４は、符号化対象のブロックＩＢＬｉの参照画像ＩＭＧｒを復号画像記憶部１４０から受ける。例えば、動き探索部２０４は、時間階層構造に基づいて選択される参照画像ＩＭＧｒを、復号画像記憶部１４０から受ける。そして、動き探索部２０４は、符号化対象のブロックＩＢＬｉと参照画像ＩＭＧｒとを比較して算出した動きベクトルＭＶを、動き補償画像生成部２０６および静止領域判定部３０２等に転送する。例えば、動き探索部２０４は、参照画像ＩＭＧｒ内を探索して、符号化対象のブロックＩＢＬｉに最も類似するブロックを参照ブロックとして検出し、参照ブロックの位置を示す動きベクトルＭＶを算出する。
動き補償画像生成部２０６は、例えば、動き探索部２０４から動きベクトルＭＶを受け、動き探索部２０４による動きベクトルＭＶの算出に用いられる参照画像ＩＭＧｒを復号画像記憶部１４０から受ける。そして、動き補償画像生成部２０６は、参照画像ＩＭＧｒおよび動きベクトルＭＶに基づいて動き補償処理を実行し、動き補償画像を生成する。動き補償画像は、インター予測により生成される予測画像である。以下、動き補償画像は、インター予測の予測画像とも称される。動き補償画像生成部２０６は、インター予測の予測画像を予測画像生成部２０８に転送する。
予測画像生成部２０８は、例えば、インター予測の予測画像およびイントラ予測の予測画像のいずれかを符号化対象のブロックＩＢＬｉの予測画像ＩＭＧｐとして選択し、予測画像ＩＭＧｐを差分算出部２１０および後述する復号部２２２の加算部２２８に転送する。
例えば、予測画像生成部２０８は、復号画像記憶部１４０から受ける参照画像ＩＭＧｒと図示しない全体制御部から受ける符号化対象のブロックＩＢＬｉとを用いてイントラ予測を実行し、イントラ予測の予測画像を生成する。なお、イントラ予測では、参照画像ＩＭＧｒは、符号化対象のブロックＩＢＬｉに隣接する符号化済みのブロックを復号して生成される局所復号画像ＩＭＧｄの画素のうち、符号化対象のブロックＩＢＬｉに隣接する画素を含む画像である。
また、予測画像生成部２０８は、インター予測の予測画像と符号化対象のブロックとの互いに対応する画素の値の差分の絶対値和をインター予測のコストとして算出する。さらに、予測画像生成部２０８は、イントラ予測の予測画像と符号化対象のブロックとの互いに対応する画素の値の差分の絶対値和をイントラ予測のコストとして算出する。そして、予測画像生成部２０８は、インター予測のコストとイントラ予測のコストとを比較し、コストが小さい方の予測画像を、符号化対象のブロックＩＢＬｉの予測画像ＩＭＧｐとして選択する。
差分算出部２１０は、符号化対象のブロックＩＢＬｉと予測画像ＩＭＧｐとの差分を算出する。これにより、符号化対象のブロックＩＢＬｉと予測画像ＩＭＧｐとの差分を示す予測誤差画像ＩＭＧｐｅが生成される。差分算出部２１０は、予測誤差画像ＩＭＧｐｅを直交変換部２１２に出力する。
直交変換部２１２は、差分算出部２１０から受けた予測誤差画像ＩＭＧｐｅを直交変換して量子化部２１４に出力する。直交変換により、離散信号が周波数領域の信号に変換される。量子化部２１４は、直交変換部２１２から受けたデータを量子化する。量子化部２１４により量子化されたデータＩＭＧｃは、後述する復号部２２２の逆量子化部２２４およびエントロピー符号化部２１６に転送される。量子化されたデータＩＭＧｃ（直交変換および量子化が実行された予測誤差画像）は、符号化されたブロックの一例である。
エントロピー符号化部２１６は、量子化部２１４から受けたデータＩＭＧｃをエントロピー符号化して、ビットストリームＳＴＲＭ（符号化された画像）を生成する。そして、エントロピー符号化部２１６は、ビットストリームＳＴＲＭを図示しない動画復号装置等に出力する。
復号部２２２の動作は、図１に示した復号部２２０と同一または同様である。例えば、復号部２２２は、逆量子化部２２４、逆直交変換部２２６および加算部２２８を有する。逆量子化部２２４は、量子化部２１４から受けたデータＩＭＧｃ（符号化されたブロック）を逆量子化して逆直交変換部２２６に出力する。逆直交変換部２２６は、逆量子化部２２４から受けたデータを逆直交変換して加算部２２８に出力する。加算部２２８は、逆直交変換部２２６から受けたデータと予測画像生成部２０８から受けた予測画像ＩＭＧｐとを加算して、局所復号画像ＩＭＧｄを生成する。そして、加算部２２８は、局所復号画像ＩＭＧｄをデブロッキングフィルタ部２３０に出力する。また、局所復号画像ＩＭＧｄは、イントラ予測の参照画像として使用されるため、復号画像記憶部１４０に格納される。
デブロッキングフィルタ部２３０は、例えば、加算部２２８から受けた局所復号画像ＩＭＧｄに対して、ブロック境界を平滑化するためのデブロッキングフィルタ処理を実行する。これにより、復号画像ＩＭＧｄｆが生成される。デブロッキングフィルタ部２３０は、復号画像ＩＭＧｄｆを適応オフセットフィルタ部３１０に出力する。
静止領域判定部３０２は、図１に示した静止領域判定部３００と同一または同様である。例えば、静止領域判定部３０２は、動き補償画像生成部２０６に転送される動きベクトルＭＶを動き探索部２０４から受ける。そして、静止領域判定部３０２は、動き探索部２０４から受けた動きベクトルＭＶに基づいて、符号化対象のブロックＩＢＬｉが静止領域であるか否かを判定する。例えば、静止領域判定部３０２は、動きベクトルＭＶの大きさが所定値以下の場合、符号化対象のブロックＩＢＬｉが静止領域であると判定する。すなわち、静止領域判定部３０２は、動きベクトルＭＶ（ｍｖｘ、ｍｖｙ）と静止領域と見なす予め決められた閾値Ｓｔｈとを用いて表される式（１）を満たす場合、符号化対象のブロックＩＢＬｉが静止領域であると判定する。式（１）の符号＾は、べき乗を示す。
√（ｍｖｘ＾２＋ｍｖｙ＾２）≦Ｓｔｈ ‥‥（１）
なお、動きベクトルＭＶの大きさが所定値以下かを判定する条件式は、式（１）に限定されない。また、静止領域の判定方法は、動きベクトルＭＶを用いる方法に限定されない。例えば、静止領域判定部３０２は、インター予測のコスト等を予測画像生成部２０８から受け、予測画像生成部２０８から受けたコストが所定値以下の場合、符号化対象のブロックＩＢＬｉが静止領域であると判定してもよい。この場合、予測画像生成部２０８で算出されるインター予測のコストおよびイントラ予測のコストは、参照画像から生成される予測画像と符号化対象のブロックとの差分に基づいて算出されるコストの一例である。
符号化情報記憶部３０４は、符号化対象のブロックＩＢＬｉをインター予測で符号化する場合に使用する参照画像ＩＭＧｒの時間階層構造における階層の深さを示すＴＩＤを図示しない全体制御部から受け、参照画像ＩＭＧｒのＴＩＤを保持する。また、符号化情報記憶部３０４は、符号化対象のブロックＩＢＬｉをインター予測で符号化する場合のインター予測のモード等を示す予測モード情報を、動き探索部２０４から受ける。そして、符号化情報記憶部３０４は、動き探索部２０４から受けた予測モード情報を保持する。インター予測のモードは、例えば、双方向予測モード、予測誤差画像ＩＭＧｐｅを生成せずに予測画像ＩＭＧｐを符号化するスキップモード等である。また、符号化情報記憶部３０４は、適応オフセットフィルタ部３１０により選択されたオフセットフィルタ処理の種類を示す種類情報ＰＩＮＦを受ける。そして、符号化情報記憶部３０４は、適応オフセットフィルタ部３１０から受けた種類情報ＰＩＮＦを保持する。例えば、符号化情報記憶部３０４に保持されたＴＩＤ、予測モード情報および種類情報ＰＩＮＦ等は、符号化情報ＥＩＮＦとして適応オフセットフィルタ部３１０に転送される。
適応オフセットフィルタ部３１０は、符号化対象のブロックＩＢＬｉを図示しない全体制御部から受け、復号画像ＩＭＧｄｆをデブロッキングフィルタ部２３０から受ける。また、適応オフセットフィルタ部３１０は、符号化対象のブロックＩＢＬｉが静止領域であるか否かの判定結果を示す静止情報ＳＩＮＦを静止領域判定部３０２から受け、参照画像ＩＭＧｒの符号化情報ＥＩＮＦを符号化情報記憶部３０４から受ける。そして、適応オフセットフィルタ部３１０は、静止情報ＳＩＮＦおよび符号化情報ＥＩＮＦに基づいて、複数種のオフセットフィルタ処理のいずれかを、復号画像ＩＭＧｄｆに対して実行する。
例えば、適応オフセットフィルタ部３１０は、復号画像ＩＭＧｄｆの符号化誤差の特徴を抽出し、抽出した特徴毎にオフセットを算出する。そして、適応オフセットフィルタ部３１０は、復号画像ＩＭＧｄｆの符号化誤差の特徴毎に算出したオフセットを復号画像ＩＭＧｄｆに加算する。これにより、復号画像ＩＭＧｄｆの符号化誤差が改善される。
なお、複数種のオフセットフィルタ処理は、図１で説明したように、画素値にオフセットを付加するオフセットフィルタ処理、オフセットを画素値に付加しないオフセットフィルタ処理等である。適応オフセットフィルタ部３１０は、複数種のオフセットフィルタ処理のいずれかを復号画像ＩＭＧｄｆに対して実行することにより生成した復号画像ＩＭＧｓを、復号画像記憶部１４０に格納する。復号画像記憶部１４０に保持された復号画像ＩＭＧｓは、インター予測の参照画像として使用される。また、適応オフセットフィルタ部３１０は、復号画像ＩＭＧｄｆに対して実行したオフセットフィルタ処理の種類を示す種類情報ＰＩＮＦを、符号化情報記憶部３０４に格納する。適応オフセットフィルタ部３１０の詳細は、図４で説明する。
なお、情報処理装置１０２の構成は、図３に示す例に限定されない。例えば、情報処理装置１０２は、オフセットフィルタ処理後の復号画像ＩＭＧｓに対して、適応ループフィルタ処理を実行してもよい。この場合、適応ループフィルタ処理が実行された復号画像ＩＭＧｓが、復号画像記憶部１４０に格納され、参照画像ＩＭＧｒとして使用される。また、例えば、符号化部２０２は、エントロピー符号化部２１６を除いて定義されてもよい。また、例えば、復号部２２２は、デブロッキングフィルタ部２３０を含んで定義されてもよい。
図４は、図３に示した適応オフセットフィルタ部３１０の一例を示す。
図４では、複数のＳＡＯタイプのうち、最小のＳＡＯコストを示すＳＡＯタイプが復号画像ＩＭＧｄｆに対して実行するオフセットフィルタ処理として選択される場合を例にして、適応オフセットフィルタ部３１０の動作を説明する。以下では、複数のＳＡＯタイプのうちのいずれかを用いてオフセットフィルタ処理を実行することは、単に、ＳＡＯを実行するとも称される。
適応オフセットフィルタ部３１０は、評価値算出部３２１、調整値算出部３２３およびフィルタ実行部３２５を有する。フィルタ実行部３２５は、選択部３２６および実行部３２７を有する。
評価値算出部３２１は、図１に示した評価値算出部３２０と同一または同様である。例えば、評価値算出部３２１は、符号化対象のブロックＩＢＬｉおよびデブロッキングフィルタ処理後の復号画像ＩＭＦｄｆを受ける。そして、評価値算出部３２１は、バンドオフセットのＳＡＯコストと、エッジオフセットのＳＡＯコストと、オフセットを画素値に付加しない場合のＳＡＯコストとを、符号化対象のブロックＩＢＬｉおよび復号画像ＩＭＦｄｆに基づいて算出する。以下、オフセットを画素値に付加しない場合のＳＡＯコストは、オフセットなしのＳＡＯコストとも称される。
３つのＳＡＯタイプの各々のＳＡＯコストは、ＳＡＯＣｏｓｔ（Ｔｙｐｅ）を用いて式（２）で表される。なお、式（２）の符号Ｔｙｐｅは、ＳＡＯタイプ（バンドオフセット、エッジオフセット、オフセットなし）を示す。例えば、以下では、ＳＡＯＣｏｓｔ（ＢＯ）は、バンドオフセットのＳＡＯコストを示し、ＳＡＯＣｏｓｔ（ＥＯ）は、エッジオフセットのＳＡＯコストを示し、ＳＡＯＣｏｓｔ（Ｎｏｎｅ）は、オフセットを画素値に付加しない場合のＳＡＯコストを示す。
ＳＡＯＣｏｓｔ（Ｔｙｐｅ）＝ＤＩＳＴ＋λ＊ＢｉｔＣｏｓｔ ‥‥（２）
式（２）の符号＊は、乗算を示す。また、符号ＤＩＳＴは、符号化対象のブロックＩＢＬｉと、復号画像ＩＭＦｄｆに対してＳＡＯを仮に実行した場合の画像との各画素の誤差の二乗和を示す。なお、ＳＡＯＣｏｓｔ（Ｎｏｎｅ）では、符号ＤＩＳＴは、符号化対象のブロックＩＢＬｉと復号画像ＩＭＦｄｆとの各画素の誤差の二乗和を示す。符号ＢｉｔＣｏｓｔは、ＳＡＯシンタックスを符号化した場合のビット量を示す。符号λは、予め決められたバランス調整定数である。
評価値算出部３２１は、バンドオフセットのＳＡＯコスト（ＳＡＯＣｏｓｔ（ＢＯ））と、エッジオフセットのＳＡＯコスト（ＳＡＯＣｏｓｔ（ＥＯ））と、オフセットなしのＳＡＯコスト（ＳＡＯＣｏｓｔ（Ｎｏｎｅ））とを選択部３２６に転送する。
調整値算出部３２３は、参照画像ＩＭＧｒのＴＩＤ等を含む符号化情報ＥＩＮＦと、符号化対象のブロックＩＢＬｉが静止領域であるか否かの判定結果を示す静止情報ＳＩＮＦとを受ける。そして、調整値算出部３２３は、符号化対象のブロックＩＢＬｉが静止領域の場合、評価値算出部３２１により算出されたバンドオフセットのＳＡＯコストに加算する調整値を算出し、算出した調整値を選択部３２６に転送する。符号化対象のブロックＩＢＬｉが静止領域の場合の調整値ＳＡＯＡｄｊは、例えば、式（３）で表される。
ＳＡＯＡｄｊ＝ＴＩＤｍａｘ＊ｋ ‥‥（３）
式（３）の符号ＴＩＤｍａｘは、双方向予測で参照される２つの参照画像ＩＭＧｒのＴＩＤのうちの大きい方のＴＩＤであり、符号ｋは、予め決められた定数である。式（３）では、調整値ＳＡＯＡｄｊは、参照画像ＩＭＧｒの階層が深いほど（ＴＩＤが大きいほど）、大きくなる。なお、調整値ＳＡＯＡｄｊの算出方法は、式（３）に限定されない。
符号化対象のブロックＩＢＬｉが静止領域でない場合、調整値算出部３２３は、値が０の調整値を選択部３２６に出力する。調整値算出部３２３により算出される調整値により、バンドオフセットのＳＡＯコストは、調整される。調整値算出部３２３は、バンドオフセット（第１のオフセットフィルタ処理）の評価値を調整する調整部の一例である。
フィルタ実行部３２５の動作は、図１に示したフィルタ実行部３６０と同一または同様である。フィルタ実行部３２５の選択部３２６は、評価値算出部３２１から受けたバンドオフセットのＳＡＯコストに、調整値算出部３２３から受けた調整値ＳＡＯＡｄｊを加算する。これにより、バンドオフセットの調整後のＳＡＯコストが算出される。バンドオフセットの調整後のＳＡＯコスト（ＳＡＯＣｏｓｔ（ＢＯ））は、式（４）で表される。
ＳＡＯＣｏｓｔ（ＢＯ）＝ＤＩＳＴ＋λ＊ＢｉｔＣｏｓｔ＋ＳＡＯＡｄｊ ‥‥（４）
そして、選択部３２６は、式（４）で算出したバンドオフセットの調整後のＳＡＯコストと、評価値算出部３２１から受けたエッジオフセットのＳＡＯコストおよびオフセットなしのＳＡＯコストとのうち、最小のＳＡＯコストを示すＳＡＯタイプを選択する。これにより、復号画像ＩＭＧｄｆに対して実行するオフセットフィルタ処理が決定する。選択部３２６は、複数のＳＡＯタイプからＳＡＯコストに基づいて選択したＳＡＯタイプを示す種類情報ＰＩＮＦを、実行部３２７に出力する。実行部３２７は、選択部３２６により選択されたＳＡＯタイプのオフセットフィルタ処理を復号画像ＩＭＧｄｆに対して実行する。これにより、復号画像ＩＭＧｓが生成される。実行部３２７は、復号画像ＩＭＧｓを復号画像記憶部１４０に出力し、選択部３２６により選択されたＳＡＯタイプを示す種類情報ＰＩＮＦを符号化情報記憶部３０４に出力する。
このように、調整値算出部３２３は、静止領域判定部３０２により符号化対象のブロックＩＢＬｉが静止領域であると判定された場合、参照画像のＴＩＤに基づいて、バンドオフセットの評価値をバンドオフセットの選択を抑制する方向に調整する。例えば、バンドオフセットの評価値（ＳＡＯコスト）は、参照画像ＩＭＧｒの階層が深いほど（ＴＩＤが大きいほど）、バンドオフセットの選択を抑制する方向に調整される。これにより、適応オフセットフィルタ部３１０は、静止領域のブロックに対して、バンドオフセットを用いたフィルタ処理を繰り返し実行することを抑制でき、ブロック歪みの発生を抑制できる。
なお、適応オフセットフィルタ部３１０の構成は、図４に示す例に限定されない。例えば、調整値算出部３２３は、静止領域判定部３０２により符号化対象のブロックＩＢＬｉが静止領域でないと判定された場合、調整値を０に設定する処理を省いてもよい。この場合、例えば、選択部３２６は、静止情報ＳＩＮＦを受ける。また、種類情報ＰＩＮＦは、選択部３２６から符号化情報記憶部３０４に出力されてもよい。
また、調整値算出部３２３は、静止領域判定部３０２により符号化対象のブロックＩＢＬｉが静止領域であると判定された場合、参照画像ＩＭＧｒに対して実行されたオフセットフィルタ処理の種類（ＳＡＯタイプ）を示す種類情報ＰＩＤを取得してもよい。そして、調整値算出部３２３は、参照画像ＩＭＧｒの種類情報ＰＩＮＦおよび階層位置（ＴＩＤ）に基づいて、バンドオフセットの評価値（ＳＡＯコスト）を調整してもよい。例えば、調整値算出部３２３は、参照画像ＩＭＧｒのＳＡＯタイプがバンドオフセットの場合、参照画像ＩＭＧｒのＳＡＯタイプがバンドオフセット以外の場合に比べて、調整値ＳＡＯＡｄｊを大きくしてもよい。
また、調整値算出部３２３は、静止領域判定部３０２により符号化対象のブロックＩＢＬｉが静止領域であると判定された場合、符号化対象のブロックＩＢＬｉの符号化に用いたインター予測の予測モードを示す予測モード情報を取得してもよい。そして、調整値算出部３２３は、符号化対象のブロックＩＢＬｉの予測モード情報と参照画像ＩＭＧｒの階層位置（ＴＩＤ）とに基づいて、バンドオフセットの評価値（ＳＡＯコスト）を調整してもよい。例えば、調整値算出部３２３は、予測モード情報が２つの参照画像ＩＭＧｒを用いる双方向予測を示す場合、１つのみの参照画像ＩＭＧｒが用いられる単方向予測に比べて、調整値ＳＡＯＡｄｊを大きくしてもよい。すなわち、調整値算出部３２３は、予測モード情報が双方向予測モードを示す場合、バンドオフセットの評価値（ＳＡＯコスト）を、予測モード情報が単方向予測のモードを示す場合に比べて、バンドオフセットの選択を抑制する方向に調整してもよい。また、調整値算出部３２３は、予測モードがスキップモードの場合、バンドオフセットの評価値（ＳＡＯコスト）を、予測モードがスキップモード以外の双方向予測モードの場合に比べて、バンドオフセットの選択を抑制する方向に調整してもよい。
図５は、ＳＡＯタイプの一例を示す。ＨＥＶＣでは、ＳＡＯタイプは、バンドオフセット、エッジオフセット、オフセットなし（ＳＡＯをかけない）の３タイプである。
バンドオフセットでは、画素値の範囲（例えば、画素値のビット数が８ビットの場合では２５６階調）が３２の区画（カテゴリ）に分割される。そして、連続する４つの区画を含む複数のグループＧＲ（ＧＲ１、ＧＲ２、・・・、ＧＲ１５、・・・、ＧＲ２８、ＧＲ２９）のいずれか１つのグループＧＲのみにオフセットが付加される。図５に示す例では、復号画像ＩＭＧｄｆの各画素の値のうち、グループＧＲ１５（図５の網掛け部分）に含まれる画素値（１１２から１４４）のみにオフセットが付加される。
例えば、評価値算出部３２１は、３２の区画毎に、符号化対象のブロックＩＢＬｉ（原画）と復号画像ＩＭＧｄｆ（ＳＡＯが実行されるまえの復号画像）との誤差の平均値を算出してオフセットを決定する。そして、評価値算出部３２１は、２９個のグループＧＲ毎に、符号化対象のブロックＩＢＬｉと復号画像ＩＭＧｄｆとの互いに対応する画素の値の誤差の二乗和で表されるグループコストＢＯＣｏｓｔ（ＧＲ）を算出する。そして、評価値算出部３２１は、２９個のグループＧＲのうち、グループコストＢＯＣｏｓｔ（ＧＲ）が最大のグループＧＲを、バンドオフセットによりオフセットが付加される画素値のグループＧＲ（特定の連続する４つの区画）として選択する。すなわち、評価値算出部３２１は、復号画像ＩＭＧｄｆの符号化誤差のバンドオフセットによる改善が最も見込めるグループＧＲを選択する。グループコストＢＯＣｏｓｔ（ＧＲ）は、式（５）で表される。
ＢＯＣｏｓｔ（ＧＲ）＝Σ（（ＰＸｉ－ＰＸｄｆ）＾２） ‥‥（５）
式（５）の符号ＰＸｉは、符号化対象のブロックＩＢＬｉの画素の値を示し、符号ＰＸｄｆは、復号画像ＩＭＧｄｆの画素の値を示す。
図５に示す例では、グループＧＲ１５がバンドオフセットの対象として選択される。例えば、バンドオフセットでは、グループＧＲ１５に属する各画素値のバンドオフセット後の値がグループＧＲ１５の中央の画素値（１２８）に近づくように、グループＧＲ１５に属する各画素値にオフセットが付加される。
エッジオフセットは、図５に示すように、Ｅｄｇｅ０°クラス、Ｅｄｇｅ９０°クラス、Ｅｄｇｅ４５°クラスおよびＥｄｇｅ１３５°クラスの４つのクラスに分けられる。さらに、各クラスは、処理対象の画素（網掛けの丸）に隣接する画素と処理対象の画素との間の画素値の関係に応じて、カテゴリ０からカテゴリ４までの５つのカテゴリに分けられる。図５に示すかぎ括弧内には、Ｅｄｇｅ０°クラスのカテゴリの一例を示す。図５に示す処理対象の画素に付した矢印は、オフセットの方向を示す。評価値算出部３２１は、４つのクラスの５つのカテゴリのうち、バンドオフセットの場合と同様に、復号画像ＩＭＧｄｆの符号化誤差のエッジオフセットによる改善が最も見込めるクラスとカテゴリを選択する。
オフセットなしでは、復号画像ＩＭＧｄｆのいずれの画素にもオフセットは付加されない。
図６は、図３に示した情報処理装置１０２の動作の一例を示す。図６に示す動作は、情報処理方法の一例である。また、図６に示す動作をコンピュータ等の情報処理装置１０２に実行させるためのプログラムは、情報処理プログラムの一例である。なお、図６に示す動作は、符号化対象の画像毎に実行される。
ステップＳ１００では、情報処理装置１０２は、図示しない全体制御部により選択された符号化対象の画像のＴＩＤを符号化情報記憶部３０４に格納する。
次に、ステップＳ２００では、動き探索部２０４は、参照画像ＩＭＧｒ内を探索して符号化対象のブロックＩＢＬｉに最も類似するブロックを参照ブロックとして検出する動き探索を実行する。これにより、動きベクトルＭＶが算出される。また、符号化部２０２は、動きベクトルＭＶ等を用いて、符号化対象のブロックＩＢＬｉを符号化する。そして、復号部２２２は、符号化されたブロック（量子化部２１４により量子化されたデータＩＭＧｃ）を復号して局所復号画像ＩＭＧｄを生成する。さらに、デブロッキングフィルタ部２３０は、局所復号画像ＩＭＧｄに対してデブロッキングフィルタ処理を実行して復号画像ＩＭＧｄｆを生成する。
次に、ステップＳ２２０では、静止領域判定部３０２は、符号化対象のブロックＩＢＬｉが静止領域であるか否かを判定する。例えば、静止領域判定部３０２は、ステップＳ２００で算出された動きベクトルＭＶの大きさが所定値以下の場合、符号化対象のブロックＩＢＬｉが静止領域であると判定する。符号化対象のブロックＩＢＬｉが静止領域である場合、情報処理装置１０２の動作は、ステップＳ２４０に移る。一方、符号化対象のブロックＩＢＬｉが静止領域でない場合、情報処理装置１０２の動作は、ステップＳ３００に移る。
ステップＳ２４０では、適応オフセットフィルタ部３１０の調整値算出部３２３は、参照画像ＩＭＧｒのＴＩＤを符号化情報記憶部３０４から取得する。なお、調整値算出部３２３は、符号化対象のブロックＩＢＬｉが双方向予測で符号化される場合、２つの参照画像ＩＭＧｒのＴＩＤのうち、大きい方のＴＩＤを取得する。
次に、ステップＳ２６０では、調整値算出部３２３は、参照画像ＩＭＧｒのＴＩＤがＳＡＯ制御条件を満たすか否かを判定する。例えば、上述した式（３）では、双方向予測で参照される２つの参照画像ＩＭＧｒのＴＩＤのうちの大きい方のＴＩＤｍａｘが０の場合、調整値ＳＡＯＡｄｊは０である。この場合、バンドオフセットのＳＡＯコストは、調整されない。したがって、調整値算出部３２３は、例えば、ステップＳ２４０で取得したＴＩＤが０の場合、参照画像ＩＭＧｒのＴＩＤがＳＡＯ制御条件を満たさないと判定する。すなわち、調整値算出部３２３は、ステップＳ２４０で取得したＴＩＤが１以上の場合、参照画像ＩＭＧｒのＴＩＤがＳＡＯ制御条件を満たすと判定する。なお、ＳＡＯ制御条件は、ＴＩＤが０か否かの条件に限定されない。参照画像ＩＭＧｒのＴＩＤがＳＡＯ制御条件を満たす場合、情報処理装置１０２の動作は、ステップＳ２８０に移る。一方、参照画像ＩＭＧｒのＴＩＤがＳＡＯ制御条件を満たさない場合、情報処理装置１０２の動作は、ステップＳ３００に移る。
ステップＳ２８０では、調整値算出部３２３は、バンドオフセットのＳＡＯコストを調整する調整値ＳＡＯＡｄｊを算出する。例えば、調整値算出部３２３は、ステップＳ２４０で取得したＴＩＤの値を上述した式（３）のＴＩＤｍａｘに代入して調整値ＳＡＯＡｄｊを算出する。ステップＳ２８０の処理が実行された後、情報処理装置１０２の動作は、ステップＳ３００に移る。
ステップＳ３００では、適応オフセットフィルタ部３１０の評価値算出部３２１は、ＳＡＯタイプ毎に、ＳＡＯコストを算出する。例えば、評価値算出部３２１は、上述した式（２）に基づいて、各ＳＡＯタイプのＳＡＯコスト（ＳＡＯＣｏｓｔ（Ｔｙｐｅ））を算出する。なお、評価値算出部３２１は、ステップＳ２８０が実行された場合、ステップＳ２８０で算出した調整値ＳＡＯＡｄｊを、式（４）のＳＡＯＡｄｊに代入して、バンドオフセットのＳＡＯコスト（ＳＡＯＣｏｓｔ（ＢＯ））を算出する。すなわち、符号化対象のブロックＩＢＬｉが静止領域の場合、バンドオフセットのＳＡＯコストは、値が大きくなるように調整される。これにより、バンドオフセットのＳＡＯコストを調整する前に比べて、バンドオフセットの選択が抑制される。
次に、ステップＳ３２０では、適応オフセットフィルタ部３１０の選択部３２６は、ステップＳ３００で算出されたＳＡＯコストに基づいて、ステップＳ３４０のフィルタ処理に用いるＳＡＯタイプを選択する。例えば、選択部３２６は、バンドオフセット、エッジオフセットおよびオフセットなし等の複数のＳＡＯタイプのうち、ＳＡＯコストが最小のＳＡＯタイプを、復号画像ＩＭＧｄｆのオフセットフィルタ処理に用いるＳＡＯタイプとして選択する。
次に、ステップＳＳ３４０では、適応オフセットフィルタ部３１０の実行部３２７は、ステップＳ３２０で選択されたＳＡＯタイプのオフセットフィルタ処理を、復号画像ＩＭＧｄｆに対して実行する。
次に、ステップＳＳ３６０では、適応オフセットフィルタ部３１０は、符号化対象のブロックＩＢＬｉのインター予測のモードを示す予測モード情報およびＳＡＯタイプを示す種類情報ＰＩＮＦ等を含む符号化情報を符号化情報記憶部３０４に格納する。これにより、ＳＡＯタイプを示す種類情報ＰＩＮＦ等の符号化情報がブロック毎に符号化情報記憶部３０４に保持される。
次に、ステップＳＳ３８０では、情報処理装置１０２は、符号化対象の画像内の全てのブロックの符号化が終了したか否かを判定する。符号化対象の画像内のいずれかのブロックが符号化されていない場合、情報処理装置１０２の動作は、ステップＳ２００に戻る。これにより、符号化されていないブロックを符号化対象のブロックＩＢＬｉとして、ステップＳ２００からステップＳ３８０までの一連の処理が実行される。一方、符号化対象の画像内の全てのブロックの符号化が終了した場合、情報処理装置１０２による符号化対象の画像を符号化する動作は、終了する。
なお、情報処理装置１０２の動作は、図６に示す例に限定されない。例えば、情報処理装置１０２は、図３で説明した式（３）を用いて調整値ＳＡＯＡｄｊを算出し、式（４）を用いてバンドオフセットのＳＡＯコストを算出する場合、ステップＳ２６０の判定を省いてもよい。
また、調整値算出部３２３は、参照画像ＩＭＧｒが複数の階層を経て生成される場合、参照画像ＩＭＧｒが複数の階層を経て生成されるまでに実行されたバンドオフセットの回数を取得してもよい。そして、調整値算出部３２３は、バンドオフセットの回数が多いほど、バンドオフセットの選択を抑制する方向に、バンドオフセットの評価値を調整してもよい。例えば、参照画像ＩＭＧｒが図１に示した画像Ｂ１４の場合、画像Ｂ１４が生成されるまでに、最大で４回のバンドオフセットが実行される場合がある。各画像が生成されるまでに実行されたバンドオフセットの回数は、例えば、符号化情報記憶部３０４にブロック毎に保持されてもよいし、符号化情報記憶部３０４に保持された種類情報ＰＩＮＦを参照してカウントされてもよい。
また、調整値算出部３２３は、参照画像ＩＭＧｒが複数の階層を経て生成される場合、参照画像ＩＭＧｒが複数の階層を経て生成されるまでに実行された双方向予測の回数を取得してもよい。そして、調整値算出部３２３は、双方向予測の回数が多いほど、バンドオフセットの選択を抑制する方向に、バンドオフセットの評価値を調整してもよい。例えば、参照画像ＩＭＧｒが図１に示した画像Ｂ１４の場合、画像Ｂ１４が生成されるまでに、最大で４回の双方向予測が実行される場合がある。各画像が生成されるまでに実行された双方向予測の回数は、例えば、符号化情報記憶部３０４にブロック毎に保持されてもよいし、符号化情報記憶部３０４に保持された予測モード情報を参照してカウントされてもよい。双方向予測では、動き補償画像（インター予測の予測画像）が２つの参照画像ＩＭＧｒの画素の平均値から生成される。このため、双方向予測では、符号化対象のブロックＩＢＬｉの平均化が単方向予測の場合に比べて加速する。したがって、双方向予測の回数が多いほどバンドオフセットの評価値を大きくする調整を実行することにより、バンドオフセットを用いたフィルタ処理が繰り返し実行されることを抑制することができ、ブロック歪みの発生を抑制することができる。
あるいは、静止領域判定部３０２は、ステップＳ２２０において、符号化対象のブロックＩＢＬｉが静止領域であるか否かを、予測画像ＩＭＧｐと符号化対象のブロックＩＢＬｉとの差分に基づいて算出されるコストに基づいて判定してもよい。例えば、静止領域判定部３０２は、動き補償画像生成部２０６からインター予測のコストを取得し、インター予測のコストが所定値以下の場合、符号化対象のブロックＩＢＬｉが静止領域であると判定してもよい。この場合、調整値算出部３２３は、インター予測のコストが小さいほど、バンドオフセットの選択を抑制する方向に、バンドオフセットの評価値を調整してもよい。
以上、図３から図６に示す実施形態においても、図１および図２に示した実施形態と同様の効果を得ることができる。例えば、情報処理装置１０２は、符号化対象のブロックＩＢＬＩが静止領域である場合、バンドオフセットの評価値を大きくする調整値ＳＡＯＡｄｊを、参照画像ＩＭＧｒの時間方向の階層位置に基づいて算出する。これにより、符号化対象のブロックＩＢＬｉが静止領域である場合、バンドオフセットの評価値は、バンドオフセットの選択を抑制する方向に調整される。この結果、静止領域のブロックに対して、バンドオフセットを用いたフィルタ処理が繰り返し実行されることを抑制することができ、ブロック歪みの発生を抑制することができる。これにより、時間階層構造において、バンドオフセットを用いたフィルタ処理が繰り返されることによる画質の低下を抑制することができる。
以上の実施形態において説明した発明を整理して、付記として以下の通り開示する。
（付記１）
動画像を時間方向に階層化してフレーム毎に符号化する情報処理装置において、
動画像のフレーム内の各ブロックを、参照画像を用いて符号化する符号化部と、
符号化されたブロックを復号して復号画像を生成する復号部と、
特定の画素値にオフセットを付加する第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの前記第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出する評価値算出部と、
符号化対象のブロックが静止領域であるかを判定する静止領域判定部と、
前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合、前記参照画像の時間方向の階層位置に基づいて、前記第１のオフセットフィルタ処理の評価値を調整する調整部と、
前記第１のオフセットフィルタ処理の調整後の評価値と、前記第２のオフセットフィルタ処理および前記第３のオフセットフィルタ処理の各々の評価値とに基づいて、前記複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行するフィルタ実行部と
を有することを特徴とする情報処理装置。
（付記２）
付記１に記載の情報処理装置において、
前記調整部は、前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合、前記階層位置に基づいて、前記第１のオフセットフィルタ処理の評価値を前記第１のオフセットフィルタ処理の選択を抑制する方向に調整する
ことを特徴とする情報処理装置。
（付記３）
付記１または付記２に記載の情報処理装置において、
前記調整部は、前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合、前記参照画像に対して実行されたオフセットフィルタ処理の種類を示す種類情報を取得し、前記種類情報と前記階層位置とに基づいて、前記第１のオフセットフィルタ処理の評価値を調整する
ことを特徴とする情報処理装置。
（付記４）
付記３に記載の情報処理装置において、
前記調整部は、前記参照画像が複数の階層を経て生成される場合、前記参照画像が複数の階層を経て生成されるまでに実行された前記第１のオフセットフィルタ処理の回数を取得し、前記第１のオフセットフィルタ処理の回数が多いほど、前記第１のオフセットフィルタ処理の選択を抑制する方向に、前記第１のオフセットフィルタ処理の評価値を調整する
ことを特徴とする情報処理装置。
（付記５）
付記１または付記２に記載の情報処理装置において、
前記調整部は、前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合で、前記符号化対象のブロックがインター予測により符号化された場合、前記符号化対象のブロックの符号化に用いたインター予測の予測モードを示す予測モード情報を取得し、前記予測モード情報と前記階層位置とに基づいて、前記第１のオフセットフィルタ処理の評価値を調整する
ことを特徴とする情報処理装置。
（付記６）
付記５に記載の情報処理装置において、
前記調整部は、前記予測モード情報が２つの前記参照画像を用いる双方向予測を示す場合、前記第１のオフセットフィルタ処理の評価値を、１つの前記参照画像が用いられる予測に比べて、前記第１のオフセットフィルタ処理の選択を抑制する方向に調整する
ことを特徴とする情報処理装置。
（付記７）
付記６に記載の情報処理装置において、
前記調整部は、前記参照画像が複数の階層を経て生成される場合、前記参照画像が複数の階層を経て生成されるまでに実行された双方向予測の回数を取得し、双方向予測の回数が多いほど、前記第１のオフセットフィルタ処理の選択を抑制する方向に、前記第１のオフセットフィルタ処理の評価値を調整する
ことを特徴とする情報処理装置。
（付記８）
付記１ないし付記７のいずれか１項に記載の情報処理装置において、
前記静止領域判定部は、前記参照画像から生成される予測画像と前記符号化対象のブロックとの差分に基づいて算出されるコストを取得し、前記コストが所定値以下の場合、前記符号化対象のブロックが静止領域であると判定する
ことを特徴とする情報処理装置。
（付記９）
付記８に記載の情報処理装置において、
前記調整部は、前記コストが小さいほど、前記第１のオフセットフィルタ処理の選択を抑制する方向に、前記第１のオフセットフィルタ処理の評価値を調整する
ことを特徴とする情報処理装置。
（付記１０）
動画像を時間方向に階層化してフレーム毎に符号化する情報処理方法において、
動画像のフレーム内の各ブロックを、参照画像を用いて符号化し、
符号化されたブロックを復号して復号画像を生成し、
特定の画素値にオフセットを付加する第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの前記第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出し、
符号化対象のブロックが静止領域であるかを判定し、
前記符号化対象のブロックが静止領域であると判定した場合、前記参照画像の時間方向の階層位置に基づいて、前記第１のオフセットフィルタ処理の評価値を調整し、
前記第１のオフセットフィルタ処理の調整後の評価値と、前記第２のオフセットフィルタ処理および前記第３のオフセットフィルタ処理の各々の評価値とに基づいて、前記複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行する
ことを特徴とする情報処理方法。
（付記１１）
動画像を時間方向に階層化してフレーム毎に符号化する処理を情報処理装置に実行させるための情報処理プログラムにおいて、
動画像のフレーム内の各ブロックを、参照画像を用いて符号化し、
符号化されたブロックを復号して復号画像を生成し、
特定の画素値にオフセットを付加する第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの前記第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出し、
符号化対象のブロックが静止領域であるかを判定し、
前記符号化対象のブロックが静止領域であると判定した場合、前記参照画像の時間方向の階層位置に基づいて、前記第１のオフセットフィルタ処理の評価値を調整し、
前記第１のオフセットフィルタ処理の調整後の評価値と、前記第２のオフセットフィルタ処理および前記第３のオフセットフィルタ処理の各々の評価値とに基づいて、前記複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行する
情報処理プログラム。
（付記１２）
動画像を時間方向に階層化してフレーム毎に符号化する処理を情報処理装置に実行させるための情報処理プログラムを記録した記録媒体において、
動画像のフレーム内の各ブロックを、参照画像を用いて符号化し、
符号化されたブロックを復号して復号画像を生成し、
特定の画素値にオフセットを付加する第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの前記第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出し、
符号化対象のブロックが静止領域であるかを判定し、
前記符号化対象のブロックが静止領域であると判定した場合、前記参照画像の時間方向の階層位置に基づいて、前記第１のオフセットフィルタ処理の評価値を調整し、
前記第１のオフセットフィルタ処理の調整後の評価値と、前記第２のオフセットフィルタ処理および前記第３のオフセットフィルタ処理の各々の評価値とに基づいて、前記複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行する
情報処理プログラムを記録した記録媒体。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
１００、１０２‥情報処理装置；１４０‥復号画像記憶部；２００、２０２‥符号化部；２０４‥動き探索部；２０６‥動き補償画像生成部；２０８‥予測画像生成部；２１０‥差分算出部；２１２‥直交変換部；２１４‥量子化部；２１６‥エントロピー符号化部；２２０、２２２‥復号部；２２４‥逆量子化部；２２６‥逆直交変換部；２２８‥加算部；２３０‥デブロッキングフィルタ部；３００、３０２‥静止領域判定部；３０４‥符号化情報記憶部；３１０‥適応オフセットフィルタ部；３２０、３２１‥評価値算出部；３２３‥調整値算出部；３２５、３６０‥フィルタ実行部；３２６‥選択部；３２７‥実行部；３４０‥調整部

Claims (10)

  1. 動画像を時間方向に階層化してフレーム毎に符号化する情報処理装置において、
    動画像のフレーム内の各ブロックを、参照画像を用いて符号化する符号化部と、
    符号化されたブロックを復号して復号画像を生成する復号部と、
    特定の画素値にオフセットを付加するバンドオフセットを用いたフィルタ処理である第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの前記第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出する評価値算出部と、
    符号化対象のブロックが静止領域であるかを判定する静止領域判定部と、
    前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合、前記参照画像の時間方向の階層位置が深いほど、前記第１のオフセットフィルタ処理の評価値を前記第１のオフセットフィルタ処理の選択を抑制する方向に調整する調整部と、
    前記第１のオフセットフィルタ処理の調整後の評価値と、前記第２のオフセットフィルタ処理および前記第３のオフセットフィルタ処理の各々の評価値とに基づいて、前記複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行するフィルタ実行部と
    を有することを特徴とする情報処理装置。
  2. 請求項１に記載の情報処理装置において、
    前記調整部は、前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合、前記参照画像に対して実行されたオフセットフィルタ処理の種類を示す種類情報を取得し、取得した種類情報が前記第１のオフセットフィルタ処理を示す場合、前記階層位置が深いほど、前記第１のオフセットフィルタ処理の評価値を前記第１のオフセットフィルタ処理の選択を抑制する方向に調整する
    ことを特徴とする情報処理装置。
  3. 請求項２に記載の情報処理装置において、
    前記調整部は、前記参照画像が複数の階層を経て生成される場合、前記参照画像が複数の階層を経て生成されるまでに実行された前記第１のオフセットフィルタ処理の回数を取得し、前記第１のオフセットフィルタ処理の回数が多いほど、前記第１のオフセットフィルタ処理の選択を抑制する方向に、前記第１のオフセットフィルタ処理の評価値を調整する
    ことを特徴とする情報処理装置。
  4. 請求項１に記載の情報処理装置において、
    前記調整部は、前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合で、前記符号化対象のブロックがインター予測により符号化された場合、前記符号化対象のブロックの符号化に用いたインター予測の予測モードを示す予測モード情報を取得し、取得した予測モード情報が２つの前記参照画像を用いる双方向予測を示す場合、１つの前記参照画像が用いられる単方向予測に比べて、前記第１のオフセットフィルタ処理の評価値を前記第１のオフセットフィルタ処理の選択を抑制する方向に調整する
    ことを特徴とする情報処理装置。
  5. 請求項１に記載の情報処理装置において、
    前記調整部は、前記静止領域判定部により前記符号化対象のブロックが静止領域であると判定された場合で、前記符号化対象のブロックがインター予測により符号化された場合、前記符号化対象のブロックの符号化に用いたインター予測の予測モードを示す予測モード情報を取得し、取得した予測モード情報が予測誤差画像を生成せずに予測画像を符号化するスキップモードを示す場合、前記スキップモード以外の双方向予測モードに比べて、前記第１のオフセットフィルタ処理の評価値を前記第１のオフセットフィルタ処理の選択を抑制する方向に調整する
    ことを特徴とする情報処理装置。
  6. 請求項４または請求項５に記載の情報処理装置において、
    前記調整部は、前記参照画像が複数の階層を経て生成される場合、前記参照画像が複数の階層を経て生成されるまでに実行された双方向予測の回数を取得し、双方向予測の回数が多いほど、前記第１のオフセットフィルタ処理の選択を抑制する方向に、前記第１のオフセットフィルタ処理の評価値を調整する
    ことを特徴とする情報処理装置。
  7. 請求項１ないし請求項６のいずれか１項に記載の情報処理装置において、
    前記静止領域判定部は、前記参照画像から生成される予測画像と前記符号化対象のブロックとの差分に基づいて算出されるコストを取得し、前記コストが所定値以下の場合、前記符号化対象のブロックが静止領域であると判定する
    ことを特徴とする情報処理装置。
  8. 請求項７に記載の情報処理装置において、
    前記調整部は、前記コストが小さいほど、前記第１のオフセットフィルタ処理の選択を抑制する方向に、前記第１のオフセットフィルタ処理の評価値を調整する
    ことを特徴とする情報処理装置。
  9. 動画像を時間方向に階層化してフレーム毎に符号化する情報処理方法において、
    動画像のフレーム内の各ブロックを、参照画像を用いて符号化し、
    符号化されたブロックを復号して復号画像を生成し、
    特定の画素値にオフセットを付加するバンドオフセットを用いたフィルタ処理である第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの前記第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出し、
    符号化対象のブロックが静止領域であるかを判定し、
    前記符号化対象のブロックが静止領域であると判定した場合、前記参照画像の時間方向の階層位置が深いほど、前記第１のオフセットフィルタ処理の評価値を前記第１のオフセットフィルタ処理の選択を抑制する方向に調整し、
    前記第１のオフセットフィルタ処理の調整後の評価値と、前記第２のオフセットフィルタ処理および前記第３のオフセットフィルタ処理の各々の評価値とに基づいて、前記複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行する
    ことを特徴とする情報処理方法。
  10. 動画像を時間方向に階層化してフレーム毎に符号化する処理を情報処理装置に実行させるための情報処理プログラムにおいて、
    動画像のフレーム内の各ブロックを、参照画像を用いて符号化し、
    符号化されたブロックを復号して復号画像を生成し、
    特定の画素値にオフセットを付加するバンドオフセットを用いたフィルタ処理である第１のオフセットフィルタ処理と、画素値にオフセットを付加するオフセットフィルタ処理のうちの前記第１のオフセットフィルタ処理を除く第２のオフセットフィルタ処理と、オフセットを付加しない第３のオフセットフィルタ処理との複数種のオフセットフィルタ処理の各々を選択する場合に参照される評価値を算出し、
    符号化対象のブロックが静止領域であるかを判定し、
    前記符号化対象のブロックが静止領域であると判定した場合、前記参照画像の時間方向の階層位置が深いほど、前記第１のオフセットフィルタ処理の評価値を前記第１のオフセットフィルタ処理の選択を抑制する方向に調整し、
    前記第１のオフセットフィルタ処理の調整後の評価値と、前記第２のオフセットフィルタ処理および前記第３のオフセットフィルタ処理の各々の評価値とに基づいて、前記複数種のオフセットフィルタ処理のいずれかを選択し、選択したオフセットフィルタ処理を復号画像に対して実行する
    情報処理プログラム。
JP2017179066A 2017-09-19 2017-09-19 情報処理装置、情報処理方法および情報処理プログラム Active JP6992351B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017179066A JP6992351B2 (ja) 2017-09-19 2017-09-19 情報処理装置、情報処理方法および情報処理プログラム
US16/123,475 US10827172B2 (en) 2017-09-19 2018-09-06 Information processing apparatus, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017179066A JP6992351B2 (ja) 2017-09-19 2017-09-19 情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019054489A JP2019054489A (ja) 2019-04-04
JP6992351B2 true JP6992351B2 (ja) 2022-01-13

Family

ID=65719608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017179066A Active JP6992351B2 (ja) 2017-09-19 2017-09-19 情報処理装置、情報処理方法および情報処理プログラム

Country Status (2)

Country Link
US (1) US10827172B2 (ja)
JP (1) JP6992351B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113068050B (zh) * 2021-03-17 2022-08-23 上海哔哩哔哩科技有限公司 树形编码块的样点自适应补偿模式确定方法、装置
CN114519661A (zh) * 2022-02-10 2022-05-20 Oppo广东移动通信有限公司 图像处理方法、装置、终端和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015216626A (ja) 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
JP2015536087A (ja) 2012-09-28 2015-12-17 サムスン エレクトロニクス カンパニー リミテッド インターレイヤ予測誤差を符号化するためのｓａｏオフセット補償方法及びその装置
JP2016082304A (ja) 2014-10-10 2016-05-16 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5484378B2 (ja) 2011-02-23 2014-05-07 日本電信電話株式会社 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法
CN103621091A (zh) 2011-04-26 2014-03-05 Lg电子株式会社 管理参考图片列表的方法及使用该方法的装置
JP5973434B2 (ja) 2011-06-23 2016-08-23 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像フィルタ装置、フィルタ方法および動画像復号装置
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
US9407926B2 (en) * 2014-05-27 2016-08-02 Intel Corporation Block-based static region detection for video processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015536087A (ja) 2012-09-28 2015-12-17 サムスン エレクトロニクス カンパニー リミテッド インターレイヤ予測誤差を符号化するためのｓａｏオフセット補償方法及びその装置
JP2015216626A (ja) 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
JP2016082304A (ja) 2014-10-10 2016-05-16 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム

Also Published As

Publication number Publication date
US20190089954A1 (en) 2019-03-21
US10827172B2 (en) 2020-11-03
JP2019054489A (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
TWI735172B (zh) 用於多個工具的互相排斥設定
JP6660074B2 (ja) 映像復号化方法及び装置
KR102469145B1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
US11902563B2 (en) Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
JP5330647B2 (ja) 適応参照画像の発生
US20120027092A1 (en) Image processing device, system and method
KR20110123651A (ko) 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2011099468A1 (ja) 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
CN115002479A (zh) 编码或解码视频数据的方法和装置
US10349071B2 (en) Motion vector searching apparatus, motion vector searching method, and storage medium storing motion vector searching program
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
US20190313107A1 (en) Image encoding/decoding method and apparatus
JP2011223423A (ja) 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム
JP6992351B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP5441812B2 (ja) 動画像符号化装置、及びその制御方法
US20180227592A1 (en) Motion picture encoding device, motion picture encoding method, and storage medium storing motion picture encoding program
US11290740B2 (en) Image coding apparatus, image coding method, and storage medium
JP6253406B2 (ja) 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
WO2021072326A1 (en) Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement
US8126277B2 (en) Image processing method, image processing apparatus and image pickup apparatus using the same
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
JP2019201388A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023217235A1 (en) Prediction refinement with convolution model
KR20200134302A (ko) 이미지 처리 장치 및 방법
JP6239838B2 (ja) 動画像符号化装置、その制御方法、及び撮像装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6992351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150