JP5007259B2 - 画像符号化装置 - Google Patents

画像符号化装置 Download PDF

Info

Publication number
JP5007259B2
JP5007259B2 JP2008082470A JP2008082470A JP5007259B2 JP 5007259 B2 JP5007259 B2 JP 5007259B2 JP 2008082470 A JP2008082470 A JP 2008082470A JP 2008082470 A JP2008082470 A JP 2008082470A JP 5007259 B2 JP5007259 B2 JP 5007259B2
Authority
JP
Japan
Prior art keywords
unit
encoding
macroblock
orthogonal transform
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008082470A
Other languages
English (en)
Other versions
JP2009239565A (ja
Inventor
圭介 松本
誠二 望月
憲一 岩田
史幸 泉原
基 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2008082470A priority Critical patent/JP5007259B2/ja
Priority to TW98101379A priority patent/TW200942040A/zh
Priority to CN200910005428.4A priority patent/CN101547358B/zh
Priority to US12/401,613 priority patent/US8442333B2/en
Publication of JP2009239565A publication Critical patent/JP2009239565A/ja
Application granted granted Critical
Publication of JP5007259B2 publication Critical patent/JP5007259B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、画像符号化装置に関し、例えば、動画像符号化復号ハードウェアおよびソフトウェアを有するデジタルカメラ、デジタルビデオカメラ、DVD(Digital Versatile Disc)/HDD(Hard Disc Drive)レコーダ、携帯電話ほか動画像記録再生装置全般に適用して有効な技術に関する。
動画像符号を扱うシステムは、ＨＤ（High-Definition）が普及期に入り、研究レベルでは４Kやスーパーハイビジョンなどの更なる大画面化が進行している。これらの信号を扱う画像符号化装置や画像復号装置は、高い処理性能が求められる。低消費電力（低動作周波数）にて処理性能を向上させるために、並列符号化処理が提案されており、将来的には動画像を処理する上での必須技術となる。また、H.２６４は、高画質を保ったまま１/１００〜１/２００に高圧縮が可能なことから、地上デジタル放送や次世代DVD規格の符号化規格として採用され、将来の４Kやスーパーハイビジョンの符号化規格への採用も予定されている。
動画像並列符号化技術およびマクロブロック単位で量子化パラメータを変えて符号化する技術に関する文献として下記文献がある。
特許文献１には大画面動画像を符号化するために、動画像の画面内を複数の領域に分割して並列符号化処理する技術が記載される。特許文献２には画像処理領域の各スライスの最初と最後のマクロブロックはスキップマクロブロックであってはならないという理由に基づいて当該スキップマクロブロックのマクロブロックタイプを変更する法方について記載がある。非特許文献1にはレートをあわせるために、マクロブロック単位に量子化パラメータを変える技術が記載される。非特許文献２には高画質化を目的として、画像に応じてマクロブロック単位で量子化パラメータを変える技術が記載される。
特開2008-42571号公報 特開2000-333180号公報 "Test Model ５" MPEG.ORG 、[online]、[平成20年43月２４日検索]、インターネット＜ＵＲＬ：http://www.mpeg.org/MPEG/MSSG/tm5/＞ 村上智一、軽部勲、"H.２６４/AVC におけるマクロブロックレベルの量子化パラメータ設定に関する一検討"、PCSJ２００４、Nov２００４。
本発明者はＨ．２６４として策定された動画像圧縮符号化方式に準拠して複数マクロブロックを並列符号化する処理について検討した。即ち、符号化対象画像にを複数の領域に分割し、その領域毎に先頭から順次並列処理を行なう場合である。特に、並列処理領域間でスライスを切らないことを前提とする。この場合の並列符号化処理では、並列処理する各領域の最終マクロブロック（マクロブロックを単にＭＢとも記す）と先頭ＭＢが並列処理領域境界を挟んで連続することになる。このとき、領域の先頭ＭＢは、並列処理のため、連続する領域の最終ＭＢよりも先に符号化される。従って、並列処理境界を挟んで連続するＭＢの量子化パラメータは、独立に決定せざるをえない。この意味において並列処理を行なう場合には符号化対象画像に従って最適な量子化パラメータが量子化部等に供給されることになる。
量子化パラメータに関し、動画像符号化処理では、直交変換されて量子化された量子化直交変換係数に非０係数が全くないＭＢは、可変長符号化においてスキップマクロブロックに符号化される場合があり、その可変長符号化情報には量子化直交変換係数だけでなく量子化パラメータも含まれていない。Ｈ．２６４に準拠すれば、そのようなスキップマクロブロックの復号に際してはその前のＭＢの量子化パラメータが適用されることになる。したがって、並列符号化処理においても、ある並列処理領域の先頭ＭＢに非０係数がなかった場合には、画面内における前ＭＢである隣接処理領域の最終ＭＢの量子化パラメータを適用することが必要になる。しかしながら、上述のように、並列符号化処理では、並列処理する各領域の先頭ＭＢは、連続する前の領域の終端ＭＢよりも先に符号化されることになり、後に処理される前の領域の終端ＭＢの量子化パラメータをそれより先に処理される先頭ＭＢの量子化等に用いることはできない。この問題点を放置する場合には復号処理において復号エラーを生じ、また復号画質の低下の原因になる。
さらに、H.２６４のループ内フィルタであるデブロックフィルタが設けられ、デブロックフィルタによって画面間の画像に歪みを減少させて、画面間予測を行うように規格化されている。したがって、デブロックフィルタに供給される量子化パラメータに関しても、上述と同様に、後に処理される前の領域の終端ＭＢの量子化パラメータをそれより先に処理される先頭ＭＢの量子化等に用いることはできない。スライスを切っていないにも拘わらず、ある並列処理領域の先頭ＭＢと隣接する前領域の終端ＭＢとの間で量子化パラメータが異なると、領域の先頭ＭＢが誤った量子化パラメータを用いてデブロックフィルタ処理を行うことになり、結果として、誤った符号化が行われることになる。
上記問題点を回避する簡便な方法として考えられる内容として、第１に、並列処理領域毎にスライスを切ることである。規格上、スライスをまたぐ量子化パラメータの参照は発生しないからである。しかしながら、スライス間には予測が適用されないため、符号化効率が劣化するという問題点がある。第２は、画面内の量子化パラメータを固定することである。しかしながら、この手法では、レートが合わず、画像に応じた量子化パラメータの制御ができないことから、画質の劣化は必至である。
上記特許文献及び非特許文献の何れにおいてもそれらを解決する方法は与えられておらず、そもそもＨ．２６４における上記課題について全く着目されていない。
本発明の目的は、並列処理境界を挟んで連続するマクロブロック間で量子化パラメータの参照を、スライスを切らずに不要にすることができる画像符号化装置を提供することにある。
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
（１）領域の先頭マクロブロックに強制的に一部の量子化直交変換係数に非０係数を付加することで、領域をまたぐ量子化パラメータの参照を発生させない。
（２）領域の先頭マクロブロックの場合、量子化直交変換係数がすべて０であっても、可変長符号化情報に含まれる非０係数の有無を示すフラグであるコーデッドブロックパターン（coded_block_pattern）の値を非０係数有りとし、mb_qp_delta（符号化ストリームに含まれる隣接するMB間の量子化パラメータの差分）を付加することで、領域をまたぐ量子化パラメータの参照を発生させない。
（３）領域の先頭マクロブロックを符号化する際に用いた量子化パラメータを保持しておき、その量子化パラメータを用いて、隣接する領域の最終マクロブロックを符号化することで、領域をまたぐ量子化パラメータの参照を可能とする。このとき、隣接する領域の最終マクロブロックの量子化直交変換係数がすべて０である場合には当該マクロブロックに関し上記（１）又は（２）の手段を援用する。
上記何れの手段においても、スライスを切る必要がないため、並列処理領域境界をまたぐ予測が適用され、符号化効率が向上する。復号処理においてもエラーを生ぜず、復号画質の低下を招かない。画面内の量子化パラメータを非固定にできるので、レート制御および画像に応じた量子化パラメータの制御による高画質化が可能となる。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、スライスを切らずに、並列処理境界を挟んで連続するマクロブロック間で量子化パラメータの参照を不要にすることができ、復号画像の高画質化が可能になる。
１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔１〕《先頭ＭＢにおける非０係数への係数置換》
本発明に係る第１の観点による画像符号化装置（図１参照）は、符号化対象画像のマクロブロックを並列処理領域の先頭から順次並列処理で符号化する装置であって、並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、並列処理領域の先頭マクロブロックの量子化された量子化直交変換係数がすべて０の場合に、その一部に０でない係数を付加して非０とすることで、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を抑止する。
〔２〕項１の更に具体的な形態に係る画像符号化装置は、上記同様に並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、直交変換部、量子化部、係数補正部、可変長符号化部、及び量子化パラメータ演算部を有する。直交変換部は符号化対象画像データと参照画像データとの画像差分値を直交変換する。量子化部は前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する。係数補正部は、前記量子化部から出力された前記量子化直交変換係数を入力し、前記処理領域の先頭マクロブロックの前記量子化直交変換係数が全て０である場合には当該量子化直交変換係数の一部を０でない非０係数に置換して出力し、前記量子化直交変換係数が全て０でない場合には当該量子化直交変換係数をそのまま出力する。符号化部は、前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化する。量子化パラメータ演算部は前記量子化部及び符号化部に供給する量子化パラメータを生成する。
〔３〕《非０係数の置換位置》項２において、前記補正部が置換して出力する非０の係数は１係数である。非０係数への置換によるデータ量の増大は極力小さくなる。
〔４〕項２の画像符号化装置はさらに、前記補正部から出力される量子化直交変換係数を逆量子化する逆量子化部と、逆量子化部から出力される直交変換係数を逆直交変換する逆直交変換部と、逆直交変換部から出力される画像差分値に前記参照画像を加算してローカル復号画像を生成する加算部と、ローカル復号画像に基づいて画面内予測画像であるイントラ予測画像を生成するイントラ予測画像生成部と、ローカル復号画像に対してデブロックフィルタ処理を行なうデブロックフィルタ部と、デブロックフィルタ処理後のローカル復号画像と入力画像とに基づいて画面間予測画像であるインター予測画像を生成するインター予測画像生成部と、イントラ予測画像生成部から出力されるイントラ予測画像又はインター予測画像生成部から出力されるインター予測画像を選択して前記参照画像とする選択部と、を有する。
〔５〕《コーデッドブロックパターン変更》
本発明に係る第２の観点による画像符号化装置（図３，４参照）は、符号化対象画像のマクロブロックを並列処理領域の先頭から順次並列処理で符号化する装置であって、並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、並列処理領域の先頭マクロブロックの量子化された直交変換係数がすべて０の場合に、０でない非０係数が有ることを意味するコーデッドブロックパターンを生成して、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を抑止する。
〔６〕《コーデッドブロックパターン変更》
項５の更に具体的な形態に係る画像符号化装置は、項５と同様に並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、直交変換部、量子化部、及び符号化部、量子化パラメータ演算部とを有する。直交変換部は、符号化対象画像データと参照画像データとの画像差分値を直交変換する。量子化部は、前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する。符号化部は、前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化する。量子化パラメータ演算部は、前記量子化部及び符号化部に供給する量子化パラメータを生成する。前記符号化部は、前記処理領域毎の先頭マクロブロックの前記量子化直交変換係数が全て０である場合には、量子化直交変換係数の全てが０であることを意味するコーデッドブロックパターンに代えて、０でない非０係数が有ることを意味するコーデッドブロックパターンを符号化する。
〔７〕項６において、前記処理領域毎の先頭マクロブロックの前記量子化直交変換係数が全て０である場合に前記符号化部が生成する符号化情報は、量子化直交変換係数を含まない。
〔８〕《スキップＭＢの許容、終端ＭＢにおける非０係数への置換》
本発明に係る第３の観点による画像符号化装置（図５参照）は、符号化対象画像のマクロブロックを並列処理領域の先頭から順次並列処理で符号化する装置であって、並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、並列処理領域の最終マクロブロックを、並列処理領域境界を挟んで隣り合う次の並列処理領域の先頭マクロブロックと同じ量子化パラメータを用いて符号化し、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を許容し、且つ、並列処理領域の終端マクロブロックの量子化された量子化直交変換係数がすべて０の場合に、その一部に０でない係数を付加して非０とすることで、各並列処理領域の終端マクロブロックにおけるスキップマクロブロックの発生を抑止する。
〔９〕項８の更に具体的な形態に係る画像符号化装置は、項８と同様に並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、直交変換部、量子化部、係数補正部、符号化部、および量子化パラメータ演算部を有する。直交変換部は符号化対象画像データと参照画像データとの画像差分値を直交変換する。量子化部は 前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する。係数補正部は前記量子化部から出力された前記量子化直交変換係数を入力し、前記処理領域毎の終端マクロブロックの前記量子化直交変換係数が全て０である場合には当該量子化直交変換係数の一部を０でない非０係数に置換して出力し、前記量子化直交変換係数が全て０でない場合には当該量子化直交変換係数をそのまま出力する。符号化部は前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化する。量子化パラメータ演算部は前記量子化部及び符号化部に供給する量子化パラメータを生成する。更に、前記それぞれの符号化エレメントに対して前記処理領域毎の先頭マクロブロックとその手前の隣接処理領域の終端マクロブロックとに同じ量子化パラメータを用いる制御を行う量子化パラメータ制御部を有する。
〔１０〕項9において、前記量子化パラメータ制御部は、各符号化エレメントで生成された並列処理領域毎の先頭マクロブロックの量子化パラメータを夫々の量子化パラメータ演算部から取得して保持し、処理領域毎の終端マクロブロックの処理には当該マクロブロックの次の隣接処理領域の先頭マクロブロックと同じ量子化パラメータを利用させる。
〔１１〕項9において、前記補正部が置換して出力する非０係数は１係数である。
〔１２〕《スキップＭＢの許容、コーデッドブロックパターン変更》
本発明に係る第４の観点による画像符号化装置（図６参照）は、符号化対象画像のマクロブロックを並列処理領域の先頭から順次並列処理で符号化する装置であって、並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、並列処理領域の最終マクロブロックを、並列処理領域境界を挟んで隣り合う次の並列処理領域の先頭マクロブロックと同じ量子化パラメータを用いて符号化し、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を許容し、且つ、並列処理領域の終端マクロブロックの量子化された直交変換係数がすべて０の場合に、０でない非０係数が有ることを意味するコーデッドブロックパターンを含む符号化情報を生成して、各並列処理領域の終端マクロブロックにおけるスキップマクロブロックの発生を抑止する。
〔１３〕項１２の更に具体的な形態に係る画像符号化装置は、項１２と同様に並列処理領域毎に符号化エレメントを有する。前記符号化エレメントは、直交変換部、量子化部、符号化部、および量子化パラメータ演算部を有する。直交変換部は前記符号化エレメントは、符号化対象画像データと参照画像データとの画像差分値を直交変換する。量子化部は前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する。符号化部は前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化する。量子化パラメータ演算部は前記量子化部及び符号化部に供給する量子化パラメータを生成する。更に、前記夫々の符号化エレメントに対して前記処理領域毎の先頭マクロブロックとその手前の隣接処理領域の終端マクロブロックとに同じ量子化パラメータを用いる制御を行う量子化パラメータ制御部を有する。前記符号化部は、前記処理領域毎の終端マクロブロックの前記量子化直交変換係数が全て０である場合には、量子化直交変換係数の全てが０であるコーデッドブロックパターンに代えて、０でない非０係数が有ることを意味するコーデッドブロックパターンを符号化する。
〔１４〕項13において、前記量子化パラメータ制御部は、各符号化エレメントで生成された並列処理領域毎の先頭マクロブロックの量子化パラメータを夫々の量子化パラメータ演算部から取得して保持し、処理領域毎の終端マクロブロックの処理には当該マクロブロックの次の隣接処理領域の先頭マクロブロックと同じ量子化パラメータを利用させる。
〔１５〕項13において、前記処理領域毎の先頭マクロブロックの前記量子化直交変換係数が全て０である場合に前記符号化部が生成する符号化情報は、量子化直交変換係数を含まない。
２．実施の形態の詳細
実施の形態について更に詳述する。以下、本発明を実施するための形態を図面に基づいて詳細に説明する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。
《実施の形態１》
図１は本発明による画像符号化装置の構成が例示される。同図に示される画像符号化装置１は、符号化対象画像のマクロブロックを並列処理領域の先頭から順次並列処理で符号化するＨ．２６４に準拠した装置であって、並列処理領域毎に符号化エレメント１２０〜１２２を有する。例えば図２において２０を符号化対象画像とすると、２０３，２０４で代表的に示される一つの矩形がマクロブロックである。マクロブロックとは１６×１６の画素の集合である。符号化対象画像２０のマクロブロック１行分の領域が２０２で示されるような並列処理領域であり、図２において符号化対象画像２０は並列処理領域０〜並列処理領域Ｎによって構成されるものと把握することができる。画像符号化装置１は並列処理領域０〜並列処理領域Ｎのそれぞれに対して左端の先頭のマクロブロックから順次矢印２０５の方向にマクロブロック単位で符号化処理を並列に進める。図１に代表的に示された符号化エレメント１２０〜１２２は並列処理領域０〜並列処理領域２に対応される。
図１に基づいて代表的にその詳細が示された一つの符号化エレメント１２０の構成を説明する。同図において、１０１は、対応する並列処理領域の入力画像と参照画像の差分画像の直交変換を行う直交変換部である。１０２は、直交変換部１０１にて得られた直交変換係数を量子化する量子化部である。１３０は詳細を後述する係数補正部であり、１１４は領域先頭ＭＢ判定部である。１０３は、係数補正部１３０にて得られた量子化後の直交変換係数および必要な符号化情報を可変長符号化する可変長符号化部である。１０４は、係数補正部１３０にて得られた量子化後の直交変換係数を逆量子化する逆量子化部である。１０５は、逆量子化部１０４により得られた逆量子化された直交変換係数を逆直交変換する逆直交変換部である。１１０は逆直交変換部１０５により得られた画像差分値と参照画像を加算してローカル復号画像を生成する加算器である。１０７は加算器１１０から出力されるローカル復号画像をもとに、画面内予測画像であるイントラ予測画像を生成するイントラ予測画像生成部である。１０６は加算器１１０から出力されるローカル復号画像に対してデブロックフィルタ処理を行うデブロックフィルタ部である。１０８は、デブロックフィルタ部１０６によりデブロックフィルタ処理されたローカル復号画像と入力画像をもとに、画面間予測画像であるインター予測画像を生成するインター予測画像生成部である。１０９は、イントラ予測画像生成部１０７で生成されたイントラ予測画像と、インター予測画像生成部１０８で生成されたインター予測画像のどちらを参照画像として用いるかを画像圧縮アルゴリズムに従って選択する選択器である。１１１は、入力画像と参照画像の差分をとる減算器である。量子化部１０２、可変長符号化部１０３、逆量子化部１０４、デブロックフィルタ部１０６に与えられる量子化パラメータは、量子化パラメータ演算部１１２にて決定され、各部に供給される。係数補正部１３０以外の上記構成はＨ．２６４符号化装置の一般的な構成である。他の符号化エレメントも同様に構成され、ストリーム統合部１２３にて、各符号化エレメントにて得られた可変長符号が統合され、最終的なビットストリームが生成されることによって、並列符号化が実現される。図１では、例として、同一の構成からなる符号化エレメント１２０〜１２２を並列に配置した３並列の符号化装置としたが、並列数は任意であり、また、先の構成を守る限りにおいては、各符号化エレメントのその他の部分に相違があってもよい。また、可変長符号化部１０３の出力を固定長データとし、ストリーム統合部１２３にて一括して可変長符号化することも可能である。
係数補正部１３０は、並列処理領域の先頭マクロブロックの量子化された量子化直交変換係数がすべて０の場合に、その一部に０でない係数を付加して非０とすることで、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を抑止する回路ブロックである。具体的には、係数補正部１３０は、係数有無判定部１１３、係数付加判定部１１５、係数付加部１１６、セレクタ１１７、及びセレクタ１１８から成る。領域先頭ＭＢ判定部１１４は、並列処理領域の現在の処理対象マクロブロックが先頭マクロブロックであるか否かを判定する。係数有無判定部１１３は、量子化部１０２にて得られた一つのマクロブロックに対応する量子化後の直交変換係数（量子化直交変換係数）が全て０係数であるか否かを判定する。係数付加判定部１１５は、領域先頭ＭＢ判定部１１４にて得られた先頭ＭＢか否かの判定結果と、係数有無判定部１１３にて得られた量子化直交変換係数の有無の判定結果に基づいてそのときのマクロブロックの量子化直交変換係数の一部に０でない非０係数を付加するか否かを判定し、セレクタ１１７、１１８の切換え制御を行う。すなわち、先頭マクロブロックでない場合、あるいは、先頭マクロブロックであっても非０係数が含まれている場合には、量子化部１０２の出力がそのままスルーで可変長符号化部に出力される。一方、先頭マクロブロックであって且つ非０係数が全く含まれていない場合には、量子化部１０２の出力の一部に係数付加部１１６で非０係数が付加されて可変長符号化部１０３に出力される。換言すれば量子化部１０２の出力の一部が係数付加部１１６で非０係数に置換されて可変長符号化部１０３に出力される。
更に並列符号化処理を図１および図２に基づいて全体的に説明する。図２において、２０１、２０２は、符号化画像中の並列処理領域であり、それぞれ異なった符号化エレメント１２０、１２１にて並列に符号化される。２０３は並列処理領域２０１の最終ＭＢであり、２０４は並列処理領域２０２の先頭ＭＢである。
動画像符号化処理では、量子化部１０２にて得られた量子化直交変換係数値がすべて０になる場合がある。Ｈ，２６４の規格に従えば、直交変換係数がすべて０の場合、ストリーム統合部１２３にて得られた可変長符号化後のストリームの該当ＭＢには量子化パラメータが付加されず、復号化処理では、隣接する前のＭＢの量子化パラメータを用いて処理されることになる。すなわち、図２において、並列処理領域先頭ＭＢ２０４の量子化直交変換係数値がすべて０だった場合、復号化処理では、並列処理領域最終ＭＢ２０３の量子化パラメータを用いることになり、それに対応するには、符号化処理では先頭ＭＢ２０４は並列処理領域最終ＭＢ２０３の量子化パラメータを用いて処理されなければならないことになる。ここで、並列処理領域２０１と並列処理領域２０２は並列に処理されていることから、並列処理領域２０１の最終ＭＢ２０３と並列処理領域２０２の先頭ＭＢ２０４の量子化パラメータは必ずしも一致しない。要するに、各並列処理量領域で先頭から矢印２０５の方向へ順次並列処理される場合、先頭のＭＢ２０４の処理が終った後に終端のＭＢ２０３の処理が行なわれるから、復号化処理では誤った量子化パラメータを用いて処理されることが予想される。
これを回避するのに、処理領域単位でスライスを切り、処理領域の先頭ＭＢに量子化パラメータを付加する方法があるが、スライスをまたぐＭＢ間の予測が適用されなくなるため符号量が増加し、符号化効率の低下を招くことになる。また、もう別の回避策として画面内の量子化パラメータを固定する方法もあるが、画面内の量子化パラメータを固定すれば並列処理領域境界のＭＢで量子化パラメータが異なることはなくなり正常に符号化できるが、量子化パラメータを固定することによりレートが合わなくなったり、画像に応じた量子化パラメータの制御ができなくなって、画質が劣化すると考えられる。
本実施の形態では、処理領域境界先頭ＭＢの直交変換係数の一部を非０とすることで、スキップマクロブロックの発生が抑制され、並列処理境界を挟んで連続するマクロブロック間での量子化パラメータの参照を不要にすることができる。図１において、領域先頭ＭＢ判定部１１４でＭＢ位置を判定し、係数有無判定部１１３は、量子化部１０２から得られた量子化直交変換係数の全てが０係数であるか否かを判定し、先頭マクロブロックの量子化直交変換係数に非０係数が全く含まれていなければ、少なくとも一つの０係数を非０係数に置換する処理が行なわれる。非０とする直交変換係数は、ＭＢ中の少なくとも１つであればよい。例えば、非０とする直交変換係数の位置は、輝度成分もしくは色差成分において、８×８のマクロブロックに対する変換の場合は６４画素中の６４係数の内の何れか、４×４のマクロブロックに対する変換の場合は１６画素中の１６係数の内の何れかであればよく、少なくとも１つであればよい。更に具体的には、符号化する画像が極端に平坦な場合は、ＤＣ成分の位置に非０係数を付加し、高周波成分の多い画像の場合は、ＡＣ成分のなかでもより高周波な成分である例えば図８の位置に非０係数を付加する、というように、画像に応じて付加する位置を変更することにより、その影響を視覚的に目立たなくすることが可能である。また、その一方で、付加する位置を乱数的に決定しても構わない。
上記実施の形態１によれば、図２に例示されるように、並列処理領域１の先頭ＭＢ２０４の直交変換係数がすべて０の場合に、その一部に強制的に非０係数を付加することで、可変長符号化後のストリームに量子化パラメータが付加されるから、正しく復号化処理可能なストリームの生成が可能になる。また、スライスを切る必要がないため、並列処理領域境界をまたぐ予測が適用され、符号化効率が向上する。また、デブロックフィルタ部１０６によるフィルタ処理にも誤差を生じない。さらに、画面内の量子化パラメータを非固定にできるので、レート制御および画像に応じた量子化パラメータの制御による高画質化が可能となる。
《実施の形態２》
図３は本発明による画像符号化装置の別の例が示される。図１の構成は並列処理領域の先頭マクロブロックの処理でスキップマクロブロックの発生を抑止するのに係数補正部１３０を採用したが、図２の画像符号化装置２は可変長符号化部２３３の処理でスキップマクロブロックの発生を抑止する。
図２では、図１の係数補正部１３０と可変長符号化部１０３に代えて、可変長符号化部２３３と領域先頭ＭＢ判定部２３５を採用した点が、図１と相違される。領域先頭ＭＢ判定部２３５は図１の領域先頭ＭＢ判定部１１４と同一機能を有する。図１と同一機能を有するその他の回路ブロックにはそれと同じ参照符号を付してその詳細な説明を省略する。図２では逆量子化部１０４は量子化部１０２から出力される量子化直交変換係数を受ける。
領域先頭ＭＢ判定部２３５は並列処理領域の現在の処理対象マクロブロックが先頭マクロブロックであるか否かを判定する。可変長符号化部２３３はＨ．２６４に準拠した可変長符号化機能に加えて、係数有無判定部２３２及びコーデッドブロックパターン（ＣＢＰ）符号化部２３４を有する。係数有無判定部２３２は、量子化部１０２にて得られた一つのマクロブロックに対応する量子化後の直交変換係数（量子化直交変換係数）が全て０係数であるか否かを判定する。ＣＢＰ符号化部２３４は、領域先頭ＭＢ判定部２３５にて得られた並列処理領域の先頭ＭＢ判定結果と、係数有無判定部２３２にて得られた量子化直交変換係数の全てが０係数か否かの判定結果とを受け、H.２６４のシンタックスにおけるコーデッドブロックパターン（coded_block_pattern）を符号化する。ＣＢＰ符号化部２３４は、並列処理領域の先頭マクロブロックに対する処理の場合、量子化直交変換係数がすべて０であるときは、量子化直交変換係数の全てが０であることを意味するコーデッドブロックパターンに代えて、０でない非０係数が有ることを意味するコーデッドブロックパターンとし、常にビットストリームにmb_qp_deltaが付加されるよう処理を行う。mb_qp_deltaとは、Ｈ．２６４に従えば、符号化ストリームに含まれる隣接するMB間の量子化パラメータの差分、要するに、当該マクロブロックの量子化に用いた量子化パラメータを用いた差分情報とされる。
図４には可変長符号化部２３３による符号化処理手順が例示される。２４１は、ＭＢの符号化形式がIntra_１６×１６か否かを判定するステップであり、Intra_１６×１６の場合、ステップ２５０に分岐する。２４２は、非０係数があるか否かを判定するステップである。２４３は、非０係数有りを示すcoded_block_patternを生成するステップである。２４４は、非０係数なしを示すcoded_block_patternを生成するステップである。ステップ２４２による判定に応じ、非０係数がある場合はステップ２４３、非０係数がない場合はステップ２４４が実施される。２４５は、非０係数有りを示すcoded_block_patternか否かを判定するステップであり、coded_block_patternが非０係数なしを示す場合はステップ２４６に分岐する。２４６は、スキップマクロブロック（Skip MB）か否かを判定するステップであり、スキップマクロブロック（Skip MB）の場合にはそれ以降のステップをすべてスキップする。２４７は、以前に幾つのＭＢのスキップＭＢが存在したかを示すスキップＭＢ情報を符号化するステップである。２４８はＭＢ予測情報（Ｈ．２６４におけるMacroblock Prediction情報）を符号化するステップである。２４９は、コーデッドブロックパターン（coded_block_pattern）を符号化するステップである。２５０は、mb_qp_deltaを符号化するステップである。２５１は、非０係数の数を示すcoeff_tokenを符号化するステップである。２５２は、非０係数の数が０か否かを判定するステップである。２５３は、係数を符号化するステップである。ステップ２５２において、非０係数の数が０の場合は、ステップ２５３はスキップされ係数は符号化されない。２５４は、最終ブロックか否かを判定し、最終ブロックでない場合はステップ２５１〜２５３をループする。以上はH．２６４符号化の一般的なフローであり、本発明ではステップ２６０および２６１が追加される。２６０は、領域先頭ＭＢ判定部２３５における先頭ＭＢか否かを判定するステップである。２６１は、ＣＢＰ符号化部２３４において、非０係数有りを示すcoded_block_patternを生成するステップである。ステップ２４２にて非０係数なしと判定された場合でも、領域先頭ＭＢ判定部２３５におけるステップ２６０による判定が先頭ＭＢであったならば、ステップ２６１にて非０係数有りを示すcoded_block_patternを生成する。その結果、ステップ２５０にてmb_qp_deltaが付加され、かつ、非０係数の数が０であることからステップ２５３はスキップされ係数は符号化されない。尚、前記スキップＭＢ情報、ＭＢ予測情報、coded_block_pattern、mb_qp_delta、及びcoeff_tokenは図７に例示される可変長符号化された可変長符号化情報としてのマクロブロックシンタックス（Macroblock Layer Syntax）を構成するシンタックス要素である。
実施の形態２に係る画像符号化装置２によれば、領域先頭ＭＢの量子化直交変換係数がすべて０の場合でも、可変長符号化後のストリーム中に量子化パラメータを付加することが可能となり、正しい復号化処理を保証することが可能なストリームを生成することができる。また、スライスを切る必要がないため、並列処理領域境界をまたぐ予測が適用され、符号化効率が向上する。さらに、画面内の量子化パラメータを非固定にできるので、レート制御および画像に応じた量子化パラメータの制御による高画質化が可能となる。実施例１に比べても、符号化効率の悪い量子化直交変換係数がすべて０のままであるため符号化効率が高く、良好な画質を得ることを可能にすることができる。
《実施の形態３》
図５は本発明による画像符号化装置の別の例が示される。図５の画像符号化装置３では、並列境界を挟んだ先頭マクロブロックと終端マクロブロックに等しい量子化パラメータを割り振り、並列境界を挟んだ終端マクロブロックでスキップマクロブロックが発生するのを図１に類似の係数補正部を用いて抑制する構成が採用される。図１との相違点はそれぞれの符号化エレメント３２０〜３２２には領域先頭ＭＢ判定部１１４に代えて領域先頭及び終端ＭＢ判定部３４４を採用し、全ての符号化エレメント３２０〜３２２に共通の量子化パラメータ制御部３５０を設け、係数補正部１３０に類似の係数補正部３３０を設けた点が図１と相違される。
領域先頭及び終端ＭＢ判定部３４４は、並列処理領域の処理対象マクロブロックが先頭ＭＢ又は終端ＭＢであるかを判定する。その判定結果は量子化パラメータ制御部３５０及び係数付加判定部３４５に供給される。
量子化パラメータ制御部３５０は並列処理領域の先頭マクロブロックを符号化する際に用いた量子化パラメータを保持しておき、その量子化パラメータを用いて、隣接する領域の終端マクロブロックを符号化することで、並列処理領域の並列境界をまたぐ量子化パラメータの参照を可能とする。換言すれば、並列処理領域の先頭マクロブロックがスキップマクロブロックであることを許容する。このとき、隣接する領域の最終マクロブロックの量子化直交変換係数がすべて０である場合には当該マクロブロックについて係数補正部を用いてスキップマクロブロックになることを抑制し、当該終端マクロブロックとその手前のマクロブロック間で量子化パラメータが相違する矛盾の発生を抑止している。
係数補正部３３０は、並列処理領域の終端マクロブロックの量子化された量子化直交変換係数がすべて０の場合に、その一部に０でない係数を付加して非０とすることで、各並列処理領域の終端マクロブロックにおけるスキップマクロブロックの発生を抑止する回路ブロックである。具体的には、係数補正部３３０は、係数有無判定部３４３、係数付加判定部３４５、係数付加部３４６、セレクタ３４７、及びセレクタ３４８から成る。係数有無判定部３４３は、量子化部１０２にて得られた一つのマクロブロックに対応する量子化後の直交変換係数（量子化直交変換係数）が全て０係数であるか否かを判定する。係数付加判定部３４５は、領域先頭及び終端ＭＢ判定部３４４にて得られた終端ＭＢか否かの判定結果と、係数有無判定部３４３にて得られた量子化直交変換係数の有無の判定結果に基づいてそのときのマクロブロックの量子化直交変換係数の一部に０でない非０係数を付加するか否かを判定し、セレクタ３４７、３４８の切換え制御を行う。すなわち、終端マクロブロックでない場合、あるいは、終端マクロブロックであっても非０係数が含まれている場合には、量子化部１０２の出力がそのままスルーで可変長符号化部１０３に出力される。一方、終端マクロブロックであって且つ非０係数が全く含まれていない場合には、量子化部１０２の出力の一部に係数付加部３４６で非０係数が付加されて可変長符号化部１０３に出力される。換言すれば量子化部１０２の出力の一部が係数付加部３４６で非０係数に置換されて可変長符号化部１０３に出力される。置換される非０係数については図１の場合と同じである。
前記量子化パラメータ制御部３５０は、領域先頭及び終端ＭＢ判定部３４４からの判定結果に応じて量子化パラメータを制御する。判定結果が領域先頭ＭＢの場合、量子化パラメータ制御部３５０は、量子化パラメータ演算部１１２から出力されている量子化パラメータを内部で保持する。判定結果が領域終端ＭＢの場合、量子化パラメータ制御部３５０は、隣接する処理領域の先頭ＭＢで保持しておいた量子化パラメータを量子化パラメータ演算部１１２に供給してこれを領域終端ＭＢのための量子化パラメータにさせる。尚、この例では、領域先頭ＭＢで算出された量子化パラメータを用いて領域終端ＭＢを量子化する制御を示したが、外部から設定された量子化パラメータを用いて、領域先頭ＭＢと領域終端ＭＢを符号化する制御も可能である。
図５の画像符号化装置３では、図２において、並列処理領域２０２の先頭ＭＢ２０４の直交変換係数がすべて０の場合に、並列処理領域２０１の終端ＭＢ２０３の量子化パラメータを用いた復号化処理が可能となる。領域終端ＭＢの直交変換係数がすべて０の場合も、係数補正部３３０にて強制的に非０係数を付加することで、可変長符号化後のストリームに量子化パラメータを付加させ、正しく復号化処理可能なストリームを生成することができる。また、スライスを切る必要がないため、並列処理領域境界をまたぐ予測が適用され、符号化効率が向上する。さらに、画面内の量子化パラメータを非固定にできるので、レート制御および画像に応じた量子化パラメータの制御による高画質化が可能となる。
《実施の形態４》
図６は本発明による画像符号化装置の別の例が示される。図６の画像符号化装置４では、並列境界を挟んだ先頭マクロブロックと終端マクロブロックに等しい量子化パラメータを割り振り、並列境界を挟んだ終端マクロブロックでスキップマクロブロックが発生するのを図３に類似の可変長符号化部４３３を用いて抑制する構成が採用される。図３との相違点はそれぞれの符号化エレメント３２０〜３２２には領域先頭ＭＢ判定部２３５に代えて領域先頭及び終端ＭＢ判定部４３５を採用し、全ての符号化エレメント４２０〜４２２に共通の量子化パラメータ制御部４５０を設け、可変長符号化部２３３に類似の可変長符号化部４３３を設けた点が図３と相違される。
領域先頭及び終端ＭＢ判定部４３５は、並列処理領域の処理対象マクロブロックが先頭ＭＢ又は終端ＭＢであるかを判定する。その判定結果は量子化パラメータ制御部４５０及びＣＢＰ符号化部４３４に供給される。
量子化パラメータ制御部４５０は並列処理領域の先頭マクロブロックを符号化する際に用いた量子化パラメータを保持しておき、その量子化パラメータを用いて、隣接する領域の終端マクロブロックを符号化することで、並列処理領域の並列境界をまたぐ量子化パラメータの参照を可能とする。換言すれば、並列処理領域の先頭マクロブロックがスキップマクロブロックであることを許容する。このとき、隣接する領域の最終マクロブロックの量子化直交変換係数がすべて０である場合には当該マクロブロックについて可変長符号化部４３３を用いてスキップマクロブロックになることを抑制し、当該終端マクロブロックとその手前のマクロブロック間で量子化パラメータが相違する矛盾の発生を抑止している。
可変長符号化部４３３はＨ．２６４に準拠した可変長符号化機能に加えて、係数有無判定部４３２及びコーデッドブロックパターン（ＣＢＰ）符号化部４３４を有する。係数有無判定部４３２は、量子化部１０２にて得られた一つのマクロブロックに対応する量子化後の直交変換係数（量子化直交変換係数）が全て０係数であるか否かを判定する。ＣＢＰ符号化部４３４は、領域先頭及び終端ＭＢ判定部４３５にて得られた並列処理領域の終端ＭＢ判定結果と、係数有無判定部４３２にて得られた量子化直交変換係数の全てが０係数か否かの判定結果とを受け、H.２６４のシンタックスにおけるコーデッドブロックパターン（coded_block_pattern）を符号化する。ＣＢＰ符号化部４３４は、並列処理領域の終端マクロブロックに対する処理の場合、量子化直交変換係数がすべて０であるときは、量子化直交変換係数の全てが０であることを意味するコーデッドブロックパターンに代えて、０でない非０係数が有ることを意味するコーデッドブロックパターンとし、常にビットストリームにmb_qp_deltaが付加されるよう処理を行う。
量子化パラメータ制御部４５０は、領域先頭及び終端ＭＢ判定部４３５からの判定結果に応じて量子化パラメータを制御する。判定結果が領域先頭ＭＢの場合、量子化パラメータ制御部４５０は、量子化パラメータ演算部１１２から出力されている量子化パラメータを内部で保持する。判定結果が並列処理領域の終端ＭＢの場合、量子化パラメータ制御部４５０は、隣接する並列処理領域の先頭ＭＢで保持しておいた量子化パラメータを量子化パラメータ演算部１１２に供給して、当該終端ＭＢの量子化パラメータとして利用させる。この例では、並列領域の先頭ＭＢで算出された量子化パラメータを用いて並列領域の終端ＭＢを量子化する制御を示したが、外部から設定された量子化パラメータを用いて、先頭ＭＢと最終ＭＢを符号する制御も可能である。
図６の画像符号化装置４によれば、並列処理領域の先頭ＭＢの直交変換係数がすべて０の場合に、並列処理領域の終端ＭＢの量子化パラメータを用いた復号化処理が可能となる。並列処理領域の最終ＭＢの直交変換係数がすべて０の場合でも、可変長符号化後のストリーム中に量子化パラメータを付加することが可能となり、正しく復号化処理可能なストリームを生成することができる。また、スライスを切る必要がないため、並列処理領域境界をまたぐ予測が適用され、符号化効率が向上する。さらに、画面内の量子化パラメータを非固定にできるので、レート制御および画像に応じた量子化パラメータの制御による高画質化が可能となる。図５に比べても、符号化効率の悪い量子化直交変換係数がすべて０のままであるため符号化効率が高く、良好な画質を得るのに資することができる。
以上本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲においてその他種々変更可能であることは言うまでもない。
図１は本発明による第１の画像符号化装置の構成を例示するブロックダイヤグラムである。 図２は符号化対象画像における複数の並列処理領域とそれぞれの並列処理領域におけるマクロブロックについて示した説明図である。 図３は本発明による第２の画像符号化装置の構成を例示するブロックダイヤグラムである。 図４は可変長符号化部による符号化処理手順を例示するフローチャートである。 図５は本発明による第３の画像符号化装置の構成を例示するブロックダイヤグラムである。 図６は本発明による第４の画像符号化装置の構成を例示するブロックダイヤグラムである。 図７は可変長符号化された可変長符号化情報としてのマクロブロックシンタックスの説明図ある。 図８は量子化直交変換された０係数の一部を非０係数に置換する位置についての説明図である。
符号の説明
１，２，３，４ 画像符号化装置
１２０〜１２２ 符号化エレメント
２０１，２０２ 並列処理領域
２０３，２０４ マクロブロック
２０ 符号化対象画像
１０１ 直交変換部
１０２ 量子化部
１３０ 係数補正部
１１４ 領域先頭ＭＢ判定部
１０３ 可変長符号化部
１０４ 逆量子化部
１０５ 逆直交変換部
１１０ 加算器
１０７ イントラ予測画像生成部
１０６ デブロックフィルタ部
１０８ インター予測画像生成部
１０９ 選択器
１１２ 量子化パラメータ演算部
１２３ ストリーム統合部
１１３ 係数有無判定部
１１５ 係数付加判定部
１１６ 係数付加部
１１７，１１８ セレクタ
２２０〜２２２ 符号化エレメント
２３３ 可変長符号化部
２３５ 領域先頭ＭＢ判定部
２３２ 係数有無判定部
２３４ コーデッドブロックパターン（ＣＢＰ）符号化部
３４４ 領域先頭及び終端ＭＢ判定部
３２０〜３２２ 符号化エレメント
３５０ 量子化パラメータ制御部
３３０ 係数補正部
４３３ 可変長符号化部
４３５ 領域先頭及び終端ＭＢ判定部
４２０〜４２２ 符号化エレメント
４５０ 量子化パラメータ制御部

Claims (15)

  1. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領域のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、並列処理領域の先頭マクロブロックの量子化された量子化直交変換係数がすべて０の場合に、その一部に０でない係数を付加して非０とすることで、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を抑止する、画像符号化装置。
  2. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領域のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、符号化対象画像データと参照画像データとの画像差分値を直交変換する直交変換部と、
    前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する量子化部と、
    前記量子化部から出力された前記量子化直交変換係数を入力し、前記処理領域毎の先頭マクロブロックの前記量子化直交変換係数が全て０である場合には当該量子化直交変換係数の一部を０でない非０係数に置換して出力し、前記量子化直交変換係数が全て０でない場合には当該量子化直交変換係数をそのまま出力する係数補正部と、
    前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化して可変長符号を生成する符号化部と、
    前記量子化部及び符号化部に供給する量子化パラメータを生成する量子化パラメータ演算部と、を有する、画像符号化装置。
  3. 前記補正部が置換して出力する非０の係数は１係数である、請求項２記載の画像符号化装置。
  4. 前記補正部から出力される量子化直交変換係数を逆量子化する逆量子化部と、
    逆量子化部から出力される直交変換係数を逆直交変換する逆直交変換部と、
    逆直交変換部から出力される画像差分値に前記参照画像を加算してローカル復号画像を生成する加算部と、
    ローカル復号画像に基づいて画面内予測画像であるイントラ予測画像を生成するイントラ予測画像生成部と、
    ローカル復号画像に対してデブロックフィルタ処理を行なうデブロックフィルタ部と、
    デブロックフィルタ処理後のローカル復号画像と入力画像とに基づいて画面間予測画像であるインター予測画像を生成するインター予測画像生成部と、
    イントラ予測画像生成部から出力されるイントラ予測画像又はインター予測画像生成部から出力されるインター予測画像を選択して前記参照画像とする選択部と、を更に有する、請求項２記載の画像符号化装置
  5. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領域のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、並列処理領域の先頭マクロブロックの量子化された直交変換係数がすべて０の場合に、０でない非０係数が有ることを意味するコーデッドブロックパターンを含む符号化情報を生成して、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を抑止する、画像符号化装置。
  6. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領域のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、符号化対象画像データと参照画像データとの画像差分値を直交変換する直交変換部と、
    前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する量子化部と、
    前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化して可変長符号を生成する符号化部と、
    前記量子化部及び符号化部に供給する量子化パラメータを生成する量子化パラメータ演算部と、を有し、
    前記符号化部は、前記処理領域の先頭マクロブロックの前記量子化直交変換係数が全て０である場合には、量子化直交変換係数の全てが０であることを意味するコーデッドブロックパターンに代えて、０でない非０係数が有ることを意味するコーデッドブロックパターンを生成する、画像符号化装置。
  7. 前記処理領域の先頭マクロブロックの前記量子化直交変換係数が全て０である場合に前記符号化部が生成する符号化情報は、量子化直交変換係数を含まない、請求項６記載の画像符号化装置。
  8. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、並列処理領域の最終マクロブロックを、並列処理領域境界を挟んで隣り合う次の並列処理領域の先頭マクロブロックと同じ量子化パラメータを用いて符号化し、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を許容し、且つ、並列処理領域の終端マクロブロックの量子化された量子化直交変換係数がすべて０の場合に、その一部に０でない係数を付加して非０とすることで、各並列処理領域の終端マクロブロックにおけるスキップマクロブロックの発生を抑止する、画像符号化装置。
  9. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領域のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、符号化対象画像データと参照画像データとの画像差分値を直交変換する直交変換部と、
    前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する量子化部と、
    前記量子化部から出力された前記量子化直交変換係数を入力し、前記処理領域毎の終端マクロブロックの前記量子化直交変換係数が全て０である場合には当該量子化直交変換係数の一部を０でない非０係数に置換して出力し、前記量子化直交変換係数が全て０でない場合には当該量子化直交変換係数をそのまま出力する係数補正部と、
    前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化して可変長符号を生成する符号化部と、
    前記量子化部及び符号化部に供給する量子化パラメータを生成する量子化パラメータ演算部と、を有し、
    前記各符号化エレメントに対して前記処理領域毎の先頭マクロブロックとその手前の隣接処理領域の終端マクロブロックとに同じ量子化パラメータを用いる制御を行う量子化パラメータ制御部を有する、画像符号化装置。
  10. 前記量子化パラメータ制御部は、各符号化エレメントで生成された並列処理領域毎の先頭マクロブロックの量子化パラメータを夫々の量子化パラメータ演算部から取得して保持し、処理領域毎の終端マクロブロックの処理には当該マクロブロックの次の隣接処理領域の先頭マクロブロックと同じ量子化パラメータを利用させる、請求項９記載の画像符号化装置。
  11. 前記補正部が置換して出力する非０係数は１係数である、請求項９記載の画像符号化装置。
  12. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領域のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、並列処理領域の最終マクロブロックを、並列処理領域境界を挟んで隣り合う次の並列処理領域の先頭マクロブロックと同じ量子化パラメータを用いて符号化し、各並列処理領域の先頭マクロブロックにおけるスキップマクロブロックの発生を許容し、且つ、並列処理領域の終端マクロブロックの量子化された直交変換係数がすべて０の場合に、０でない非０係数が有ることを意味するコーデッドブロックパターンを含む符号化情報を生成して、各並列処理領域の終端マクロブロックにおけるスキップマクロブロックの発生を抑止する、画像符号化装置。
  13. Ｈ．２６４に準拠するスライスの符号化対象画像を複数に分割した夫々の並列処理領域のマクロブロックを先頭から順次並列処理で符号化する画像符号化装置であって、前記並列処理領域毎に可変長符号を生成する複数の符号化エレメントと、複数の前記符号化エレメントから並列的に出力される可変長符号を統合するストリーム統合部と、を有し、
    前記符号化エレメントは、符号化対象画像データと参照画像データとの画像差分値を直交変換する直交変換部と、
    前記直交変換部で直交変換された直交変換係数を量子化して量子化直交変換係数を出力する量子化部と、
    前記係数補正部から出力された量子化直交変換係数と必要な符号化情報を符号化して可変長符号を生成する符号化部と、
    前記量子化部及び符号化部に供給する量子化パラメータを生成する量子化パラメータ演算部と、を有し、
    前記夫々の符号化エレメントに対して前記処理領域毎の先頭マクロブロックとその手前の隣接処理領域の終端マクロブロックとに同じ量子化パラメータを用いる制御を行う量子化パラメータ制御部を有し、
    前記符号化部は、前記処理領域毎の終端マクロブロックの前記量子化直交変換係数が全て０である場合には、量子化直交変換係数の全てが０であるコーデッドブロックパターンに代えて、０でない非０係数が有ることを意味するコーデッドブロックパターンを生成する、画像符号化装置。
  14. 前記量子化パラメータ制御部は、各符号化エレメントで生成された並列処理領域毎の先頭マクロブロックの量子化パラメータを夫々の量子化パラメータ演算部から取得して保持し、処理領域毎の終端マクロブロックの処理には当該マクロブロックの次の隣接処理領域の先頭マクロブロックと同じ量子化パラメータを利用させる、請求項１３記載の画像符号化装置。
  15. 前記処理領域毎の先頭マクロブロックの前記量子化直交変換係数が全て０である場合に前記符号化部が生成する符号化情報は、量子化直交変換係数を含まない、請求項１３記載の画像符号化装置。
JP2008082470A 2008-03-27 2008-03-27 画像符号化装置 Active JP5007259B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008082470A JP5007259B2 (ja) 2008-03-27 2008-03-27 画像符号化装置
TW98101379A TW200942040A (en) 2008-03-27 2009-01-15 Image encoding device
CN200910005428.4A CN101547358B (zh) 2008-03-27 2009-01-20 图像编码设备
US12/401,613 US8442333B2 (en) 2008-03-27 2009-03-10 Parallel processing image encoding device with variable length coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008082470A JP5007259B2 (ja) 2008-03-27 2008-03-27 画像符号化装置

Publications (2)

Publication Number Publication Date
JP2009239565A JP2009239565A (ja) 2009-10-15
JP5007259B2 true JP5007259B2 (ja) 2012-08-22

Family

ID=41117325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008082470A Active JP5007259B2 (ja) 2008-03-27 2008-03-27 画像符号化装置

Country Status (4)

Country Link
US (1) US8442333B2 (ja)
JP (1) JP5007259B2 (ja)
CN (1) CN101547358B (ja)
TW (1) TW200942040A (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8379718B2 (en) 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
KR101673186B1 (ko) 2010-06-09 2016-11-07 삼성전자주식회사 매크로블록의 연관관계를 고려하여 영상 데이터의 부호화 및 복호화를 병렬 처리하는 장치 및 방법
PL3267684T3 (pl) 2010-06-10 2022-01-31 Interdigital Vc Holdings, Inc. Sposób wyznaczania predyktorów parametrów kwantyzacji na podstawie wielu sąsiednich parametrów kwantyzacji
US8988531B2 (en) * 2010-07-08 2015-03-24 Texas Instruments Incorporated Method and apparatus for sub-picture based raster scanning coding order
KR101698797B1 (ko) * 2010-07-27 2017-01-23 삼성전자주식회사 영상 데이터를 분할하여 부호화 및 복호화를 병렬 처리하는 장치 및 상기 장치의 동작 방법
GB2486726B (en) * 2010-12-23 2017-11-29 British Broadcasting Corp Compression of pictures
JP5875236B2 (ja) 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9510020B2 (en) * 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
JP5819754B2 (ja) 2012-03-23 2015-11-24 株式会社メガチップス 画像符号化装置
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US9591302B2 (en) 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
CN104641646A (zh) * 2012-09-28 2015-05-20 索尼公司 图像处理设备和图像处理方法
US9602829B2 (en) * 2012-12-06 2017-03-21 Sony Corporation Decoding device, decoding method, and program
JP6069009B2 (ja) * 2013-02-13 2017-01-25 日本放送協会 画像復号装置及び画像復号プログラム
JP6244864B2 (ja) * 2013-12-06 2017-12-13 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10271052B2 (en) 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
JP6272194B2 (ja) 2014-09-24 2018-01-31 株式会社日立情報通信エンジニアリング 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法
US10277913B2 (en) * 2014-10-22 2019-04-30 Samsung Electronics Co., Ltd. Application processor for performing real time in-loop filtering, method thereof and system including the same
JP6311821B2 (ja) * 2017-04-18 2018-04-18 富士通株式会社 動画像処理装置及び動画像処理方法
JP7278719B2 (ja) * 2018-06-27 2023-05-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN112449185B (zh) * 2019-08-28 2022-01-25 腾讯科技（深圳）有限公司 视频解码方法、编码方法、装置、介质及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0123616B1 (en) * 1983-04-20 1987-03-04 Nippon Telegraph And Telephone Corporation Interframe coding method and apparatus therefor
JP3351705B2 (ja) * 1997-04-25 2002-12-03 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び記録媒体への記録方法
JP2000333180A (ja) * 1999-05-24 2000-11-30 Media Glue Corp スキップマクロブロック禁止制御方法、スキップマクロブロック禁止制御装置およびスキップマクロブロック禁止制御プログラムを記録した媒体
JP2002027469A (ja) * 2000-07-05 2002-01-25 Matsushita Electric Ind Co Ltd ビットストリーム変換方法、ビットストリーム変換装置およびプログラム記録媒体
US7437009B2 (en) * 2002-01-16 2008-10-14 Matsushita Electric Industrial Co., Ltd. Image coding apparatus, image coding method, and image coding program for coding at least one still frame with still frame coding having a higher quality than normal frame coding of other frames
CN100420308C (zh) * 2002-04-26 2008-09-17 株式会社Ntt都科摩 图象编码装置和图象译码装置
JP4240283B2 (ja) * 2002-10-10 2009-03-18 ソニー株式会社 復号装置及び復号方法
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
US7512278B2 (en) * 2003-04-07 2009-03-31 Modulus Video Inc. Scalable array encoding system and method
US8111752B2 (en) * 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
JP4062711B2 (ja) * 2006-04-17 2008-03-19 俊宏 南 動画像符号化装置
JP4789200B2 (ja) * 2006-08-07 2011-10-12 ルネサスエレクトロニクス株式会社 動画符号化と動画復号とのいずれかを実行する機能モジュールおよびそれを含む半導体集積回路
JP4592656B2 (ja) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置

Also Published As

Publication number Publication date
US8442333B2 (en) 2013-05-14
CN101547358A (zh) 2009-09-30
TW200942040A (en) 2009-10-01
US20090245664A1 (en) 2009-10-01
JP2009239565A (ja) 2009-10-15
CN101547358B (zh) 2014-01-15

Similar Documents

Publication Publication Date Title
JP5007259B2 (ja) 画像符号化装置
US20210358085A1 (en) Method of removing deblocking artifacts
EP2324638B1 (en) System and method for video encoding using adaptive loop filter
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
JP4908180B2 (ja) 動画像符号化装置
JP6609753B2 (ja) データ符号化及び復号化
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
CN104811715B (zh) 使用平面表达的增强帧内预测编码
KR101530782B1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
KR101614828B1 (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
US20140169452A1 (en) Video encoding method and apparatus using the same
KR101621854B1 (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
JP2009021908A (ja) 動画像符号化装置及びプログラム
JP2006222968A (ja) 画面間又は画面内符号化モードの動画像符号化方法及び装置
KR101530774B1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
JP4922138B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2007013298A (ja) 画像符号化装置
KR20120010177A (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
US8422562B2 (en) Decoding circuit, decoding method, and image reproducing apparatus
JP2007180767A (ja) 情報処理装置
JP4357560B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2010508750A (ja) ビットストリームを操作する方法および装置
WO2013145174A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置
JP2005303487A (ja) 動画像復号装置及び動画像復号プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120516

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5007259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350