JP2008182527A

JP2008182527A - 画像符号化装置及び方法、並びに撮像システム

Info

Publication number: JP2008182527A
Application number: JP2007014846A
Authority: JP
Inventors: Kentaro Takakura; 憲太郎高倉; Shinji Kitamura; 臣二北村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2007-01-25
Filing date: 2007-01-25
Publication date: 2008-08-07

Abstract

【課題】面内予測の際の待ち時間を削減し、動画像符号化の高速化を図る。
【解決手段】
画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置として、サポートされる面内予測の予測モードに応じて、前記複数のブロックを処理する順序を決定する制御部と、前記制御部で決定された順序に従って、前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて前記予測モードのうちの最適な予測モードで面内予測を行うデータ処理部とを有する。
【選択図】図１

Description

本発明は、画像データを圧縮する画像符号化装置に関し、特に画面内での予測処理（面内予測処理）を行う画像符号化装置に関する。

デジタルカメラやデジタルビデオカメラの普及、デジタル通信技術の発達に伴い、動画像のデータを圧縮する技術としてＭＰＥＧ（Moving Picture Experts Group）が広く用いられるようになってきた。特に、近年規格化されたＭＥＰＧ−４ＡＶＣのような動画像符号化方式では、通常、面内予測符号化が行われる。

面内予測（イントラ予測）とは、処理対象とするｍ×ｎ画素（ｍ，ｎは正の整数）の予測単位ブロック（以下、対象ブロックと呼ぶ）に対する予測画像を、対象ブロックと同一画面内の画素を用いて予測することである。面内予測には、既に符号化された後の画像を画像符号化装置内で復号化して得られた画素（復号化済み画素）が用いられる。

面内予測には、複数の予測モードが存在する。入力画像内の対象ブロックについては、選択された面内予測モードを用いて予測画像が生成される。その後、生成された予測画像と入力画像との差分画像、及び用いられた予測モードを示す情報を符号化し、画像符号化が実現されている。

ＭＰＥＧ−４ＡＶＣ（advanced video coding）では、対象ブロック周辺の復号化済み画素を用いて空間予測を行い、対象ブロックの予測画像を生成する。この際の予測モードの決定方法の例が、特許文献１に開示されている。

図３７（ａ），（ｂ），（ｃ），（ｄ），（ｅ），（ｆ），（ｇ），（ｈ），（ｉ）は、輝度信号の４×４画素のブロックに対する面内予測モードの例を示す説明図であって、それぞれ予測モード０、予測モード１、予測モード２、予測モード３、予測モード４、予測モード５、予測モード６、予測モード７、予測モード８についての説明図である。ＭＰＥＧ−４ＡＶＣでは、このような９種類の面内予測モードが用いられる。

垂直方向予測モード（予測モード０）では、図３７（ａ）に示すように、４×４画素の対象ブロックの上に隣接する４画素の復号化済み画素を用いて、対象ブロックの予測画素を生成する。水平方向予測モード（予測モード１）では、図３７（ｂ）に示すように、対象ブロックの左に隣接する４画素の復号化済み画素を用いて、対象ブロックの予測画素を生成する。ＤＣ予測モード（予測モード２）では、図３７（ｃ）に示すように、対象ブロックの左、及び上に隣接する８画素の復号化済み画素の平均値を、対象ブロックの予測画素の値にする。

この他に、図３７（ｄ）のような左下方向予測モード（予測モード３）、図３７（ｅ）のような右下方向予測モード（予測モード４）、図３７（ｆ）のような右下方向予測モード（予測モード５）、図３７（ｇ）のような右下方向予測モード（予測モード６）、図３７（ｈ）のような左下方向予測モード（予測モード７）、図３７（ｉ）のような右上方向予測モード（予測モード８）がある。このように、８方向の予測モードと、ＤＣ予測モード、すなわち、合計９種類の面内予測モードが存在する。

図３８（ａ），（ｂ），（ｃ），（ｄ）は、色差信号の８×８画素のブロックに対する面内予測モードの例を示す説明図であって、それぞれ予測モード０、予測モード１、予測モード２、予測モード３についての説明図である。ＭＰＥＧ−４ＡＶＣでは、このような４種類の面内予測モードが用いられる。

図３９は、ブロックの処理順序の例を示す説明図である。図３９のブロックは、ブロックＢ０，Ｂ１，Ｂ２，…，Ｂ１５の順で対象ブロックになる。
特開２００５−１６００４８号公報

図１４は、対象ブロックの面内予測に必要なブロックの例を示す説明図である。図３７（ａ）〜（ｉ）の全ての予測モードを用いる場合には、対象ブロックＸについて面内予測を行うためには、図１４のブロックＡ〜Ｄの復号化処理が終了していなければならない。このため、ブロックＸに対する処理を開始する際に、ブロックＡ〜Ｄの面内予測及び復号化処理が終了するのを待たなければならない場合があった。

また、図３７（ａ）〜（ｉ）のうちの一部の予測モードのみを用いて処理を行うようにすることもできる。この場合、図３９のブロックＡ〜Ｄの全ての面内予測及び復号化処理が終了するのを待つ必要がないようにすることができる。しかし、ブロックの処理順序によっては、待ち時間が生じ、処理の高速化を図ることができない。

本発明は、面内予測の際の待ち時間を削減し、動画像符号化の高速化を図ることを目的とする。

前記課題を解決するため、本発明が講じた手段は、画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置として、サポートされる予測モードに応じて、前記複数のブロックを処理する順序を決定する制御部と、前記制御部で決定された順序に従って、前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて前記予測モードのうちの最適な予測モードで面内予測を行うデータ処理部とを有する。

これによると、サポートされる予測モードに応じて、複数のブロックを処理する順序を決定するので、面内予測の際の待ち時間を削減し、予測を高速化することができる。

また、本発明に係る他の画像符号化装置は、画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置として、前記複数のブロックのそれぞれの輝度信号及び色差信号に対して、各ブロックに隣接する画素を用いて面内予測を行うデータ処理部と、前記データ処理部における面内予測処理を制御する制御部とを有する。前記データ処理部は、輝度信号に対する処理と色差信号に対する処理とを交互に行う。

これによると、輝度信号に対する処理と色差信号に対する処理とが交互に行われるので、面内予測の際の待ち時間を削減することができる。

また、本発明に係る更に他の画像符号化装置は、画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置として、前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて面内予測を行うデータ処理部と、前記データ処理部における面内予測処理を制御する制御部とを有する。前記データ処理部は、異なるマクロブロックに属するブロックに対する処理を交互に行う。

これによると、異なるマクロブロックに属するブロックに対する処理が交互に行われるので、面内予測の際の待ち時間を削減することができる。

本発明によれば、ブロックの処理順序を適応的に変更するので、面内予測の際の待ち時間を削減することができ、動画像符号化を高速化することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。図１の画像符号化装置は、制御部１と、データ処理部１００とを備えている。データ処理部１００は、入力部２と、減算部４と、直交変換・量子化部６と、係数記憶部８と、逆量子化・逆直交変換部１０と、再構成画像生成部１２と、再構成画像記憶部１４と、面内予測部１６とを備えている。図２は、図１の画像符号化装置における処理の流れを示すフローチャートである。

処理対象の画像（フレーム画像）は複数のマクロブロックを有しており、各マクロブロックは１６個のブロックＢ０〜Ｂ１５を有している。ブロックＢ０〜Ｂ１５は、それぞれ４×４画素を有している。

図３は、対象ブロックの面内予測に必要なブロックの第１の例を示す説明図である。図４は、図３の場合におけるブロックの処理順序を示す説明図である。ここでは、図３７（ａ），（ｂ），（ｃ），（ｅ），（ｆ），（ｇ），（ｉ）の７モードのうち、最適な予測モードを用いて面内予測を行うものとする（すなわち、図１の画像符号化装置は、これらの７モードをサポートしている）。この場合、図３に示されているように、対象ブロックであるブロックＸの面内予測を行うためには、その周囲のブロックＡ，Ｂ，及びＣの復号化済み画素を用いる必要がある。

制御部１は、サポートされる面内予測の予測モードに応じて、ブロックＢ０〜Ｂ１５を処理する順序を決定する。図３の場合には、制御部１は、図４の順序でブロックを処理することを決定する。入力部２は、画像ＰＸ１を受け取り、制御部１の指示に従って、画像ＰＸ１に含まれるブロックＢ０〜Ｂ１５を図４の順序で選択し、出力する。再構成画像記憶部１４は、既に求められた再構成画像を構成する復号化済み画素を格納している。

図２のステップＳ１において、入力部２は、まず、ブロックＢ０を選択し、そのデータを減算部４及び面内予測部１６に出力する。ステップＳ２において、面内予測部１６は、制御部１の指示に従って、ブロックＢ０に隣接し、面内予測に必要な隣接画素（ここでは、左隣のマクロブロックにおけるブロックＢ５の右端の画素、上隣のマクロブロックにおけるブロックＢ１０の下端の画素、及び左上のマクロブロックにおけるブロックＢ１５の右下の画素）を再構成画像記憶部１４から読み出す。面内予測部１６は、読み出された画素を用いて、サポートされる面内予測の予測モードのうちの最適な予測モード（例えば、誤差が最も少ない予測モード）を決定し、その予測モードで面内予測を行い、予測画像を生成する。

ステップＳ３において、減算部４は、入力部２から出力されたブロックと面内予測部１６で生成された予測画像との差分を求める。ステップＳ４において、直交変換・量子化部６は、減算部４で求められた差分に対して直交変換及び量子化を行い、得られた量子化データを出力する。

ステップＳ５において、係数記憶部８は、量子化データを格納する。ステップＳ６において、逆量子化・逆直交変換部１０は、係数記憶部８から量子化データを読み出し、読み出されたデータに逆量子化及び逆直交変換を行う。また、係数記憶部８は、量子化データを図１の画像符号化装置の外部に出力する。

ステップＳ７において、再構成画像生成部１２は、逆量子化及び逆直交変換の結果と、面内予測部１６で求められた予測画像とを加算し、再構成画像を求める。ステップＳ８において、再構成画像記憶部１４は、求められた再構成画像を格納する。ステップＳ９において、制御部１は、全てのブロックについての処理が終了したか否かを判定する。終了している場合には図２の処理を終了し、終了していない場合にはステップ１に戻り、新たに出力される次のブロックの処理を行う。

図５は、図４の場合に、図１の画像符号化装置において各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。図２のステップＳ１及びＳ２をステージＳＴ１、ステップＳ３〜Ｓ５をステージＳＴ２、ステップＳ６〜Ｓ８をステージＳＴ３と称することにする。

図３のように、ブロックＸの処理は、その周囲のブロックＡ，Ｂ，ＣのステージＳＴ３が終了していれば開始できる。例えば、ブロックＢ１を処理するには、ブロックＢ０の逆量子化及び逆直交変換が終了している必要がある。ブロックＢ２の処理は、ブロックＢ０の処理が終了した時点で開始可能である。このため、ブロックＢ１のステージＳＴ１が終了すると、ブロックＢ２のステージＳＴ１を開始することができる。その後、図５に示されているように、ステージＳＴ１〜ＳＴ３の処理を平行して行うことができる。

図６は、対象ブロックの面内予測に必要なブロックの第２の例を示す説明図である。図７は、図６の場合におけるブロックの処理順序を示す説明図である。ここでは、図３７（ｂ），（ｉ）の２モードのうち、最適な予測モードを用いて面内予測を行うものとする。この場合、図６に示されているように、対象ブロックであるブロックＸの面内予測を行うためには、その周囲のブロックＡの復号化済み画素を用いる必要がある。また、この場合、制御部１は、図７の順序でブロックを処理することを決定する。入力部２は、制御部１の指示に従って、図７の順序でブロックＢ０〜Ｂ１５のデータを出力する。

図８は、図７の場合に、各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。図６のように、ブロックＸの処理は、その左のブロックＡのステージＳＴ３が終了していれば開始できるので、図８に示されているように、ステージＳＴ１〜ＳＴ３の処理を平行して行うことができる。

図９は、対象ブロックの面内予測に必要なブロックの第３の例を示す説明図である。図１０は、図９の場合におけるブロックの処理順序を示す説明図である。ここでは、図３７（ａ）の予測モードを用いて面内予測を行うものとする。この場合、図９に示されているように、対象ブロックであるブロックＸの面内予測を行うためには、その周囲のブロックＢの復号化済み画素を用いる必要がある。また、この場合、制御部１は、図１０の順序でブロックを処理することを決定する。入力部２は、制御部１の指示に従って、図１０の順序でブロックＢ０〜Ｂ１５のデータを出力する。

図１１は、図１０の場合に、各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。図９のように、ブロックＸの処理は、その上のブロックＢのステージＳＴ３が終了していれば開始できるので、図１１に示されているように、ステージＳＴ１〜ＳＴ３の処理を平行して行うことができる。

図１２は、対象ブロックの面内予測に必要なブロックの第４の例を示す説明図である。ここでは、図３７（ａ），（ｂ），（ｃ），（ｉ）の４モードのうち、最適な予測モードを用いて面内予測を行うものとする。この場合、図１２に示されているように、対象ブロックであるブロックＸの面内予測を行うためには、その周囲のブロックＡ及びＢの復号化済み画素を用いる必要がある。また、この場合、制御部１は、図４の順序でブロックを処理することを決定する。入力部２は、制御部１の指示に従って、図４の順序でブロックＢ０〜Ｂ１５のデータを出力する。この場合に、各ブロックに対して行われる処理のタイミングは、図５のタイミングチャートで示される。

図１３は、対象ブロックの面内予測に必要なブロックの第５の例を示す説明図である。ここでは、図３７（ａ），（ｄ），（ｈ）の３モードのうち、最適な予測モードを用いて面内予測を行うものとする。この場合、図１３に示されているように、対象ブロックであるブロックＸの面内予測を行うためには、その周囲のブロックＢ及びブロックＤの復号化済み画素を用いる必要がある。また、この場合、制御部１は、図１０の順序でブロックを処理することを決定する。入力部２は、制御部１の指示に従って、図１０の順序でブロックＢ０〜Ｂ１５のデータを出力する。この場合に、各ブロックに対して行われる処理のタイミングは、図１１のタイミングチャートで示される。

図１４は、対象ブロックの面内予測に必要なブロックの第６の例を示す説明図である。図１５は、図１４の場合におけるブロックの処理順序を示す説明図である。ここでは、図３７（ａ）〜（ｉ）の９モードのうち、最適な予測モードを用いて面内予測を行うものとする。この場合、図１４に示されているように、対象ブロックであるブロックＸの面内予測を行うためには、その周囲のブロックＡ，Ｂ，Ｃ，及びＤの復号化済み画素を用いる必要がある。また、この場合、制御部１は、図１５の順序でブロックを処理することを決定する。入力部２は、制御部１の指示に従って、図１５の順序でブロックＢ０〜Ｂ１５のデータを出力する。

図１６は、図１５の場合に、各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。図１４のように、ブロックＸの処理は、その周囲のブロックＡ，Ｂ，Ｃ，ＤのステージＳＴ３が終了していれば開始できるので、図１６に示されているように、ステージＳＴ１〜ＳＴ３の処理を平行して行うことができる。

このように、図１の画像符号化装置によると、サポートされる予測モード数に応じた順序でブロックを処理するので、面内予測とそれ以外の処理とを並列で行うことが可能となる。その結果、符号化処理に要する時間を短縮することができる。

図１７は、図１の画像符号化装置の第１の変形例を示すブロック図である。図１７の画像符号化装置は、制御部１と、データ処理部２００とを備えている。データ処理部２００は、図１のデータ処理部１００において、直交変換・量子化部６及び逆量子化・逆直交変換部１０に代えて、順／逆直交変換・順／逆量子化部７を備えている。その他の構成要素については、図１を参照して説明したものと同様であるので、同一の参照番号を付してその説明を省略する。順／逆直交変換・順／逆量子化部７は、直交変換・量子化部６及び逆量子化・逆直交変換部１０の機能を備えている。

図１８は、図１７の画像符号化装置において各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。図２におけるステージＳＴ２とステージＳＴ３とを、合わせてステージＳＴ４と称することとする。図１７の画像符号化装置では、図１の画像符号化装置よりも処理にやや多くの時間を要している。しかし、直交変換・量子化処理を行う回路と、逆量子化・逆直交変換処理を行う回路とでは、一部の回路を共用することができるので、図１７の画像符号化装置によると、図１の画像符号化装置よりも回路規模を抑えることができる。

図１９は、図１の画像符号化装置の第２の変形例を示すブロック図である。図１９の画像符号化装置は、制御部１と、データ処理部３００とを備えている。データ処理部３００は、図１７のデータ処理部２００において、隣接画素記憶部１８を更に備えるようにしたものである。

再構成画像記憶部１４は、次フレームの動き補償のため、少なくとも１フレームのデータを保持する必要がある。このため、再構成画像記憶部１４は、外部ＤＲＡＭ（dynamic random-access memory）で構成されることが多く、アクセスに時間がかかる。そこで図１９の画像符号化装置では、隣接画素記憶部１８を備えるようにした。隣接画素記憶部１８は、面内予測部１６による面内予測に必要な隣接画素（ブロックの最下段又は最右列の画素）のみを格納する。面内予測部１６は、再構成画像記憶部１４ではなく、隣接画素記憶部１８から再構成画像を構成する復号化済み画素を読み出して用いる。

図２０は、図１９の隣接画素記憶部１８が記憶する画素の例を示す説明図である。隣接画素記憶部１８は、例えば、図２０のように各ブロックの最下段の画素のみを格納する。隣接画素記憶部１８は、必要最小限の画素を記憶するので、容量が小さくてよい。このため、高速なメモリを用いて読み出しの高速化を図ることが容易にできる。

図２１は、図１の画像符号化装置の第３の変形例を示すブロック図である。図２１の画像符号化装置は、制御部４０１と、データ処理部４００とを備えている。データ処理部４００は、図１のデータ処理部１００において、係数記憶部８を複数備えるようにしたものである。

制御部４０１には、外部から動作モードＭＤが入力されている。動作モードＭＤは、処理される画像の解像度やフレームレート等に対応している。制御部４０１は、動作モードＭＤに応じて、図２１の画像符号化装置がサポートする予測モードとブロックの処理順序とを決定する。その他の点については、制御部４０１は、図１の制御部１と同様である。

図２１の画像符号化装置は、それぞれ独立して動作可能な複数の係数記憶部８を備えているので、係数記憶部８のうちの１つへのデータの書き込み（図２のステージＳＴ２）と、他の１つからのデータの読み出し（図２のステージＳＴ３の処理、又は外部への出力）とを独立して行うことができる。このため、処理の高速化を図ることができる。また、サポートされる予測モードを外部から制御できるので、より高速化が要求される場合に、サポートされる予測モードの数を削減して面内予測処理を高速化することができる。

なお、図２１の画像符号化装置において、制御部４０１に代えて図１の制御部１を備えるようにしてもよい。

図２２は、図１の画像符号化装置の第４の変形例を示すブロック図である。図２２の画像符号化装置は、制御部５０１と、データ処理部５００とを備えている。データ処理部５００は、図１７のデータ処理部２００において、逆量子化・逆直交変換部２１０と、クロック制御部３２とを更に備えるようにしたものである。

クロック制御部３２は、クロック信号を逆量子化・逆直交変換部２１０に出力する。逆量子化・逆直交変換部２１０は、係数記憶部８から量子化データを読み出し、読み出されたデータに対して逆量子化及び逆直交変換を行う。再構成画像生成部１２は、順／逆直交変換・順／逆量子化部７だけではなく、逆量子化・逆直交変換部２１０で得られた逆量子化及び逆直交変換の結果も、面内予測部１６で求められた予測画像と加算し、再構成画像を求める。これによると、逆量子化及び逆直交変換の高速化を図ることができる。

制御部５０１には、外部から動作モードＭＤが入力されている。制御部５０１は、動作モードＭＤに応じて、逆量子化・逆直交変換部２１０を動作させるか否かを決定する。逆量子化・逆直交変換部２１０を動作させない場合には、制御部５０１は、クロック制御部３２に逆量子化・逆直交変換部２１０へのクロック信号を停止させる。このため、消費電力を抑えることができる。その他の点については、制御部５０１は、図１の制御部１と同様である。

図２３は、図１の画像符号化装置の第５の変形例を示すブロック図である。図２３の画像符号化装置は、制御部１と、データ処理部６００とを備えている。データ処理部６００は、図１のデータ処理部１００において、面内予測部１６を複数備えるようにしたものである。制御部１は、サポートされる予測モードの数に応じた数の面内予測部１６を動作させる。複数の面内予測部１６が動作する場合には、これらの面内予測部１６は、面内予測を並行して行う。

図２３の画像符号化装置によると、サポートされる予測モードが多い場合であっても、複数の面内予測部１６が候補となる予測モードで同時に予測し、これらのモードの中から最適な予測モードを選択することが可能となる。このため、画像符号化装置を高速化することが可能となる。

図２４は、図１の画像符号化装置の第６の変形例を示すブロック図である。図２４の画像符号化装置は、制御部１と、データ処理部７００とを備えている。データ処理部７００は、図１のデータ処理部１００において、複数の直交変換・量子化部６と、複数の係数記憶部８と、複数の逆量子化・逆直交変換部１０とを備えるようにしたものである。複数の直交変換・量子化部６は、複数の予測モードについての直交変換及び量子化処理を並行して行い、複数の逆量子化・逆直交変換部１０は、複数の予測モードについての逆量子化及び逆直交変換処理を並行して行う。

図２４の画像符号化装置によると、サポートされる予測モードが少ない場合等、面内予測１６の処理が比較的早く終了するような場合において、画像符号化装置全体の処理速度が低下しないようにすることができる。

図２５は、図１の画像符号化装置の第７の変形例を示すブロック図である。図２５の画像符号化装置は、制御部８０１と、データ処理部８００とを備えている。データ処理部８００は、図２３のデータ処理部６００において、複数の係数記憶部８を備えるようにし、直交変換・量子化部６及び逆量子化・逆直交変換部１０に代えて、制御部８０１から制御可能な複数の直交変換・量子化部２０６及び複数の逆量子化・逆直交変換部２１０を備えるようにしたものである。

制御部８０１には、外部から動作モードＭＤが入力されている。制御部８０１は、動作モードＭＤに応じて、図２５の画像符号化装置がサポートする予測モードとブロックの処理順序とを決定する。更に、制御部８０１は、面内予測部１６、直交変換・量子化部２０６、及び逆量子化・逆直交変換部２１０のうち、処理のパフォーマンスに影響を与えるもの（処理に時間を要するもの）については、サポートされる予測モード数に応じた数だけ動作させる。その他の点については、制御部８０１は、図１の制御部１と同様である。

複数の直交変換・量子化部２０６及び複数の逆量子化・逆直交変換部２１０が動作する場合には、これらの直交変換・量子化部２０６は、サポートされる予測モード数に応じた数の直交変換及び量子化処理を並行して行い、これらの逆量子化・逆直交変換部２１０は、サポートされる予測モード数に応じた数の逆量子化及び逆直交変換処理を並行して行う。図２５の画像符号化装置によると、画像符号化装置全体の処理速度が低下しないようにすることができる。

図２６は、輝度信号と色差信号とを交互に処理する場合において、各ブロックに対する処理のタイミングの例を示すタイミングチャートである。このように、以上の各画像符号化装置において、輝度信号と色差信号とを交互に処理するようにしてもよい。

例えば図１の画像符号化装置において、図４の順序でブロックの処理を行う場合、制御部１は、ブロックＢ０の輝度信号Ｙ０、ブロックＢ０の色差信号Ｃｂ０，Ｃｒ０、ブロックＢ１の輝度信号Ｙ１、ブロックＢ１の色差信号Ｃｂ１，Ｃｒ１、…というように、図２６のような順序で、入力部２にブロックのデータを出力させるようにしてもよい。データ処理部１００は、図２６のように、輝度信号に対する処理と色差信号に対する処理とを交互に行う。このようにすると、処理の待ち時間が減るので、図５の場合と比べて処理を早く終えることができる。

図２７は、処理対象のフレーム画像におけるマクロブロックの処理順序の例を示す説明図である。例えば、マクロブロックＭＢ１の次にマクロブロックＭＢ４が処理される。図２８は、異なるマクロブロックを交互に処理する場合において、各ブロックに対する処理のタイミングの例を示すタイミングチャートである。このように、以上の各画像符号化装置において、異なるマクロブロックを交互に処理するようにしてもよい。

例えば図１の画像符号化装置において、図４の順序でブロックの処理を行う場合、制御部１は、マクロブロックＭＢ１のブロックＢ０（ＭＢ１−Ｂ０）、マクロブロックＭＢ４のブロックＢ０（ＭＢ４−Ｂ０）、マクロブロックＭＢ１のブロックＢ１（ＭＢ１−Ｂ１）、マクロブロックＭＢ４のブロックＢ１（ＭＢ４−Ｂ１）、…というように、図２８のような順序で、入力部２にブロックのデータを出力させるようにしてもよい。データ処理部１００は、図２８のように、異なるマクロブロックに属するブロックに対する処理を交互に行う。このようにすると、処理の待ち時間が減るので、図５の場合と比べて処理を早く終えることができる。

図２９は、図１の画像符号化装置の第８の変形例を示すブロック図である。図２９の画像符号化装置は、制御部９０１と、データ処理部９００とを備えている。データ処理部９００は、図２１のデータ処理部４００において、入力部３と、選択部３４とを更に備えるようにしたものである。

入力部３は、画像ＰＸ２を受け取り、画像ＰＸ２に含まれるブロックのデータを制御部９０１で決定された順序で出力する。制御部９０１には、外部から画像指定信号ＰＳが入力されている。制御部９０１は、画像指定信号ＰＳに従って、選択部３４を以下のように制御する点の他は、図１の制御部１と同様である。選択部３４は、制御部９０１の指示に従って、入力部２の出力（画像ＰＸ１）及び入力部３の出力（画像ＰＸ２）のうち、画像指定信号ＰＳで指定されたものを選択、又は１つずつ交互に選択し、選択された出力を減算部４及び面内予測部１６に出力する。

図２９の画像符号化装置によると、２つの画像を並行して処理することが可能となる。一方の画像の処理の空き時間に他方の画像の処理が可能であるので、効率よく処理を行うことができる。また、２つの画像のうちの一方のみを処理するか、又は両方を処理するかを選択することが可能となる。なお、それぞれに異なる画像が入力された３つ以上の入力部を備えるようにし、それらの出力のうち、選択部３４が、画像指定信号ＰＳで指定されたものを選択、又は１つずつ順次選択するようにしてもよい。

図３０は、図１の画像符号化装置の第９の変形例を示すブロック図である。図３０の画像符号化装置は、図１の画像符号化装置において、直交変換・量子化部６及び逆量子化・逆直交変換部１０に代えて、直交変換部４２と、順／逆量子化部４４と、逆直交変換部４６とを備えている。図３０では、これらの構成要素及び係数記憶部８以外の構成要素については、記載を省略している。

言い換えると、図３０の画像符号化装置は、直交変換・量子化部として直交変換部４２と量子化部とを備え、逆量子化・逆直交変換部として逆量子化部と逆直交変換部４６とを備えている。量子化部と逆量子化部とは、乗算回路を共有しており、順／逆量子化部４４に対応している。

直交変換部４２は、減算部４で求められた差分に対して直交変換を行い、その結果を順／逆量子化部４４に出力する。順／逆量子化部４４は、量子化部として、直交変換の結果に対して量子化を行い、得られた量子化データを係数記憶部８に出力する。また、順／逆量子化部４４は、逆量子化部として、係数記憶部８から量子化データを読み出し、読み出されたデータに逆量子化を行い、その結果を逆直交変換部４６に出力する。逆直交変換部４６は、逆量子化の結果に対して逆直交変換を行い、その結果を再構成画像生成部１２に出力する。

図３１は、図２の量子化処理及び逆量子化処理についてのタイミングチャートである。図３１のように、ステップＳ４では、１次直交変換、２次直交変換、量子化の順で処理が開始され、ステップＳ６では、逆量子化、１次逆直交変換、２次逆直交変換の順で処理が開始される。ステップＳ４の量子化処理が開始される前に、ステップＳ６の逆量子化処理が終了しているので、量子化処理を行う回路と逆量子化処理を行う回路とを共用化することができる。このため、量子化処理又は逆量子化処理を行う乗算回路を削減することができ、低コスト化を図ることができる。

図３２は、図１の画像符号化装置の第１０の変形例を示すブロック図である。図３２の画像符号化装置は、制御部１と、データ処理部１０００とを備えている。データ処理部１０００は、図２１のデータ処理部４００において、入力部２及び面内予測部１６に代えて、入力部３０２及び面内予測部３１６を備え、可変長符号化部５２と、符号量計算部５４とを更に備えるようにしたものである。図３３は、図３２の画像符号化装置における処理の流れを示すフローチャートである。図３３は、図３２のフローチャートにおいて、ステップＳ２に代えてステップＳ１２を備え、ステップＳ２２，Ｓ２４を更に備えるようにしたものである。

図３３のステップＳ２２において、可変長符号化部５２は、係数記憶部８から出力されたデータに対して可変長符号化を行い、得られた符号を出力する。ステップＳ２４において、符号量計算部５４は、可変長符号化部５２で生成された符号の量を求める。ステップＳ１２では、面内予測部３１６は、目標とする符号量の条件が満たされている場合には、再構成画像に代えて符号化対象画像を用いて、面内予測を行う。このステップでは、その他の点についてはステップＳ２と同様の処理が行われる。

図３４は、図３２の画像符号化装置において各ブロックに対して行われる処理のタイミングの例を示すタイミングチャートである。ここでは、図４の順序でブロックの処理を行う場合について示している。図５を参照して説明したように、図１の画像符号化装置では、例えばブロックＢ１を処理するには、ブロックＢ０の再構成画像が必要である。これに対し、図３２の画像符号化装置では、目標とする符号量の条件が満たされている場合には、ブロックＢ１の処理の際にはブロックＢ０の再構成画像は必要ない。このため、ブロックＢ０の再構成画像が生成されるのを待たずに予測モードを決定することが可能である（図３４のＡを参照）。

また、可変長符号化部５２で符号量が求められた後、面内予測部３１６が、求められた符号の量に応じて、サポートされる予測モードの種類を決定するようにしてもよい。この場合、入力部３０２は、サポートされる予測モードに対応した順序で、各ブロックを選択して出力する。例えば、目標とする符号量の条件が満たされている場合に、サポートされる予測モードの種類を少なくすると、面内予測を高速化することができる。

図３５は、図３２の画像符号化装置における処理の流れの他の例を示すフローチャートである。図３５は、図３３のフローチャートにおいて、ステップＳ２６を更に備えるようにしたものである。ステップＳ２６では、面内予測部３１６は、符号量計算部５４で求められた符号量に基づいて、用いられた予測モードが妥当であったか否かを判断し、妥当ではなかったと判断した場合には、予測モードの決定を再度行い、用いられた予測モードとは異なる予測モードで面内予測を行う。これによると、より適切な予測モードによる予測を行い、符号量を減少させることができる。

図３６は、本実施形態に係る画像符号化装置を有する撮像システムの構成例を示すブロック図である。図３６の撮像システムは、例えばデジタルスチルカメラであって、光学系１１２と、イメージセンサ１１４と、アナログ／デジタル変換器１１６と、画像処理回路１１８と、記録転送回路１２２と、再生回路１２４と、システム制御回路１２６と、タイミング制御回路１２８とを備えている。

光学系１１２は、入射光をイメージセンサ１１４上で結像させる。イメージセンサ１１４は、タイミング制御回路１２８によって駆動されており、結像された入射光（画像）を蓄積し、電気信号への光電変換を行うことにより、入射光に応じた画像信号を出力する。アナログ／デジタル変換器１１６は、イメージセンサ１１４から出力された画像信号をデジタル信号に変換し、画像処理回路１１８に出力する。

画像処理回路１１８は、以上で説明した本実施形態に係る画像符号化装置のいずれかを有している。画像処理回路１１８は、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及び画像圧縮伸張処理（例えば本実施形態で説明したような画像符号化処理）等の画像処理を行う。記録転送回路１２２は、画像処理された信号に対して、メディアへの記録又は転送を行う。再生回路１２４は、記録又は転送された信号を受け取り、再生する。システム制御回路１２６は、図３６の撮像システムの全体を制御している。

なお、アナログ／デジタル変換器１１６又は画像処理回路１１８が、画像信号を外部から受け取るようにし、画像処理回路１１８がこの画像信号に対する処理を行うようにしてもよい。

以上説明したように、本発明は、面内予測を伴う動画像符号化を高速化することができるので、画像符号化装置等について有用であり、例えば、カメラ付き携帯電話やデジタルスチルカメラ等に有用である。

本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。図１の画像符号化装置における処理の流れを示すフローチャートである。対象ブロックの面内予測に必要なブロックの第１の例を示す説明図である。図３の場合におけるブロックの処理順序を示す説明図である。図４の場合に、図１の画像符号化装置において各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。対象ブロックの面内予測に必要なブロックの第２の例を示す説明図である。図６の場合におけるブロックの処理順序を示す説明図である。図７の場合に、各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。対象ブロックの面内予測に必要なブロックの第３の例を示す説明図である。図９の場合におけるブロックの処理順序を示す説明図である。図１０の場合に、各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。対象ブロックの面内予測に必要なブロックの第４の例を示す説明図である。対象ブロックの面内予測に必要なブロックの第５の例を示す説明図である。対象ブロックの面内予測に必要なブロックの第６の例を示す説明図である。図１４の場合におけるブロックの処理順序を示す説明図である。図１５の場合に、各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。図１の画像符号化装置の第１の変形例を示すブロック図である。図１７の画像符号化装置において各ブロックに対して行われる処理のタイミングを示すタイミングチャートである。図１の画像符号化装置の第２の変形例を示すブロック図である。図１９の隣接画素記憶部が記憶する画素の例を示す説明図である。図１の画像符号化装置の第３の変形例を示すブロック図である。図１の画像符号化装置の第４の変形例を示すブロック図である。図１の画像符号化装置の第５の変形例を示すブロック図である。図１の画像符号化装置の第６の変形例を示すブロック図である。図１の画像符号化装置の第７の変形例を示すブロック図である。輝度信号と色差信号とを交互に処理する場合において、各ブロックに対する処理のタイミングの例を示すタイミングチャートである。処理対象のフレーム画像におけるマクロブロックの処理順序の例を示す説明図である。異なるマクロブロックを交互に処理する場合において、各ブロックに対する処理のタイミングの例を示すタイミングチャートである。図１の画像符号化装置の第８の変形例を示すブロック図である。図１の画像符号化装置の第９の変形例を示すブロック図である。図２の量子化処理及び逆量子化処理についてのタイミングチャートである。図１の画像符号化装置の第１０の変形例を示すブロック図である。図３２の画像符号化装置における処理の流れを示すフローチャートである。図３２の画像符号化装置において各ブロックに対して行われる処理のタイミングの例を示すタイミングチャートである。図３２の画像符号化装置における処理の流れの他の例を示すフローチャートである。本実施形態に係る画像符号化装置を有する撮像システムの構成例を示すブロック図である。（ａ），（ｂ），（ｃ），（ｄ），（ｅ），（ｆ），（ｇ），（ｈ），（ｉ）は、輝度信号の４×４画素のブロックに対する面内予測モードの例を示す説明図であって、それぞれ予測モード０、予測モード１、予測モード２、予測モード３、予測モード４、予測モード５、予測モード６、予測モード７、予測モード８についての説明図である。（ａ），（ｂ），（ｃ），（ｄ）は、色差信号の８×８画素のブロックに対する面内予測モードの例を示す説明図であって、それぞれ予測モード０、予測モード１、予測モード２、予測モード３についての説明図である。ブロックの処理順序の例を示す説明図である。

符号の説明

１，４０１，５０１，８０１，９０１制御部
２，３，３０２入力部
４減算部
６，２０６直交変換・量子化部
７順／逆直交変換・順／逆量子化部
８係数記憶部
１０，２１０逆量子化・逆直交変換部
１２再構成画像生成部
１４再構成画像記憶部
１６，３１６面内予測部
１８隣接画素記憶部
３２クロック制御部
３４選択部
４２直交変換部
４４順／逆量子化部
４６逆直交変換部
５２可変長符号化部
５４符号量計算部
１００，２００，３００，４００，５００，６００，７００，８００，９００，１０００データ処理部

Claims

画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置であって、
サポートされる予測モードに応じて、前記複数のブロックを処理する順序を決定する制御部と、
前記制御部で決定された順序に従って、前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて前記予測モードのうちの最適な予測モードで面内予測を行うデータ処理部とを備える
ことを特徴とする画像符号化装置。
請求項１に記載の画像符号化装置において、
前記データ処理部は、
前記複数のブロックを、前記制御部で決定された順序に従って出力する入力部と、
前記入力部から出力されたブロックと予測画像との差分を求める減算部と、
前記差分に対して直交変換及び量子化を行う直交変換・量子化部と、
前記直交変換・量子化部で求められた結果を格納する係数記憶部と、
前記直交変換・量子化部で求められた結果を前記係数記憶部から読み出し、読み出されたデータに対して逆量子化及び逆直交変換を行う逆量子化・逆直交変換部と、
前記逆量子化・逆直交変換部で求められた結果と前記予測画像とを加算して再構成画像を求める再構成画像生成部と、
前記再構成画像を格納する再構成画像記憶部と、
前記再構成画像と前記入力部から新たに出力されたブロックとに基づいて、前記サポートされる予測モードのうちの最適な予測モードで面内予測を行い、その結果を前記予測画像として出力する面内予測部とを備える
ことを特徴とする画像符号化装置。
請求項２に記載の画像符号化装置において、
前記データ処理部は、
前記再構成画像のうち、面内予測の際に必要となる画素のみを格納する隣接画素記憶部を更に備え、
前記面内予測部は、
前記隣接画素記憶部に格納された画素を前記再構成画像として用いる
ことを特徴とする画像符号化装置。
請求項２に記載の画像符号化装置において、
前記データ処理部は、
前記係数記憶部を複数備え、
前記係数記憶部は、それぞれ独立して動作可能である
ことを特徴とする画像符号化装置。
請求項４に記載の画像符号化装置において、
前記データ処理部は、
前記面内予測部を複数備え、
前記制御部は、
前記サポートされる予測モードの数に応じた数の前記面内予測部を動作させる
ことを特徴とする画像符号化装置。
請求項２に記載の画像符号化装置において、
前記データ処理部は、
前記直交変換・量子化部及び前記逆量子化・逆直交変換部をいずれも複数備える
ことを特徴とする画像符号化装置。
請求項６に記載の画像符号化装置において、
前記制御部は、
入力された動作モードに応じた数の前記直交変換・量子化部、及び前記入力された動作モードに応じた数の前記逆量子化・逆直交変換部を動作させる
ことを特徴とする画像符号化装置。
請求項２に記載の画像符号化装置において、
前記データ処理部は、
前記入力部を複数備え、かつ、
前記複数の入力部の出力から選択を行い、選択された出力を前記減算部及び前記面内予測部に出力する選択部を更に備える
ことを特徴とする画像符号化装置。
請求項８に記載の画像符号化装置において、
前記選択部は、
前記複数の入力部の出力から１つずつ順次選択する
ことを特徴とする画像符号化装置。
請求項８に記載の画像符号化装置において、
前記選択部は、
入力された画像指定信号に従って、前記複数の入力部の出力から１つずつ順次選択すること、又は指定された入力部の出力を選択することを行う
ことを特徴とする画像符号化装置。
請求項２に記載の画像符号化装置において、
前記直交変換・量子化部は、
前記差分に対して直交変換を行う直交変換部と、
前記直交変換の結果に対して量子化を行う量子化部とを備え、
前記逆量子化・逆直交変換部は、
前記係数記憶部から読み出されたデータに対して逆量子化を行う逆量子化部と、
前記逆量子化の結果に対して逆直交変換を行う逆直交変換部とを備え、
前記量子化部と前記逆量子化部とは、乗算回路を共有している
ことを特徴とする画像符号化装置。
請求項２に記載の画像符号化装置において、
前記データ処理部は、
前記係数記憶部から読み出されたデータに対して可変長符号化を行う可変長符号化部と、
前記可変長符号化部で生成された符号の量を求める符号量計算部とを更に備え、
前記面内予測部は、
前記符号量計算部で求められた符号の量が、目標とする符号量の条件を満たしている場合には、前記再構成画像に代えて、前記入力部から出力された画像を用いる
ことを特徴とする画像符号化装置。
請求項１２に記載の画像符号化装置において、
前記面内予測部は、
前記符号量計算部で求められた符号の量に応じて、前記サポートされる予測モードの種類を決定する
ことを特徴とする画像符号化装置。
請求項１２に記載の画像符号化装置において、
前記面内予測部は、
前記符号量計算部で求められた符号の量に基づいて、用いられた予測モードが妥当であったか否かを判断し、前記用いられた予測モードが妥当ではなかったと判断した場合には、前記用いられた予測モードとは異なる予測モードで面内予測を行う
ことを特徴とする画像符号化装置。
請求項１に記載の画像符号化装置において、
前記制御部は、
入力された動作モードに応じて、前記サポートされる予測モードを決定する
ことを特徴とする画像符号化装置。
請求項１に記載の画像符号化装置において、
前記データ処理部は、
前記複数のブロックを、前記制御部で決定された順序に従って出力する入力部と、
前記入力部から出力されたブロックと予測画像との差分を求める減算部と、
前記差分に対して直交変換及び量子化を行い、その結果に対して逆量子化及び逆直交変換を行う順／逆直交変換・順／逆量子化部と、
前記順／逆直交変換・順／逆量子化部で直交変換及び量子化された結果を格納し、前記順／逆直交変換・順／逆量子化部に出力する係数記憶部と、
前記逆量子化及び逆直交変換された結果と前記予測画像とを加算して再構成画像を求める再構成画像生成部と、
前記再構成画像を格納する再構成画像記憶部と、
前記再構成画像と前記入力部から新たに出力されたブロックとに基づいて、前記サポートされる予測モードのうちの最適な予測モードで面内予測を行い、その結果を前記予測画像として出力する面内予測部とを備える
ことを特徴とする画像符号化装置。
請求項１６に記載の画像符号化装置において、
前記データ処理部は、
前記直交変換・量子化部で直交変換及び量子化された結果を前記係数記憶部から読み出し、読み出されたデータに対して逆量子化及び逆直交変換を行う逆量子化・逆直交変換部を更に備え、
前記制御部は、
入力された動作モードに応じて、前記逆量子化・逆直交変換部を動作させるか否かを決定する
ことを特徴とする画像符号化装置。
画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置であって、
前記複数のブロックのそれぞれの輝度信号及び色差信号に対して、各ブロックに隣接する画素を用いて面内予測を行うデータ処理部と、
前記データ処理部における面内予測処理を制御する制御部とを備え、
前記データ処理部は、
輝度信号に対する処理と色差信号に対する処理とを交互に行う
ことを特徴とする画像符号化装置。
画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置であって、
前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて面内予測を行うデータ処理部と、
前記データ処理部における面内予測処理を制御する制御部とを備え、
前記データ処理部は、
異なるマクロブロックに属するブロックに対する処理を交互に行う
ことを特徴とする画像符号化装置。
画像を構成する複数のブロックに対して面内予測処理を行う画像符号化方法であって、
サポートされる予測モードに応じて、前記複数のブロックを処理する順序を決定する制御ステップと、
前記制御ステップで決定された順序に従って、前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて前記予測モードのうちの最適な予測モードで面内予測を行うデータ処理ステップとを備える
ことを特徴とする画像符号化方法。
請求項２０に記載の画像符号化方法において、
前記データ処理ステップは、
前記複数のブロックを、前記制御ステップで決定された順序に従って選択する入力ステップと、
前記入力ステップで選択されたブロックと予測画像との差分を求める減算ステップと、
前記差分に対して直交変換及び量子化を行う直交変換・量子化ステップと、
前記直交変換・量子化ステップで求められた結果を格納する係数記憶ステップと、
前記係数記憶ステップで格納された、前記直交変換・量子化ステップで求められた結果を読み出し、読み出されたデータに対して逆量子化及び逆直交変換を行う逆量子化・逆直交変換ステップと、
前記逆量子化・逆直交変換ステップで求められた結果と前記予測画像とを加算して再構成画像を求める再構成画像生成ステップと、
前記再構成画像を格納する再構成画像記憶ステップと、
前記再構成画像と前記入力ステップで新たに選択されたブロックとに基づいて、前記サポートされる予測モードのうちの最適な予測モードで面内予測を行い、その結果を前記予測画像として求める面内予測ステップとを備える
ことを特徴とする画像符号化方法。
請求項２１に記載の画像符号化方法において、
前記データ処理ステップは、
前記再構成画像のうち、面内予測の際に必要となる画素のみを格納する隣接画素記憶ステップを更に備え、
前記面内予測ステップは、
前記隣接画素記憶ステップで格納された画素を前記再構成画像として用いる
ことを特徴とする画像符号化方法。
請求項２１に記載の画像符号化方法において、
前記面内予測ステップは、
前記サポートされる予測モードの数に応じた数の面内予測処理を並行して行う
ことを特徴とする画像符号化方法。
請求項２１に記載の画像符号化方法において、
前記直交変換・量子化ステップは、
複数の予測モードについての直交変換及び量子化処理を並行して行い、
前記逆量子化・逆直交変換ステップは、
前記複数の予測モードについての逆量子化及び逆直交変換処理を並行して行う
ことを特徴とする画像符号化方法。
請求項２４に記載の画像符号化方法において、
前記直交変換・量子化ステップは、
入力された動作モードに応じた数の直交変換及び量子化処理を並行して行い、
前記逆量子化・逆直交変換ステップは、
前記入力された動作モードに応じた数の逆量子化及び逆直交変換処理を並行して行う
ことを特徴とする画像符号化方法。
請求項２１に記載の画像符号化方法において、
前記データ処理ステップは、
選択ステップを更に備え、
前記入力ステップは、
複数の画像についての処理を行うものであり、
前記選択ステップは、
前記複数の画像から選択を行うものであり、
前記減算ステップ及び前記面内予測ステップは、
前記選択ステップで選択された画像について処理を行うものである
ことを特徴とする画像符号化方法。
請求項２６に記載の画像符号化方法において、
前記選択ステップは、
前記複数の画像から１つずつ順次選択する
ことを特徴とする画像符号化方法。
請求項２６に記載の画像符号化方法において、
前記選択ステップは、
入力された画像指定信号に従って、前記複数の画像から１つずつ順次選択すること、又は指定された画像を選択することを行う
ことを特徴とする画像符号化方法。
請求項２１に記載の画像符号化方法において、
前記データ処理ステップは、
前記係数記憶ステップで格納され、読み出されたデータに対して可変長符号化を行う可変長符号化ステップと、
前記可変長符号化ステップで生成された符号の量を求める符号量計算ステップとを更に備え、
前記面内予測ステップは、
前記符号量計算ステップで求められた符号の量が、目標とする符号量の条件を満たしている場合には、前記再構成画像に代えて、前記入力ステップで選択された画像を用いる
ことを特徴とする画像符号化方法。
請求項２９に記載の画像符号化方法において、
前記面内予測ステップは、
前記符号量計算ステップで求められた符号の量に応じて、前記サポートされる予測モードの種類を決定する
ことを特徴とする画像符号化方法。
請求項２９に記載の画像符号化方法において、
前記データ処理ステップは、
前記符号量計算ステップで求められた符号の量に基づいて、用いられた予測モードが妥当であったか否かを判断するステップを更に備え、
前記面内予測ステップは、
前記用いられた予測モードが妥当ではなかったと判断された場合には、前記用いられた予測モードとは異なる予測モードで面内予測を行う
ことを特徴とする画像符号化方法。
請求項２０に記載の画像符号化方法において、
前記制御ステップは、
入力された動作モードに応じて、前記サポートされる予測モードを決定する
ことを特徴とする画像符号化方法。
請求項２０に記載の画像符号化方法において、
前記データ処理ステップは、
前記複数のブロックを、前記制御ステップで決定された順序に従って選択する入力ステップと、
前記入力ステップで選択されたブロックと予測画像との差分を求める減算ステップと、
前記差分に対して直交変換及び量子化を行い、その結果に対して逆量子化及び逆直交変換を行う順／逆直交変換・順／逆量子化ステップと、
前記順／逆直交変換・順／逆量子化ステップで直交変換及び量子化された結果を格納し、前記順／逆直交変換・順／逆量子化ステップで用いられるようにする係数記憶ステップと、
前記逆量子化及び逆直交変換された結果と前記予測画像とを加算して再構成画像を求める再構成画像生成ステップと、
前記再構成画像を格納する再構成画像記憶ステップと、
前記再構成画像と前記入力ステップで新たに選択されたブロックとに基づいて、前記サポートされる予測モードのうちの最適な予測モードで面内予測を行い、その結果を前記予測画像として求める面内予測ステップとを備える
ことを特徴とする画像符号化方法。
画像を構成する複数のブロックに対して面内予測処理を行う画像符号化方法であって、
前記複数のブロックのそれぞれの輝度信号及び色差信号に対して、各ブロックに隣接する画素を用いて面内予測を行うデータ処理ステップと、
前記データ処理ステップにおける面内予測処理を制御する制御ステップとを備え、
前記データ処理ステップは、
輝度信号に対する処理と色差信号に対する処理とを交互に行う
ことを特徴とする画像符号化方法。
画像を構成する複数のブロックに対して面内予測処理を行う画像符号化方法であって、
前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて面内予測を行うデータ処理ステップと、
前記データ処理ステップにおける面内予測処理を制御する制御ステップとを備え、
前記データ処理ステップは、
異なるマクロブロックに属するブロックに対する処理を交互に行う
ことを特徴とする画像符号化方法。
入射光を結像させる光学系と、
前記光学系によって結像した入射光に応じた画像信号を出力するセンサと、
前記画像信号が表す画像に対する画像処理を行う画像処理回路とを備え、
前記画像処理回路は、
前記画像を構成する複数のブロックに対して面内予測処理を行う画像符号化装置を有し、
前記画像符号化装置は、
サポートされる予測モードに応じて、前記複数のブロックを処理する順序を決定する制御部と、
前記制御部で決定された順序に従って、前記複数のブロックのそれぞれに対して、各ブロックに隣接する画素を用いて前記予測モードのうちの最適な予測モードで面内予測を行うデータ処理部とを備える
ことを特徴とする撮像システム。
請求項３６に記載の撮像システムにおいて、
前記画像信号をデジタル信号に変換して前記画像処理回路に出力するアナログ／デジタル変換器を更に備える
ことを特徴とする撮像システム。