JP2011151683A - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP2011151683A
JP2011151683A JP2010012515A JP2010012515A JP2011151683A JP 2011151683 A JP2011151683 A JP 2011151683A JP 2010012515 A JP2010012515 A JP 2010012515A JP 2010012515 A JP2010012515 A JP 2010012515A JP 2011151683 A JP2011151683 A JP 2011151683A
Authority
JP
Japan
Prior art keywords
image
prediction
unit
color difference
weighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010012515A
Other languages
English (en)
Inventor
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010012515A priority Critical patent/JP2011151683A/ja
Priority to KR20127018240A priority patent/KR20120123326A/ko
Priority to US13/521,730 priority patent/US20120288006A1/en
Priority to PCT/JP2011/050494 priority patent/WO2011089973A1/ja
Priority to CN2011800061300A priority patent/CN102714735A/zh
Publication of JP2011151683A publication Critical patent/JP2011151683A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】色差信号に対する重み付け予測における予測効率を向上させることができるようにする。
【解決手段】輝度用重み付け動き補償部９６は、動き補償部８２から動きベクトル情報が指し示す参照画像画素値が入力されると、輝度用重み・オフセット算出部９４からの重み係数およびオフセット値を用いて、輝度信号および色差信号（RGBの場合）に対する重み付け予測処理を行う。色差用重み付け動き補償部９７は、動き補償部８２から、動きベクトル情報が指し示す参照画像画素値が入力されると、色差用重み・オフセット算出部９５からの重み係数およびオフセット値を用いて、色差信号（YCbCrの場合）に対する重み付け予測処理を行う。本発明は、例えば、H．264/AVC方式をベースに符号化する画像符号化装置に適用することができる。
【選択図】図８

Description

本発明は画像処理装置および方法に関し、特に、色差信号に対する重み付け予測における予測効率を向上させるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
さらに、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
例えば、MPEG2やMPEG4方式においては、フェードシーンのように動きが存在するが、明るさが変化するようなシーケンスにおいて、明るさの変化を吸収する符号化ツールが用意されていないため、符号化効率が低下する恐れがあった。
これに対して、H．264/AVC方式においては、非特許文献１においても提案されている重み付き予測処理を行うことが可能である。
重み付き予測処理とは、Ｐピクチャにおいては、Y0を動き補償予測信号(参照画像画素値)とし、重み係数W0およびオフセット値をDとすると、次の式（１）のように予測信号が生成される。

予測信号 ＝ W0 * Y0 + D ・・・（１）
また、Ｂピクチャにおいては、List0およびList1に対する動き補償予測信号をY0およびY1とし、それぞれに対する重み係数をW0およびW1、並びにオフセット値をDとすると、次の式（２）のように予測信号が生成される。

予測信号 ＝ W0 * Y0 + W1 * Y1 + D ・・・（２）
なお、H．264/AVC方式においては、スライス単位で、この重み付け予測を用いる・用いないを指定することが可能である。
また、H．264/AVC方式の重み付け予測には、スライスヘッダに、WおよびDを付加して送るExplicit Mode、および、当該ピクチャと参照ピクチャにおける時間軸上での距離からWを算出するImplicit Modeが規定されている。
２つのモードのうち、Ｐピクチャにおいては、Explicit Modeのみ用いることが可能であり、Ｂピクチャにおいては、Explicit ModeとImplicit Modeの両方を用いることが可能である。
ところで、カラー画像信号の画像圧縮を行う際、RGB信号を、次の式（３）のように輝度信号Y、および色差信号Cb,Crに変換して、その後の処理が行われる。

Y = 0.299R + 0.587G + 0.114B
Cb = -0.169R - 0.331G + 0.500B
Cr = 0.500R -0.419G - 0.081B ・・・（３）
ここで、輝度信号Yは、明るさを表す成分で、その値は0乃至1の範囲に入る。8ビットで表わされる場合には、これが、0乃至255で表わされることになる。
一方、色差信号Cb,Crは、色の強さや種類を表す成分で、その値は-0.5乃至0.5の範囲に入る。8ビットで表わされる場合には、128を中心として、0乃至255で粗ｗされることになる。
一般に輝度信号に比して、色差信号は解像度が低いため、4:2:2や4:2:0といったように、画像圧縮では、色差信号に対しては、輝度信号に比してより低い解像度のフォーマットが用いられる。
また、H．264/AVC方式において、マクロブロックサイズは１６×１６画素である。しかしながら、マクロブロックサイズを１６×１６画素とするのは、次世代符号化方式の対象となるようなUHD(Ultra High Definition;4000×2000画素)といった大きな画枠に対しては最適ではない。
そこで、非特許文献２などにおいては、マクロブロックサイズを、例えば、３２×３２画素といった大きさに拡張することも提案されている。
"Improved multiple frame motion compensation using frame interpolation", JVT-B075,2002年1月 "Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009
ところで、上述したように、8ビットの画像信号において、輝度信号が128である場合、0.5を意味するが、色差信号が128である場合、0を意味している。しかしながら、H．264/AVC方式における重み付け予測については、輝度信号および色差信号で同様の処理を行っている。したがって、輝度信号に比して、色差信号に関する予測効率が低くなってしまうことがあった。
本発明は、このような状況に鑑みてなされたものであり、色差信号に対する重み付け予測における予測効率を向上させることができるものである。
本発明の第１の側面の画像処理装置は、画像の符号化対象のブロックの動きベクトルを探索する動き探索手段と、前記画像の色フォーマットがYCbCrフォーマットの場合、前記動き探索手段により探索された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う重み付け予測手段とを備える。
前記画像の色フォーマットがYCbCrフォーマットの場合、前記色差成分に対して、重み係数およびオフセットを算出する係数算出手段をさらに備え、前記重み付け予測手段は、前記係数算出手段により算出された前記重み係数およびオフセットと、前記参照画像画素値を用いて、前記色差成分に対しては、前記輝度成分に対してとは異なる重み付け予測を行うことができる。
前記重み付け予測手段は、前記色差成分に対しては、前記画像の入力ビット精度とピクチャタイプに応じて重み付け予測を行うことができる。
前記重み付け予測手段は、Ｐピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0を前記参照画像画素値、W0およびDをそれぞれ重み予測のための重み係数およびオフセットとすると、W0 * (Y0 - 2n-1) + D + 2n-1のように重み付け予測を行うことができる。
前記重み付け予測手段は、Ｂピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0およびY1をそれぞれList0およびList1の前記参照画像画素値、W0、W1、およびDをそれぞれ重み予測のためのList0およびList1に対する重み係数、並びにオフセットとすると、W0 * (Y0 - 2n-1) + W1 * (Y1 - 2n-1) D + 2n-1のように重み付け予測を行うことができる。
前記画像の色フォーマットがRGBフォーマットの場合、前記参照画像画素値を用いて、前記色差成分に対して、前記輝度成分に対するのと同じ重み付け予測を行うことができる。
本発明の第１の側面の画像処理方法は、画像処理装置の動き探索手段が、画像の符号化対象のブロックの動きベクトルを探索し、前記画像処理装置の重み付け予測手段が、前記画像の色フォーマットがYCbCrフォーマットの場合、探索された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う。
本発明の第２の側面の画像処理装置は、符号化されている画像の復号対象のブロックの動きベクトルを復号する復号手段と、前記画像の色フォーマットがYCbCrフォーマットの場合、前記復号手段により復号された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う重み付け予測手段とを備える。
前記重み付け予測手段は、前記色差成分に対しては、前記画像の入力ビット精度とピクチャタイプに応じて重み付け予測を行うことができる。
前記重み付け予測手段は、Ｐピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0を前記参照画像画素値、W0およびDをそれぞれ重み予測のための重み係数およびオフセットとすると、W0 * (Y0 - 2n-1) + D + 2n-1のように重み付け予測を行うことができる。
前記重み付け予測手段は、Ｂピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0およびY1をそれぞれList0およびList1の前記参照画像画素値、W0、W1、およびDをそれぞれ重み予測のためのList0およびList1に対する重み係数、並びにオフセットとすると、W0 * (Y0 - 2n-1) + W1 * (Y1 - 2n-1) D + 2n-1のように重み付け予測を行うことができる。
前記画像の色フォーマットがYCbCrフォーマットの場合、前記色差成分に対して、重み係数を算出する係数算出手段をさらに備え、前記重み付け予測手段は、前記係数算出手段により算出された前記重み係数と、前記参照画像画素値を用いて、前記色差成分に対しては、前記輝度成分に対してとは異なる重み付け予測を行うことができる。
前記画像の色フォーマットがYCbCrフォーマットの場合、前記復号手段は、前記色差成分に対する前記重み係数およびオフセットを復号し、前記重み付け予測手段は、前記復号手段により復号された前記重み係数およびオフセットと、前記参照画像画素値を用いて、前記色差成分に対しては、前記輝度成分に対してとは異なる重み付け予測を行うことができる。
前記画像の色フォーマットがRGBフォーマットの場合、前記参照画像画素値を用いて、前記色差成分に対して、前記輝度成分に対するのと同じ重み付け予測を行うことができる。
本発明の第２の側面の画像処理方法は、画像処理装置の復号手段が、符号化されている画像の復号対象のブロックの動きベクトルを復号し、前記画像処理装置の重み付け予測手段が、前記画像の色フォーマットがYCbCrフォーマットの場合、復号された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う。
本発明の第１の側面においては、画像の符号化対象のブロックの動きベクトルが探索される。そして、前記画像の色フォーマットがYCbCrフォーマットの場合、探索された動きベクトルが指し示す参照画像画素値が用いられて、色差成分に対しては、輝度成分に対してとは異なる重み付け予測が行われる。
本発明の第２の側面においては、符号化されている画像の復号対象のブロックの動きベクトルが復号される。そして、前記画像の色フォーマットがYCbCrフォーマットの場合、復号された動きベクトルが指し示す参照画像画素値が用いられて、色差成分に対しては、輝度成分に対してとは異なる重み付け予測が行われる。
なお、上述の画像処理装置のそれぞれは、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本発明によれば、色差信号に対する重み付け予測における予測効率を向上させることができる。
本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 １／４画素精度の動き予測・補償処理を説明する図である。 可変ブロックサイズ動き予測・補償処理を説明する図である。 マルチ参照フレームの動き予測・補償方式について説明する図である。 動きベクトル情報の生成方法の例を説明する図である。 Implicit Modeの場合の重み係数およびオフセットの算出方法を説明する図である。 動き探索方法を説明する図である。 図１の動き予測・補償部および重み付け予測部の構成例を示すブロック図である。 図１の画像符号化装置の符号化処理を説明するフローチャートである。 図９のステップＳ２１のイントラ予測処理を説明するフローチャートである。 図９のステップＳ２２のインター動き予測処理を説明するフローチャートである。 図１１のステップＳ５４の重み予測処理を説明するフローチャートである。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図１３の動き予測・補償部および重み付け予測部の構成例を示すブロック図である。 図１３の画像復号装置の復号処理を説明するフローチャートである。 図１５のステップＳ１３８の予測処理を説明するフローチャートである。 図１６のステップＳ１７５の予測処理を説明するフローチャートである。 拡張マクロブロックの例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。
以下、図を参照して本発明の実施の形態について説明する。
［画像符号化装置の構成例］
図１は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
この画像符号化装置５１は、例えば、H．264及びMPEG-4 Part10（Advanced Video Coding）（以下H．264/AVCと記す）方式をベースに、画像を圧縮符号化する。
図１の例において、画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、重み付け予測部７６、予測画像選択部７７、およびレート制御部７８により構成されている。
Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。
演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７７により選択されたイントラ予測部７４からの予測画像または動き予測・補償部７５からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。
量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。
可逆符号化部６６は、イントラ予測を示す情報をイントラ予測部７４から取得し、インター予測モードを示す情報などを動き予測・補償部７５から取得する。なお、イントラ予測を示す情報およびインター予測を示す情報は、以下、それぞれ、イントラ予測モード情報およびインター予測モード情報とも称する。
可逆符号化部６６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部６６は、符号化したデータを蓄積バッファ６７に供給して蓄積させる。
例えば、可逆符号化部６６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
蓄積バッファ６７は、可逆符号化部６６から供給されたデータを、符号化された圧縮画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部７７から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
スイッチ７３はフレームメモリ７２に蓄積された参照画像を動き予測・補償部７５またはイントラ予測部７４に出力する。
この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部７５に供給される。
イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とフレームメモリ７２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。その際、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。
イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。イントラ予測部７４は、予測画像選択部７７により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
動き予測・補償部７５には、画面並べ替えバッファ６２から読み出されたインター処理する画像と、スイッチ７３を介してフレームメモリ７２から参照画像が供給される。動き予測・補償部７５は、候補となる全てのインター予測モードの動き探索（予測）を行う。
そして、重み付け予測部７６により重み付け予測を行うことを示す制御信号が入力された場合、動き予測・補償部７５は、重み付け予測を行うことを示す制御信号とともに、探索した動きベクトルが指し示す参照画像を、重み付け予測部７６に供給する。重み付け予測部７６により重み付け予測を行わないことを示す制御信号が入力された場合、動き予測・補償部７５は、探索した動きベクトルを用いて、参照画像に補償処理を施し、予測画像を生成する。
動き予測・補償部７５は、生成した予測画像、または、重み付け予測部７６からの予測画像などを用いて、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７５は、算出したコスト関数値のうち、最小値を与える予測モードを、最適インター予測モードとして決定し、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。動き予測・補償部７５は、予測画像選択部７７により最適インター予測モードで生成された予測画像が選択された場合、最適インター予測モードを示す情報（インター予測モード情報）を可逆符号化部６６に出力する。
このとき、動きベクトル情報、参照フレーム情報なども可逆符号化部６６に出力される。可逆符号化部６６は、動き予測・補償部７５からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
重み付け予測部７６には、画面並べ替えバッファ６２からインター処理する画像が入力される。重み付け予測部７６は、入力された画像の明るさの変化を見ることにより重み付け予測を行うか否かを判定し、その判定結果を示す制御信号を、動き予測・補償部７５に供給とともに、入力された画像の色フォーマットを識別する。
また、重み付け予測部７６には、動き予測・補償部７５から、重み付け予測が行われることを示す制御信号と、動きベクトルが指し示す参照画像が入力される。重み付け予測部７６は、動き予測・補償部７５からの制御信号が入力されると、色フォーマットに応じた重み係数とオフセット値を算出する。この重み係数とオフセット値は、必要に応じて、可逆符号化部６６に出力される。
重み付け予測部７６は、入力された参照画像を用いて、識別された色フォーマットに応じた重み係数とオフセット値による重み付け予測を行って、予測画像を生成する。生成された予測画像は、動き予測・補償部７５に供給される。
予測画像選択部７７は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７７は、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７７は、予測画像の選択情報を、イントラ予測部７４または動き予測・補償部７５に供給する。
レート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［H．264/AVC方式の説明］
次に、画像符号化装置５１においてベースにされているH．264/AVC方式について説明する。
例えば、MPEG2方式においては、線形内挿処理により１／２画素精度の動き予測・補償処理が行われている。これに対して、H．264/AVC方式においては、内挿フィルタとして、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。
図２は、H．264/AVC方式における１／４画素精度の予測・補償処理を説明する図である。H．264/AVC方式においては、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。
図２の例において、位置Ａは、整数精度画素の位置、位置ｂ，ｃ，ｄは、１／２画素精度の位置、位置ｅ１，ｅ２，ｅ３は、１／４画素精度の位置を示している。まず、以下においては、Clip()を次の式（４）のように定義する。
Figure 2011151683
 なお、入力画像が８ビット精度である場合、max_pixの値は255となる。
位置ｂおよびｄにおける画素値は、６タップのFIRフィルタを用いて、次の式（５）のように生成される。

Figure 2011151683
位置ｃにおける画素値は、水平方向および垂直方向に６タップのFIRフィルタを適用し、次の式（６）のように生成される。

Figure 2011151683
 なお、Clip処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に１度のみ実行される。
位置ｅ１乃至ｅ３は、次の式（７）のように線形内挿により生成される。

Figure 2011151683
また、例えば、MPEG2方式においては、フレーム動き補償モードの場合には、１６×１６画素、フィールド動き補償モードの場合には、第１フィールド、第２フィールドのそれぞれに対し、１６×８画素を単位として動き予測・補償処理が行われている。
これに対して、H．264/AVC方式の動き予測補償においては、マクロブロックサイズは、１６×１６画素であるが、ブロックサイズを可変にして、動き予測・補償が行われる。
図３は、H．264/AVC方式における動き予測・補償のブロックサイズの例を示す図である。
図３の上段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションに分割された１６×１６画素で構成されるマクロブロックが順に示されている。また、図３の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のサブパーティションに分割された８×８画素のパーティションが順に示されている。
すなわち、H．264/AVC方式においては、１つのマクロブロックを、１６×１６画素、１６×８画素、８×１６画素、あるいは８×８画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８画素のパーティションに関しては、８×８画素、８×４画素、４×８画素、あるいは４×４画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。
さらに、H．264/AVC方式においては、マルチ参照フレームの予測・補償処理も行われている。
図４は、H．264/AVC方式におけるマルチ参照フレームの予測・補償処理を説明する図である。H．264/AVC方式においては、マルチ参照フレーム(Multi-Reference Frame) の動き予測・補償方式が定められている。
図４の例においては、いまから符号化される対象フレームＦnと、符号化済みのフレームＦn-5,…,Ｆn-1が示されている。フレームＦn-1は、時間軸上、対象フレームＦnの１つ前のフレームであり、フレームＦn-2は、対象フレームＦnの２つ前のフレームであり、フレームＦn-3は、対象フレームＦnの３つ前のフレームである。また、フレームＦn-4は、対象フレームＦnの４つ前のフレームであり、フレームＦn-5は、対象フレームＦnの５つ前のフレームである。一般的には、対象フレームＦnに対して時間軸上に近いフレームほど、小さい参照ピクチャ番号（ref_id）が付加される。すなわち、フレームＦn-1が一番参照ピクチャ番号が小さく、以降、Fn-2,…, Ｆn-5の順に参照ピクチャ番号が小さい。
対象フレームＦnには、ブロックＡ1とブロックＡ2が示されており、ブロックＡ1は、２つ前のフレームＦn-2のブロックＡ1’と相関があるとされて、動きベクトルＶ1が探索されている。また、ブロックＡ2は、４つ前のフレームＦn-4のブロックＡ1’と相関があるとされて、動きベクトルＶ2が探索されている。
以上のように、H．264/AVC方式においては、複数の参照フレームをメモリに格納しておき、１枚のフレーム（ピクチャ）において、異なる参照フレームを参照することが可能である。すなわち、例えば、ブロックＡ1がフレームＦn-2を参照し、ブロックＡ2がフレームＦn-4を参照しているというように、１枚のピクチャにおいて、ブロック毎にそれぞれ独立した参照フレーム情報（参照ピクチャ番号（ref_id））を持つことができる。
ここで、ブロックとは、図３を参照して上述した１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションのいずれかを示す。８×８サブブロック内における参照フレームは同一でなければならない。
以上のように、H．264/AVC方式においては、図２を参照して上述した１／４画素精度の動き予測・補償処理、並びに図３および図４を参照して上述したような動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成される。この膨大な動きベクトル情報をこのまま符号化することは、符号化効率の低下を招いてしまう。これに対して、H．264/AVC方式においては、図５に示す方法により、動きベクトルの符号化情報の低減が実現されている。
図５は、H．264/AVC方式による動きベクトル情報の生成方法について説明する図である。
図５の例において、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。
すなわち、ブロックＤは、対象ブロックＥの左上に隣接しており、ブロックＢは、対象ブロックＥの上に隣接しており、ブロックＣは、対象ブロックＥの右上に隣接しており、ブロックＡは、対象ブロックＥの左に隣接している。なお、ブロックＡ乃至Ｄが区切られていないのは、それぞれ、図３で上述した１６×１６画素乃至４×４画素のうちのいずれかの構成のブロックであることを表している。
例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報を、mvXで表す。まず、対象ブロックＥに対する予測動きベクトル情報pmvEは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により次の式（８）のように生成される。
pmvE = med(mvA,mvB,mvC) ・・・（８）

ブロックＣに関する動きベクトル情報が、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により、利用可能でない（unavailableである）場合がある。この場合には、ブロックＣに関する動きベクトル情報は、ブロックＤに関する動きベクトル情報で代用される。
対象ブロックＥに対する動きベクトル情報として、圧縮画像のヘッダ部に付加されるデータmvdEは、pmvEを用いて、次の式（９）のように生成される。

mvdE = mvE - pmvE ・・・（９）
なお、実際には、動きベクトル情報の水平方向、垂直方向のそれぞれの成分に対して、独立に処理が行われる。
このように、予測動きベクトル情報を生成し、隣接するブロックとの相関で生成された予測動きベクトル情報と動きベクトル情報との差分を、圧縮画像のヘッダ部に付加することにより、動きベクトル情報が低減される。
次に、図６を参照して、H．264/AVC方式におけるBピクチャのImplicit Modeの場合の重み係数Wおよびオフセット値Dの算出方法を説明する。
上述したように、H．264/AVC方式における重み予測は、Pピクチャにおいては、上述した式（１）を用いて行われ、Bピクチャにおいては、上述した式（２）を用いて行われる。
また、H．264/AVC方式においては、スライス単位で、この重み付け予測を用いる・用いないを指定することが可能であり、Explicit ModeとImplicit Modeが規定されている。Explicit Modeは、スライスヘッダに、WおよびDを付加して送るモードであり、PピクチャでもBピクチャでも用いることができる。これに対して、Implicit Modeは、当該ピクチャと参照ピクチャにおける時間軸条での距離からWを算出するモードであり、Bピクチャでしか用いることができない。
図６の例においては、当該フレームの時間的に手前にL0参照フレームが示されており、当該フレームの時間的に後にL1参照フレームが示されている。ここで、L0参照フレームと当該フレームとの時間的距離情報は、tbであり、L0参照フレームとL1参照フレームとの時間的距離情報は、tdである。この時間的距離情報としては、H．264/AVC方式においては、相当する情報がないので、POC(Picture Order Count)が用いられる。
また、L0参照フレームおよびL1参照フレーム上には、それぞれ、当該フレームの当該ブロックに対応する参照ブロックRef(L0)および当該ブロックに対応するL1参照ブロックRef(L1)が示されている。
このような場合の予測画像は、Implicit Modeでは、Ref(L0)に対する重み係数をW0およびRef(L1)に対する重み係数をW1、並びに、オフセット値をDとすると、次の式（１０）で算出される。

予測画像 ＝ w0*Ref(L0)+W1*Ref(L1)+D
W0 = 1 - W1
W1 = tb/td
D = 0 ・・・（１０）
ところで、図２で上述した１／４画素精度で求められる動きベクトルを、どのような処理により選択するかも、符号化効率の高い圧縮画像を得るためには重要である。H．264/AVC方式においては、この処理の一例として、公開されているJM(Joint Model)と呼ばれる参照ソフトウエア（reference software）に実装されている方法が用いられる。
次に、図７を参照して、JMにおいて実装されている動き探索方法について説明する。
図７の例において、画素Ａ乃至Ｉは、整数画素精度の画素値を有する画素（以下、整数画素精度の画素と称する）を表している。画素１乃至８は、画素Ｅ周辺における１／２画素精度の画素値を有する画素（以下、１／２画素精度の画素と称する）を表している。画素ａ乃至ｈは、画素６周りの１／４画素精度の画素値を有する画素（以下、１／４画素精度の画素と称する）を表している。
JMでは、第１のステップとして、所定の探索範囲内において、SAD(Sum of Absolute Difference)などのコスト関数値を最小にする整数画素精度の動きベクトルが求められる。これにより、求められた動きベクトルに対する画素が、画素Ｅであるとする。
次に、第２のステップとして、画素Ｅ、および画素Ｅ周辺の１／２画素精度の画素１乃至８のうち、上述したコスト関数値を最小にする画素値の画素が求められ、この画素（図２の例の場合、画素６）が、１／２画素精度の最適動きベクトルに対する画素とされる。
そして、第３のステップとして、画素６、および画素６周辺の１／４画素精度の画素ａ乃至ｈのうち、上述したコスト関数値を最小にする画素値の画素が求められる。これにより、求められた画素に対する動きベクトルが、１／４画素精度の最適動きベクトルとなる。
さらに、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。H．264/AVC方式においては、例えば、JMにおいて定められているHigh Complexity Modeと、Low Complexity Modeの２通りのモード判定方法を選択する方法が用いられている。この方法の場合、どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
High Complexity Modeにおけるコスト関数値は、以下の式（１１）のように求めることができる。
Cost（Mode∈Ω）＝Ｄ＋λ×Ｒ ・・・（１１）
式（１１）において、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合である。また、Ｄは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。さらに、λは、量子化パラメータの関数として与えられるLagrange未定乗数である。また、Ｒは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
つまり、High Complexity Modeでの符号化を行なうには、上記パラメータＤ及びＲを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
これに対してLow Complexity Modeにおけるコスト関数値は、以下の式（１２）のように求めることができる。
Cost（Mode∈Ω）＝Ｄ＋QP2Quant（QP）×HeaderBit ・・・（１２）
となる。式（１２）において、Ｄは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。また、QP2Quant（QP）は、量子化パラメータQPの関数として与えられる。さらに、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
以上のようなH．264/AVC方式の規格は、図１の画像符号化装置５１においては、適宜用いられている。
［詳細な構成例］
そして、この画像符号化装置５１においては、入力信号の色フォーマットに応じて異なる重み予測方法が用いられる。すなわち、重み付け予測部７６においては、入力信号がRGBフォーマットの場合には、H．264/AVC方式と同様の重み付け予測が行われる。一方、入力信号が、YCbCrフォーマットの場合には、輝度信号と色差信号に対して異なる重み付け予測処理が行われる。
具体的には、重み付け予測部７６において、入力信号が、YCbCrフォーマットの場合、輝度信号については、上述した式（１）および式（２）を用いた重み付け予測が行われる。これに対して、色差信号に関しては、入力となる画像信号がnビットで表わされているとして、Pピクチャの場合、式（１）に代えて、次の式（１３）のように予測信号の生成が行われる。
予測信号 ＝ W0 * (Y0-2n-1) + D + 2n-1 ・・・（１３）

ここで、2n-1の値は、8ビットビデオの場合、27 = 128となる。
また、色差信号に関しては、Bピクチャの場合、式（２）に代えて、次の式（１４）のように予測信号の生成が行われる。
予測信号 ＝ W0 * (Y0-2n-1) + W1 * (Y1-2n-1)+ D +2n-1 ・・・（１４）
以上のように、入力信号がYCbCrフォーマットの場合に、輝度信号と色差信号に対して異なる重み付け予測を行うようにした。
すなわち、輝度信号の重み付け予測は、H．264/AVC方式と同じ方法であるが、色差信号の重み付け予測を、式（１３）および式（１４）に示されるように、乗算の際に2n-1を引いて、その後2n-1を足すように行うようにした。つまり、色差成分に対しては、画像の入力ビット精度とピクチャタイプに応じて重み付け予測が行われる。これにより、従来、予測効率が低下していた色差信号の重み付け予測を、予測効率を低下させることなく実現することが可能となる。
［動き予測・補償部および重み付け予測部の構成例］
図８は、動き予測・補償部７５および重み付け予測部７６の詳細な構成例を示すブロック図である。なお、図８においては、図１のスイッチ７３が省略されている。
図８の例において、動き予測・補償部７５は、動き探索部８１、動き補償部８２、コスト関数算出部８３、およびモード判定部８４により構成されている。
重み付け予測部７６は、色フォーマット識別部９１、重み予測制御部９２、色成分識別部９３、輝度用重み・オフセット算出部９４、色差用重み・オフセット算出部９５、輝度用重み付け動き補償部９６、および色差用重み付け動き補償部９７により構成されている。
画面並べ替えバッファ６２からのインターする画像である原画像画素値は、動き探索部８１、コスト関数算出部８３、色フォーマット識別部９１、および重み予測制御部９２に入力される。
動き探索部８１には、原画像画素値の他、フレームメモリ７２からの参照画像画素値も入力される。動き探索部８１は、すべてのインター予測モードの動き探索処理を行い、それぞれのインター予測モードに対する最適動きベクトル情報を決定して、それを、動き補償部８２に供給する。なお、これらの動きベクトル情報は、最終的に（符号化時に）、図５を参照して上述したように生成されるようにしてもよい。
動き補償部８２には、重み予測制御部９２から、重み付け予測を行う、または行わないことを示す制御信号が供給される。重み付け予測を行わない場合、動き補償部８２は、動き探索部８１からの動きベクトル情報を用いて、フレームメモリ７２からの参照画像に補償処理を施して、予測画像を生成する。このとき、動き補償部８２は、生成した予測画像画素値と対応する動きベクトル情報を、コスト関数算出部８３に供給する。
重み付け予測を行う場合、動き補償部８２は、処理する信号（参照画像）の色フォーマットが、RGBフォーマットであるとき、動きベクトル情報が指し示す参照画像画素値のうち、輝度信号および色差信号を、輝度用重み付け動き補償部９６に供給する。動き補償部８２は、YCbCrフォーマットのとき、動きベクトル情報が指し示す参照画像画素値のうち、輝度信号を、輝度用重み付け動き補償部９６に供給し、色差信号を、色差用重み付け動き補償部９７に供給する。そして、動き補償部８２は、それぞれに対応して生成される予測画像画素値を、輝度用重み付け動き補償部９６や色差用重み付け動き補償部９７から受け取る。
動き補償部８２は、受け取った予測画像画素値と対応する動きベクトル情報を、コスト関数算出部８３に供給する。また、重み付け予測を行う場合、動き補償部８２は、それを示す制御信号を、輝度用重み・オフセット算出部９４および色差用重み・オフセット算出部９５に出力する。
コスト関数算出部８３は、画面並べ替えバッファ６２からの原画像画素値と、動き補償部８２からの予測画像を用いて、上述した式（１１）または式（１２）により、すべてのインター予測モードに対するコスト関数値を算出し、算出したコスト関数値と対応する予測画像および動きベクトル情報を、モード判定部８４に出力する。
モード判定部８４には、コスト関数算出部８３により算出されたコスト関数値と、対応する予測画像および動きベクトル情報が入力される。モード判定部８４は、入力されるコスト関数値のうち、最小のものを、当該マクロブロックに対する最適インターモードとして決定し、この予測モードに対応する予測画像を、予測画像選択部７７に出力する。
予測画像選択部７７により最適インターモードの予測画像が選択された場合には、それを示す信号が予測画像選択部７７から供給されるので、モード判定部８４は、最適インターモード情報、および動きベクトル情報を、可逆符号化部６６に供給する。
色フォーマット識別部９１は、画面並べ替えバッファ６２からの原画像画素値を用いて、原画像のフォーマットが、RGBであるかYCbCrであるかを識別し、識別した色フォーマットと原画像画素値を、色成分識別部９３に出力する。
重み予測制御部９２は、画面並べ替えバッファ６２からの原画像画素値を用いて、原画像において、フェード等の要因により、フレーム間で、画面の明るさに変化があるかどうかの検出を行う。重み予測制御部９２は、その検出結果に応じて、当該スライスにおいて、重み予測を用いるか否かを決定し、重み予測を行うか否かを示す制御信号を、動き補償部８２に供給する。なお、この重み予測を行うか否かを示す制御信号は、フラグ情報として、可逆符号化部６６にも供給される。
色成分識別部９３は、原画像（入力信号）がRGBフォーマットである場合、原画像画素値をすべて輝度用重み・オフセット算出部９４に出力する。色成分識別部９３は、原画像（入力信号）がYCbCrフォーマットである場合、原画像画素値のうち、輝度成分に関しては、輝度用重み・オフセット算出部９４に出力し、色差成分に関しては、色差用重み・オフセット算出部９５に出力する。
輝度用重み・オフセット算出部９４は、動き補償部８２からの制御信号が入力された場合、重み予測のための重み係数およびオフセット値の算出を、Explicit ModeまたはImplicit Modeのどちらかに基づいて行う。色差用重み・オフセット算出部９５も、動き補償部８２からの制御信号が入力された場合、重み予測のための重み係数およびオフセット値の算出を、Explicit ModeまたはImplicit Modeのどちらかに基づいて行う。Implicit Modeの場合には、上述した式（１０）を用いて、重み係数が算出される。なお、Bピクチャにおいて、どちらのModeが用いられるかは、予め、ユーザにより設定されている。
輝度用重み・オフセット算出部９４は、算出した重み係数およびオフセット値を、輝度用重み付け動き補償部９６に出力する。色差用重み・オフセット算出部９５は、算出した重み係数およびオフセット値を、色差用重み付け動き補償部９７に出力する。
なお、Explicit Modeの場合には、輝度用重み・オフセット算出部９４および色差用重み・オフセット算出部９５は、それぞれ、算出された重み係数およびオフセット値を、可逆符号化部６６にも供給する。
輝度用重み付け動き補償部９６は、動き補償部８２から、動きベクトル情報が指し示す参照画像画素値が入力されると、輝度用重み・オフセット算出部９４からの重み係数およびオフセット値を用いて、輝度信号および色差信号（RGBの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。生成された予測画像画素値は、動き補償部８２に出力される。
色差用重み付け動き補償部９７は、動き補償部８２から、動きベクトル情報が指し示す参照画像画素値が入力されると、色差用重み・オフセット算出部９５からの重み係数およびオフセット値を用いて、色差信号（YCbCrの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。生成された予測画像画素値は、動き補償部８２に出力される。
［画像符号化装置の符号化処理の説明］
次に、図９のフローチャートを参照して、図１の画像符号化装置５１の符号化処理について説明する。
ステップＳ１１において、A/D変換部６１は入力された画像をA/D変換する。ステップＳ１２において、画面並べ替えバッファ６２は、A/D変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７５から、イントラ予測する場合はイントラ予測部７４から、それぞれ予測画像選択部７７を介して演算部６３に供給される。
差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２６の処理で説明されるように、レートが制御される。
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。
ステップＳ１８において、演算部７０は、予測画像選択部７７を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。
画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。
これらの画像に基づいて、ステップＳ２１において、イントラ予測部７４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
ステップＳ２１におけるイントラ予測処理の詳細は、図１０を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。
画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３を介して動き予測・補償部７５に供給される。これらの画像に基づいて、ステップＳ２２において、動き予測・補償部７５は、インター動き予測処理を行う。
ステップＳ２２におけるインター動き予測処理の詳細は、図１１を参照して後述する。この処理により、重み予測を行うか否かが判定され、重み予測の場合、または、重み予測を行わない場合の候補となる全てのインター予測モードで動き探索処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部７７に供給される。
ステップＳ２３において、予測画像選択部７７は、イントラ予測部７４および動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部７７は、決定した最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。
なお、この予測画像の選択情報は、イントラ予測部７４または動き予測・補償部７５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部６６に供給する。
最適インター予測モードの予測画像が選択された場合、動き予測・補償部７５は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部６６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。また、重み付け予測部７６からも、重み予測を行う、行わないを示すフラグ情報や、重み予測がExplicit Modeの場合には、重み係数およびオフセット値の情報も可逆符号化部６６に出力される。
ステップＳ２４において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２１において可逆符号化部６６に入力された、イントラ予測部７４からのイントラ予測モード情報、または、ステップＳ２２において、動き予測・補償部７５からの最適インター予測モードに応じた情報や、重み付け予測部７６からの情報なども符号化され、ヘッダ情報に付加される。
例えば、インター予測モードを示す情報は、マクロブロック毎に符号化される。動きベクトル情報や参照フレーム情報は、対象となるブロック毎に符号化される。重み付け予測部７６からの重み付け予測に関する情報は、スライス毎に符号化される。
ステップＳ２５において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
ステップＳ２６においてレート制御部７８は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［イントラ予測処理の説明］
次に、図１０のフローチャートを参照して、図９のステップＳ２１におけるイントラ予測処理を説明する。なお、図１０の例においては、輝度信号の場合を例として説明する。
イントラ予測部７４は、ステップＳ４１において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。
輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。
具体的には、イントラ予測部７４は、処理対象のブロックの画素を、フレームメモリ７２から読み出され、スイッチ７３を介して供給される復号済みの画像を参照して、イントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
イントラ予測部７４は、ステップＳ４２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値を求めるためのコスト関数としては、上述した式（１１）または式（１２）のコスト関数が用いられる。
イントラ予測部７４は、ステップＳ４３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ４２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。
イントラ予測部７４は、ステップＳ４４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ４２において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部７７に供給する。
［インター動き予測処理の説明］
次に、図１１のフローチャートを参照して、図９のステップＳ２２のインター動き予測処理について説明する。
動き探索部８１は、ステップＳ５１において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、各インター予測モードの処理対象のブロックについて、動きベクトルと参照画像がそれぞれ決定され、動きベクトル情報は、動き補償部８２に供給される。
重み予測制御部９２は、画面並べ替えバッファ６２からの原画像画素値を用いて、原画像において、フレーム間で、画面の明るさに変化があるかどうかを検出することにより、当該スライスに重み予測を適用するか否かを判定する。ステップＳ５２において、当該スライスに重み予測を適用しないと判定された場合、それを示す制御信号が動き補償部８２に供給される。
ステップＳ５３において、動き補償部８２は、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードについて、ステップＳ６３で決定された動きベクトルに基づいて、参照画像に補償処理を行う。この補償処理により、各インター予測モードでの予測画像が生成され、生成された予測画像は、対応する動きベクトル情報とともに、コスト関数算出部８３に出力される。
一方、ステップＳ５２において、当該スライスに重み予測を適用すると判定された場合、それを示す制御信号が動き補償部８２に供給される。
ステップＳ５４において、動き補償部８２と重み付け予測部７６は、重み予測処理を実行する。この重み予測処理の詳細は、図１２を参照して後述する。
ステップＳ５４の処理により、重み付け予測部７６において重み付け予測処理がなされた結果の予測画像が、動き補償部８２に供給される。動き補償部８２は、予測画像画素値と対応する動きベクトル情報を、コスト関数算出部８３に供給する。
コスト関数算出部８３は、ステップＳ５５において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（１１）または式（１２）で示されるコスト関数値を算出する。算出したコスト関数値と対応する予測画像および動きベクトル情報は、モード判定部８４に出力される。
ステップＳ５６において、モード判定部８４は、ステップＳ５３において算出されたインター予測モードに対してのコスト関数値を比較し、最小値を与える予測モードを、最適インター予測モードとして決定する。そして、モード判定部８４は、最適インター予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７７に供給する。
そして、上述した図９のステップＳ２３において最適インター予測モードで生成された予測画像が選択された場合には、最適インター予測モードの情報および動きベクトル情報などが可逆符号化部６６に供給され、ステップＳ２４において符号化される。
次に、図１２のフローチャートを参照して、図１１のステップＳ５４の重み予測処理を説明する。
色フォーマット識別部９１は、画面並べ替えバッファ６２からの原画像画素値を用いて、原画像のフォーマットが、RGBであるかYCbCrであるかを識別し、識別した色フォーマットと原画像画素値を、色成分識別部９３に出力する。
色成分識別部９３は、ステップＳ６１において、入力信号（原画像）のフォーマットがYCbCrフォーマットであるか否かを判定する。ステップＳ６１において、入力信号のフォーマットがYCbCrフォーマットであると判定された場合、ステップＳ６２に進む。
色成分識別部９３は、ステップＳ６２において、入力信号が輝度成分であるか否かを判定する。ステップＳ６２において、輝度成分であると判定された場合、色成分識別部９３は、入力信号（輝度成分）を輝度用重み・オフセット算出部９４に出力し、処理は、ステップＳ６３に進む。
また、ステップＳ６１において、YCbCrフォーマットではない、すなわち、RGBフォーマットであると判定された場合も、処理は、ステップＳ６３に進む。つまり、この場合、入力信号が輝度成分であっても色差成分であっても、輝度用重み・オフセット算出部９４に出力され、ステップＳ６３の処理が行われる。
ステップＳ６３において、輝度用重み・オフセット算出部９４および輝度用重み付け動き補償部９６は、輝度信号用重み付け予測を行う。
すなわち、重み予測を行う場合、動き補償部８２からの制御信号が入力されるので、輝度用重み・オフセット算出部９４は、式（１）または式（２）における重み予測のための重み係数およびオフセット値の算出を、Explicit ModeまたはImplicit Modeのどちらかに基づいて行う。
輝度用重み・オフセット算出部９４は、算出した重み係数およびオフセット値を、輝度用重み付け動き補償部９６に出力する。なお、Explicit Modeの場合には、輝度用重み・オフセット算出部９４は、算出された重み係数およびオフセット値を、可逆符号化部６６にも供給するので、可逆符号化部６６は、上述した図９のステップＳ２４においてそれを符号化し、圧縮画像のヘッダに付加する。
輝度用重み付け動き補償部９６には、動き補償部８２から、動きベクトル情報が指し示す参照画像画素値のうち、輝度信号および色差信号(RGBの場合)が入力される。これに対応して、輝度用重み付け動き補償部９６は、輝度用重み・オフセット算出部９４からの重み係数およびオフセット値（すなわち、式（１）または式（２））を用いて、輝度信号または色差信号（RGBの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。すなわち、この場合、H．264/AVC方式に基づく重み付け予測が行われる。生成された予測画像画素値は、動き補償部８２に出力される。
一方、ステップＳ６２において、輝度成分ではない、すなわち、色差成分であると判定された場合、色成分識別部９３は、入力信号（色差成分）を色差用重み・オフセット算出部９５に出力し、処理は、ステップＳ６４に進む。
ステップＳ６４において、色差用重み・オフセット算出部９５および色差用重み付け動き補償部９７は、輝度信号用重み付け予測を行う。
すなわち、重み予測を行う場合、動き補償部８２からの制御信号が入力されるので、色差用重み・オフセット算出部９５は、式（１３）または式（１４）における重み予測のための重み係数およびオフセット値の算出を、Explicit ModeまたはImplicit Modeのどちらかに基づいて行う。
色差用重み・オフセット算出部９５は、算出した重み係数およびオフセット値を、色差用重み付け動き補償部９７に出力する。なお、Explicit Modeの場合には、色差用重み・オフセット算出部９５は、算出された重み係数およびオフセット値を、可逆符号化部６６にも供給するので、可逆符号化部６６は、上述した図９のステップＳ２４においてそれを符号化し、圧縮画像のヘッダに付加する。
色差用重み付け動き補償部９７には、動き補償部８２から、動きベクトル情報が指し示す参照画像画素値のうち、色差信号（YCbCrの場合）が入力される。これに対応して、色差用重み付け動き補償部９７は、色差用重み・オフセット算出部９５からの重み係数およびオフセット値（すなわち、式（１３）または式（１４））を用いて、色差信号（YCbCrの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。生成された予測画像画素値は、動き補償部８２に出力される。
以上のように、入力信号がYCbCrフォーマットの場合に、輝度信号と色差信号に対して異なる重み付け予測を行うようにしたので、色差信号の重み付け予測を、予測効率を低下させることなく実現することが可能となる。
なお、上記説明においては、動き探索処理は、重み予測を行わずに、探索された動きベクトル情報に対して、重み予測処理を行う例を説明したが、本発明の適用範囲は、これに限らない。例えば、重み予測を考慮した動き探索を行うようにしてもよい。また、当該フレームにといて、重み付け予測を行う場合と、行わない場合のそれぞれにより符号化処理を行い、コスト関数値の算出を行って、よりコスト関数値の小さな方により符号化された結果を、復号側に送るようにすることもできる。
符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。
［画像復号装置の構成例］
図１３は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。
画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、重み付け予測部１２３、およびスイッチ１２４により構成されている。
蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図１の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１１３は可逆復号部１１２により復号された画像を、図１の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１１４は、図１の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３の出力を逆直交変換する。
逆直交変換された出力は演算部１１５によりスイッチ１２４から供給される予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去した後、フレームメモリ１１９に供給し、蓄積させるとともに、画面並べ替えバッファ１１７に出力する。
画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図３の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
スイッチ１２０は、インター処理される画像と参照される画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。
イントラ予測部１２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部１１２から供給される。イントラ予測部１２１は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ１２４に出力する。
動き予測・補償部１２２には、ヘッダ情報を復号して得られた情報のうち、インター予測モード情報、動きベクトル情報、参照フレーム情報、重み付け予測フラグ情報などが可逆復号部１１２から供給される。インター予測モード情報は、マクロブロック毎に送信されてくる。動きベクトル情報や参照フレーム情報は、対象ブロック毎に送信されてくる。重み付け予測フラグ情報は、スライス毎に送信されてくる。
動き予測・補償部１２２は、可逆復号部１１２からの重み付け予測フラグに基づいて、重み付け予測を行わない場合、可逆復号部１１２から供給されるインター予測モード情報および動きベクトル情報を用いて、対象ブロックに対する予測画像の画素値を生成する。すなわち、動き予測・補償部１２２は、可逆復号部１１２からのインター予測モードで、動きベクトルを用いて、フレームメモリ１１９からの参照画像に補償処理を施し、予測画像を生成する。生成された予測画像は、スイッチ１２４に出力される。
動き予測・補償部１２２は、重み付け予測を行う場合、可逆復号部１１２からの動きベクトル情報が指し示すフレームメモリ１１９からの参照画像を、重み付け予測部１２３に供給する。これに対応して、重み付け予測部１２３から予測画像が供給されるので、動き予測・補償部１２２は、その予測画像を、スイッチ１２４に出力する。
また、重み付け予測フラグ情報には、Explicit Modeであるか、Implicit Modeであるかのモード情報も含まれる。動き予測・補償部１２２は、重み付け予測を行う場合、それがExplicit Modeであるか、Implicit Modeであるのかを示す制御信号を、重み付け予測部１２３に供給する。
重み付け予測部１２３は、動き予測・補償部１２２からExplicit Modeを示す制御信号が入力されると、可逆復号部１１２からの重み係数とオフセット値を用いて、動き予測・補償部１２２からの参照画像に重み付け予測を行い、予測画像を生成する。重み付け予測部１２３は、動き予測・補償部１２２からImplicit Modeを示す制御信号が入力されると、上述した式（１０）を用いて、重み係数を算出し、算出した重み係数を用いて、動き予測・補償部１２２からの参照画像に重み付け予測を行い、予測画像を生成する。
生成された予測画像は、動き予測・補償部１２２を介して、スイッチ１２４に出力される。
スイッチ１２４は、動き予測・補償部１２２またはイントラ予測部１２１により生成された予測画像を選択し、演算部１１５に供給する。
なお、図１の動き予測・補償部７５および重み付け予測部７６においては、全ての候補モードに対して予測画像の生成およびコスト関数値の算出を行い、モード判定を行う必要がある。これに対して、図１３の動き予測・補償部１２２および重み付け予測部１２３においては、圧縮画像のヘッダから当該ブロックに対するモード情報および動きベクトル情報を受信して、これを用いた動き補償処理のみが行われる。
［動き予測・補償部および重み付け予測部の構成例］
図１４は、動き予測・補償部１２２および重み付け予測部１２３の詳細な構成例を示すブロック図である。なお、図１４においては、図１３のスイッチ１２０が省略されている。
図１４の例においては、動き予測・補償部１２２は、重み付け予測フラグバッファ１３１、予測モード・動きベクトルバッファ１３２、および動き補償部１３３により構成される。
重み付け予測部１２３は、重み・オフセットバッファ１４１、重み係数算出部１４２、輝度用重み付け動き補償部１４３、および色差用重み付け動き補償部１４４により構成される。
重み付け予測フラグバッファ１３１は、可逆復号部１１２からのスライスヘッダに含まれている、重み付け予測フラグの情報を蓄積し、動き補償部１３３に供給する。この重み付け予測フラグの情報は、当該スライスに対して、重み付け予測を行わない予測を行うのか、Explicit Modeの重み予測を行うのか、Implicit Modeの重み予測を行うのかに関する情報である。
重み付け予測フラグバッファ１３１は、Explicit Modeの重み予測を行う場合、重み・オフセットバッファ１４１に制御信号を供給し、Implicit Modeの重み予測を行う場合、重み係数算出部１４２に制御信号を供給する。
予測モード・動きベクトルバッファ１３２は、可逆復号部１１２からのブロック毎の動きベクトル情報と、マクロブロック毎のインター予測モード情報を蓄積し、動き補償部１３３に供給する。
動き補償部１３３は、重み付け予測フラグ情報に基づき、重み付け予測を行わない場合、予測モード・動きベクトルバッファ１３２からの予測モードおよび動きベクトル情報を用いて、フレームメモリ１１９からの参照画像に補償処理を施し、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。
動き補償部１３３は、重み付け予測を行う場合、処理する信号（参照画像）の色フォーマットが、RGBフォーマットであるとき、予測モード・動きベクトルバッファ１３２からの予測モードを参照し、動きベクトル情報が指し示す参照画像のうち、輝度信号および色差信号を輝度用重み付け動き補償部１４３に出力する。
動き補償部１３３は、重み付け予測を行う場合、YCbCrフォーマットのとき、予測モード・動きベクトルバッファ１３２からの予測モードを参照し、動きベクトル情報が指し示す参照画像のうち、輝度信号を輝度用重み付け動き補償部１４３に出力する。そして、このとき、動き補償部１３３は、色差信号を色差用重み付け動き補償部１４４に出力する。
重み・オフセットバッファ１４１は、可逆復号部１１２からの重み係数およびオフセット値を蓄積する。Explicit Modeの重み予測を行う場合、重み付け予測フラグバッファ１３１から制御信号がくる。その制御信号に対応して、重み・オフセットバッファ１４１は、蓄積している輝度用および色差用の重み係数およびオフセット値を、それぞれ、輝度用重み付け動き補償部１４３および色差用重み付け動き補償部１４４に供給する。
Implicit Modeの重み予測を行う場合、重み付け予測フラグバッファ１３１から制御信号がくる。その制御信号に対応して、重み係数算出部１４２は、上述した式（１０）により蓄積している輝度用および色差用の重み係数を算出して蓄積し、それぞれ、輝度用重み付け動き補償部１４３および色差用重み付け動き補償部１４４に供給する。
輝度用重み付け動き補償部１４３は、動き補償部１３３から、動きベクトル情報が指し示す参照画像画素値が入力されると、供給される重み係数（およびオフセット値）を用いて、輝度信号および色差信号（RGBの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。生成された予測画像画素値は、動き補償部１３３に出力される。
色差用重み付け動き補償部１４４は、動き補償部１３３から、動きベクトル情報が指し示す参照画像画素値が入力されると、供給される重み係数（およびオフセット値）を用いて、色差信号（YCbCrの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。生成された予測画像画素値は、動き補償部１３３に出力される。
［画像復号装置の復号処理の説明］
次に、図１５のフローチャートを参照して、画像復号装置１０１が実行する復号処理について説明する。
ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１１２は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図１の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）、重み付け予測フラグ情報なども復号される。また、Explicit Modeの場合には、重み係数およびオフセット値も復号される。
すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部１２１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報および参照フレーム情報、重み付け予測フラグ情報は、動き予測・補償部１２２に供給される。Explicit Modeの場合には、重み係数およびオフセット値は、重み付け予測部１２３に供給される。
ステップＳ１３３において、逆量子化部１１３は可逆復号部１１２により復号された変換係数を、図１の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１１４は逆量子化部１１３により逆量子化された変換係数を、図１の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図１の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。
ステップＳ１３５において、演算部１１５は、後述するステップＳ１３９の処理で選択され、スイッチ１２４を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。
ステップＳ１３８において、イントラ予測部１２１または動き予測・補償部１２２は、可逆復号部１１２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
すなわち、可逆復号部１１２からイントラ予測モード情報が供給された場合、イントラ予測部１２１は、イントラ予測モードのイントラ予測処理を行う。可逆復号部１１２からインター予測モード情報が供給された場合、動き予測・補償部１２２は、重み付け予測フラグに基づいて、重み付け予測、または、重み付け予測なしのインター予測モードの動き予測・補償処理を行う。
ステップＳ１３８における予測処理の詳細は、図１６を参照して後述するが、この処理により、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像がスイッチ１２４に供給される。
ステップＳ１３９において、スイッチ１２４は予測画像を選択する。すなわち、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３５において逆直交変換部１１４の出力と加算される。
ステップＳ１４０において、画面並べ替えバッファ１１７は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ１４１において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
［画像復号装置の予測処理の説明］
次に、図１６のフローチャートを参照して、図１５のステップＳ１３８の予測処理を説明する。
イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１１２からイントラ予測モード情報がイントラ予測部１２１に供給されると、イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７２に進む。
イントラ予測部１２１は、ステップＳ１７２において、イントラ予測モード情報を取得し、ステップＳ１７３において、イントラ予測を行う。
すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介してイントラ予測部１２１に供給される。ステップＳ１７３において、イントラ予測部１２１は、ステップＳ１７２で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。
一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７４に進む。
処理対象の画像がインター処理される画像である場合、可逆復号部１１２からインター予測モード情報、参照フレーム情報、動きベクトル情報が動き予測・補償部１２２に供給される。
ステップＳ１７４において、動き予測・補償部１２２は、予測モード情報などを取得する。すなわち、インター予測モード情報、参照フレーム情報、動きベクトル情報、および重み付け予測フラグ情報が取得される。取得された動きベクトル情報およびインター予測モード情報は、予測モード・動きベクトルバッファ１３２に蓄積される。重み付け予測フラグ情報は、スライス毎に重み付け予測フラグバッファ１３１に蓄積される。
ステップＳ１７５において、動き予測・補償部１２２および重み付け予測部１２３は、インター予測処理を行う。このインター予測処理は、図１７を参照して後述する。ステップＳ１７５の処理により、インター予測画像が生成され、スイッチ１２４に出力される。
［画像復号装置のインター予測処理の説明］
次に、図１７のフローチャートを参照して、図１６のステップＳ１７５におけるインター予測処理について、説明する。
重み付け予測フラグバッファ１３１に蓄積された重み付け予測フラグ情報は、動き補償部１３３に供給される。
ステップＳ１９１において、動き補償部１３３は、当該スライスに重み付け予測が適用されるか否かを判定する。ステップＳ１９１において、重み付け予測が適用されないと判定された場合、処理は、ステップＳ１９２に進む。
ステップＳ１９２において、動き補償部１３３は、重み予測を行わない、H．264/AVC方式に基づく、インター予測処理を行う。すなわち、動き補償部１３３は、予測モード・動きベクトルバッファ１３２からの予測モードおよび動きベクトル情報を用いて、フレームメモリ１１９からの参照画像に補償処理を施し、予測画像を生成する。生成した予測画像は、スイッチ１２４に出力される。
ステップＳ１９１において、重み付け予測が適用されると判定された場合、処理は、ステップＳ１９３に進む。
ステップＳ１９３において、重み付け予測フラグバッファ１３１は、重み付け予測フラグ情報を参照し、Explicit Modeであるか否かを判定する。ステップＳ１９３において、Explicit Modeであると判定された場合、処理は、ステップＳ１９４に進む。
この場合、重み付け予測フラグバッファ１３１は、重み・オフセットバッファ１４１に制御信号を供給するので、ステップＳ１９４において、重み・オフセットバッファ１４１は、可逆復号部１１２から供給される重み係数およびオフセット値を取得し、蓄積する。
一方、Explicit Modeではない、すなわち、Implicit Modeであると判定された場合、ステップＳ１９４をスキップし、処理は、ステップＳ１９５に進む。すなわち、この場合、重み係数算出部１４２において、式（１０）により重み係数が算出され、蓄積される。
ステップＳ１９５において、動き補償部１３３は、生成する予測画像（参照画像）のフォーマットがYCbCrフォーマットであるか否かを判定する。ステップＳ１９５において、YCbCrフォーマットであると判定された場合、ステップＳ１９６に進む。
動き補償部１３３は、ステップＳ１９６において、生成する予測画像が輝度成分であるか否かを判定する。ステップＳ１９６において、輝度成分であると判定された場合、動き補償部１３３は、参照画像（輝度成分）を輝度用重み付け動き補償部１４３に出力し、処理は、ステップＳ１９７に進む。
また、ステップＳ１９５において、YCbCrフォーマットではない、すなわち、RGBフォーマットであると判定された場合も、処理は、ステップＳ１９７に進む。つまり、この場合、生成する予測画像が輝度成分であっても色差成分であっても、輝度用重み付け動き補償部１４３に出力され、ステップＳ１９７の処理が行われる。
ステップＳ１９７において、輝度用重み付け動き補償部１４３は、輝度信号用重み付け予測を行う。すなわち、輝度用重み付け動き補償部１４３は、重み・オフセットバッファ１４１または重み係数算出部１４２からの重み係数（およびオフセット値）、すなわち、式（１）または式（２））を用いて、輝度信号または色差信号（RGBの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。すなわち、この場合、H．264/AVC方式に基づく重み付け予測が行われる。生成された予測画像画素値は、動き補償部１３３に出力される。
一方、ステップＳ１９６において、輝度成分ではない、すなわち、色差成分であると判定された場合、処理は、ステップＳ１９８に進む。
ステップＳ１９８において、色差用重み付け動き補償部１４４は、色差信号用重み付け予測を行う。すなわち、色差用重み付け動き補償部１４４は、重み・オフセットバッファ１４１または重み係数算出部１４２からの重み係数（およびオフセット値）、すなわち、式（１３）または式（１４））を用いて、色差信号（YCbCrの場合）に対する重み付け予測処理を行い、予測画像画素値を生成する。生成された予測画像画素値は、動き補償部１３３に出力される。
以上のように、画像符号化装置５１および画像復号装置１０１においては、入力信号がYCbCrフォーマットの場合に、輝度信号と色差信号とで重み予測の方法が切り替えられる。例えば、色差信号の重み付け予測が、式（１３）および式（１４）に示されるように、乗算の際に2n-1を引いて、その後2n-1を足すように行われる。
これにより、色差信号の重み付け予測を、予測効率を低下させることなく実現することが可能となる。
なお、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本発明は、上述した非特許文献２に記載の拡張されたマクロブロックサイズに対しても適用することが可能である。
［拡張マクロブロックサイズへの適用の説明］
図１８は、非特許文献２で提案されているブロックサイズの例を示す図である。非特許文献２では、マクロブロックサイズが３２×３２画素に拡張されている。
図１８の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図１８の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図１８の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
すなわち、３２×３２画素のマクロブロックは、図１８の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
これらのブロックは、以下の３階層に分類することができる。すなわち、図１８の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と呼ぶ。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と呼ぶ。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と呼ぶ。
このような階層構造を採用することにより、非特許文献２の提案では、１６×１６画素のブロック以下に関しては、H．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
以上のように提案される拡張されたマクロブロックサイズへも、本発明を適用することができる。
以上においては、符号化方式としてH．264/AVC方式をベースに用いるようにしたが、本発明はこれに限らず、YCbCrフォーマットの画像信号を入力として、重み付け予測を行う、その他の符号化方式／復号方式にも適用することができる。
なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
［パーソナルコンピュータの構成例］
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した画像符号化装置５１や画像復号装置１０１は、任意の電子機器に適用することができる。以下にその例について説明する。
［テレビジョン受像機の構成例］
図２０は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
図２０に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。
地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。
映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。
グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。
パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。
表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。
また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。
地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。
音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。
エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。
音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。
さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。
デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。
MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。
テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置１０１を用いる。したがって、MPEGデコーダ３１７は、画像復号装置１０１の場合と同様に、色差信号に対する重み付け予測における予測効率を向上させることができる。
MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。
MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。
また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。
A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。
エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。
A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。
音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。
ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。
音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。
エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。
フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。
MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。
受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。
CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。
USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
テレビジョン受像機３００は、MPEGデコーダ３１７として画像復号装置１０１を用いることにより、符号化効率を向上することができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高精細な復号画像を得て、表示することができる。
［携帯電話機の構成例］
図２１は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
図２１に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。
また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。
電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。
携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。
また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。
なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置５１を用いる。したがって、画像エンコーダ４５３は、画像符号化装置５１の場合と同様に、色差信号に対する重み付け予測における予測効率を向上させることができる。
なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。
携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。
携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置１０１を用いる。したがって、画像デコーダ４５６は、画像復号装置１０１の場合と同様に、色差信号に対する重み付け予測における予測効率を向上させることができる。
このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。
携帯電話機４００は、画像エンコーダ４５３として画像符号化装置５１を用いることにより、符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、他の装置に提供することができる。
また、携帯電話機４００は、画像デコーダ４５６として画像復号装置１０１を用いることにより、符号化効率を向上させることができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高精細な復号画像を得て、表示することができる。
なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。
［ハードディスクレコーダの構成例］
図２２は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
図２２に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。
ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。
もちろん、この他の動作も可能である。
図２２に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。
また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。
受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。
通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。
オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。
ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。
ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。
モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。
記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。
レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。
また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。
また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。
さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。
以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして画像復号装置１０１を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、画像復号装置１０１の場合と同様に、色差信号に対する重み付け予測における予測効率を向上させることができる。
したがって、ハードディスクレコーダ５００は、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、モニタ５６０に表示させることができる。
また、ハードディスクレコーダ５００は、エンコーダ５５１として画像符号化装置５１を用いる。したがって、エンコーダ５５１は、画像符号化装置５１の場合と同様に、色差信号に対する重み付け予測における予測効率を向上させることができる。
したがって、ハードディスクレコーダ５００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、ハードディスクの記憶領域をより効率よく使用することができる。
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。
［カメラの構成例］
図２３は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。
図２３に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。
レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。
カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。
以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。
デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。
コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。
さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。
記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。
さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。
以上のようなカメラ６００は、デコーダ６１５として画像復号装置１０１を用いる。したがって、デコーダ６１５は、画像復号装置１０１の場合と同様に、色差信号に対する重み付け予測における予測効率を向上させることができる。
したがって、カメラ６００は、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高精細な復号画像を得て、LCD６１６に表示させることができる。
また、カメラ６００は、エンコーダ６４１として画像符号化装置５１を用いる。したがって、エンコーダ６４１は、画像符号化装置５１の場合と同様に、色差信号に対する重み付け予測における予測効率を向上させることができる。
したがって、カメラ６００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。
なお、コントローラ６２１が行う復号処理に画像復号装置１０１の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に画像符号化装置５１の符号化方法を適用するようにしてもよい。
また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
もちろん、画像符号化装置５１および画像復号装置１０１は、上述した装置以外の装置やシステムにも適用可能である。
５１ 画像符号化装置， ６６ 可逆符号化部， ７４ イントラ予測部， ７５ 動き予測・補償部， ７６ 重み付け予測部， ８１ 動き探索部， ８２ 動き補償部， ８３ コスト関数算出部， ８４ モード判定部， ９１ 色フォーマット識別部， ９２ 重み予測制御部， ９３ 色成分識別部， ９４ 輝度用重み・オフセット算出部， ９５ 色差用重み・オフセット算出部， ９６ 輝度用重み付け動き補償部， ９７ 色差用重み付け動き補償部， １０１ 画像復号装置， １１２ 可逆復号部， １２１ イントラ予測部， １２２ 動き補償部， １２３ 重み付け予測部， １３１ 重み付け予測フラグバッファ， １３２ 予測モード・動きベクトルバッファ， １３３ 動き補償部， １４１ 重み・オフセットバッファ， １４２ 重み係数算出部， １４３ 輝度用重み付け動き補償部， １４４ 色差用重み付け動き補償部

Claims (15)

  1. 画像の符号化対象のブロックの動きベクトルを探索する動き探索手段と、
    前記画像の色フォーマットがYCbCrフォーマットの場合、前記動き探索手段により探索された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う重み付け予測手段と
    を備える画像処理装置。
  2. 前記画像の色フォーマットがYCbCrフォーマットの場合、前記色差成分に対して、重み係数およびオフセットを算出する係数算出手段をさらに備え、
    前記重み付け予測手段は、前記係数算出手段により算出された前記重み係数およびオフセットと、前記参照画像画素値を用いて、前記色差成分に対しては、前記輝度成分に対してとは異なる重み付け予測を行う
    請求項１に記載の画像処理装置。
  3. 前記重み付け予測手段は、前記色差成分に対しては、前記画像の入力ビット精度とピクチャタイプに応じて重み付け予測を行う
    請求項２に記載の画像処理装置。
  4. 前記重み付け予測手段は、Ｐピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0を前記参照画像画素値、W0およびDをそれぞれ重み予測のための重み係数およびオフセットとすると、
    W0 * (Y0 - 2n-1) + D + 2n-1
    のように重み付け予測を行う
    請求項３に記載の画像処理装置。
  5. 前記重み付け予測手段は、Ｂピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0およびY1をそれぞれList0およびList1の前記参照画像画素値、W0、W1、およびDをそれぞれ重み予測のためのList0およびList1に対する重み係数、並びにオフセットとすると、
    W0 * (Y0 - 2n-1) + W1 * (Y1 - 2n-1) D + 2n-1
    のように重み付け予測を行う
    請求項３に記載の画像処理装置。
  6. 前記画像の色フォーマットがRGBフォーマットの場合、前記参照画像画素値を用いて、前記色差成分に対して、前記輝度成分に対するのと同じ重み付け予測を行う
    請求項３に記載の画像処理装置。
  7. 画像処理装置の動き探索手段が、
    画像の符号化対象のブロックの動きベクトルを探索し、
    前記画像処理装置の重み付け予測手段が、
    前記画像の色フォーマットがYCbCrフォーマットの場合、探索された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う
    画像処理方法。
  8. 符号化されている画像の復号対象のブロックの動きベクトルを復号する復号手段と、
    前記画像の色フォーマットがYCbCrフォーマットの場合、前記復号手段により復号された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う重み付け予測手段と
    を備える画像処理装置。
  9. 前記重み付け予測手段は、前記色差成分に対しては、前記画像の入力ビット精度とピクチャタイプに応じて重み付け予測を行う
    請求項８に記載の画像処理装置。
  10. 前記重み付け予測手段は、Ｐピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0を前記参照画像画素値、W0およびDをそれぞれ重み予測のための重み係数およびオフセットとすると、
    W0 * (Y0 - 2n-1) + D + 2n-1
    のように重み付け予測を行う
    請求項９に記載の画像処理装置。
  11. 前記重み付け予測手段は、Ｂピクチャの場合、前記色差成分に対しては、入力がnビットで表わされるビデオであるとして、Y0およびY1をそれぞれList0およびList1の前記参照画像画素値、W0、W1、およびDをそれぞれ重み予測のためのList0およびList1に対する重み係数、並びにオフセットとすると、
    W0 * (Y0 - 2n-1) + W1 * (Y1 - 2n-1) D + 2n-1
    のように重み付け予測を行う
    請求項９に記載の画像処理装置。
  12. 前記画像の色フォーマットがYCbCrフォーマットの場合、前記色差成分に対して、重み係数を算出する係数算出手段をさらに備え、
    前記重み付け予測手段は、前記係数算出手段により算出された前記重み係数と、前記参照画像画素値を用いて、前記色差成分に対しては、前記輝度成分に対してとは異なる重み付け予測を行う
    請求項９に記載の画像処理装置。
  13. 前記画像の色フォーマットがYCbCrフォーマットの場合、前記復号手段は、前記色差成分に対する前記重み係数およびオフセットを復号し、
    前記重み付け予測手段は、前記復号手段により復号された前記重み係数およびオフセットと、前記参照画像画素値を用いて、前記色差成分に対しては、前記輝度成分に対してとは異なる重み付け予測を行う
    請求項９に記載の画像処理装置。
  14. 前記画像の色フォーマットがRGBフォーマットの場合、前記参照画像画素値を用いて、前記色差成分に対して、前記輝度成分に対するのと同じ重み付け予測を行う
    請求項９に記載の画像処理装置。
  15. 画像処理装置の復号手段が、
    符号化されている画像の復号対象のブロックの動きベクトルを復号し、
    前記画像処理装置の重み付け予測手段が、
    前記画像の色フォーマットがYCbCrフォーマットの場合、復号された動きベクトルが指し示す参照画像画素値を用い、色差成分に対しては、輝度成分に対してとは異なる重み付け予測を行う
    画像処理装置。
JP2010012515A 2010-01-22 2010-01-22 画像処理装置および方法 Pending JP2011151683A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010012515A JP2011151683A (ja) 2010-01-22 2010-01-22 画像処理装置および方法
KR20127018240A KR20120123326A (ko) 2010-01-22 2011-01-14 화상 처리 장치 및 방법
US13/521,730 US20120288006A1 (en) 2010-01-22 2011-01-14 Apparatus and method for image processing
PCT/JP2011/050494 WO2011089973A1 (ja) 2010-01-22 2011-01-14 画像処理装置および方法
CN2011800061300A CN102714735A (zh) 2010-01-22 2011-01-14 图像处理设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010012515A JP2011151683A (ja) 2010-01-22 2010-01-22 画像処理装置および方法

Publications (1)

Publication Number Publication Date
JP2011151683A true JP2011151683A (ja) 2011-08-04

Family

ID=44306776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010012515A Pending JP2011151683A (ja) 2010-01-22 2010-01-22 画像処理装置および方法

Country Status (5)

Country Link
US (1) US20120288006A1 (ja)
JP (1) JP2011151683A (ja)
KR (1) KR20120123326A (ja)
CN (1) CN102714735A (ja)
WO (1) WO2011089973A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170052624A (ko) 2014-10-03 2017-05-12 닛본 덴끼 가부시끼가이샤 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
CN110930962A (zh) * 2019-11-26 2020-03-27 山东浪潮人工智能研究院有限公司 一种细微亮度变化放大显示方法及电路

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101418096B1 (ko) * 2012-01-20 2014-07-16 에스케이 텔레콤주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
CN105791957A (zh) * 2013-05-15 2016-07-20 孔涛 使用hevc视频解码的超高清数字电视接收机
CN106027944B (zh) * 2013-05-15 2019-03-05 南京双电科技实业有限公司 超高清数字电视接收机的工作方法
KR101456973B1 (ko) * 2014-01-24 2014-11-07 에스케이텔레콤 주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
EP4297404A3 (en) * 2018-12-21 2024-02-28 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding for deriving affine motion vectors for chroma components
CN111683247A (zh) * 2019-03-11 2020-09-18 上海天荷电子信息有限公司 多权重可减少分量数的分量间自预测数据压缩方法和装置
CN117499625A (zh) 2019-09-01 2024-02-02 北京字节跳动网络技术有限公司 视频编解码中预测权重的对准
CN114556926A (zh) 2019-10-10 2022-05-27 北京字节跳动网络技术有限公司 几何分割模式中的运动矢量处理
CN112203086B (zh) * 2020-09-30 2023-10-17 字节跳动(香港)有限公司 图像处理方法、装置、终端和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004047453A1 (ja) * 2002-11-20 2004-06-03 Matsushita Electric Industrial Co., Ltd. 動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び装置
JP2007081518A (ja) * 2005-09-12 2007-03-29 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
WO2007092215A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08228351A (ja) * 1995-02-20 1996-09-03 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法
JP2007067731A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 符号化方法
US8457200B2 (en) * 2006-07-07 2013-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Video data management
GB2444992A (en) * 2006-12-21 2008-06-25 Tandberg Television Asa Video encoding using picture division and weighting by luminance difference data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004047453A1 (ja) * 2002-11-20 2004-06-03 Matsushita Electric Industrial Co., Ltd. 動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び装置
JP2007081518A (ja) * 2005-09-12 2007-03-29 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
WO2007092215A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170052624A (ko) 2014-10-03 2017-05-12 닛본 덴끼 가부시끼가이샤 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
US11039141B2 (en) 2014-10-03 2021-06-15 Nec Corporation Video coding device, video decoding device, video coding method, video decoding method and program
US11575900B2 (en) 2014-10-03 2023-02-07 Nec Corporation Video coding device, video decoding device, video coding method, video decoding method and program
CN110930962A (zh) * 2019-11-26 2020-03-27 山东浪潮人工智能研究院有限公司 一种细微亮度变化放大显示方法及电路

Also Published As

Publication number Publication date
KR20120123326A (ko) 2012-11-08
US20120288006A1 (en) 2012-11-15
WO2011089973A1 (ja) 2011-07-28
CN102714735A (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
JP5234368B2 (ja) 画像処理装置および方法
JP6057140B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
TWI411310B (zh) Image processing apparatus and method
WO2010101064A1 (ja) 画像処理装置および方法
TWI405469B (zh) Image processing apparatus and method
WO2011089973A1 (ja) 画像処理装置および方法
WO2010095560A1 (ja) 画像処理装置および方法
WO2010035733A1 (ja) 画像処理装置および方法
WO2010035734A1 (ja) 画像処理装置および方法
WO2010035731A1 (ja) 画像処理装置および方法
WO2011089972A1 (ja) 画像処理装置および方法
JP2011041037A (ja) 画像処理装置および方法
WO2011086964A1 (ja) 画像処理装置および方法、並びにプログラム
WO2010035730A1 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
WO2011086963A1 (ja) 画像処理装置および方法
JPWO2010064674A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2010035735A1 (ja) 画像処理装置および方法
JP2014143716A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2012019447A (ja) 画像処理装置および方法
WO2011125625A1 (ja) 画像処理装置および方法
JP6268556B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
JP2013150347A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140204