JP2013126157A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2013126157A
JP2013126157A JP2011274660A JP2011274660A JP2013126157A JP 2013126157 A JP2013126157 A JP 2013126157A JP 2011274660 A JP2011274660 A JP 2011274660A JP 2011274660 A JP2011274660 A JP 2011274660A JP 2013126157 A JP2013126157 A JP 2013126157A
Authority
JP
Japan
Prior art keywords
unit
prediction
information
mostprobablemode
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011274660A
Other languages
English (en)
Inventor
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011274660A priority Critical patent/JP2013126157A/ja
Priority to EP12856645.2A priority patent/EP2793465A4/en
Priority to US14/347,657 priority patent/US20140241428A1/en
Priority to CA 2850349 priority patent/CA2850349A1/en
Priority to AU2012353798A priority patent/AU2012353798A1/en
Priority to RU2014123205/07A priority patent/RU2014123205A/ru
Priority to KR20147012710A priority patent/KR20140110842A/ko
Priority to BR112014013858A priority patent/BR112014013858A2/pt
Priority to PCT/JP2012/076618 priority patent/WO2013088833A1/ja
Priority to CN201280060389.8A priority patent/CN103988507A/zh
Priority to MX2014006764A priority patent/MX2014006764A/es
Priority to TW101142619A priority patent/TW201332365A/zh
Publication of JP2013126157A publication Critical patent/JP2013126157A/ja
Priority to ZA2014/02438A priority patent/ZA201402438B/en
Priority to IN4238CHN2014 priority patent/IN2014CN04238A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】複数ストリームが符号化される画像符号化方式においてイントラ予測のためのパラメータをより効率的に符号化すること。
【解決手段】共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャの符号化ストリームから、前記第１のピクチャ内の第１の予測単位についてのMostProbableMode情報を復号する復号部と、前記復号部により復号される前記MostProbableMode情報を用いて前記第１の予測単位についてイントラ予測を行う第１予測部と、前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記第１予測部により使用される前記MostProbableMode情報を用いてイントラ予測を行う第２予測部と、を備える画像処理装置を提供する。
【選択図】図１４

Description

本開示は、画像処理装置及び画像処理方法に関する。
デジタル画像のデータサイズを圧縮するための画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていた。これに対し、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）では、全ての成分についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣでは、下記非特許文献１に記載されているような角度イントラ予測（Angular Intra Prediction）法が採用される予定である。角度イントラ予測法によれば、例えば８×８画素、１６×１６画素又は３２×３２画素のサイズの輝度の予測単位（ＰＵ：Prediction Unit）について、３３種類の予測方向に対応する予測モードが選択可能である。
MostProbableModeは、イントラ予測の予測モード情報の符号量を低減するために導入される仕組みである。Ｈ．２６４／ＡＶＣでは、左及び上の隣接ブロックの予測モードのうちモード番号の小さい方が、予測対象のブロック（予測単位）のMostProbableModeとして扱われる。これに対し、ＨＥＶＣでは、左及び上の隣接ブロックのうちMostProbableModeとして扱うべき予測モードを有する隣接ブロックの位置を、予測単位ごとにインデックス情報で示すことが提案されている（下記非特許文献２参照）。それにより、MostProbableModeを利用できる予測単位の割合が増加し、符号化効率が向上することが期待される。
一方で、将来の画像符号化方式において重要なもう１つの技術は、スケーラブル符号化（ＳＶＣ（Scalable Video Coding）ともいう）である。スケーラブル符号化とは、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比（雑音比率）が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。
スケーラブル符号化において符号化される複数のレイヤは、一般的には、共通するシーンを映している。共通するシーンについて複数のストリームが符号化される点は、スケーラブル符号化だけでなく、立体視画像のためのマルチビュー符号化、及びインターレース符号化においても同様である。
Kemal Ugur， et al., "Description of video coding technology proposal by Tandberg, Nokia, Ericsson", JCTVC-A119，2010年4月 Mei Guo, Xun Guo, Shawmin Lei，"Improved Intra Mode Coding"，JCTVC-D166，2011年1月
しかしながら、スケーラブル符号化においてレイヤごとに別々にパラメータを符号化することは、符号化効率の観点で最適ではない。下位レイヤのパラメータを上位レイヤで再利用できれば、上位レイヤのための符号量を削減し、符号化効率を高めることができる。マルチビュー符号化及びインターレース符号化においても同様である。
従って、複数ストリームが符号化される画像符号化方式においてイントラ予測のためのパラメータをより効率的に符号化できる仕組みが提供されることが望ましい。
本開示によれば、共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャの符号化ストリームから、前記第１のピクチャ内の第１の予測単位についてのMostProbableMode情報を復号する復号部と、前記復号部により復号される前記MostProbableMode情報を用いて前記第１の予測単位についてイントラ予測を行う第１予測部と、前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記第１予測部により使用される前記MostProbableMode情報を用いてイントラ予測を行う第２予測部と、を備える画像処理装置が提供される。
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
また、本開示によれば、共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャの符号化ストリームから、前記第１のピクチャ内の第１の予測単位についてのMostProbableMode情報を復号することと、復号された前記MostProbableMode情報を用いて前記第１の予測単位についてイントラ予測を行うことと、前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いてイントラ予測を行うことと、を含む画像処理方法が提供される。
また、本開示によれば、共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャ内の第１の予測単位についてMostProbableModeが有効かを判定する第１判定部と、前記第１判定部による判定結果に応じて、前記第１の予測単位についてのMostProbableMode情報を前記第１のピクチャの符号化ストリーム内に符号化する第１符号化部と、前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いて特定される参照予測モードがMostProbableModeとして有効かを判定する第２判定部と、を備える画像処理装置が提供される。
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
また、本開示によれば、共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャ内の第１の予測単位についてMostProbableModeが有効かを判定することと、前記判定の結果に応じて、前記第１の予測単位についてのMostProbableMode情報を前記第１のピクチャの符号化ストリーム内に符号化することと、前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いて特定される参照予測モードがMostProbableModeとして有効かを判定することと、を含む画像処理方法が提供される。
本開示に係る技術によれば、複数ストリームが符号化される画像符号化方式においてイントラ予測のためのパラメータをより効率的に符号化することができる。
スケーラブル符号化について説明するための説明図である。 一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。 一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。 図２に示した第１ピクチャ符号化部の構成の一例を示すブロック図である。 図２に示した第２ピクチャ符号化部の構成の一例を示すブロック図である。 図４Ａ及び図４Ｂに示したイントラ予測部の詳細な構成の一例を示すブロック図である。 ＨＥＶＣの角度イントラ予測法において選択可能な予測方向の候補について説明するための説明図である。 ＨＥＶＣの角度イントラ予測法における参照画素値の計算について説明するための説明図である。 一実施形態において符号化され得るMostProbableMode情報の第１の例について説明するための説明図である。 一実施形態において符号化され得るMostProbableMode情報の第２の例について説明するための説明図である。 一実施形態において符号化され得るMostProbableMode情報の第３の例について説明するための説明図である。 一実施形態に係る符号化時のイントラ予測処理の流れの第１の例を示すフローチャートである。 一実施形態に係る符号化時のイントラ予測処理の流れの第２の例を示すフローチャートである。 図３に示した第１ピクチャ復号部の構成の一例を示すブロック図である。 図３に示した第２ピクチャ復号部の構成の一例を示すブロック図である。 図１３Ａ及び図１３Ｂに示したイントラ予測部の詳細な構成の一例を示すブロック図である。 一実施形態に係る復号時のイントラ予測処理の流れの第１の例を示すフローチャートである。 一実施形態に係る復号時のイントラ予測処理の流れの第２の例を示すフローチャートである。 一実施形態に係る画像符号化処理のマルチビュー符号化への適用について説明するための説明図である。 一実施形態に係る画像復号処理のマルチビュー符号化への適用について説明するための説明図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る符号化部の構成例
３．一実施形態に係る符号化時の処理の流れ
４．一実施形態に係る復号部の構成例
５．一実施形態に係る復号時の処理の流れ
６．様々な画像符号化方式への適用
７．応用例
８．まとめ
＜１．概要＞
本節では、スケーラブル符号化への適用を例にとって、一実施形態に係る画像符号化装置及び画像復号装置の概要を説明する。なお、本明細書で説明するこれら装置の構成は、マルチビュー符号化及びインターレース符号化にも同等に適用可能である。
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。本明細書では、依存関係を有する少なくとも２つのレイヤのうち、依存される側のレイヤを下位レイヤ（lower layer）、依存する側のレイヤを上位レイヤ（upper layer）という。
図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。なお、ここでは、様々な種類のスケーラビリティのうち、空間スケーラビリティを例にとっている。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。レイヤＬ１のブロックＢ１は、ベースレイヤのピクチャ内の予測単位である。レイヤＬ１のブロックＮ１Ｕ及びＮ１Ｌは、それぞれ、ブロックＢ１の上及び左の隣接ブロックである。レイヤＬ２のブロックＢ２は、ブロックＢ１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の予測単位である。ブロックＢ２は、レイヤＬ１のブロックＢ１に対応する。レイヤＬ２のブロックＮ２Ｕ及びＮ２Ｌは、それぞれ、ブロックＢ２の上及び左の隣接ブロックである。レイヤＬ３のブロックＢ３は、ブロックＢ１及びＢ２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の予測単位である。ブロックＢ３は、レイヤＬ１のブロックＢ１及びレイヤＬ２のブロックＢ２に対応する。レイヤＬ３のブロックＮ３Ｕ及びＮ３Ｌは、それぞれ、ブロックＢ３の上及び左の隣接ブロックである。
このようなレイヤ構造において、あるレイヤのピクチャ内の画像の空間的相関は、通常、共通するシーンに関連付けられる他のレイヤのピクチャ内の画像の空間的相関と類似する。例えば、レイヤＬ１においてブロックＢ１と隣接ブロックＮ１Ｌとの間の相関が強い場合、レイヤＬ２においてブロックＢ２と隣接ブロックＮ２Ｌとの間の相関が強く、レイヤＬ３においてブロックＢ３と隣接ブロックＮ３Ｌとの間の相関が強いことが予測される。従って、画像の空間的相関に依存して決まるパラメータであるMostProbableMode情報をレイヤ間で再利用すれば、符号量を効果的に削減することができるであろう。レイヤ間で画像の空間的相関が類似する点は、ＳＮＲスケーラビリティ及びビット深度スケーラビリティにおいても同様である。
なお、あるレイヤのブロックに対応する他のレイヤのブロックとは、例えば、あるレイヤのブロック内の所定の位置（例えば、左上）の画素に対応する画素を有する、他のレイヤのブロックをいう。このような定義により、例えば下位レイヤの複数のブロックを統合するような上位レイヤのブロックが存在したとしても、上位レイヤのブロックに対応する下位レイヤのブロックを一意に決定することができる。
図２は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図２を参照すると、画像符号化装置１０は、第１ピクチャ符号化部１ａ、第２ピクチャ符号化部１ｂ、レイヤ間バッファ２及び多重化部３を備える。
第１ピクチャ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。第２ピクチャ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。レイヤ間バッファ２は、レイヤ間で再利用されるパラメータを一時的に記憶する。多重化部３は、第１ピクチャ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、第２ピクチャ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
図３は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図３を参照すると、画像復号装置６０は、逆多重化部５、第１ピクチャ復号部６ａ、第２ピクチャ復号部６ｂ及びレイヤ間バッファ７を備える。
逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。第１ピクチャ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。第２ピクチャ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。レイヤ間バッファ７は、レイヤ間で再利用されるパラメータを一時的に記憶する。
図２に例示した画像符号化装置１０において、ベースレイヤの符号化のための第１ピクチャ符号化部１ａの構成と、エンハンスメントレイヤの符号化のための第２ピクチャ符号化部１ｂの構成とは、互いに類似する。それら構成の間の相違点の１つは、イントラ予測に関し、第２ピクチャ符号化部１ｂが、第１ピクチャ符号化部１ａによるベースレイヤの符号化処理の結果を利用して、エンハンスメントレイヤの符号化処理を行う点である。そこで、次節では、第１ピクチャ符号化部１ａ及び第２ピクチャ符号化部１ｂの構成の共通部分について説明した後、特にイントラ予測に焦点を当ててそれら構成の間の関係性について詳細に説明する。
同様に、図３に例示した画像復号装置６０において、ベースレイヤの復号のための第１ピクチャ復号部６ａの構成と、エンハンスメントレイヤの復号のための第２ピクチャ復号部６ｂの構成とは、互いに類似する。それら構成の間の相違点の１つは、イントラ予測に関し、第２ピクチャ復号部６ｂが、第１ピクチャ復号部６ａによるベースレイヤの復号処理の結果を利用して、エンハンスメントレイヤの復号処理を行う点である。そこで、さらに次の節では、第１ピクチャ復号部６ａ及び第２ピクチャ復号部６ｂの構成の共通部分について説明した後、特にイントラ予測に焦点を当ててそれら構成の間の関係性について詳細に説明する。
＜２．一実施形態に係る符号化部の構成例＞
［２−１．全体的な構成例］
図４Ａは、図２に示した第１ピクチャ符号化部１ａの構成の一例を示すブロック図である。図４Ａを参照すると、第１ピクチャ符号化部１ａは、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６ａ、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０ａを備える。
並び替えバッファ１２は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０ａへ出力する。
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０ａから入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６ａ及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６ａに入力される量子化データのビットレートを変化させる。
可逆符号化部１６ａは、量子化部１５から入力されるベースレイヤの量子化データについて可逆符号化処理を行うことにより、ベースレイヤの符号化ストリームを生成する。可逆符号化部１６ａによる可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６ａは、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６ａは、生成した符号化ストリームを蓄積バッファ１７へ出力する。
可逆符号化部１６ａにより符号化されるイントラ予測に関する情報は、例えば、ベースレイヤの予測モード情報及びMostProbableMode情報を含み得る。これら情報について、後にさらに説明する。
蓄積バッファ１７は、可逆符号化部１６ａから入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０ａから入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０ａに供給する。
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６ａへ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０ａから出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６ａへ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０ａから出力されるコスト関数値の大きさに応じて切り替える。
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
イントラ予測部４０ａは、並び替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、ベースレイヤの画像内に設定される予測単位ごとにイントラ予測処理を行う。そして、イントラ予測部４０ａは、イントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
第１ピクチャ符号化部１ａは、ここで説明した一連の符号化処理を、ベースレイヤの一連の画像データについて実行する。イントラ予測部４０ａは、予測単位ごとに決定されるMostProbableMode情報を、レイヤ間バッファ２を用いてバッファリングする。バッファリングされるMostProbableMode情報は、次に説明する第２ピクチャ符号化部１ｂにより利用される。
図４Ｂは、図２に示した第２ピクチャ符号化部１ｂの構成の一例を示すブロック図である。図４Ｂを参照すると、第２ピクチャ符号化部１ｂは、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６ｂ、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０ｂを備える。
可逆符号化部１６ｂは、量子化部１５から入力されるエンハンスメントレイヤの量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。可逆符号化部１６ｂによる可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６ｂは、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６ｂは、生成した符号化ストリームを蓄積バッファ１７へ出力する。
可逆符号化部１６ｂにより符号化されるイントラ予測に関する情報は、例えば、エンハンスメントレイヤの予測モード情報及びMostProbableMode情報を含み得る。但し、下位レイヤのMostProbableMode情報が再利用される予測単位については、可逆符号化部１６ｂは、上位レイヤのMostProbableMode情報の符号化を（少なくとも部分的に）省略し得る。MostProbableMode情報の符号化の省略について、後にさらに説明する。
イントラ予測部４０ｂは、並び替えバッファ１２から入力される原画像データ、フレームメモリ２５から供給される参照画像データ及びレイヤ間バッファ２により記憶されている下位レイヤのMostProbableMode情報を用いて、エンハンスメントレイヤの画像内に設定される予測単位ごとにイントラ予測処理を行う。そして、イントラ予測部４０ａは、イントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
エンハンスメントレイヤが複数存在する場合には、第２ピクチャ符号化部１ｂは、このような一連の符号化処理を、エンハンスメントレイヤの各々について実行する。イントラ予測部４０ｂは、予測単位ごとに決定されるMostProbableMode情報を、さらなる上位レイヤでの処理のために、レイヤ間バッファ２を用いてバッファリングしてもよい。
［２−２．イントラ予測部の構成例］
図５は、図４Ａに示したイントラ予測部４０ａ及び図４Ｂに示したイントラ予測部４０ｂの詳細な構成の一例を示すブロック図である。図５を参照すると、イントラ予測部４０ａは、予測制御部４１ａ、予測部４２ａ、判定部４３ａ、モードバッファ４４ａ及びパラメータ生成部４５ａを有する。イントラ予測部４０ｂは、予測制御部４１ｂ、予測部４２ｂ、判定部４３ｂ、モードバッファ４４ｂ及びパラメータ生成部４５ｂを有する。
予測制御部４１ａは、イントラ予測部４０ａによるベースレイヤのイントラ予測処理を制御する。より具体的には、予測制御部４１ａは、複数の予測モードの候補の各々を予測単位に順次設定する。予測部４２ａは、予測制御部４１ａにより設定される予測モードの候補に従い、フレームメモリ２５から入力される参照画像データを用いて、各予測単位の予測画像を生成する。判定部４３ａは、並び替えバッファ１２から入力される原画像データと予測部４２ａから入力される予測画像データとに基づいて、予測モードの各候補についてコスト関数値を算出する。そして、判定部４３ａは、算出したコスト関数値に基づき、最適な予測モードを判定する。モードバッファ４４ａは、最適な予測モードを表す予測モード情報を一時的に記憶する。また、判定部４３ａは、モードバッファ４４ａにより記憶される隣接ブロックの予測モード情報を参照し、ベースレイヤの画像内の各予測単位について、MostProbableModeが有効かを判定する。パラメータ生成部４５ａは、判定部４３ａによる判定結果に応じて、予測モード情報及びMostProbableMode情報を生成する。そして、判定部４３ａは、パラメータ生成部４５ａにより生成された予測モード情報及びMostProbableMode情報を含むイントラ予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。また、パラメータ生成部４５ａは、MostProbableMode情報をレイヤ間バッファ２へ出力する。
予測制御部４１ｂは、イントラ予測部４０ｂによるエンハンスメントレイヤのイントラ予測処理を制御する。より具体的には、予測制御部４１ｂは、複数の予測モードの候補の各々を予測単位に順次設定する。予測部４２ｂは、予測制御部４１ｂにより設定される予測モードの候補に従い、フレームメモリ２５から入力される参照画像データを用いて、各予測単位の予測画像を生成する。判定部４３ｂは、並び替えバッファ１２から入力される原画像データと予測部４２ｂから入力される予測画像データとに基づいて、予測モードの各候補についてコスト関数値を算出する。そして、判定部４３ｂは、算出したコスト関数値に基づき、最適な予測モードを判定する。モードバッファ４４ｂは、最適な予測モードを表す予測モード情報を一時的に記憶する。また、判定部４３ｂは、モードバッファ４４ｂにより記憶される隣接ブロックの予測モード情報を参照し、エンハンスメントレイヤの画像内の各予測単位について、MostProbableModeが有効かを判定する。パラメータ生成部４５ｂは、判定部４３ｂによる判定結果に応じて、予測モード情報及びMostProbableMode情報を生成する。但し、下位レイヤのMostProbableMode情報が再利用される予測単位については、パラメータ生成部４５ｂは、上位レイヤのMostProbableMode情報の生成を省略し得る。そして、判定部４３ｂは、パラメータ生成部４５ｂにより生成された予測モード情報及びMostProbableMode情報を含むイントラ予測に関する情報、コスト関数値及び予測画像データをセレクタ２７へ出力する。パラメータ生成部４５ｂは、さらなる上位レイヤが存在する場合には、MostProbableMode情報をレイヤ間バッファ２へ出力してもよい。
図６は、イントラ予測部４０ａ及びイントラ予測部４０ｂにおいて、角度イントラ予測法が用いられる場合に選択可能な予測方向の候補について説明するための説明図である。図６に示した画素Ｐ１は、予測対象画素である。画素Ｐ１が属する予測単位の周囲の網掛けされた画素は、隣接ブロックの参照画素である。ブロックサイズが４×４画素である場合には、図中で実線（太線及び細線の双方）で示された、参照画素と予測対象画素とを結ぶ１７種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。ブロックサイズが８×８画素、１６×１６画素又は３２×３２画素である場合には、図中で点線並びに実線（太線及び細線の双方）で示された３３種類の予測方向（に対応する予測モード）が、（ＤＣ予測及び平面予測に加えて）選択可能である。ブロックサイズが６４×６４画素である場合には、図中で太線で示された２種類の予測方向（に対応する予測モード）が、（ＤＣ予測に加えて）選択可能である。
なお、上述した角度イントラ予測法では、予測方向の角度の分解能が高く、例えば８×８画素の場合の隣り合う予測方向の間の角度の差は、１８０度／３２＝５．６２５度である。従って、予測部４２ａは、図７に示すような１／８画素精度の参照画素値をまず計算し、計算した参照画素値を用いて、予測モードの各候補に従って予測画素値を計算する。
図８〜図１０は、本実施形態において符号化され得るMostProbableMode情報の例をそれぞれ示している。
（１）第１の例
図８の左には、下位レイヤ（例えばベースレイヤ）の予測対象ブロックＢａ、予測対象ブロックＢａの上の隣接ブロックＮａＵ及び左の隣接ブロックＮａＬが示されている。予測対象ブロックＢａの最適な予測モードは、予測モードＭａである。隣接ブロックＮａＵの参照予測モードは、予測モードＲＭａＵである。隣接ブロックＮａＬの参照予測モードは、予測モードＲＭａＬである。第１の例において、予測モードＭａ及び参照予測モードＲＭａＬの予測方向は互いに等しい。この場合、予測対象ブロックＢａのMostProbableMode情報は、ＭＰＭインデックス＝“左”、ＭＰＭフラグ＝“True”を示し得る。ＭＰＭフラグは、予測対象ブロックについてMostProbableModeが有効か否かを示すフラグである。ＭＰＭインデックスは、MostProbableModeが有効である場合に、有効なMostProbableModeを参照予測モードとして有する隣接ブロックの位置を識別するインデックス情報である。第１の例では、ＭＰＭインデックスは、左及び上の隣接ブロック候補のうちのいずれかを識別する、２値の情報であってよい。
図８の右には、上位レイヤ（エンハンスメントレイヤ）の予測対象ブロックＢｂ、予測対象ブロックＢｂの上の隣接ブロックＮｂＵ及び左の隣接ブロックＮｂＬが示されている。予測対象ブロックＢｂは、下位レイヤの予測対象ブロックＢａに対応する上位レイヤのブロックである。予測対象ブロックＢｂの最適な予測モードは、予測モードＭｂである。隣接ブロックＮｂＵの参照予測モードは、予測モードＲＭｂＵである。隣接ブロックＮｂＬの参照予測モードは、予測モードＲＭｂＬである。予測モードＭｂ及び参照予測モードＲＭｂＬの予測方向は互いに等しい。この場合、MostProbableMode情報は、ＭＰＭフラグ＝“True”のみを示し得る。ＭＰＭインデックスは、下位レイヤから再利用されるため、上位レイヤにおいては生成されず、上位レイヤの符号化ストリーム内に符号化されない。即ち、イントラ予測部４０ｂの判定部４３ｂは、（例えばイントラ予測部４０ａのパラメータ生成部４５ａにより生成され、可逆符号化部１６ａにより符号化される）予測対象ブロックＢａについてのＭＰＭインデックスにより示される位置（図８の例では左）の隣接ブロックの参照予測モードを、予測対象ブロックＢｂについてのMostProbableModeとして扱う。
（２）第２の例
図９の左には、下位レイヤ（例えばベースレイヤ）の予測対象ブロックＢａ、並びに予測対象ブロックＢａの上、右上、左上及び左下の隣接ブロックＮａＵ、ＮａＵＲ、ＮａＬＴ、ＮａＬＢが示されている。予測対象ブロックＢａの最適な予測モードは、予測モードＭａである。隣接ブロックＮａＵの参照予測モードは、予測モードＲＭａＵである。隣接ブロックＮａＵＲの参照予測モードは、予測モードＲＭａＵＲである。隣接ブロックＮａＬＴの参照予測モードは、予測モードＲＭａＬＴである。隣接ブロックＮａＬＢの参照予測モードは、予測モードＲＭａＬＢである。第２の例において、予測モードＭａ及び参照予測モードＲＭａＬＴの予測方向は互いに等しい。この場合、予測対象ブロックＢａのMostProbableMode情報は、ＭＰＭインデックス＝“左上”、ＭＰＭフラグ＝“True”を示し得る。第２の例では、ＭＰＭインデックスは、４つの隣接ブロック候補のうちのいずれかを識別する情報であってよい。
図９の右には、上位レイヤ（エンハンスメントレイヤ）の予測対象ブロックＢｂ、及び予測対象ブロックＢｂの左上の隣接ブロックＮｂＬＴが示されている。予測対象ブロックＢｂは、下位レイヤの予測対象ブロックＢａに対応する上位レイヤのブロックである。予測対象ブロックＢｂの最適な予測モードは、予測モードＭｂである。隣接ブロックＮｂＬＴの参照予測モードは、予測モードＲＭｂＬＴである。予測モードＭｂ及び参照予測モードＲＭｂＬＴの予測方向は互いに等しい。この場合、MostProbableMode情報は、ＭＰＭフラグ＝“True”のみを示し得る。ＭＰＭインデックスは、下位レイヤから再利用されるため、上位レイヤにおいては生成されず、上位レイヤの符号化ストリーム内に符号化されない。即ち、イントラ予測部４０ｂの判定部４３ｂは、（例えばイントラ予測部４０ａのパラメータ生成部４５ａにより生成され、可逆符号化部１６ａにより符号化される）予測対象ブロックＢａについてのＭＰＭインデックスにより示される位置（図９の例では左上）の隣接ブロックの参照予測モードを、予測対象ブロックＢｂについてのMostProbableModeとして扱う。
（３）第３の例
図１０の左には、下位レイヤ（例えばベースレイヤ）の予測対象ブロックＢａ、予測対象ブロックＢａの上の隣接ブロックＮａＵ及び左の隣接ブロックＮａＬが示されている。予測対象ブロックＢａの最適な予測モードは、予測モードＭａである。隣接ブロックＮａＵの参照予測モードは、予測モードＲＭａＵである。隣接ブロックＮａＬの参照予測モードは、予測モードＲＭａＬである。第３の例において、予測モードＭａ及び参照予測モードＲＭａＬの予測方向は互いに等しい。この場合、予測対象ブロックＢａのMostProbableMode情報は、ＭＰＭインデックス＝“左”、ＭＰＭフラグ＝“True”を示し得る。
図１０の右には、上位レイヤ（エンハンスメントレイヤ）の予測対象ブロックＢｂ、予測対象ブロックＢｂの上の隣接ブロックＮｂＵ及び左の隣接ブロックＮｂＬが示されている。予測対象ブロックＢｂは、下位レイヤの予測対象ブロックＢａに対応する上位レイヤのブロックである。予測対象ブロックＢｂの最適な予測モードは、予測モードＭｂである。隣接ブロックＮｂＵの参照予測モードは、予測モードＲＭｂＵである。隣接ブロックＮｂＬの参照予測モードは、予測モードＲＭｂＬである。第３の例において、予測モードＭｂの予測方向は、参照予測モードＲＭｂＬではなく参照予測モードＲＭｂＵの予測方向と等しい。この場合、MostProbableMode情報は、上位レイヤにおいても、ＭＰＭフラグ＝“True”だけでなく、ＭＰＭインデックス＝“上”を示し得る。パラメータ生成部４５ａは、さらに追加的なパラメータとして再利用フラグ＝“False”を生成する。
即ち、第３の例においては、符号化パラメータとして再利用フラグが導入され、当該再利用フラグによって、下位レイヤのMostProbableMode情報を再利用すべきか否かが示される。そして、再利用フラグが下位レイヤのMostProbableMode情報を再利用すべきことを示す場合には、上位レイヤにおいてＭＰＭインデックスは符号化されない。一方、再利用フラグが下位レイヤのMostProbableMode情報を再利用すべきことを示さない場合には、上位レイヤにおいてもＭＰＭインデックスが生成され、生成されたＭＰＭインデックスが（再利用フラグ及びＭＰＭフラグと共に）可逆符号化部１６ｂにより符号化される。
なお、第１〜第３の例を通じて、予測対象ブロックの最適な予測モードがいずれの隣接ブロックの参照予測モードとも異なる場合には、ＭＰＭフラグが“False”を示し、当該予測対象ブロックについて予測モード情報が生成され、符号化される。また、再利用フラグが導入されない場合において、図１０の例のように予測対象ブロックの最適な予測モードが下位レイヤのMostProbableMode情報により識別される位置の隣接ブロックの参照予測モードと等しくないときにも、ＭＰＭフラグが“False”を示し、当該予測対象ブロックについて予測モード情報が符号化されてよい。
＜３．一実施形態に係る符号化時の処理の流れ＞
図１１及び図１２は、本実施形態に係る符号化時のイントラ予測処理の流れの例をそれぞれ示している。図１１に示す第１の例では、図１０を用いて説明したような再利用フラグは導入されない。図１２に示す第２の例では、再利用フラグが導入される。
（１）第１の例
図１１を参照すると、まず、イントラ予測部４０ａは、ベースレイヤのイントラ予測処理を行う（ステップＳ１００）。その結果、ベースレイヤのピクチャ内の予測単位の配置が決定され、各予測単位について最適な予測モードが決定される。イントラ予測部４０ａにおいて生成される予測モード情報及びMostProbableMode情報は、可逆符号化部１６ａによりベースレイヤの符号化ストリーム内に符号化される。レイヤ間バッファ２は、各予測単位について生成されるMostProbableMode情報をバッファリングする。
ステップＳ１１０〜Ｓ１８０の処理は、エンハンスメントレイヤのイントラ予測処理である。これら処理のうちステップＳ１１０〜Ｓ１６５の処理は、各エンハンスメントレイヤの各予測単位を予測対象ブロックとして繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、予測部４２ｂにより複数の予測モードの候補に従って予測対象ブロックの予測画像が生成されると、判定部４３ｂは、原画像と予測画像との差分に応じたコスト関数値を算出し、算出したコスト関数値に基づいて最適な予測モードＭｂを判定する（ステップＳ１１０）。
次に、判定部４３ｂは、判定された最適な予測モードＭｂが下位レイヤのMostProbableMode情報に含まれるＭＰＭインデックスにより識別される位置の隣接ブロックの参照予測モードと等しいか否かを判定する（ステップＳ１３０）。ここで、予測モードＭｂが当該隣接ブロックの参照予測モードと異なる場合には、処理はステップＳ１４０へ進む。一方、予測モードＭｂが当該隣接ブロックの参照予測モードと等しい場合には、処理はステップＳ１６５へ進む。
ステップＳ１４０では、パラメータ生成部４５ｂは、予測対象ブロックについてのMostProbableMode情報として、ＭＰＭフラグ＝“False”を生成する（ステップＳ１４０）。次に、パラメータ生成部４５ｂは、最適な予測モードＭｂを示す予測モード情報を生成する（ステップＳ１４０）。
一方、ステップＳ１６５では、パラメータ生成部４５ｂは、予測対象ブロックについてのMostProbableMode情報として、ＭＰＭフラグ＝“True”を生成する（ステップＳ１６５）。パラメータ生成部４５ｂは、上位レイヤの予測対象ブロックについてのMostProbableMode情報として、ＭＰＭインデックスを生成しない。
その後、予測対象のレイヤ内に未処理の予測単位が残っている場合には、処理はステップＳ１１０に戻る（ステップＳ１８０）。一方、未処理の予測単位が残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ１９０）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ１１０以降の処理が繰り返される。MostProbableMode情報は、レイヤ間バッファ２によりバッファリングされる。残りのレイヤが存在しない場合には、図１１のイントラ予測処理は終了する。なお、ここで生成される上位レイヤの予測モード情報及びMostProbableMode情報は、可逆符号化部１６ｂにより上位レイヤの符号化ストリーム内に符号化される。
（２）第２の例
図１２を参照すると、まず、イントラ予測部４０ａは、ベースレイヤのイントラ予測処理を行う（ステップＳ１００）。その結果、ベースレイヤのピクチャ内の予測単位の配置が決定され、各予測単位について最適な予測モードが決定される。イントラ予測部４０ａにおいて生成される予測モード情報及びMostProbableMode情報は、可逆符号化部１６ａによりベースレイヤの符号化ストリーム内に符号化される。レイヤ間バッファ２は、各予測単位について生成されるMostProbableMode情報をバッファリングする。
ステップＳ１１０〜Ｓ１８０の処理は、エンハンスメントレイヤのイントラ予測処理である。これら処理のうちステップＳ１１０〜Ｓ１７０の処理は、各エンハンスメントレイヤの各予測単位を予測対象ブロックとして繰り返される。
まず、予測部４２ｂにより複数の予測モードの候補に従って予測対象ブロックの予測画像が生成されると、判定部４３ｂは、原画像と予測画像との差分に応じたコスト関数値を算出し、算出したコスト関数値に基づいて最適な予測モードＭｂを判定する（ステップＳ１１０）。
次に、判定部４３ｂは、判定された最適な予測モードＭｂがいずれかの隣接ブロックの参照予測モードと等しいか否かを判定する（ステップＳ１２０）。ここで、予測モードＭｂがいずれの隣接ブロックの参照予測モードとも等しくない場合には、処理はステップＳ１４０へ進む。一方、予測モードＭｂがいずれかの隣接ブロックの参照予測モードと等しい場合には、処理はステップＳ１３０へ進む。
ステップＳ１３０では、判定部４３ｂは、予測モードＭｂが下位レイヤのMostProbableMode情報に含まれるＭＰＭインデックスにより識別される位置の隣接ブロックの参照予測モードと等しいか否かを判定する（ステップＳ１３０）。ここで、予測モードＭｂが当該隣接ブロックの参照予測モードと異なる場合には、処理はステップＳ１６０へ進む。一方、予測モードＭｂが当該隣接ブロックの参照予測モードと等しい場合には、処理はステップＳ１７０へ進む。
ステップＳ１４０では、パラメータ生成部４５ｂは、予測対象ブロックについてのMostProbableMode情報として、ＭＰＭフラグ＝“False”を生成する（ステップＳ１４０）。次に、パラメータ生成部４５ｂは、最適な予測モードＭｂを示す予測モード情報を生成する（ステップＳ１４０）。
ステップＳ１６０では、パラメータ生成部４５ｂは、予測対象ブロックについてのMostProbableMode情報として、ＭＰＭフラグ＝“True”、再利用フラグ＝“False”及びＭＰＭインデックスを生成する（ステップＳ１６０）。ここで生成されるＭＰＭインデックスは、予測モードＭｂと等しい参照予測モードを有する隣接ブロックの位置を示す。
ステップＳ１７０では、パラメータ生成部４５ｂは、予測対象ブロックについてのMostProbableMode情報として、ＭＰＭフラグ＝“True”及び再利用フラグ＝“True”を生成する（ステップＳ１７０）。この場合、パラメータ生成部４５ｂは、上位レイヤの予測対象ブロックについてのMostProbableMode情報として、ＭＰＭインデックスを生成しない。
その後、予測対象のレイヤ内に未処理の予測単位が残っている場合には、処理はステップＳ１１０に戻る（ステップＳ１８０）。一方、未処理の予測単位が残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ１９０）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ１１０以降の処理が繰り返される。MostProbableMode情報は、レイヤ間バッファ２によりバッファリングされる。残りのレイヤが存在しない場合には、図１２のイントラ予測処理は終了する。なお、ここで生成される上位レイヤの予測モード情報及びMostProbableMode情報は、可逆符号化部１６ｂにより上位レイヤの符号化ストリーム内に符号化される。
＜４．一実施形態に係る復号部の構成例＞
［４−１．全体的な構成例］
図１３Ａは、図３に示した第１ピクチャ復号部６ａの構成の一例を示すブロック図である。図１３Ａを参照すると、第１ピクチャ復号部６ａは、蓄積バッファ６１、可逆復号部６２ａ、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０ａを備える。
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
可逆復号部６２ａは、蓄積バッファ６１から入力されるベースレイヤの符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２ａは、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６２ａにより復号される情報は、例えば、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。イントラ予測に関する情報は、ベースレイヤのピクチャ内の予測単位についての予測モード情報及びMostProbableMode情報を含む。可逆復号部６２ａは、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２ａは、イントラ予測に関する情報をイントラ予測部９０ａへ出力する。
逆量子化部６３は、可逆復号部６２ａによる復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ７０は、可逆復号部６２ａにより取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０ａとの間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０ａへ出力する。
セレクタ７１は、可逆復号部６２ａにより取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０ａとの間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０ａから出力される予測画像データを加算部６５へ供給する。
動き補償部８０は、可逆復号部６２ａから入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
イントラ予測部９０ａは、可逆復号部６２ａから入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてベースレイヤのイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０ａは、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０ａによるイントラ予測処理について、後にさらに説明する。
第１ピクチャ復号部６ａは、ここで説明した一連の復号処理を、ベースレイヤの一連の画像データについて実行する。イントラ予測部９０ａは、予測単位ごとに復号されるMostProbableMode情報を、レイヤ間バッファ７を用いてバッファリングする。バッファリングされるMostProbableMode情報は、次に説明する第２ピクチャ復号部６ｂにより利用される。
図１３Ｂは、図３に示した第２ピクチャ復号部６ｂの構成の一例を示すブロック図である。図１３Ｂを参照すると、第２ピクチャ復号部６ｂは、蓄積バッファ６１、可逆復号部６２ｂ、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０ｂを備える。
可逆復号部６２ｂは、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２ｂは、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６２ｂにより復号される情報は、例えば、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。イントラ予測に関する情報は、エンハンスメントレイヤのピクチャ内の予測単位についての予測モード情報及びMostProbableMode情報を含み得る。可逆復号部６２ｂは、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２ｂ、イントラ予測に関する情報をイントラ予測部９０ｂへ出力する。
なお、図８〜図１０を用いて説明したように、下位レイヤのMostProbableMode情報が再利用される予測単位については、上位レイヤのMostProbableMode情報の符号化は、エンコーダ側で部分的に省略され得る。その場合、可逆符号化部１６ｂは、省略されたMostProbableMode情報を復号しない。
イントラ予測部９０ｂは、可逆復号部６２ｂから入力されるイントラ予測に関する情報、フレームメモリ６９からの参照画像データ及びレイヤ間バッファ７により記憶されている下位レイヤのMostProbableMode情報を用いて、エンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０ｂは、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０ｂによるイントラ予測処理について、後にさらに説明する。
エンハンスメントレイヤが複数存在する場合には、第２ピクチャ復号部６ｂは、このような一連の復号処理を、エンハンスメントレイヤの各々について実行する。イントラ予測部９０ｂは、予測単位ごとに決定されるMostProbableMode情報を、さらなる上位レイヤでの処理のために、レイヤ間バッファ７を用いてバッファリングしてもよい。
［４−２．イントラ予測部の構成例］
図１４は、図１３Ａに示したイントラ予測部９０ａ及び図１３Ｂに示したイントラ予測部９０ｂの詳細な構成の一例を示すブロック図である。図１４を参照すると、イントラ予測部９０ａは、予測制御部９１ａ、パラメータ取得部９２ａ、予測部９３ａ及びモードバッファ９４ａを有する。イントラ予測部９０ｂは、予測制御部９１ｂ、パラメータ取得部９２ｂ、予測部９３ｂ及びモードバッファ９４ｂを有する。
予測制御部９１ａは、イントラ予測部９０ａによるベースレイヤのイントラ予測処理を制御する。より具体的には、予測制御部９１ａは、可逆復号部６２ａにより復号されるイントラ予測に関する情報を、パラメータ取得部９２ａに取得させる。パラメータ取得部９２ａにより取得される情報には、ベースレイヤのピクチャ内の予測単位についての予測モード情報及びMostProbableMode情報が含まれる。予測部９３ａは、パラメータ取得部９２ａにより取得される予測モード情報及びMostProbableMode情報に従って各予測単位に予測モードを設定する。例えば、予測部９３ａは、ＭＰＭフラグが“False”を示す予測単位に、予測モード情報により示される予測モードを設定する。また、予測部９３ａは、ＭＰＭフラグが“True”を示す予測単位に、ＭＰＭインデックスにより識別される位置の隣接ブロックの参照予測モードと同じ予測モードを設定する。そして、予測部９３ａは、設定した予測モードに従い、フレームメモリ６９から入力される参照画像データを用いて、各予測単位の予測画像を生成する。モードバッファ９４ａは、各予測単位に設定された予測モードを表す予測モード情報を一時的に記憶する。予測部９３ａにより生成される予測画像データは、加算部６５へ出力される。また、パラメータ取得部９２ａにより取得されるMostProbableMode情報は、レイヤ間バッファ７へ出力される。
予測制御部９１ｂは、イントラ予測部９０ｂによるエンハンスメントレイヤのイントラ予測処理を制御する。より具体的には、予測制御部９１ｂは、可逆復号部６２ｂにより復号されるイントラ予測に関する情報を、パラメータ取得部９２ｂに取得させる。パラメータ取得部９２ｂにより取得される情報には、エンハンスメントレイヤのピクチャ内の予測単位についての予測モード情報及びMostProbableMode情報が含まれ得る。また、予測制御部９１ｂは、レイヤ間バッファ７により記憶されている下位レイヤのMostProbableMode情報を、パラメータ取得部９２ｂに取得させる。予測部９３ｂは、パラメータ取得部９２ｂにより取得される予測モード情報及びMostProbableMode情報に従って各予測単位に予測モードを設定する。例えば、予測部９３ｂは、ＭＰＭフラグが“False”を示す予測単位に、予測モード情報により示される予測モードを設定する。また、予測部９３ｂは、ＭＰＭフラグが“True”を示す予測単位に、レイヤ間バッファ７から取得されたＭＰＭインデックスにより識別される位置の隣接ブロックの参照予測モードと同じ予測モードを設定し得る。予測部９３ｂは、ある予測単位について“False”を示す再利用フラグが復号された場合には、エンハンスメントレイヤにおいて別途復号されるＭＰＭインデックスにより識別される位置の隣接ブロックの参照予測モードと同じ予測モードを、当該予測単位に設定してもよい。そして、予測部９３ｂは、設定した予測モードに従い、フレームメモリ６９から入力される参照画像データを用いて、各予測単位の予測画像を生成する。モードバッファ９４ｂは、各予測単位に設定された予測モードを表す予測モード情報を一時的に記憶する。予測部９３ｂにより生成される予測画像データは、加算部６５へ出力される。また、パラメータ取得部９２ｂは、さらなる上位レイヤが存在する場合には、MostProbableMode情報をレイヤ間バッファ７へ出力してもよい。
＜５．一実施形態に係る復号時の処理の流れ＞
図１５及び図１６は、本実施形態に係る復号時のイントラ予測処理の流れの例をそれぞれ示している。図１５に示す第１の例では、図１０を用いて説明したような再利用フラグは導入されない。図１６に示す第２の例では、再利用フラグが導入される。
（１）第１の例
図１５を参照すると、まず、イントラ予測部９０ａは、ベースレイヤのイントラ予測処理を行う（ステップＳ２００）。それにより、ベースレイヤのピクチャ内の各予測単位について、符号化ストリームから復号される予測モード情報及びMostProbableMode情報を用いて、予測画像データが生成される。レイヤ間バッファ７は、各予測単位について生成されるMostProbableMode情報をバッファリングする。
ステップＳ２１０〜Ｓ２８０の処理は、エンハンスメントレイヤのイントラ予測処理である。これら処理のうちステップＳ２１０〜Ｓ２７０の処理は、各エンハンスメントレイヤの各予測単位を予測対象ブロックとして繰り返される。なお、以下の説明において、「上位レイヤ」は予測対象のレイヤであり、「下位レイヤ」は予測対象のレイヤの下位のレイヤである。
まず、パラメータ取得部９２ｂは、上位レイヤの予測対象ブロックについて可逆復号部６２ｂにより復号されるMostProbableMode情報を取得する（ステップＳ２１０）。
次に、予測制御部９１ｂは、上位レイヤの予測対象ブロックのＭＰＭフラグが“True”を示しているか否かを判定する（ステップＳ２２０）。ここで、ＭＰＭフラグが“True”を示していない場合には、処理はステップＳ２３０へ進む。一方、ＭＰＭフラグが“True”を示している場合には、処理はステップＳ２５０へ進む。
ステップＳ２３０では、パラメータ取得部９２ｂは、予測対象ブロックについて可逆復号部６２ｂにより復号される予測モード情報を取得する（ステップＳ２３０）。そして、パラメータ取得部９２ｂは、取得した予測モード情報を予測部９３ｂへ出力する。
ステップＳ２５０では、パラメータ取得部９２ｂは、レイヤ間バッファ７により記憶されている、予測対象ブロックに対応する下位レイヤの予測単位のMostProbableMode情報を取得する（ステップＳ２５０）。そして、パラメータ取得部９２ｂは、取得したMostProbableMode情報を予測部９３ｂへ出力する。予測部９３ｂは、パラメータ取得部９２ｂにより取得されたMostProbableMode情報に含まれるＭＰＭインデックスにより示される位置の隣接ブロックの予測モード情報を、モードバッファ９４ｂから取得する（ステップＳ２６０）。
次に、予測部９３ｂは、取得した予測モード情報に従って予測対象ブロックに予測モードを設定し、設定した予測モードに従って予測対象ブロックの予測画像を生成する（ステップＳ２７０）。
その後、予測対象のレイヤ内に未処理の予測単位が残っている場合には、処理はステップＳ２１０に戻る（ステップＳ２８０）。一方、未処理の予測単位が残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ２９０）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ２１０以降の処理が繰り返される。MostProbableMode情報は、レイヤ間バッファ７によりバッファリングされる。残りのレイヤが存在しない場合には、図１５のイントラ予測処理は終了する。
（２）第２の例
図１６を参照すると、まず、イントラ予測部９０ａは、ベースレイヤのイントラ予測処理を行う（ステップＳ２００）。それにより、ベースレイヤのピクチャ内の各予測単位について、符号化ストリームから復号される予測モード情報及びMostProbableMode情報を用いて、予測画像データが生成される。レイヤ間バッファ７は、各予測単位について生成されるMostProbableMode情報をバッファリングする。
ステップＳ２１０〜Ｓ２８０の処理は、エンハンスメントレイヤのイントラ予測処理である。これら処理のうちステップＳ２１０〜Ｓ２７０の処理は、各エンハンスメントレイヤの各予測単位を予測対象ブロックとして繰り返される。
まず、パラメータ取得部９２ｂは、上位レイヤの予測対象ブロックについて可逆復号部６２ｂにより復号されるMostProbableMode情報を取得する（ステップＳ２１０）。
次に、予測制御部９１ｂは、上位レイヤの予測対象ブロックのＭＰＭフラグが“True”を示しているか否かを判定する（ステップＳ２２０）。ここで、ＭＰＭフラグが“True”を示していない場合には、処理はステップＳ２３０へ進む。一方、ＭＰＭフラグが“True”を示している場合には、処理はステップＳ２４０へ進む。
ステップＳ２３０では、パラメータ取得部９２ｂは、予測対象ブロックについて可逆復号部６２ｂにより復号される予測モード情報を取得する（ステップＳ２３０）。そして、パラメータ取得部９２ｂは、取得した予測モード情報を予測部９３ｂへ出力する。
ステップＳ２４０では、予測制御部９１ｂは、予測対象ブロックの再利用フラグが“True”を示しているか否かを判定する（ステップＳ２４０）。ここで、再利用フラグが“True”を示している場合には、処理はステップＳ２５０へ進む。一方、再利用フラグが“True”を示していない場合には、処理はステップＳ２６５へ進む。
ステップＳ２５０では、パラメータ取得部９２ｂは、レイヤ間バッファ７により記憶されている、予測対象ブロックに対応する下位レイヤの予測単位のMostProbableMode情報を取得する（ステップＳ２５０）。そして、パラメータ取得部９２ｂは、取得したMostProbableMode情報を予測部９３ｂへ出力する。予測部９３ｂは、パラメータ取得部９２ｂにより取得されたMostProbableMode情報に含まれるＭＰＭインデックスにより示される位置の隣接ブロックの予測モード情報を、モードバッファ９４ｂから取得する（ステップＳ２６０）。
ステップＳ２６５では、予測部９３ｂは、予測対象ブロックについてのMostProbableMode情報に含まれるＭＰＭインデックスにより示される位置の隣接ブロックの予測モード情報を、モードバッファ９４ｂから取得する（ステップＳ２６５）。
次に、予測部９３ｂは、取得した予測モード情報に従って予測対象ブロックに予測モードを設定し、設定した予測モードに従って予測対象ブロックの予測画像を生成する（ステップＳ２７０）。
その後、予測対象のレイヤ内に未処理の予測単位が残っている場合には、処理はステップＳ２１０に戻る（ステップＳ２８０）。一方、未処理の予測単位が残っていない場合には、さらに残りのレイヤ（より上位のレイヤ）が存在するかが判定される（ステップＳ２９０）、ここで、残りのレイヤが存在する場合には、それまでの予測対象のレイヤを下位レイヤ、次のレイヤを上位レイヤとして、ステップＳ２１０以降の処理が繰り返される。MostProbableMode情報は、レイヤ間バッファ７によりバッファリングされる。残りのレイヤが存在しない場合には、図１６のイントラ予測処理は終了する。
＜６．様々な画像符号化方式への適用＞
本開示に係る技術は、上述したように、スケーラブル符号化のみならず、例えばマルチビュー符号化及びインターレース符号化にも適用可能である。本節では、本開示に係る技術がマルチビュー符号化に適用される例について説明する。
マルチビュー符号化は、いわゆる立体視画像を符号化し及び復号するための画像符号化方式である。マルチビュー符号化においては、立体表示される画像の右眼ビュー及び左眼ビューにそれぞれ対応する２つの符号化ストリームが生成される。これら２つのビューのうち一方がベースビューとして選択され、他方はノンベースビューと呼ばれる。マルチビューの画像データを符号化する際、ベースビューのピクチャについての符号化パラメータに基づいてノンベースビューのピクチャを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。
図１７は、上述した画像符号化処理のマルチビュー符号化への適用について説明するための説明図である。図１７を参照すると、一例としてのマルチビュー符号化装置８１０の構成が示されている。マルチビュー符号化装置８１０は、第１ピクチャ符号化部１ａ、第２ピクチャ符号化部１ｂ、ビュー間バッファ２及び多重化部３を備える。なお、ここでは一例として、左眼ビューがベースビューとして扱われるものとする。
第１ピクチャ符号化部１ａは、左眼ビューの画像を符号化し、ベースビューの符号化ストリームを生成する。第２ピクチャ符号化部１ｂは、右眼ビューの画像を符号化し、ノンベースビューの符号化ストリームを生成する。ビュー間バッファ２は、ビュー間で再利用されるパラメータを一時的に記憶する。多重化部３は、第１ピクチャ符号化部１ａにより生成されるベースビューの符号化ストリームと、第２ピクチャ符号化部１ｂにより生成されるノンベースビューの符号化ストリームとを多重化し、マルチビューの多重化ストリームを生成する。
図１８は、上述した画像復号処理のマルチビュー符号化への適用について説明するための説明図である。図１８を参照すると、一例としてのマルチビュー復号装置８６０の構成が示されている。マルチビュー復号装置８６０は、逆多重化部５、第１ピクチャ復号部６ａ、第２ピクチャ復号部６ｂ及びビュー間バッファ７を備える。
逆多重化部５は、マルチビューの多重化ストリームをベースビューの符号化ストリーム及びノンベースビューの符号化ストリームに逆多重化する。第１ピクチャ復号部６ａは、ベースビューの符号化ストリームから左眼ビューの画像を復号する。第２ピクチャ復号部６ｂは、ノンベースビューの符号化ストリームから右眼ビューの画像を復号する。ビュー間バッファ７は、ビュー間で再利用されるパラメータを一時的に記憶する。
本開示に係る技術がインターレース符号化に適用される場合には、第１ピクチャ符号化部１ａが１つのフレームを構成する２つのフィールドの一方を符号化して第１の符号化ストリームを生成し、第１ピクチャ復号部６ａが当該第１の符号化ストリームを復号する。また、第２ピクチャ符号化部１ｂが他方のフィールドを符号化して第２の符号化ストリームを生成し、第２ピクチャ復号部６ｂが当該第２の符号化ストリームを復号する。
＜７．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
［７−１．第１の応用例］
図１９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像のスケーラブル復号に際して、より効率的に符号化された複数のピクチャの符号化ストリームを復号することができる。
［７−２．第２の応用例］
図２０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像のスケーラブル符号化及び復号に際して、より効率的に複数のピクチャの符号化ストリームを生成し、生成されたそれら符号化ストリームを復号することができる。
［７−３．第３の応用例］
図２１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像のスケーラブル符号化及び復号に際して、より効率的に複数のピクチャの符号化ストリームを生成し、生成されたそれら符号化ストリームを復号することができる。
［７−４．第４の応用例］
図２２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像のスケーラブル符号化及び復号に際して、より効率的に複数のピクチャの符号化ストリームを生成し、生成されたそれら符号化ストリームを復号することができる。
＜８．まとめ＞
ここまで、図１〜図２２を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、複数ストリームが符号化される画像符号化方式において、あるピクチャ内の予測単位についてイントラ予測を実行する際に、共通するシーンに関連付けられる他のピクチャ内の対応する予測単位について使用されたMostProbableMode情報を再利用することが可能となる。それにより、複数ストリームが符号化される画像符号化方式においてイントラ予測のためのパラメータをより効率的に符号化することが可能となる。
また、本実施形態によれば、再利用されるMostProbableMode情報は、MostProbableModeとして扱われる参照予測モードを有する隣接ブロックの位置を識別するインデックス情報であってよい。共通するシーン（必ずしも全く同一のシーンでなくてよい）が複数のピクチャに映っている場合、画像の空間的相関は、それらピクチャの間で互いに類似する。従って、イントラ予測の最適な予測方向もまたそれらピクチャ間で類似する傾向にある。そこで、かかる最適な予測方向に依存して決まるインデックス情報をピクチャ間で再利用することとすれば、MostProbableMode情報の符号量を効果的に削減することができる。
また、本実施形態によれば、上記インデックス情報は、例えば、左及び上の隣接ブロック候補のうちのいずれかを識別する情報であってよい。かかる構成は、上記非特許文献２により提案されている手法を採用するエンコーダ及びデコーダに良好に適合する。また、上記インデックス情報は、隣接する３つ以上の隣接ブロック候補のうちのいずれかを識別する情報であってもよい。３つ以上の隣接ブロック候補が存在する場合には、隣接ブロックの位置を指定するインデックス情報のビット数はより多くなる。従って、その場合、インデックス情報の再利用により削減することのできるMostProbableMode情報の割合も増加し得る。
また、本実施形態によれば、追加的な符号化パラメータがMostProbableMode情報を再利用すべきことを示す場合にのみ、MostProbableMode情報がピクチャ間で再利用されてもよい。かかる構成によれば、例えば、第１のピクチャ内の第１の予測単位について使用されたインデックス情報を、第２のピクチャ内の対応する第２の予測単位において上書きし、第２の予測単位について別個のMostProbableModeを利用することが可能となる。それにより、MostProbableMode情報を再利用するか否かの切り替えをより柔軟に行うことができる。
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャの符号化ストリームから、前記第１のピクチャ内の第１の予測単位についてのMostProbableMode情報を復号する復号部と、
前記復号部により復号される前記MostProbableMode情報を用いて前記第１の予測単位についてイントラ予測を行う第１予測部と、
前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記第１予測部により使用される前記MostProbableMode情報を用いてイントラ予測を行う第２予測部と、
を備える画像処理装置。
（２）
前記MostProbableMode情報は、MostProbableModeとして扱うべき参照予測モードを有する隣接ブロックの位置を識別するインデックス情報を含む、前記（１）に記載の画像処理装置。
（３）
前記インデックス情報は、左及び上の隣接ブロック候補のうちのいずれかを識別する情報である、前記（２）に記載の画像処理装置。
（４）
前記インデックス情報は、隣接する３つ以上の隣接ブロック候補のうちのいずれかを識別する情報である、前記（２）に記載の画像処理装置。
（５）
前記第２予測部は、前記第２のピクチャの符号化ストリームから取得されるパラメータが前記MostProbableMode情報を再利用すべきことを示している場合に、前記MostProbableMode情報を用いてイントラ予測を行う、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、前記（６）に記載の画像処理装置。
（８）
前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（９）
前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
前記第２のピクチャは、前記画像の第２のフィールドに相当する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（１０）
共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャの符号化ストリームから、前記第１のピクチャ内の第１の予測単位についてのMostProbableMode情報を復号することと、
復号された前記MostProbableMode情報を用いて前記第１の予測単位についてイントラ予測を行うことと、
前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いてイントラ予測を行うことと、
を含む画像処理方法。
（１１）
共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャ内の第１の予測単位についてMostProbableModeが有効かを判定する第１判定部と、
前記第１判定部による判定結果に応じて、前記第１の予測単位についてのMostProbableMode情報を前記第１のピクチャの符号化ストリーム内に符号化する第１符号化部と、
前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いて特定される参照予測モードがMostProbableModeとして有効かを判定する第２判定部と、
を備える画像処理装置。
（１２）
前記MostProbableMode情報は、前記参照予測モードを有する隣接ブロックの位置を識別するインデックス情報を含む、前記（１１）に記載の画像処理装置。
（１３）
前記インデックス情報は、左及び上の隣接ブロック候補のうちのいずれかを識別する情報である、前記（１２）に記載の画像処理装置。
（１４）
前記インデックス情報は、隣接する３つ以上の隣接ブロック候補のうちのいずれかを識別する情報である、前記（１２）に記載の画像処理装置。
（１５）
前記MostProbableMode情報を前記第２の予測単位について再利用すべき場合に、前記MostProbableMode情報を再利用すべきことを示すパラメータを前記第２のピクチャの符号化ストリーム内に符号化する第２符号化部、をさらに備え、
前記第２符号化部は、前記パラメータが前記MostProbableMode情報を再利用すべきことを示さない場合には、前記第２のピクチャの符号化ストリーム内に前記第２の予測単位のための別個のインデックス情報を符号化する、
前記（１２）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、前記（１６）に記載の画像処理装置。
（１８）
前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（１９）
前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
前記第２のピクチャは、前記画像の第２のフィールドに相当する、
前記（１１）〜（１５）のいずれか１項に記載の画像処理装置。
（２０）
共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャ内の第１の予測単位についてMostProbableModeが有効かを判定することと、
前記判定の結果に応じて、前記第１の予測単位についてのMostProbableMode情報を前記第１のピクチャの符号化ストリーム内に符号化することと、
前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いて特定される参照予測モードがMostProbableModeとして有効かを判定することと、
を含む画像処理方法。
１０，８１０ 画像符号化装置（画像処理装置）
１６ａ 第１符号化部
１６ｂ 第２符号化部
４３ａ 第１判定部
４３ｂ 第２判定部
６０，８６０ 画像復号装置（画像処理装置）
６２ａ 復号部
９３ａ 第１予測部
９３ｂ 第２予測部

Claims (20)

  1. 共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャの符号化ストリームから、前記第１のピクチャ内の第１の予測単位についてのMostProbableMode情報を復号する復号部と、
    前記復号部により復号される前記MostProbableMode情報を用いて前記第１の予測単位についてイントラ予測を行う第１予測部と、
    前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記第１予測部により使用される前記MostProbableMode情報を用いてイントラ予測を行う第２予測部と、
    を備える画像処理装置。
  2. 前記MostProbableMode情報は、MostProbableModeとして扱うべき参照予測モードを有する隣接ブロックの位置を識別するインデックス情報を含む、請求項１に記載の画像処理装置。
  3. 前記インデックス情報は、左及び上の隣接ブロック候補のうちのいずれかを識別する情報である、請求項２に記載の画像処理装置。
  4. 前記インデックス情報は、隣接する３つ以上の隣接ブロック候補のうちのいずれかを識別する情報である、請求項２に記載の画像処理装置。
  5. 前記第２予測部は、前記第２のピクチャの符号化ストリームから取得されるパラメータが前記MostProbableMode情報を再利用すべきことを示している場合に、前記MostProbableMode情報を用いてイントラ予測を行う、請求項１に記載の画像処理装置。
  6. 前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
    前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
    請求項１に記載の画像処理装置。
  7. 前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、請求項６に記載の画像処理装置。
  8. 前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
    前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
    請求項１に記載の画像処理装置。
  9. 前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
    前記第２のピクチャは、前記画像の第２のフィールドに相当する、
    請求項１に記載の画像処理装置。
  10. 共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャの符号化ストリームから、前記第１のピクチャ内の第１の予測単位についてのMostProbableMode情報を復号することと、
    復号された前記MostProbableMode情報を用いて前記第１の予測単位についてイントラ予測を行うことと、
    前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いてイントラ予測を行うことと、
    を含む画像処理方法。
  11. 共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャ内の第１の予測単位についてMostProbableModeが有効かを判定する第１判定部と、
    前記第１判定部による判定結果に応じて、前記第１の予測単位についてのMostProbableMode情報を前記第１のピクチャの符号化ストリーム内に符号化する第１符号化部と、
    前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いて特定される参照予測モードがMostProbableModeとして有効かを判定する第２判定部と、
    を備える画像処理装置。
  12. 前記MostProbableMode情報は、前記参照予測モードを有する隣接ブロックの位置を識別するインデックス情報を含む、請求項１１に記載の画像処理装置。
  13. 前記インデックス情報は、左及び上の隣接ブロック候補のうちのいずれかを識別する情報である、請求項１２に記載の画像処理装置。
  14. 前記インデックス情報は、隣接する３つ以上の隣接ブロック候補のうちのいずれかを識別する情報である、請求項１２に記載の画像処理装置。
  15. 前記MostProbableMode情報を前記第２の予測単位について再利用すべき場合に、前記MostProbableMode情報を再利用すべきことを示すパラメータを前記第２のピクチャの符号化ストリーム内に符号化する第２符号化部、をさらに備え、
    前記第２符号化部は、前記パラメータが前記MostProbableMode情報を再利用すべきことを示さない場合には、前記第２のピクチャの符号化ストリーム内に前記第２の予測単位のための別個のインデックス情報を符号化する、
    請求項１２に記載の画像処理装置。
  16. 前記第１のピクチャは、スケーラブル符号化される画像の第１のレイヤに相当し、
    前記第２のピクチャは、前記第１のレイヤよりも上位の第２のレイヤに相当する、
    請求項１１に記載の画像処理装置。
  17. 前記第１のレイヤ及び前記第２のレイヤは、空間解像度、雑音比率又はビット深度が互いに異なる、請求項１６に記載の画像処理装置。
  18. 前記第１のピクチャは、立体表示される画像の右眼ビュー及び左眼ビューの一方に相当し、
    前記第２のピクチャは、前記画像の右眼ビュー及び左眼ビューの他方に相当する、
    請求項１１に記載の画像処理装置。
  19. 前記第１のピクチャは、インターレース符号化される画像の第１のフィールドに相当し、
    前記第２のピクチャは、前記画像の第２のフィールドに相当する、
    請求項１１に記載の画像処理装置。
  20. 共通するシーンに関連付けられる２つ以上のピクチャのうちの第１のピクチャ内の第１の予測単位についてMostProbableModeが有効かを判定することと、
    前記判定の結果に応じて、前記第１の予測単位についてのMostProbableMode情報を前記第１のピクチャの符号化ストリーム内に符号化することと、
    前記２つ以上のピクチャのうちの第２のピクチャ内の前記第１の予測単位に対応する第２の予測単位について、前記MostProbableMode情報を用いて特定される参照予測モードがMostProbableModeとして有効かを判定することと、
    を含む画像処理方法。
JP2011274660A 2011-12-15 2011-12-15 画像処理装置及び画像処理方法 Withdrawn JP2013126157A (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
JP2011274660A JP2013126157A (ja) 2011-12-15 2011-12-15 画像処理装置及び画像処理方法
BR112014013858A BR112014013858A2 (pt) 2011-12-15 2012-10-15 dispositivo e método para processamento de imagem
PCT/JP2012/076618 WO2013088833A1 (ja) 2011-12-15 2012-10-15 画像処理装置及び画像処理方法
CA 2850349 CA2850349A1 (en) 2011-12-15 2012-10-15 Image processing device and image processing method
AU2012353798A AU2012353798A1 (en) 2011-12-15 2012-10-15 Image processing device and image processing method
RU2014123205/07A RU2014123205A (ru) 2011-12-15 2012-10-15 Устройство обработки изображения и способ обработки изображения
KR20147012710A KR20140110842A (ko) 2011-12-15 2012-10-15 화상 처리 장치 및 화상 처리 방법
EP12856645.2A EP2793465A4 (en) 2011-12-15 2012-10-15 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US14/347,657 US20140241428A1 (en) 2011-12-15 2012-10-15 Image processing device and image processing method
CN201280060389.8A CN103988507A (zh) 2011-12-15 2012-10-15 图像处理装置和图像处理方法
MX2014006764A MX2014006764A (es) 2011-12-15 2012-10-15 Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
TW101142619A TW201332365A (zh) 2011-12-15 2012-11-15 影像處理裝置及影像處理方法
ZA2014/02438A ZA201402438B (en) 2011-12-15 2014-04-02 Image processing device and image processing method
IN4238CHN2014 IN2014CN04238A (ja) 2011-12-15 2014-06-06

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011274660A JP2013126157A (ja) 2011-12-15 2011-12-15 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2013126157A true JP2013126157A (ja) 2013-06-24

Family

ID=48612290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011274660A Withdrawn JP2013126157A (ja) 2011-12-15 2011-12-15 画像処理装置及び画像処理方法

Country Status (14)

Country Link
US (1) US20140241428A1 (ja)
EP (1) EP2793465A4 (ja)
JP (1) JP2013126157A (ja)
KR (1) KR20140110842A (ja)
CN (1) CN103988507A (ja)
AU (1) AU2012353798A1 (ja)
BR (1) BR112014013858A2 (ja)
CA (1) CA2850349A1 (ja)
IN (1) IN2014CN04238A (ja)
MX (1) MX2014006764A (ja)
RU (1) RU2014123205A (ja)
TW (1) TW201332365A (ja)
WO (1) WO2013088833A1 (ja)
ZA (1) ZA201402438B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133320A1 (ja) * 2014-03-05 2015-09-11 ソニー株式会社 画像符号化装置および方法
JP2015211386A (ja) * 2014-04-28 2015-11-24 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2016005210A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 端末装置及びデータ管理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
EP3714602A4 (en) * 2017-11-21 2021-07-28 Immersive Robotics Pty Ltd IMAGE COMPRESSION FOR DIGITAL REALITY
WO2019137730A1 (en) * 2018-01-11 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Multiple boundary filtering
CN112073788B (zh) * 2019-06-10 2023-04-14 海信视像科技股份有限公司 视频数据处理方法、装置及显示设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1553782A3 (en) * 2002-05-28 2005-07-27 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
WO2006087319A2 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
JP5008664B2 (ja) * 2005-07-11 2012-08-22 トムソン ライセンシング マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置
KR100678911B1 (ko) * 2005-07-21 2007-02-05 삼성전자주식회사 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US9225961B2 (en) * 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9860528B2 (en) * 2011-06-10 2018-01-02 Hfi Innovation Inc. Method and apparatus of scalable video coding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133320A1 (ja) * 2014-03-05 2015-09-11 ソニー株式会社 画像符号化装置および方法
JPWO2015133320A1 (ja) * 2014-03-05 2017-04-06 ソニー株式会社 画像符号化装置および方法
JP2015211386A (ja) * 2014-04-28 2015-11-24 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP2016005210A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 端末装置及びデータ管理装置

Also Published As

Publication number Publication date
EP2793465A1 (en) 2014-10-22
IN2014CN04238A (ja) 2015-08-14
CA2850349A1 (en) 2013-06-20
TW201332365A (zh) 2013-08-01
RU2014123205A (ru) 2015-12-20
CN103988507A (zh) 2014-08-13
EP2793465A4 (en) 2015-07-22
ZA201402438B (en) 2014-07-30
WO2013088833A1 (ja) 2013-06-20
US20140241428A1 (en) 2014-08-28
KR20140110842A (ko) 2014-09-17
BR112014013858A2 (pt) 2017-06-13
AU2012353798A1 (en) 2014-04-03
MX2014006764A (es) 2014-08-01

Similar Documents

Publication Publication Date Title
US10785504B2 (en) Image processing device and image processing method
JP6070870B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US9749625B2 (en) Image processing apparatus and image processing method utilizing a correlation of motion between layers for encoding an image
US20130259142A1 (en) Image processing device and image processing method
WO2012005099A1 (ja) 画像処理装置及び画像処理方法
WO2013164922A1 (ja) 画像処理装置及び画像処理方法
WO2013150838A1 (ja) 画像処理装置及び画像処理方法
WO2013088833A1 (ja) 画像処理装置及び画像処理方法
WO2015053001A1 (ja) 画像処理装置及び画像処理方法
WO2013001939A1 (ja) 画像処理装置及び画像処理方法
JP5900612B2 (ja) 画像処理装置及び画像処理方法
WO2014038330A1 (ja) 画像処理装置及び画像処理方法
WO2014097913A1 (ja) 画像処理装置および方法
WO2013157308A1 (ja) 画像処理装置及び画像処理方法
WO2014148070A1 (ja) 画像処理装置及び画像処理方法
KR102197557B1 (ko) 화상 처리 장치 및 방법
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
WO2013088838A1 (ja) 画像処理装置及び画像処理方法
JP2017060184A (ja) 画像処理装置及び画像処理方法
JP2016042717A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141021

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20150610