画像データを符号化する符号化処理は、たとえばデジタルビデオカメラなどの撮像装置で撮像された画像データを効率よくDVDなどの記憶媒体に記憶したり放送波を介して伝送するために画像データ特有の冗長性を利用して画質を保ちながらデータ量を削減する処理として行われている。
このような符号化処理によって生成されるストリームは、例えば図6に示すような画像処理装置によって復号される。
画像処理装置200は、図6に示すように、外部から符号化された画像データのストリームが入力される入力部210と、入力ストリームを解析する制御部220と、入力ストリームに対して復号処理を施す復号処理部230と、復号処理を施した画像データを一時的に記憶するメモリ240と、メモリ240から画像データを読み出して外部へ出力するレンダラ250とを備える。
入力部210は、例えばMPEGなどの符号化規格に準拠して符号化された画像データのストリームを入力して制御部220及び復号処理部230に供給する。
制御部220は、入力部210により入力した入力ストリームのシンタックスを解析して、解析結果から取得される情報のうち、入力ストリームに対応する画像データの画サイズに関する情報を制御情報としてメモリ240に供給する。
復号処理部230は、入力部210により入力した入力ストリームに対して復号処理を施し、復号した画像データをピクチャ毎に順次メモリ240に書き込む処理を行う。
メモリ240は、復号処理部230から供給される画像データを、どのデータをどの記憶位置に記憶させるかを示すメモリマップに従って記憶する。具体的に、メモリ240は、制御部220から供給される画サイズに関する情報に応じてメモリマップを設定し、復号処理部230から書き込まれるピクチャのデータを各記憶領域に記憶する。
レンダラ250は、画像データの表示順に従って、メモリ240からピクチャ単位で復号された画像データを読み出して外部へ出力する。
以上のような構成からなる画像処理装置200は、画サイズが途中で切り替わるストリームに対して復号処理を行う場合、図7に示すようなフローチャートに従った処理を行い、復号した画像データをメモリ240に記憶する。
ステップS101において、入力部210は、復号対象となる入力ストリームが入力されているかを判断して、入力ストリームが入力されているときステップS102に進み、入力ストリームが入力されていないとき本処理を終了する。
ステップS102において、制御部220は、入力部210により入力される入力ストリームを解析してステップS103に進む。
ステップS103において、制御部220は、ステップS102により解析した情報に応じて、入力部210に入力される入力ストリームの画像データの画サイズが切り替わるかをピクチャ単位で判断して、切り替わるときステップS104に進み、切り替わらないときステップS105に進む。
ステップS104において、制御部220は、画サイズが切り替わることを示す制御情報をメモリ240に供給する。メモリ240では、この制御情報に従ってメモリマップを切り換えてステップS105に進む。
ステップS105において、復号処理部230は、入力部210により入力されるストリームに対して復号処理を施し、復号した画像データをピクチャ毎に順次メモリ240に書き込む処理を施してステップS101に戻る。
以上のような処理工程に従って復号処理を行う画像処理装置200では、例えば図8に示すように、書込タイミングに同期して、復号処理部130で復号された各ピクチャの画像データをメモリ240に供給し、この書き込みタイミングに対して例えば1ピクチャ分時間的に遅れた読出タイミングに同期してレンダラ250がメモリ240に記憶されている画像データを読み出す。なお、図8に示す具体例では、画サイズ切り替え前のストリームを入力ストリームAとし、画サイズ切り替え後のストリームを入力ストリームBとし、入力ストリームが、表示順の後方に位置するピクチャを参照した予測処理を行わないIピクチャ、Pピクチャのみから構成されているものとする。
画像処理装置200では、このようなタイミングの時間的な遅れを考慮して、ストリームAで最後に表示されるピクチャの画像データがレンダラ250によってメモリ240から読み出された後に、メモリマップの切換を含めたストリームBの復号処理を開始するようにしている。これは、入力ストリームAの最後に表示されるピクチャの画像データが、切換後のメモリマップによって書き込まれる入力ストリームBの画像データによって上書きされるのを防止するためである。
したがって、画像処理装置200では、画サイズの切替時においてレンダラ250が表示順に並んだピクチャの画像データを外部に出力することができないブランキング期間を発生させてしまう。図4の具体例では、メモリマップの切り換えタイミングにおいて1ピクチャに対応する表示時間分のブランキング期間が発生することとなる。このため、画像処理装置200から出力される画像データが示す映像を表示する表示装置では、画サイズの切替時に上述したブランキング期間を伴うことなく、すなわち途切れることなく映像を表示することができなかった。
ここで、画像処理装置200では、メモリ240の記憶容量を例えば次のように増加させることで画サイズの切替時においてメモリマップの変更を行わずに、ブランキング期間を発生させることなく復号処理を行うことができる。
例えば、符号化フォーマットがAVCでLevel4.0の4:2:0の場合、SDサイズ(輝度を示す画素数が720×480の画サイズ。)及びHDサイズ(輝度を示す画素数が1920×1088の画サイズ。)のストリームを復号するには、それぞれ次のようなメモリ面数がメモリ240において必要となる。ここで、メモリ面数とは、各ピクチャを記憶させる記憶領域の数を示す。
ここで、変更前のメモリ240の記憶可能容量を12288×1024[Bytes]とすると、SDサイズの画像データに対応するメモリ面数は、約16(12299×1024[Byte]/720×480×1.5[Byte])となっており、HDサイズの画像データに対応するメモリ面数は、4(12299×1024[Byte]/1920×1088×1.5[Byte])となっている。
よって、メモリマップを切り換えなくても、上書きされることなく順次画像データを書込可能なメモリサイズは、両方を満たす画サイズ及びフレーム面数を確保したメモリサイズであり、具体的には、50135040[Byte](1920×1088×1.5×16)となる。このメモリサイズは、メモリマップの切換を行う変更前のメモリサイズに比べて4倍となる。
このため、画像処理装置200において、画サイズの切替時においてメモリマップの変更を行うことなく、かつ、ブランキング期間が発生することなく復号処理を行うには、メモリサイズを非常に大きくする必要がありコストの増大が避けられなかった。
なお、特許文献1には、画像処理デバイスの処理負担を低減して表示画像の画質劣化を防止するために、生成した表示用データを第1、第2メモリ部に交互に記憶させるとともに表示順に順次読み出して表示画像を表示させる画像表示制御装置が記載されている。
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
符号化された画像データのストリームを復号して出力する処理を行う本発明が適用された画像処理装置の一例として、図1に示すような画像処理装置1を用いて、本発明を実施するための形態を説明する。
画像処理装置1は、例えばAVCなどの方式で符号化された画像データのストリームに復号処理を施して、ベースバンドビデオ信号などの復号した画像データを表示装置2に供給する処理を行うため次のような構成を備えている。
すなわち、画像処理装置1は、図1に示すように、外部から符号化された画像データのストリームを入力する入力部110と、入力ストリームを解析して、解析結果に応じた制御を行う制御部120と、入力ストリームに対して復号処理を施す復号処理部130と、復号処理を施した画像データを一時的に記憶するメモリ部140と、メモリ部140から画像データを読み出して外部へ出力するレンダラ150とを備える。
入力部110は、例えばMPEGなどの符号化規格に準拠して符号化された画像データのストリームを入力して、この入力ストリームを制御部120及び復号処理部130にそれぞれ供給する。
制御部120は、入力部110により入力した入力ストリームのシンタックスを解析して、解析結果から得られる情報のうち、少なくとも入力ストリームに対応する画像データの画サイズに関する情報を制御情報としてメモリ部140に供給する。
復号処理部130は、入力部110により入力された入力ストリームに対して復号処理を施し、復号した画像データをピクチャ毎に順次メモリ部140に供給する。
メモリ部140は、第1のメモリ141と、第2のメモリ142と、第1の切換部143と、第2の切換部144とを備え、制御部220から供給される制御情報に従って復号処理部130から供給される画像データを一時的に記憶する。
第1のメモリ141は、後述する第1の切換部143を介して復号処理部130から供給される画像データを、どのデータをどの記憶位置に記憶させるかを示すメモリマップに従って記憶する。具体的に、第1のメモリ141は、制御部120から供給される画サイズに関する情報に応じてメモリマップを設定し、復号処理部130からピクチャ単位で供給される画像データを各記憶領域に順次記憶する。
第2のメモリ142は、復号処理部130で復号対象となる最も画サイズの大きい復号された画像データを少なくとも1ピクチャ分記憶可能な記憶領域を有する。このような記憶領域を有する第2のメモリ142は、第1の切換部143を介して復号処理部130から供給される画像データを記憶する。
第1の切換部143は、制御部120から供給される制御情報に応じて、制御部120からの画像データの供給先を、第1のメモリ141又は第2のメモリ142に切り換える処理を行う。
第2の切換部144は、制御部120から供給される制御情報に応じて、後述するレンダラ150によって読み出される画像データの読み出し元となるメモリを、第1のメモリ141又は第2のメモリ142に切り換える処理を行う。
レンダラ150は、画像データの表示順に従って、メモリ部140からピクチャ単位で復号された画像データを順次読み出して表示装置2へ出力する。
以上のような構成からなる画像処理装置1では、画サイズが途中で切り替わるストリームに対し、図2に示すようなフローチャートに従って、復号処理を施した画像データを第1のメモリ141又は第2のメモリ142に記憶させる処理を行う。
ステップS11において、入力部110は、復号対象となる入力ストリームが外部から入力されているかを判断して、入力ストリームが入力されているときステップS12に進み、入力ストリームが入力されていないとき本処理を終了する。
ステップS12において、制御部120は、入力部110により入力される入力ストリームのシンタックスを解析してステップS13に進む。
ステップS13において、メモリ部140は、ステップS12により制御部120によって解析された情報に応じて、入力部110に入力される入力ストリームの画像データの画サイズが切り替わるかをピクチャ単位で判断して、切り替わると判断したときステップS14に進み、切り替わらないと判断したときステップS15に進む。
ステップS14において、メモリ部140は、切り替え後の画サイズに関する情報に応じて、第1のメモリ141のメモリマップを切り替えてステップS15に進む。
ステップS15において、メモリ部140は、制御部120で解析された情報に応じて、復号処理部130が現在復号対象としているピクチャが、画サイズ切り替え前の最終画像であるかを判断して、最終画像であるときステップS16に進み、最終画像でないときステップS17に進む。
ステップS16において、メモリ部140は、現在復号対象としているピクチャの復号された画像データが第2のメモリ142に供給されるように第1の切換部143を切り替えてステップS18に進む。
ステップS17において、メモリ部140は、現在復号対象としているピクチャの復号された画像データが第1のメモリ142に供給されるように第1の切換部143を切り換えてステップS18に進む。
ステップS18において、復号処理部130は、現在復号対象としているピクチャに対して復号処理を施してメモリ部140に供給してステップS11に戻る。
以上のような処理工程に従って復号処理を行う画像処理装置200では、例えば図3に示すように、書込タイミングに同期して復号処理部130で復号された各ピクチャの画像データをメモリ部140に供給し、この書込タイミングに対して例えば1ピクチャ分時間的に遅れた読出タイミングに同期してレンダラ150がメモリ部140に記憶されている画像データを読み出す。なお、図4に示す具体例では、画サイズ切り替え前のストリームを入力ストリームAとし、画サイズ切り替え後のストリームを入力ストリームBとし、入力ストリームが、表示順の後方に位置するピクチャを参照した予測処理を行わないIピクチャ、Pピクチャのみから構成されているものとする。
ここで、従来の画像処理装置では、メモリマップを切り換えてから画サイズ切り替え後の入力ストリームBの復号処理を開始しなければならないため、画サイズの切り替え時においてレンダラ250が表示順に並んだピクチャの画像データを外部に出力することができないブランキング期間を発生させてしまう。
これに対して、本実施形態に係る画像処理装置1では、ステップS13の処理工程によって、解析結果に応じて入力部110に入力されるストリームの画像データの画サイズが切り替わるかを判断して、ステップS16の処理工程によって、復号処理部130で復号された画像データのうち画サイズが切り替わる直前に表示されるピクチャのデータを第2のメモリ142に記憶させる。よって、画像処理装置1は、図3に示すように、レンダラ150が第2のメモリ142から画像データを読み出している時に、第1のメモリ141をメモリマップを切り換えるとともに復号処理部130が画サイズ切り替え後の復号した画像データをこの第1のメモリに記憶させることができる。このため、レンダラ150は、画サイズの切り替わりに関係なく、リアルタイムで表示順に並んだピクチャの画像データを表示装置2などの外部機器へ出力することができる。
特に、この画像処理装置1では、従来の画像処理装置に比べて、復号処理部130で復号対象となる最も画サイズの大きい復号された画像データを少なくとも1ピクチャ分記憶可能な記憶領域を有する第2のメモリ142を設ければよいので、メモリサイズの増大を抑えつつ、復号対象であるストリームの画サイズが切り替わっても表示順に途切れることなく復号された画像データをリアルタイムに外部へ出力することができる。
また、上述した図4に示した具体例では、入力ストリームが、後方予測を伴わないIピクチャ、Pピクチャのみから構成されている。しかしながら、一般的には、表示順に対して双方向に位置するピクチャを参照することによって予測するBピクチャを含んだGOP構造に従って画像データに対して符号化処理を施すようにしている。
例えば、GOP構造がIピクチャ、Bピクチャ、Pピクチャ、Bピクチャのように並んだストリームを従来の画像処理装置が復号する場合には、図5に示すように、あるPピクチャの読出タイミングが、このPピクチャの後に復号処理が施されたBピクチャの読出タイミングよりも後になるため、メモリマップの切り換え時において複数ピクチャに亘って上述したブランキング期間が発生してしまう場合がある。
これに対して、本実施形態に係る画像処理装置1では、上述した各処理ステップにおいて次のような処理を行うことで、所定の符号化規格に準拠したGOP単位で各ピクチャのピクチャタイプが予め決められたストリームを入力部110が入力し、このストリームの画サイズが切り替わってもブランキング期間を発生させることなくリアルタイムで画像データを表示装置2などに出力することができる。
すなわち、ステップS13において、メモリ部140は、入力部110に入力されるストリームの画像データの画サイズが切り替わるかをGOP単位で判断するとともに、復号処理部130で復号された画像データのうち画サイズが切り替わる直前に位置するGOPを特定する。そして、ステップS15において、メモリ部140は、ステップS13において特定したGOPを構成するピクチャのうち最も表示順が遅いピクチャのデータを、画サイズ切り替え直前のピクチャであると判断する。
このようにして、本実施形態に係る画像処理装置1では、所定の符号化規格に準拠したGOP単位で各ピクチャのピクチャタイプが予め決められたストリームを入力部110が入力し、このストリームの画サイズが途中で切り替わっても、ブランキング期間を発生させることなく連続して画像データを表示装置2などに出力することができる。
なお、本発明は、以下の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
1、200 画像処理装置、2 表示装置、110、210 入力部、120、220 制御部、130、230 復号処理部、140 メモリ部、141 第1のメモリ、142 第2のメモリ、143 第1の切換部、144 第2の切換部、150、250 レンダラ、240 メモリ