JP2007325031A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 表示画像の縮小や拡大が必要となる場合であっても、大容量のバッファメモリを必要とせずに、拡大、縮小に対応する符号化された画像データの復号を実現する画像処理装置を提供する。
【解決手段】 符号化された画像データを復号して、復号画素データを生成する復号部２と、復号画素データを用いて、１画素データの表示に要する時間間隔を規定するピクセルクロックに基づいて表示に用いられる表示画素データを生成する表示処理部３と、復号部２と表示処理部３の動作を制御する制御部４と、ピクセルクロックにより定義される単位時間において、復号部２で生成される復号画素データの個数を制御する復号制御部５を備え、表示処理部３は、表示画像を通常画像に対して縮小する縮小処理および／又は表示画像を通常画像に対して拡大する拡大処理を行う画像処理装置１である。
【選択図】 図１

Description

本発明は、符号化された画像データを復号して、表示部に復号された画像を表示する画像処理装置および画像表示方法に関する。

近年、画像信号や音声信号を符号化した符号化データを記録したＤｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ（以下、「ＤＶＤ」という）や、ハードディスクドライブ（以下、「ＨＤＤ」という）などの記録媒体が普及している。このような記録媒体に記録されている符号化された画像データを復号して、表示部に復号された画像を表示する画像処理装置が必要となる。

記録媒体に記録されている符号化された画像データは、符号化方式に対応する復号方式により、復号され、復号画素データが生成される。生成された復号画素データは、実際の表示部に表示されるために、一定の時間間隔で表示画素データとして生成される。表示画素データは、表示部における表示位置に割り当てられて、画像表示の単位となるピクチャやフレーム、フィールドが形成される。

このとき、画像表示においては、画像表示の単位となるピクチャやフレームの表示に要する時間は決まっているので（例えば、１秒間に３０コマのピクチャーやフレームを表示する必要がある）、画像表示に必要となる表示画素データの生成速度は一定である（すなわち、表示画素の再生に要する時間は決まっており、これに合わせて表示画素の生成に要する時間も決まっている）。すなわち、１つの表示画素データの生成に要する時間間隔は、ピクチャやフレームにおける１つの表示画素データの表示間隔に対応する。この表示間隔（すなわち生成に要する単位時間）を規定するのは、ピクセルクロックである。

ここで、表示される画像が、１フレームもしくは１ピクチャに対応する復号画素データの個数から定まるそのままの画像サイズである場合（本明細書において、このような画像を「通常画像」という）には、さほど問題は発生しない。すなわち、復号された復号画素データが、そのまま表示画素データとして用いられればよいので、画像データの復号において（すなわち、復号画素データの生成において）は、ピクセルクロックと同じ速度で復号画素データが生成されれば良い。

しかしながら、画像表示においては、通常画像に比べて画像サイズを縮小したり、拡大したりして表示する要求が多くある。

例えば、ＮＴＳＣ方式とＰＡＬ方式の違いに対応するために、画像サイズを縮小（もしくは拡大）して表示する必要がある。

あるいは、記録媒体に映画データが記録されている場合に、実際の画像である主画像に対して、字幕や説明などの副画像がそれぞれ記録されている場合がある。このとき、しばしば、主画像に対して、副画像を縮小して表示する必要がある場合がある。

表示画像を縮小する場合には、復号画素データを間引いて、あるいは合成することで、復号画素データに対する表示画素データの個数を減少させる。このとき、上述の通り表示画素データの生成に必要となる時間であるピクセルクロックは一定であるので、復号画素データの生成速度を増加させる必要がある。すなわち、ピクセルクロックよりも高速に符号化された画像データの復号を行う必要がある。

逆に、拡大の時には、復号画素データを補間して表示画素データを生成し、通常画像の場合よりも多くの表示画素データを生成する必要がある。補間に際しては、ある表示画素データとその次に位置する表示画素データの両方において、同じ復号画素データが用いられるため、復号画素データの生成速度は、表示画素データの生成速度であるピクセルクロックよりも遅いことが必要である。

これらの縮小、拡大に対応するために、従来の技術では、復号処理と表示処理との間に、十分な大きさを有するバッファメモリを備える（例えば、特許文献１参照）。

しかしながら、このバッファメモリを用いる従来の技術では、次のような問題があった。

一つには、バッファメモリの容量が大きくなる問題がある。

特に、拡大に対応する場合には、復号された復号画素データを、バッファメモリは記憶する必要がある。このとき、ＮＴＳＣ方式であれば、１フレームないしは１ピクチャは、最大７２０ｘ４８０画素のデータを有しており、１画素データは輝度、色差それぞれ８ビットの情報を有する。このため、１フレームないしは１ピクチャの復号画素データを記憶する場合には、１Ｍバイト以上のバッファメモリが必要となる。勿論、復号画素をフィルタ処理して表示画素を生成するために、縮小の場合でも同様である。

このように非常に大きなバッファメモリを設けると、回路規模や消費電力、及びコストへの影響が非常に大きくなる。

また、画像処理装置がＬＳＩで実現される場合に、このバッファメモリがこのＬＳＩと別の半導体素子で構成されて接続される場合には、ＬＳＩとバッファメモリとの間での復号画素データに係るデータ転送に要するバンド幅が増加する問題がある。バンド幅が増加すると、ＬＳＩの端子数の増加をもたらし、回路規模、コストへの悪影響がある。加えて、データ転送に要する処理負荷が、画像処理装置内部での処理速度に影響を及ぼす。

更に、バッファメモリとのデータのやり取りにおいて、画像表示とのタイミング設定が複雑になる問題もある。
特開２００２−３３５４９６号公報

そこで本発明は、表示画像の縮小や拡大が必要となる場合であっても、大容量のバッファメモリを必要とせずに、拡大、縮小に対応する符号化された画像データの復号を実現する画像処理装置を提供することを目的とする。

第１の発明に係る画像処理装置は、符号化された画像データを復号して、復号画素データを生成する復号部と、復号画素データを用いて、１画素の表示に要する時間間隔を規定するピクセルクロックに基づいて表示に用いられる表示画素を生成する表示処理部と、復号部と表示処理部の動作を制御する制御部と、ピクセルクロックにより定義される単位時間において、復号部で生成される復号画素データの個数を制御する復号制御部を備え、表示処理部は、表示画像のサイズを通常画像に対して縮小する縮小処理および／又は表示画像のサイズを通常画像に対して拡大する拡大処理を行う。

この構成により、単位時間に生成される表示画素データと復号画素データの個数が相違しても、異なる生成速度で表示画素データと復号画素データを生成できる。このため、余分なバッファメモリを備えることなく、符号化された画像データの縮小画像と拡大画像が表示できる。

第２の発明に係る画像処理装置では、第１の発明に加えて、復号部は、システムクロックに基づいて動作し、システムクロックはピクセルクロックの逓倍周波数を有する。

この構成により、画像表示で規定された時間に遅れることなく、符号化された画像データの復号が行える。

第３の発明に係る画像処理装置では、第１から第２のいずれかの発明に加えて、表示処理部は、復号画素データをフィルタ処理して表示画素データを生成するフィルタを備える。

この構成により、表示画像の縮小、拡大が容易に行える。

第４の発明に係る画像処理装置では、第３の発明に加えて、フィルタは、縮小処理においては、複数の復号画素データを用いて１つの表示画素データを生成する。

この構成により、復号画素データを用いて、表示画像の縮小が容易に行える。

第５の発明に係る画像処理装置では、第１から第４のいずれかの発明に加えて、縮小処理においては、復号制御部は、単位時間において生成される表示画素データよりも多い個数の復号画素データが生成されるように制御する制御信号を生成して復号部に出力し、復号部は、制御信号に従って復号画素データを生成する。

この構成により、画像表示に基づき定められたピクセルクロックの速度に影響を与えることなく、縮小表示に必要となる復号画素データを生成できる。

第６の発明に係る画像処理装置では、制御信号は処理クロック信号を含み、処理クロックは、ピクセルクロックの逓倍周波数を有する。

この構成により、ピクセルクロックの速度を変えずに、単位時間における表示画素データの個数よりも多い個数の復号画素データを生成することができる。

第７の発明に係る画像処理装置では、第５の発明に加えて、制御信号は、イネーブル信号を含み、イネーブル信号は、ピクセルクロックの１周期の期間においてシステムクロックに対して複数回の有効期間を有する。

この構成により、ピクセルクロックの速度を変えずに、単位時間における表示画素データの個数よりも多い個数の復号画素データを生成することができる。

第８の発明に係る画像処理装置では、第３の発明に加えて、フィルタは、拡大処理においては、復号画素データを補間して表示画素データを生成する。

この構成により、復号画素データを用いて、表示画像の拡大が容易に行える。

第９の発明に係る画像処理装置では、第１から第４のいずれかの発明に加えて、拡大処理において、復号制御部は、単位時間において生成される表示画素データよりも少ない個数の復号画素データが生成されるように制御する制御信号を生成して復号部に出力し、復号部は、制御信号に従って復号画素データを生成する。

この構成により、画像表示に基づき定められたピクセルクロックの速度に影響を与えることなく、拡大表示に必要となる復号画素データを生成できる。

第１０の発明に係る画像処理装置では、第９の発明に加えて、制御信号は処理クロック信号を含み、処理クロックは、ピクセルクロックの分周周波数を有する。

この構成により、ピクセルクロックの速度を変えずに、単位時間における表示画素データの個数よりも少ない個数の復号画素データを生成できる。

第１１の発明に係る画像処理装置では、第９の発明に加えて、制御信号は、イネーブル信号を含み、イネーブル信号は、ピクセルクロックを分周した期間にシステムクロックに対して１回の有効期間を有する。

この構成により、ピクセルクロックの速度を変えずに、単位時間における表示画素データの個数よりも少ない個数の復号画素データを生成できる。

第１２の発明に係る画像処理装置では、第８の発明に加えて、復号部で復号された復号画素データを一時的に記憶する記憶部を更に備え、拡大処理においては、フィルタは、記憶部に記憶されている復号画素データを用いて表示される画像の垂直方向の補間を行う。

この構成により、垂直方向にも拡大された画像を表示できる。

第１３の発明に係る画像処理装置では、第１から第１２のいずれかの発明に加えて、表示画素データを用いて画像表示を行う表示部を更に備える。

この構成により、実際の画像を表示できる。

第１４の発明に係る画像処理装置では、第１３の発明に加えて、縮小処理の場合に、復号制御部は、表示部での非表示期間に復号画素データを生成するように指示する制御信号を、復号部に出力する。

この構成により、縮小率が非常に高い場合であっても、ピクセルクロックに基づく単位時間における表示画素データの個数よりも多い個数の復号画素データを、表示を遅らせることなく生成できる。

本発明によれば、復号部と表示処理部の間に大容量のバッファメモリを必要とせず、表示速度に影響を出すことなく、縮小画像、拡大画像の表示を実現できる。

また、最小限の記憶部により、垂直方向にも拡大された画像を表示できる。

更に、表示における縮小率や拡大率の異なる主画像と副画像を並行して復号、表示処理して、主画像に副画像が重ねられた画像を表示できる。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置のブロック図である。

画像処理装置１は、復号部２、表示処理部３、制御部４、復号制御部５を備える。

また、画像処理装置１の外部には、符号化された画像データを記憶する記憶部７、表示画素データにより実際の画像が表示される表示部８が接続されている。なお、記憶部７は、画像処理装置１の内部に設けられても良い。また、画像処理装置１は、ＩＣやＬＳＩなどの半導体集積回路で実現されると、小型化などの観点から好適である。

（全体の概要）
記憶部７に記憶されている符号化された画像データは、復号部２で読み出されて復号され、復号画素データが生成される。表示処理部３は、復号画素データを用いて、表示に用いられる表示画素データを生成し、表示部８に生成した表示画素データを出力する。

ここで、復号制御部５は、表示画素データの生成に要する単位時間における復号部で生成される復号画素データの個数を制御する。

例えば、復号制御部５は、通常画像が縮小して表示される場合には（本明細書において、このような画像を「縮小画像」という）、ピクセルクロックの１周期において２以上の復号画素データが生成されるように制御する。通常画像が拡大して表示される場合（本明細書において、このような画像を「拡大画像」という）には、復号制御部５は、ピクセルクロックの１周期より長い期間において１つの復号画素データが生成されるように制御する。もしくは、画像が通常画像で表示される場合には、ピクセルクロックと同じ周期で復号画素データが生成されるように制御する。

復号制御部５による、表示画素に必要となる復号画素が、表示画素の生成速度に合わせて生成されるので、余分なバッファメモリを必要としない。

このように生成された表示画素データを用いて、表示部８は、実際の画像を表示する。

（各部の詳細について）
（復号部）
まず、復号部２について説明する。

復号部２は、記憶部７から読み出した符号化された画像データを、符号化方式に対応する復号方式で復号して、復号画素データを生成して表示処理部３に出力する。

復号部２は、符号化された画像データを、記憶部７から読み出して復号する。このため、復号部２は、記憶部７からの画像データの読み出しに必要となる読み出し制御の機能も有する。

画像データの符号化方式には、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４などの画像圧縮方式がある。もちろん、これらは例示であり、これら以外の符号化方式でも良い。このため、復号部２は、これらの符号化方式に対応する復号方式、すなわち、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４などに対応する復号方式を用いて、符号化された画像データを復号する。

また、復号部２は、必要に応じて復号されて生成された復号画素データの誤り検出や誤り訂正なども行う。

なお、復号部２は、後述するピクセルクロックの逓倍の周波数を有するシステムクロックに基づいて動作する。なお、システムクロックは、ピクセルクロックの逓倍の周波数を有するので、ピクセルクロックと同じ周波数を有する場合があっても良い。また、システムクロックは、表示処理部３での縮小処理や拡大処理に応じて、分周されて、復号部２で用いられてもよい。

復号部２は、復号画素データを表示処理部３に出力する。

（表示処理部）
次に、表示処理部３について説明する。

表示処理部３は、復号画素データを用いて、ピクセルクロックに基づいて表示に用いられる表示画素データを生成する。生成された表示画素データは表示部８に出力され、表示部８は、実際の画像を表示する。ここで、ピクセルクロックは表示における１画素の表示間隔を規定する時間周期を有するクロックである。画像表示においては、１枚のフレームやピクチャの更新速度が決まっているので、このピクセルクロックは一定である。画像表示が、プログレッシブ方式で表示される場合には、ピクセルクロックの周波数は２７ＭＨｚとなる。

表示処理部３は、生成した表示画素データを表示部８に出力し、表示部８は、表示画素データを用いて実際の画像を表示する。表示部８としては、液晶パネル、有機ＥＬパネル、ＣＲＴなどが用いられる。

表示処理部３は、表示画像を通常画像に比較して表示画像のサイズを、縮小もしくは拡大することがある。もちろん、通常画像のままで表示するための表示画素データの生成を行う場合もある。

ここで、表示処理部３が、通常画像に対応する表示画素データの生成を行う処理を「通常処理」、縮小画像に対応する表示画素データの生成を行う処理を「縮小処理」、拡大画像に対応する表示画素データの生成を行う処理を「拡大処理」という。

表示処理部３に含まれるフィルタ６が、この通常処理、縮小処理、拡大処理を行う。

表示処理部３で、通常処理が行われた場合には、表示部８において、通常画像と同じサイズの画像が表示される。表示処理部３で、縮小処理が行われた場合には、表示部８においては、通常画像よりも小さな画像が表示され、拡大処理が行われた場合には、表示部８においては、通常画像よりも大きな画像が表示される。

表示処理部３は、フィルタ６により、復号画素データを用いて表示画素データを生成する。フィルタ６は、復号画素データを合成して、表示画素データを生成する。このとき、複数の復号画素データから表示画素データを生成する。

通常処理の場合には、表示処理部３は、フィルタ６に入力した復号画素データと同数の表示画素データを生成する。縮小処理の場合には、表示処理部３は、フィルタ６に入力した復号画素データよりも少ない個数の表示画素データを生成する。拡大処理の場合には、表示処理部３は、フィルタ６に入力した復号画素データよりも多い個数の表示画素データを生成する。

図２を用いて、フィルタ６の処理を説明する。

図２は、本発明の実施の形態１におけるフィルタ処理の例示図である。なお、図２を用いて説明する内容は、あくまでも１例であり、他の処理方法であっても良い。

説明を簡単にするために、通常処理（図２（ａ））、縮小処理（図２（ｂ））、拡大処理（図２（ｃ））の３つが、一つの図面中において示されている。本来は、表示画素同士の表示にかかわる時間間隔は、通常処理、縮小処理、拡大処理の別なく同じ時間間隔を有しており（例えば、通常処理の表示画素データ１と表示画素データ２の時間間隔と、拡大処理の表示画素データ１と表示画素データ２の時間間隔は同じである）、復号画素データの時間間隔は、通常処理、縮小処理、拡大処理によって異なる時間間隔を有しているのであるが、図２では、３つの処理を一図で説明するために、復号画素データの時間間隔を見かけ上一定にし、表示画素データの時間間隔を見かけ上、不均一にして表示している。しかしながら、これは図２での説明の便宜上であり、実際には、図３から図８に示されるとおり、表示画素同士の時間間隔は、縮小処理、通常処理、拡大処理の別なく同じであり、復号画素同士の時間間隔は、異なっている。

図２では、復号画素データ１〜４の４つの復号画素データが示されている。表示処理部３は、フィルタ６により、この４つの復号画素データ１〜４を用いて、表示画素データを生成する。

まず、通常処理について説明する。

通常処理では、フィルタ６は、復号画素データと同じ個数の表示画素データを生成する。

図２（ａ）において示されるように、フィルタ６は復号画素データの合成処理を行い、復号画素データ１と復号画素データ２から表示画素データ１を生成する。同様に、フィルタ６は、復号画素データ２と復号画素データ３から表示画素データ２を生成し、復号画素データ３と復号画素データ４から表示画素データ３を生成する。結果として、フィルタ６は、復号画素データと同じ個数の表示画素データを生成する。

次に、縮小処理について説明する。縮小処理では、フィルタ６は、復号画素データの個数より少ない個数の表示画素データを生成する。

図２（ｂ）において示されるように、フィルタ６は、復号画素データ１と復号画素データ２から表示画素データ１を生成する。更に、フィルタ６は、復号画素データ３と復号画素データ４から表示画素データ２を生成する。結果として、フィルタ６は、復号画素データの個数より少ない個数の表示画素データを生成する。図２では、表示画素データの個数は、復号画素データの個数の半分である。

次に、拡大処理について説明する。拡大処理では、フィルタ６は、復号画素データの個数より多い個数の表示画素データを生成する。

図２（ｃ）において示されるように、フィルタ６は、復号画素データ１と復号画素データ２から表示画素データ１と表示画素データ２を生成する。ここで、表示画素データ１の生成における復号画素データ１と復号画素データ２の寄与比率と、表示画素データ２の生成における復号画素データ１と復号画素データ２の寄与比率は、異なっても良い。あるいは、表示画素データ２は表示画素データ１のコピーでも良い。

同様に、フィルタ６は、復号画素データ２と復号画素データ３から、表示画素データ３と表示画素データ４を生成し、復号画素データ３と復号画素データ４から、表示画素データ５と表示画素データ６を生成する。結果として、拡大処理においては、フィルタ６は、復号画素データの倍の個数の表示画素データを生成する。

表示処理部３は、フィルタ６を用いて、表示画像をそのままのサイズである通常画像として表示する通常処理、表示画像を通常画像よりも小さいサイズである縮小画像として表示する縮小処理、表示画像を通常画像よりも大きいサイズである拡大画像として表示する拡大処理を行う。

表示部８は、表示処理部３から受け取った表示画素データに基づき、通常画像、縮小画像、拡大画像のいずれかの画像を表示する。

（制御部）
次に、制御部４について説明する。

制御部４は、復号部２と表示処理部３の動作を制御する。制御部４は、中央演算処理装置（以下、「ＣＰＵ」という）やＲＯＭやＲＡＭを備え、ＲＯＭやＲＡＭに記憶されたプログラムに従って、復号部２と表示処理部３の動作を制御する。例えば、制御部４は、復号部２での復号における逆量子化係数の付与や、誤り検出の検出式などの付与を行う。あるいは、制御部４は、表示処理部３に対して、通常処理、縮小処理、拡大処理のいずれかを指示する。

（復号制御部）
次に、復号制御部５について説明する。

復号制御部５は、ピクセルクロックに基づく単位時間において、復号部２が生成する復号画素データの個数を制御する。

（通常処理の場合の復号制御）
まず、通常処理の場合における、復号制御部５の動作を説明する。

表示処理部３において通常処理がなされる場合には、復号制御部５は、この単位時間内において表示画素データと同じ個数の復号画素データを生成するように、復号部２を制御する。通常処理の場合には、復号画素データの個数により定まるサイズの画像である通常画像が表示されるので、復号部２は、表示スピードにより規定されるピクセルクロックの１周期毎に生成される表示画素データの生成速度に合わせて復号画素データを生成する必要があるからである。

この通常処理の場合について、図３、図４を用いて説明する。

図３、図４は、本発明の実施の形態１における通常処理での復号画素データの生成を示すタイミングチャートである。

図３において、システムクロックは復号部２をはじめ、画像処理装置１において用いられる共通のクロック信号である。ピクセルクロックは、画像を表示する際の表示速度により定まる１画素データの表示に要する時間間隔を規定するクロック信号であり、表示画素データの生成間隔を規定する。表示画素データは、このピクセルクロックに従って生成される。処理クロック２０は、復号制御部５で生成される制御信号の１種類であり、復号画素データは、この処理クロック２０に基づいて生成される。図４におけるイネーブル信号は、この制御信号の１種類である。

通常処理においては、表示画素データの生成速度に合わせて復号画素データが生成されればよい（すなわち、ピクセルクロックに基づく単位時間において、生成される表示画素データと同じ個数の復号画素データが生成される）。

表示画素データは、ピクセルクロックに基づいて生成され、図３、４では、ピクセルクロックの立ち上がりエッジに同期して生成される。すなわち、ピクセルクロックの１周期に１個の表示画素データが生成される。

処理クロック２０は、ピクセルクロックと同じ周期を有する。復号制御部５で生成された処理クロック２０は、復号部２で用いられる。復号部２は、処理クロック２０の立ち上がりエッジに同期して、復号画素データを生成する。このため、単位時間においては、表示画素データと同数の復号画素データが生成される。

表示画素データ１は、復号画素データ０（図示せず）と復号画素データ１から生成され、表示画素データ２は、復号画素データ１と復号画素データ２から生成され、表示画素データ３は、復号画素データ２と復号画素データ３から生成される。２タップのフィルタが用いられればよい。

また、図４に示されるように、制御信号としてイネーブル信号２１が用いられて、復号画素データが生成されても良い。

イネーブル信号２１は、ピクセルクロックの１周期の期間において、システムクロックに対して１回の有効期間を有している。復号部２は、イネーブル信号２１とシステムクロックに基づいて復号画素データを生成する。具体的には、システムクロックの立ち上がりエッジと、イネーブル信号のＨｉｇｈレベル（有効期間）の両方が満足されるタイミングにおいて、復号部２は、復号画素データを生成する。

このイネーブル信号２１によっても、復号部２は、単位時間において表示画素データと同数の復号画素データを生成する。

以上の処理により、表示画素データの生成速度に合わせて復号画素データを生成することができ、復号部２と表示処理部３との間に、余分なバッファメモリを必要としない。更に、生成された表示画素データにより、表示部８は、通常画像を表示できる。

（縮小処理の場合の復号制御）
次に、縮小処理の場合における復号制御部５の動作を説明する。

表示処理部３において縮小処理がなされる場合には、復号制御部５は、この単位時間内において表示画素データよりも多い個数の復号画素データを生成するように、復号部２を制御する。縮小処理の場合には、ピクセルクロックの１周期毎に生成される１つの表示画素データは、複数の復号画素データから生成されるので、ピクセルクロックの１周期内において、復号部２は、複数の復号画素データを生成する必要があるからである。

図５、図６を用いて、縮小処理について説明する。

図５、図６は、本発明の実施の形態１における縮小処理での復号画素データの生成を示すタイミングチャートである。

縮小処理においては、通常画像に対応する復号画素データの個数に対して、少ない個数の表示画素データにより、画像の表示が行われる。ここで、表示画素データの生成は、画像表示の時間間隔であるピクセルクロックにより一定であるので、復号画素データの生成速度を早くする必要がある。

通常処理と同じく、表示画素データはピクセルクロックの立ち上がりエッジに同期して生成される。すなわち、ピクセルクロックの１周期の期間に１つの表示画素データが生成される。

まず、図５を用いて、ピクセルクロックの逓倍の周期を持つ処理クロック２２により、復号画素データが生成される過程を説明する。

処理クロック２２は、復号制御部５で生成される制御信号の１種類であり、ピクセルクロックの逓倍の周期を有するクロック信号である。図５では、ピクセルクロックの２倍の周期を有する。

復号部２は、この処理クロック２２に基づいて復号画素データを生成する。具体的には、処理クロックの立ち上がりエッジに同期して復号画素データを生成する。このため、単位時間において生成される表示画素データの倍の個数の復号画素データが生成される。

すなわち、表示画素データ１〜３の３つの表示画素データが生成される間に、復号画素データ１〜６の６つの復号画素データが生成される。ピクセルクロックを基準とすれば、ピクセルクロックの３周期の間に、６つの復号画素データが生成される。

表示画素データ１は、復号画素データ０（図示せず）と復号画素データ１の合成により生成される。表示画素データ２は、復号画素データ２と復号画素データ３の合成により生成される。表示画素データ３は、復号画素データ４と復号画素データ５の合成により表示される。結果として６つの復号画素データから３つの表示画素データが生成され、通常画像の画素データ数に比べて減少した画素数を有する表示画素データとなって、縮小画像が実現される。なお、復号画素に対する２タップのフィルタにより、表示画素が生成されればよい。

次に、図６を用いて、イネーブル信号による復号画素データの生成について説明する。

イネーブル信号２３は、ピクセルクロックの１周期の間に、複数回（図６では２回）の有効期間があるイネーブル信号である。

復号部２は、システムクロックの立ち上がりエッジに同期して、イネーブル信号２３が有効期間（図６では、Ｈｉｇｈ期間）であるタイミングで、復号画素データを生成する。この結果、図６においては、ピクセルクロックの１周期の間に、２つの復号画素データが生成され、最終的には、表示画素データの倍の個数の復号画素データが生成される。

以上の処理により、１画素の表示間隔を規定するピクセルクロックで生成される表示画素データ数よりも多い個数の復号画素データを生成でき、復号画素データの個数よりも少ない個数となる表示画素データを生成して、縮小画像を生成できる。なお、処理クロックやイネーブル信号の時間間隔は、常に一定である必要はなく、設計仕様に応じて変化しても良い。また、実施の形態１においては、縮小処理は、水平方向に２分の１の縮小を例として説明したが、縮小の比率に応じて、処理クロックやイネーブル信号の時間間隔は変化する。

（拡大処理の場合の復号制御）
次に、図７、図８を用いて、拡大処理の場合の復号制御について説明する。

図７、図８は、本発明の実施の形態１における拡大処理での復号画素データの生成を示すタイミングチャートである。拡大処理においては、復号画素データの生成時間間隔が、通常処理、縮小処理の場合よりも長いので、図中に収めるため、通常処理、縮小処理の場合よりも時間軸方向に圧縮した状態で図面を記載している。

拡大処理においては、通常画像に対応する復号画素データの個数に対して、多くの個数の表示画素データにより、画像の表示が行われる。ここで、表示画素データの生成は、画像表示の時間間隔であるピクセルクロックにより一定であるので、復号画素データの生成速度を遅くする必要がある。というのも、複数の表示画素データの生成において、一つの復号画素データが共通に用いられるからである。

通常処理と同じく、表示画素データはピクセルクロックの立ち上がりエッジに同期して生成される。すなわち、ピクセルクロックの１周期の期間に１つの表示画素データが生成される。

まず、図７を用いて、ピクセルクロックを分周した周期を持つ処理クロック２４により、復号画素データが生成されることを説明する。

処理クロック２４は、復号制御部５で生成される制御信号の１種類であり、ピクセルクロックを分周した周期を有するクロック信号である。図７では、ピクセルクロックの２分の１の周期を有する。

復号部２は、この処理クロック２４に基づいて復号画素データを生成する。具体的には、処理クロックの立ち上がりエッジに同期して復号画素データを生成する。このため、単位時間において生成される表示画素データの半分の個数の復号画素データが生成される。

表示画素データ１は、復号画素データ１と復号画素データ２の合成により生成される。表示画素データ２は、復号画素データ１と復号画素データ２の合成により生成される。すなわち、復号画素データ１は、表示画素データ１と表示画素データ２の両方の生成に用いられる。この表示画素データ１と表示画素データ２の生成に用いられるように、表示画素データ２を出力するまでは、復号画素データ１と復号画素データ２を保持するように、復号画素データ３の復号処理の時間が制御される。この結果、復号画素データ１が復号画素データ３で上書きされること無く保持されるので、表示画素データ２が正確に生成される。また、表示画素データ１と表示画素データ２のいずれも、復号画素データ１と復号画素データ２の両方から生成されるが、合成時の比率を変えるなどしても良い。これらは、２タップのフィルタから生成されるので、フィルタ係数を変えれば実現できる。

次に、図８を用いて、イネーブル信号による復号画素データの生成について説明する。

イネーブル信号２５は、ピクセルクロックの複数の周期（図８では２周期）の間に、１回の有効期間があるイネーブル信号である。

復号部２は、システムクロックの立ち上がりエッジに同期して、イネーブル信号２５が有効期間（図８では、Ｈｉｇｈ期間）であるタイミングで、復号画素データを生成する。この結果、図８においては、ピクセルクロックの２周期の間に、１つの復号画素データが生成され、最終的には、表示画素データの半分の個数の復号画素データが生成される。

以上の処理により、１画素の表示間隔を規定するピクセルクロックで生成される表示画素数よりも少ない個数の復号画素データを生成でき、復号画素データの個数よりも多い個数となる表示画素データを生成して、拡大画像を生成できる。

実施の形態１に記載の画像処理装置１により、復号部２と表示処理部３の間に大容量のバッファメモリを必要とせず、表示速度に影響を出すことなく、縮小画像、拡大画像の表示を実現できる。なお、実施の形態１においては、２タップのフィルタを用いて、復号画素から表示画素を生成することを説明したが、これは１例であり、３タップ以上のフィルタから表示画素を生成するようにしてもよい。

（実施の形態２）
次に実施の形態２について説明する。

実施の形態２で説明する画像処理装置は、実施の形態１で説明した画像処理装置の機能に加えて、拡大処理において垂直補間するための記憶部１０が追加されている。

図９は、本発明の実施の形態２における画像処理装置のブロック図であり、図１０は、本発明の実施の形態２における垂直補間を説明する説明図である。

記憶部１０は、復号部２で復号された復号画素データを一時的に記憶する。記憶部１０の容量は任意に定められればよいが、拡大処理における垂直方向の補間に必要となる水平ラインの１ライン分の復号画素データが記憶される容量が、最低限必要となる。表示処理部３は、復号部２から出力される復号画素データと、記憶部１０に記憶されている復号画素データの両方を用いて垂直方向の補間を行い、水平方向に加えて／別に垂直方向の拡大処理を行う。

なお、記憶部１０は、記憶部７と別個に設けられても良く、記憶部７の一部に備えられても良い。

図１０を用いて垂直補間について説明する。

なお、ここでいう水平とは、表示画面における水平方向を指し、垂直とは、表示画面における垂直方向をさす。

図１０を用いて説明する。図１０には、第１水平ラインと第２水平ライン、及びこの２つの間に形成される補間ラインの３つの水平ラインが示されている。図１０においては、まず第１水平ラインの復号と水平方向の拡大処理が行われ、次いで、第２水平ラインの復号と水平方向の拡大処理が行われ、第１水平ラインの復号画素データと第２水平ラインの復号画素データから、補間ラインの復号画素の位置に対応する画素データが生成され、最後に、補間ラインの水平方向の拡大処理を行う。このとき、記憶部１０は、補間ラインを生成するために、表示処理部３で水平方向に拡大処理された第１水平ラインの表示画素データが、記憶される。図１０において、○印は復号画素データを示し、×印は表示画素データを示す。

まず、復号部２は、第１水平ラインの復号画素データ（図１０の第１水平ラインの○印）を復号して、表示処理部３に出力する。表示処理部３は、フィルタ６を用いて、第１水平ラインの拡大処理を行い、表示画素データ（図１０中の×印）を生成する。表示処理部３は、拡大処理がなされた第１水平ラインの表示画素データを記憶部１０に出力し、記憶部１０は、この第１水平ラインの表示画素データを記憶する。

次に、復号部２は、第２水平ラインの復号画素（図１０中の第２水平ラインの○印）データを生成して表示処理部３に出力する。表示処理部３は、フィルタ６を用いて、第２水平ラインの水平方向の拡大処理を行い、表示画素データを生成する（図１０中の第２水平ラインの×印）。

次に、表示処理部３は、記憶部１０に記憶されている第１水平ラインの表示画素データを読み出し、この表示画素データにおける復号画素データから直接生成された表示画素データ（図１０中の、第１水平ラインにおける○印と×印が重畳された画素データ）と、第２水平ラインの対応する画素データ（図１０中の、第２水平ラインにおける○印と×印が重畳された画素データ）を用いて、補間ラインの復号画素位置の画素データを生成する。次いで、表示処理部３は、補間ラインの水平方向の拡大処理を行う。この水平方向の拡大処理は、第１水平ライン、第２水平ラインの水平方向の拡大処理と同じく、フィルタ６を用いてもよく、復号画素位置の画素データのコピーにより行われても良い。以上の処理の結果、記憶部１０を適切に利用して、垂直方向の拡大処理が実現される。

なお、ここでは、補間ラインの水平方向の拡大処理を、補間ラインの画素データを基に行うことを説明したが、拡大処理の終了した第１水平ラインと第２水平ラインの全ての表示画素データを用いて、補間ラインの全画素データを生成することでも良い。この場合には、補間ラインの水平方向の拡大処理を削減できる。

なお、実施の形態２における場合でも、表示画素データの個数に対して少ない個数の復号画素データが生成される必要があるので、実施の形態１と同様に、ピクセルクロックを分周した周期を有する処理クロックや、ピクセルクロックの複数の周期の間に１回の有効期間を有するイネーブル信号により、復号部２は復号画素データを生成する。

実施の形態２における画像処理装置１により、余分なバッファメモリを必要とせず、表示速度への影響も与えず、符号化された画像の縮小表示と拡大表示を実現する。しかも、拡大表示においては、最小限の構成により、水平方向に加えて／別に、垂直方向の拡大表示も実現できる。

また、垂直方向の拡大は、次のような手順で行っても良い。

まず、復号部２が、第１水平ラインの復号処理を行い、記憶部１０が、第１水平ラインの復号画素を記憶する。次に、復号部２は、第２水平ラインの復号を行いながら、記憶部１０から第１水平ラインの復号画素データを読み出す。表示処理部３は、この第１水平ラインと第２水平ラインから、補間ラインを生成する。これにより、垂直方向の拡大が行われる。

次に、第１水平ラインと第２水平ラインおよび補間ラインの水平方向に対する拡大処理が行われ、水平、垂直の拡大が実現される。このように、水平方向と垂直方向の拡大処理が終了した、第１水平ラインと補間ライン、第２水平ラインの順に、表示部８に表示画素データが出力され、表示部８において、水平、垂直に拡大された画像が表示される。

（実施の形態３）
次に実施の形態３について説明する。

実施の形態３では、縮小処理における復号部２での復号の更なる工夫について説明する。

図１１は、本発明の実施の形態３における画像と復号との関係を示す説明図である。

縮小処理においては、表示画素データの生成に要求される速度（ピクセルクロックにより定まる）に対して、高速に復号画素データ（すなわち、単位時間においては表示画素データよりも多い個数の復号画素データ）を生成する必要がある。実施の形態１では、ピクセルクロックを逓倍した処理クロックを制御信号として生成することで、単位時間における表示画素データ数よりも多い個数の復号画素データを生成することを実現した。

しかしながら、縮小率が高くなると、単位時間における復号画素データの生成速度を更に上げる必要が出る。このとき、復号部２での処理時間には限界があり、復号画素データを生成する周期である処理クロックの高速化にも限界が生じる。

あるいは、垂直方向の縮小処理を行う場合には、ある水平ラインの復号が終了して、復号画素データが記憶されている必要があるが、要求される表示時間が復号処理に要する時間よりも短い場合もある。このような場合にも次に説明するような、非表示領域に対応する期間を利用して、復号画素データを生成する。

実施の形態３では、画像表示におけるブランク領域に対応する期間（水平ブランク領域、垂直ブランク領域）、及び縮小表示による非表示領域に対応する期間を活用して、復号部２は、復号画素データを生成する。

図１１においては、表示画像の周囲に非表示領域が存在し、更にその周囲に水平ブランク領域と垂直ブランク領域が存在する。

今、第１水平ラインから第３水平ラインまでの復号が必要である。ここで、表示画像の実際の表示が始まる時間までに、第３水平ラインの復号を開始する必要がある。しかしながら、処理クロックを早くしても、表示画像の実際の表示が始まる時間までに第２水平ラインの復号を終了できない。

これを解決するために、第２水平ラインは、水平ブランク領域と非表示領域にかかわる期間を利用して、復号される。

具体的には、復号制御部５は、縮小処理の縮小率が所定値以上の場合には、復号部２に対して制御信号を出力する。この制御信号は、上述のように、ブランク領域や非表示領域にかかわる期間を利用して復号画素データを生成することの指示を含んでいる。

以上の処理により、表示画像の実際の表示が始まる時間までに、第２水平ラインの復号が終了し、第２水平ラインの復号画素データを利用して、表示画素データが生成される。

なお、実施の形態１から３における画像処理装置１において処理される符号化された画像データは、主画像のみを処理してもよく、副画像のみを処理してもよく、双方を処理してもよい。

（実施の形態４）
次に、実施の形態４について説明する。

実施の形態４における画像処理装置は、符号化された画像データが、主画像と副画像の２つを含んでいる場合に、別々の処理経路で主画像と副画像のそれぞれを処理することが説明される。なお、主画像は例えば映画の本編に関する画像であり、副画像は映画の字幕に関する画像である。

図１２は、本発明の実施の形態４における画像処理装置のブロック図である。

画像処理装置１は、２系列の復号部２ａ、２ｂ、表示処理部３ａ、３ｂ、フィルタ６ａ、６ｂ、復号制御部５ａ、５ｂ、記憶部１０ａ、１０ｂを備えている。制御部４は、２系列のそれぞれで共通に用いられる。制御部４、復号部２ａ、２ｂ、表示処理部３ａ、３ｂ、フィルタ６ａ、６ｂ、復号制御部５ａ、５ｂ、記憶部１０ａ、１０ｂは、実施の形態１〜３までに説明されたのと同様の動作を行う。

一方の系列は主画像を処理し、他方の系列は副画像を処理する。

記憶部７は、主画像にかかわる符号化された画像データと、副画像にかかわる符号化された画像データの両方を記憶している。

復号部２ａは、記憶部７から主画像にかかわる符号化された画像データを読み出す。復号部２ａは、読み出した符号化された画像データを復号し、復号画素データを生成し表示処理部３ａに出力する。表示処理部３ａは、フィルタ６ａを用いて、復号画素データから表示画素データを生成する。このとき、縮小処理／拡大処理を行う場合には、復号制御部５ａは、復号部２ａに対して制御信号を出力する。制御信号は実施の形態１で説明された処理クロックやイネーブル信号である。復号部２ａは、この制御信号に従って、復号画素データを生成する。例えば縮小処理の場合には、単位時間において表示画素データの個数よりも多い個数の復号画素データを生成し、拡大処理の場合には、単位時間において表示画素データの個数よりも少ない個数の復号画素データを生成する。この復号制御については実施の形態１〜３で説明されたのと同様である。

表示処理部３ａは、生成した表示画素データを表示部８に出力する。表示部８は、この表示画素データを用いて画像を表示する。この表示される画像は主画像である。

この主画像の復号、表示処理と並行して、他方の系列で副画像が復号、表示処理される。

復号部２ｂは、記憶部７から副画像にかかわる符号化された画像データを読み出す。復号部２ｂは、読み出した符号化された画像データを復号し、復号画素データを生成し表示処理部３ｂに出力する。表示処理部３ｂは、フィルタ６ｂを用いて、復号画素データから表示画素データを生成する。このとき、縮小処理／拡大処理を行う場合には、復号制御部５ｂは、復号部２ｂに対して制御信号を出力する。制御信号は実施の形態１で説明された処理クロックやイネーブル信号である。復号部２ｂは、この制御信号に従って、復号画素データを生成する。例えば縮小処理の場合には、単位時間において表示画素データの個数よりも多い個数の復号画素データを生成し、拡大処理の場合には、単位時間において表示画素データの個数よりも少ない個数の復号画素データを生成する。この復号制御については実施の形態１〜３で説明されたのと同様である。

表示処理部３ｂは、生成した表示画素データを表示部８に出力する。表示部８は、この表示画素データを用いて画像を表示する。この表示される画像は副画像である。表示部８は、主画像に副画像を重ねて表示する。例えば、通常画像のサイズである主画像に対して、サイズが縮小された副画像が重ねられて表示される。

ここで、主画像と副画像の双方が縮小処理／拡大処理される場合もあるが、その縮小率や拡大率は、主画像に対する場合と副画像に対する場合とで異なることがある。例えば、主画像を通常画像のサイズで表示し、副画像を縮小することがある。

このような場合に、図１に示されるように、復号と表示処理が１系列しかない場合には、主画像と副画像とで異なる縮小や拡大に対応できない。これに対して、図１２に示される画像処理装置１は、復号と表示処理を２系列有しているので、主画像と副画像とで異なる縮小、拡大に対応できる。

なお、回路規模の削減のために、主画像は常に通常画像で表示され、副画像のみ縮小、拡大がされる仕様とし、主画像の系列にかかわる復号制御部５ａを削減することも好適である。

本発明は、例えばＤＶＤプレイヤーやＤＶＤレコーダなどの、符号化された画像データを復号して表示する画像表示の分野等において好適に利用できる。

本発明の実施の形態１における画像処理装置のブロック図 本発明の実施の形態１におけるフィルタ処理の例示図 本発明の実施の形態１における通常処理での復号画素データの生成を示すタイミングチャート 本発明の実施の形態１における通常処理での復号画素データの生成を示すタイミングチャート 本発明の実施の形態１における縮小処理での復号画素データの生成を示すタイミングチャート 本発明の実施の形態１における縮小処理での復号画素データの生成を示すタイミングチャート 本発明の実施の形態１における拡大処理での復号画素データの生成を示すタイミングチャート 本発明の実施の形態１における拡大処理での復号画素データの生成を示すタイミングチャート 本発明の実施の形態２における画像処理装置のブロック図 本発明の実施の形態２における垂直補間を説明する説明図 本発明の実施の形態３における画像と復号との関係を示す説明図 本発明の実施の形態４における画像処理装置のブロック図

符号の説明

１ 画像処理装置
２ 復号部
３ 表示処理部
４ 制御部
５ 復号制御部
６ フィルタ
７ 記憶部
８ 表示部

Claims (15)

1. 符号化された画像データを復号して、復号画素データを生成する復号部と、
   前記復号画素データを用いて、１画素の表示に要する時間間隔を規定するピクセルクロックに基づいて表示に用いられる表示画素を生成する表示処理部と、
   前記復号部と前記表示処理部の動作を制御する制御部と、
   前記ピクセルクロックにより定義される単位時間において、前記復号部で生成される前記復号画素データの個数を制御する復号制御部を備え、
   前記表示処理部は、表示画像のサイズを通常画像に対して縮小する縮小処理および／又は表示画像のサイズを通常画像に対して拡大する拡大処理を行う画像処理装置。
2. 前記復号部は、システムクロックに基づいて動作し、前記システムクロックは前記ピクセルクロックの逓倍周波数を有する請求項１記載の画像処理装置。
3. 前記表示処理部は、前記復号画素データをフィルタ処理して前記表示画素データを生成するフィルタを備える請求項１から２のいずれか記載の画像処理装置。
4. 前記フィルタは、前記縮小処理においては、複数の復号画素データを用いて１つの表示画素データを生成する請求項３記載の画像処理装置。
5. 前記縮小処理においては、前記復号制御部は、前記単位時間において生成される前記表示画素データよりも多い個数の前記復号画素データが生成されるように制御する制御信号を生成して前記復号部に出力し、前記復号部は、前記制御信号に従って前記復号画素データを生成する請求項１から４のいずれか記載の画像処理装置。
6. 前記制御信号は処理クロック信号を含み、前記処理クロックは、前記ピクセルクロックの逓倍周波数を有する請求項５記載の画像処理装置。
7. 前記制御信号は、イネーブル信号を含み、前記イネーブル信号は、前記ピクセルクロックの１周期の期間において前記システムクロックに対して複数回の有効期間を有する請求項５記載の画像処理装置。
8. 前記フィルタは、前記拡大処理においては、前記復号画素データを補間して前記表示画素データを生成する請求項３記載の画像処理装置。
9. 前記拡大処理において、前記復号制御部は、前記単位時間において生成される前記表示画素データよりも少ない個数の前記復号画素データが生成されるように制御する制御信号を生成して前記復号部に出力し、前記復号部は、前記制御信号に従って前記復号画素データを生成する請求項１から４のいずれか記載の画像処理装置。
10. 前記制御信号は処理クロック信号を含み、前記処理クロックは、前記ピクセルクロックの分周周波数を有する請求項９記載の画像処理装置。
11. 前記制御信号は、イネーブル信号を含み、前記イネーブル信号は、前記ピクセルクロックを分周した期間に前記システムクロックに対して１回の有効期間を有する請求項９記載の画像処理装置。
12. 前記復号部で復号された復号画素データを一時的に記憶する記憶部を更に備え、前記拡大処理においては、前記フィルタは、前記記憶部に記憶されている復号画素データを用いて表示される画像の垂直方向の補間を行う請求項８に記載の画像処理装置。
13. 前記表示画素データを用いて画像表示を行う表示部を更に備える請求項１から１２のいずれか記載の画像処理装置。
14. 前記縮小処理の場合に、前記復号制御部は、前記表示部での非表示期間に復号画素データを生成するように指示する前記制御信号を、前記復号部に出力する請求項１３記載の画像処理装置。
15. 符号化された画像データを復号して、復号画素データを生成する復号ステップと、
    前記復号画素データを用いて、１画素の表示に要する時間間隔を規定するピクセルクロックに基づいて表示に用いられる表示画素を生成する表示処理ステップと、
    前記復号ステップと前記表示処理ステップの動作を制御する制御ステップと、
    前記ピクセルクロックにより定義される単位時間において、前記復号ステップで生成される前記復号画素データの個数を制御する復号制御ステップを備え、
    前記表示処理ステップは、表示画像のサイズを通常画像に対して縮小する縮小処理および／又は表示画像のサイズを通常画像に対して拡大する拡大処理を行う画像処理方法。

Images