JP2004200760A - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP2004200760A JP2004200760A JP2002363575A JP2002363575A JP2004200760A JP 2004200760 A JP2004200760 A JP 2004200760A JP 2002363575 A JP2002363575 A JP 2002363575A JP 2002363575 A JP2002363575 A JP 2002363575A JP 2004200760 A JP2004200760 A JP 2004200760A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- image
- resolution
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】高解像度の画像を含む動画像圧縮データを生成でき、またこれを再生できるようにする。
【解決手段】情報源符号化器１では、差分画像圧縮部２０で、高解像度の画像データ１Ａとその画像データ１Ａから再生された低解像度の画像データとの差分画像データ２３Ａを圧縮して差分圧縮データ１Ｃを生成し、多重化符号化器２で、その差分圧縮データ１Ｃを対応する圧縮データ１Ｂへ付加し動画像圧縮データ２Ａとして出力する。情報源復号器の静止画像再生部では、動画像圧縮データから分離された差分圧縮データを再生し、得られた差分画像データと動画像圧縮データから再生された低解像度の画像データとを合成して、高解像度の静止画像データを生成する。
【選択図】 図１
【解決手段】情報源符号化器１では、差分画像圧縮部２０で、高解像度の画像データ１Ａとその画像データ１Ａから再生された低解像度の画像データとの差分画像データ２３Ａを圧縮して差分圧縮データ１Ｃを生成し、多重化符号化器２で、その差分圧縮データ１Ｃを対応する圧縮データ１Ｂへ付加し動画像圧縮データ２Ａとして出力する。情報源復号器の静止画像再生部では、動画像圧縮データから分離された差分圧縮データを再生し、得られた差分画像データと動画像圧縮データから再生された低解像度の画像データとを合成して、高解像度の静止画像データを生成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、特に高解像度の画像を含む動画像圧縮データを生成し、また動画像圧縮データから高解像度の画像を再生する際に用いられる画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
一般に、多数の静止画像からなる動画像をデジタル化して記録媒体に格納したり伝送する場合、そのデータ量が膨大となることから、デジタル化した動画像を圧縮処理してそのデータ量を削減する画像処理技術が広く利用されている。
このような画像処理技術の代表的なものとしてＭＰＥＧ（Motion Picture Coding Experts Group）規格がある。図４にＭＰＥＧでの動画像圧縮／再生処理の手順を示す。
【０００３】
動画像を圧縮する圧縮処理１００では、まず、入力された動画像１２０に対して情報源符号化器１１１で、ＤＣＴ（Discrete Cosine Transfer：離散コサイン変換）、量子化、フレーム間予測および動き補償、可変長符号化などの情報圧縮処理を行う。
続いて、多重化符号器１１２で、階層構造符号化処理を行い、ＭＰＥＧ階層構造のデータフォーマットに変換して動画像圧縮データを生成する。ここでは、圧縮された動画像データに音声やその他種々のデータが組み込まれる。そして、送信バッファ１１３でバッファリングして出力レートを制御し、通信媒体や記録媒体へ動画像圧縮データ１２１を出力する。
【０００４】
一方、圧縮データを再生する再生処理１０１では、後段の復号処理時間を保証するため、入力された動画像圧縮データ１２２を受信バッファ１１４で一時的に保持する。
次に、多重化復号器１１５で、受信バッファ１１４に保持されている動画像圧縮データに対して階層構造復号処理を行い、ＭＰＥＧ階層構造のデータフォーマットから各圧縮データを切出す。そして、情報源復号器１１６で、逆ＤＣＴ、逆量子化、フレーム間予測および動き補償、可変長符号復号処理などの情報再生処理を行い、動画像１２３を出力する。
【０００５】
ＭＰＥＧでは、動画像を圧縮する際、空間情報圧縮、時間情報圧縮および可変長符号化圧縮の３つの情報圧縮処理を用いている。
空間情報圧縮処理では、静止画像の空間領域における冗長性を除去することにより画像を圧縮している。自然画像は、領域を狭く限ると画素のレベル値が互いに近いことが多く、ある領域（空間）内における画素値の変化の度合い（空間周波数）が比較的小さい。
【０００６】
したがって、画像を空間周波数領域のデータに変換すると、そのデータは空間周波数の低い低周波側に偏ることから、高周波側のデータより少ないビット数を低周波側のデータに割り当てることにより、全体として変換前よりデータ量で画像を符号化できる。
ＭＰＥＧでは、この空間周波数変換にＤＣＴ処理を用いており、例えば１６×１６画素のブロックごとに入力画像がＤＣＴ処理される。
【０００７】
時間情報圧縮処理では、動画像の時間領域における冗長性を除去することにより動画像を圧縮している。動画像はフレームと呼ばれる多数の静止画像から構成されており、これらフレームのほとんどは１／３０秒以下の間隔で撮像された連続する静止画像であることから、前後の画像は似た内容となる。
したがって、直前フレームを元に、現フレームとの差のみを抽出して符号化する（フレーム間予測）ことによりデータ量を削減できる。また、画像内で動く物体を検出し、その動きを予測して現フレームとの差を抽出すれば（動き補償）、予測の精度が向上してデータ量をさらに削減できる。
【０００８】
可変長符号化圧縮処理では、前述した空間情報圧縮および時間情報圧縮の各処理が行われた画像データを構成する各ビット列について発生頻度を調べ、発生頻度の高いビット列に短い符号を割り当てるとともに、発生頻度の低いビット列に長い符号を割り当てることにより、画像データを圧縮している。この際、ハフマン（Huffmann）符号化器などが広く用いられる。
【０００９】
次に、図５および図６を参照して、ＭＰＥＧの時間情報圧縮処理について説明する。図５はＭＰＥＧのフレーム間予測処理例である。図６はＭＰＥＧのデータ階層構造を示す説明図である。
ＭＰＥＧでは、例えば０．５秒（１５枚）程度のフレームをグループ化したＧＯＰ（Group of Picture）を時間情報圧縮処理の処理単位としている。これにより、このＧＯＰ単位で動画像に対するランダムアクセスが可能となり、途中からの再生、早送り、巻き戻し、逆転再生などのトリックモードが実現される。
【００１０】
１つのＧＯＰには、Ｉピクチャ（Intra Picture）と呼ばれるフレーム内符号化画像、Ｐピクチャ（Predictive Picture）と呼ばれるフレーム間符号化画像、およびＢピクチャ（Bidirectionally Picture）と呼ばれる双方向予測符号化画像の３種類の圧縮データが存在する。
Ｉピクチャは、当該ＧＯＰでの時間情報圧縮処理の基準となる元のフレームと等しい完結した圧縮データであり、１ＧＯＰ内には最低１つ必要となる。Ｐピクチャは、対応するフレームより前（過去）のＩピクチャやＰピクチャのフレームとの差分（単方向フレーム間予測）が記録された圧縮データである。
【００１１】
一方、Ｂピクチャは、対応するフレームの前過去）および後（未来）に位置するＩピクチャやＰピクチャの２つのフレームとの差分（双方向フレーム間予測）が記録された圧縮データである。
このとき、Ｂピクチャは、自フレームより未来のフレームをフレーム間予測に用いるため、符号化処理では、元のフレーム順の並び替えが行われ、Ｂピクチャの双方向フレーム間予測に用いられた２つのフレームのピクチャに後続する順序となる。
【００１２】
例えば、図５のフレームＦ１からＩピクチャＩ１が生成され、このフレームＦ１（Ｉ１）とフレームＦ４との差分からＰピクチャＰ４が生成されている場合、フレームＦ１の直後のフレームＦ２のＢピクチャＢ２、およびそのフレームＦ２の直後のフレームＦ３のＢピクチャＢ３は、フレームＦ１（Ｉ１）とフレームＦ４（Ｐ４）とからそれぞれ生成される。
このとき、圧縮データでは、処理順序を考慮して、ＩピクチャＩ１の直後にＰピクチャＰ４が配置され、その後にＢピクチャＢ２，Ｂ３が配置される。
【００１３】
このようにして生成された各ピクチャは、図６のデータ階層構造に従って出力される。
各ＧＯＰには、それぞれの管理情報が格納されたシーケンスヘッダＳＨがその先頭に付加され、再生順に並べられる。
各ＧＯＰは、時間情報圧縮処理で生成された各ピクチャに、その管理情報が格納されたＧＯＰヘッダＨＤＲ１が付加されて構成されている。
また、各ピクチャは、そのピクチャの管理情報が格納されたピクチャヘッダＨＤＲ２が付加されるとともに、必要に応じてユーザデータが付加されて構成されている。
【００１４】
また、ＭＰＥＧ２の規格では、スケーラビリティと呼ばれる機能で、２種類の解像度の動画を並列的に伝送する方法が規定されている。これは、前述したＭＰＥＧの画像圧縮技術で生成した、例えば３６０×２４０画素からなる低解像度の動画の各画像ごとに、この低解像度の動画より高解像度の、例えば７２０×４８０画素からなる動画の各画像との差分画像からなる差分動画像を生成し、その低解像度動画と差分動画像とを並列的に伝送することにより、受信側で低解像度動画と差分動画像とを用いて、高解像度の動画を再生するようにしている。
【００１５】
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
【非特許文献１】
藤原 洋 監修、「画像＆音声圧縮技術のすべて」、ＣＱ出版株式会社、２００２年５月１５日、第５版発行、ｐ２２〜３３、ｐ３４〜６０。
【００１６】
【発明が解決しようとする課題】
このような画像処理技術を用いて生成された低解像度の動画像から、その動画像に含まれる任意の被写体をより高解像度の画像として抽出したいという要求がある。
例えば、撮影した動画像の任意のフレームを印刷して保存しておきたい場合も、印刷に耐えうるような動画像より高解像度の画像が必要となる。また、監視カメラで撮影された動画像の内容を詳細に確認したい場合、動画像の低解像度より高解像度の画像が必要となる。
【００１７】
しかしながら、前述したＭＰＥＧなどの従来の画像処理技術では、予め設定された低解像度、例えば標準テレビジョン画像である７２０×４８０画素の解像度にしたがってすべてのフレームを処理するため、得られた動画像から当初の低解像度より高解像度（例えば、１９２０×１０８０画素）の画像を生成できないという問題点があった。
また、前述したスケーラビリティを用いて高解像度の動画を伝送する方式では、低解像度動画の各画像、すなわちＩピクチャ、ＰピクチャおよびＢピクチャごとに生成したこれら各ピクチャと同数（１：１）の差分画像を差分動画像として伝送するため、ある程度の解像度の画像を伝送できるものの、通常の伝送帯域では、１つの差分画像のデータサイズが制限されてしまい、前述した要求を満足しうる高解像度の画像を伝送できないという問題点があった。また高解像度の画像を伝送するためには広い帯域の伝送路を必要とするため、高解像度の画像を伝送する効率が悪いという問題点があった
【００１８】
また、従来の画像処理装置を大幅に改良したり、ＭＰＥＧ規格を変更すれば、高解像度の画像を動画像に挿入することも可能である。しかし、そのような仕様の大幅変更は、現行の画像再生装置と互換性がなくなるため、高解像度の画像が挿入された動画像は、専用の装置でのみ再生でき、現行の装置では再生できなくなる。
本発明は、高解像度の画像を含む動画像圧縮データを生成でき、またこれを再生でき、さらには従来の動画像圧縮データとの互換性を保つことができる画像処理方法および装置を提供することを目的としている。
【００１９】
【課題を解決するための手段】
このような目的を達成するために、本発明にかかる画像処理方法は、入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを順次生成し、これら圧縮データを動画像圧縮データとして出力する際、各フレームを構成する高解像度の画像データを、その高解像度より低い低解像度の画像データに変換し、その画像データをＤＣＴ処理および量子化した後に可変長符号化することにより、元のフレームよりデータ量の少ない圧縮データを生成する画像処理方法であって、各フレームのうちＩピクチャの元となるフレームについてのみ、当該フレームを構成する高解像度の画像データとその画像データに基づき生成されたその高解像度より低い低解像度の復元画像データとの差分を圧縮処理することにより差分圧縮データを生成する第１のステップと、Ｉピクチャに対応する圧縮データに差分圧縮データを付加して出力する第２のステップとを備えるものである。
【００２０】
このとき、第１のステップとして、ＤＣＴ処理および量子化で得られた画像データから復元画像データを生成するステップを実行してもよい。
また、第１のステップとして、復元画像データの画素数を調整することにより高解像度の画像データと等しい画素数を有する調整画像データを生成するステップと、高解像度の画像データと調整画像データとの差分画像データを生成するステップと、この差分画像データをＤＣＴ処理および量子化した後に可変長符号化することにより差分圧縮データを生成するステップとを実行してもよい。
【００２１】
また、本発明にかかる他の画像処理方法は、入力された動画像圧縮データに含まれる、ＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する個々の圧縮データから、元の動画像の各フレームを構成する低解像度の復元画像データを順次生成して出力する際、各圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより復元画像データを生成する画像処理方法であって、動画像圧縮データから各ピクチャに対応する圧縮データと、その圧縮データのうちＩピクチャに付加されている差分圧縮データとを分離して出力する第１のステップと、差分圧縮データから元の差分画像データを生成し、この差分画像データとこれに対応するＩピクチャから得られた復元画像データとを合成することにより、当該復元画像データの元となる、低解像度より高い高解像度の静止画像データを生成する第２のステップとを備えるものである。
【００２２】
このとき、第２のステップとして、差分圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより元の差分画像データを生成するステップと、差分圧縮データに対応する復元画像データの画素数を調整することにより、その復元画像データの元となる高解像度の画像データと等しい画素数を有する調整画像データを生成するステップと、差分画像データと調整画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成するステップとを実行するようにしてもよい。
【００２３】
また、本発明にかかる画像処理装置は、入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを順次生成し、これら圧縮データを動画像圧縮データとして出力する際、各フレームを構成する高解像度の画像データを、その高解像度より低い低解像度の画像データに変換し、その画像データをＤＣＴ処理および量子化した後に可変長符号化することにより、元のフレームよりデータ量の少ない圧縮データを生成する画像処理装置であって、各フレームのうちＩピクチャの元となるフレームについてのみ、当該フレームを構成する高解像度の画像データとその画像データに基づき生成されたその高解像度より低い低解像度の復元画像データとの差分を圧縮処理することにより差分圧縮データを生成する差分画像圧縮部と、Ｉピクチャに対応する圧縮データに差分圧縮データを付加して出力する多重化符号化部とを備えるものである。
【００２４】
このとき、ＤＣＴ処理および量子化で得られた画像データから復元画像データを生成する動画像圧縮部をさらに設けてもよい。
また、差分画像圧縮部に、復元画像データの画素数を調整することにより高解像度の画像データと等しい画素数を有する調整画像データを生成するアップサンプラ手段と、高解像度の画像データと調整画像データとの差分画像データを生成する減算手段と、この減算器で生成された差分画像データに対してＤＣＴ処理を行うＤＣＴ変換手段と、このＤＣＴ処理手段でＤＣＴ変換された差分画像データに対して量子化を行う量子化手段と、この量子化手段で量子化された差分画像データを可変長符号化することにより差分圧縮データを生成する可変長符号化手段を設けてもよい。
【００２５】
また、本発明にかかる他の画像処理装置は、入力された動画像圧縮データに含まれる、ＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する個々の圧縮データから、元の動画像の各フレームを構成する低解像度の復元画像データを順次生成して出力する際、各圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより復元画像データを生成する画像処理装置であって、動画像圧縮データから各ピクチャに対応する圧縮データと、その圧縮データのうちＩピクチャに付加されている差分圧縮データとを分離して出力する多重化復号部と、差分圧縮データから元の差分画像データを生成し、この差分画像データとこれに対応するＩピクチャから得られた復元画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成する静止画像再生部とを備えるものである。
【００２６】
このとき、静止画像再生部に、差分圧縮データを可変長符号で復号する可変長符号復号手段と、この可変長符号復号手段で復号された差分圧縮データを逆量子化する逆量子化手段と、この逆量子化手段で逆量子化された差分圧縮データを逆ＤＣＴ処理することにより元の差分画像データを生成する逆ＤＣＴ変換手段と、差分圧縮データに対応する復元画像データの画素数を調整することにより、その復元画像データの元となる、その低解像度より高い高解像度の画像データと等しい画素数を有する調整画像データを生成するアップサンプラと、差分画像データと調整画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成する加算手段とを設けてもよい。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
図１は本発明の第１の実施の形態にかかる画像処理装置の構成を示すブロック図である。
本実施の形態にかかる画像処理装置は、動画像の圧縮処理に用いられる装置であり、入力された高解像度の画像データより低い低解像度の動画像データをＭＰＥＧ規格に基づき生成する際、その動画像データを構成する低解像度の画像データと、元の高解像度の画像データとの差分画像データを求め、その差分画像データを動画像データへ付加することにより、動画像データの再生時に、動画像データを構成する低解像度の画像データと、その動画像データに付加されている差分画像データとから高解像度の画像データを再生できるようにしたものである。
【００２８】
この画像処理装置は、前述した画像処理装置（図４参照）の圧縮処理１００で用いる構成と同様に、情報源符号化器、多重符号化器、および送信バッファを有している。
特に、前述した図４の情報源符号化器１１１に相当する構成として、入力された高解像度の画像データ１Ａを低解像度の画像データへ変換して圧縮処理することにより圧縮データ１Ｂを生成する動画像圧縮部１０と、画像データ１Ａと低解像度の画像データとの差分画像データを圧縮して差分圧縮データ１Ｃを生成する差分画像圧縮部２０とを有する情報源符号化器１を備えている。
【００２９】
また、前述した図４の多重化符号化器１１２に相当する構成として、差分圧縮データ１Ｃを、これに対応する圧縮データ１Ｂへ付加し、動画像圧縮データ２Ａとして出力する多重化符号化器２を備えている。
この画像処理装置に入力される高解像度の画像データ１Ａは、情報源符号化器１の動画像圧縮部１０および差分画像圧縮部２０で行われる画像圧縮処理において、１フレーム分の画像を複数に分割した所定画素数の画素ブロックを単位として実行される。
【００３０】
これらブロックの元のフレームには、前段の処理（図示せず）で、当該フレームをＭＰＥＧ規格のどのピクチャ種別（Ｉピクチャ、ＰピクチャおよびＢピクチャ）で圧縮処理するか予め割り当てられているものとする。
動画像圧縮部１０では、当該フレームのピクチャ種別に応じて各部を制御し、画素ブロックごとに当該ピクチャ種別の圧縮データ１Ｂを順次生成し、差分画像圧縮部２０では、Ｉピクチャが対応付けられたフレームでのみ各部を制御して、そのブロックの差分圧縮データ１Ｃを順次生成する。なお、Ｉピクチャについてのみ差分画像データ１Ｃを生成する理由は、他のピクチャに比較して元の高解像度画像の情報を最も多く含んでおり、このＩピクチャを対象とすることにより高い精度で高解像度の画像を再生できるからである。
【００３１】
情報源符号化器１の動画像圧縮部１０には、ダウンサンプラ１１、減算器１２、ＤＣＴ変換器１３、量子化器１４、可変長符号化器１５、逆量子化器１６、逆ＤＣＴ変換器１７、加算器１８、および動き予測器１９が設けられている。
ダウンサンプラ１１は、入力された高解像度、例えば、１９２０×１０８０画素の画像データ１Ａ（ＨＤＩ）をそれより低い低解像度、例えば標準テレビジョン画像である７２０×４８０画素の解像度の画像データに変換する。
減算器１２は、ダウンサンプラ１１から出力された低解像度の画像データのうち、所定ピクチャ種別（ＰピクチャおよびＢピクチャ）の画像データ１Ａについてのみ動き予測器１９からの予測分画像データとの差分を算出する。
【００３２】
ＤＣＴ変換器１３は、減算器１２からの低解像度の画像データをＤＣＴ処理して出力する。量子化器１４は、ＤＣＴ処理された画像データを所定の量子化テーブルに基づき量子化して出力する。
可変長符号化器１５は、量子化器１４からの画像データ１４Ａを可変長で符号化し圧縮データ１Ｂとして出力する。
逆量子化器１６は、量子化器１４からの画像データ１４Ａを逆量子化して出力する。逆ＤＣＴ変換器１７は逆量子化器１６からのデータを逆ＤＣＴ処理し、元の低解像度の復元画像データ１７Ａ（ＳＤＩ）を出力する。
【００３３】
加算器１８は、所定ピクチャ種別（ＰピクチャおよびＢピクチャ）に応じて逆ＤＣＴ変換器１７からの復元画像データ１７Ａと、動き予測器１９で予測された予測分画像データとを加算して出力する。
動き予測器１９は、加算器１８から出力された画像データを元にして、その画像データに含まれる被写体の動きを予測し、元の画像データに対する予測分画像データを生成する。
なお、動画像圧縮部１０の構成については、一般的な画像圧縮処理に用いる構成と同様である。また、ＤＣＴ処理および量子化、逆ＤＣＴ処理および逆量子化、可変長符号化器についても、一般的な処理と同様であり、ここでの詳細な説明は省略する。
【００３４】
情報源符号化器１の差分画像圧縮部２０には、メモリ２１、アップサンプラ２２、減算器２３、ＤＣＴ変換器２４、量子化器２５、および可変長符号化器２６が設けられている。
メモリ２１は、動画動圧縮部１０に入力されたものと同じ高解像度の画像データ１Ａを一時的に保持する。アップサンプラ２２は、動画像圧縮部１０の逆ＤＣＴ変換器１７で得られた低解像度の復元画像データ１７Ａを、高解像度の画像データ１Ａと同じ画素数の調整画像データ２２Ａ（ＳＤＩ’）へ変換して出力する。
【００３５】
減算器２３は、メモリ２１内の画像データ（ＨＤＩ）とアップサンプラ２２からの調整画像データ２２Ａとの差分からなる差分画像データ２３Ａ（ΔＨＤＩ）を生成する。
ＤＣＴ変換器２４は、減算器２３からの差分画像データ２３ＡをＤＣＴ処理して出力する。量子化器２５はＤＣＴ処理された差分画像データを量子化して出力する。可変長符号化器２６は量子化された差分画像データを可変長で符号化し差分圧縮データ１Ｃ（Ｑ）として出力する。
【００３６】
このようにして、情報源符号化器１の動画像圧縮部１０では、当該フレームに予め対応付けられているピクチャ種別に応じて各部を制御することにより、圧縮処理した低解像度の画像データからなる圧縮データ１Ｂを生成する。
また、差分画像圧縮部２０でも、当該フレームに予め対応付けられているピクチャ種別がＩピクチャの場合に各部を制御することにより、そのフレームの画像データに関する差分画像データからなる差分圧縮データ１Ｃを生成する。
【００３７】
多重化符号化器２は、動画像圧縮部１０で生成された低解像度の画像データからなる圧縮データ１Ｂと、差分画像圧縮部２０で生成された差分画像データからなる差分圧縮データ１Ｃとから、前述の図６で説明したＭＰＥＧ規格のデータ階層構造に基づき、高解像度の画像を含む所望の動画像圧縮データ２Ａを生成する。
ここでは、各フレームの圧縮データ１Ｂをピクチャデータとし、そのフレームのピクチャ種別に応じて、Ｉピクチャ、ＰピクチャおよびＢピクチャのピクチャレイヤを構成する。また、Ｉピクチャについては、差分圧縮データ１Ｃをユーザデータとして上記Ｉピクチャデータに付加する。
【００３８】
次に、図１を参照して、第１の実施の形態にかかる画像圧縮装置の動作について説明する。
入力された高解像度（例えば、１９２０×１０８０画素）の画像データ１Ａは、ダウンサンプラ１１で低解像度（例えば、７２０×４８０画素）の画像データへ変換され、減算器１２へ出力される。このとき、Ｉピクチャの画像データの場合には、ダウンサンプラ１１からの画像データがそのままＤＣＴ変換器１３へ渡される。また、ＰピクチャおよびＢピクチャについては、減算器１２および動き予測器１９が制御されて、ダウンサンプラ１１からの画像データにフレーム間予測および動き補償が適用されてＤＣＴ変換器１３へ渡される。
【００３９】
そして、ＤＣＴ変換器１３および量子化器１４で、画像データの圧縮処理が行われる。
一般に、圧縮処理対象となる画像について、隣の画素の色との相関関係によって空間周波数を定義することができる。すなわち、絵柄が粗くてゆっくりと色合いが変化する画像は、隣の画素との相関関係が高く隣の画素の色を類推しやすいので、空間周波数が低いと定義される。逆に、絵柄が細かく色合いが急に変化する画像は、隣の画素との相関関係が低く隣の画素の色を類推しにくいので、空間周波数が高いと定義される。なお、空間周波数は、量子化による画素値の丸めに関係する。
【００４０】
低解像度へ変換された画像データは、ＤＣＴ変換器１３でＤＣＴ処理され、得られた係数行列（画像データ）が量子化器１４で所定の除数(量子化ステップ)で割り算されて、余りが丸められることにより量子化され、そのデータ量が圧縮される。この際、ＤＣＴ処理された係数行列は、行列の左上側の低周波項だけに値が残り、右下側の高周波項はゼロとなる。
本実施の形態は、この高周波項に相当する周波数成分を含む差分画像データを、フレーム内符号化画像すなわちＩピクチャの元となる高解像度の画像データから生成し、これをユーザデータとしてＩピクチャデータに付加して動画像圧縮データを生成することにより、Ｉピクチャの再生時に、そのＩピクチャに含まれている低周波成分と差分画像データに含まれている高周波成分とを合成して、より高解像度の静止画像データを生成できるようにしたものである。
【００４１】
すなわち、入力された高解像度の画像データＨＤＩ（１Ａ）を、ＤＣＴ処理および量子化して圧縮した際に得られた画像データ１４Ａを、逆量子化器１６で逆量子化するとともに逆ＤＣＴ変換器１７で逆ＤＣＴ処理して、低解像度の復元画像データＳＤＩ（１７Ａ）に戻す。
さらに、この復元画像データＳＤＩをアップサンプラ９で画素数を調整して、高解像度の画像データＨＤＩと同じ画素数を有する調整画像データＳＤＩ’（２２Ａ）へ戻す。このとき、ＳＤＩ’は既にダウンサンプラ１１および量子化器１４を通しているので、元の高解像度の画像データＨＤＩよりもぼけた画像になる。
【００４２】
図２は、ダウンサンプラで用いるフィルタと画像データの空間周波数に関する周波数特性例であり、横軸は空間周波数を規格化した周波数、縦軸は減衰度を示している。
ダウンサンプラ１１では、画素数を減らすために元の画像データに対して低域通過フィルタを適用し、画素数削減の比率に応じて余分な画素を抜き出している。図２に示したフィルタの周波数特性は、画素数を１／２にダウンサンプルする例であり、この特性曲線６０は単純な３角形フィルタ（Ｚ変換式＝0.25＋0.5Z(-1)＋0.25Z(-2)）の特性である。
【００４３】
高解像度の元の画像データから、このような特性のフィルタを適用して得られた低解像度の画像データを、元の画像データの画素数に合わせて減算すると、元の画像データからボケ画像データを引算することになる。
これにより、フィルタで削減された高周波成分の画像データが得られ、その画像データの周波数特性は特性曲線６１のようになる。特性曲線６０，６１が交差する周波数６２は遮断周波数であり、元の画像データのナイキスト周波数（0.5）の半分（0.25）に相当する。
【００４４】
減算器２３では、アップサンプラ２２で生成されたＳＤＩ’とメモリ２１からのＨＤＩとの差分画像データΔＨＤＩを生成する。
したがって、差分画像圧縮部２０で、ΔＨＤＩ＝ＨＤＩ−ＳＤＩ’により差分画像データを求めることは、前述のように元画像データからボケ画像データを引算することになり、ΔＨＤＩは高域成分のみの画像となる。
ここで、ＨＤＩをＳＤＩの画素数に変換するときに使用した低域フィルタの遮断周波数をｆ１、元の画像データの最高周波数をｆｈとすると、このΔＨＤＩはｆ１〜ｆｈの間の周波数成分を含み、逆に直流〜ｆ１の低域成分は含まないことが判る。
【００４５】
差分画像圧縮部２０では、この差分画像データΔＨＤＩをＤＣＴ変換器２４、量子化器２５および可変長符号化器２６で圧縮し、差分圧縮データＱを生成する。
この差分圧縮データＱは、多重化符号化器２で、Ｉ，Ｐ，Ｂの各ピクチャデータとは別のユーザ定義領域に格納される。このユーザ定義領域は、ＭＰＥＧ規格において拡張領域として規定化されており、ユーザが定義する任意のユーザデータを格納することができる。
【００４６】
このように、本実施の形態にかかる画像処理方法および装置では、入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを生成し、これら圧縮データを動画像圧縮データとして出力する場合、各フレームのうちＩピクチャの元となるフレームについてのみ、その圧縮データの生成過程で得られる低解像度の画像データとその元となる高解像度の画像データとの差分を圧縮処理することにより差分圧縮データを生成し、Ｉピクチャに対応する圧縮データにその差分圧縮データを付加し、動画像圧縮データとして出力するようにしたので、高解像度の画像を含む動画像圧縮データを生成できる。
したがって、動画像圧縮データの各圧縮データを再生する際、その圧縮データから再生された復元画像データと、差分圧縮データから再生された差分画像データとを合成することにより、元の画像データとほぼ等しい高解像度の画像データを得ることができる。
【００４７】
このとき、Ｉピクチャの元となるフレームについてのみ、高解像度の画像データとの差分画像データを生成して出力するようにしたので、ＭＰＥＧ２のスケーラビリティ機能のように、すべてのピクチャに対して差分画像を生成して伝送する場合と比較して、Ｉピクチャに対する差分画像データに対してより多くの伝送帯域を割り当てることが可能となる。
したがって、Ｉピクチャに対する差分画像データとしてより大きなデータサイズの差分画像データを伝送することができ、広い帯域の伝送路を必要とすることなく、より高解像度の画像を伝送することが可能となる。
【００４８】
また、復元画像データについては、圧縮データの生成過程で得られる低解像度の画像データであればよく、例えばＤＣＴ変換器１３へ入力される画像データでもよい。
これについて、本実施の形態では、圧縮データの生成過程でＤＣＴ処理および量子化された画像データから、その画像データの元の低解像度の復元画像データを生成するようにした。
したがって、圧縮データを再生した際に得られる復元画像データと等しい復元画像データとの差分画像データを得ることができ、ＤＣＴ処理および量子化による圧縮処理で生じる誤差が低減されて、元の高解像度の画像データにさらに近い画像データを生成できる。
【００４９】
また、ＭＰＥＧ規格に基づき定義されているＩピクチャのユーザ定義領域を利用して、圧縮データのユーザデータとして差分圧縮データを付加するようにしたので、本実施の形態の画像処理方法に対応した画像処理装置であれば、上記のようにして高解像度の静止画像データを再生でき、未対応であれば、ユーザデータが無視されて支障なく動画像が再生される。したがって、従来の動画像圧縮データとの互換性を保つことができる。
【００５０】
次に、図３を参照して、本発明の第２の実施の形態にかかる画像処理装置について説明する。
本実施の形態にかかる画像処理装置は、動画像圧縮データの再生処理に用いられる装置であり、入力された動画像圧縮データに含まれる各圧縮データから低解像度の動画像データをＭＰＥＧ規格に基づき再生して出力する際、動画像データを構成する低解像度の画像データと、その動画像データの圧縮データに付加されている差分画像データとから高解像度の画像データを再生するようにしたものである。
【００５１】
この画像処理装置は、前述した画像処理装置（図４参照）の再生処理１０１で用いる構成と同様に、受信バッファ、多重化復号器、および情報源復号器を有している。
特に、前述した画像処理装置（図４参照）の多重化復号器１１５に相当する構成として、第１の実施の形態にかかる画像処理装置１で生成された動画像圧縮データ２Ａと等しい動画像圧縮データ５Ａから、ＭＰＥＧの各ピクチャに対応する圧縮データ５Ｂと、その圧縮データ５ＢのうちＩピクチャのものに付加されている差分圧縮データ５Ｃ（Ｑ”）とを分離して出力する多重化復号器５を備えている。
【００５２】
また、情報源復号器１１６に相当する構成として、多重化復号器５からの圧縮データ５Ｂを再生して低解像度の画像データ６Ａからなる動画像を生成する動画像再生部４０と、多重化復号器５からの差分圧縮データ５Ｃを再生して得られた差分画像データと動画像再生部４０で圧縮データ５Ｂから得られた低解像度の復元画像データとを合成して、高解像度の静止画像データ６Ｂを生成する静止画像再生部５０とを有する情報源復号器６を備えている。
【００５３】
多重化符号化器２は、入力された動画像圧縮データ５Ａから、前述の図６に示したＭＰＥＧ規格の階層構造に基づき、各ピクチャのピクチャデータを圧縮データ５Ｂとして抽出するとともに、Ｉピクチャのユーザ定義領域に付加されているユーザデータを差分圧縮データとして分離する。
【００５４】
情報源復号器６の動画像再生部４０には、可変長符号復号器４１、逆量子化器４２、逆ＤＣＴ変換器４３、加算器４４、および動き補償器４５が設けられている。
可変長符号復号器４１は、入力された圧縮データ５Ｂを可変長符号で復号して出力する。逆量子化器４２は、可変長符号復号器４１で復号された圧縮データを所定の量子化テーブルに基づき逆量子化して出力する。
逆ＤＣＴ変換器４３は、逆量子化器４２で逆量子化された圧縮データを逆ＤＣＴ処理し、低解像度の復元画像データ４３Ａを出力する。
【００５５】
加算器４４は、ピクチャ種別に応じて逆ＤＣＴ変換器４３からの復元画像データ４３Ａと動き補償器４５からの画像データとを加算し、所望の動画像を構成する低解像度の画像データ６Ａとして出力する。
なお、動画像再生部４０の構成については、一般的な画像再生処理に用いる構成と同様である。また、ＤＣＴ処理および量子化、逆ＤＣＴ処理および逆量子化および可変長符号復号部は、一般的な処理と同様であり、ここでの詳細な説明は省略する。
【００５６】
情報源復号器６の静止画像再生部５０には、メモリ５１、可変長符号復号器５２、逆量子化器５３、逆ＤＣＴ変換器５４、アップサンプラ５５、および加算器５６が設けられている。
メモリ５１は、多重化復号器５からの差分圧縮データ５Ｃ（Ｑ”）を一時保存する。可変長符号復号器５２は、メモリ５１からの差分圧縮データ５Ｃを可変長符号で復号して出力する。
逆量子化器５３は、可変長符号復号器５２で復号された差分圧縮データを所定の量子化テーブルに基づき逆量子化して出力する。逆ＤＣＴ変換器５４は、逆量子化器５３で逆量子化された差分圧縮データを逆ＤＣＴ処理し、差分画像データ５４Ａ（ΔＨＤＩ”）を出力する。
【００５７】
アップサンプラ５５は、動画像再生部４０の逆ＤＣＴ変換器４３で生成された低解像度の復元画像データ４３Ａを、所定の高解像度の画像データと同じ画素数の調整画像データ５５Ａ（ＳＤＩ”）へ変換して出力する。
加算器５６は、逆ＤＣＴ変換器５４からの差分画像データ５４Ａ（ΔＨＤＩ”）と、アップサンプラ５５からの調整画像データ５５Ａ（ＳＤＩ”）とを合成することにより、高解像度の静止画像データ６Ｂを生成する。
【００５８】
次に、図３を参照して、第２の実施の形態にかかる画像処理装置の動作について説明する。
動画像再生部４０では、各圧縮データ５Ｂが、可変長符号復号器４１、逆量子化器４２および逆ＤＣＴ変換器４３で処理されて低解像度（例えば、７２０×４８０画素）の復元画像データ４３Ａが生成される。
【００５９】
そして、Ｉピクチャの画像データについては、その復元画像データ４３Ａがそのまま画像データ６Ａとして出力され、ＰピクチャおよびＢピクチャについては、加算器４４および動き補償器４５が制御されて、フレーム間予測および動き補償により画像データ６Ａが生成されて出力される。
また、静止画像再生部５０では、差分圧縮データ５Ｃ（Ｑ”）に対応するＩピクチャの復元画像データ４３Ａを動画像再生部４０から取り込み、所望する高解像度（例えば、１９２０×１０８０画素）の静止画像データ６Ｂを生成している。
【００６０】
前述の第１の実施の形態では、入力された高解像度の画像データ（ＨＤＩ）と動画像データを構成する低解像度の画像データ（ＳＤＩ’）との差分から差分画像データ（ΔＨＤＩ’）を生成する処理が行われる。
本実施の形態では、上記処理とは全く逆の処理、すなわち、入力された動画像圧縮データから再生された低解像度の画像データＳＤＩ”と差分画像データΔＨＤＩ”とを合成して高解像度の画像データＨＤＩ”を生成する、ＨＤＩ”＝ＳＤＩ”＋ΔＨＤＩ”という処理を行って、高解像度の静止画像データを生成している。
【００６１】
実際には、動画像再生部４０で得られた低解像度の復元画像データ４３Ａを、アップサンプラ５５で高解像度の画素数に変換し、得られた調整画像データをＳＤＩ”として用いている。この調整画像データＳＤＩ”は、情報源符号化器１（図１参照）のアップサンプラ２２で生成される調整画像データＳＤＩ’（２２Ａ）に相当する。また、差分画像データΔＨＤＩ”は、減算器２３で得られる差分画像データΔＨＤＩ’に相当する。
したがって、加算器５６では、減算器２３での差分画像生成処理と全く逆の処理が行われ、減算器２３に入力されている高解像度の画像データＨＤＩ（２１Ａ）に相当する高解像度の画像データＨＤＩ”が生成される。
【００６２】
このように、本実施の形態にかかる画像処理方法および装置では、ＭＰＥＧ規格に基づき生成された動画像圧縮データから、各ピクチャに対応する圧縮データと、その圧縮データのうちＩピクチャに付加されている差分圧縮データとを多重化復号器で分離するようにしたものである。
そして、その差分圧縮データから元の差分画像データを生成して、その差分画像データと圧縮データから得られた復元画像データのうち対応するＩピクチャから得られた復元画像データとを静止画像再生部で合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成するようにしたので、差分画像データを含む動画像圧縮データから高解像度の静止画像を生成できる。
【００６３】
また、ＭＰＥＧ規格に基づき定義されているＩピクチャのユーザ定義領域を利用して、圧縮データのユーザデータとして差分圧縮データを付加されているため、本実施の形態の画像処理方法に対応した画像処理装置であれば、上記のようにして高解像度の静止画像データを再生でき、未対応であれば、ユーザデータが無視されて支障なく動画像が再生される。したがって、従来の動画像圧縮データとの互換性を保つことができる。
【００６４】
以上の各実施の形態では、ＭＰＥＧ規格のＩピクチャに同期して差分画像データを生成する場合を例として説明した。一般的な７２０×４８０画素の標準テレビジョン画像をＭＰＥＧで圧縮する場合では、０．５秒（１５枚）程度のフレームをグループ化したＧＯＰ（Group of Picture）を時間情報圧縮処理の処理単位としている。これにより、少なくとも１ＧＯＰに１つのＩピクチャが存在することから、１５枚程度に１枚の割合で高解像度の静止画像を再生することが可能となる。
【００６５】
したがって、動画像再生時の制御として、動画再生中に利用者から一時停止が指示された場合、再生停止した動画像の画像データに最も近い時間位置にある、高解像度の静止画像データを画面出力するようにしてもよい。
これにより、所望の画面とほぼ等しい高解像度の画像を容易に表示することができ、例えば、撮影した動画像の任意のフレームを印刷して保存しておきたい場合には、その画面表示された高解像度の画像を印刷すればよく、低解像度の動画像を印刷する場合と比較して美しい印刷結果が得られる。
【００６６】
また、監視カメラなどで撮影された動画像の内容を詳細に確認したい場合には、画面表示された高解像度の画像を拡大して、その内容を詳細に確認することもでき、低解像度の動画像で確認する場合と比較して、より詳細に内容を確認できる。
なお、各Ｉピクチャごとに差分画像データを付加する必要はなく、任意のＩピクチャにのみ差分画像データを付加して動画像圧縮データを生成してもよい。これにより、不要な差分画像データが削減され、差分画像データにより動画像圧縮データのデータ量の増加を抑制できる。
【００６７】
【発明の効果】
以上説明したように、本発明は、入力された高解像度の画像データを圧縮して得られた圧縮データを動画像圧縮データとして出力する場合、各フレームのうちＩピクチャの元となるフレームについてのみ、その圧縮データの生成過程で得られる、その高解像度より低い低解像度の復元画像データとその元となる高解像度の画像データとの差分を圧縮処理することにより差分圧縮データを生成し、Ｉピクチャに対応する圧縮データにその差分圧縮データを付加し、動画像圧縮データとして出力するようにしたので、高解像度の画像を含む動画像圧縮データを生成できる。
したがって、動画像圧縮データの各圧縮データを再生する際、その圧縮データから再生された復元画像データと、差分圧縮データから再生された差分画像データとを合成することにより、元の画像データとほぼ等しい高解像度の画像データを得ることができる。
【００６８】
このとき、所望の画像の全画素が圧縮されるＩピクチャの元となるフレームについてのみ、高解像度の画像データとの差分画像データを生成して出力するようにしたので、ＭＰＥＧ２のスケーラビリティ機能のように、すべてのピクチャに対して差分画像を生成して伝送する場合と比較して、Ｉピクチャに対する差分画像データに対してより多くの伝送帯域を割り当てることが可能となる。
したがって、Ｉピクチャに対する差分画像データとしてより大きなデータサイズの差分画像データを伝送することができ、広い帯域の伝送路を必要とすることなく、より高解像度の画像を伝送することが可能となる。
【００６９】
また、ＭＰＥＧ規格に基づき定義されているＩピクチャのユーザ定義領域を利用して、圧縮データのユーザデータとして差分圧縮データを付加するようにしたので、本実施の形態の画像処理方法に対応した画像処理装置であれば、上記のようにして高解像度の静止画像データを再生でき、未対応であれば、ユーザデータが無視されて支障なく動画像が再生される。したがって、従来の動画像圧縮データとの互換性を保つことができる。
【００７０】
また、ＭＰＥＧ規格に基づき生成された動画像圧縮データから各ピクチャに対応する圧縮データと、その圧縮データのいずれかに付加されている差分圧縮データとを多重化復号器で分離し、その差分圧縮データから元の差分画像データを生成して、その差分画像データとこれに対応する復元画像データとを静止画像再生部で合成することにより、当該復元画像データの元となる、その低解像度より高い高解像度の静止画像データを生成するようにしたので、差分画像データを含む動画像圧縮データから高解像度の静止画像を生成できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかる画像処理（動画像圧縮）装置の構成を示すブロック図である。
【図２】ダウンサンプラで用いるフィルタと画像データの空間周波数に関する周波数特性例である。
【図３】本発明の第２の実施の形態にかかる画像処理（動画像再生）装置の構成を示すブロック図である。
【図４】一般的な動画像圧縮／再生処理を示す説明図である。
【図５】ＭＰＥＧのフレーム間予測処理例である。
【図６】はＭＰＥＧのデータ階層構造を示す説明図である。
【符号の説明】
１…情報源符号化器、１Ａ…画像データ（高解像度）、１Ｂ…圧縮データ（低解像度）、１Ｃ…差分圧縮データ、１０…動画像圧縮部、１１…ダウンサンプラ、１２…減算器、１３…ＤＣＴ変換器、１４…量子化器、１４Ａ…画像データ、１５…可変長符号化器、１６…逆量子化器、１７…逆ＤＣＴ変換器、１７Ａ…復元画像データ（低解像度）、１８…加算器、１９…動き予測器、２０…差分画像圧縮部、２１…メモリ、２１Ａ…画像データ（高解像度）、２２…アップサンプラ、２２Ａ…調整画像データ、２３…減算器、２３Ａ…差分画像データ、２４…ＤＣＴ変換器、２５…量子化器、２６…可変長符号化器、２…多重化符号化器、２Ａ…動画像圧縮データ、５…多重化復号器、５Ａ…動画像圧縮データ、５Ｂ…圧縮データ、５Ｃ…差分圧縮データ、６…情報源復号器、６Ａ…画像データ（低解像度）、６Ｂ…静止画像データ（高解像度）、４０…動画像再生部、４１…可変長符号復号器、４２…逆量子化器、４３…逆ＤＣＴ変換器、４３Ａ…復元画像データ（低解像度）、４４…加算器、４５…動き補償器、５０…静止画像再生部、５１…メモリ、５２…可変長符号復号器、５３…逆量子化器、５４…逆ＤＣＴ変換器、５５…アップサンプラ、５５Ａ…調整画像データ、５６…加算器。
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、特に高解像度の画像を含む動画像圧縮データを生成し、また動画像圧縮データから高解像度の画像を再生する際に用いられる画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
一般に、多数の静止画像からなる動画像をデジタル化して記録媒体に格納したり伝送する場合、そのデータ量が膨大となることから、デジタル化した動画像を圧縮処理してそのデータ量を削減する画像処理技術が広く利用されている。
このような画像処理技術の代表的なものとしてＭＰＥＧ（Motion Picture Coding Experts Group）規格がある。図４にＭＰＥＧでの動画像圧縮／再生処理の手順を示す。
【０００３】
動画像を圧縮する圧縮処理１００では、まず、入力された動画像１２０に対して情報源符号化器１１１で、ＤＣＴ（Discrete Cosine Transfer：離散コサイン変換）、量子化、フレーム間予測および動き補償、可変長符号化などの情報圧縮処理を行う。
続いて、多重化符号器１１２で、階層構造符号化処理を行い、ＭＰＥＧ階層構造のデータフォーマットに変換して動画像圧縮データを生成する。ここでは、圧縮された動画像データに音声やその他種々のデータが組み込まれる。そして、送信バッファ１１３でバッファリングして出力レートを制御し、通信媒体や記録媒体へ動画像圧縮データ１２１を出力する。
【０００４】
一方、圧縮データを再生する再生処理１０１では、後段の復号処理時間を保証するため、入力された動画像圧縮データ１２２を受信バッファ１１４で一時的に保持する。
次に、多重化復号器１１５で、受信バッファ１１４に保持されている動画像圧縮データに対して階層構造復号処理を行い、ＭＰＥＧ階層構造のデータフォーマットから各圧縮データを切出す。そして、情報源復号器１１６で、逆ＤＣＴ、逆量子化、フレーム間予測および動き補償、可変長符号復号処理などの情報再生処理を行い、動画像１２３を出力する。
【０００５】
ＭＰＥＧでは、動画像を圧縮する際、空間情報圧縮、時間情報圧縮および可変長符号化圧縮の３つの情報圧縮処理を用いている。
空間情報圧縮処理では、静止画像の空間領域における冗長性を除去することにより画像を圧縮している。自然画像は、領域を狭く限ると画素のレベル値が互いに近いことが多く、ある領域（空間）内における画素値の変化の度合い（空間周波数）が比較的小さい。
【０００６】
したがって、画像を空間周波数領域のデータに変換すると、そのデータは空間周波数の低い低周波側に偏ることから、高周波側のデータより少ないビット数を低周波側のデータに割り当てることにより、全体として変換前よりデータ量で画像を符号化できる。
ＭＰＥＧでは、この空間周波数変換にＤＣＴ処理を用いており、例えば１６×１６画素のブロックごとに入力画像がＤＣＴ処理される。
【０００７】
時間情報圧縮処理では、動画像の時間領域における冗長性を除去することにより動画像を圧縮している。動画像はフレームと呼ばれる多数の静止画像から構成されており、これらフレームのほとんどは１／３０秒以下の間隔で撮像された連続する静止画像であることから、前後の画像は似た内容となる。
したがって、直前フレームを元に、現フレームとの差のみを抽出して符号化する（フレーム間予測）ことによりデータ量を削減できる。また、画像内で動く物体を検出し、その動きを予測して現フレームとの差を抽出すれば（動き補償）、予測の精度が向上してデータ量をさらに削減できる。
【０００８】
可変長符号化圧縮処理では、前述した空間情報圧縮および時間情報圧縮の各処理が行われた画像データを構成する各ビット列について発生頻度を調べ、発生頻度の高いビット列に短い符号を割り当てるとともに、発生頻度の低いビット列に長い符号を割り当てることにより、画像データを圧縮している。この際、ハフマン（Huffmann）符号化器などが広く用いられる。
【０００９】
次に、図５および図６を参照して、ＭＰＥＧの時間情報圧縮処理について説明する。図５はＭＰＥＧのフレーム間予測処理例である。図６はＭＰＥＧのデータ階層構造を示す説明図である。
ＭＰＥＧでは、例えば０．５秒（１５枚）程度のフレームをグループ化したＧＯＰ（Group of Picture）を時間情報圧縮処理の処理単位としている。これにより、このＧＯＰ単位で動画像に対するランダムアクセスが可能となり、途中からの再生、早送り、巻き戻し、逆転再生などのトリックモードが実現される。
【００１０】
１つのＧＯＰには、Ｉピクチャ（Intra Picture）と呼ばれるフレーム内符号化画像、Ｐピクチャ（Predictive Picture）と呼ばれるフレーム間符号化画像、およびＢピクチャ（Bidirectionally Picture）と呼ばれる双方向予測符号化画像の３種類の圧縮データが存在する。
Ｉピクチャは、当該ＧＯＰでの時間情報圧縮処理の基準となる元のフレームと等しい完結した圧縮データであり、１ＧＯＰ内には最低１つ必要となる。Ｐピクチャは、対応するフレームより前（過去）のＩピクチャやＰピクチャのフレームとの差分（単方向フレーム間予測）が記録された圧縮データである。
【００１１】
一方、Ｂピクチャは、対応するフレームの前過去）および後（未来）に位置するＩピクチャやＰピクチャの２つのフレームとの差分（双方向フレーム間予測）が記録された圧縮データである。
このとき、Ｂピクチャは、自フレームより未来のフレームをフレーム間予測に用いるため、符号化処理では、元のフレーム順の並び替えが行われ、Ｂピクチャの双方向フレーム間予測に用いられた２つのフレームのピクチャに後続する順序となる。
【００１２】
例えば、図５のフレームＦ１からＩピクチャＩ１が生成され、このフレームＦ１（Ｉ１）とフレームＦ４との差分からＰピクチャＰ４が生成されている場合、フレームＦ１の直後のフレームＦ２のＢピクチャＢ２、およびそのフレームＦ２の直後のフレームＦ３のＢピクチャＢ３は、フレームＦ１（Ｉ１）とフレームＦ４（Ｐ４）とからそれぞれ生成される。
このとき、圧縮データでは、処理順序を考慮して、ＩピクチャＩ１の直後にＰピクチャＰ４が配置され、その後にＢピクチャＢ２，Ｂ３が配置される。
【００１３】
このようにして生成された各ピクチャは、図６のデータ階層構造に従って出力される。
各ＧＯＰには、それぞれの管理情報が格納されたシーケンスヘッダＳＨがその先頭に付加され、再生順に並べられる。
各ＧＯＰは、時間情報圧縮処理で生成された各ピクチャに、その管理情報が格納されたＧＯＰヘッダＨＤＲ１が付加されて構成されている。
また、各ピクチャは、そのピクチャの管理情報が格納されたピクチャヘッダＨＤＲ２が付加されるとともに、必要に応じてユーザデータが付加されて構成されている。
【００１４】
また、ＭＰＥＧ２の規格では、スケーラビリティと呼ばれる機能で、２種類の解像度の動画を並列的に伝送する方法が規定されている。これは、前述したＭＰＥＧの画像圧縮技術で生成した、例えば３６０×２４０画素からなる低解像度の動画の各画像ごとに、この低解像度の動画より高解像度の、例えば７２０×４８０画素からなる動画の各画像との差分画像からなる差分動画像を生成し、その低解像度動画と差分動画像とを並列的に伝送することにより、受信側で低解像度動画と差分動画像とを用いて、高解像度の動画を再生するようにしている。
【００１５】
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
【非特許文献１】
藤原 洋 監修、「画像＆音声圧縮技術のすべて」、ＣＱ出版株式会社、２００２年５月１５日、第５版発行、ｐ２２〜３３、ｐ３４〜６０。
【００１６】
【発明が解決しようとする課題】
このような画像処理技術を用いて生成された低解像度の動画像から、その動画像に含まれる任意の被写体をより高解像度の画像として抽出したいという要求がある。
例えば、撮影した動画像の任意のフレームを印刷して保存しておきたい場合も、印刷に耐えうるような動画像より高解像度の画像が必要となる。また、監視カメラで撮影された動画像の内容を詳細に確認したい場合、動画像の低解像度より高解像度の画像が必要となる。
【００１７】
しかしながら、前述したＭＰＥＧなどの従来の画像処理技術では、予め設定された低解像度、例えば標準テレビジョン画像である７２０×４８０画素の解像度にしたがってすべてのフレームを処理するため、得られた動画像から当初の低解像度より高解像度（例えば、１９２０×１０８０画素）の画像を生成できないという問題点があった。
また、前述したスケーラビリティを用いて高解像度の動画を伝送する方式では、低解像度動画の各画像、すなわちＩピクチャ、ＰピクチャおよびＢピクチャごとに生成したこれら各ピクチャと同数（１：１）の差分画像を差分動画像として伝送するため、ある程度の解像度の画像を伝送できるものの、通常の伝送帯域では、１つの差分画像のデータサイズが制限されてしまい、前述した要求を満足しうる高解像度の画像を伝送できないという問題点があった。また高解像度の画像を伝送するためには広い帯域の伝送路を必要とするため、高解像度の画像を伝送する効率が悪いという問題点があった
【００１８】
また、従来の画像処理装置を大幅に改良したり、ＭＰＥＧ規格を変更すれば、高解像度の画像を動画像に挿入することも可能である。しかし、そのような仕様の大幅変更は、現行の画像再生装置と互換性がなくなるため、高解像度の画像が挿入された動画像は、専用の装置でのみ再生でき、現行の装置では再生できなくなる。
本発明は、高解像度の画像を含む動画像圧縮データを生成でき、またこれを再生でき、さらには従来の動画像圧縮データとの互換性を保つことができる画像処理方法および装置を提供することを目的としている。
【００１９】
【課題を解決するための手段】
このような目的を達成するために、本発明にかかる画像処理方法は、入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを順次生成し、これら圧縮データを動画像圧縮データとして出力する際、各フレームを構成する高解像度の画像データを、その高解像度より低い低解像度の画像データに変換し、その画像データをＤＣＴ処理および量子化した後に可変長符号化することにより、元のフレームよりデータ量の少ない圧縮データを生成する画像処理方法であって、各フレームのうちＩピクチャの元となるフレームについてのみ、当該フレームを構成する高解像度の画像データとその画像データに基づき生成されたその高解像度より低い低解像度の復元画像データとの差分を圧縮処理することにより差分圧縮データを生成する第１のステップと、Ｉピクチャに対応する圧縮データに差分圧縮データを付加して出力する第２のステップとを備えるものである。
【００２０】
このとき、第１のステップとして、ＤＣＴ処理および量子化で得られた画像データから復元画像データを生成するステップを実行してもよい。
また、第１のステップとして、復元画像データの画素数を調整することにより高解像度の画像データと等しい画素数を有する調整画像データを生成するステップと、高解像度の画像データと調整画像データとの差分画像データを生成するステップと、この差分画像データをＤＣＴ処理および量子化した後に可変長符号化することにより差分圧縮データを生成するステップとを実行してもよい。
【００２１】
また、本発明にかかる他の画像処理方法は、入力された動画像圧縮データに含まれる、ＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する個々の圧縮データから、元の動画像の各フレームを構成する低解像度の復元画像データを順次生成して出力する際、各圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより復元画像データを生成する画像処理方法であって、動画像圧縮データから各ピクチャに対応する圧縮データと、その圧縮データのうちＩピクチャに付加されている差分圧縮データとを分離して出力する第１のステップと、差分圧縮データから元の差分画像データを生成し、この差分画像データとこれに対応するＩピクチャから得られた復元画像データとを合成することにより、当該復元画像データの元となる、低解像度より高い高解像度の静止画像データを生成する第２のステップとを備えるものである。
【００２２】
このとき、第２のステップとして、差分圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより元の差分画像データを生成するステップと、差分圧縮データに対応する復元画像データの画素数を調整することにより、その復元画像データの元となる高解像度の画像データと等しい画素数を有する調整画像データを生成するステップと、差分画像データと調整画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成するステップとを実行するようにしてもよい。
【００２３】
また、本発明にかかる画像処理装置は、入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを順次生成し、これら圧縮データを動画像圧縮データとして出力する際、各フレームを構成する高解像度の画像データを、その高解像度より低い低解像度の画像データに変換し、その画像データをＤＣＴ処理および量子化した後に可変長符号化することにより、元のフレームよりデータ量の少ない圧縮データを生成する画像処理装置であって、各フレームのうちＩピクチャの元となるフレームについてのみ、当該フレームを構成する高解像度の画像データとその画像データに基づき生成されたその高解像度より低い低解像度の復元画像データとの差分を圧縮処理することにより差分圧縮データを生成する差分画像圧縮部と、Ｉピクチャに対応する圧縮データに差分圧縮データを付加して出力する多重化符号化部とを備えるものである。
【００２４】
このとき、ＤＣＴ処理および量子化で得られた画像データから復元画像データを生成する動画像圧縮部をさらに設けてもよい。
また、差分画像圧縮部に、復元画像データの画素数を調整することにより高解像度の画像データと等しい画素数を有する調整画像データを生成するアップサンプラ手段と、高解像度の画像データと調整画像データとの差分画像データを生成する減算手段と、この減算器で生成された差分画像データに対してＤＣＴ処理を行うＤＣＴ変換手段と、このＤＣＴ処理手段でＤＣＴ変換された差分画像データに対して量子化を行う量子化手段と、この量子化手段で量子化された差分画像データを可変長符号化することにより差分圧縮データを生成する可変長符号化手段を設けてもよい。
【００２５】
また、本発明にかかる他の画像処理装置は、入力された動画像圧縮データに含まれる、ＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する個々の圧縮データから、元の動画像の各フレームを構成する低解像度の復元画像データを順次生成して出力する際、各圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより復元画像データを生成する画像処理装置であって、動画像圧縮データから各ピクチャに対応する圧縮データと、その圧縮データのうちＩピクチャに付加されている差分圧縮データとを分離して出力する多重化復号部と、差分圧縮データから元の差分画像データを生成し、この差分画像データとこれに対応するＩピクチャから得られた復元画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成する静止画像再生部とを備えるものである。
【００２６】
このとき、静止画像再生部に、差分圧縮データを可変長符号で復号する可変長符号復号手段と、この可変長符号復号手段で復号された差分圧縮データを逆量子化する逆量子化手段と、この逆量子化手段で逆量子化された差分圧縮データを逆ＤＣＴ処理することにより元の差分画像データを生成する逆ＤＣＴ変換手段と、差分圧縮データに対応する復元画像データの画素数を調整することにより、その復元画像データの元となる、その低解像度より高い高解像度の画像データと等しい画素数を有する調整画像データを生成するアップサンプラと、差分画像データと調整画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成する加算手段とを設けてもよい。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
図１は本発明の第１の実施の形態にかかる画像処理装置の構成を示すブロック図である。
本実施の形態にかかる画像処理装置は、動画像の圧縮処理に用いられる装置であり、入力された高解像度の画像データより低い低解像度の動画像データをＭＰＥＧ規格に基づき生成する際、その動画像データを構成する低解像度の画像データと、元の高解像度の画像データとの差分画像データを求め、その差分画像データを動画像データへ付加することにより、動画像データの再生時に、動画像データを構成する低解像度の画像データと、その動画像データに付加されている差分画像データとから高解像度の画像データを再生できるようにしたものである。
【００２８】
この画像処理装置は、前述した画像処理装置（図４参照）の圧縮処理１００で用いる構成と同様に、情報源符号化器、多重符号化器、および送信バッファを有している。
特に、前述した図４の情報源符号化器１１１に相当する構成として、入力された高解像度の画像データ１Ａを低解像度の画像データへ変換して圧縮処理することにより圧縮データ１Ｂを生成する動画像圧縮部１０と、画像データ１Ａと低解像度の画像データとの差分画像データを圧縮して差分圧縮データ１Ｃを生成する差分画像圧縮部２０とを有する情報源符号化器１を備えている。
【００２９】
また、前述した図４の多重化符号化器１１２に相当する構成として、差分圧縮データ１Ｃを、これに対応する圧縮データ１Ｂへ付加し、動画像圧縮データ２Ａとして出力する多重化符号化器２を備えている。
この画像処理装置に入力される高解像度の画像データ１Ａは、情報源符号化器１の動画像圧縮部１０および差分画像圧縮部２０で行われる画像圧縮処理において、１フレーム分の画像を複数に分割した所定画素数の画素ブロックを単位として実行される。
【００３０】
これらブロックの元のフレームには、前段の処理（図示せず）で、当該フレームをＭＰＥＧ規格のどのピクチャ種別（Ｉピクチャ、ＰピクチャおよびＢピクチャ）で圧縮処理するか予め割り当てられているものとする。
動画像圧縮部１０では、当該フレームのピクチャ種別に応じて各部を制御し、画素ブロックごとに当該ピクチャ種別の圧縮データ１Ｂを順次生成し、差分画像圧縮部２０では、Ｉピクチャが対応付けられたフレームでのみ各部を制御して、そのブロックの差分圧縮データ１Ｃを順次生成する。なお、Ｉピクチャについてのみ差分画像データ１Ｃを生成する理由は、他のピクチャに比較して元の高解像度画像の情報を最も多く含んでおり、このＩピクチャを対象とすることにより高い精度で高解像度の画像を再生できるからである。
【００３１】
情報源符号化器１の動画像圧縮部１０には、ダウンサンプラ１１、減算器１２、ＤＣＴ変換器１３、量子化器１４、可変長符号化器１５、逆量子化器１６、逆ＤＣＴ変換器１７、加算器１８、および動き予測器１９が設けられている。
ダウンサンプラ１１は、入力された高解像度、例えば、１９２０×１０８０画素の画像データ１Ａ（ＨＤＩ）をそれより低い低解像度、例えば標準テレビジョン画像である７２０×４８０画素の解像度の画像データに変換する。
減算器１２は、ダウンサンプラ１１から出力された低解像度の画像データのうち、所定ピクチャ種別（ＰピクチャおよびＢピクチャ）の画像データ１Ａについてのみ動き予測器１９からの予測分画像データとの差分を算出する。
【００３２】
ＤＣＴ変換器１３は、減算器１２からの低解像度の画像データをＤＣＴ処理して出力する。量子化器１４は、ＤＣＴ処理された画像データを所定の量子化テーブルに基づき量子化して出力する。
可変長符号化器１５は、量子化器１４からの画像データ１４Ａを可変長で符号化し圧縮データ１Ｂとして出力する。
逆量子化器１６は、量子化器１４からの画像データ１４Ａを逆量子化して出力する。逆ＤＣＴ変換器１７は逆量子化器１６からのデータを逆ＤＣＴ処理し、元の低解像度の復元画像データ１７Ａ（ＳＤＩ）を出力する。
【００３３】
加算器１８は、所定ピクチャ種別（ＰピクチャおよびＢピクチャ）に応じて逆ＤＣＴ変換器１７からの復元画像データ１７Ａと、動き予測器１９で予測された予測分画像データとを加算して出力する。
動き予測器１９は、加算器１８から出力された画像データを元にして、その画像データに含まれる被写体の動きを予測し、元の画像データに対する予測分画像データを生成する。
なお、動画像圧縮部１０の構成については、一般的な画像圧縮処理に用いる構成と同様である。また、ＤＣＴ処理および量子化、逆ＤＣＴ処理および逆量子化、可変長符号化器についても、一般的な処理と同様であり、ここでの詳細な説明は省略する。
【００３４】
情報源符号化器１の差分画像圧縮部２０には、メモリ２１、アップサンプラ２２、減算器２３、ＤＣＴ変換器２４、量子化器２５、および可変長符号化器２６が設けられている。
メモリ２１は、動画動圧縮部１０に入力されたものと同じ高解像度の画像データ１Ａを一時的に保持する。アップサンプラ２２は、動画像圧縮部１０の逆ＤＣＴ変換器１７で得られた低解像度の復元画像データ１７Ａを、高解像度の画像データ１Ａと同じ画素数の調整画像データ２２Ａ（ＳＤＩ’）へ変換して出力する。
【００３５】
減算器２３は、メモリ２１内の画像データ（ＨＤＩ）とアップサンプラ２２からの調整画像データ２２Ａとの差分からなる差分画像データ２３Ａ（ΔＨＤＩ）を生成する。
ＤＣＴ変換器２４は、減算器２３からの差分画像データ２３ＡをＤＣＴ処理して出力する。量子化器２５はＤＣＴ処理された差分画像データを量子化して出力する。可変長符号化器２６は量子化された差分画像データを可変長で符号化し差分圧縮データ１Ｃ（Ｑ）として出力する。
【００３６】
このようにして、情報源符号化器１の動画像圧縮部１０では、当該フレームに予め対応付けられているピクチャ種別に応じて各部を制御することにより、圧縮処理した低解像度の画像データからなる圧縮データ１Ｂを生成する。
また、差分画像圧縮部２０でも、当該フレームに予め対応付けられているピクチャ種別がＩピクチャの場合に各部を制御することにより、そのフレームの画像データに関する差分画像データからなる差分圧縮データ１Ｃを生成する。
【００３７】
多重化符号化器２は、動画像圧縮部１０で生成された低解像度の画像データからなる圧縮データ１Ｂと、差分画像圧縮部２０で生成された差分画像データからなる差分圧縮データ１Ｃとから、前述の図６で説明したＭＰＥＧ規格のデータ階層構造に基づき、高解像度の画像を含む所望の動画像圧縮データ２Ａを生成する。
ここでは、各フレームの圧縮データ１Ｂをピクチャデータとし、そのフレームのピクチャ種別に応じて、Ｉピクチャ、ＰピクチャおよびＢピクチャのピクチャレイヤを構成する。また、Ｉピクチャについては、差分圧縮データ１Ｃをユーザデータとして上記Ｉピクチャデータに付加する。
【００３８】
次に、図１を参照して、第１の実施の形態にかかる画像圧縮装置の動作について説明する。
入力された高解像度（例えば、１９２０×１０８０画素）の画像データ１Ａは、ダウンサンプラ１１で低解像度（例えば、７２０×４８０画素）の画像データへ変換され、減算器１２へ出力される。このとき、Ｉピクチャの画像データの場合には、ダウンサンプラ１１からの画像データがそのままＤＣＴ変換器１３へ渡される。また、ＰピクチャおよびＢピクチャについては、減算器１２および動き予測器１９が制御されて、ダウンサンプラ１１からの画像データにフレーム間予測および動き補償が適用されてＤＣＴ変換器１３へ渡される。
【００３９】
そして、ＤＣＴ変換器１３および量子化器１４で、画像データの圧縮処理が行われる。
一般に、圧縮処理対象となる画像について、隣の画素の色との相関関係によって空間周波数を定義することができる。すなわち、絵柄が粗くてゆっくりと色合いが変化する画像は、隣の画素との相関関係が高く隣の画素の色を類推しやすいので、空間周波数が低いと定義される。逆に、絵柄が細かく色合いが急に変化する画像は、隣の画素との相関関係が低く隣の画素の色を類推しにくいので、空間周波数が高いと定義される。なお、空間周波数は、量子化による画素値の丸めに関係する。
【００４０】
低解像度へ変換された画像データは、ＤＣＴ変換器１３でＤＣＴ処理され、得られた係数行列（画像データ）が量子化器１４で所定の除数(量子化ステップ)で割り算されて、余りが丸められることにより量子化され、そのデータ量が圧縮される。この際、ＤＣＴ処理された係数行列は、行列の左上側の低周波項だけに値が残り、右下側の高周波項はゼロとなる。
本実施の形態は、この高周波項に相当する周波数成分を含む差分画像データを、フレーム内符号化画像すなわちＩピクチャの元となる高解像度の画像データから生成し、これをユーザデータとしてＩピクチャデータに付加して動画像圧縮データを生成することにより、Ｉピクチャの再生時に、そのＩピクチャに含まれている低周波成分と差分画像データに含まれている高周波成分とを合成して、より高解像度の静止画像データを生成できるようにしたものである。
【００４１】
すなわち、入力された高解像度の画像データＨＤＩ（１Ａ）を、ＤＣＴ処理および量子化して圧縮した際に得られた画像データ１４Ａを、逆量子化器１６で逆量子化するとともに逆ＤＣＴ変換器１７で逆ＤＣＴ処理して、低解像度の復元画像データＳＤＩ（１７Ａ）に戻す。
さらに、この復元画像データＳＤＩをアップサンプラ９で画素数を調整して、高解像度の画像データＨＤＩと同じ画素数を有する調整画像データＳＤＩ’（２２Ａ）へ戻す。このとき、ＳＤＩ’は既にダウンサンプラ１１および量子化器１４を通しているので、元の高解像度の画像データＨＤＩよりもぼけた画像になる。
【００４２】
図２は、ダウンサンプラで用いるフィルタと画像データの空間周波数に関する周波数特性例であり、横軸は空間周波数を規格化した周波数、縦軸は減衰度を示している。
ダウンサンプラ１１では、画素数を減らすために元の画像データに対して低域通過フィルタを適用し、画素数削減の比率に応じて余分な画素を抜き出している。図２に示したフィルタの周波数特性は、画素数を１／２にダウンサンプルする例であり、この特性曲線６０は単純な３角形フィルタ（Ｚ変換式＝0.25＋0.5Z(-1)＋0.25Z(-2)）の特性である。
【００４３】
高解像度の元の画像データから、このような特性のフィルタを適用して得られた低解像度の画像データを、元の画像データの画素数に合わせて減算すると、元の画像データからボケ画像データを引算することになる。
これにより、フィルタで削減された高周波成分の画像データが得られ、その画像データの周波数特性は特性曲線６１のようになる。特性曲線６０，６１が交差する周波数６２は遮断周波数であり、元の画像データのナイキスト周波数（0.5）の半分（0.25）に相当する。
【００４４】
減算器２３では、アップサンプラ２２で生成されたＳＤＩ’とメモリ２１からのＨＤＩとの差分画像データΔＨＤＩを生成する。
したがって、差分画像圧縮部２０で、ΔＨＤＩ＝ＨＤＩ−ＳＤＩ’により差分画像データを求めることは、前述のように元画像データからボケ画像データを引算することになり、ΔＨＤＩは高域成分のみの画像となる。
ここで、ＨＤＩをＳＤＩの画素数に変換するときに使用した低域フィルタの遮断周波数をｆ１、元の画像データの最高周波数をｆｈとすると、このΔＨＤＩはｆ１〜ｆｈの間の周波数成分を含み、逆に直流〜ｆ１の低域成分は含まないことが判る。
【００４５】
差分画像圧縮部２０では、この差分画像データΔＨＤＩをＤＣＴ変換器２４、量子化器２５および可変長符号化器２６で圧縮し、差分圧縮データＱを生成する。
この差分圧縮データＱは、多重化符号化器２で、Ｉ，Ｐ，Ｂの各ピクチャデータとは別のユーザ定義領域に格納される。このユーザ定義領域は、ＭＰＥＧ規格において拡張領域として規定化されており、ユーザが定義する任意のユーザデータを格納することができる。
【００４６】
このように、本実施の形態にかかる画像処理方法および装置では、入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを生成し、これら圧縮データを動画像圧縮データとして出力する場合、各フレームのうちＩピクチャの元となるフレームについてのみ、その圧縮データの生成過程で得られる低解像度の画像データとその元となる高解像度の画像データとの差分を圧縮処理することにより差分圧縮データを生成し、Ｉピクチャに対応する圧縮データにその差分圧縮データを付加し、動画像圧縮データとして出力するようにしたので、高解像度の画像を含む動画像圧縮データを生成できる。
したがって、動画像圧縮データの各圧縮データを再生する際、その圧縮データから再生された復元画像データと、差分圧縮データから再生された差分画像データとを合成することにより、元の画像データとほぼ等しい高解像度の画像データを得ることができる。
【００４７】
このとき、Ｉピクチャの元となるフレームについてのみ、高解像度の画像データとの差分画像データを生成して出力するようにしたので、ＭＰＥＧ２のスケーラビリティ機能のように、すべてのピクチャに対して差分画像を生成して伝送する場合と比較して、Ｉピクチャに対する差分画像データに対してより多くの伝送帯域を割り当てることが可能となる。
したがって、Ｉピクチャに対する差分画像データとしてより大きなデータサイズの差分画像データを伝送することができ、広い帯域の伝送路を必要とすることなく、より高解像度の画像を伝送することが可能となる。
【００４８】
また、復元画像データについては、圧縮データの生成過程で得られる低解像度の画像データであればよく、例えばＤＣＴ変換器１３へ入力される画像データでもよい。
これについて、本実施の形態では、圧縮データの生成過程でＤＣＴ処理および量子化された画像データから、その画像データの元の低解像度の復元画像データを生成するようにした。
したがって、圧縮データを再生した際に得られる復元画像データと等しい復元画像データとの差分画像データを得ることができ、ＤＣＴ処理および量子化による圧縮処理で生じる誤差が低減されて、元の高解像度の画像データにさらに近い画像データを生成できる。
【００４９】
また、ＭＰＥＧ規格に基づき定義されているＩピクチャのユーザ定義領域を利用して、圧縮データのユーザデータとして差分圧縮データを付加するようにしたので、本実施の形態の画像処理方法に対応した画像処理装置であれば、上記のようにして高解像度の静止画像データを再生でき、未対応であれば、ユーザデータが無視されて支障なく動画像が再生される。したがって、従来の動画像圧縮データとの互換性を保つことができる。
【００５０】
次に、図３を参照して、本発明の第２の実施の形態にかかる画像処理装置について説明する。
本実施の形態にかかる画像処理装置は、動画像圧縮データの再生処理に用いられる装置であり、入力された動画像圧縮データに含まれる各圧縮データから低解像度の動画像データをＭＰＥＧ規格に基づき再生して出力する際、動画像データを構成する低解像度の画像データと、その動画像データの圧縮データに付加されている差分画像データとから高解像度の画像データを再生するようにしたものである。
【００５１】
この画像処理装置は、前述した画像処理装置（図４参照）の再生処理１０１で用いる構成と同様に、受信バッファ、多重化復号器、および情報源復号器を有している。
特に、前述した画像処理装置（図４参照）の多重化復号器１１５に相当する構成として、第１の実施の形態にかかる画像処理装置１で生成された動画像圧縮データ２Ａと等しい動画像圧縮データ５Ａから、ＭＰＥＧの各ピクチャに対応する圧縮データ５Ｂと、その圧縮データ５ＢのうちＩピクチャのものに付加されている差分圧縮データ５Ｃ（Ｑ”）とを分離して出力する多重化復号器５を備えている。
【００５２】
また、情報源復号器１１６に相当する構成として、多重化復号器５からの圧縮データ５Ｂを再生して低解像度の画像データ６Ａからなる動画像を生成する動画像再生部４０と、多重化復号器５からの差分圧縮データ５Ｃを再生して得られた差分画像データと動画像再生部４０で圧縮データ５Ｂから得られた低解像度の復元画像データとを合成して、高解像度の静止画像データ６Ｂを生成する静止画像再生部５０とを有する情報源復号器６を備えている。
【００５３】
多重化符号化器２は、入力された動画像圧縮データ５Ａから、前述の図６に示したＭＰＥＧ規格の階層構造に基づき、各ピクチャのピクチャデータを圧縮データ５Ｂとして抽出するとともに、Ｉピクチャのユーザ定義領域に付加されているユーザデータを差分圧縮データとして分離する。
【００５４】
情報源復号器６の動画像再生部４０には、可変長符号復号器４１、逆量子化器４２、逆ＤＣＴ変換器４３、加算器４４、および動き補償器４５が設けられている。
可変長符号復号器４１は、入力された圧縮データ５Ｂを可変長符号で復号して出力する。逆量子化器４２は、可変長符号復号器４１で復号された圧縮データを所定の量子化テーブルに基づき逆量子化して出力する。
逆ＤＣＴ変換器４３は、逆量子化器４２で逆量子化された圧縮データを逆ＤＣＴ処理し、低解像度の復元画像データ４３Ａを出力する。
【００５５】
加算器４４は、ピクチャ種別に応じて逆ＤＣＴ変換器４３からの復元画像データ４３Ａと動き補償器４５からの画像データとを加算し、所望の動画像を構成する低解像度の画像データ６Ａとして出力する。
なお、動画像再生部４０の構成については、一般的な画像再生処理に用いる構成と同様である。また、ＤＣＴ処理および量子化、逆ＤＣＴ処理および逆量子化および可変長符号復号部は、一般的な処理と同様であり、ここでの詳細な説明は省略する。
【００５６】
情報源復号器６の静止画像再生部５０には、メモリ５１、可変長符号復号器５２、逆量子化器５３、逆ＤＣＴ変換器５４、アップサンプラ５５、および加算器５６が設けられている。
メモリ５１は、多重化復号器５からの差分圧縮データ５Ｃ（Ｑ”）を一時保存する。可変長符号復号器５２は、メモリ５１からの差分圧縮データ５Ｃを可変長符号で復号して出力する。
逆量子化器５３は、可変長符号復号器５２で復号された差分圧縮データを所定の量子化テーブルに基づき逆量子化して出力する。逆ＤＣＴ変換器５４は、逆量子化器５３で逆量子化された差分圧縮データを逆ＤＣＴ処理し、差分画像データ５４Ａ（ΔＨＤＩ”）を出力する。
【００５７】
アップサンプラ５５は、動画像再生部４０の逆ＤＣＴ変換器４３で生成された低解像度の復元画像データ４３Ａを、所定の高解像度の画像データと同じ画素数の調整画像データ５５Ａ（ＳＤＩ”）へ変換して出力する。
加算器５６は、逆ＤＣＴ変換器５４からの差分画像データ５４Ａ（ΔＨＤＩ”）と、アップサンプラ５５からの調整画像データ５５Ａ（ＳＤＩ”）とを合成することにより、高解像度の静止画像データ６Ｂを生成する。
【００５８】
次に、図３を参照して、第２の実施の形態にかかる画像処理装置の動作について説明する。
動画像再生部４０では、各圧縮データ５Ｂが、可変長符号復号器４１、逆量子化器４２および逆ＤＣＴ変換器４３で処理されて低解像度（例えば、７２０×４８０画素）の復元画像データ４３Ａが生成される。
【００５９】
そして、Ｉピクチャの画像データについては、その復元画像データ４３Ａがそのまま画像データ６Ａとして出力され、ＰピクチャおよびＢピクチャについては、加算器４４および動き補償器４５が制御されて、フレーム間予測および動き補償により画像データ６Ａが生成されて出力される。
また、静止画像再生部５０では、差分圧縮データ５Ｃ（Ｑ”）に対応するＩピクチャの復元画像データ４３Ａを動画像再生部４０から取り込み、所望する高解像度（例えば、１９２０×１０８０画素）の静止画像データ６Ｂを生成している。
【００６０】
前述の第１の実施の形態では、入力された高解像度の画像データ（ＨＤＩ）と動画像データを構成する低解像度の画像データ（ＳＤＩ’）との差分から差分画像データ（ΔＨＤＩ’）を生成する処理が行われる。
本実施の形態では、上記処理とは全く逆の処理、すなわち、入力された動画像圧縮データから再生された低解像度の画像データＳＤＩ”と差分画像データΔＨＤＩ”とを合成して高解像度の画像データＨＤＩ”を生成する、ＨＤＩ”＝ＳＤＩ”＋ΔＨＤＩ”という処理を行って、高解像度の静止画像データを生成している。
【００６１】
実際には、動画像再生部４０で得られた低解像度の復元画像データ４３Ａを、アップサンプラ５５で高解像度の画素数に変換し、得られた調整画像データをＳＤＩ”として用いている。この調整画像データＳＤＩ”は、情報源符号化器１（図１参照）のアップサンプラ２２で生成される調整画像データＳＤＩ’（２２Ａ）に相当する。また、差分画像データΔＨＤＩ”は、減算器２３で得られる差分画像データΔＨＤＩ’に相当する。
したがって、加算器５６では、減算器２３での差分画像生成処理と全く逆の処理が行われ、減算器２３に入力されている高解像度の画像データＨＤＩ（２１Ａ）に相当する高解像度の画像データＨＤＩ”が生成される。
【００６２】
このように、本実施の形態にかかる画像処理方法および装置では、ＭＰＥＧ規格に基づき生成された動画像圧縮データから、各ピクチャに対応する圧縮データと、その圧縮データのうちＩピクチャに付加されている差分圧縮データとを多重化復号器で分離するようにしたものである。
そして、その差分圧縮データから元の差分画像データを生成して、その差分画像データと圧縮データから得られた復元画像データのうち対応するＩピクチャから得られた復元画像データとを静止画像再生部で合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成するようにしたので、差分画像データを含む動画像圧縮データから高解像度の静止画像を生成できる。
【００６３】
また、ＭＰＥＧ規格に基づき定義されているＩピクチャのユーザ定義領域を利用して、圧縮データのユーザデータとして差分圧縮データを付加されているため、本実施の形態の画像処理方法に対応した画像処理装置であれば、上記のようにして高解像度の静止画像データを再生でき、未対応であれば、ユーザデータが無視されて支障なく動画像が再生される。したがって、従来の動画像圧縮データとの互換性を保つことができる。
【００６４】
以上の各実施の形態では、ＭＰＥＧ規格のＩピクチャに同期して差分画像データを生成する場合を例として説明した。一般的な７２０×４８０画素の標準テレビジョン画像をＭＰＥＧで圧縮する場合では、０．５秒（１５枚）程度のフレームをグループ化したＧＯＰ（Group of Picture）を時間情報圧縮処理の処理単位としている。これにより、少なくとも１ＧＯＰに１つのＩピクチャが存在することから、１５枚程度に１枚の割合で高解像度の静止画像を再生することが可能となる。
【００６５】
したがって、動画像再生時の制御として、動画再生中に利用者から一時停止が指示された場合、再生停止した動画像の画像データに最も近い時間位置にある、高解像度の静止画像データを画面出力するようにしてもよい。
これにより、所望の画面とほぼ等しい高解像度の画像を容易に表示することができ、例えば、撮影した動画像の任意のフレームを印刷して保存しておきたい場合には、その画面表示された高解像度の画像を印刷すればよく、低解像度の動画像を印刷する場合と比較して美しい印刷結果が得られる。
【００６６】
また、監視カメラなどで撮影された動画像の内容を詳細に確認したい場合には、画面表示された高解像度の画像を拡大して、その内容を詳細に確認することもでき、低解像度の動画像で確認する場合と比較して、より詳細に内容を確認できる。
なお、各Ｉピクチャごとに差分画像データを付加する必要はなく、任意のＩピクチャにのみ差分画像データを付加して動画像圧縮データを生成してもよい。これにより、不要な差分画像データが削減され、差分画像データにより動画像圧縮データのデータ量の増加を抑制できる。
【００６７】
【発明の効果】
以上説明したように、本発明は、入力された高解像度の画像データを圧縮して得られた圧縮データを動画像圧縮データとして出力する場合、各フレームのうちＩピクチャの元となるフレームについてのみ、その圧縮データの生成過程で得られる、その高解像度より低い低解像度の復元画像データとその元となる高解像度の画像データとの差分を圧縮処理することにより差分圧縮データを生成し、Ｉピクチャに対応する圧縮データにその差分圧縮データを付加し、動画像圧縮データとして出力するようにしたので、高解像度の画像を含む動画像圧縮データを生成できる。
したがって、動画像圧縮データの各圧縮データを再生する際、その圧縮データから再生された復元画像データと、差分圧縮データから再生された差分画像データとを合成することにより、元の画像データとほぼ等しい高解像度の画像データを得ることができる。
【００６８】
このとき、所望の画像の全画素が圧縮されるＩピクチャの元となるフレームについてのみ、高解像度の画像データとの差分画像データを生成して出力するようにしたので、ＭＰＥＧ２のスケーラビリティ機能のように、すべてのピクチャに対して差分画像を生成して伝送する場合と比較して、Ｉピクチャに対する差分画像データに対してより多くの伝送帯域を割り当てることが可能となる。
したがって、Ｉピクチャに対する差分画像データとしてより大きなデータサイズの差分画像データを伝送することができ、広い帯域の伝送路を必要とすることなく、より高解像度の画像を伝送することが可能となる。
【００６９】
また、ＭＰＥＧ規格に基づき定義されているＩピクチャのユーザ定義領域を利用して、圧縮データのユーザデータとして差分圧縮データを付加するようにしたので、本実施の形態の画像処理方法に対応した画像処理装置であれば、上記のようにして高解像度の静止画像データを再生でき、未対応であれば、ユーザデータが無視されて支障なく動画像が再生される。したがって、従来の動画像圧縮データとの互換性を保つことができる。
【００７０】
また、ＭＰＥＧ規格に基づき生成された動画像圧縮データから各ピクチャに対応する圧縮データと、その圧縮データのいずれかに付加されている差分圧縮データとを多重化復号器で分離し、その差分圧縮データから元の差分画像データを生成して、その差分画像データとこれに対応する復元画像データとを静止画像再生部で合成することにより、当該復元画像データの元となる、その低解像度より高い高解像度の静止画像データを生成するようにしたので、差分画像データを含む動画像圧縮データから高解像度の静止画像を生成できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態にかかる画像処理（動画像圧縮）装置の構成を示すブロック図である。
【図２】ダウンサンプラで用いるフィルタと画像データの空間周波数に関する周波数特性例である。
【図３】本発明の第２の実施の形態にかかる画像処理（動画像再生）装置の構成を示すブロック図である。
【図４】一般的な動画像圧縮／再生処理を示す説明図である。
【図５】ＭＰＥＧのフレーム間予測処理例である。
【図６】はＭＰＥＧのデータ階層構造を示す説明図である。
【符号の説明】
１…情報源符号化器、１Ａ…画像データ（高解像度）、１Ｂ…圧縮データ（低解像度）、１Ｃ…差分圧縮データ、１０…動画像圧縮部、１１…ダウンサンプラ、１２…減算器、１３…ＤＣＴ変換器、１４…量子化器、１４Ａ…画像データ、１５…可変長符号化器、１６…逆量子化器、１７…逆ＤＣＴ変換器、１７Ａ…復元画像データ（低解像度）、１８…加算器、１９…動き予測器、２０…差分画像圧縮部、２１…メモリ、２１Ａ…画像データ（高解像度）、２２…アップサンプラ、２２Ａ…調整画像データ、２３…減算器、２３Ａ…差分画像データ、２４…ＤＣＴ変換器、２５…量子化器、２６…可変長符号化器、２…多重化符号化器、２Ａ…動画像圧縮データ、５…多重化復号器、５Ａ…動画像圧縮データ、５Ｂ…圧縮データ、５Ｃ…差分圧縮データ、６…情報源復号器、６Ａ…画像データ（低解像度）、６Ｂ…静止画像データ（高解像度）、４０…動画像再生部、４１…可変長符号復号器、４２…逆量子化器、４３…逆ＤＣＴ変換器、４３Ａ…復元画像データ（低解像度）、４４…加算器、４５…動き補償器、５０…静止画像再生部、５１…メモリ、５２…可変長符号復号器、５３…逆量子化器、５４…逆ＤＣＴ変換器、５５…アップサンプラ、５５Ａ…調整画像データ、５６…加算器。
Claims (10)
- 入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを順次生成し、これら圧縮データを動画像圧縮データとして出力する際、前記各フレームを構成する高解像度の画像データを、その高解像度より低い低解像度の画像データに変換し、その画像データをＤＣＴ処理および量子化した後に可変長符号化することにより、元のフレームよりデータ量の少ない圧縮データを生成する画像処理方法であって、
前記各フレームのうち前記Ｉピクチャの元となるフレームについてのみ、当該フレームを構成する高解像度の画像データとその画像データに基づき生成された前記高解像度より低い低解像度の復元画像データとの差分を圧縮処理することにより差分圧縮データを生成する第１のステップと、
前記Ｉピクチャに対応する圧縮データに前記差分圧縮データを付加して出力する第２のステップとを備えることを特徴とする画像処理方法。 - 請求項１に記載の画像処理方法において、
前記第１のステップは、
前記ＤＣＴ処理および量子化で得られた画像データから前記復元画像データを生成するステップを有することを特徴とする画像処理方法。 - 請求項１に記載の画像処理方法において、
前記第１のステップは、
前記復元画像データの画素数を調整することにより前記高解像度の画像データと等しい画素数を有する調整画像データを生成するステップと、
前記高解像度の画像データと前記調整画像データとの差分画像データを生成するステップと、
この差分画像データをＤＣＴ処理および量子化した後に可変長符号化することにより差分圧縮データを生成するステップとを有することを特徴とする画像処理方法。 - 入力された動画像圧縮データに含まれる、ＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する個々の圧縮データから、元の動画像の各フレームを構成する低解像度の復元画像データを順次生成して出力する際、前記各圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより前記復元画像データを生成する画像処理方法であって、
前記動画像圧縮データから前記各ピクチャに対応する圧縮データと、その圧縮データのうち前記Ｉピクチャに付加されている差分圧縮データとを分離して出力する第１のステップと、
前記差分圧縮データから元の差分画像データを生成し、この差分画像データとこれに対応する前記Ｉピクチャから得られた復元画像データとを合成することにより、当該復元画像データの元となる、前記低解像度より高い高解像度の静止画像データを生成する第２のステップとを備えることを特徴とする画像処理方法。 - 請求項４に記載の画像処理方法において、
前記第２のステップは、
前記差分圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより元の差分画像データを生成するステップと、
前記差分圧縮データに対応する前記復元画像データの画素数を調整することにより、その復元画像データの元となる高解像度の画像データと等しい画素数を有する調整画像データを生成するステップと、
前記差分画像データと前記調整画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成するステップとを有することを特徴とする画像処理方法。 - 入力された動画像の各フレームからＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する圧縮データを順次生成し、これら圧縮データを動画像圧縮データとして出力する際、前記各フレームを構成する高解像度の画像データを、その高解像度より低い低解像度の画像データに変換し、その画像データをＤＣＴ処理および量子化した後に可変長符号化することにより、元のフレームよりデータ量の少ない圧縮データを生成する画像処理装置であって、
前記各フレームのうち前記Ｉピクチャの元となるフレームを構成する前記高解像度の画像データとその画像データに基づき生成された前記高解像度より低い低解像度の復元画像データとの差分を圧縮処理することにより差分圧縮データを生成する差分画像圧縮部と、
前記Ｉピクチャに対応する圧縮データに前記差分圧縮データを付加して出力する多重化符号化部とを備えることを特徴とする画像処理装置。 - 請求項６に記載の画像処理装置において、
前記ＤＣＴ処理および量子化で得られた画像データから前記復元画像データを生成する動画像圧縮部をさらに備えることを特徴とする画像処理装置。 - 請求項６に記載の画像処理装置において、
前記差分画像圧縮部は、
前記復元画像データの画素数を調整することにより前記高解像度の画像データと等しい画素数を有する調整画像データを生成するアップサンプラ手段と、
前記高解像度の画像データと前記調整画像データとの差分画像データを生成する減算手段と、
この減算器で生成された差分画像データに対してＤＣＴ処理を行うＤＣＴ変換手段と、
このＤＣＴ処理手段でＤＣＴ変換された差分画像データに対して量子化を行う量子化手段と、
この量子化手段で量子化された差分画像データを可変長符号化することにより前記差分圧縮データを生成する可変長符号化手段を有することを特徴とする画像処理装置。 - 入力された動画像圧縮データに含まれる、ＭＰＥＧ規格で定義されたＩピクチャ、ＰピクチャおよびＢピクチャに対応する個々の圧縮データから、元の動画像の各フレームを構成する低解像度の復元画像データを順次生成して出力する際、前記各圧縮データを可変長符号復号した後に逆量子化および逆ＤＣＴ処理することにより前記復元画像データを生成する画像処理装置であって、
前記動画像圧縮データから前記各ピクチャに対応する圧縮データと、その圧縮データのうち前記Ｉピクチャに付加されている差分圧縮データとを分離して出力する多重化復号部と、
前記差分圧縮データから元の差分画像データを生成し、この差分画像データとこれに対応する前記Ｉピクチャから得られた復元画像データとを合成することにより、当該復元画像データの元となる、前記低解像度より高い高解像度の静止画像データを生成する静止画像再生部とを備えることを特徴とする画像処理装置。 - 請求項９に記載の画像処理装置において、
前記静止画像再生部は、
前記差分圧縮データを可変長符号で復号する可変長符号復号手段と、
この可変長符号復号手段で復号された差分圧縮データを逆量子化する逆量子化手段と、
この逆量子化手段で逆量子化された差分圧縮データを逆ＤＣＴ処理することにより元の差分画像データを生成する逆ＤＣＴ変換手段と、
前記差分圧縮データに対応する前記復元画像データの画素数を調整することにより、その復元画像データの元となる高解像度の画像データと等しい画素数を有する調整画像データを生成するアップサンプラと、
前記差分画像データと前記調整画像データとを合成することにより、当該復元画像データの元となる高解像度の静止画像データを生成する加算手段とを有することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363575A JP2004200760A (ja) | 2002-12-16 | 2002-12-16 | 画像処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002363575A JP2004200760A (ja) | 2002-12-16 | 2002-12-16 | 画像処理方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004200760A true JP2004200760A (ja) | 2004-07-15 |
Family
ID=32761684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002363575A Pending JP2004200760A (ja) | 2002-12-16 | 2002-12-16 | 画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004200760A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007274505A (ja) * | 2006-03-31 | 2007-10-18 | Eastman Kodak Co | 撮像装置 |
| JP2008136124A (ja) * | 2006-11-29 | 2008-06-12 | Akuseru:Kk | 動画復号化装置、動画復号化方法、圧縮動画データ構造および動画符号化方法 |
| US8045611B2 (en) | 2005-03-14 | 2011-10-25 | Qisda Corporation | Video processing and recording apparatuses and methods |
| JP2016058994A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社 日立産業制御ソリューションズ | 監視カメラ装置および監視カメラシステム |
| CN106162180A (zh) * | 2016-06-30 | 2016-11-23 | 北京奇艺世纪科技有限公司 | 一种图像编解码方法及装置 |
| JP2016213612A (ja) * | 2015-05-01 | 2016-12-15 | 日本テレビ放送網株式会社 | 映像信号伝送システム及び映像信号伝送方法 |
| CN108076301A (zh) * | 2016-11-11 | 2018-05-25 | 联芯科技有限公司 | VoLTE视频多方电话的视频处理方法和*** |
-
2002
- 2002-12-16 JP JP2002363575A patent/JP2004200760A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8045611B2 (en) | 2005-03-14 | 2011-10-25 | Qisda Corporation | Video processing and recording apparatuses and methods |
| JP2007274505A (ja) * | 2006-03-31 | 2007-10-18 | Eastman Kodak Co | 撮像装置 |
| JP2008136124A (ja) * | 2006-11-29 | 2008-06-12 | Akuseru:Kk | 動画復号化装置、動画復号化方法、圧縮動画データ構造および動画符号化方法 |
| JP2016058994A (ja) * | 2014-09-12 | 2016-04-21 | 株式会社 日立産業制御ソリューションズ | 監視カメラ装置および監視カメラシステム |
| JP2016213612A (ja) * | 2015-05-01 | 2016-12-15 | 日本テレビ放送網株式会社 | 映像信号伝送システム及び映像信号伝送方法 |
| CN106162180A (zh) * | 2016-06-30 | 2016-11-23 | 北京奇艺世纪科技有限公司 | 一种图像编解码方法及装置 |
| US10819994B2 (en) | 2016-06-30 | 2020-10-27 | Beijing Century Technology., Ltd | Image encoding and decoding methods and devices thereof |
| CN108076301A (zh) * | 2016-11-11 | 2018-05-25 | 联芯科技有限公司 | VoLTE视频多方电话的视频处理方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100714696B1 (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
| KR100252108B1 (ko) | Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법 | |
| JP3888597B2 (ja) | 動き補償符号化装置、及び動き補償符号化復号化方法 | |
| JP4571489B2 (ja) | ビデオ符号化システムにおける量子化器パラメータを表示するための方法および装置 | |
| JP4234607B2 (ja) | 画像／ビデオエンコーダおよび／またはデコーダにおける符号化変換係数 | |
| JP5257447B2 (ja) | シャッター時間補償 | |
| JP3856262B2 (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
| JPH10136386A (ja) | 符号化ビデオ信号処理方式 | |
| KR20060135992A (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
| KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
| KR20020026198A (ko) | 비디오 압축 | |
| JP4382284B2 (ja) | サブバンドの符号化／復号 | |
| JP2007266749A (ja) | 符号化方法 | |
| JP2005160084A (ja) | ＳＮＲ（ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）スケーラビリティを実現するための動映像処理装置及びその方法 | |
| JPH08336142A (ja) | 画像信号圧縮符号化装置および伸長再生装置 | |
| JP2000511722A (ja) | 信号のビットレートの変更に関する改良 | |
| JP2004200760A (ja) | 画像処理方法および装置 | |
| JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
| JP3166501B2 (ja) | 画像再圧縮方法及び画像再圧縮装置 | |
| KR100533025B1 (ko) | 동영상 데이터의 분할장치 및 방법 | |
| JP4422629B2 (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
| JP3687458B2 (ja) | 圧縮復号化方法及び圧縮復号化装置 | |
| JP2007235299A (ja) | 画像符号化方法 | |
| JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
| KR0160621B1 (ko) | 영상 압축 및 신장방법과 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081014 |