JP4032446B2 - 映像データ圧縮装置およびその方法 - Google Patents
映像データ圧縮装置およびその方法 Download PDFInfo
- Publication number
- JP4032446B2 JP4032446B2 JP33208096A JP33208096A JP4032446B2 JP 4032446 B2 JP4032446 B2 JP 4032446B2 JP 33208096 A JP33208096 A JP 33208096A JP 33208096 A JP33208096 A JP 33208096A JP 4032446 B2 JP4032446 B2 JP 4032446B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- picture
- compression
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、例えば、MPEG方式等により圧縮符号化した映像データを記録し、再生した映像データを伸長復号して出力するビデオテープレコーダ(VTR装置)を直列(タンデム)接続して映像データの複写(ダビング)を行う場合に、伸長復号した映像データの各ピクチャーを、前回の圧縮符号化の際と同じ種類のピクチャーに圧縮符号化する映像データ圧縮装置およびその方法に関する。
【0002】
【従来の技術および発明が解決しようとする課題】
近年、映像データ圧縮の分野においては、動き補償(MC;motion compensation)処理と離散余弦変換(DCT;discrete cosine transfer )等の直交変換による冗長度低減処理との組合せによって符号化効率を高めた、いわゆるMC−DCT方式として、MPEG2(moving picture experts group 2)方式が盛んに用いられている。
【0003】
このMPEG2方式は通常、非圧縮映像データを、他のピクチャーの画素データを用いずに伸長復号が可能な1枚のIピクチャー(intra coded picture) 、および、前のピクチャーの画素データを用いて伸長復号するPピクチャー(predictive coded picture)と、前後のピクチャーの画素データを用いて伸長復号するBピクチャー(bi-directionally predictive coded picture) とを所定数ずつ含むGOP(group of picture)単位に圧縮符号化する。
【0004】
ここで、例えば、テレビジョン放送局間で映像データの伝送を行う際、あるいは、複数のビデオテープレコーダ(VTR装置)を用いて映像データの複写(ダビング)を行う際には、既にMPEG2方式により圧縮符号化してある映像データを伸長復号し、再度、圧縮符号化するために、圧縮符号化装置(エンコーダ)と伸長復号装置(デコーダ)とを直列に接続(タンデム接続)する必要が生じることがある。
【0005】
このように、エンコーダとデコーダとをタンデム接続して映像データの圧縮符号化と伸長復号を繰り返した場合、映像の品質が劣化する。特に、テレビジョン放送局設備等の業務用システムにおいては高い映像品質が要求されるので、タンデム接続したエンコーダおよびデコーダによる圧縮符号化および伸長復号に伴う映像品質の劣化防止が厳しく要求される。
【0006】
タンデム接続したエンコーダおよびデコーダにおいて生じる映像品質の劣化を最小にするためには、圧縮符号化および伸長復号において用いられる量子化ステップを同じにする必要があり、量子化ステップを圧縮映像データとともに保持しておかねばならない。
【0007】
動き補償処理を行わずに圧縮符号化する場合には、例えば、特開平5−284458号公報および特開平6−319112号公報に開示されているように、以前の圧縮符号化で使用された量子化ステップ、あるいは、その倍数関係にある量子化ステップを用いると、DCT係数の剰余総和が極小になるという性質を利用し、最小の極小値を示す量子化ステップを最適な量子化ステップとして求めるバックサーチという優れた方式を用いることにより、圧縮符号化時と伸長復号時とで量子化ステップを等しくし、映像品質の劣化を防ぐことができる。
【0008】
しかしながら、GOPがIピクチャーとBピクチャーをそれぞれ1枚ずつ含む2フレーム構成をとる場合や、GOPが15フレーム構成をとる場合においては、タンデム接続時の映像品質の劣化を抑えるために、量子化ステップを合わせるよりも、まず、毎回、同じピクチャーを同じ種類のピクチャー(ピクチャータイプ)に圧縮符号化すること、つまり、圧縮符号化のたびにGOPの位相を合わせることが重要である。
【0009】
GOPの位相が崩れると、上述したバックサーチ方式を用いることができなくなる上に、BピクチャーあるいはPピクチャーから伸長復号したピクチャーを、Iピクチャーに圧縮符号化するというように、同じピクチャーを異なったピクチャータイプに圧縮符号化してしまい、圧縮符号化のたびに映像の情報量を大きく失い、大幅に映像の品質を大きく劣化させてしまう。
【0010】
このような不具合に対処するためには、例えば、特開平6−284414号公報に開示されているように、伸長復号時にピクチャータイプと復号された映像データとを多重化して出力し、エンコーダは、多重化されたピクチャータイプを参照してGOPの位相を合わせて圧縮符号化を行う方法が考えられている。
【0011】
しかしながら、特開平6−284414号公報に開示された方法によると、ピクチャータイプの情報を、映像データの有効画素以外の部分に多重することになり、例えばテレビジョン放送局の操作卓(スイッチャー)あるいは方式が異なるデジタルVTR装置等がタンデム接続されたエンコーダおよびデコーダの間に入ったときに、ピクチャータイプの情報がブランキングされる等して失われてしまう可能性がある。
【0012】
このように、ピクチャータイプの情報が失われてしまったり、ピクチャータイプの情報が別の情報やランダムデータに置換された場合には、次のエンコーダーがランダムデータ等をピクチャータイプの情報であると誤って検出し、でたらめなピクチャータイプでエンコードしてしまい、却って映像の品質の劣化が大きくなってしまう可能性がある。
【0013】
本発明は、上述した不具合を解決するべくなされたものであり、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、GOP位相を合わせて圧縮符号化することができる映像データ圧縮装置およびその方法を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和を算出する剰余総和算出手段と、前記剰余総和算出手段により算出された前記剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別手段と、前記識別手段により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮手段とを有する。
【0015】
好ましくは、Pピクチャに対する閾値又はBピクチャに対する閾値は、前記Iピクチャに対する閾値に比べて小さい値に調節されている。
【0016】
好ましくは、前記剰余総和算出手段は、前記映像データに対する過去の圧縮処理において用いられた量子化ステップを算出するバックサーチ処理によって得られた量子化ステップで量子化した際のDCT係数の剰余総和を算出する。
【0017】
好ましくは、前記識別手段は、固定の量子化ステップで量子化した際のDCT係数の剰余総和と前記映像データに対する過去の圧縮処理において用いられた量子化ステップを算出するバックサーチ処理によって求められたDCT係数の剰余総和との比率がIピクチャに対する閾値以下である場合に、前記映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する。
【0018】
好ましくは、前記識別手段は、前記映像データに対するバイナリサーチ処理によって得られた量子化ステップで量子化した際のDCT係数の剰余総和と前記映像データに対する過去の圧縮処理において用いられた量子化ステップを算出するバックサーチ処理によって得られた量子化ステップで量子化した際のDCT係数の剰余総和との比率が、Iピクチャに対する閾値以下である場合に、前記映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する。
【0019】
好ましくは、前記直交変換データは、前記映像データのピクチャを構成する全てのマクロブロックのDCT係数である。
【0020】
好ましくは、前記直交変換データは、前記映像データのピクチャを構成する一部のマクロブロックのDCT係数である。
【0021】
好ましくは、前記識別手段は、前記Iピクチャとして識別したピクチャと前記映像データのGOPシーケンスとに基づいてPピクチャの間隔を算出し、算出したPピクチャの間隔に基づいて、前記映像データの各ピクチャのピクチャタイプを識別する。
【0022】
好ましくは、前記圧縮手段は、前記映像データのGOP位相を過去の圧縮処理と同じGOP位相で圧縮処理する。
【0023】
好ましくは、前記圧縮手段は、前記剰余総和の極小値が最小となる量子化ステップを用いて、前記映像データを量子化する。
【0024】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和を算出する剰余総和算出工程と、前記剰余総和算出工程により算出された前記剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別工程と、前記識別工程により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮工程とを有する。
【0025】
また、本発明にかかる映像データ圧縮装置は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別手段と、前記識別手段により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮手段とを有する。
【0026】
また、本発明にかかる映像データ圧縮方法は、入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別工程と、前記識別工程により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮工程とを有する。
【0029】
【発明の実施の形態】
第1実施形態
以下、本発明の第1の実施形態を説明する。
【0030】
第1実施形態の背景
例えば、テレビジョン放送局間で複数のVTR装置を用いて映像データのダビングを行う際には、既にMPEG2方式により圧縮符号化してある映像データを伸長復号し、再度、圧縮符号化するために、エンコーダとデコーダとをタンデム接続する必要が生じることがある。このように、映像データの圧縮符号化と伸長復号を繰り返した場合、映像の品質が劣化してしまう。
【0031】
映像データの圧縮符号化と伸長復号を繰り返した場合の映像品質の劣化を最小にするためには、上述したバックサーチ等により圧縮符号化および伸長復号において用いられる量子化ステップを同じにし、さらに、圧縮符号化のたびにGOPの位相を合わせることが重要である。
【0032】
GOPの位相が崩れると、上述したバックサーチ方式を用いることができなくなる上に、BピクチャーあるいはPピクチャーから伸長復号したピクチャーを、Iピクチャーに圧縮符号化するというように、同じピクチャーを異なったピクチャータイプに圧縮符号化してしまい、圧縮符号化のたびに映像の情報量を大きく失い、大幅に映像の品質を大きく劣化させてしまう。
【0033】
第1の実施形態に示すエンコーダ2(2a,2b)は、上述した不具合を解決するべくなされたものであり、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、GOP位相を合わせて圧縮符号化することができるように構成されている。
【0034】
映像データ処理システム1
以下、映像データ用のエンコーダおよびデコーダがタンデム接続された映像データ処理システム1を説明する。本発明に係るエンコーダは、映像データ処理システム1において用いられる。
【0035】
図1は、本発明に係るエンコーダ2が用いられる映像データ処理システム1の構成を示す図である。
図1に示すように、映像データ処理システム1は、VTR装置あるいはハードディスク装置等の記録装置、または、通信回線あるいは伝送路等の記録・伝送装置(brr channel) 3a〜3cを介して、エンコーダ(encoder1, encoder2)2a,2bとデコーダ(decoder1, decoder2)4a,4bとが直列に接続(タンデム接続)された構成を採る。
【0036】
なお、明確に映像データ処理システム1の構成を採らない場合であっても、例えば、入力される非圧縮映像データをMPEG2方式等により圧縮符号化してVTRテープに記録し、再生時に伸長複合化して出力するVTR装置を複数、接続して映像データの複写を行う場合にも、映像データが通る経路は、実質的に映像データ処理システム1と同じになる。また、エンコーダ2(2a,2b)は、複数の種類のピクチャーを含むGOPに非圧縮映像データを圧縮符号化する場合に本発明に特徴的な効果を奏する。
【0037】
映像データ処理システム1において、エンコーダ2aは、例えば、MPEG2方式といったMC−DCT方式により、外部から入力される非圧縮映像データ(入力映像データ)を複数の種類のピクチャーを含むGOPの単位に圧縮符号化して圧縮映像データ(圧縮符号化されたビットストリーム)を生成し、記録・伝送装置3(3a)を介してデコーダ4aに伝送する。
【0038】
デコーダ4aは、記録・伝送装置3aを介してエンコーダ2aから入力された圧縮映像データを伸長復号して、例えば、編集処理等に適したD−1ディジタルVTR用の非圧縮(フルビット)の映像データに戻し、記録・伝送装置3(3b)を介してエンコーダ2bに伝送する。
エンコーダ2bは、エンコーダ2aと同じ方式により、記録・伝送装置3bを介してデコーダ4aから入力されたフルビットの映像データを圧縮符号化し、記録・伝送装置3(3c)を介してデコーダ4bに伝送する。
デコーダ4bは、デコーダ4aと同様に、記録・伝送装置3cを介してエンコーダ2bから入力された圧縮映像データを伸長復号して出力映像データとして出力する。
【0039】
なお、映像データ処理システム1においては、タンデム接続された、エンコーダ2、記録・伝送装置3およびデコーダ4が、必要に応じて3段以上、含まれることがあり、3段目以降の各構成部分は、2段目以前と同様に映像データの圧縮符号化、伝送および伸長復号を行う。
【0040】
また、図1においては、フルビットチャネル(full bit channel )と記載された記録・伝送装置3bとしては、単に、伸長復号したフルビットの映像データを伝送あるいは記録・再生する装置のほかに、例えば、伸長復号した映像データをディジタル/アナログ(D/A)変換してアナログVTR装置に記録し、再びアナログ/ディジタル(A/D)変換してデジタル映像データに戻す装置、あるいは、スイッチャーや特殊効果装置を介して映像データに対して編集、加工を加える装置も含まれる。このような装置においても、映像データとともに記録したピクチャータイプの情報が失われるので、エンコーダ2(2a,2b)は、本発明に特徴的な効果を奏する。
【0041】
エンコーダ2(2a,2b)
図2は、図1に示した第1の実施形態における本発明に係るエンコーダ2(2a,2b)の構成を示す図である。
図2に示すように、エンコーダ2は、圧縮符号化部20および圧縮制御部24から構成される。
【0042】
圧縮符号化部20は、ピクチャー並べ替え部200、走査変換ブロック化部202、動き検出部204、FIFO206,220、減算回路207、DCT部208、量子化部210、可変長符号化部(VLC)212、逆量子化部214、逆DCT(IDCT)部216、加算回路218および動き補償部222から構成される。
圧縮制御部24は、動き補償部240、減算回路242、DCT部244、予測部246、バックサーチ(back search) 部248およびピクチャータイプ制御部250から構成される。
【0043】
エンコーダ2は、これらの構成部分により、既にMPEG2方式等による圧縮符号化および伸長復号を1回以上経た入力映像データ(video in)から、前回の圧縮符号化におけるGOP位相を検出するとともに、前回の圧縮符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップおよびGOP位相で再び入力映像データを圧縮符号化し、エンコーダとデコーダをタンデム接続して映像データの圧縮符号化および伸長復号を繰り返した場合の映像の品質の劣化を防止する。
【0044】
エンコーダ2の各構成部分
以下、エンコーダ2の各構成部分を説明する。
【0045】
圧縮符号化部20
圧縮符号化部20は、一般的なMPEG2方式のエンコーダと同様に、入力映像データに対して動き補償処理、DCT処理および可変長符号化処理を行って圧縮符号化する。
圧縮符号化部20において、ピクチャー並べ替え部200は、ピクチャータイプ制御部250の制御に従って、入力映像データのピクチャーが圧縮符号化後にいずれのピクチャータイプとなるかに応じて圧縮符号化に適した順番に入力映像データのピクチャーを並び替え、走査変換ブロック化部202に対して出力する。
【0046】
走査変換ブロック化部202は、ピクチャー並べ替え部200から入力された映像データをフィールド/フレーム変換し、さらにマクロブロック化して動き検出部204および圧縮制御部24の動き補償部240に対して出力する。
動き検出部204は、走査変換ブロック化部202から入力される映像データをFIFO206および圧縮制御部24の減算回路242に対して出力するとともに、走査変換ブロック化部202から入力される映像データをマクロブロック単位に処理してその動きを検出し、映像の動きを示す動きベクトルを生成して動き補償部240およびFIFO220に対して出力する。
【0047】
FIFO206は、動き検出部204から入力された映像データをバッファリングし、圧縮制御部24のDCT部244、予測部246およびバックサーチ部248における処理(予備符号化処理)に要する時間だけ遅延を与えて減算回路207に対して出力する。
【0048】
減算回路207は、FIFO206から入力される映像データに含まれるピクチャーの内、圧縮符号化後にIピクチャーとなるピクチャーの映像データをそのままDCT部208に対して出力する。
また、減算回路207は、FIFO206から入力される映像データに含まれるピクチャーの内、圧縮符号化後にPピクチャーまたはBピクチャーとなるピクチャーの映像データから動き補償部222の出力映像データを減算し、予測誤差データを生成してDCT部208に対して出力する。
【0049】
DCT部208は、減算回路207から入力される圧縮符号化後にIピクチャーとなる映像データ、および、圧縮符号化後にPピクチャーまたはBピクチャーとなる映像データの予測誤差データをDCT処理し、DCT処理の結果として得られたDCT係数を量子化部210に対して出力する。
量子化部210は、圧縮制御部24のバックサーチ部248から入力される量子化インデックスが示す量子化ステップで、DCT部208から入力されたDCT係数を量子化し、量子化データとして可変長符号化部212および逆量子化部214に対して出力する。
【0050】
可変長符号化部212は、量子化部210から入力される量子化データを、例えばランレングス符号化方式により可変長符号化し、出力映像データ(stream out)として出力する。
逆量子化部214は、入力される量子化データに対して、量子化部210と逆の処理を行ってDCT係数を再生し、逆DCT部216に対して出力する。
【0051】
逆DCT部216は、入力されるDCT係数に対してDCT部208と逆の処理を行って映像データを再生し、加算回路218に対して出力する。
加算回路218は、逆DCT部216から入力される映像データと、動き補償部222から入力される映像データとを加算して映像データを再生し、動き補償部222に対して出力する。
【0052】
FIFO220は、動き検出部204から入力される動きベクトルをバッファリングし、FIFO206〜加算回路218の処理に要する時間だけ遅延して動き補償部222に対して出力する。
動き補償部222は、加算回路218から入力される映像データに対して、FIFO220から入力される動きベクトルを用いた動き補償処理を行い、減算回路207およびDCT部208に対して出力する。
【0053】
圧縮制御部24
圧縮制御部24は、入力映像データの前回の圧縮符号化における量子化ステップおよびGOP位相を検出し、これらが一致するように圧縮符号化部20を制御する。また、圧縮制御部24は、入力映像データの絵柄の複雑さおよび動きの速さ〔絵柄の難しさ(難度);difficulty〕に基づいて、可変長符号化部212から出力される出力映像データの総量(データレート)が、1〜数GOP分の圧縮映像データを生成する時間(単位期間)ごとの出力映像データの許容値〔例えば伝送路の伝送容量等〕以下であって、この許容値にほぼ等しくする量子化ステップを算出し、量子化インデックスの形式で量子化部210に設定する。
【0054】
圧縮制御部24において、動き補償部240は、圧縮符号化部20の動き補償部222と同様に、走査変換ブロック化部202から入力される映像データに対して、動き検出部204から入力される動きベクトルを用いて動き補償処理を行い、減算回路242に対して出力する。
減算回路242は、圧縮符号化部20の減算回路207と同様に、動き検出部204から入力される映像データから、動き補償部240から入力される動き補償された映像データを減算し、Iピクチャーの映像データ、および、PピクチャーまたはBピクチャーの予測誤差データを生成し、DCT部244に対して出力する。
【0055】
DCT部244は、圧縮符号化部20のDCT部208と同様に、減算回路242から入力されたIピクチャーの映像データ、および、PピクチャーまたはBピクチャーの予測誤差データをDCT変換し、DCT処理の結果として得られたDCT係数を生成して予測部246に対して出力する。
【0056】
予測部246は、DCT部244から入力されたDCT係数をバックサーチ部248に対して出力する。
また、予測部246は、例えば、1〜数GOP分の圧縮映像データを生成する時間を単位期間として、この単位期間ごとに固定値の量子化ステップ(fix-q) でDCT部244から入力されたDCT係数を量子化して量子化データを生成する。
【0057】
また、予測部246は、映像データ処理システム1(エンコーダ2)の使用者等によって外部から設定され、上記許容値を示す目標データ量、および、生成した量子化データのデータ量(発生符号量)に基づいて、入力映像データの絵柄の難しさ(難度)を単位期間ごとに見積もる。
【0058】
また、予測部246は、見積もった入力映像データの絵柄の難しさに応じて、入力映像データの絵柄が難しい部分に多くのデータ量(データレート)を割り当て、入力映像データの絵柄が簡単な部分に少ないデータ量(データレート)を割り当てて出力映像データの品質を全体として高く保ち、しかも、出力映像データの総量が上記許容値を超えないようにするために実際に用いるべき量子化ステップを示す量子化インデックスを単位期間ごとに算出し、バックサーチ部248に対して出力する。
【0059】
なお、予測部246においては、上述した固定値の量子化ステップでDCT係数を量子化して量子化インデックスを予測する方法の他に、例えば、DCT部244から入力されるDCT係数をいくつかの仮の量子化値を用いて量子化して量子化データを生成し、生成した量子化データのデータ量(発生符号量)と目標データ量(許容値)とを比較して、これらのいずれが多いかに応じて二分木検索により最適な量子化ステップを予測する方法〔バイナリサーチ(binary search) 〕を採ることも可能である。
【0060】
バックサーチ部248の処理の概要
バックサーチ部248は、予測部246から入力される量子化インデックス、および、DCT部244から予測部246を介して入力されるDCT係数に基づいて、前回の圧縮符号化においてイントラ符号化されたピクチャーを検出し、検出結果をピクチャータイプ制御部250に対して出力する。
【0061】
また、バックサーチ部248は、バックサーチにより入力映像データが1度以上の圧縮符号化を経ているか否かを判断し、前回の圧縮符号化において用いられた量子化ステップを示す量子化インデックスを生成し、圧縮符号化部20の量子化部210に設定する。
【0062】
つまり、バックサーチ部248は、予測部246が予測した量子化インデックスが示す量子化ステップおよびその近傍の値で、DCT部244から予測部246を介して入力されるDCT係数を除算し、除算結果の剰余の総和が著しく小さい値を示す量子化ステップが存在する場合には、この著しく小さい値を示す量子化ステップを前回の圧縮符号化において用いられた量子化ステップと判定し、この量子化ステップを示す量子化インデックスを量子化部210に対して出力する。
【0063】
バックサーチ部248の処理の詳細
さらに、バックサーチ部248の入力映像データのIピクチャーの検出処理の内容を詳細に説明する。
バックサーチ部248におけるGOP位相の検出処理は、入力映像データに含まれるIピクチャーから伸長復号されたピクチャー(単に「入力映像データのIピクチャー」とも記す)を、次の圧縮符号化においても再びIピクチャーに圧縮符号化(イントラ符号化)した場合にのみ、バックサーチにより求められるDCT係数の剰余総和が顕著な極小を示すという性質に着目して行われる。
【0064】
この理由は、PピクチャーまたはBピクチャーは、動き補償処理により算出した予測誤差データをDCT処理し、量子化することにより圧縮符号化されているために、PピクチャーまたはBピクチャーを逆DCT処理、逆量子化および動き補償して伸長復号しても、伸長復号の結果として得られる映像データの値は量子化ステップの整数倍にはなりえないからである。
従って、PピクチャーまたはBピクチャーを伸長復号して得られたピクチャー(単に「入力映像データのPピクチャー,Bピクチャー」とも記す)をイントラ符号化し、バックサーチ処理した場合には、DCT係数の剰余の総和に極小点は存在せず、見つけることはできない。
【0065】
また、同様に、入力映像データのBピクチャー(Pピクチャー)を再度同じBピクチャー(Pピクチャー)に圧縮符号化し、バックサーチ処理した場合にも、前回の圧縮符号化で求められた動きベクトルと、次回の圧縮符号化により歪んだ映像から求められた動きベクトルとは同一にはならず、また、前回の圧縮符号化および伸長復号による映像の歪みのために、次回の圧縮符号化において得られる予測誤差データは、前回の圧縮符号化の際に得られた予測誤差データと同一にはならない。従って、次回、入力映像データのBピクチャーまたはPピクチャーを前回と同じピクチャータイプに圧縮符号化しても、バックサーチ処理において、DCT係数の剰余の総和が顕著に小さい値になる極小点が見つかる確率は非常に低い。
【0066】
以上説明したピクチャータイプごとのバックサーチ処理における性質を利用すると、入力映像データのピクチャーが、前回、イントラ符号化されたものであるか否かを、バックサーチ処理においてDCT係数の顕著な極小値を生じるか否かに基づいて自動的に検出することができる。
【0067】
バックサーチ部248は、DCT係数の剰余の総和に顕著な極小値が存在するか否か、例えば、予測部246から入力された量子化インデックスが示す量子化ステップでDCT係数を除算した場合の剰余の総和に対して、バックサーチ部248におけるバックサーチ処理により求められたDCT係数の剰余の総和の比率が、ある一定の閾値以下になるか否かを判断することにより、エンコーダ2が入力映像データのIピクチャーをイントラ符号化したか否かを判断することができる。
【0068】
このように、バックサーチ部248は、入力映像データのIピクチャーの位置を検出することにより、入力映像データのIピクチャーの間隔(GOPに含まれるピクチャーの数N)を判定することができ、判定結果をピクチャータイプ制御部250に通知する。
【0069】
ピクチャータイプ制御部250は、求めたIピクチャーの間隔と、映像データ処理システム1のエンコーダ2a,2bおよびデコーダ4a,4bが用いるGOPの構成(GOP内にいずれのピクチャータイプがどのような順番で含まれるか;GOPシーケンス)とに基づいて、GOP内のPピクチャーの間隔(M)を判定することができ、さらに、入力映像データの各ピクチャーが、前回、いずれのピクチャータイプに圧縮符号化されたかを判定することができる。
【0070】
ピクチャータイプ制御部250は、以上説明したように判定した入力映像データが前回の圧縮符号化においていずれのピクチャータイプに圧縮符号化されたかを示す情報に基づいて、入力映像データの各ピクチャーが前回と同じピクチャータイプに圧縮符号化され、前回の圧縮符号化と次回の圧縮符号化におけるGOP位相が保たれるようにピクチャー並べ替え部200を制御し、ピクチャーの並び替えを行わせる。
【0071】
エンコーダ2の動作
以下、図3をさらに参照して図1および図2に示したエンコーダ2(図1,図2)の動作を説明する。
圧縮制御部24の動き補償部240は、圧縮符号化部20のピクチャー並べ替え部200および走査変換ブロック化部202が処理した映像データを動き補償する。
減算回路242は、Iピクチャーの映像データ、および、PピクチャーまたはBピクチャーの予測誤差データを生成する。
DCT部244は、Iピクチャーの映像データ、および、PピクチャーまたはBピクチャーの予測誤差データをDCT変換し、DCT係数を生成する。
【0072】
予測部246は、例えば、1GOP分の圧縮映像データを生成する時間を単位期間として、この単位期間ごとに固定値の量子化ステップ(fix-q) でDCT部244から入力されたDCT係数を量子化して量子化データを生成し、その発生符号量に基づいて、入力映像データの難度を見積もり、さらに、量子化インデックスを単位期間ごとに算出する。
【0073】
バックサーチ部248は、予測部246が生成した量子化インデックスと、DCT部244が生成したDCT係数とに基づいて、前回の圧縮符号化においてイントラ符号化されたピクチャーを検出し、さらに、バックサーチにより前回の圧縮符号化において用いられた量子化ステップを示す量子化インデックスを生成する。
図3は、図1および図2に示したエンコーダ2(2a,2b)のバックサーチ部248およびピクチャータイプ制御部250の処理内容、つまり、いかにイントラ符号化する入力映像データのピクチャーを指定するかを例示するフローチャート図である。
【0074】
図3に示すように、ステップ100(S100)において、バックサーチ部248は、変数jを初期値1とする。
ステップ102(S102)において、バックサーチ部248は、圧縮符号化部20の動き補償部240、減算回路242およびDCT部244が入力映像データの第j番目のピクチャーを圧縮処理した結果として得られたDCT係数に対してバックサーチ処理を行い、DCT係数の剰余の総和Rmin,j と、予測部246が得た量子化ステップ(その前の量子化ステップ)によるDCT係数の剰余の総和Rj とを記憶する。
【0075】
ステップ104(S104)において、バックサーチ部248は、変数jと、それまでに求めたGOPのピクチャー数Nとを比較し、変数jがピクチャー数Nより大きい場合にはS108の処理に進み、変数jがピクチャー数N以下である場合にはS106の処理に進む。
ステップ106(S106)において、バックサーチ部248は、変数jに1を加算(インクリメント)する。
【0076】
S100〜S106の処理が構成するループ処理において、バックサーチ部248は、N枚(1GOP分)のピクチャーについて、バックサーチ処理により得られるDCT係数の剰余の総和Rsub,j と、予測部246が固定値の量子化ステップでDCT係数を量子化することにより、あるいは、バイナリサーチにより得た量子化ステップで量子化したときの剰余総和Rj とを保存する処理を行う。
【0077】
ステップ108(S108)において、バックサーチ部248は、予測部246が得た量子化ステップにより得られる剰余総和Rj に対する、S100〜S106の処理が構成するループ処理により得られたN個の剰余総和Rsub,j の比率(Rmin,j /Rj )の最小値〔min(Rmin,j /Rj )〕と、所定の閾値Thとを比較する。
【0078】
バックサーチ部248は、最小値〔min(Rmin,j /Rj )〕が閾値Th以上である場合には、入力映像データが1度も圧縮符号化を経ていないオリジナルの映像データであると判断してS100の処理に進み、最小値〔min(Rmin,j /Rj )〕が閾値Th未満である場合には、入力映像データが既に圧縮符号化を経ている(ダビング後の)映像データであると判断してS110の処理に進む。
【0079】
ステップ110(S110)において、バックサーチ部248は、S108の処理において、最小値〔min(Rmin,j /Rj )〕を与える第jmin 番目のピクチャーを入力映像データのIピクチャーと判断し、ピクチャータイプ制御部250に対して通知する。
ステップ112(S112)において、ピクチャータイプ制御部250は、第jmin 番目のピクチャーが、GOPの第1番目のピクチャーであるか否かを判断し、第jmin 番目のピクチャーがGOPの第1番目のピクチャーである場合にはS100の処理に進み、第jmin 番目のピクチャーがGOPの第1番目のピクチャーでない場合にはS114の処理に進む。
【0080】
S112の処理において、第jmin 番目のピクチャーがGOPの第1番目のピクチャーであるということは、現在のバックサーチ処理の対象となっているGOPの位相
(構成)が、の前回のバックサーチ処理の対象となっていたGOPの位相
(構成)と同じであることを意味するので、ピクチャータイプ制御部250は、GOPの位相の変更を要さない。
【0081】
反対に、S112の処理において、第jmin 番目のピクチャーがGOPの第1番目のピクチャーでないということは、バックサーチ部248の現在の処理の対象となっているGOPの位相
(構成)が、バックサーチ部248の前回の処理の対象となっていたGOPの位相
(構成)と異なっていることを意味するので、ピクチャータイプ制御部250は、GOPの位相の変更を要する。
【0082】
ステップ114(S114)において、ピクチャータイプ制御部250は、第N+jmin 番目の入力映像データのピクチャーをイントラ符号化するように、ピクチャーの並び替えの順番を変更するようにピクチャー並べ替え部200を制御する。
ステップ116(S116)において、ピクチャータイプ制御部250は、変数jに数値jmin を代入し、S102の処理に進む。
【0083】
圧縮符号化部20のピクチャー並べ替え部200は、以上説明したピクチャータイプ制御部250の制御に従って、入力映像データのピクチャーの順番を並び替える。
走査変換ブロック化部202は、映像データをフィールド/フレーム変換し、さらにマクロブロック化する。
【0084】
動き検出部204は、映像データをマクロブロック単位に処理してその動きを検出し、映像の動きを示す動きベクトルを生成する。
FIFO206は、映像データをバッファリングし、所定の時間遅延を与える。
減算回路207は、圧縮符号化後にPピクチャーまたはBピクチャーとなるピクチャーの予測誤差データを生成する。
【0085】
DCT部208は、圧縮符号化後にIピクチャーとなる映像データ、および、PピクチャーまたはBピクチャーとなる映像データの予測誤差データをDCT処理し、DCT係数を生成する。
量子化部210は、圧縮制御部24のバックサーチ部248が生成した量子化インデックスが示す量子化ステップで、DCT部208から入力されたDCT係数を量子化し、量子化データを生成する。
可変長符号化部212は、量子化部210から入力される量子化データを可変長符号化し、出力映像データ(stream out)として出力する。
【0086】
逆量子化部214は、量子化データを逆量子化処理してDCT係数を再生する。
逆DCT部216は、再生されたDCT係数を逆DCT処理して映像データを再生する。
加算回路218は、逆DCT部216から入力される映像データと、動き補償部222から入力される映像データとを加算する。
【0087】
FIFO220は、動き検出部204から入力される動きベクトルをバッファリングし、所定の時間遅延を与える。
動き補償部222は、加算回路218から入力される映像データに対して、FIFO220から入力される動きベクトルを用いた動き補償処理を行う。
【0088】
変形例
以下、図4を参照して、第1の実施形態の変形例を説明する。
エンコーダ2(図1,図2)は、圧縮符号化部20の量子化部210に設定する量子化インデックスを求めるバックサーチ処理を行う際に、前回の圧縮符号化の際のピクチャータイプを検出し、ピクチャー並べ替え部200のピクチャーの並び替え処理を制御するように構成されているので、遅延量が多く、しかも、ピクチャー並べ替え部200におけるピクチャーの並び替えの順番を迅速に変更することができない。
【0089】
しかしながら、バックサーチ処理により、DCT係数の剰余総和の極小点を見つけるためには、必ずしもピクチャーの全てのDCT係数の剰余総和を算出する必要はなく、ピクチャー中のいくつかのマクロブロックを抽出して、剰余総和の極小点が存在するか否かを調べれば充分である。
【0090】
以下に説明する第1の実施形態に示したエンコーダ2の変形例(エンコーダ5)は、このような点に着目し、エンコーダ2の処理速度を改善するのためになされたものであり、量子化インデックスを生成する機能と、GOPの位相を検出する機能とを分離し、予めGOP位相を検出してから入力映像データを圧縮符号化するように構成されている。
【0091】
図4は、第1の実施形態の変形例のエンコーダ5の構成を示す図である。なお、図4においては、エンコーダ5の構成部分の内、エンコーダ2と同一のものには図2と同じ符号が付してある。
図4に示すように、エンコーダ5は、圧縮符号化部20と圧縮制御部26から構成される。
圧縮制御部26は、圧縮制御部24(図2)にGOP位相制御部28を付加した構成を採る。
GOP位相制御部28は、ブロック抽出部280、DCT部282、予測部284およびバックサーチ部286から構成される。
【0092】
圧縮制御部26のGOP位相制御部28において、ブロック抽出部280は、入力映像データの各ピクチャーから数ブロック分の映像データを抽出し、DCT部282に対して出力する。
DCT部282は、ブロック抽出部280から入力された数ブロック分の映像データをDCT処理し、DCT処理により得られたDCT係数を予測部284に対して出力する。
【0093】
予測部284は、圧縮制御部24の予測部246と同様に、単位期間ごとに固定値の量子化ステップ(fix-q) またはバイナリサーチにより入力映像データの絵柄の難しさを見積もり、実際に用いるべき量子化ステップを示す量子化インデックスを単位期間ごとに算出してバックサーチ部286に対して出力する。
【0094】
バックサーチ部286は、エンコーダ2における圧縮制御部24のバックサーチ部248と同様に、予測部284から入力される量子化インデックス、および、DCT部282から予測部284を介して入力されるDCT係数を用いてバックサーチ処理を行い、入力映像データのGOP位相(Iピクチャー)を検出し、ピクチャータイプ制御部250に通知する。
ピクチャータイプ制御部250は、エンコーダ2においてと同様に、バックサーチ部286から入力されるIピクチャーの位置を示す情報に従って、圧縮符号化部20のピクチャー並べ替え部200の処理を制御する。
【0095】
なお、エンコーダ2と異なり、エンコーダ5においては、GOP位相の検出(Iピクチャーの検出)に先立つ動き補償は行なわれないので、GOP位相制御部28のバックサーチ部286は、入力映像データの全てのピクチャーに対してイントラ符号化して得られたDCT係数に対してバックサーチ処理を行うことになる。従って、結果的に、GOP位相制御部28による入力映像データが既に圧縮符号化を経ているか否かの判定は非常に簡単になる。
【0096】
また、図1および図2に示したエンコーダ2(2a,2b)の各構成部分は、同一の機能および性能を実現可能である限り、ソフトウェア的に構成されるかハードウェア的に構成されるかを問わない。
また、エンコーダ2の各構成部分は、同一の機能および性能を実現可能な他の装置に置換可能である。
また、エンコーダ2は、適切な変形を加えることにより、映像データの他、例えば、音声データといった冗長性を有する他の種類のデータの圧縮符号化に応用することができる。
【0097】
効果
以上説明したように、エンコーダ2,5によれば、前回の圧縮符号化と同じGOP位相を保って次回の圧縮符号化を行うことができ、図1に示した映像データ処理システム1における映像の品質の劣化を防ぐことができる。
また、エンコーダ2,5においては、ピクチャータイプ情報が失われた場合、あるいは、1度も圧縮符号化を経ていないオリジナルの映像データが入力された場合に、圧縮映像データとピクチャータイプを示す情報とを多重化し、ピクチャータイプ情報に基づいて次回の圧縮符号化を行う従来の方法において生じていた誤動作等の不具合は発生しない。
【0098】
また、エンコーダ2,5においては、例えば、圧縮映像データをアナログ映像信号に戻し、再度、ディジタル圧縮映像データとして記録等を行う場合にも、アナログ映像データに戻す前の圧縮映像データと同じGOP位相で圧縮符号化を行うことができ、映像の品質の劣化を防ぐことができる。
また、エンコーダ5は、ピクチャーの一部のマクロブロックを用いてGOP位相を検出するので、エンコーダ2に比べて大幅に装置規模が増大することがない。
また、エンコーダ5によると、GOP位相を検出するために要する処理時間が短縮されるので、エンコーダ2に比べて遅延時間を短縮することができる。
【0099】
第2実施形態
以下、本発明の第2の実施形態を説明する。
【0100】
第2の実施形態の背景
MPEG2方式等のMC−DCT方式等の圧縮符号化技術を、映像データの放送、通信あるいは伝送に用いる場合には、圧縮符号化して得られる圧縮映像データのデータ量(発生符号量)を伝送路の伝送容量以下に押さえ込むためには、MPEG方式のTM5等に代表されるように、通常、フィードバックによる量子化ステップの制御が行なわれる。
【0101】
このフィードバックによる量子化ステップの制御は、過去の量子化ステップ(量子化インデックス)と、この量子化ステップに対応する発生符号量との関係により、その時点のバッファ残量に適合する量子化ステップ(量子化インデックス)を動的(ダイナミック)に調節することにより行われる。
【0102】
しかしながら、このフィードバック制御方式は、長い時間で見たときは所望のデータレートに符号発生量を抑え込むことができるものの、瞬間的に見ると、発生符号量の増大を招くことがある。
従って、テレビジョン放送業務用デジタルVTR装置あるいは録再型ディスク装置への応用を考えると、例えばインサート編集、可変速再生あるいは記録エラーのコンシール(conceal) に対応できるように、ある単位期間ごとに、発生符号量が必ず目標符号量となるように発生符号量を制御し、VTRテープあるいはMOディスク等のディスク記録媒体の特定の場所に記録するという制御がさらに必要になる。
【0103】
また、高い映像の品質が要求されるテレビジョン放送局用においては、タンデム接続したエンコーダおよびデコーダ(コーデック)により圧縮符号化および伸長復号を繰り返した場合の映像の品質の劣化防止も厳しく要求される。
【0104】
従って、映像データ処理システム1(図1)等において圧縮符号化および伸長復号を繰り返す場合には、各圧縮符号化処理における量子化ステップを同じにするために、例えば、エンコーダ2,5(図1,図2,図4)のバックサーチ部248によるバックサーチ処理が用いられる。
【0105】
しかしながら、エンコーダ2,5のバックサーチ部248のバックサーチ処理においては、DCT係数の剰余総和の中に、所定の閾値を超える割合の著しい極小点が存在するか否かに基づいて、前回の圧縮符号化において用いられた量子化ステップを検出する方法が採られるため、この閾値を小さく設定しすぎると、本来、DCT係数の剰余総和の極小点が存在しない、一度の圧縮符号化も経ていないオリジナル映像データのピクチャーのいくつかのマクロブロックから、DCT係数の剰余総和の極小点が誤って検出される可能性がある。
【0106】
バックサーチ部248がDCT係数の剰余総和を誤って検出し、誤って生成した量子化ステップ(量子化インデックス)に基づいて圧縮符号化部20の量子化部210が量子化を行うと、最適な量子化ステップよりも大きい値でDCT係数を量子化してしまい、結果として映像の品質が大きく劣化してしまう可能性がある。
【0107】
また逆に、DCT係数の剰余総和の検出に用いる閾値を過度に大きく設定すると、既に圧縮符号化を経ている映像データが入力されても、ピクチャー内のいくつかのマクロブロックではDCT係数の剰余総和の極小点を検出できない可能性がある。本来、検出されるべき極小点が検出できないと、前回の圧縮符号化にいてと異なる量子化ステップで、次回の圧縮符号化における量子化処理が行われ、映像の品質が大きく劣化してしまう。
これらの観点から、DCT係数の剰余総和の検出に用いる閾値を適切に選択する必要があるが、以上のような不具合の解決は難しく、さらに、入力映像データの絵柄によっては、以上の不具合が顕著に現れる可能性もある。
【0108】
さらに、MPEG 4:2:2 Profile方式を用いる装置には、例えば、GOPがIピクチャーおよびBピクチャーの2フレーム構成となっているものがあり、また、MP@ML方式を用いる装置には、GOPが15フレーム構成を採ることが代表的である。
【0109】
一方、複数フレーム構成のGOPを用いるMC−DCT方式のエンコーダおよびデコーダにおいては、圧縮符号化の際に動き補償処理を行うピクチャータイプにおいて前回と同じ動きベクトルを再現することは不可能であるため、次回の圧縮符号化における動きベクトルおよび予測誤差の再現性が低く、結果として、前回の圧縮符号化においてBピクチャーおよびPピクチャーに圧縮符号化されたピクチャーのDCT係数の剰余総和に顕著な極小点は存在しない。
【0110】
従って、バックサーチ部248において前回の圧縮符号化においてイントラ符号化されたピクチャーを検出するための閾値を用いてバックサーチ処理を行っても、前回の圧縮符号化においてBピクチャーおよびPピクチャーに圧縮符号化されたピクチャーからは、DCT係数の極小点を検出できない。
第2の実施形態は、このような不具合を解決し、ピクチャータイプの誤検出を防ぐことができるバックサーチ処理をズムを実現し、例えば、複数のディジタルVTR装置を接続して映像データを複写する際等の映像の品質劣化を防ぐことを目的としている。
【0111】
図5は、第2の実施形態における本発明に係るエンコーダ6の構成を示す図である。なお、図5においては、エンコーダ6の構成部分のうち、図2に示したエンコーダ2および図4に示したエンコーダ5の構成部分と同じものには、同一の符号を付してある。
【0112】
図5に示すように、エンコーダ6は、圧縮符号化部20、圧縮制御部30およびビデオインデックス(video index;仮称)検出部32から構成され、圧縮制御部30は、エンコーダ2,5(図1,図2,図4)の圧縮制御部24にスイッチ(sw)回路300を付加した構成を採る。なお、第2の実施形態において示すエンコーダ6は、圧縮符号化において動き補償を行うように構成されているが、動き補償処理は必須ではない。
【0113】
エンコーダ6は、例えば、映像データ処理システム1(図1)において、エンコーダ2,5の代わりに用いられ、エンコーダ2,5と同様に、入力映像データに含まれる各ピクチャーが前回、いずれのピクチャータイプに圧縮符号化されたかを検出し、さらに、前回と同じ量子化ステップでDCT係数を量子化し、圧縮符号化を行う。
【0114】
エンコーダ6におけるバックサーチ処理
エンコーダ6におけるバックサーチ処理は、バックサーチアルゴリズムは、一度も圧縮符号化を経ていないオリジナルの映像に対しては使用しないほうがよく、同じ圧縮符号化方式を用いるエンコーダによる圧縮符号化を既に経ている映像データに対してのみ適用することが好ましいという性質に着眼して変更されている。
【0115】
つまり、第1の実施形態において示したエンコーダ2,5においては、入力映像データの全てのピクチャーに対してバックサーチ処理を行い、オリジナルの映像データにおいてはDCT係数の剰余総和に極小点が見つからず、既に圧縮符号化を経た映像データにおいてのみ剰余総和に極小点が見つかってバックサーチ処理が有効となること期待しているが、この期待どおりとならない場合がある。
【0116】
そこで、第2の実施形態において示すエンコーダ6は、ビデオインデックスを用いて、入力される映像データのピクチャーが、既に圧縮符号化を経た映像データかオリジナルの映像データかを識別し、オリジナルの映像データ、および、前回、他の方式により圧縮符号化された映像データであると識別された場合には、バックサーチ処理を実行せず、逆に、前回、同じ方式により圧縮符号化され、かつ、前回のGOP位相が次の圧縮符号化におけるGOP移動と同じ場合にのみバックサーチ処理を実行するように構成されている。
【0117】
前回の圧縮符号化方式の検出方法
次に、前回の圧縮符号化方式が、次回の圧縮符号化方式と同じか否かを検出する方法を説明する。
現在、SMPTEにおいて、ビデオインデックスと呼ばれるエンコード条件を示す情報を、デコーダ側で映像データに多重化することが標準化されつつある。映像データに正しいビデオインデックスが多重化されているか否かを検出することにより、エンコーダ6の入力部分において、入力映像データが前回、同じ方式により圧縮符号化されたか否か、および、次回の圧縮符号化におけるGOPの位相(構造)と前回の圧縮符号化におけるGOPの位相とが一致しているか否かを判定することができる。以下、映像データ処理システム1において、デコーダ4a,4bがビデオインデックスを映像データに多重化する場合について説明を行う。
【0118】
ビデオインデックス検出部32の動作の概要
以下、ビデオインデックス検出部32の動作の概要を説明する。
ビデオインデックス検出部32は、入力映像データに正しいビデオインデックス情報が多重化されているか否かを監視し、入力映像データに正しいビデオインデックス情報が多重化されており、かつ、次回の圧縮符号化におけるGOPの位相(構造)と前回の圧縮符号化におけるGOPの位相とが一致している場合にのみ、次回の圧縮符号化におけるGOPの位相(構造)と前回の圧縮符号化におけるGOPの位相とが一致するようにピクチャータイプ制御部250を介してピクチャー並べ替え部200の動作を制御し、さらに、スイッチ回路300を制御して入力端子bを選択させ、圧縮制御部24のバックサーチ部248の処理により決定された量子化ステップ(量子化インデックス)を量子化部210に対して出力させる。
【0119】
また、ビデオインデックス検出部32は、逆に、ビデオインデックスが入力映像データに全く多重化されていなかったり、多重化されていても違う圧縮符号化方式を示していたり、あるいは、同じ圧縮符号化方式を示していても、編集作業等によりGOP位相が変更されたりといったように、次回の圧縮符号化におけるGOP位相で圧縮符号化を行わない方がよい場合に、スイッチ回路300を制御して入力端子aを選択させ、予測部246により固定量子化ステップあるいはバイナリーサーチにより求められた量子化ステップ(インデックス)を量子化部210に対して出力させる。
【0120】
ビデオインデックス検出部32の動作の詳細
以下、図7をさらに参照して、ビデオインデックス検出部32の詳細な動作を説明する。
図7は、図5に示したエンコーダ6のビデオインデックス検出部32の動作を例示するフローチャート図であって、ビデオインデックス検出部32が1ピクチャーの映像データを取り込んでから、量子化インデックスを生成するまでが例示されている。
【0121】
図7に示すように、ステップ200(S200)において、エンコーダ6のビデオインデックス検出部32は、次の入力映像データを1ピクチャー分取り込む。
ステップ202(S202)において、ビデオインデックス検出部32は、次の入力映像データが取り込めたか否かを判断し、入力映像データが取り込めなかった場合には処理を終了する。
ステップ204(S204)において、ビデオインデックス検出部32は、入力映像データのビデオインデックスが多重化されているべき位置のデータ(例えば3バイト)の全てを分離し、読み出す。
【0122】
ステップ206(S206)において、ビデオインデックス検出部32は、読み出した3バイトのデータに対してCRCチェックを行う。CRCチェックの結果、3バイトのデータが正しい場合にはS208の処理に進み、正しくない場合にはS216の処理に進む。
【0123】
ステップ208(S208)において、ビデオインデックス検出部32は、ビデオインデックスに含まれるGOP構成、Pピクチャーの間隔(M)および量子化方法(Q_type)を示すピクチャーごとの変更がないデータに基づいて、次回(現在)の圧縮符号化におけるこれらの条件と、前回の圧縮符号化におけるこれらの条件とが一致するか否かを判断する。一致する場合にはS210の処理に進み、一致しない場合にはS216の処理に進む。
【0124】
ステップ210(S210)において、ビデオインデックス検出部32は、インデックスに含まれているピクチャータイプ(picture type)およびフレーム数(N;frame number)と、次回(現在)の圧縮符号化において期待されるピクチャータイプおよびフレーム数(N)とを比較し、これらが一致するか否かを判断する。一致する場合にはS212の処理に進み、一致しない場合にはS216の処理に進む。
【0125】
つまり、ビデオインデックス検出部32は、ビデオインデックスに含まれるピクチャータイプを示すデータおよびフレーム番号を示すデータと、期待されているパターンとが一致する否かを調べる。例えば、GOPがBピクチャーおよびIピクチャーそれぞれ1枚ずつの2フレーム構成である場合には、表示順で、GOPの1枚目はBピクチャー、2枚目はIピクチャーとなることが期待される。
【0126】
従って、ビデオインデックス検出部32は、ビデオインデックスデータに含まれるフレーム番号を示すデータ(Frame No.) が1であって、かつ、ビデオインデックスデータに含まれるピクチャータイプを示すデータがBピクチャーである場合、および、ビデオインデックスデータに含まれるフレーム番号を示すデータ(Frame No.) が2であって、かつ、ビデオインデックスデータに含まれるピクチャータイプを示すデータがIピクチャーである場合の2つの場合にのみビデオインデックスが正しいと判断する。
【0127】
ステップ212(S212)において、ビデオインデックス検出部32は、インデックスに含まれているGOP位相を示す情報が、次回(現在)の圧縮符号化におけるGOP位相と一致するか否かを判断する。一致する場合にはS214の処理に進み、一致しない場合にはS216の処理に進む。
【0128】
つまり、ビデオインデックス検出部32は、次回(現在)の圧縮符号化におけるGOP位相と、ビデオインデックスに含まれるGOP位相を示すデータとが一致している場合にのみ、バックサーチ部248が生成した量子化インデックスを有効にする。
【0129】
ステップ214(S214)において、ビデオインデックス検出部32は、スイッチ回路300を制御して入力端子b側を選択させ、圧縮符号化部20の量子化部210にバックサーチ部248が生成した量子化インデックスを出力させる。
【0130】
つまり、ビデオインデックス検出部32は、S202,S206〜S212の処理に示した全ての条件が満たされた場合にのみ、バックサーチ部248におけるバックサーチ処理を有効化し、S214の処理においてスイッチ回路300を制御し、バックサーチ部248が生成した量子化インデックスを量子化部210に対して出力させる。
【0131】
ステップ216(S216)において、ビデオインデックス検出部32は、スイッチ回路300に入力端子a側を選択させ、量子化部210が、バックサーチ部248が生成した量子化インデックスではなく、予測部246が生成した量子化インデックスを用いて量子化を行うように制御する〔フリーラン(free run)処理〕。
つまり、ビデオインデックス検出部32は、S202,S206〜S212の処理に示した条件のいずれかが満たされない場合には、バックサーチ部248におけるバックサーチ処理を無効化し、S216においてスイッチ回路300を制御し、予測部246が生成した量子化インデックスを量子化部210に対して出力させる。
【0132】
デコーダ4(4a,4b)
図6は、図1に示したデコーダ4(4a,4b)の構成を示す図である。
映像データ処理システム1(図1)において、エンコーダ2,5の代わりにエンコーダ6を用いる場合、デコーダ4a,4bは、図6に示すように、伸長復号部40に、ビデオインデックス多重化部414を付加した構成を採る。
【0133】
伸長復号部40は、一般的な映像データ用デコーダ装置と同様に、バッファメモリ(buffer)400、可変長復号部(VLD)402、逆量子化部404、逆DCT部406、動き補償部408、スイッチ回路410、ピクチャー並べ替え部412およびピクチャータイプ制御部416から構成される。
【0134】
伸長復号部40は、エンコーダ2から入力される圧縮映像データを伸長復号し、フルビットの映像データを生成してビデオインデックス多重化部414に対して出力する。
ビデオインデックス多重化部414は、ピクチャータイプ制御部416が検出した圧縮映像データのGOPシーケンスに基づいて、前回の圧縮符号化の方式およびGOP構成等を示すビデオインデックスを生成し、ピクチャー並べ替え部412から入力される映像データにビデオインデックスを付加し、エンコーダ2に対して出力する。
【0135】
第2の実施形態における映像データ処理システム1の動作
以下、エンコーダ6(図5)およびデコーダ4(図6)を用いた映像データ処理システム1(図1)の動作を説明する。
エンコーダ6(6a)は、入力される映像データを圧縮符号化し、記録・伝送装置3aを介してデコーダ4(4a)に対して伝送する。
デコーダ4aは、エンコーダ6aから入力された圧縮映像データを伸長復号してフルビットの映像データを生成し、ビデオインデックスデータを多重化して、記録・伝送装置3bを介してエンコーダ6(6b)に伝送する。
【0136】
エンコーダ6bにおいて、ビデオインデックス検出部32(図5)は、ピクチャー1枚分の映像データが入力されるたびに、図7に示した処理を行い、入力された映像データに多重化されたビデオインデックスが正しいか否かを判断し、スイッチ回路300を制御して、圧縮符号化部20の量子化部210に、バックサーチ部248が生成した量子化ステップ(量子化インデックス)および予測部246が生成した量子化ステップ(量子化インデックス)のいずれかを設定するとともに、ピクチャータイプ制御部250を介して圧縮符号化部20のピクチャー並べ替え部200を制御し、エンコーダ6bにおける圧縮符号化に適した順番に入力映像データのピクチャーを並べ替えさせる。
【0137】
圧縮符号化部20のピクチャー並べ替え部200以降の各構成部分、および、圧縮制御部30は、エンコーダ2,5と同様に入力映像データを圧縮符号化し、記録・伝送装置3cを介してデコーダ4bに伝送する。
【0138】
なお、エンコーダ6におけるように、ビデオインデックスに基づいて圧縮符号化部20のピクチャー並べ替え部200を制御する場合、次回の圧縮符号化時においても前回の圧縮符号化時のピクチャータイプを把握できるので、前回の圧縮符号化時のピクチャータイプに基づいて、次回以降の圧縮符号化において圧縮制御部30のバックサーチ部248のバックサーチ処理において用いられる閾値を、ピクチャータイプに応じて最適化することが可能である。
【0139】
つまり、前回の圧縮符号化時にイントラ符号化されたピクチャーを、次回もイントラ符号化する場合には、バックサーチ処理(図3)においてDCT係数の剰余総和の顕著な極小点が現れやすい。従って、バックサーチ処理に用いる閾値を大きめに設定することにより、DCT係数の剰余総和の極小点の誤検出が防止できる。
【0140】
逆に、上述のように、前回の圧縮符号化においてBピクチャーおよびPピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、動き予測を用いた圧縮符号化であるために、前回の圧縮符号化において求められた動きベクトルと、次回以降の歪んだ映像データから求められた動きベクトルとは一致せず、PピクチャーおよびBピクチャーの予測誤差をDCT処理して得られたDCT係数の剰余総和を求めても、極小点がさほど顕著には現れない。
【0141】
このため、前回の圧縮符号化においてBピクチャーおよびPピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、バックサーチ部248のバックサー処理において用いる閾値を高めに設定すると、バックサーチ部248は、正しい量子化ステップ(量子化インデックス)を求めることができない可能性が生じる。
【0142】
従って、前回の圧縮符号化においてBピクチャーおよびPピクチャーに圧縮符号化されたピクチャーを、次回の圧縮符号化においても同じピクチャータイプに圧縮符号化する場合には、バックサーチ部248のバックサー処理において用いる閾値を、上記イントラ符号化を行う場合に比べて小さい値とすることにより、バックサーチ部248は正しい量子化ステップ(量子化インデックス)を求めることができるようになる。
【0143】
変形例
なお、図5に示したエンコーダ6においては、ビデオインデックス検出部32がスイッチ回路300を制御して量子化ステップ(量子化インデックス)の変更を行うが、ビデオインデックス検出部32の動作を、バックサーチ部248の動作を直接にON/OFFするように変更し、バックサーチ部248の動作を、ビデオインデックス検出部32により動作がOFFにされた場合に、予測部246から入力された量子化ステップ(量子化インデックス)を量子化部210に対して出力し、動作がONにされた場合に、バックサーチ部248自体が生成した量子化ステップ(量子化インデックス)を量子化部210に対して出力するように変更してもよい。
また、エンコーダ6に対しても、エンコーダ2,5(図1,図2,図4)に対してと同様な変更が可能である。
【0144】
効果
以上説明したように、第2の実施形態に示したエンコーダ6によれば、圧縮符号化部30のビデオインデックス検出部32が、オリジナルの映像データが入力された場合には、バックサーチ部248のバックサーチ処理を無効化するので、オリジナルの映像データを大きい量子化ステップを用いて圧縮符号化するといった誤動作を防止することができ、オリジナルの映像データを圧縮符号化して得られる圧縮映像データの映像の品質が向上する。
【0145】
また、エンコーダ6においては、圧縮符号化部30のビデオインデックス検出部32が、オリジナルの映像データが入力された場合には、バックサーチ部248のバックサーチ処理が無効化されるので、既に圧縮符号化を経た映像データが入力された場合にバックサーチ部248が用いる閾値の値を小さく最適化することができ、DCT係数の剰余総和の極小点の検出もれを防ぐことができ、バックサーチ処理の制度が向上する。従って結果的に、エンコーダ6によれば、既に圧縮符号化を経た映像データを圧縮符号化して得られる圧縮映像データの品質も向上する。
【0146】
第3実施形態
以下、本発明の第3実施形態を説明する。
【0147】
第3の実施形態の背景
図8は、映像データ圧縮・多重化装置7の構成例を示す図である。
例えば、テレビジョン放送局間で複数の圧縮映像データを多重化し、通信回線を介して伝送したい場合がある。このような場合、例えば、図8に例示する映像データ圧縮・多重化装置7が用いられる。
【0148】
図8に示すように、映像データ圧縮・多重化装置7は、3個のエンコーダ70a〜70cおよび多重化装置72から構成される。
映像データ圧縮・多重化装置7において、エンコーダ70a〜70cは、それぞれ例えばディジタルVTR装置から入力される入力映像データCH1〜CH3を圧縮符号化し、それぞれ固定データレートFR1〜FR3の圧縮時映像データCH1’〜CH3’として多重化装置72に対して出力する。
多重化装置72は、エンコーダ70a〜70cから入力された圧縮映像データCH1’〜CH3’を多重化し、出力データレートTの出力映像データとして通信回線(図示せず)に対して出力する。
【0149】
多重化装置72に接続される通信回線の伝送容量は予め決まっているので、多重化装置72の出力データレートTは、この通信回線の伝送容量(許容値)以下に制限される。従って、映像データ圧縮・多重化装置7のユーザーは、エンコーダ70a〜70cそれぞれに対して、多重化装置72の出力データレートを配分して、圧縮映像データのデータレートFR1〜FR3(FR1+FR2+FR3≦T)を設定する必要がある。
【0150】
このような場合には、単純にエンコーダ70a〜70cそれぞれに出力データレートTの1/3のデータレートを設定する方法の他に、入力映像データCH1〜CH3の難度に応じて出力データレートTを配分する方法が採られることがあり、後者の配分方法は統計多重と呼ばれる。
【0151】
例えば、多重化装置72の出力データレートTが10Mbpsであり、入力映像データCH1が、難しい絵柄のスポーツ映像の映像データであり、入力映像データCH2が、比較的難しい絵柄のニュース映像の映像データであり、入力映像データCH3が、比較的易しい絵柄の映画の映像データである場合に、ユーザーは、統計多重化方式に従って、エンコーダ70aにデータレートFR1として5Mbpsを配分し、エンコーダ70bにデータレートFR2として3Mbpsを配分し、エンコーダ70cにデータレートFR3として2Mbpsを配分し、それぞれに対して設定する。
【0152】
しかしながら、映像データの絵柄の難しさは経時的に変化し、入力映像データCH3の絵柄が、入力映像データCH1の絵柄よりも大幅に難しくなる場合がある。このような場合、映像データ圧縮・多重化装置7によれば、エンコーダ70a〜70cに対してデータレートFR1〜FR3が固定的に設定されているので、圧縮映像データCH3’の映像の品質が大幅に劣化してしまう。第3の実施形態は、このような不具合を解決するためになされたものである。
【0153】
映像データ圧縮・多重化装置8の構成
図9は、第3の実施形態における本発明に係る映像データ圧縮・多重化装置8の構成を示す図であって、映像データ圧縮・多重化装置8が3つの入力映像データを圧縮符号化し、多重化する場合を例示する。なお、映像データ圧縮・多重化装置8の構成部分の内、エンコーダ2,5(図1,図2,図4)および映像データ圧縮・多重化装置7(図7)と同じものには同一の符号が付してある。
【0154】
図9に示すように、映像データ圧縮・多重化装置8は、エンコーダ2,5,6のいずれかと同じ構成のエンコーダ80a〜80c、多重化装置72および制御部(CPU)82から構成される。
映像データ圧縮・多重化装置8において、エンコーダ80a〜80cの圧縮制御部24(26,30、以下、単に圧縮制御部24と記す)の予測部246は、制御部82に対して、固定値の量子化ステップにより単位期間ごとに求めた入力映像データCH1〜CH3の発生符号量(難度)を出力し、制御部82から単位期間ごとに入力される目標データ量に基づいて、量子化部210に対する量子化ステップを算出するように動作が変更されており、バックサーチ部248は動作していても動作が無効にされていてもよい。
【0155】
制御部82の動作の概要
制御部82は、エンコーダ80a〜80cからそれぞれ単位期間(例えば1GOP分の圧縮映像データを生成する時間)ごとに入力される入力映像データの難度に基づいて、エンコーダ80a〜80cそれぞれに配分するデータレートの値を算出し、エンコーダ80a〜80cの圧縮符号化部24の予測部246に設定して、エンコーダ80a〜80cそれぞれが出力する圧縮映像データCH1’〜CH3’のデータレートE1〜E3を単位期間ごとに動的に調節する。
【0156】
映像データ圧縮・多重化装置8の動作
以下、映像データ圧縮・多重化装置8の動作をさらに説明する。
エンコーダ80a〜80cそれぞれにおいて、圧縮制御部24の予測部246が、単位期間(1GOP)分の入力映像データCH1〜CH3それぞれの難度D1〜D3を制御部82に対して出力する。
【0157】
制御部82は、下の式1−1または式1−2により、単位期間ごとの合計許容発生符号量Pを算出する。
【0158】
【数1】
ただし、Nは単位期間(1GOP)に含まれるピクチャー数であり、
Tは、映像データ圧縮・多重化装置8に接続される通信回線等が許容
するデータレートである。
【0159】
さらに、制御部82は、予測部246から入力された入力映像データCH1〜CH3の難度D1〜D3を用いて、下の式2−1〜式2−3,式3−1〜式3−3に示すように、合計許容発生符号量Pを例えば比例配分し、目標符号量E1〜E3を算出し、圧縮制御部24の予測部246に設定する。
【0160】
【数2】
ただし、式2−1〜式2−3は入力映像データがNTSC方式の場合に適合し
、E1〜E3の小数点以下は切り捨てである。
【0161】
【数3】
ただし、式3−1〜式3−3は入力映像データがPAL方式の場合に適合する
。
【0162】
なお、映像データ圧縮・多重化装置8がn個の入力映像データを処理する場合を一般的に示すと、各エンコーダ80a〜80nに配分される目標データ量Eiは、下の式4−1,式4−2により表される。
【0163】
【数4】
ただし、i=1〜n、
Eiの小数点以下は切り捨てである。
【0164】
具体例を挙げる。
例えば、入力映像データがNTSC方式であり、N=30枚、T=10(Mbps)、D1=10(Mbit)、D2=20(Mbit)、D3=30(Mbit)である場合には、制御部82は、入力映像データCH1〜CH3の難度D1〜D3を用いて、目標データ量E1〜E3を、下の式5−1〜式5−3に示すように算出する。
【0165】
【数5】
【0166】
エンコーダ80a〜80cそれぞれの予測部246は、バックサーチ部248から設定された目標データ量に基づいて量子化ステップ(量子化インデックス)を算出して圧縮符号化部20の量子化部210に設定する。
エンコーダ80a〜80cそれぞれの圧縮符号化部20は、バックサーチ部248が設定した量子化ステップ(量子化インデックス)を用いて圧縮符号化を行い、単位期間ごとに目標データ量E1〜E3以下であって、ほぼ目標データ量E1〜E3に近いデータ量の圧縮時映像データCH1’〜CH3’を生成し、多重化装置72に対して出力する。
多重化装置72は、エンコーダ80a〜80cからそれぞれ入力される圧縮映像データCH1’〜CH3’を多重化して出力映像データを生成し、通信回線(図示せず)に対して出力する。
【0167】
変形例1
以下、第3の実施形態において説明した映像データ圧縮・多重化装置8の動作の第1の変形例を説明する。
例えは、映像データ圧縮・多重化装置8に入力される映像データの1つが、スポーツプログラム等の絵柄が難しい映像データである場合に、この映像データ全体を通じて、高いデータレートで圧縮符号化を行いたい場合がある。
【0168】
このような場合には、エンコーダ80a〜80cそれぞれの予測部246から入力される難度D1〜D3〔一般化してDk(k=1〜n)と記す〕に対して重み付け係数Akを乗算してプライオリティ(重み)を付け、下の式6−1,式6−2に示すように目標データ量Ekを算出するように、制御部82の動作を変形すればよい。
【0169】
【数6】
【0170】
具体例を挙げる。
入力映像データがNTSC方式であり、N=30枚、T=10(Mbps)、D1=10(Mbit)、D2=20(Mbit)、D3=30(Mbit)であり、入力映像データCH1〜CH3に対する重み付け係数A1〜A3がそれぞれ1,3,2である場合には、下の式7−1〜式7−3に示すように目標データ量E1〜E3を求めることができる。
【0171】
【数7】
【0172】
変形例2
以下、図10を参照して、第3の実施形態において示した映像データ圧縮・多重化装置8の第2の変形例を説明する。
図10は、図9に示した映像データ圧縮・多重化装置8の第2の変形例の動作を示すフローチャート図である。
【0173】
エンコーダ80a〜80cそれぞれの圧縮符号化部20のFIFO206の容量に応じて、GOP単位ではなく、1フレーム分の圧縮映像データを生成する時間から数秒程度をフレキシブルに単位期間とすることが可能である。
【0174】
図10に示すように、ステップ300(S300)において、制御部82は、エンコーダ80a〜80cそれぞれが算出した入力映像データCH1〜CH3のフレームごとの難度d1〜d3をフレームごとに取り込む。
ステップ302(S302)において、制御部82は、取り込んだ入力映像データの難度d1〜d3を累加算(D1=d1++,D2=d2++,D3=d3++)する。
【0175】
ステップ304(S304)において、制御部82は、計数したフレーム数がNであるかいなか、つまり、S302の処理において、1単位期間(Nフレーム分の圧縮映像データを生成する時間)の難度D1〜D3の累加算が終了したか否かを判断する。終了した場合にはS306の処理に進み、終了していない場合にはS302の処理に戻る。
【0176】
ステップ306(S306)において、制御部82は、式2−1〜式2−3(入力映像データがNTSC方式である場合)または式3−1〜式3−3(入力映像データがPAL方式である場合)により、目標データ量E1〜E3を算出する。
【0177】
ステップ308(S308)において、制御部82は、エンコーダ80a〜80cそれぞれの圧縮制御部24の予測部246に、算出した目標データ量E1〜E3を設定し、圧縮映像データのデータレートE1〜E3を調節する。さらに、エンコーダ80a〜80cそれぞれの圧縮符号化部20は、設定された目標データ量E1〜E3を用いて入力映像データCH1〜CH3を圧縮符号化し、その単位期間における発生符号量が目標データ量E1〜E3以下であって、目標データ量E1〜E3とほぼ同じ圧縮映像データCH1’〜CH3’を発生し、出力する。
【0178】
なお、映像データ圧縮・多重化装置8のエンコーダ80a〜80cの数は例示であって、多重化装置72の入力端子数および制御部82の処理内容を適切に変形することにより、任意の数とすることができる。
また、映像データ圧縮・多重化装置8に対しても、エンコーダ2,5,6に対してと同様な変形が可能である。
また、映像データ圧縮・多重化装置7,8を、映像データ処理システム1においてエンコーダ2,5,6の代わりに用いることができる。
【0179】
効果
以上第3の実施形態において説明したように、本発明に係る映像データ圧縮・多重化装置8によれば、圧縮制御部24の予測部246が求める入力映像データの難度に基づいて、複数の入力映像データそれぞれに配分する出力データレートの値をダイナミックに調節することができ、多重化装置72の出力データレートを有効利用することができ、しかも、圧縮映像データCH1’〜CH3’の映像の品質が全体として向上する。
【0180】
また、映像データ圧縮・多重化装置8の第1の変形例によれば、入力映像データの難度に重み付けして目標データ量の算出を行うことにより、より効果的な圧縮映像データの多重化が可能となる。
また、映像データ圧縮・多重化装置8の第2の変形例によれば、目標データ量の調節の単位期間を、GOP単位にではなく、1フレーム単位にフレキシブルに変更することができる。
【0181】
【発明の効果】
以上説明したように、本発明に係るデータ圧縮装置およびその方法によれば、ピクチャータイプの情報を特別に有効画素データと多重化しなくても、前回の圧縮符号化時のピクチャータイプをエンコーダ側で自動検出し、GOP位相を合わせて圧縮符号化することができる。
【図面の簡単な説明】
【図1】本発明に係るエンコーダが用いられる映像データ処理システムの構成を示す図である。
【図2】図1に示した第1の実施形態における本発明に係るエンコーダの構成を示す図である。
【図3】図1および図2に示したエンコーダのバックサーチ部およびピクチャータイプ制御部の処理内容を例示するフローチャート図である。
【図4】第1の実施形態の変形例のエンコーダの構成を示す図である。
【図5】第2の実施形態における本発明に係るエンコーダの構成を示す図である。
【図6】図1に示したデコーダの構成を示す図である。
【図7】図5に示したエンコーダのビデオインデックス検出部の動作を例示するフローチャート図である。
【図8】映像データ圧縮・多重化装置の構成例を示す図である。
【図9】第3の実施形態における本発明に係る映像データ圧縮・多重化装置の構成を示す図である。
【図10】図9に示した映像データ圧縮・多重化装置の第2の変形例の動作を示すフローチャート図である。
【符号の説明】
1…映像データ処理システム、2(2a,2b),5,6…エンコーダ、20…圧縮符号化部、200…ピクチャー並べ替え部、202…走査変換ブロック化部、204…動き検出部、206…FIFO、208…DCT部、210…量子化部、212…可変長符号化部、214…逆量子化部、216…逆DCT部、218…加算回路、220…FIFO、222…動き補償部、24,26,30…圧縮制御部、240…動き補償部、242…減算回路、244…DCT部、246…予測部、248…バックサーチ部、250…ピクチャータイプ制御部、28…GOP位相制御部、280…ブロック抽出部、282…DCT部、284…予測部、286…バックサーチ部、300…スイッチ回路、32…ビデオインデックス検出部、3(3a〜3c)…記録・伝送装置、4(4a,4b)…デコーダ、40…伸長復号部、400…バッファメモリ、402…可変長復号部、404…逆量子化部、406…逆DCT部、408…動き補償部、410…スイッチ回路、412…ピクチャー並べ替え部、414…ビデオインデックス多重化部、416…ピクチャータイプ制御部、7,8…映像データ圧縮・多重化装置、70a〜70c,80a〜80c…エンコーダ、72…多重化装置、82…制御部。
Claims (13)
- 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和を算出する剰余総和算出手段と、
前記剰余総和算出手段により算出された前記剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別手段と、
前記識別手段により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮手段と
を有する映像データ圧縮装置。 - Pピクチャに対する閾値又はBピクチャに対する閾値は、前記Iピクチャに対する閾値に比べて小さい値に調節されている
請求項1に記載の映像データ処理装置。 - 前記剰余総和算出手段は、前記映像データに対する過去の圧縮処理において用いられた量子化ステップを算出するバックサーチ処理によって得られた量子化ステップで量子化した際のDCT係数の剰余総和を算出する
請求項1に記載の映像データ圧縮装置。 - 前記識別手段は、固定の量子化ステップで量子化した際のDCT係数の剰余総和と前記映像データに対する過去の圧縮処理において用いられた量子化ステップを算出するバックサーチ処理によって求められたDCT係数の剰余総和との比率がIピクチャに対する閾値以下である場合に、前記映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する
請求項1に記載の映像データ処理装置。 - 前記識別手段は、前記映像データに対するバイナリサーチ処理によって得られた量子化ステップで量子化した際のDCT係数の剰余総和と前記映像データに対する過去の圧縮処理において用いられた量子化ステップを算出するバックサーチ処理によって得られた量子化ステップで量子化した際のDCT係数の剰余総和との比率がIピクチャに対する閾値以下である場合に、前記映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する
請求項1に記載の映像データ処理装置。 - 前記直交変換データは、前記映像データのピクチャを構成する全てのマクロブロックのDCT係数である
請求項1に記載の映像データ圧縮装置。 - 前記直交変換データは、前記映像データのピクチャを構成する一部のマクロブロックのDCT係数である
請求項1に記載の映像データ圧縮装置。 - 前記識別手段は、前記Iピクチャとして識別したピクチャと前記映像データのGOPシーケンスとに基づいてPピクチャの間隔を算出し、算出したPピクチャの間隔に基づいて、前記映像データの各ピクチャのピクチャタイプを識別する
請求項1に記載の映像データ圧縮装置。 - 前記圧縮手段は、前記映像データのGOP位相を過去の圧縮処理と同じGOP位相で圧縮処理する
請求項8に記載の映像データ圧縮装置。 - 前記圧縮手段は、前記剰余総和の極小値が最小となる量子化ステップを用いて、前記映像データを量子化する
請求項1に記載の映像データ圧縮装置。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和を算出する剰余総和算出工程と、
前記剰余総和算出工程により算出された前記剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別工程と、
前記識別工程により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮工程と
を有する映像データ圧縮方法。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別手段と、
前記識別手段により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮手段と
を有する映像データ圧縮装置。 - 入力される映像データのピクチャを所定ブロックごとに直交変換することによって生成された直交変換データの複数の量子化ステップによる剰余総和がIピクチャに対する閾値以下である場合に、前記入力される映像データのピクチャが過去の圧縮処理においてIピクチャとして圧縮処理されたと識別する識別工程と、
前記識別工程により前記映像データのピクチャがIピクチャとして圧縮処理されたと識別された場合に、前記映像データのピクチャを過去の圧縮処理と同じピクチャタイプで、前記入力される映像データを圧縮処理する圧縮工程と
を有する映像データ圧縮方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33208096A JP4032446B2 (ja) | 1996-12-12 | 1996-12-12 | 映像データ圧縮装置およびその方法 |
PCT/JP1997/004565 WO1998026602A1 (en) | 1996-12-12 | 1997-12-11 | Equipment and method for compressing picture data |
KR1019980706189A KR100599017B1 (ko) | 1996-12-12 | 1997-12-11 | 영상 데이터 압축 장치 및 그 방법 |
US09/117,973 US6163573A (en) | 1996-12-12 | 1997-12-11 | Equipment and method for compressing picture data |
US09/715,393 US6493384B1 (en) | 1996-12-12 | 2000-11-17 | Video data compression apparatus and method of same |
US10/273,491 US20030039309A1 (en) | 1996-12-12 | 2002-10-18 | Video data compression apparatus and method of same |
US10/299,174 US7313184B2 (en) | 1996-12-12 | 2002-11-19 | Video data compression apparatus and method of same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33208096A JP4032446B2 (ja) | 1996-12-12 | 1996-12-12 | 映像データ圧縮装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10174106A JPH10174106A (ja) | 1998-06-26 |
JP4032446B2 true JP4032446B2 (ja) | 2008-01-16 |
Family
ID=18250930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33208096A Expired - Fee Related JP4032446B2 (ja) | 1996-12-12 | 1996-12-12 | 映像データ圧縮装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4032446B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7379251B2 (en) | 2003-03-24 | 2008-05-27 | Nikon Corporation | Optical element, optical system, laser device, exposure device, mask testing device and high polymer crystal processing device |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007074468A (ja) | 2005-09-08 | 2007-03-22 | Sony Corp | 記録装置および方法、並びにプログラム |
JP2007074467A (ja) * | 2005-09-08 | 2007-03-22 | Sony Corp | 情報処理装置および方法、送信装置および方法、記録装置および方法、並びにプログラム |
US7995649B2 (en) * | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
US8711925B2 (en) | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
-
1996
- 1996-12-12 JP JP33208096A patent/JP4032446B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7379251B2 (en) | 2003-03-24 | 2008-05-27 | Nikon Corporation | Optical element, optical system, laser device, exposure device, mask testing device and high polymer crystal processing device |
Also Published As
Publication number | Publication date |
---|---|
JPH10174106A (ja) | 1998-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100599017B1 (ko) | 영상 데이터 압축 장치 및 그 방법 | |
US6441754B1 (en) | Apparatus and methods for transcoder-based adaptive quantization | |
US6862402B2 (en) | Digital recording and playback apparatus having MPEG CODEC and method therefor | |
US8355436B2 (en) | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders | |
US20090202162A1 (en) | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
WO2006082690A1 (ja) | 画像符号化方法および画像符号化装置 | |
US6961377B2 (en) | Transcoder system for compressed digital video bitstreams | |
JP4114210B2 (ja) | 映像データ圧縮装置およびその方法 | |
US6847684B1 (en) | Zero-block encoding | |
JP2002027479A (ja) | 動画符号化装置 | |
JP4032446B2 (ja) | 映像データ圧縮装置およびその方法 | |
JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
EP1762099A1 (en) | Video transcoding with selection of data portions to be processed | |
KR100338725B1 (ko) | 목표부호량에근접시킨영상신호부호화방법및그에따른장치 | |
KR0128858B1 (ko) | 화면 변화에 대한 부호화 모드 결정장치 | |
JP4000581B2 (ja) | 画像符号化装置および方法 | |
JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
JPH1066092A (ja) | 映像データ圧縮装置およびその方法 | |
JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 | |
JPH11234675A (ja) | 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体 | |
KR100224623B1 (ko) | 영상 데이터 저장장치 | |
JPH1070729A (ja) | 映像データ圧縮装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071015 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |