JP4513856B2 - ディジタル信号変換方法およびディジタル信号変換装置 - Google Patents
ディジタル信号変換方法およびディジタル信号変換装置 Download PDFInfo
- Publication number
- JP4513856B2 JP4513856B2 JP2007323443A JP2007323443A JP4513856B2 JP 4513856 B2 JP4513856 B2 JP 4513856B2 JP 2007323443 A JP2007323443 A JP 2007323443A JP 2007323443 A JP2007323443 A JP 2007323443A JP 4513856 B2 JP4513856 B2 JP 4513856B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- digital signal
- conversion
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、離散コサイン変換(DCT)などの直交変換を用いて圧縮符号化されたディジタル信号の変換処理に関し、特に、フォーマットが互いに異なる圧縮ビデオ信号の間で解像度を変換するディジタル信号変換方法およびディジタル信号変換装置に関するものである。
従来、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、直交変換符号化の一種である離散コサイン変換(DCT:Discrete Cosine Transform )が用いられている。このような直交変換されたディジタル信号を取り扱う際に、解像度や変換基底を変更することが必要とされることがある。
例えば、家庭用のディジタルビデオのフォーマットの一つである、解像度が720×480画素とされた第1の直交変換されたディジタル信号から、いわゆるMPEG1フォーマットの解像度が360×240画素とされた第2の直交変換されたディジタル信号に変換する場合には、上記の第1の信号に対して逆直交変換を行って空間領域の信号に復元した後に、必要とされる補間や間引き等の変換処理を行い、再び直交変換を施して上記の第2の信号に変換している。
このように、直交変換されたディジタル信号は、一旦逆変換されて原信号に戻された後に所要の変換操作が行われ、その後再び直交変換されることが多い。
図28は、DCT変換されたディジタル信号に対して上記のような解像度変換を施すための従来のディジタル信号処理装置の構成例を示している。
この従来のディジタル信号変換装置は、家庭用ディジタルビデオ信号のフォーマットの一つである、いわゆる「DVフォーマット」のビデオ信号(以下ではDVビデオ信号という。)が第1のフォーマットのディジタル信号として入力され、いわゆる MPEG
(Moving Picture Experts Group)のフォーマットに従うビデオ信号(以下ではMPEGビデオ信号という。)を第2のフォーマットのディジタル信号として出力するようにされている。
(Moving Picture Experts Group)のフォーマットに従うビデオ信号(以下ではMPEGビデオ信号という。)を第2のフォーマットのディジタル信号として出力するようにされている。
デフレーミング部51は、DVビデオ信号のフレーミングを解くためのものである。このデフレーミング部51では、いわゆるDVフォーマットに従ってフレーミングされているDVビデオ信号が、可変長符号に戻される。
可変長復号(VLD)部52は、デフレーミング部51で可変長符号に戻されたビデオ信号を可変長復号する。DVフォーマットにおける圧縮データは、そのデータ量が原信号に対して約1/5になるように固定レートで圧縮されており、データ圧縮効率を高めるために可変長符号化されている。可変長復号部52は、この可変長符号化に応じた復号を行う。
逆量子化(IQ)部53は、可変長復号部52で復号されたビデオ信号を逆量子化する。
逆重み付け(IW)部54は、逆量子化部53で逆量子化されたビデオ信号に施された重み付けの逆操作である逆重み付けを行う。
ここで、重み付けとは、人間の視覚特性が高域のひずみに対してあまり敏感でない性質を利用して、ビデオ信号の高域成分ほどDCT係数の値が小さくなるようにすることをいう。これにより、値が0になる高域係数の数が多くなり、可変長符号化の効率を向上させることができる。また、その結果として、DCT変換の演算量を低減することができる場合もある。
逆離散コサイン変換(IDCT)部55は、逆重み付け部54で逆重み付けされたビデオ信号に逆DCT(逆離散コサイン変換)を施して、DCT係数を空間領域のデータ、すなわち画素データに戻す。
そして、解像度変換部56で、逆離散コサイン変換部55で画素データに戻されたビデオ信号に対して所要の解像度変換が施される。
次に、離散コサイン変換(DCT)部57は、解像度変換部56により解像度変換されたビデオ信号に、離散コサイン変換(DCT)が施され、再び直交変換係数(DCT係数)に変換される。
重み付け(W)部58は、DCT係数に変換された解像度変換後のビデオ信号に重み付けを行う。この重み付けについては前述した通りである。
量子化(Q)部59は、重み付け部58で重み付けされたビデオ信号を量子化する。
そして、可変長符号化(VLC)部60で、量子化部59で量子化されたビデオ信号を可変長符号化して、MPEGビデオ信号として出力する。
ここで、上述した「MPEG」は、ISO/IEC JTC1/SC29( International Organization for Standardization / International Electrotechnical Commission, Joint Technical Committee 1 /Sub Committee 29:国際標準化機構/国際電気標準会議 合同技術委員会1/専門部会29)の動画圧縮符号化の検討組織(Moving Picture Image Coding Experts Group)の略称であり、MPEG1標準としてISO11172が、MPEG2標準としてISO13818がある。これらの国際標準において、マルチメディア多重化の項目でISO11172-1およびISO13818-1が、映像の項目でISO11172-2およびISO13818-2が、また音声の項目でISO11172-3およびISO13818-3が、それぞれ標準化されている。
画像圧縮符号化規格としてのISO11172-2またはISO13818-2においては、画像信号を、ピクチャ(フレームまたはフィールド)単位で、画像の時間および空間方向の相関を利用して圧縮符号化を行っており、空間方向の相関の利用はDCT符号化を用いることで実現している。
なお、このDCT等の直交変換は、この他にも、JPEG(Joint Photographic Coding Experts group) 等の種々の画像情報圧縮符号化に広く採用されている。
一般に直交変換は、時間領域あるいは空間領域の原信号を周波数領域等の直交変換された領域に変換することにより、圧縮効率が高く再現性に優れた圧縮符号化を可能にするものである。
また、上述した「DVフォーマット」は、ディジタルビデオ信号のデータ量を約1/5にまで圧縮して磁気テープにコンポーネント記録するためのものであり、家庭用ディジタルビデオ装置や業務用のディジタルビデオ装置の一部に用いられているものである。このDVフォーマットは、離散コサイン変換(DCT)と可変長符号化(VLC)と組み合わせることにより、ビデオ信号の効率的な圧縮を実現している。
従来技術として、特許文献1〜4が知られている。
ところで、離散コサイン変換(DCT)などの直交変換およびその逆変換には、多くの計算量を要するのが通常であるため、上述したようなビデオ信号の解像度変換を効率良く行えないという問題がある。また、計算量の増加に伴って誤差が蓄積されるため、信号が劣化するという問題もある。
本発明は、このような問題を解決するためになされたものであり、異なるフォーマットに変換するために解像度変換などの処理が施された信号のデータ量の算出処理量を低減することによって、解像度変換等の変換処理を効率良く行うことができ、しかも信号の劣化が少ないディジタル信号変換方法およびディジタル信号変換装置を提供することを目的とする。
上述したような課題を解決するために、本発明では、動きモード/静止モード情報が予め付加されている第1のフォーマットのディジタル信号を復号し、この復号信号に信号変換処理を施し、この変換信号の所定ブロック単位毎にフレーム間差分符号化を施すか否かを上記動きモード/静止モード情報に応じて判断し、この判断結果に基づいて上記変換信号に符号化を施して、フレーム間差分を用いた符号化を伴った第2のフォーマットのディジタル信号を出力する。
本発明によれば、フレーム内での予測符号化により得られた第1のフォーマットのディジタル信号に信号変換処理を施したときには、フレーム間の予測符号化も使って第2のフォーマットのディジタル信号にフォーマット変換でき、第2のフォーマットのディジタル信号の特徴である圧縮率の向上という利点を生かすことができる。
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
なお、以下では、まず本発明に係るディジタル信号変換装置の構成について説明し、次にその構成を参照しながら本発明に係るディジタル信号変換方法について説明する。
図1は、本発明の第1の実施の形態となるディジタル信号変換装置の主要部の一構成例を示し、信号変換としては解像度変換を例示しているが、これに限定されず、フォーマット変換やフィルタ処理等の種々の信号変換に適用できることは勿論である。
このディジタル信号変換装置は、前述したいわゆる「DVフォーマット」のビデオ信号(以下ではDV信号という。)が第1のディジタル信号として入力され、MPEG(Moving Picture Experts Group)のフォーマットに従うビデオ信号(以下ではMPEGビデオ信号という。)を第2のディジタル信号として出力するものである。
デフレーミング部11は、DVビデオ信号のフレーミングを解くためのものである。このデフレーミング部11では、所定のフォーマット(いわゆるDVフォーマット)に従ってフレーミングされているDVビデオ信号が、可変長符号に戻される。
可変長復号(VLD)部12は、デフレーミング部11で可変長符号に戻されたビデオ信号を可変長復号する。
逆量子化(IQ)部13は、可変長復号部12で可変長復号されたビデオ信号を逆量子化する。
逆重み付け(IW)部14は、逆量子化部14で逆量子化されたビデオ信号に施された重み付けの逆操作である、逆重み付けを行う。
そして、信号変換処理の一例として解像度変換を行う場合には、解像度変換部16で、逆重み付け部14で逆重み付けされたビデオ信号に対して、直交変換領域(周波数領域)で所要の解像度変換が施される。
重み付け(W)部18は、解像度変換後のビデオ信号に重み付けを行う。
量子化(Q)部19は、重み付け部18で重み付けされたビデオ信号を量子化する。
そして、可変長符号化(VLC)部20で、量子化部19で量子化されたビデオ信号を可変長符号化して、MPEGビデオ信号として出力する。
以上説明した、図1に例示の本発明に係るディジタル信号変換装置の各部の構成は、図28に例示した従来のディジタル信号変換装置の各部と同様とすることができる。
しかし、この本発明に係るディジタル信号変換装置は、解像度変換部16の前後に逆コサイン変換(IDCT)部およびコサイン変換(DCT)部が配されていない点が従来のディジタル信号変換装置と異なっている。
すなわち、従来のディジタル信号変換装置は、入力される第1のフォーマットのディジタル信号の直交変換係数を逆直交変換して空間領域(周波数軸上)のデータに戻した後に所要の変換操作を行うようにされているため、再び直交変換して直交変換係数に戻す操作を行っていた。
これに対して、本発明に係るディジタル信号変換装置は、入力される第1のフォーマットのディジタル信号の直交変換係数に対する所要の変換操作を、直交変換係数領域(周波数領域)で行い、解像度変換等の変換処理を行うための手段の前後に逆直交変換手段および直交変換手段を備えていないことを特徴とする。
次に、解像度変換部16における解像度変換処理の原理について、図2および図3を用いて説明する。
図2において、入力直交変換行列生成部1では、入力ディジタル信号5に対して予め施された直交変換を表す直交変換行列Ts(k)の逆行列Ts(k) −1を生成し、変換行列生成部3に送っている。出力直交変換行列生成部2では、出力ディジタル信号に対して施される逆直交変換を示す逆変換行列Td(L) −1に対応する直交変換行列Td(L)を生成し、変換行列生成部3に送っている。変換行列生成部3では、解像度変換等の変換処理を周波数領域で行うための変換行列Dを生成し、信号変換部4に送る。この信号変換部4は、直交変換により例えば周波数領域に変換された入力ディジタル信号5を、例えば周波数領域等の直交変換された領域のままで変換処理して、出力ディジタル信号6とするものである。
すなわち、図3に例示するように、元の時間領域(あるいは空間領域)の信号(原信号A)を、上記直交変換行列Ts(k)により例えば周波数領域に変換して周波数信号B1 (上記入力ディジタル信号5に相当)とし、これを上記信号変換部4により例えばN/Lに縮小(又は拡大)して周波数信号B2 (上記出力ディジタル信号6に相当)とし、この周波数信号B2 を上記逆変換行列Td(L) −1により逆直交変換して、時間領域の信号Cを得るようにしている。
ここで、図3に示す例では、1次元の原信号Aを、長さkの変換ブロック毎に直交変換し、得られた周波数領域の変換ブロックの隣接するm個のブロック、すなわち長さL(=k×m)の連続する周波数信号を、長さN(ただし、N<L)の1つのブロックに変換する場合、すなわち全体をN/Lに縮小する場合を示している。
以下の説明では、長さnの直交変換基底ベクトル<e 1,e 2,…,e n>を各行に配列した行列(直交変換行列)をT(n) 、その逆変換行列をT(n) −1 のように記述する。なお、xは、xのベクトル表現を示す。このとき、いずれの行列もn次の正方行列である。一例として、n=8のときの1次元DCT変換行列T(8) を、次の式(1)に示す。
上記図3において、既に直交変換行列Ts(k)により周波数領域に直交変換された入力ディジタル信号5について、その直交変換ブロックの大きさ、すなわち基底の長さがkであるとき、上記入力直交変換行列生成部1により逆直交変換行列Ts(k) −1を生成し、また、上記出力直交変換行列生成部2により基底の長さがL(=k×m)の直交変換行列Td(L)を生成する。
このとき、入力直交変換行列生成部1により生成される逆直交変換行列Ts(k) −1は、入力ディジタル信号5を生成する際の直交変換処理(の逆処理)に対応し、出力直交変換行列生成部2により生成される直交変換行列Td(L)は、信号変換部14で変換された出力ディジタル信号を復号する際、すなわち時間領域に変換する際の逆直交変換処理(の逆処理)に対応し、これらの直交変換行列生成部1、2共に、任意の長さの基底ベクトルを生成することができるものとする。
なお、これらの直交変換行列生成部1、2は、同一の直交変換行列生成部であってもよく、この場合、直交変換行列Ts(k)とTd(L)とは、基底の長さのみ異なる同一種の直交変換行列になる。直交変換行列生成部は、異なる直交変換方式毎に存在するものである。
次に、変換行列生成部3においては、入力直交変換行列生成部1により生成された上記逆直交変換行列Ts(k) −1を、次の式(2)に示すように、対角上にm個配置して、L次の正方行列Aを作成する。また、出力ディジタル信号6の基底の長さをNとするとき、上記直交変換行列Td(L)の低周波基底ベクトルN個を取り出し、N行L列から成る行列Bを作成する。
ただし、e 1,e 2,…,e Nは、Td(L)を以下のように基底ベクトルで表したとき、低周波のN個を取り出したものである。
そして、
D=α・B・A ・・・(5)
を計算し、N行L列の行列Dを作成する。この行列Dが、上記縮小率(又は拡大率)N/Lに解像度を変換する変換行列になる。なお、αはスカラー値又はベクトル値で、レベル補正等のための係数である。
D=α・B・A ・・・(5)
を計算し、N行L列の行列Dを作成する。この行列Dが、上記縮小率(又は拡大率)N/Lに解像度を変換する変換行列になる。なお、αはスカラー値又はベクトル値で、レベル補正等のための係数である。
上記図2の信号変換部4において、図3に示すように、周波数領域の入力ディジタル信号B1 のブロックm個をひとまとめにし、Lの大きさのメタブロック(1メタブロック=mブロック)に分割する。入力ディジタル信号B1 の長さがLの倍数でない場合には、信号を補う等により、例えば0等のダミーデータを充填(スタッフィング)すること等により、Lの倍数になるようにする。このようにしてできたメタブロックをMi (i=0,1,2,・・・)とする。
なお、以上の解像度変換処理の原理については、本出願人が1998年6月16日に出願したPCT/JP98/02653に詳細に記載されている。
次に、第1の実施の形態のディジタル信号変換方法について、上述したディジタル信号変換装置の構成を参照しながら説明する。
図4A〜Cは、本発明に係る実施の形態のディジタル信号変換により、DVビデオ信号がMPEGビデオ信号に変換される際の処理を模式的に示している。この処理は、図1に示した本発明に係る実施の形態のディジタル信号処理装置においては、主に解像度変換部16で行われるものである。
なお、以下では、1次元のDCT係数ブロックを例として用いて説明するが、2次元のDCT係数に対する処理も同様である。
まず、図4Aに示すように、第1のフォーマットのディジタル信号の、各々が8つのDCT係数からなる、互いに隣接するブロック(i)およびブロック(i+1)から、それぞれの低域側のDCT係数を4つずつ取出す。すなわち、ブロック(i)の8つのDCT係数a0,a1,a2,a3,・・・,a7のうちの、低域側の4つのDCT係数a0,a1,a2,a3のみを取り出して、DCT係数の数が1/2にされた部分ブロックをつくる。同様に、ブロック(i+1)の8つのDCT係数b0,b1,b2,b3,・・・,b7のうちの、低域側の4つのDCT係数b0,b1,b2,b3のみを取り出して、DCT係数の数が1/2にされた部分ブロックをつくる。ここで、低域側のDCT係数を取り出すのは、ビデオ信号を周波数変換すると、DCおよびACの低周波数にエネルギーが集中するという性質に基づいている。
そして、各々が4つのDCT係数からなる上記の各部分ブロックに対して、それぞれ4ポイントの逆離散コサイン変換(4-point IDCT)を施して、縮小された画素データを得る。これらを、図4Bの画素データp0,p1,p2,p3、及び画素データp4,p5,p6,p7としてそれぞれ示す。
次に、それぞれ逆離散コサイン変換が施された上記の縮小された画素データからなる各部分ブロックどうしを結合して、元のブロックと同じ大きさのブロックを生成する。すなわち、画素データp0,p1,p2,p3と、画素データp4,p5,p6,p7とを結合して、8つの画素データからなる新たなブロックを生成する。
そして、上記の8つの画素データからなる新たなブロックに、8ポイントの離散コサイン変換(8-point DCT) を施し、図4Cに示すように、8つのDCT係数c0,c1,c2,c3,・・・,c7からなる1つのブロック(j)を生成する。
以上のような手順により、所定のブロック単位あたりの直交変換係数(DCT係数)の数を半分に間引きして、解像度が異なるフォーマットのビデオ信号に変換することができる。また例えばDCT係数の数を1/4に間引きたい時には、上述の処理を連続して2回行なうことで実現できる。
上記の解像度変換処理は、例えば、DVフォーマットからMPEG1フォーマットに変換する際に適用することができる。
ここで、図5を参照しながら、DVフォーマットとMPEGフォーマットとの関係、及びこれらの間のフォーマット変換について説明する。
つまり、図5に示すようにビデオ信号がNTSC方式である場合には、DVフォーマットは、解像度が720画素×480画素,輝度信号のサンプリング周波数と2つの色差信号のサンプリング周波数の比が4:1:1の圧縮ビデオ信号であり、MPEG1フォーマットは、解像度が360画素×240画素,輝度信号のサンプリング周波数と2つの色差信号のサンプリング周波数との比が4:2:0の圧縮ビデオ信号である。従って、この場合には、上述した本発明に係る解像度変換処理により、輝度(Y)信号の水平・垂直方向のDCT係数の数を1/2に、また色差(C)信号の垂直方向のDCT係数の数を、それぞれ1/4にすればよい。
なお、4:2:0は、奇数ラインと偶数ラインとが、交互に4:2:0と4:0:2とになるため、一方の値を代表させて表している。
また、ビデオ信号がPAL方式である場合には、DVフォーマットは、解像度が720画素×576画素,輝度信号のサンプリング周波数と2つの色差信号のサンプリング周波数との比が4:2:0の圧縮ビデオ信号であり、MPEG1フォーマットは、解像度が360画素×288画素,輝度信号のサンプリング周波数と2つの色差信号のサンプリング周波数との比が4:2:0の圧縮ビデオ信号である。従って、この場合には、上述した本発明に係る解像度変換処理により、Y信号の水平・垂直方向のDCT係数の数をそれぞれ1/2に、またC信号の水平・垂直方向のDCT係数の数をそれぞれ1/2にすればよい。
また、上記の解像度変換処理は、例えば、DVフォーマットからMPEG2フォーマットに変換する際にも同様に適用することができる。
ビデオ信号がNTSC方式である場合には、MPEG2フォーマットは、解像度が720画素×480画素,輝度信号のサンプリング周波数と2つの色差信号のサンプリング周波数との比が4:2:0の圧縮ビデオ信号である。従って、この場合には、Y信号に対しては変換処理を行わず、C信号の垂直方向のDCT係数の数を1/2に、またC信号の水平方向のDCT係数の数を2倍にすればよい。なお、この拡大の方法については後述する。
また、ビデオ信号がPAL方式である場合には、MPEG2フォーマットは、解像度が720画素×576画素,輝度信号のサンプリング周波数と2つの色差信号のサンプリング周波数との比が4:2:0の圧縮ビデオ信号である。従って、この場合には、Y信号およびC信号のいずれに対しても変換処理を行う必要がない。
図6は、以上説明した解像度変換処理のための基本的な計算手順を表している。
すなわち、入力される第1のフォーマットのディジタル信号の互いに隣接する2つのブロックからそれぞれ取り出された4つのDCT係数a0,a1,a2,a3と4つのDCT係数b0,b1,b2,b3とを連結して作成された、8つのDCT係数からなるブロックに、各々が(4×4)行列として与えられる2つの逆離散コサイン変換行列(IDCT4)を対角に含み、他の成分が0である(8×8)行列が乗じられる。
そして、これらの積には、さらに(8×8)行列として与えられる離散コサイン変換行列(DCT8)が乗じられ、8つのDCT係数c0,c1,c2,c3,..,c7からなる新たなブロックが得られる。
ここで、本発明に係るディジタル信号変換方法においては、解像度変換処理をDCT領域(周波数領域)で行うようにしたため、その前後の逆DCTおよびDCTが不要になったことに加え、上記の2つの(4×4)逆離散コサイン変換行列(DCT4)を対角に含む(8×8)行列と、上記の(8×8)の離散コサイン変換行列との積を、変換行列Dとして予め求めておくことにより、演算量を効果的に低減することができる。
次に、前述した第1のフォーマットのディジタル信号であるDVビデオ信号を、第2のフォーマットのディジタル信号であるMPEG1ビデオ信号に変換する場合の処理について、さらに詳細に説明する。
上記のDVフォーマットには、画像の動き検出結果に応じて切り換えられる「静止モード」と「動きモード」とがある。これらのモードは、例えば、ビデオセグメント内の各(8×8)行列のDCTの前に、動き検出により判別され、その結果に応じてどちらか一方のモードでDCTが行われる。上記の動き検出には種々の方法が考えられ、具体的には、フィールド間の差分の絶対値の和を所定のしきい値と比較する方法などがある。
「静止モード」は、DVフォーマットの基本モードとされ、ブロック内の(8×8)画素に対して(8×8)DCTが施される。
なお、上記の(8×8)ブロックは、1個のDC成分と63個のAC成分から構成される。
また、「動きモード」は、被写体が動いているときなどにDCTすると、インターレース走査のためにエネルギが分散して圧縮効率が低下してしまうことを避けるために用いられる。この動きモードでは、(8×8)ブロックを、第1フィールドの(4×8)ブロックと第2フィールドの(4×8)ブロックとに分割し、各(4×8)ブロックの画素データに対して(4×8)DCTを施すことにより、垂直方向の高周波成分の増加を抑えて圧縮率の低下を防ぐことができる。
なお、上記の各(4×8)ブロックは、1個のDCの成分と31個のAC成分から構成される。
このように、DVフォーマットにおいては、静止モードと動きモードとで、ブロックの構成が異なるため、以降の処理を同様に行えるようにするために、動きモードのブロックに対しては、各(4×8)のDCT後、各ブロックの同じ次数の係数どうしで和および差を求めて(8×8)ブロックを構成する。この処理により、動きモードのブロックも、静止モードのブロックと同様に1個のDC成分と63個のAC成分から構成されているようにみなすことができる。
ところで、DVフォーマットのビデオ信号をMPEG1フォーマットのビデオ信号に変換する際には、MPEG1フォーマットには30フレーム/秒のビデオ信号しか扱わなく、フィールドの概念がないため、一方のフィールドのみを分離する必要がある。
図7Aは、DVフォーマットの「動きモード(2×4×8DCTモード)」によるDCT係数をMPEG1フォーマットのDCT係数に変換する際に、フィールドを分離する処理を模式的に示している。
(8×8)のDCT係数ブロック31の上半分の(4×8)ブロック31aは第1フィールドの係数と第2フィールドの係数との和(A+B)であり、上記(8×8)のDCT係数ブロック31の下半分の(4×8)ブロック31bは上記2つのフィールドの各係数の差(A−B)である。
従って、(8×8)のDCT係数ブロック31の上半分の(4×8)ブロック31aと下半分の(4×8)ブロック31bとを加算して、その和を1/2にすれば、第1フィールド(A)のDCT係数のみからなる(4×8)ブロック35aを得ることができる。同様に(4×8)ブロック31aと下半分の(4×8)ブロック31bとを減算して、その差を1/2にすれば、第2フィールド(B)の離散コサイン係数のみからなる(4×8)ブロック35bを得ることができる。すなわち、上記の処理により、フィールドが分離された(8×8)ブロック35を得ることができる。
そして、これらのいずれか一方のフィールド、例えば第1フィールドのDCT係数に対して、前述した解像度変換処理が施される。
図7Bは、「静止モード(8×8DCTモード)」でフィールドを分離する処理を模式的に示している。
(8×8)のDCT係数ブロック32は、第1フィールド(A)のDCT係数と第2フィールド(B)のDCT係数が混合されている。そこで、これを以下に述べる処理でフィールド分離して、第1フィールド(A)のみからなる(4×8)ブロック35aを得ることができ、同様に(4×8)ブロック31aと下半分の(4×8)ブロック31bとを減算すれば第2フィールド(B)のみからなる(4×8)ブロック35bを得るための変換処理を行う必要がある。
図8は、「静止モード」におけるフィールド分離処理の手順を表している。
まず、8つのDCT係数d0,d1,d2,d3,・・・,d7からなる入力に8次の逆離散コサイン変換行列(IDCT8)が乗じられて、画素データに戻される。
次に、フィールド分離のための(8×8)行列が乗じられることにより、(8×8)ブロックの上下が、それぞれ(4×8)ブロックの第1フィールドおよび第2フィールドに分けられる。
そして、各々が(4×4)行列として与えられる2つの離散コサイン変換行列(DCT4)を対角に含む(8×8)行列がさらに乗じられる。
これにより、第1フィールドの4つのDCT係数e0,e1,e2,e3と、第2フィールドの4つのDCT係数f0,f1,f2,f3とからなる、8つのDCT係数が得られる。
そして、これらのいずれか一方のフィールド、例えば第1フィールドのDCT係数に対して、前述した解像度変換処理が施される。
ここで、本発明に係るディジタル信号変換方法においては、解像度変換をDCT領域(周波数領域)で行うようにしたため、その前後の逆DCTおよびDCTが不要になったことに加え、図6の2つの(4×4)逆離散コサイン変換行列(IDCT4)を対角に含む(8×8)行列と、上記の(8×8)の離散コサイン変換行列との積を予め求めておくことにより、計算量を効果的に低減することができる。
以上説明した解像度変換処理は画像を縮小する場合についてであり、以下では画像を拡大する場合の解像度変換処理について、第2の実施の形態として説明する。
図9A〜Cは、本発明に係るディジタル信号変換方法により、DVビデオ信号がMPEG2ビデオ信号に変換される際の様子を模式的に示している。
なお、以下の説明においても、1次元のDCT係数を例として説明するが、2次元のDCT係数についても同様に処理することができる。
まず、図9Aに示す8つの直交係数(DCT係数g0〜g7)からなるブロック(u)に対して、8ポイントの逆離散コサイン変換(8-point IDCT)を施して、8つの画素データ(h0〜h7)に戻す。
次に、8つの画素データからなるブロックを2分割して、それぞれ4つの画素データからなる2つの部分ブロックを生成する。
次に、各々が4つのDCT係数からなる上記2つの部分ブロックに対して、それぞれ4ポイントのDCT(4-point DCT)を施して、各々が4つのDCT係数からなる2つの部分ブロック(i0〜i3及びj0〜j3)を生成する。
そして、図9Cに示すように、上記4つの画素データからなる2つの部分ブロックの各々に対して、その高域側に4つのDCT係数として0を詰めて、各々が8つのDCT係数からなるブロック(v)およびブロック(v+1)を生成する。
以上のような手順により、フォーマットが互いに異なる圧縮ビデオ信号の間での解像度変換が、直交変換領域で行われる。
図10は、このときの変換処理の手順を表している。
まず、8つのDCT係数g0,g1,g2,g3,・・・,g7からなる入力に8次の逆離散コサイン変換(IDCT)行列が乗じられて、8つの画素データに戻される。
次に、8つの画素データからなるブロックを2分割して、それぞれ4つの画素データからなる2つの部分ブロックを生成する。
次に、各々が4つのDCT係数からなる上記2つの部分ブロックそれぞれに対して、(4×4)行列として与えられる4ポイントの離散コサイン変換行列と(4×4)行列として与えられる0行列を上下に含む(4×8)行列を乗じることにより、8つのDCT係数を含んだ2つの部分ブロック(i0〜i7及びj0〜j7)が生成される。
このように処理することにより、1つのブロックから2つのブロックのDCT係数が得られるので、解像度を周波数領域で拡大することができる。
なお、NTSCの場合、DVフォーマットをMPEG2フォーマットに変換するには、図5に示すように輝度信号Yの水平・垂直方向には変換を行なう必要はなく、色差信号Cの水平方向には2倍に拡大し、色差信号Cの垂直方向には1/2に縮小する必要がある。従って、上述の拡大処理は、DVフォーマットからMPEG2のフォーマットに変換する際の、色差信号Cの水平方向の解像度変換に用いられることになる。
図11は、本発明の第3の実施の形態に係るディジタル信号変換装置の主要部の一構成例を示している。なお、上述の第1の実施の形態と同じ構成には同じリファレンス番号を付けてある。図1と異なるところは、重み付け部18と逆重み付け部14が重み付け処理部21にまとめられているところである。
つまり重み付け処理(IW*W)部21は、入力される第1のフォーマットのディジタル信号であるDVビデオ信号に施されている重み付けの逆操作である逆重み付けと、出力される第2のフォーマットのディジタル信号であるMPEGビデオ信号のための重み付けとを、併せて行う。
このような構成によれば、入力される第1のフォーマットのビデオ信号に対する逆重み付け処理と、出力される第2のフォーマットのビデオ信号に対する重み付け処理とを併せて行うことができるため、上記の逆重み付け処理と重み付け処理とを別々に行う場合よりも計算量を低減することができる。
なお、図11に例示した第3の実施の形態におけるディジタル信号変換装置では、重み付け処理部21が解像度変換部16の後段に配されているが、重み付け処理部を解像度変換部16の前段に配するようにしてもよい。
図12は、このような、重み付け処理部22が解像度変換部16の前段に配された、本発明の第4の実施の形態におけるディジタル信号変換装置を示している。この図に示すディジタル信号処理装置の各部の構成も、図11に示したディジタル信号変換装置の各部と同様とすることができる。
ここで、第1のフォーマットのディジタル信号に対する逆重み付けと、第2のディジタル信号に対する重み付けとを併せて行う重み付け処理や、上記の重み付け処理を離散コサイン変換(DCT)などの直交変換の前後いずれでも行うことができるのは、これらの演算操作が線形操作であることに基づいている。
以下、本発明に係る第5の実施の形態におけるディジタル信号変換方法及び装置の実施の形態について図13を参照しながら説明する。
このディジタルビデオ信号変換装置は、図13に示すように、上記DVビデオ信号を復号する復号部8と、この復号部8からの復号出力にフォーマット変換のための解像度変換処理を施す解像度変換部16と、この解像度変換部16からの変換出力の所定ブロック単位毎に順方向フレーム間差分符号化を施すか否かを上記動きモード/静止モード情報に応じて判断する判断部7と、この判断部7からの判断結果に基づいて上記解像度変換部16からの変換出力を符号化して上記MPEGビデオ信号を出力する符号化部9とを備えてなる。
なお、以下では、これらの各部により構成されるディジタルビデオ信号変換装置について述べるが、各構成部が本発明に係るディジタル信号変換方法の各工程の処理を実施するのはもちろんである。
このディジタルビデオ信号変換装置に入力されるDVビデオ信号には、上記静止モード/動きモードを示す情報であるモードフラグ(例えば1ビット)が各DCTブロックに予め付加されている。
このディジタルビデオ信号変換装置では、このモードフラグを基に判断部7が解像度変換部16からの変換出力の所定ブロック単位毎に順方向フレーム間差分符号化を施すか否かを判断する。この動作についての詳細は後述する。
デフレーミング部11は、上記静止モード/動きモードを示すモードフラグを抽出し、判断部7に供給する。
デシャフリング部15は、DV符号化側で固定長化の単位であるビデオセグメント内の情報量を均一化するために行われたシャフリングを解く。
判断部7は、加算器27と、I(Iピクチャ)/P(Pピクチャ)判断部&決定部28とからなる。加算器27は、後述するフレームメモリ(FM)部24に格納された参照用のDCT係数を負として上記解像度変換出力に加算する。加算器27からの加算出力が供給されるI/P判断&決定部28には、デフレーミング部11からの上記静止モード/動きモードを示すモードフラグも供給される。
このI/P判断&決定部28の動作の詳細について説明する。解像度変換部16からの変換出力は、8×8個のDCT係数を単位としている。この8×8個のDCT係数ブロックを輝度信号には4つ、色差信号には2つ配分し、計6つのDCT係数ブロックから一つの上記所定ブロックを構成している。この所定ブロックをマクロブロックと呼ぶことにする。
ところで、Pピクチャは単純に前のフレームとの差分をとることを前提としている。静止画の場合は差分をとると情報量は減るが、逆に動いている画の場合、差分をとると情報量は増えてしまう。このため、上記静止モード/動きモードを示すモードフラグを見て、動いていると判断すれば、情報量が増えるので、上記マクロブロックをIピクチャのままとし、静止していると判断すれば差分を採ってPピクチャとすれば効率の良い符号化ができる。
I/P判断&決定部28は、例えば上記6つのDCT係数ブロックについて上記デフレーミングから送られてくるモードフラグが全て上記動きモードを示すときには、上記マクロブロックについてはIピクチャにする。また、例えば上記6つのDCTブロック中で1つだけしか動きモードを示すフラグを検出することができなかったときには、上記マクロブロックについてはPピクチャにする。
また、上記6つのDCTブロック中、4つ以上のDCTブロックに動きフラグが付加されていればマクロブロックとしてはIピクチャにしてもよい。また、6つのDCTブロック中、全てに静止モードを示すフラグが付加されているときにマクロブロックをPピクチャにするようにしてもよい。
このI/P判断&決定部28でI/Pピクチャと決定されたマクロブロック単位の各DCT係数は、符号化部9に供給される。
符号化部9は、重み付け(W)部18と、量子化(Q)部19と、逆量子化(IQ)部26と、逆重み付け(IW)部25と、FM部24と、可変長符号化(VLC)部20と、バッファメモリ23と、レート制御部29とを備えてなる。
重み付け(W)部18は、判断部7を介した上記変換部16からの変換出力であるDCT係数に重み付けを行う。
量子化(Q)部19は、重み付け(W)部18で重み付けされたDCT係数を量子化する。そして、可変長符号化(VLC)部20で、量子化部19で量子化されたDCT係数を可変長符号化してMPEG符号化データとしてバッファメモリ23に供給する。
バッファメモリ23は、上記MPEG符号化データの転送速度を一定にし、ビットストリームとして出力する。レート制御部29は、バッファメモリ23におけるバッファ容量の増減の変化情報により量子化(Q)部19における情報発生量の増減、すなわち量子化ステップを制御する。
逆量子化(IQ)部26は、量子化(Q)部19からの量子化DCT係数を逆量子化し、逆重み付け(IW)部25に供給する。逆重み付け(IW)部25は、逆量子化(IQ)部26からのDCT係数に重み付けの逆操作である逆重み付けを行う。この逆重み付け(IW)部25で逆重み付けされたDCT係数は、FM部24に参照用のDCT係数として格納される。
以上説明したように、図13に示したディジタルビデオ信号変換装置は、デフレーミング部11から送られてくる上記動きモード/静止モードを示すモードフラグに応じて判断部7が、I/P判断&決定部28を使って、マクロブロック毎にI又はPピクチャを判断するので、本来、IピクチャのみからなるDV信号を、Iピクチャ又はPピクチャを使ったMPEGピクチャに変換することができ、MPEGビデオ信号の特徴である圧縮率の向上という利点を生かすことができる。
次に、本発明の第6の実施の形態に係るディジタル信号変換方法及び装置について説明する。
この第6の実施の形態に係るディジタルビデオ信号変換装置は、上記図13に示した判断部7を図14に示す判断部30に置き換えた構成のディジタルビデオ信号変換装置である。
すなわち、上記DV信号に一部復号処理を施して、直交変換領域の信号、例えばDCT係数を得る復号部8と、この復号部8からのDCT係数にフォーマット変換のための信号変換処理を施す変換部16と、この変換部16からの変換出力の所定ブロック単位毎に順方向フレーム間差分符号化を施す否かを、上記変換出力のフレーム間差分の絶対値の最大値に応じて判断する判断部30と、この判断部30からの判断結果に基づいて上記変換部16からの変換出力に符号化を施して上記MPEGビデオ信号を出力する符号化部9とを備えてなる。
判断部30は、変換部16からの変換出力である変換DCT係数とFM部24からの参照用DCT係数との差をとったときのAC係数の絶対値の最大値をみて、この最大値と所定のしきい値とを比較し、比較結果に基づいて上記マクロブロック毎にI/Pピクチャを割り当てる。
判断部30は、差分算出部31と、最大値検出部32と、比較部33と、I/P決定部35とを備えてなる。
差分算出部31は、変換部16からの変換DCT係数とFM部24からの参照用DCT係数との差分をとる。この差分算出部31からの差分出力は最大値検出部32に供給されると共にI/P決定部35にも供給される。
最大値検出部32は、上記差分出力のAC係数の絶対値の最大値を検出する。基本的に、上記DCT係数に変換されている情報量が多いとAC係数も大となるし、一方情報量が少ないとAC係数は小となる。
比較部33は、上記最大値検出部32からの絶対値の最大値を端子34から供給される所定のしきい値と比較する。この所定のしきい値を適切に選んでいれば、上記AC係数の絶対値の最大値の大小により上記DCT係数に変換された情報量の多い/少ないが判断できる。
I/P決定部35は、上記比較部33からの比較結果を用い、上記差分算出部31からのDCT係数の差分、すなわち情報量の差分が大であるか、小であるかを判断し、差分が大きいと判断したときには、変換部16からの変換DCT係数ブロックからなるマクロブロックをIピクチャに割り付け、差分が小さいと判断したときには差分算出部31からのマクロブロックをPピクチャを割り付ける。
つまり、しきい値より上記最大値の絶対値が大であれば、上記差分の情報量が大であると判断し、上記マクロブロックをIピクチャとする。また、しきい値より上記最大値の絶対値が小であれば、上記差分の情報量が小であると判断し、上記マクロブロックをPピクチャとする。
これにより、この第6の実施の形態となるディジタルビデオ信号変換装置も、本来、IピクチャのみからなるDV信号を、Iピクチャ又はPピクチャを使ったMPEGピクチャに変換することができ、MPEGビデオ信号の特徴である圧縮率の向上という利点を生かすことができる。
なお、上記図13及び図14に示したディジタルビデオ信号変換装置では、NTSC方式のDV信号と、MPEG1ビデオ信号とを入力、出力としたが、PAL方式の各信号に適用してもよい。
また、上記の解像度変換処理は、例えば、DVフォーマットからMPEG2フォーマットに変換する際にも同様に適用することができる。
また、上記変換部16による解像度変換処理としては、主として縮小の向きに解像度変換を行う例について述べたが、拡大も可能である。すなわち、一般に、周波数領域の入力ディジタル信号に対して、高周波成分を追加することで、任意の倍率で解像度を拡大することができる。
例えば、MPEG2ビデオ信号をディジタル放送サービスに適用するときに、プロファイル(機能)/レベル(解像度)によってその信号を分類しているが、例えば、米国のディジタルHDTVで用いられるメイン・プロファイル/ハイ・レベル(MP@HL)のビデオ信号に、上記DV信号を変換する場合等に解像度の拡大を適用できる。
また、第6の実施の形態の処理を、ソフトウェアで行なうようにしてもよい。
次に、図15を用いて、本発明の第7の実施の形態に係るディジタル信号変換方法及び装置について説明する。なお、上述の実施の形態と同じ構成には同じリファレンス番号を付けてある。
レート制御部40は、デフレーミング部11からの量子化器番号(Q_NO)およびクラス番号(Class)に基づいて、量子化部19におけるデータ量制御を行う。
レート制御部40は、デフレーミング部11からの量子化器番号(Q_NO)およびクラス番号(Class)に基づいて、量子化部19におけるデータ量制御を行う。
図16は、第7の実施の形態においてディジタル信号変換方法により、DVビデオ信号がMPEGビデオ信号に変換される際に、各フレームのマクロブロック(MB)毎に量子化スケールが設定される基本的な手順を示している。
ステップS1では、まず、マクロブロック毎に、量子化番号(Q_NO)およびクラス番号(Class)が取得される。この量子化番号(Q_NO)は、0から15までの値で示されており、マクロブロック内の6個のDCTブロック全てに共通である。また、クラス番号(Class)は、0から3までの値で示されており、6つのDCTブロック毎に与えられている。
次に、ステップS2で、以下の手順でDCTブロック毎に量子化パラメータ(q_param)が計算される。
量子化テーブルq_table[4] = {9,6,3,0}
量子化パラメータq_param = Q_NO + q_table[class]
つまり、量子化テーブルとしては4通りの値(9、6、3、0)を有し、それぞれの値はクラス番号0、1、2、3に対応する。例えば、クラス番号が2で、量子化器番号が8であるときには、クラス番号2に対応する量子化テーブル値3と量子化器番号8が加算され、量子化パラメータは11となる。
量子化パラメータq_param = Q_NO + q_table[class]
つまり、量子化テーブルとしては4通りの値(9、6、3、0)を有し、それぞれの値はクラス番号0、1、2、3に対応する。例えば、クラス番号が2で、量子化器番号が8であるときには、クラス番号2に対応する量子化テーブル値3と量子化器番号8が加算され、量子化パラメータは11となる。
次に、ステップS3で、マクロブロック内の6つのDCTブロックの量子化パラメータ(q_param)の平均が算出される。
そして、ステップS4では、以下の手順でMPEGのマクロブロックの量子化スケール(quantizer_scale)が求められ、処理を終了する。
量子化テーブルq_table[25]
= {32,16,16,16,16,8,8,8,8,4,
4,4,2,2,2,2,2,2,2,2,
2,2,2,2}
quantizer_scale = q_table[q_pram]
= {32,16,16,16,16,8,8,8,8,4,
4,4,2,2,2,2,2,2,2,2,
2,2,2,2}
quantizer_scale = q_table[q_pram]
つまり、量子化テーブルとしては25通りの値(32〜2)を有し、それぞれの値は上述のように計算された量子化パラメータに対応する。つまり量子化パラメータ値0に対応する量子化テーブルは32であり、量子化パラメータ値1に対応する量子化テーブルは16であり、量子化パラメータ値5に対応する量子化テーブルは8である。例えば、上述のように求められた量子化パラメータの平均値が10であるときには、量子化パラメータ値10に対応する4という値が量子化スケール値となる。以上の手順により、各フレーム内で、マクロブロック毎の、量子化パラメータ(q_param)に基づいて、ターゲットレートに依存するMPEGの量子化スケール(quantizer_scale)が計算される。なお、上述のクラス番号と量子化テーブルとの対応関係および量子化パラメータと量子化テーブルとの関係は経験的に求められたものである。
上記の処理は、図15に例示した本発明に係るディジタル信号変換装置においては、デフレーミング部11から送られる量子化番号(Q_NO)およびクラス番号(Class)に基づいて、レート制御部40において行われるものである。
図17は、上述の手順により設定された量子化スケールを用いて、次のフレームに対してフィードバックをかける基本的な手順を示している。
ステップS11では、まず、前述の手順により設定されたビットレートにおける、フレームあたりのターゲットビット数が設定される。
次に、ステップS12で、フレームあたりの総発生ビット数が積算される。
次に、ステップS13で、上記のターゲットビット数と総発生ビット数との差分(diff)が計算される。
そして、ステップS14で、上記の計算結果に基づいて、量子化スケールが調整される。
上記の各ステップにおける計算は、以下のように表される。
diff = cont * diff(cont:定数)
q_param = q_param ± f(diff)
quantizer_scale = q_table[q_param]
q_param = q_param ± f(diff)
quantizer_scale = q_table[q_param]
つまり、ステップS13で求められた差分値diffに定数contが乗じられることにより正規化が行われる。この正規化された差分値に経験的に求められた関数をかけて、量子化パラメータと加減算されたものを量子化パラメータとされる。この量子化パラメータ値に対応する値を上述の25通りの値をもつ量子化テーブルから選び出して次のフレームの量子化スケールとする。
以上の手順により、調整された量子化パラメータ(q_param)に基づいて新しい量子化スケール(quantizer_scale) が計算され、それを次のフレームに用いるフレーム間のフィードバックが行われる。
次に、第8の実施の形態として、本発明に係るディジタル信号変換方法およびディジタル信号変換装置について説明する。上述の実施の形態においてはDVフォーマットからMPEGフォーマットに変換する例を示したが、以下の実施の形態ではMPEGフォーマットからDVフォーマットに変換する例について説明する。
まず図18を用いて、従来におけるMPEGフォーマットからDVフォーマットに変換する装置について説明する。
図18に示すディジタルビデオ信号変換装置は、MPEG2ビデオデータを復号するMPEGデコーダ70と、DVビデオデータを出力するDVエンコーダ80からなる。
MPEGデコーダ70において、上記MPEG2ビデオデータのビットストリームが供給されるパーサ(Parser)71は、上記MPEG2フォーマットにしたがってフレーミングされて来た量子化DCT係数のビットストリームのヘッダを検出し、可変長符号化された量子化DCT係数を可変長復号(VLD)部72に供給すると共に、動きベクトル(mv)を抽出して動き補償(Motion Compensation:MC)部77に供給する。
可変長復号(VLD)部72は、可変長符号化された上記量子化DCT係数を可変長復号し、逆量子化(IQ)部73に供給する。
逆量子化部73は、可変長復号部72で復号された上記量子化DCT係数に、符号化側で用いた量子化ステップを乗算して逆量子化処理を施し、DCT係数を得て、逆離散コサイン変換(IDCT)部74に供給する。
この逆離散コサイン変換部74は、逆量子化部73からのDCT係数に逆DCTを施して、DCT係数を空間領域のデータ、すなわち画素データに戻す。具体的には、逆DCTによって、8×8画素ブロック毎にそれぞれの画素値(輝度Y、色差Cr、Cb)が算出される。ただし、ここでの画素値はIピクチャでは実際の画素値そのものの値であるが、PピクチャとBピクチャでは対応する画素値間の差分値となる。
動き補償部77は、フレームメモリ(FM)部76の二つのフレームメモリFMに格納されている画像情報とパーサ71で抽出した動きベクトルmvとを用いて動き補償出力を生成し、この動き補償出力を加算器75に供給する。
加算器75は逆離散コサイン変換部74からの上記差分値に上記動き補償出力を加算し、復号画像データをDVエンコーダ80の離散コサイン変換(DCT)部81及びフレームメモリ部76に供給する。
DVエンコーダ80において、離散コサイン変換部81は上記復号画像データにDCT処理を施して再び直交変換領域のデータ、すなわちDCT係数に変換し、量子化(Q)部82に供給する。
量子化部82は、上記DCT係数を、視覚特性を考慮したマトリックステーブルを用いて量子化し、上記DVフォーマットのIピクチャとして可変長符号化(VLC)部83に供給する。
可変長符号化部83は、上記DVフォーマットのIピクチャに可変長符号化処理を施して圧縮し、フレーミング部84に供給する。
フレーミング部84は、上記可変長符号化処理が施されたDVフォーマットデータをフレーミングし、DVビデオデータのビットストリームとして出力する。
ところで、離散コサイン変換(DCT)等の直交変換及びその逆変換には、多くの計算量を要するのが通常であるため、上述したようなビデオデータのフォーマット変換が効率良く行えないという問題がある。また、計算量の増加に伴って誤差が蓄積されるため、信号が劣化するという問題もある。
そこでこの問題を解決するためのディジタルビデオ信号変換装置を第8の実施の形態として図19を用いて説明する。
図19に示すディジタル信号変換装置は、前述したMPEGのフォーマットに従うMPEGビデオ信号が第1のディジタル信号として入力され、DV信号を第2のディジタル信号として出力するものである。
パーサ111は、ビットストリームとして入力される、第1のフォーマットのディジタル信号であるMPEGビデオ信号のヘッダを参照して、動きベクトルmvや量子化スケールなどの画像の動き情報を抽出する。
上記の動きベクトルmvは、動き補償(MC)部115に送られて動き補償が行われる。また、上記の量子化スケール(quantizer_scale) は、後述する評価部123に送られる。
可変長復号(VLD)部112は、パーサ111で必要な情報が取り出されたMPEGビデオ信号のビットストリームを可変長復号する。
逆量子化(IQ)部113は、可変長復号部112で復号されたMPEGビデオ信号を逆量子化する。
そして、逆量子化部113で逆量子化されたMPEGビデオ信号は、加算部125に入力される。この加算部125には、パーサ111からの動きベクトルmvに対する動き補償の結果も、動き補償部115から入力される。
また、加算部125からの出力は、後述する信号変換部116に送られると共に、フレームメモリ114を介して上記の動き補償部115に入力される。信号変換部116では、加算部125を介して入力される上記のビデオ信号に対して、直交変換領域(周波数領域)で解像度変換などの所要の信号変換処理が施される。
そして、信号変換部116で所要の信号変換処理が施されたビデオ信号は、シャフリング部117でシャフリングされ、バッファ118とクラシファイ(Classify)部122とに送られる。
バッファ118に送られたビデオ信号は、量子化(Q)部119に送られて量子化され、可変長符号化(VLC)部120で可変長符号化され、さらにフレーミング部121でフレーミングされて、DVビデオ信号のビットストリームとして出力される。
一方、クラシファイ部122では、シャフリング部117でシャフリングされたビデオ信号をクラス分けして、その結果をクラス情報として評価部123に送る。
評価部123では、クラシファイ部122からのクラス情報と、パーサ111からの量子化スケール(quantizer_scale) とに基づいて、量子化部119での量子化番号を決める。
このような構成によれば、第2のフォーマットのビデオ信号として出力されるDVビデオ信号のデータ量を、第1のフォーマットのビデオ信号として入力されるMPEGビデオ信号に含まれるデータ量情報に基づいて決めることができるため、信号変換を行って生成した第2のフォーマットのビデオ信号に対して、さらにそのデータ量を決定するための処理が簡略化することができる。
なお、以上説明した第7、8の実施の形態は、たとえば、第1のフォーマットのディジタル信号または第2のフォーマットのディジタル信号の一方が、MPEG1のビデオ信号であり、他方がMPEG2のビデオ信号である場合にも適用することができる。
次に、図20を用いて第9の実施の形態として、本発明に係るディジタル信号変換方法およびディジタル信号変換装置について説明する。
MPEG2のフォーマットに従うMPEGビデオデータを、上記DVフォーマットにしたがうDVビデオデータに変換するディジタルビデオ信号変換装置であり、共にPAL方式のデータを想定している。
ビデオ信号がPAL方式である場合には、MPEG2フォーマット及びDVフォーマットは、解像度が720画素×576画素,輝度信号のサンプリング周波数と2つの色差信号のサンプリング周波数との比が4:2:0の圧縮ビデオ信号であるので、Y信号およびC信号のいずれに対しても特に解像度の変換処理を行う必要がない。
図20において、MPEGデコーダ100は、パーサ(Parser)111と、可変長復号(VLD)部112と、逆量子化(IQ)部113と、加算器125と、逆離散コサイン(IDCT)部131と、フレームメモリ(FM)部132と、動き補償(MC)部115と、離散コサイン変換(DCT)部130とを備えてなる。ここで、フレームメモリFM部132は、二つの予測メモリとして用いられるように構成されている。
この中で、詳細は後述するが、逆離散コサイン変換部131は、可変長復号部112と逆量子化部113により一部復号されたIピクチャとPピクチャに逆離散コサイン変換処理を施す。動き補償部115は、逆離散コサイン変換出力に基づいて、動き補償出力を生成する。離散コサイン変換部130は、上記動き補償出力を離散コサイン変換する。加算器125は、可変長復号部112と逆量子化部113により一部復号されたPピクチャ及びBピクチャに、離散コサイン変換部130からの動き補償出力を加算する。
以下、全体的な動作について説明する。先ず、パーサ111は、ビットストリームとして入力される、上記MPEG2ビデオデータのヘッダを参照して、上記MPEG2フォーマットにしたがってフレーミングされて来た量子化DCT係数を可変長符号に戻して可変長復号部112に供給すると共に、動きベクトル(mv)を抽出して動き補償部115に供給する。
可変長復号部112は、可変長符号に戻された上記量子化DCT係数を可変長復号し、逆量子化部113に供給する。
逆量子化部113は、可変長復号化部112で復号された上記量子化DCT係数に、符号化側で用いた量子化ステップを乗算して逆量子化処理を施し、DCT係数を得て、加算器125に供給する。この可変長復号部112及び逆量子化部113により得られるDCT係数は、逆離散コサイン変換されて画素データに戻されることの無い出力、すなわち、一部復号されたデータとして、加算器125に供給される。
加算器125には、離散コサイン変換部130で直交変換された動き補償部115からの動き補償出力も供給されている。そして、加算器125は直交変換領域において上記一部復号されたデータに上記動き補償出力を加算し、この加算出力を、DVエンコーダ110に供給すると共に、逆離散コサイン変換部131に供給する。
逆離散コサイン変換部131は、上記加算出力の内のIピクチャ及びPピクチャに逆離散コサイン変換処理を施し、空間領域のデータにする。この空間領域のデータが、動き補償に用いる参照画像データとなる。この動き補償のための参照画像データは、フレームメモリ部132に格納される。
そして、動き補償部115はフレームメモリ部132に格納された参照画像データと、パーサ111で抽出された動きベクトルmvを用いて動き補償出力を生成し、この動き補償出力を離散コサイン変換部130に供給する。
離散コサイン変換部130では、上記空間領域で処理された動き補償出力を上述したように再度直交変換領域に戻してから加算器125に供給する。
加算器125は逆量子化部113からの一部復号されたP及びBピクチャの差分信号のDCT係数に、上記離散コサイン変換部130からの動き補償出力のDCT係数を加算する。そして、この加算器125からの加算出力は、直交変換領域での一部復号データとしてDVエンコーダ110及び逆離散コサイン変換部131に供給される。
なお、逆量子化部113からの一部復号されたIピクチャは、フレーム内符号化画像信号であるので、動き補償の加算処理は不要であり、そのまま上記逆離散コサイン変換部131に供給されると共に、DVエンコーダ110にも供給される。
DVエンコーダ110は、量子化(Q)部141と、可変長符号化(VLC)部142と、フレーミング部143とからなる。
量子化部141は、MPEGデコーダ100からのIピクチャ、Pピクチャ及びBピクチャの直交変換領域のままのデコード出力、すなわちDCT係数を量子化し、可変長符号化部142に供給する。
可変長符号化部142は上記量子化DCT係数に可変長符号化処理を施し、フレーミング部143に供給する。フレーミング部143は可変長符号化部142からの圧縮符号化データをフレーミングし、DVビデオデータのビットストリームとして出力する。
このように、変換するMPEG2ビデオデータがIピクチャであるとき、MPEGデコーダ100は、MPEG2ビデオデータを可変長復号部112及び逆量子化部113により直交変換領域まで一部復号し、DVエンコーダ110で量子化部141及び可変長符号化部142により一部符号化する。同時に、P/Bピクチャの参照画像とするため、Iピクチャに逆離散コサイン変換部131で逆離散コサイン変換を施してフレームメモリ部132に格納する。
また、変換するPピクチャ及びBピクチャであるときには、上述したように、動き補償出力を生成する処理のみ逆離散コサイン変換部131を用いて空間領域で行い、可変長復号部112及び逆量子化部113で一部復号されたPピクチャ及びBピクチャである差分信号に加えてフレームを構成する部分は離散コサイン変換部130による離散コサイン変換領域で行う。そして、その後DVエンコーダ110で部分エンコードする。
特に、Pピクチャの場合、動きベクトルmvで示された位置のマクロブロックを逆離散コサイン変換部131で逆離散コサイン変換されたIピクチャから動き補償部115での動き補償処理により持ってくる。そのマクロブロックに離散コサイン変換部130で離散コサイン変換処理を施し、離散コサイン変換領域にて、差分信号である上記PピクチャのDCT係数に加算器125を使って加算する。これは、空間領域での足し算結果に離散コサイン変換を施したものは、離散コサイン変換したもの同士の足し算した結果と等価であることに基づいている。そして、その結果をDVエンコーダ110で部分エンコードする。同時に、次のBピクチャの参照のために、加算器125からの加算出力に逆離散コサイン変換部131で逆離散コサイン変換を施し、フレームメモリ部132に格納しておく。
Bピクチャの場合には、動きベクトルmvで示された位置のマクロブロックを逆離散コサイン変換部131で逆離散コサイン変換されたPピクチャから持ってくる。そして、そのマクロブロックに離散コサイン変換部130で離散コサイン変換を施し、離散コサイン変換領域にて、差分信号であるBピクチャDCT係数を足し算する。ここで、双方向の場合は、二つの参照フレームより持ってきて平均をとる。
その結果をDVエンコーダ110で部分エンコードする。なお、Bピクチャは、参照フレームにはならないので、逆離散コサイン変換部131で逆離散コサイン変換を施すことはない。
上述のような第9の実施の形態によると、Iピクチャをデコードするには、従来、逆離散コサイン変換(IDCT)と離散コサイン変換(DCT)処理が共に必要であったのが、本実施の形態のディジタルビデオ信号変換装置では、参照用にIDCTを必要とするのみとなる。
また、Pピクチャをデコードするには、DCTと参照用のIDCT処理を必要とするが、Bピクチャをデコードするには従来、DCT及びIDCTを共に必要としたのに比較し、DCTのみで参照用のIDCTを不要とする。
一般的なMPEG2データ、例えばGOPの数N=15、順方向予測のピクチャ間隔M=3の場合を例にとると、Iピクチャは1個、Pピクチャは4個、Bピクチャは10個である。DCTとIDCTの計算量をほぼ同じとみなすと、上記15フレーム当たりのMPEG2データは、重み付けを省略したとき、従来では、
2×DCT×(1/15)+2×DCT×(4/15)
+2×DCT×(10/15)=2×DCT
となるのに対し、上記図20に示したディジタルビデオ信号変換装置では、
1×DCT×(1/15)+2×DCT×(4/15)
+1×DCT×(10/15)=1.2666×DCT
となり、大幅に計算量を削減できる。この式におけるDCTは計算量を示す。
2×DCT×(1/15)+2×DCT×(4/15)
+2×DCT×(10/15)=2×DCT
となるのに対し、上記図20に示したディジタルビデオ信号変換装置では、
1×DCT×(1/15)+2×DCT×(4/15)
+1×DCT×(10/15)=1.2666×DCT
となり、大幅に計算量を削減できる。この式におけるDCTは計算量を示す。
すなわち、上記図20に示したディジタルビデオ信号変換装置は、MPEG2ビデオデータからDVビデオデータにフォーマット変換するためのデータ算出処理量を大幅に削減することができる。
次に、第10の実施の形態におけるディジタルビデオ信号変換装置の他の実施の形態について図21を参照しながら説明する。
この第10の実施の形態も、MPEG2のフォーマットに従うMPEGビデオデータを、上記DVフォーマットにしたがうDVビデオデータに変換するディジタルビデオ信号変換装置であるが、MPEG2のビデオデータは高解像度、例えば1440画素×1080画素の圧縮ビデオ信号を想定している。
例えば、MPEG2ビデオ信号をディジタル放送サービスに適用するときに、プロファイル(機能)/レベル(解像度)によってその信号を分類しているが、例えば、米国のディジタルHDTVで用いられるメイン・プロファイル/ハイ・レベル(MP@HL)のビデオ信号は上述したように高解像度であり、これを上記DVビデオデータに変換する場合である。
このため、図21に示すディジタルビデオ信号変換装置では、図20に示したMPEGデコーダ100とDVエンコーダ110との間に、上記変換処理を行うための信号変換部140を備えている。
この信号変換部140は、上記MPEG符号化データに施されているDCT符号化で用いられた直交変換行列に対応する逆直交変換行列と、時間領域での信号変換出力信号を得るためのIDCT符号化に用いる逆直交変換行列に対応する直交変換行列とに基づいて生成された変換行列によりMPEGデコーダ100からのDCT変換領域のDCT係数に解像度変換処理を施す。
この信号変換部140からの解像度変換出力であるDCT係数は、上記DVエンコーダ110に供給される。
DVエンコーダ110は、解像度変換出力のDCT係数に量子化と可変長符号化を施し、フレーミングした後、上記DVビデオデータのビットストリームとして出力する。
このように、このディジタルビデオ信号変換装置は、MPEG2ビデオ信号内のメイン・プロファイル/ハイ・レベル(MP@HL)のビデオ信号を、信号変換部140で解像度変換してから、DVエンコーダで符号化してDVビデオデータとしている。
このとき、上記図20に示したディジタルビデオ信号変換装置と同様に、Iピクチャについては、従来、IDCTとDCTの処理が共に必要であったのが、この第10の実施の形態のディジタルビデオ信号変換装置では、参照用にIDCTするのみである。
PピクチャについてはDCTと参照用にIDCTを施すことになり従来と変わりが無いが、Bピクチャについては従来、DCT及びIDCTを共に必要としたのに比較し、DCTのみで参照用のIDCTを不要である。
すなわち、上記図21に示したディジタルビデオ信号変換装置も、高解像度のMPEG2ビデオデータからDVビデオデータにフォーマット変換するためのデータ算出処理量を大幅に削減することができる。
なお、上記信号変換部140による解像度変換処理としては、主として縮小の向きに解像度変換を行う例について述べたが、拡大も可能である。すなわち、一般に、周波数領域の入力ディジタル信号に対して、高周波成分を追加することで、任意の倍率で解像度を拡大することができる。例えば、MPEG1ビデオデータを上記DVビデオデータにフォーマット変換する場合等である。
また、上記処理ををソフトウェアで行なうようにしてもよい。
ところで上述のMPEGフォーマットやDVフォーマットの圧縮方式では、静止画データや動画データ等を効率よく圧縮符号化するためには、直交変換符号化と、予測符号化とを組み合わせたハイブリッド圧縮符号化方法が用いられている。
ところで、ハイブリッド圧縮符号化方法により圧縮符号化された入力情報信号に解像度の変換処理を施した後、再び直交変換を施すと共に再び動き補償を伴った予測符号化を施すときには、再予測符号化処理を行うための工程においても動きベクトルを推定しなければならない。
解像度の変換処理を施すことなく全く同じ解像度で再予測符号化するのであれば、予測符号化時の動きベクトルを用いれば良いが、解像度を変換すると、変換歪みが変わってくるので、その分上記再予測符号化工程で用いる動きベクトルも変化してしまうためである。
そこで、上記再予測符号化工程においては、動きベクトルを推定する必要があるが、この動きベクトルの推定の演算量は非常に多くなってしまっていた。
この問題を解決するのが、第11の実施の形態によるディジタル信号変換装置である。第11の実施の形態に係るディジタル信号変換方法及び装置は、直交変換符号化と予測符号化とを組み合わせたハイブリッド圧縮符号化により圧縮符号化された入力情報信号に、時間領域又は直交変換領域で例えば解像度変換のような信号変換処理を施し、再び直交変換領域に戻し又は直交変換領域のまま再圧縮符号化を施すものである。
上記ハイブリッド圧縮符号化の具体例としては、ITU−T(国際電気通信連合−電気通信標準化部門)にて勧告されたH.261やH.263、またMPEG、DV等の符号化規格が挙げられる。
H.261は、低ビットレートを対象とした映像符号化規格であり、ISDNによるテレビ会議・テレビ電話を主たる用途に開発された。また、H.263は、GSTNテレビ電話システムのためにH.261を改良した符号化方式である。
以下、第11の実施の形態について図22を参照しながら説明する。この実施の形態は、MPEGのフォーマットにしたがうMPEG符号化データが入力され、このMPEG符号化データに信号変換処理として解像度変換処理を施してから解像度変換されたMPEG符号化データとして出力するディジタルビデオ信号変換装置である。
このディジタルビデオ信号変換装置は、図22に示すように、動きベクトル(mv)検出を伴って圧縮符号化されているMPEG符号化データのビットストリームに対して動き補償MCを用いた復号を施す復号部210と、この復号部210からの復号出力に解像度変換処理を施す解像度変換部160と、この解像度変換部160からの変換出力画像に、上記MPEG符号化データに付加されている動きベクトルmvに基づいた動き検出を伴って圧縮符号化処理を施し、解像度を変換したビデオ符号化データのビットストリームを出力する符号化部220とを備えてなる。
なお、以下では、これらの各部により構成されるディジタルビデオ信号変換装置について述べるが、各構成部が本発明に係るディジタル信号変換方法の各工程の処理を実施するのはもちろんである。
復号部210は、可変長復号(VLD)部112と、逆量子化(IQ)部113と、逆離散コサイン変換(IDCT)部150と、加算器151と、動き補償(MC)部152と、フレームメモリ(FM)部153とを備えてなる。ここで、FM部153は、二つの予測メモリとして用いるフレームメモリFMにより構成されている。
VLD部112は、上記MPEG符号化データ、すなわち付加情報である動きベクトルと量子化DCT係数が可変長符号化された符号化データを、可変長符号化に応じて復号すると共に、動きベクトルmvを抽出する。IQ部113は、VLD部112で復号された量子化DCT係数に、符号化側で用いた量子化ステップを乗算して逆量子化処理を施し、DCT係数を得る。
IDCT部150は、IQ部113からのDCT係数に逆DCTを施して、DCT係数を空間領域のデータ、すなわち画素データに戻す。具体的には、逆DCTによって、8×8画素ブロック毎にそれぞれの画素値(輝度Y、色差Cr、Cb)が算出される。ただし、ここでの画素値はIピクチャでは実際の画素値そのものの値であるが、PピクチャとBピクチャでは対応する画素値間の差分値となる。
MC部152は、FM部153の二つのFMに格納されている画像情報に、VLD部112で抽出した動きベクトルmvを用いて動き補償処理を施し、この動き補償出力を加算器151に供給する。
加算器151は、IDCT部150からの差分値にMC部152からの動き補償出力を加算し、復号画像信号を出力する。解像度変換部160は、上記復号画像信号に対して所要の解像度変換処理を施す。この解像度変換部160からの変換出力は、符号化部220に供給される。
符号化部220は、スケール変換部171と、動き推定ME部172と、加算器173と、DCT部175と、レート制御部183と、量子化(Q)部176と、可変長符号化(VLC)部177と、バッファメモリ178と、IQ部179と、IDCT部180と、加算器181と、FM部182と、MC部174とを備えてなる。
スケール変換部171は、解像度変換部160で用いた解像度変換率に応じてVLD部112が抽出した動きベクトルmvをスケール変換する。例えば、解像度変換部160での解像度変換率が1/2であった場合には、動きベクトルmvの1/2にスケール変換する。
ME部172は、スケール変換部171からのスケール変換情報を用い、解像度変換部160からの変換出力の狭い範囲を探すことにより、変換された解像度での最適な動きベクトルを推定する。
ME部172で推定された動きベクトルは、MC部174による動き補償時に用いられる。また、ME部172で動きベクトルを推定するときに用いた上記解像度変換部160からの変換出力画像は加算器173に供給される。
加算器173は、後述する参照画像と解像度変換部160からの変換出力との差分を採り、DCT部175に供給する。
DCT部175は、MC部174で動き補償することによって得た参照画像と上記変換出力画像との差分を、8×8のブロックサイズで離散コサイン変換する。なお、Iピクチャについては画面(フレーム)内符号化であるのでフレーム間の差分を採らずに、そのままDCT演算を行う。
量子化(Q)部176は、DCT部175からのDCT係数を、視覚特性を考慮したマトリックステーブルを用いて量子化する。VLC部177は、Q部176からの量子化DCT係数を可変長符号化により圧縮する。
バッファメモリ178は、VLC部177で可変長符号化により圧縮された符号化データの転送速度を一定にするためのメモリである。このバッファメモリ178から解像度変換されたビデオ符号化データが一定の転送レートでビットストリームとして出力される。
レート制御部183は、バッファメモリ178におけるバッファ容量の増減の変化情報によりQ部176における情報発生量の増減、すなわち量子化ステップを制御する。
IQ部179は、IDCT部180と共に局部復号部を構成し、Q部176からの量子化DCT係数を逆量子化し、DCT係数をIDCT部180に供給する。IDCT部180は、IQ部179からのDCT係数を逆DCT変換し、画素データに戻して加算器181に供給する。
加算器181は、IDCT部180からの逆DCT出力である画素データにMC部174からの動き補償出力を加算する。加算器181からの加算出力となる画像情報はFM部182に供給される。このFM部182に格納された画像情報にはMC部174で動き補償処理が施される。
MC部174は、FM部182に格納されている画像情報に対してME部172で推定された最適な動きベクトルを用いて、動き補償処理を施し、参照画像となる動き補償出力を加算器173に供給する。
加算器173は、上述したように、解像度変換部160からの変換出力画像と上記参照画像との差分を採ってDCT部175に供給する。
DCT部175、Q部176、VLC部177及びバッファメモリ178は、上述したように動作し、最終的にこのディジタルビデオ信号変換装置から解像度変換されたビデオ符号化データが一定の転送レートでビットストリームとして出力される。
このディジタルビデオ信号変換装置では、符号化部220のME部172で動きベクトルを推定するときに、全く情報が無い状態から推定するのではなく、基の圧縮されたビデオ信号のマクロブロックについている動きベクトルを、解像度変換部160での解像度変換率に応じてスケール変換部171でスケール変換し、このスケール変換部171からのスケール変換情報を基に解像度変換部160からの変換出力画像の狭い範囲をサーチして動き補償用の動きベクトルを推定している。このため、ME部172での計算量を大幅に削減することができるので、装置の小型化及び変換処理時間の短縮化を達成できる。
次に、第12の実施の形態について説明する。この実施の形態も、MPEGビデオ信号に解像度変換処理を施して出力するディジタルビデオ信号変換装置である。
このディジタルビデオ信号変換装置は、図23に示すように、上記ハイブリッド符号化が施されているMPEG符号化データに対して、MCを用いた予測復号処理のみを施すことにより直交変換符号化が施されたままの直交変換領域の復号データを得る復号部211と、この復号部211からの直交変換領域の復号データに解像度変換処理を施す解像度変換部260と、この解像度変換部260からの変換出力に、上記MPEG符号化データの動きベクトル情報に基づいた動き検出を用いて動き補償予測を伴った圧縮符号化処理を施す符号化部221とを備えてなる。
なお、以下でも、これらの各部により構成されるディジタルビデオ信号変換装置について述べるが、各構成部が本発明に係るディジタル信号変換方法の各工程の処理を実施するのはもちろんである。
このディジタルビデオ信号変換装置は、上記図22に示した装置と比較すると、復号部210でIDCT部150を、また符号化部220でDCT部175とIDCT部180を不要とする。すなわち、このディジタルビデオ信号変換装置は、DCT領域のままの復号データに解像度変換処理を施し、この変換出力を符号化する。
DCT等の直交変換及びその逆変換には一般的に多くの計算量を要する。このため、上述したような解像度の変換が効率良く行えない可能性がある。また、計算量の増加に伴って誤差が蓄積されるため、信号が劣化する可能性もある。
そこで、図23に示したディジタルビデオ信号変換装置は、図22におけるIDCT部150と、DCT部175と、IDCT部150を省略し、さらに解像度変換部160の機能を変更している。
また、DCT領域において解像度変換部160からの変換DCT係数から後述する精細度を算出し、この精細度を用いて動きベクトルを推定するために、図22に示したスケール変換部171の代わりに精細度算出部200を用いている。
図23に示す解像度変換部260には、VLD部212で復号された量子化DCT係数をIQ部213で逆量子化して得たDCT係数にMC部252からの動き補償出力を加算器251で加算した加算出力(DCT係数)が供給される。
この解像度変換部260は、上記MPEG符号化データに施されているDCT符号化で用いられた直交変換行列に対応する逆直交変換行列と、時間領域での信号変換出力信号を得るためのIDCT符号化に用いる逆直交変換行列に対応する直交変換行列とに基づいて生成された変換行列により復号部211からのDCT変換領域のDCT係数に解像度変換処理を施す。
この解像度変換部260からの解像度変換出力であるDCT係数は、精細度算出部200に供給される。精細度算出部200は、解像度変換部260からのDCT係数の輝度成分からマクロブロック単位での空間の精細度(Activity)を算出する。具体的には、DCT係数のAC値の最大値を用いて、画像の特徴を算出する。例えば、高周波成分が少なければ、平坦な画であることを示す。
ME部272は、精細度算出部200が算出した精細度に基づいて、変換された解像度での最適な動きベクトルを推定する。すなわち、ME部272は、VLD212で抽出した動きベクトルmvを、精細度算出部200で算出した精細度に基づいて変換し、動きベクトルmvを推定し、この推定した動きベクトルmvをME部272に供給する。ここで、ME部272は、直交変換領域のままで動きベクトルを推定する。この直交変換領域でのMEについては後述する。
解像度変換部260からの解像度変換DCT係数は、精細度算出部200及びME部272を介して加算器273に供給される。
加算器273は、後述する参照DCT係数と解像度変換部260からの変換DCT係数との差分を採り、量子化(Q)部276に供給する。
Q部276は、上記差分値(DCT係数)を量子化し、量子化DCT係数をVLC部277及びIQ部279に供給する。
また、レート制御部283は、精細度算出部200からの精細度情報と、バッファメモリ278でのバッファ容量の増減の変化情報によりQ部276における情報発生量の増減、すなわち量子化ステップを制御する。
VLC部277は、Q部276からの量子化DCT係数を可変長符号化により圧縮符号化し、バッファメモリ278に供給する。バッファメモリ278は、VLC部277で可変長符号化により圧縮された符号化データの転送速度を一定にし、解像度変換されたビデオ符号化データを一定の転送レートでビットストリームとして出力する。
IQ部279は、Q部276からの量子化DCT係数を逆量子化し、DCT係数を加算器281に供給する。加算器281は、IQ部279からの逆Q出力であるDCT係数にMC部274からの動き補償出力を加算する。加算器281からの加算出力となるDCT係数情報はFM部282に供給される。このFM部282に格納されたDCT係数情報にはMC部274で動き補償処理が施される。
MC部274は、FM部282に格納されているDCT係数情報に対してME部272で推定された最適な動きベクトルを用いて、動き補償処理を施し、参照DCT係数となる動き補償出力を加算器281に供給する。
加算器273は、上述したように、解像度変換部260からの変換DCT係数と上記参照DCT係数との差分を採ってQ部276に供給する。
そして、Q部276、VLC部277及びバッファメモリ278は、上述したように動作し、最終的にこのディジタルビデオ信号変換装置から解像度変換されたビデオ符号化データが一定の転送レートで出力される。
ここで、MC部274は、ME部272で推定された最適な動きベクトルと、FM282に格納されている参照DCT係数とを用い、ME部272と同様に直交変換領域のままで動き補償を行う。
直交変換領域でのME及びMCについて図24〜図26を参照しながら説明する。図24において、実線は圧縮しようとしている画像Aのマクロブロックを表し、点線は参照用の画像Bのマクロブロックを表す。動きベクトルを用いて圧縮しようとしている画像Aと参照用画像Bとを図24のように重ねあわせると、マクロブロックの境界線が一致しない場合が起こる。図24の場合では、現在圧縮しようとしているマクロブロックB'は、参照用の画像Bの4つのマクロブロックB1、B2、B3、B4に跨っている。従って、マクロブロックB'に一体一で対応する参照用画像Bのマクロブロックは存在しないことになってしまい、マクロブロックB'が位置しているところの参照用画像BのDCT係数を得ることがきない。そこでマクロブロックB'が跨っている参照用画像Bの4つのマクロブロックのDCT係数を変換処理することによって、マクロブロックB'が位置している部分の参照用画像BのDCT係数を得る必要がある。
図25は、この変換処理の手順を模式的に示したものである。参照用画像BのマクロブロックB1の左下部分がマクロブロックB'と重なっている部分であるが、マクロブロックB’から見れば右上部分が重なった部分であるので、マクロブロックB1のDCT係数を、後述する変換によって、マクロブロックB13を生成する。同様に参照用画像BのマクロブロックB2の右下部分がマクロブロックB'と重なっている部分であるが、マクロブロックB’から見れば左上部分が重なった部分であるので、マクロブロックB2のDCT係数を後述する変換によって、マクロブロックB24を生成する。同様の処理をマクロブロックB3とB4に施すことによってマクロブロックB31とB42を生成する。こうして生成された4つのマクロブロックB13、B24、B31、B42を組み合わせることにより、マクロブロックB'が位置している部分の参照用画像BのDCT係数を得ることができる。
つまり、次の式(6)、(7)のように表すことができる。
B’= B13+B24+B31+B42 ・・・ (6)
DCT(B') = DCT(B13)+DCT(B24)
+DCT(B31)+DCT(B42) ・・・(7)
DCT(B') = DCT(B13)+DCT(B24)
+DCT(B31)+DCT(B42) ・・・(7)
次にマクロブロックのDCT係数の変換について図26を用いて説明する。図26は、空間領域における例えばB4のような、オリジナルブロックから計算によって部分的なB42を求めるときの数学的なモデルを示している。具体的には、上部左側のB4を抽出し、0で補間し、下部右側に動かしている。ブロックB4から以下の式(8)の計算により得られたB42を示しているのである。
ここで、IhとIwは、ブロックB4から抽出したh及びwの列及び行からなるサイズh×h及びw×wのそれぞれの行列の識別符号である。図26に示すように、B4に先ず合成されるプリマトリクスH1は、最初のh列を取り出すと共に、底部に変換し、B4に後で合成されるH2は始めのw行を取り出すと共に、右側に変換する。
上記式(8)を基に、B42のDCTを直接、B4のDCTから次の式(9)により計算できる。
DCT(B42)=DCT(H1)×DCT(B4)×DCT(H2) ・・・(9)
これを、全てのサブブロックに当てはめ、合計すると、次の式(10)に示すように、オリジナルのブロックB1〜B4のDCTから直接に新しいブロックB’のDCT係数を得ることができる。
ここで、Hi1とHi2のDCTを予め計算し、メモリに格納してテーブルメモリを構成しておいてもよい。このようにして、直交変換領域でもME及びMCが可能である。
そして、符号化部221では、ME部272で動きベクトルを推定するときに、全く情報が無い状態から推定するのではなく、元の圧縮されたビデオ信号のマクロブロックについている動きベクトルを、解像度変換部260の変換出力から精細度算出部200が算出した精細度に応じて狭い範囲でサーチして推定している。
以上説明したように、この他の実施の形態となるディジタルビデオ信号変換装置の復号部211では、動き検出を伴う予測符号化と直交変換符号化とを含むハイブリッド符号化が施されたMPEG符号化データに動き補償を伴う予測復号処理、すなわちVLD後にIQし、そこで動き補償をし、DCT領域のままの復号データを得、このDCT領域の復号データに解像度変換を施しているので、直交変換された領域で解像度変換が直接に行え、時間領域や空間領域への復号(逆直交変換)が不要となり、計算が簡略化され、計算誤差の小さい高品質の変換が行える。さらに、符号化部221では、ME部272で動きベクトルを推定するときに、全く情報が無い状態から推定するのではなく、基の圧縮されたビデオ信号のマクロブロックについている動きベクトルを、解像度変換出力から算出した精細度に応じて狭い範囲でサーチして動きベクトルを推定している。このため、ME部272での計算量を大幅に削減することができるので、装置の小型化及び変換処理の短縮化を達成できる。
次に、第13の実施の形態について説明する。この例も、MPEG符号化データに解像度変換処理のような信号変換処理を施してビデオ符号化データを出力するディジタルビデオ信号変換装置である。
このディジタルビデオ信号変換装置は、図27に示すように、上記ハイブリッド符号化が施されているMPEG符号化データに対して、一部復号処理を施して直交変換領域のデータを得る復号部340と、この復号部340からの直交変換領域のデータに解像度変換処理を施す変換部343と、この変換部343からの変換出力に、上記MPEG符号化データの動きベクトル情報に基づいた動きベクトルを付加して圧縮符号化処理を施す符号化部350とを備えてなる。
復号部340は、VLD部341と、IQ部342とを備えてなる。このVLD部341とIQ部342は、上記図21に示したVLD部112とIQ部113と同様の構成であり、同様に動作する。この復号部340で特徴的なのは、MCを行っていない点である。
すなわち、PピクチャとBピクチャはMCをしないで、差分情報となるDCT係数に対して、変換部343で解像度の変換を行う。解像度変換により得られた変換DCT係数は、レート制御部348でレートが制御されるQ部345により量子化され、VLC部346で可変長復号された後、バッファメモリ347で一定レートとされて出力される。
このとき、符号化部350の動きベクトル変換部344では、VLD部341で抽出された動きベクトルmvを解像度変換率に応じて再スケーリングし、VLC部346に供給する。
VLC部346は、Q部345からの量子化DCT係数に再スケーリングされた動きベクトルmvを付加して可変長符号化処理を施し、符号化データをバッファメモリ347に供給する。
このように、図27に示したディジタルビデオ信号変換装置は、復号部340及び符号化部350でMCを行わないので、計算が簡略化でき、ハードウェア負担を軽減できる。
上述の各ディジタルビデオ信号変換装置でレート変換を行ってもよい。つまり解像度をそのままで、転送レートを4Mbpsから2Mbpsに変換するときに適用してもよい。
なお、上記各実施の形態としては、いずれも装置構成を挙げたが、本発明に係るディジタル信号変換方法をソフトウェアとして用いることにより、上記各装置を構成するようにしてもよい。
以上説明した本発明の実施の形態によれば、動き検出を伴って圧縮符号化されている入力情報信号に対して動き補償を伴った復号を施し、この復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を伴って圧縮符号化処理を施す。この信号変換処理として解像度変換処理を適用するときには、この解像度変換処理に応じて上記動きベクトル情報をスケール変換して得られる情報に基づいた動き補償を伴った圧縮符号化処理を上記変換信号に施す。特に、圧縮符号化時に必要とする動きベクトル情報を、解像度変換率に応じてスケール変換し、狭い範囲でサーチして推定しているので、動きベクトル推定時の計算量を大幅に削減でき、装置の小型化及び変換処理時間の短縮化を達成できる。
また、本発明の実施の形態は、動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符号化が施されている入力情報信号に対して、一部復号処理を施して直交変換領域の復号信号を得、この直交変換領域の復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいた動き検出を用いて動き補償予測を伴った圧縮符号化処理を施す。このとき、信号変換処理として、解像度変換処理を適用するときには、この解像度変換処理から得られる精細度に応じて上記動きベクトル情報を変換して得られる情報に基づいた動き補償を伴って、圧縮符号化処理を上記変換信号に施すので、圧縮符号化時に必要とする動きベクトル情報を狭い範囲でサーチして推定でき、計算量を大幅に削減できるので、装置の小型化及び変換処理時間の短縮化を達成できる。また、直交変換領域で信号変換処理を行えるので、逆直交変換処理を不要とし、時間領域や空間領域への復号(逆直交変換)が不要となり、計算が簡略化され、計算誤差の小さい高品質の変換が行える。
また、本発明の実施の形態は、動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符号化が施されている入力情報信号に対して、一部復号処理を施して直交変換領域の復号信号を得、この直交変換領域の復号信号に信号変換処理を施し、この変換信号に、上記入力情報信号の動きベクトル情報に基づいて変換した動きベクトル情報を付加して圧縮符号化処理を施す。このため、信号変換処理として解像度変換処理を適用するときには、この解像度変換処理に応じて上記動きベクトル情報をスケール変換して得られる情報を付加した圧縮符号化処理を上記変換信号に施すことになる。
すなわち、圧縮符号化時に付加する動きベクトル情報を狭い範囲でサーチして推定できるので、動きベクトル推定時の計算量を大幅に削減できる。また、直交変換領域で信号変換処理を行えるので、逆直交変換処理を不要とできる。また、復号時及び符号化時に動き補償処理を用いていないので、計算量のさらなる削減を可能とする。
なお、本発明は、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
8,210 復号部、 9,220 符号化部、 11 デフレーミング部、 12,112 可変長復号部、 13,26,113 逆量子化部、 14,25 逆重み付け部、 16 解像度変換部、 18 重み付け部、 19,141 量子化部、 20,142 可変長符号化部、 21 レート変換部、 24 フレームメモリ部、 29 レート制御部、 100 MPEGデコーダ、 110 DVDエンコーダ、 115,152,174 動き補償部、 130 離散コサイン変換部、 131 逆離散コサイン変換部、 143 フレーミング部、 160 解像度変換部、 171 動きベクトル変換部、 172 動き推定部
Claims (8)
- 動きモード/静止モード情報が予め付加されている第1のフォーマットのディジタル信号を、フレーム間差分を用いた符号化を伴った第2のフォーマットのディジタル信号に変換するディジタル信号変換方法であって、
上記第1のフォーマットのディジタル信号を復号する復号工程と、
上記復号工程からの復号信号に信号変換処理を施す信号変換工程と、
上記信号変換工程からの変換信号の所定ブロック単位毎にフレーム間差分符号化を施すか否かを上記動きモード/静止モード情報に応じて判断する判断工程と、
上記判断工程からの判断結果に基づいて上記変換工程からの変換信号を符号化して上記第2のフォーマットのディジタル信号を出力する符号化工程と
を備えることを特徴とするディジタル信号変換方法。 - 上記復号工程は上記第1のフォーマットのディジタル信号を一部復号して直交変換領域の信号を出力し、上記信号変換工程は直交変換領域の信号に信号変換処理を施すこと
を特徴とする請求項1記載のディジタル信号変換方法。 - 上記直交変換は離散コサイン変換であること
を特徴とする請求項2記載のディジタル信号変換方法。 - 上記信号変換工程は、上記第1のフォーマットのディジタル信号に施されている直交変換符号化で用いられた直交変換行列に対応する逆直交変換行列と、上記第2のフォーマットのディジタル信号を得るのに用いる逆直交変換行列に対応する直交変換行列とに基づいて生成された変換行列により上記第1のフォーマットのディジタル信号に信号変換処理を施すこと
を特徴とする請求項1記載のディジタル信号変換方法。 - 上記判断工程は、上記信号変換工程からの変換信号のマクロブロック単位毎に上記フレーム間差分符号化を施すか否かの判断を行うこと
を特徴とする請求項1記載のディジタル信号変換方法。 - 上記信号変換工程は、上記第1のフォーマットのディジタル信号に含まれるデータ量情報を利用して、上記第2のフォーマットのディジタル信号のデータ量を直交変換領域で制御すること
を特徴とする請求項1記載のディジタル信号変換方法。 - 動きモード/静止モード情報が予め付加されている第1のフォーマットのディジタル信号を、フレーム間差分を用いた符号化を伴った第2のフォーマットのディジタル信号に変換するディジタル信号変換装置において、
上記第1のフォーマットのディジタル信号を復号する復号手段と、
上記復号手段からの復号信号に信号変換処理を施す信号変換手段と、
上記信号変換手段からの変換信号の所定ブロック単位毎にフレーム間差分符号化を施すか否かを上記動きモード/静止モード情報に応じて判断する判断手段と、
上記判断手段からの判断結果に基づいて上記信号変換手段からの変換信号に符号化を施して上記第2のフォーマットのディジタル信号を出力する符号化手段と
を備えることを特徴とするディジタル信号変換装置。 - 上記信号変換手段は、上記第1のフォーマットのディジタル信号に含まれるデータ量情報を利用して、上記第2のフォーマットのディジタル信号のデータ量を直交変換領域で制御すること
を特徴とする請求項7記載のディジタル信号変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007323443A JP4513856B2 (ja) | 1997-11-05 | 2007-12-14 | ディジタル信号変換方法およびディジタル信号変換装置 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30313397 | 1997-11-05 | ||
JP30313297 | 1997-11-05 | ||
JP30462397 | 1997-11-06 | ||
JP30595997 | 1997-11-07 | ||
JP31072197 | 1997-11-12 | ||
JP31407897 | 1997-11-14 | ||
JP2007323443A JP4513856B2 (ja) | 1997-11-05 | 2007-12-14 | ディジタル信号変換方法およびディジタル信号変換装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP52594399A Division JP4092734B2 (ja) | 1997-11-05 | 1998-11-05 | ディジタル信号変換方法およびディジタル信号変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008109702A JP2008109702A (ja) | 2008-05-08 |
JP4513856B2 true JP4513856B2 (ja) | 2010-07-28 |
Family
ID=39442625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007323443A Expired - Fee Related JP4513856B2 (ja) | 1997-11-05 | 2007-12-14 | ディジタル信号変換方法およびディジタル信号変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4513856B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05328404A (ja) * | 1992-05-19 | 1993-12-10 | Hitachi Ltd | 映像信号の高能率符号化装置 |
JPH0851631A (ja) * | 1994-06-30 | 1996-02-20 | Philips Electron Nv | トランスコーディング方法及び装置 |
JPH08111870A (ja) * | 1994-10-12 | 1996-04-30 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像情報の再符号化方法及び装置 |
JPH08130743A (ja) * | 1994-10-31 | 1996-05-21 | Mitsubishi Electric Corp | 画像符号化データ再符号化装置 |
JPH0983948A (ja) * | 1995-09-11 | 1997-03-28 | Toshiba Corp | 情報伝送システム |
JPH1051766A (ja) * | 1996-08-05 | 1998-02-20 | Mitsubishi Electric Corp | 画像符号化データ変換装置 |
JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
-
2007
- 2007-12-14 JP JP2007323443A patent/JP4513856B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05328404A (ja) * | 1992-05-19 | 1993-12-10 | Hitachi Ltd | 映像信号の高能率符号化装置 |
JPH0851631A (ja) * | 1994-06-30 | 1996-02-20 | Philips Electron Nv | トランスコーディング方法及び装置 |
JPH08111870A (ja) * | 1994-10-12 | 1996-04-30 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像情報の再符号化方法及び装置 |
JPH08130743A (ja) * | 1994-10-31 | 1996-05-21 | Mitsubishi Electric Corp | 画像符号化データ再符号化装置 |
JPH0983948A (ja) * | 1995-09-11 | 1997-03-28 | Toshiba Corp | 情報伝送システム |
JPH1051766A (ja) * | 1996-08-05 | 1998-02-20 | Mitsubishi Electric Corp | 画像符号化データ変換装置 |
JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2008109702A (ja) | 2008-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4092734B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JP5528985B2 (ja) | ビデオ復号化装置用のデブロッキングフィルタ装置、及びビデオ復号化用のデブロッキングフィルタの選択方法 | |
KR101090586B1 (ko) | 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체 | |
US7903731B2 (en) | Methods and transcoders that estimate an output macroblock and motion vector for video transcoding | |
KR100945826B1 (ko) | 화상 정보 복호 방법 및 장치 | |
JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
JP2001285863A (ja) | 画像情報変換装置及び方法 | |
JP2008109700A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JP4605212B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JP4513856B2 (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
CN1722847B (zh) | 数字信号转换方法和数字信号转换装置 | |
JP2008109701A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
JP2008118693A (ja) | ディジタル信号変換方法およびディジタル信号変換装置 | |
AU2003200521B2 (en) | Method for Converting Digital Signal and Apparatus for Converting Digital Signal | |
KR100312411B1 (ko) | 영상시스템에서의압축동영상변환방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100503 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |