JP3552811B2 - ディジタル映像信号符号化装置および復号化装置 - Google Patents
ディジタル映像信号符号化装置および復号化装置 Download PDFInfo
- Publication number
- JP3552811B2 JP3552811B2 JP25299295A JP25299295A JP3552811B2 JP 3552811 B2 JP3552811 B2 JP 3552811B2 JP 25299295 A JP25299295 A JP 25299295A JP 25299295 A JP25299295 A JP 25299295A JP 3552811 B2 JP3552811 B2 JP 3552811B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- decoding
- value
- difference
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、ディジタル映像信号の符号化装置および復号化装置に関する。
【0002】
【従来の技術】
図12は、藤原洋監修、マルチメディア通信研究会編、1994年8月1日に株式会社アスキーの発行による「ポイント図解式最新MPEG教科書」の105ページに記載されたMPEG1の情報源符号化の映像信号部分の符号器のブロック図である。
【0003】
図において、1はビデオ入力部、2は差分器、3は符号化制御部、4はDCT、5は量子化器、6は逆量子化器、7は逆DCT、8は加算器、9,10はスイッチ、11,12は予測メモリ、13は平均回路である。
【0004】
次に動作について説明する。ビデオ入力部1より映像信号を得、MPEGの規格に従って符号化する。MPEG1では、空間的相関を利用した高能率符号化手法として離散コサイン変換(以下、「DCT」という)を、時間的相関を利用したものとして、双方向動き補償フレーム間予測を取り入れている。DCT演算はDCT4にて行なう。動きの補償された位置の画像データを予測メモリ11または予測メモリ12から読み出して、差分器2で差分をとる。さらに、DCT4によって周波数上のデータに変換された後、DCT演算結果に対する近似代表値に相当する量子化レベルを割り当てる量子化を、量子化器5によって行う。また、図12では表現されていないが、動きベクトルやマクロブロックタイプや量子化指定情報や量子化変換係数は、データの発生頻度に応じた符号長を割り当てる可変長符号化を用いことによって、情報圧縮を行っている。
【0005】
量子化器5から出力された量子化変換係数は、可変長符号化される一方逆量子化器6によって代表値に変換される。その結果を逆DCT7によって空間領域のデータに戻すことでDCT4に入力される前のデータに近い値に戻される。この逆DCTされたデータは予測メモリ11または予測メモリ12から読みだした動き補償された位置の画像データと加算する。この加算を行うのが加算器8である。これにより、動き補償予測が元に戻された空間領域のデータに戻されるので、次の予測に使用できる。
【0006】
平均回路13は、時間的に順方向の予測と逆方向の予測を対応画素間で丸めつき平均をする回路である。スイッチ10は、その予測モードやメモリ11,12の格納状態によって切り替えるように制御される。この制御をつかさどるのが符号化制御部3である。
【0007】
2つの予測メモリ11,12には、時間的に符号化しているフレームを未来から予測するための画像情報と、過去から予測するための画像情報とを記憶させ、符号器側がきり分けて使用するようになっている。時間的に前後のフレームを用いないイントラモードとMCモードとの2つの予測モードがある。MCモードには2つの予測メモリ11,12のどちらかの予測と両方の予測の平均を利用することができる。
【0008】
双方向予測を実現するために、MPEGでは、画像にIピクチャ(Intra−Picture)、Pピクチャ(Predictive−Picture)、Bピクチャ(Bidirectionally predictive−Picture)とがある。Iピクチャは動画像のひとまとまり(以下、「GOP」(Group of Pictures)という)の中でフレーム間予測を使わずに生成されるフレームのことであり、1GOPに最低1ピクチャは必要である。Pピクチャは、IまたはPピクチャからの予測を行うことによってできる画面で、順方向の予測を用いる。このピクチャ内にはマクロブロックのパターンが予測を使用しないイントラモードも混在できる。Bピクチャは順方向のみの予測と逆方向のみの予測と両方向の予測の平均とイントラモードが混在した形となる。
【0009】
この各ピクチャの関係は通常一定の関係である。つまり、Iピクチャの間隔はGOPの間隔に等しいし、IピクチャとPピクチャの間にBピクチャが挿入されており、この関係は、符号化の最中で通常変化しない。この関係を示した図が図13である。
【0010】
ビデオ入力部1から原画像が入力されるが、通常動画像を15フレーム分をひとまとめにして符号化することが多い。このとき、GOPは15フレーム単位となっており、IピクチャはGOPにおいて3フレーム目に割り当てられることが多い。このとき、Iピクチャの前の2フレームのBピクチャは、符号化スタートにおいては逆方向予測のみであるが、符号化中であればその前のGOPの最後のPピクチャとIピクチャの双方向予測ができる。
また、図13においては、IピクチャPピクチャと間にBピクチャが2フレーム入っている。
【0011】
Bフレームがあるために、フレームの順序を入れ替えて符号化出力する、ということを行う必要がある。IピクチャやPピクチャは、一度符号化を行ない、すぐに出力されるが、Bピクチャは符号化したデータを蓄えておき、IピクチャやPピクチャが出力された後に出力される。すなわち、図13の符号化処理の段のデータのような順序で出力されるように決められている。
【0012】
このため、一度DCTの周波数領域で量子化したデータを元の空間領域のデータに戻して、さらに、動き補償予測を戻したデータにして双方向予測のための2フレーム分のメモリを持つようにしておく必要がある。このために、予測メモリ11と12が用意されているのである。
【0013】
しかし、この予測メモリ11,12は、NTSC方式の場合、画素数が1フレームで720×480画素であり、1画素8ビットで、なおかつ輝度信号と色信号があるため、8Mビットもの多量のデータを蓄える必要があるが、これほどのメモリは1つのLSI上に搭載するのは困難であるし、また、外にDRAM等を設けてもその容量が大きく、コスト圧迫の要因になる。
【0014】
この映像信号の情報源符号化部は可変長符号化を経て、オーディオの符号化出力とともに多重化され、伝送路に送出される。図14はこのことを示している。伝送路を介して映像、オーディオデータの分離を行ない、各々の復号を行ない、映像はモニタによって、オーディオはスピーカによって視聴者に享受される。
【0015】
さらに、図15に示すように、伝送路は空中を電波によって伝えるものや、ケーブルによって伝えるものや蓄積メディアによって伝えるものがある。この伝送路に応じた形で通信路符号化される。例えば誤り訂正やディジタル変調などの信号処理を経て伝送される。
【0016】
次に復号側について説明する。図16は藤原洋監修、マルチメディア通信研究会編、1994年8月1日に株式会社アスキーの発行による「ポイント図解式最新MPEG教科書」の105ページに記載されたMPEG1の情報源符号化の映像信号部分の復号器のブロック図である。
【0017】
図において、14は逆量子化器、15は逆DCT、16は加算器、17,21,22はスイッチ、18,19は予測メモリ、20は平均回路、23はモニタである。
【0018】
次に動作について説明する。上述のように映像の情報源符号化をされ、通信路符号化をされて伝送されたデータは、通信路復号化をされ、映像データのみ抽出されて可変長符号の復号を行ない、量子化特性指定情報やマクロブロックタイプや動きベクトルや量子化変換係数の抽出をされたデータとして復合器に入力される。逆量子化器14は量子化特性指定情報と量子化変換係数とから逆量子化をしてDCTの周波数領域での代表値に変換し、そのデータを逆DCT器15が空間領域に戻す。この空間領域のデータを動きベクトルを元に、予測メモリ18と予測メモリ19から動き分だけずらして補償された形で前後のフレームのデータを必要な箇所を読みだし、加算器16によって加算する。これは予測値との差分値を復号することに相当し、この段階で、動き補償予測とDCTの復号が完了する。
【0019】
このとき、スイッチ21と22は、マクロブロックタイプの情報を元に制御される。マクロブロックタイプとは、上述のピクチャタイプの中で説明した各マクロブロック毎に許されているモードタイプのことである。平均回路20は、そのマクロブロックタイプの中でBピクチャの1つのマクロブロックタイプのことで両方向予測して、順方向予測と逆方向予測の丸めつき平均をとるための回路である。
【0020】
このように符号化復号化を行うため、復号側でもフレーム順序を入れ替えるという取り決めがある。これを示したのが図13である。図13の復号処理の段は図16の入力順序である。このデータのBピクチャは復号したらすぐに出力するが、IピクチャやPピクチャはこのBピクチャの出力が終わってから出力される。このため、一度復号したIピクチャやPピクチャはその間のBピクチャを復号するまでは、メモリ18,19に保持する必要がある。
【0021】
このために、例えばNTSC信号の場合、画素数が1フレームで720×480画素であり、1画素8ビットで、なおかつ輝度信号と色信号があるため8Mビットもの多量のデータを蓄える必要があるが、これほどのメモリは1つのLSI上に搭載するのは困難であるし、また、外にDRAM等を設けてもその容量が大きくコスト圧迫の要因になる。
【0022】
また、この映像のデータはオーディオのデータと時間軸合わせをする必要がある。これがないと、2つの符号復号過程で時間がずれてしまったら調節する機構がなくなってしまう。このため、図14の多重化部で時間情報をそれぞれのデータに多重するように取り決められている。図17はそのための時間情報を挿入する領域を示した図である。
【0023】
図17は、PES(Packetized Elementary Stream)のビットストリームフォーマットを示した図である。この図のように、ビデオやオーディオはPESというパケットに加工されるが、そのときにタイムスタンプという時間情報を多重するようにとりきめられている。MPEGの双方向予測をするときのフレーム順序の入れ替えに対応できるように、表示時刻とデコード時刻という2つのタイムスタンプが用意されている。表示時刻がPTS(Presentation Time Stamp)であり、デコード時刻がDTS(Decoding Time Stamp)である。この時間情報で同期をとっている。
【0024】
このため、通常の処理の他に何等かの処理を挿入する場合はこの時間管理に矛盾が出てしまい、この同期関係が崩れてしまう。
【0025】
【発明が解決しようとする課題】
以上のように、動き補償予測とDCTを用いた符号化を行う場合に、予測のためのメモリは膨大な量になり、コストがかかるといった問題点がある。また、1チップの半導体上にこのメモリを載せることも規模的にも容量的にも困難であるという問題点があった。
【0026】
また、動き補償予測とDCTを用いた復号化を行う場合に、予測のためのメモリは膨大な量になり、コストがかかるといった問題点がある。また、1チップの半導体上にこのメモリを載せることも規模的にも容量的にも困難であるという問題点があった。
【0027】
また、このメモリの節約のために何か処理をしようとすると時間がずれてしまい、オーディオと映像の時間がずれてしまうという問題点があった。
【0028】
本発明は以上のような問題点に鑑みて成されたものであり、映像信号の符号化復号化を行う際に使用するメモリをできるだけ少ない量で抑えることができる復号化装置を得ることを目的とする。また、その際オーディオと映像の時間のずれを抑えるような復号化装置を得ることを目的とする。
【0029】
【課題を解決するための手段】
請求項1の発明によるディジタル映像信号復号化装置は、双方向の動き補償予測とDCTとを用いてディジタル映像信号を高能率符号化して情報圧縮したデータを復号するディジタル映像信号復号化装置において、双方向予測の画像を復号するための参照画像を空間領域にデータとして入力してブロック化する手段と、このブロック化したデータを符号化する手段と、この符号化したデータをメモリに書き込む手段と、予測値との差分を復号するために前記メモリからデータを読みだす手段と、この読みだしたデータを復号化する手段と、この復号データを用いて予測値との差分値を復号する手段とを備え、
上記ブロック化したデータを符号化する手段が、少なくとも隣接画素から予測値を算出する手段と、その予測値からの差分を求める手段と、その差分を量子化する手段とで構成されていることを特徴とする手段を有していることを特徴とする。
【0030】
請求項2の発明によるディジタル映像信号復号化装置は、双方向の動き補償予測とDCTとを用いてディジタル映像信号を高能率符号化して情報圧縮し、ディジタル音声信号の圧縮データと共に時間軸多重し、この多重の際、映像・音声の各々の時間軸データを多重化して符号化したデータを時間軸データに基づき映像と音声が同期するように映像データを復号するディジタル映像信号復号化装置において、双方向予測の画像を復号するための参照画像を空間領域にデータとして入力してブロック化する手段と、このブロック化したデータを符号化する手段と、この符号化したデータをメモリに書き込む手段と、予測値との差分値を復号するために上記メモリから読みだす手段と、この読みだしたデータを復号化する手段と、この復号データを用いて予測値との差分値を復号する手段とを備え、上記データを読みだす手段は、復号化に要する処理時間分だけ所定時間より前に読みだし、
上記ブロック化したデータを符号化する手段が、少なくとも隣接画素から予測値を算出する手段と、その予測値からの差分を求める手段と、その差分を量子化する手段とで構成されていることを特徴とする。
【0031】
請求項3の発明によるディジタル映像信号復号化装置は、双方向の動き補償予測とDCTとを用いてディジタル映像信号を高能率符号化して情報圧縮したデータを復号するディジタル映像信号復号化装置において、双方向予測の画像を復号するための参照画像を空間領域にデータとして入力し、該入力されたデータを走査線の順に並ぶように変換するラスタ変換を行う手段と、このラスタ変換したデータを符号化する手段と、この符号化したデータをメモリに書き込む手段と、予測値との差分値を復号するために上記メモリからデータを読みだす手段と、この読みだしたデータを復号化する手段と、この復号データを用いて予測値との差分値を復号する手段とを備え、
前記ラスタ変換が行われ、走査線の順に並ぶように変換されたデータを符号化する手段が、少なくとも隣接画素から予測値を算出する手段と、その予測値からの差分を求める手段と、その差分を量子化する手段とで構成されていることを特徴とする。
【0048】
【発明の実施の形態】
請求項1の発明の実施の形態であるディジタル映像信号復号化装置は、双方向予測の画像を符号化するための参照画像データは、ブロック化手段により、DCTブロックに近い形でブロック化され、そのブロックのデータに対して高能率の符号化を施し、メモリに蓄えるべき情報を少なくしてメモリに書き込み、読みだし時、復号して参照するように作用する。また、隣接画素からの予測値を求め、その予測値との差分をとることでその値が0付近に集中するため、メモリに蓄えるべき情報を減らすように作用し、しかも規模もかなり小さくて済む。
【0049】
請求項2の発明の実施の形態であるディジタル映像信号復号化装置は、双方向予測の画像を符号化するための参照画像データは、ブロック化手段により、DCTブロックに近い形でブロック化され、そのブロックのデータに対して高能率の符号化を施し、メモリに蓄えるべき情報を少なくしてメモリに書き込み、読みだし時、復号して参照し、さらに、音声の時間軸と揃うよう作用する。また、隣接画素からの予測値を求め、その予測値との差分をとることでその値が0付近に集中するため、メモリに蓄えるべき情報を減らすように作用し、しかも規模もかなり小さくて済む。
【0050】
請求項3の発明の実施の形態であるディジタル映像信号復号化装置は、ラスタ変換手段により、画面入力に近い形に変換され、そのラスタデータに対して高能率の符号化を施し、メモリに蓄えるべき情報を少なくしてメモリに書き込み、読みだし時、復号して参照するように作用する。また、隣接画素からの予測値を求め、その予測値との差分をとることでその値が0付近に集中するため、メモリに蓄えるべき情報を減らすように作用し、しかも規模もかなり小さくて済む。
【0067】
実施の形態1.
以下、本発明の実施の形態について図を参照しながら説明を行う。図1はディジタル映像信号符号化装置におけるディジタル映像信号処理部をあらわしており、可変長符号化の前段までのブロック図である。図において、図12と同一符号はそれぞれ同一または相当部分を示しており、24はブロック化回路またはスキャン変換回路、25は符号化器、26,27は復号化回路、28,29はデブロック化回路またはスキャン逆変換回路である。
【0068】
次に動作について説明する。図1において、図12と同じ符号はほぼ同じ動作をするので説明を省略する。ただし、以下の説明はMPEG2をベースにする。すなわち、インタレース画像を扱う。従って、フィールドDCTを行うようなモードもある。一度DCTの周波数領域で量子化されたデータは、情報劣化のない可変長符号化を施すために出力され、一方で逆量子化され、逆DCTされて元の空間領域のデータに加工されて、加算器8にて動き補償予測を復号し、ブロック化回路またはスキャン回路24、および符号化器25を経て予測メモリ11および12に蓄える。
【0069】
元の画像データにほぼ近いデータが加算器8からDCTブロック毎に出力される。これをさらにブロック化回路またはスキャン変換回路24にてブロック化するか、またはスキャン変換するか、またはブロック化してスキャン変換する。そのデータをビット圧縮するように符号化器25にて符号長の固定な圧縮をする。例えばブロック内の隣接画素との差分をとれば、通常隣接画素はほとんど同じ様な値をとっているため、その差分値は0に近づく。このため、差分値のとる実効的なダイナミックレンジに偏りができ、差分をとる前の値は8ビットすべて必要であったデータでも、差分値をとれば5ビットや6ビットで量子化してもあまり影響はない。
この実施の形態では、差分をとる画素を隣接画素というように表現したが、これは、隣接画素の値がその画素の予測値であるとしたためであって、他の隣接画素との平均をその画素の予測値としても良い。ブロック内で差分をとらない値を1画素だけ設けていれば、復号時ブロック毎に独立したデータとして戻すことができるため、通常はそのようにする。
【0070】
つまり、量子化レベルを0に近いほど密に、0から離れるほど疎にしてもあまり影響はでない。さらに差分の符号を判別して、負になる差分値をレンジの最大値より差し引くよう計算すれば、さらに1ビット分のダイナミックレンジがかせげる。このとき復号側がレンジの正負を間違えないよう最大値から負になるレンジを差し引いたときの量子化レベルを再アサインするように工夫する必要がある。このような符号判別型の差分量子化を行った場合、上述の量子化レベルは0に近いほど、また、最大値に近いほど密にし、中間領域ほど量子化レベルを疎にすることは言うまでもない。
【0071】
このようにすれば、予測メモリ11,12に書き込むデータ量がほぼ半分になるため、メモリの節約をすることができる。発明者のシミュレーション結果によれば、このような手法で半分の情報量に削っても画質的にはあまり影響しないことが判明した。
【0072】
この固定長量子化データを予測メモリ11または予測メモリ12に記憶させ、動きベクトルを求めたり、動き補償予測を求めたりする参照画像の記憶素子とする。このメモリは通常画像の位置に対して1対1の関係になっていれば、メモリを制御する回路が小さくて済む。
【0073】
このメモリ11,12からの動きベクトルの抽出や、求めた動きベクトルの位置のデータを取出して、差分値の量子化値を元に近い値に戻すために復号化器26,27を通し、デブロック化回路またはスキャン逆変換回路28,29を通す。復号化器26,27では、ブロック内で差分をとらない画素を出発点とし、復号を開始する。まず、量子化したデータを量子化レベルに相当した代表値に置き換え、差分をとらない画素と加算して差分値を元に近い値に直す。次にスキャンの順に、置き換えと加算を繰り返す。このとき、符号判別タイプの差分量子化を行った場合は、加算した結果ダイナミックレンジを越えるとダイナミックレンジの剰余演算にて値を置き換える。
【0074】
デブロック化回路またはスキャン逆変換回路28,29は、ブロック化回路またはスキャン変換回路27の逆操作を施し、なおかつ差分器2でのビデオ入力側とタイミングをあわせて差分するように変換するよう制御する。また、一方で動きベクトルを求めるために、画像データの最も近いところをサーチして動きベクトルとして求める。このため、そのサーチの要求に合わせて、デブロック化およびスキャン逆変換を行う。
【0075】
このようにすれば、メモリの領域を小さくして、同等の圧縮が可能なディジタル映像信号符号化装置を構成することができる。
【0076】
しかし、実際には通常音声信号とともに映像信号を伝送しており、この2つのデータには時間的にかなりの精度で合せ込みの必要がある。MPEGでは、このため90kHzで数えたタイマとしての時間軸情報を多重することになっている。それゆえ、処理もそれだけの時間前もって処理をする必要がある。この状態を示したのが図2である。この実施の形態1の符号化復号化を中心とした信号処理時間がΔtsecだとすれば、従来の処理タイミングを図2(A)とすると、この実施の形態1での処理タイミングは、図2(B)に示したようにΔtsecだけ早くメモリからの読みだしを開始するようにメモリ制御を行う。これにより、処理のためのずれなくディジタル映像信号符号化装置を構成することができる。
【0077】
この処理タイミングは、固定長の符号化をする場合は厳密に求めることができるために、符号化方式としては固定長の符号化をした方が処理の制御と時間管理が有利である。この処理時間は、動きベクトルの探索範囲内のデータが書きおわる時間よりも小さければよいので、NTSCレベルのように720画素程度の大きな画面では、この処理時間は1フレームの時間に比べて非常に小さく、処理の矛盾は生じない。
【0078】
次にブロック化に関してであるが、処理の基準がDCTという通常8画素×8画素の小さなブロックであり、マクロブロックをとっても輝度信号に対してDCTブロック4つと色差信号に対してDCTブロックが2つであり、画面上で同じ位置を占めるデータを処理の単位としており、動きベクトルもマクロブロックで4つという扱いであるので、ブロック化した状態でデータを扱うのが都合が良いが必須ではなく、NTSCの走査線のように、横1列のデータをひとかたまりとして扱うようにしても良いことは言うまでもない。
【0079】
このDCTブロックのデータを走査線単位で扱うには、ブロック化回路およびスキャン変換回路24の動作を、NTSCの場合であれば、縦1画素×横720等のようにラスタ変換動作をするように構成すれば良い。このようにすれば、入力の画面と同じデータ並びとして予測メモリに蓄えることができる。
【0080】
もちろん、このラスタ変換は縦1画素×横16画素のように、小刻みに切ってしまっても良いことは言うまでもなく、その変換結果をブロックとみなして同様の操作をすれば良い。
【0081】
すなわち、差分をとるためのブロックは、正方形であろうが、横一直線であろうが差分をとる処理には変化させずともよい。つまり、上述の隣接画素から予測値を算出(隣接画素をそのまま予測値にしてもよい)して、その予測値との差分値を求めるようにして符号化し、予測メモリ11,12に蓄えることでメモリの領域は半分程度に節約できることには変わりない。
【0082】
次に、スキャンについて述べる。例えばDCTブロックをそのままブロックとして符号化することを考える。すなわち、8画素×8画素のブロックでスキャンして符号化する場合、図3のように、左斜め上の画素を差分値をとらない画素として、ジグザグにスキャンするようにしても良い。このとき、矢印の方向に並んだ画素の関係が隣接画素である。すなわち、隣接画素をそのまま予測値とした場合、図3中のAの画素の差分値はBの画素との減算をした結果である。
【0083】
なお、予測値として矢印の進行逆方向のみを採用するのではなく、例えば進行方向と直角に交わる関係をもつ画素をも加え、図4のように2次元配列を考慮に入れた画素の設定をし、平均などによって予測値を求めても良い。このとき図3のようなスキャンでは、ブロック内にその様な画素が存在しないような端点では直角に交わる画素の値を進行逆方向の画素の値と同じとすれば良い。また、ブロック内の初めの点を差分をとらない点としたが、0との差分を用意して、量子化してもよいことは言うまでもない。
【0084】
次に、スキャンの最適化について述べる。扱う画像は、MPEG2などのようにインタレースの画像が中心である。つまり、時間的に異なる画像で、なおかつ空間的に異なる画像が交互にフィールドを構成することによって動画像をあらわしている。交互に現れるフィールドをそれぞれトップフィールドとボトムフィールドとすると、逆DCTして動き補償予測を復号すれば、図5のようにトップフィールドの走査線の間にボトムフィールドの走査線が入るような画面構成になる。このため、スキャン変換をトップフィールドとボトムフィールドで固めるように行うと、例えば動きがあってトップフィールドとボトムフィールドで動き分違う画像になってしまったとき、隣接画素の差分値が0に集中しにくくなるため、差分値のダイナミックレンジが広がってしまい、量子化することによって画質の劣化が大きくなってしまう部分が出現するようになる。
【0085】
この現象を防止するために、ブロック化回路またはスキャン変換回路24の制御を変更し、図5の矢印のようにブロッキングして隣接画素を求めていく。つまり、同一のフィールドを優先してスキャンするように制御する。このことによって、動きが生じても予測値との差分は0付近に集中するようになる。
【0086】
図5ではトップフィールドとボトムフィールドが1つのブロックに混在するような構成になっているが、これを図9のように全く別のブロックに分けてしまっても良い。
【0087】
図5ではトップフィールドとボトムフィールドが隣接画素の関係になっているところが1箇所だけあり、この部分に動きがあると上記問題と同じ問題が残るが、面積的に極めて小さい部分で済んでしまい問題はほとんどなくなる。また、図3はDCTブロックを1つのブロックにしたが、DCTブロックはフレームで行う場合とフィールドで行う場合とがあり、メモリからの読みだし計算が複雑になる一方、図5のスキャニングはDCTブロックに影響を受けないため非常に都合が良い。
【0088】
ここまでは、隣接画素からの予測値との差分を量子化することで情報圧縮を行ないメモリに書き込むというディジタル映像信号符号化装置について述べてきたが、以下、ブロックをひとかたまりにして情報圧縮をしメモリに書き込むディジタル映像信号符号化装置について説明する。
【0089】
図6は、ブロックをひとかたまりにして情報圧縮して予測メモリに書き込みをするディジタル映像信号符号化装置の概念を説明するための図である。各ブロック内の全画素の最大値と最小値をそれぞれ求める。各ブロックの画素の値はそれぞれの最大値と最小値の範囲に入っているはずである。この最大値と最小値の間をダイナミックレンジDRとし、DRを均等に分割した量子化しきい値を設定する。これを量子化基準値と称す。
【0090】
図6では最大値から最小値を4つに分割して量子化することを示しており、代表値は、通常各量子化しきい値同士の平均をとる。
【0091】
符号化するのは、最大値および最小値および各画素の量子化結果である。各画素の量子化結果は、図6においては2ビットの表現で与えられる。また、最大値と最小値の代わりに、最大値か最小値の何れかとダイナミックレンジのDRを符号化しても良い。
【0092】
8画素×8画素の8ビットデータを最大値および最小値を8ビットで表現し、量子化結果を2ビットで表現した場合、圧縮率は9/32となる。なお、この符号化ではスキャンは最大値最小値を求めるのに必要であるだけであるので、ブロッキングの最適化問題はあっても、スキャン変換の問題はない。
【0093】
このデータは、最大値と最小値(またはそれに相当するデータ)と、必要な画素の量子化結果があれば復号化できる。一方、隣接画素からの予測値との差分をとるやり方では、1画素復号するのにそれ以前にスキャンしたデータをすべて復号する必要があり、任意位置の読みだしを必要とする動き補償予測に使用するとメモリの制御が複雑になるが、このような場合は、各画素で量子化結果が依存するのは最大値最小値(またはそれに相当するデータ)のみであるため、メモリの読みだし制御が簡単であり、アクセス頻度が少なくて済む。
【0094】
次に、最大値と最小値から、そのまま量子化基準値を定めずにさらなる処理過程を経て量子化基準値を定めるようにした場合を説明する。
【0095】
通常、画像には何等かの形でノイズが重畳されている場合が多い。例えばビデオカメラのCCDでのノイズや、アナログ信号をディジタル信号に変換する際に発生するノイズである。これらはランダムノイズであり、ディジタル映像信号符号化装置はこれらのノイズ成分も忠実に符号化しようとする。しかし、このためブロック内の最大値や最小値もそれによって影響を受け、量子化基準値に悪影響を与える。このため量子化基準値を求めるために平均を導入し、ノイズによる影響を受けないようにする。
【0096】
例えば、4つの代表値を持つような量子化を行う場合、図7に示すようにブロックの中の最大値をLmx、最小値をLmnとし、最大代表値Pmx、最小代表値Pmn、中心の量子化基準値Pa、その他の基準値をP1,P2とする。このとき下記の関係が成り立つように、Pmx,Pmn,Pa,P1,P2を求める。ただし、位置(i,j)に位置する画素の値をXijとし、量子化結果をΦijとする。
【0097】
Pmx=(ΣXij)/Nmx;
Xijは(3Lmx+Lmn)/4以上の値を持つ画素であり、
Nmxは(3Lmx+Lmn)/4以上の値を持つブロック内の画素の数
Pmn=(ΣXij)/Nmn;
Xijは(Lmx+3Lmn)/4以上の値を持つ画素であり、
Nmnは(Lmx+3Lmn)/4以上の値を持つブロック内の画素の数
LD=Pmx−Pmn;
Pa=(Pmx+Pmn)/2;
i,jをブロック内ソート
{if(Xij<=P1) Φij=00
elseif(Xij<=Pa) Φij=01
elseif(Xij<=P2) Φij=10
else Φij=11}
この符号化はΦijおよびPaとLDである。
【0098】
このように最大値と最小値からあるしきい値を求め、そのしきい値を出る画素の平均を求めれば、ノイズによる量子化基準値の変動はなくなり、画質への影響を与えなくすることができる。しかも、これらの演算は平均値演算を基準にした簡単な演算であるため、容易な回路構成で実現できる。
また、LDの代わりに量子化基準値幅のP2−Paを符号化しても良い。P2−PaはLDの半分以下の値のため、符号化ビット数を少なくすることができる。
【0099】
このように符号化して、予測メモリ11および予測メモリ12に符号化データを書き込み、動きベクトルを求めたり、動き補償予測に必要な箇所の読みだしを行う。このとき、読みだしデータは、PaおよびLD(またはそれに準じるデータ)と、必要な画素の量子化結果Φijのみである。
【0100】
このデータを読みだして復号する場合は、下記要領で求める。Φijの復号結果をYijとする。
if(Φij=00) Yij=Pa−LD/2
if(Φij=01) Yij=Pa−LD/6
if(Φij=10) Yij=Pa+LD/6
if(Φij=11) Yij=Pa+LD/2
【0101】
このように復号するため、符号化より演算がかなり簡単であるため、図1のように復号化を2ブロック必要とする場合は非常に都合が良い。隣接画素からの予測値との差分をとるやり方では、1画素復号するのに、それ以前にスキャンしたデータをすべて復号する必要があり、任意位置の読みだしを必要とする動き補償予測に使用するとメモリの制御が複雑になるが、このような場合は、各画素で量子化結果が依存するのは最大値最小値(またはそれに相当するデータ)のみであるため、メモリの読みだし制御が簡単であり、アクセス頻度が少なくて済む。
【0102】
以上の説明は8画素×8画素で行ったが、4画素×4画素のようにより小さな領域で行った方がダイナミックレンジやLDが小さくなるため、画質の劣化が少なく有利である。すなわち、ブロックのサイズや形状にこだわる必要はなく自由な設定でもよく、例えば8画素×2画素にしても良いことは言うまでもない。8画素×2画素は4画素×4画素とブロック面積は同じだが、ブロック化の際のレジスタ(またはメモリ)のサイズが小さくて済む。
【0103】
次に、このときのブロッキングの最適化について説明する。例えば4画素×4画素で1ブロックとしたとき、DCTブロックを図8のように田の字状に4つに分けることも可能であるが、インタレース画像で動きがある場合では、フィールド間のデータに相関がなくなるため、同一フィールド内でブロッキングするのが良い。つまり、図9に示すようにトップフィールド内で4画素×4画素、ボトムフィールド内で4画素×4画素とするようにブロッキングする。このようにすれば動きがある画像でもダイナミックレンジやLDが小さく画質の劣化が極めて少ない符号化をすることができる。
【0104】
もちろん、動きによってこのブロッキングを切り替えるように制御しても良い。その時は動きによってブロッキングの仕方を変えるとともにそのブロッキングの仕方の情報も符号化しておけば良い。つまり、フィールドブロックをするときとフレームブロックをするときを動きベクトルやDCTブロッキングのモードで切り替えるように構成して、そのブロッキング手段を切り替えたことを符号化する。これは、4画素×4画素のブロッキングに限らず、ダイナミックレンジやLDの値が最も小さくなるように4画素×4画素と8画素×2画素を切り替えるようにしてもよいことは言うまでもない。
【0105】
次に、更なる画質劣化の防止策を示す。上述の量子化基準値や代表値は、最大値最小値あるいはPa、LDあるいはそれらに準じた値から一意に決められる。各画素の分布が適当に散らばっていれば、このような量子化や代表値算出は適当であるが、実際にはもっと分布に偏りがある。例えば暗いめの背景の中に白い線があるような場合、図10のように分布している。このよう場合、00のレベルの代表値が線の周辺の影響で変わる。00のレベルの代表値は一点鎖線で示したレベルを中心とした画素が最も多く、この一点鎖線のレベルが代表値として誤差が小さい画素が最も多くなる。しかし、分布の最大値や最小値あるいはPa、LDあるいはそれに準じた値から一意に量子化基準値や代表値を決めてしまうと、分布の頻度とは無関係な決めかたになってしまう場合があり、ブロック歪みなどの画質劣化となってしまうことがある。
【0106】
このため、一度量子化した結果の代表値と、元のデータとの差分を見て、誤差の蓄積が大きな代表値を変更するようにして、その変更すべき代表値の番号(この例では00)と、本来の代表値からの差分や新代表値そのままの値を符号化して、データと一緒に予測メモリ11,12に蓄えておくようにする。
【0107】
このようにすれば、復号化器26や27において、このような代表値置き換えの情報に基づいて置き換え、代表値の番号に相当する量子化結果(この例ではΦ00)を元の代表値(Pa−LD/2)から置き換えるようにして復号すれば、誤差の小さな画像として復号することができ、画質の劣化を小さくすることができる。
【0108】
誤差の大きい小さいを判断するのに、元のデータとの差分絶対値和や差分2乗和などがあり、そのいずれを使っても良い。また、逆に誤差が平均をとったら0になるのが最適という考えの元に、絶対値等をとらずに差分値の積分を各レベルで行ったり、差分2乗和に元の符号をつけて積分してもよい。
【0109】
誤差の大きい代表値レベルの置き換えとしては、誤差の小さい画素数が最も多くなるような代表値レベルを算出しても良いし、量子化レベル全体で誤差が小さくなるように、その量子化結果になる画素の平均値で算出しても良い。
【0110】
また、上述の説明では復号化器26,27およびデブロック化回路またはスキャン逆変換回路28,29はそれぞれの予測メモリ11,12の出力に独立に処理回路を設けるようにしているが、2倍の高速動作をさせて、時分割の処理を行えば1つの回路で実現できることは言うまでもない。
【0111】
実施の形態2.
次に、本発明の実施の形態2について図を参照しながら説明を行う。図11はディジタル映像信号復号化装置におけるディジタル映像信号処理部をあらわしており、可変長復号化の以降のブロック図である。図において図16と同一符号はそれぞれ同一または相当部分を示しており、30はブロック化回路またはスキャン変換回路、31は符号化器、32,33は復号化回路、34,35はデブロック化回路またはスキャン逆変換回路である。
【0112】
次に動作について説明する。図11において、図16と同じ符号はほぼ同じ動作をするので説明を省略する。ただし、以下の説明はMPEG2をベースにする。すなわち、インタレース画像を扱う。従って、フィールドDCTを行うようなモードもある。一度DCTの周波数領域で量子化されたデータは、情報劣化のない可変長符号化を施すために出力され、一方で逆量子化され、逆DCTされて元の空間領域のデータに加工されて、加算器16にて動き補償予測を復号し、ブロック化回路またはスキャン回路30および符号化器31を経て予測メモリ18および19に蓄える。
【0113】
元の画像データにほぼ近いデータが加算器16からDCTブロック毎に出力される。これをさらにブロック化回路またはスキャン変換回路30にてブロック化するか、またはスキャン変換するか、またはブロック化してスキャン変換する。そのデータをビット圧縮するように符号化器31にて符号長の固定な圧縮をする。例えばブロック内の隣接画素との差分をとれば、通常隣接画素はほとんど同じ様な値をとっているため、その差分値は0に近づく。このため、差分値のとる実効的なダイナミックレンジに偏りができ、差分をとる前の値は8ビットすべて必要であったデータでも、差分値をとれば5ビットや6ビットで量子化してもあまり影響はない。差分をとる画素を隣接画素というように表現したが、これは、隣接画素の値がその画素の予測値であるとしたためであって、他の隣接画素との平均をその画素の予測値としても良い。ブロック内で差分をとらない値を1画素だけ設けていれば、復号時ブロック毎に独立したデータとして戻すことができるため、通常はそのようにする。
【0114】
つまり、量子化レベルを0に近いほど密に、0から離れるほど疎にしてもあまり影響はでない。さらに差分の符号を判別して、負になる差分値をレンジの最大値より差し引くよう計算すれば、さらに1ビット分のダイナミックレンジがかせげる。このとき復号側がレンジの正負を間違えないよう最大値から負になるレンジを差し引いたときの量子化レベルを再アサインするように工夫する必要がある。このような符号判別型の差分量子化を行った場合、上述の量子化レベルは0に近いほど、また、最大値に近いほど密にし、中間領域ほど量子化レベルを疎にすることは言うまでもない。このようにすれば、半分近くまでメモリを節約することができる。
【0115】
この固定長量子化データを予測メモリ18または予測メモリ19に記憶させ、動きベクトルを求めたり、動き補償予測を求めたりする参照画像の記憶素子とする。このメモリは通常画像の位置に対して1対1の関係になっていればメモリを制御する回路が小さくて済む。
【0116】
このメモリ18,19から動きベクトルの抽出や、求めた動きベクトルの位置のデータを取出して、差分値の量子化値を元に近い値に戻すために復号化器32,33を通し、デブロック化回路またはスキャン逆変換回路34,35を通す。復号化器32,33では、ブロック内で差分をとらない画素を出発点とし、復号を開始する。まず、量子化したデータを量子化レベルに相当した代表値に置き換え、差分をとらない画素と加算して差分値を元に近い値に直す。次にスキャンの順に、置き換えと加算を繰り返す。このとき、符号判別タイプの差分量子化を行った場合は、加算した結果ダイナミックレンジを越えるとダイナミックレンジの剰余演算にて値を置き換える。
【0117】
デブロック化回路またはスキャン逆変換回路32,33は、ブロック化回路またはスキャン変換回路30の逆操作を施し、なおかつ加算器16での逆DCT出力とタイミングをあわせて差分するように変換するよう制御する。
【0118】
このようにすれば、メモリの領域を小さくして、同等の圧縮が可能なディジタル映像信号復号化装置を構成することができる。
【0119】
しかし、実際には通常音声信号とともに映像信号を伝送しており、この2つのデータには時間的にかなりの精度で合せ込みの必要がある。MPEGでは、このため90kHzで数えたタイマとしての時間軸情報を多重されて伝送されている。この時間軸情報にしたがって映像と音声をモニタやスピーカに出力しなければならない。それゆえ、処理もそれだけの時間分前もって処理をする必要がある。この状態を示したのが図2である。この実施の形態2の符号化復号化を中心とした信号処理時間がΔtsecだとすれば、従来の処理タイミングを図2(A)とすると、この実施の形態2での処理タイミングは、図2(B)に示したようにΔtsecだけ早くメモリからの読みだしを開始するようにメモリ制御を行う。これにより、処理のためのずれなくディジタル映像信号復号化装置を構成することができる。
【0120】
この処理タイミングは、固定長の符号化をする場合は、厳密に求めることができるために、符号化方式としては固定長の符号化をした方が処理の制御と時間管理が有利である。
また、この処理時間は、動きベクトルの範囲内のデータが書きおわる時間よりも小さければよいので、NTSCレベルのように720画素程度の大きな画面では、この処理時間は1フレームの時間に比べて非常に小さく、処理の矛盾は生じない。
【0121】
次にブロック化に関してであるが、処理の基準がDCTという通常8画素×8画素の小さなブロックであり、マクロブロックをとっても輝度信号に対してDCTブロック4つと色差信号に対してDCTブロックが2つであり、画面上で同じ位置を占めるデータを処理の単位としており、動きベクトルもマクロブロックで4つという扱いであるので、ブロック化した状態でデータを扱うのが都合が良いが必須ではなく、NTSCの走査線のように、横1列のデータをひとかたまりとして扱うようにしても良いことは言うまでもない。
【0122】
このDCTブロックのデータを走査線単位で扱うには、ブロック化回路またはスキャン変換回路30の動作を、NTSCの場合であれば、縦1画素×横720等のようにラスタ変換動作をするように構成すれば良い。もちろん、このラスタ変換は縦1画素×横16画素のように、小刻みに切ってしまっても良いことは言うまでもなく、その変換結果をブロックとみなして同様の操作をすれば良い。
【0123】
すなわち、差分をとるためのブロックは、正方形であろうが、横一直線であろうが差分をとる処理には変化させずともよい。つまり、上述の隣接画素から予測値を算出(隣接画素をそのまま予測値にしてもよい)して、その予測値との差分値を求めるようにして符号化し、予測メモリ18,19に蓄えることでメモリの領域は半分程度に節約できることには変わりない。
【0124】
次に、スキャンについて述べる。例えばDCTブロックをそのままブロックとして符号化することを考える。すなわち、8画素×8画素のブロックでスキャンして符号化する場合、図3のように、左斜め上の画素を差分値をとらない画素として、ジグザグにスキャンするようにしても良い。このとき、矢印の方向に並んだ画素の関係が隣接画素である。すなわち、隣接画素をそのまま予測値とした場合、図3中のAの画素の差分値はBの画素との減算をした結果である。
【0125】
なお、予測値として矢印の進行逆方向のみを採用するのではなく、例えば進行方向と直角に交わる関係をもつ画素をも加え、図4のように2次元配列を考慮に入れた画素の設定をし、平均などによって予測値を求めても良い。このとき図3のようなスキャンでは、ブロック内にその様な画素が存在しないような端点では直角に交わる画素の値を進行逆方向の画素の値と同じとすれば良い。また、ブロック内の初めの点を差分をとらない点としたが、0との差分を用意して、量子化してもよいことは言うまでもない。
【0126】
次に、スキャンの最適化について述べる。扱う画像は、MPEG2などのようにインタレースの画像が中心である。つまり、時間的に異なる画像で、なおかつ空間的に異なる画像が交互にフィールドを構成することによって動画像をあらわしている。交互に現れるフィールドをそれぞれトップフィールドとボトムフィールドとすると、逆DCTして動き補償予測を復号すれば、図5のようにトップフィールドの走査線の間にボトムフィールドの走査線が入るような画面構成になる。このため、スキャン変換をトップフィールドとボトムフィールドで固めるように行うと、例えば動きがあってトップフィールドとボトムフィールドで動き分違う画像になってしまったとき、隣接画素の差分値が0に集中しにくくなるため、差分値のダイナミックレンジが広がってしまい、量子化することによって画質の劣化が大きくなってしまう部分が出現するようになる。
【0127】
この現象を防止するために、ブロック化回路またはスキャン変換回路30の制御を変更し、図5の矢印のようにブロッキングして隣接画素を求めていく。つまり、同一のフィールドを優先してスキャンするように制御する。このことによって、動きが生じても予測値との差分は0付近に集中するようになる。
【0128】
図5ではトップフィールドとボトムフィールドが1つのブロックに混在するような構成になっているが、これを図9のように全く別のブロックに分けてしまっても良い。
【0129】
図5ではトップフィールドとボトムフィールドが隣接画素の関係になっているところが1箇所だけあり、この部分に動きがあると上記問題と同じ問題が残るが、面積的に極めて小さい部分で済んでしまい問題はほとんどなくなる。また、図3はDCTブロックを1つのブロックにしたが、DCTブロックはフレームで行う場合とフィールドで行う場合とがあり、メモリからの読みだし計算が複雑になる一方、図5のスキャニングはDCTブロックに影響を受けないため非常に都合が良い。
【0130】
ここまでは、隣接画素からの予測値との差分を量子化することで情報圧縮を行ないメモリに書き込むというディジタル映像信号復号化装置について述べてきたが、以下、ブロックをひとかたまりにして情報圧縮をしメモリに書き込むディジタル映像信号復号化装置について説明する。
【0131】
図6は、ブロックをひとかたまりにして情報圧縮して予測メモリに書き込みをするディジタル映像信号復号化装置の概念を説明するための図である。各ブロック内の全画素の最大値と最小値をそれぞれ求める。各ブロックの画素の値はそれぞれの最大値と最小値の範囲に入っているはずである。この最大値と最小値の間をダイナミックレンジDRとし、DRを均等に分割した量子化しきい値を設定する。これを量子化基準値と称す。
【0132】
図6では最大値から最小値を4つに分割して量子化することを示しており、代表値は通常各量子化しきい値同士の平均をとる。
【0133】
符号化するのは、最大値および最小値および各画素の量子化結果である。各画素の量子化結果は、図6においては2ビットの表現で与えられる。また、最大値と最小値の代わりに最大値か最小値の何れかとダイナミックレンジのDRを符号化しても良い。
【0134】
8画素×8画素の8ビットデータを最大値および最小値を8ビットで表現し、量子化結果を2ビットで表現した場合、圧縮率は9/32となる。なお、この符号化ではスキャンは最大値最小値を求めるのに必要であるだけであるので、ブロッキングの最適化問題はあっても、スキャン変換の問題はない。
【0135】
このデータは、最大値と最小値(またはそれに相当するデータ)と、必要な画素の量子化結果があれば復号化できる。一方、隣接画素からの予測値との差分をとるやり方では、1画素復号するのにそれ以前にスキャンしたデータをすべて復号する必要があり、任意位置の読みだしを必要とする動き補償予測に使用するとメモリの制御が複雑になるが、このような場合は、各画素で量子化結果が依存するのは最大値最小値(またはそれに相当するデータ)のみであるため、メモリの読みだし制御が簡単であり、アクセス頻度が少なくて済む。
【0136】
次に、最大値と最小値から、そのまま量子化基準値を定めずにさらなる処理過程を経て量子化基準値を定めるようにした場合を説明する。
【0137】
通常、画像には何等かの形でノイズが重畳されている場合が多い。例えばビデオカメラのCCDでのノイズや、アナログ信号をディジタル信号に変換する際に発生するノイズである。これらはランダムノイズであり、ディジタル映像信号符号化装置はこれらのノイズ成分も忠実に符号化しようとして、符号化ビットストリームを伝送する。このため、そのビットスリームの復号結果もこのノイズ成分を含んだ画像を復号する。しかし、このためブロック内の最大値や最小値もそれにノイズよって影響を受け、量子化基準値に悪影響を与える。このため量子化基準値を求めるために平均を導入し、ノイズによる影響を受けないようにする。
【0138】
例えば、4つの代表値を持つような量子化を行う場合、図7に示すようにブロックの中の最大値をLmx、最小値をLmnとし、最大代表値Pmx、最小代表値Pmn、中心の量子化基準値Pa、その他の基準値をP1,P2とする。このとき下記の関係が成り立つように、Pmx,Pmn,Pa,P1,P2を求める。ただし、位置(i,j)に位置する画素の値をXijとし、量子化結果をΦijとする。
【0139】
Pmx=(ΣXij)/Nmx;
Xijは(3Lmx+Lmn)/4以上の値を持つ画素であり、
Nmxは(3Lmx+Lmn)/4以上の値を持つブロック内の画素の数
Pmn=(ΣXij)/Nmn;
Xijは(Lmx+3Lmn)/4以上の値を持つ画素であり、
Nmnは(Lmx+3Lmn)/4以上の値を持つブロック内の画素の数
LD=Pmx−Pmn;
Pa=(Pmx+Pmn)/2;
i,jをブロック内ソート
{if(Xij<=P1) Φij=00
elseif(Xij<=Pa) Φij=01
elseif(Xij<=P2) Φij=10
else Φij=11}
【0140】
この符号化はΦijおよびPaとLDである。
【0141】
このように最大値と最小値からあるしきい値を求め、そのしきい値を出る画素の平均を求めれば、ノイズによる量子化基準値の変動はなくなり、画質への影響を与えなくすることができる。しかも、これらの演算は平均値演算を基準にした簡単な演算であるため、容易な回路構成で実現できる。また、LDの代わりに量子化基準値幅のP2−Paを符号化しても良い。P2−PaはLDの半分以下の値のため符号化ビット数を少なくすることができる。
【0142】
このように符号化して、予測メモリ11および予測メモリ12に符号化データを書き込み、動き補償予測の復号に必要な箇所の読みだしを行う。このとき、読みだしデータは、PaおよびLD(またはそれに準じるデータ)と、必要な画素の量子化結果Φijのみである。
【0143】
このデータを読みだして復号する場合は、下記要領で求める。Φijの復号結果はYijとする。
if(Φij=00) Yij=Pa−LD/2
if(Φij=01) Yij=Pa−LD/6
if(Φij=10) Yij=Pa+LD/6
if(Φij=11) Yij=Pa+LD/2
【0144】
このように復号するため、符号化より演算がかなり簡単であるため、図1のように復号化を2ブロック必要とする場合は非常に都合が良い。隣接画素からの予測値との差分をとるやり方では、1画素復号するのにそれ以前にスキャンしたデータをすべて復号する必要があり、任意位置の読みだしを必要とする動き補償予測に使用するとメモリの制御が複雑になるが、このような場合は、各画素で量子化結果が依存するのは最大値と最小値(またはそれに相当するデータ)のみであるため、メモリの読みだし制御が簡単であり、アクセス頻度が少なくて済む。
【0145】
以上の説明は8画素×8画素で行ったが、4画素×4画素のようにより小さな領域で行った方がダイナミックレンジやLDが小さくなるため、画質の劣化が少なく有利である。すなわち、ブロックのサイズや形状にこだわる必要はなく自由な設定でもよく、例えば8画素×2画素にしても良いことは言うまでもない。8画素×2画素は4画素×4画素とブロック面積は同じだが、ブロック化の際のレジスタ(またはメモリ)のサイズが小さくて済む。
【0146】
次に、このときのブロッキングの最適化について説明する。例えば4画素×4画素で1ブロックとしたとき、DCTブロックを図8のように田の字状に4つに分けることも可能であるが、インタレース画像で動きがある場合では、フィールド間のデータに相関がなくなるため、同一フィールド内でブロッキングするのが良い。つまり、図9に示すようにトップフィールド内で4画素×4画素、ボトムフィールド内で4画素×4画素とするようにブロッキングする。このようにすれば動きがある画像でもダイナミックレンジやLDが小さく画質の劣化が極めて少ない符号化をすることができる。
【0147】
もちろん、動きによってこのブロッキングを切り替えるように制御しても良い。その時は動きによってブロッキングの仕方を変えるとともにそのブロッキングの仕方の情報も符号化しておけば良い。つまり、フィールドブロックをするときとフレームブロックをするときを動きベクトルやDCTブロッキングのモードで切り替えるように構成して、そのブロッキング手段を切り替えたことを符号化する。これは、4画素×4画素のブロッキングに限らず、ダイナミックレンジやLDの値が最も小さくなるように4画素×4画素と8画素×2画素を切り替えるようにしてもよいことは言うまでもない。
【0148】
次に、更なる画質劣化の防止策を示す。上述の量子化基準値や代表値は、最大値最小値あるいはPa、LDあるいはそれらに準じた値から一意に決められる。各画素の分布が適当に散らばっていれば、このような量子化や代表値算出は適当であるが、実際にはもっと分布に偏りがある。例えば暗いめの背景の中に白い線があるような場合、図10のように分布している。このよう場合、00のレベルの代表値が線の周辺の影響で変わる。00のレベルの代表値は一点鎖線で示したレベルを中心とした画素が最も多く、この一点鎖線のレベルが代表値として誤差が小さい画素が最も多くなる。しかし、分布の最大値や最小値あるいはPa、LDあるいはそれに準じた値から一意に量子化基準値や代表値を決めてしまうと、分布の頻度とは無関係な決めかたになってしまう場合があり、ブロック歪みなどの画質劣化となってしまうことがある。
【0149】
このため、一度量子化した結果の代表値と元のデータとの差分を見て、誤差の蓄積が大きな代表値を変更するようにして、その変更すべき代表値の番号(この例では00)と本来の代表値からの差分や新代表値そのままの値を符号化して、データと一緒に予測メモリ18,19に蓄えておくようにする。
【0150】
このようにすれば、復号化器26や27において、このような代表値置き換えの情報に基づいて置き換え、代表値の番号に相当する量子化結果(この例ではΦ00)を元の代表値(Pa−LD/2)から置き換えるようにして復号すれば、誤差の小さな画像として復号することができ画質の劣化を小さくすることができる。
【0151】
誤差の大きい小さいを判断するのに、元のデータとの差分絶対値和や差分2乗和などがあり、そのいずれを使っても良い。また、逆に誤差が平均をとったら0になるのが最適という考えの元に、絶対値等をとらずに差分値の積分を各レベルで行ったり、差分2乗和に元の符号をつけて積分してもよい。
【0152】
誤差の大きい代表値レベルの置き換えとしては、誤差の小さい画素数が最も多くなるような代表値レベルを算出しても良いし、量子化レベル全体で誤差が小さくなるように、その量子化結果になる画素の平均値で算出しても良い。
【0153】
また、上述の説明では復号化器32,33およびデブロック化回路またはスキャン逆変換回路34,35はそれぞれの予測メモリ18,19の出力に独立に処理回路を設けるようにしているが、2倍の高速動作をさせて、時分割の処理を行えば1つの回路で実現できることは言うまでもない。
【0154】
以上のディジタル映像信号符号化装置やディジタル映像信号復号化装置は、回路ブロックから構成されるように説明したが、フィールドプログラマブルゲートアレイ(FPGA)のように変更可能なデバイスを使ったり、ディジタルシグナルプロセッサ(DSP)を使ってソフトウエア的なプログラムでデバイスを動かすように構成したり、あるいはマイクロコンピュータでプログラミングでソフトウエア的に構成したりしても良い。また、この装置は、パーソナルコンピュータに内蔵すれば簡易なテレビ会議のシステムとしてシステム化可能であることは言うまでもない。
【0155】
実施の形態3.
次に、本発明の実施の形態3について図を参照しながら説明を行う。この実施の形態3は、図1に示した符号化装置と図11に示した復号化装置の組み合わせでディジタル映像信号符号化復号化装置を構成したものである。
【0156】
この実施の形態3では、図1に示したディジタル映像信号符号化装置によってディジタル映像信号を情報圧縮して伝送し、図11に示したディジタル映像信号復号化装置で受信したデータを伸長して元に戻す組み合わせにおいて、ディジタル映像信号符号化装置でにおけるブロック化回路またはスキャン変換回路24や符号化器25で、どのようなブロック化,どのようなスキャン変換,どのような符号化手法(ブロック化などを含めてメモリ節約符号化手法と称す)を採用したかをあらわす情報を図1に示す出力信号に加え、量子化変換係数等と一緒に符号化データに多重化して伝送し、その多重化されたメモリ節約符号化手法の情報を分離して図11のブロック化回路またはスキャン変換回路30および符号化回路31に送り、その動作をこの情報を元に切り替えるように動作する。
【0157】
このように動作することで、例えばブロック毎に符号化手法が変化して最適化されたとしても、符号化装置と復号化装置で一致した符号化手法をとってメモリに蓄えることができる。つまり、符号化装置の中の差分器2と加算器8で動き補償予測とその復号を行うようになっているが、その復号と同じ結果を復号化装置の加算器16で得るように動作する。このため、動き補償予測ループ内での符号化復号化による画質劣化を最小限にとどめることができる。
【0158】
このような構成をとって、各ブロック毎に符号化手法が異なるように動作させる場合、符号化装置における符号化器25と復号化器26、および復号化器27の間にも符号化手法を表現して予測メモリ11および12に記憶させるように構成すると良い。また、同じように、復号化装置における符号化器31と復号化器32および33の間で符号化手法を表現して予測メモリ18および19に記憶させるように構成すると良い。
【0159】
このとき、符号化器31の符号化手法は伝送されてきた符号化装置での符号化手法と同じものを使うように構成したときが最適である。
【0160】
符号化手法をブロックに応じて変化させるための方法としては、符号化復号化によって生じる符号化前のデータとの誤差のブロック内総和が最少になる符号化手法を選ぶとか、符号化復号化によって生じる符号化前のデータとの誤差があるしきい値より小さくなる画素数がブロック内に一番多くなる符号化手法を選ぶとか、それらを組み合わせるとか、様々なやり方がある。また、その誤差についても、差分絶対値であるとか、2乗した値である等の計算手法がある。これについてはより多くの画像と符号化装置の符号化ビットレートによって変化するので、場合に応じて選択すれば良い。
【0161】
【発明の効果】
請求項1に係るディジタル映像信号復号化装置によれば、予測メモリに記憶すべきデータ量を少なくすることができるため、メモリ容量を小さくできるという効果がある。また、メモリにかかるコストが小さくなるという効果がある。さらには、メモリ容量が小さくて済むため、LSIのチップ上に符号化装置で必要な回路群と共に搭載しても、チップ面積が小さくて済むため、チップコストも下がり、歩留まりも向上するという効果がある。このように構成しても動き補償予測の復号化が可能であるディジタル映像信号復号化装置を構成できるという効果が得られる。さらに、ブロック内の隣接画素から求められる予測値との差分値を量子化するようにして符号化するので、小さい規模の回路や小さい規模のソフトウエアで実現できるという効果がある。また、このときの圧縮率も約半分ほどに圧縮出来るのでメモリ容量が半減するという効果がある。
【0162】
請求項2に係るディジタル映像信号復号化装置によれば、予測メモリに記憶すべきデータ量を少なくすることができるため、メモリ容量を小さくできるという効果がある。また、メモリにかかるコストが小さくなるという効果がある。また、メモリ容量が小さくて済むため、LSIのチップ上に符号化装置で必要な回路群と共に搭載しても、チップ面積が小さくて済むため、チップコストも下がり、歩留まりも向上するという効果がある。このように構成しても動き補償予測の復号化が可能であるディジタル映像信号復号化装置を構成できるという効果がある。さらには、処理時間分を考慮して処理を早く開始しているため、装置全体の時間軸管理を正確にできるという効果がある。このことは、タイムスタンプに対しての処理精度を上げることにつながる。さらに、ブロック内の隣接画素から求められる予測値との差分値を量子化するようにして符号化するので、小さい規模の回路や小さい規模のソフトウエアで実現できるという効果がある。また、このときの圧縮率も約半分ほどに圧縮出来るのでメモリ容量が半減するという効果がある。
【0163】
請求項3に係るディジタル映像信号復号化装置によれば、予測メモリに記憶すべきデータ量を少なくすることができるため、メモリ容量を小さくできるという効果がある。また、メモリにかかるコストが小さくなるという効果がある。また、メモリ容量が小さくて済むため、LSIのチップ上に復号化装置で必要な回路群と共に搭載しても、チップ面積が小さくて済むため、チップコストも下がり、歩留まりも向上するという効果がある。さらには、ビデオ入力のラスタと同じ様なデータ並びにできるため、メモリ制御が簡単化されるという効果がある。このように構成しても動き補償予測の復号化が可能であるディジタル映像信号復号化装置を構成できるという効果がある。さらに、ブロック内の隣接画素から求められる予測値との差分値を量子化するようにして符号化するので、小さい規模の回路や小さい規模のソフトウエアで実現できるという効果がある。また、このときの圧縮率も約半分ほどに圧縮出来るのでメモリ容量が半減するという効果がある。
【図面の簡単な説明】
【図1】この発明の実施の形態1のディジタル映像信号符号化装置、および実施の形態3のディジタル映像信号符号化復号化装置の符号化部のブロック図である。
【図2】実施の形態1のディジタル映像信号符号化制御、および実施の形態2のディジタル映像信号復号化制御を説明する図である。
【図3】実施の形態1のディジタル映像信号符号化装置におけるブロック化回路、および実施の形態2のディジタル映像信号復号化装置におけるブロック化回路の動作を説明する図である。
【図4】実施の形態1のディジタル映像信号符号化装置における予測からの差分による符号化器の動作、および実施の形態2のディジタル映像信号復号化装置における予測からの差分による符号化器の動作を説明する図である。
【図5】実施の形態1のディジタル映像信号符号化装置における画質劣化の小さいブロッキングをするブロック化回路の動作、および実施の形態2のディジタル映像信号復号化装置における画質劣化の小さいブロッキングをするブロック化回路の動作を説明する図である。
【図6】実施の形態1のディジタル映像信号符号化装置におけるダイナミックレンジによる符号化器の動作、および実施の形態2のディジタル映像信号復号化装置におけるダイナミックレンジによる符号化器の動作を説明する図である。
【図7】実施の形態1のディジタル映像信号符号化装置における画像データの分布による符号化器の動作、および実施の形態2のディジタル映像信号復号化装置における画像データの分布による符号化器の動作を説明する図である。
【図8】実施の形態1のディジタル映像信号符号化装置におけるブロック化回路の動作、および実施の形態2のディジタル映像信号復号化装置におけるブロック化回路の動作の一例を説明する図である。
【図9】実施の形態1のディジタル映像信号符号化装置において、ダイナミックレンジや画像データの分布から符号化する際のブロック化回路の動作、および実施の形態2のディジタル映像信号復号化装置において、ダイナミックレンジや画像データの分布から符号化する際のブロック化回路の動作の例を説明する図である。
【図10】実施の形態1のディジタル映像信号符号化装置において、ダイナミックレンジや画像データの分布から符号化する際の符号化回路で代表値を置き換えるように動作する符号化器を構成した場合の動作、および実施の形態2のディジタル映像信号復号化装置において、ダイナミックレンジや画像データの分布から符号化する際の符号化回路で代表値を置き換える場合の動作ブロック化回路の動作の例を説明する図である。
【図11】実施の形態2のディジタル映像信号復号化装置のブロック図、および実施の形態3のディジタル映像信号符号化復号化装置の復号化部のブロック図である。
【図12】従来のディジタル映像信号符号化装置のブロック図である。
【図13】従来のディジタル映像信号符号化装置の動作を説明する図である。
【図14】従来のディジタル映像信号符号化復号化システム全体を説明するブロック図である。
【図15】従来のディジタル映像信号符号化復号化のための大まかな信号処理のブロック図である。
【図16】従来のディジタル映像信号符号化装置のブロック図である。
【図17】従来のディジタル映像信号符号化装置、復号化装置における時間軸情報多重化ルールを説明する図である。
【符号の説明】
1 ビデオ入力部、2 差分器、3 符号化制御部、4 DCT、5 量子化器、6 逆量子化器、7 逆DCT、8 加算器、9,10 スイッチ、11,12 予測メモリ、13 平均回路、14 逆量子化器、15 逆DCT、16加算器、17,21,22 スイッチ、18,19 予測メモリ、20 平均回路、23 モニタ、24 ブロック化回路またはスキャン変換回路、25 符号化器、26,27 復号化回路、28,29 デブロック化回路またはスキャン逆変換回路、30 ブロック化回路またはスキャン変換回路、31 符号化器、32,33 復号化回路、34,35 デブロック化回路またはスキャン逆変換回路。
Claims (3)
- 双方向の動き補償予測とDCTとを用いてディジタル映像信号を高能率符号化して情報圧縮したデータを復号するディジタル映像信号復号化装置において、双方向予測の画像を復号するための参照画像を空間領域にデータとして入力してブロック化する手段と、このブロック化したデータを符号化する手段と、この符号化したデータをメモリに書き込む手段と、予測値との差分を復号するために前記メモリからデータを読みだす手段と、この読みだしたデータを復号化する手段と、この復号データを用いて予測値との差分値を復号する手段とを備え、
上記ブロック化したデータを符号化する手段が、少なくとも隣接画素から予測値を算出する手段と、その予測値からの差分を求める手段と、その差分を量子化する手段とで構成されていることを特徴とするディジタル映像信号復号化装置。 - 双方向の動き補償予測とDCTとを用いてディジタル映像信号を高能率符号化して情報圧縮し、ディジタル音声信号の圧縮データと共に時間軸多重し、この多重の際、映像・音声の各々の時間軸データを多重化して符号化したデータを時間軸データに基づき映像と音声が同期するように映像データを復号するディジタル映像信号復号化装置において、双方向予測の画像を復号するための参照画像を空間領域にデータとして入力してブロック化する手段と、このブロック化したデータを符号化する手段と、この符号化したデータをメモリに書き込む手段と、予測値との差分値を復号するために上記メモリから読みだす手段と、この読みだしたデータを復号化する手段と、この復号データを用いて予測値との差分値を復号する手段とを備え、上記データを読みだす手段は、復号化に要する処理時間分だけ所定時間より前に読みだし、
上記ブロック化したデータを符号化する手段が、少なくとも隣接画素から予測値を算出する手段と、その予測値からの差分を求める手段と、その差分を量子化する手段とで構成されていることを特徴とするディジタル映像信号復号化装置。 - 双方向の動き補償予測とDCTとを用いてディジタル映像信号を高能率符号化して情報圧縮したデータを復号するディジタル映像信号復号化装置において、双方向予測の画像を復号するための参照画像を空間領域にデータとして入力し、該入力されたデータを走査線の順に並ぶように変換するラスタ変換を行う手段と、このラスタ変換したデータを符号化する手段と、この符号化したデータをメモリに書き込む手段と、予測値との差分値を復号するために上記メモリからデータを読みだす手段と、この読みだしたデータを復号化する手段と、この復号データを用いて予測値との差分値を復号する手段とを備え、
上記ラスタ変換が行われ、走査線の順に並ぶように変換されたデータを符号化する手段が、少なくとも隣接画素から予測値を算出する手段と、その予測値からの差分を求める手段と、その差分を量子化する手段とで構成されていることを特徴とするディジタル映像信号復号化装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25299295A JP3552811B2 (ja) | 1995-09-29 | 1995-09-29 | ディジタル映像信号符号化装置および復号化装置 |
DE1996633815 DE69633815T2 (de) | 1995-09-29 | 1996-09-26 | Vorrichtung zur Codierung und Decodierung eines digitalen Bildsignales |
EP19960307030 EP0766479B1 (en) | 1995-09-29 | 1996-09-26 | Coding device and decoding device of digital image signal |
US08/723,950 US5825419A (en) | 1995-09-29 | 1996-09-26 | Coding device and decoding device of digital image signal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25299295A JP3552811B2 (ja) | 1995-09-29 | 1995-09-29 | ディジタル映像信号符号化装置および復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0998429A JPH0998429A (ja) | 1997-04-08 |
JP3552811B2 true JP3552811B2 (ja) | 2004-08-11 |
Family
ID=17245001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25299295A Expired - Fee Related JP3552811B2 (ja) | 1995-09-29 | 1995-09-29 | ディジタル映像信号符号化装置および復号化装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5825419A (ja) |
EP (1) | EP0766479B1 (ja) |
JP (1) | JP3552811B2 (ja) |
DE (1) | DE69633815T2 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6480542B1 (en) * | 1994-08-24 | 2002-11-12 | Siemens Aktiengesellschaft | Method for decoding compressed video data with a reduced memory requirement |
JPH11510989A (ja) * | 1996-06-05 | 1999-09-21 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 符号化ディジタルビデオ信号を復号化する方法および装置 |
US6028635A (en) | 1996-12-03 | 2000-02-22 | Stmicroelectronics, Inc. | Reducing the memory required for decompression by storing compressed information using DCT based techniques |
US6275533B1 (en) * | 1997-06-20 | 2001-08-14 | Matsushita Electric Industrial Co., Ltd. | Image processing method, image processing apparatus, and data recording medium |
US6130911A (en) * | 1997-11-21 | 2000-10-10 | Sharp Laboratories Of America, Inc. | Method and apparatus for compressing reference frames in an interframe video codec |
US6356668B1 (en) | 1998-12-29 | 2002-03-12 | Eastman Kodak Company | Method for efficient rate control |
KR100374604B1 (ko) * | 2000-05-31 | 2003-03-04 | 삼성전자주식회사 | 영상의 패턴 반복 기술 방법 및 그 영상 응집화 방법 |
JP3489735B2 (ja) * | 2000-08-16 | 2004-01-26 | 松下電器産業株式会社 | デブロッキングフィルタ演算装置 |
GB2378072B (en) * | 2001-07-24 | 2003-10-15 | Motorola Inc | Image and video coding arrangement and method |
JP2003070000A (ja) * | 2001-08-23 | 2003-03-07 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
US7440504B2 (en) * | 2001-09-24 | 2008-10-21 | Broadcom Corporation | Method and apparatus for performing deblocking filtering with interlace capability |
US9042445B2 (en) | 2001-09-24 | 2015-05-26 | Broadcom Corporation | Method for deblocking field-frame video |
US20030099294A1 (en) * | 2001-11-27 | 2003-05-29 | Limin Wang | Picture level adaptive frame/field coding for digital video content |
US6980596B2 (en) * | 2001-11-27 | 2005-12-27 | General Instrument Corporation | Macroblock level adaptive frame/field coding for digital video content |
US7042942B2 (en) * | 2001-12-21 | 2006-05-09 | Intel Corporation | Zigzag in-order for image/video encoder and decoder |
JP4130780B2 (ja) * | 2002-04-15 | 2008-08-06 | 松下電器産業株式会社 | 画像符号化方法および画像復号化方法 |
JP5234241B2 (ja) * | 2004-12-28 | 2013-07-10 | 日本電気株式会社 | 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム |
US20090052536A1 (en) * | 2006-02-09 | 2009-02-26 | Nec Corporation | Video Decoding Device, Decoded Image Recording Device, Their Method and Program |
CN101395924A (zh) * | 2006-03-03 | 2009-03-25 | 皇家飞利浦电子股份有限公司 | 利用有损内嵌压缩进行差异编码 |
WO2007116551A1 (ja) * | 2006-03-30 | 2007-10-18 | Kabushiki Kaisha Toshiba | 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法 |
JP4973886B2 (ja) * | 2006-06-21 | 2012-07-11 | 日本電気株式会社 | 動画像復号装置、復号画像記録装置、それらの方法及びプログラム |
JP2008005112A (ja) * | 2006-06-21 | 2008-01-10 | Matsushita Electric Ind Co Ltd | ストリームエンコーダ及びストリームデコーダ |
US7953595B2 (en) * | 2006-10-18 | 2011-05-31 | Polycom, Inc. | Dual-transform coding of audio signals |
US7966175B2 (en) * | 2006-10-18 | 2011-06-21 | Polycom, Inc. | Fast lattice vector quantization |
KR101365444B1 (ko) * | 2007-11-19 | 2014-02-21 | 삼성전자주식회사 | 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치 |
WO2012128241A1 (ja) * | 2011-03-18 | 2012-09-27 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US9245714B2 (en) * | 2012-10-01 | 2016-01-26 | Kla-Tencor Corporation | System and method for compressed data transmission in a maskless lithography system |
CN105378835B (zh) | 2013-02-20 | 2019-10-01 | 弗劳恩霍夫应用研究促进协会 | 使用依赖瞬态位置的重叠对音频信号编码或译码的设备及方法 |
US9552628B2 (en) * | 2014-03-12 | 2017-01-24 | Megachips Corporation | Image processor |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60180388A (ja) * | 1984-02-28 | 1985-09-14 | Kokusai Denshin Denwa Co Ltd <Kdd> | 符号化された画像信号の再量子化方法 |
JPH0793724B2 (ja) * | 1984-12-21 | 1995-10-09 | ソニー株式会社 | テレビジョン信号の高能率符号化装置及び符号化方法 |
US4953019A (en) * | 1987-11-27 | 1990-08-28 | Canon Kabushiki Kaisha | Image signal encoding apparatus |
JP2629238B2 (ja) * | 1988-02-05 | 1997-07-09 | ソニー株式会社 | 復号装置及び復号方法 |
US5184229A (en) * | 1988-12-09 | 1993-02-02 | Fuji Photo Film Co., Ltd. | Compression coding device and expansion decoding device for picture signal |
JP2925157B2 (ja) * | 1989-02-28 | 1999-07-28 | キヤノン株式会社 | データ記憶装置 |
JP3119888B2 (ja) * | 1991-04-18 | 2000-12-25 | 松下電器産業株式会社 | 信号処理方法及び記録再生装置 |
JPH0541862A (ja) * | 1991-08-03 | 1993-02-19 | Sony Corp | 動きベクトルの可変長符号化方式 |
EP0535272A1 (en) * | 1991-10-02 | 1993-04-07 | Alcatel N.V. | Hybrid encoder arrangement for an image processing system |
JP2991833B2 (ja) * | 1991-10-11 | 1999-12-20 | 松下電器産業株式会社 | インターレス走査ディジタルビデオ信号の符号化装置及びその方法 |
JPH05137131A (ja) * | 1991-11-13 | 1993-06-01 | Sony Corp | フレーム間動き予測方法 |
US5510840A (en) * | 1991-12-27 | 1996-04-23 | Sony Corporation | Methods and devices for encoding and decoding frame signals and recording medium therefor |
US5241383A (en) * | 1992-05-13 | 1993-08-31 | Bell Communications Research, Inc. | Pseudo-constant bit rate video coding with quantization parameter adjustment |
EP0709009A1 (en) * | 1993-06-16 | 1996-05-01 | GOULD, Kim V.W. | System and method for transmitting video material |
EP0652676A1 (en) * | 1993-11-08 | 1995-05-10 | Sony Corporation | Apparatus and method for compressing a digital motion picture signal |
JPH07143488A (ja) * | 1993-11-19 | 1995-06-02 | Fujitsu Ltd | 画像データ復号化方法および装置 |
US5535137A (en) * | 1994-02-14 | 1996-07-09 | Sony Corporation Of Japan | Random access audio/video processor with compressed video resampling to allow higher bandwidth throughput |
US5577191A (en) * | 1994-02-17 | 1996-11-19 | Minerva Systems, Inc. | System and method for digital video editing and publishing, using intraframe-only video data in intermediate steps |
US5512939A (en) * | 1994-04-06 | 1996-04-30 | At&T Corp. | Low bit rate audio-visual communication system having integrated perceptual speech and video coding |
ATE246864T1 (de) * | 1994-06-06 | 2003-08-15 | Sci Worx Gmbh | Verfahren zur codierung/decodierung eines datenstroms |
US5617142A (en) * | 1994-11-08 | 1997-04-01 | General Instrument Corporation Of Delaware | Method and apparatus for changing the compression level of a compressed digital signal |
US5627601A (en) * | 1994-11-30 | 1997-05-06 | National Semiconductor Corporation | Motion estimation with bit rate criterion |
-
1995
- 1995-09-29 JP JP25299295A patent/JP3552811B2/ja not_active Expired - Fee Related
-
1996
- 1996-09-26 US US08/723,950 patent/US5825419A/en not_active Expired - Lifetime
- 1996-09-26 EP EP19960307030 patent/EP0766479B1/en not_active Expired - Lifetime
- 1996-09-26 DE DE1996633815 patent/DE69633815T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5825419A (en) | 1998-10-20 |
EP0766479A2 (en) | 1997-04-02 |
EP0766479A3 (en) | 1999-02-03 |
DE69633815D1 (de) | 2004-12-16 |
DE69633815T2 (de) | 2005-10-27 |
JPH0998429A (ja) | 1997-04-08 |
EP0766479B1 (en) | 2004-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3552811B2 (ja) | ディジタル映像信号符号化装置および復号化装置 | |
US9414084B1 (en) | Image decoding device and method thereof using inter-coded predictive encoding code | |
US7324595B2 (en) | Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction | |
EP0912063B1 (en) | A method for computational graceful degradation in an audiovisual compression system | |
US20010026587A1 (en) | Image encoding apparatus and method of same, video camera, image recording apparatus, and image transmission apparatus | |
JP5361896B2 (ja) | 動画像符号化方法および動画像符号化装置 | |
JP3911035B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
US20090232201A1 (en) | Video compression method and apparatus | |
JP2933561B2 (ja) | 動画符号変換装置 | |
JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
US9001892B2 (en) | Moving image encoder and moving image decoder | |
JP2004521547A (ja) | ビデオ符号化器及び記録装置 | |
JPH11136686A (ja) | 復号画像変換回路および復号画像変換装置 | |
JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
JP3481207B2 (ja) | 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 | |
JP3480980B2 (ja) | 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 | |
JP4596277B2 (ja) | 符号化装置、符号化方法、復号装置及び復号方法 | |
JPH06197326A (ja) | 画像信号符号化方法および復号化方法並びに画像信号符号化装置および復号化装置 | |
JP2003134463A (ja) | 信号処理方法および装置 | |
KR19990041931A (ko) | 영상 부호화 시스템의 영상 그룹 구성수 자동 변환 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031125 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |