JP2003289539A - 動画像符号化装置および方法 - Google Patents
動画像符号化装置および方法Info
- Publication number
- JP2003289539A JP2003289539A JP2003061759A JP2003061759A JP2003289539A JP 2003289539 A JP2003289539 A JP 2003289539A JP 2003061759 A JP2003061759 A JP 2003061759A JP 2003061759 A JP2003061759 A JP 2003061759A JP 2003289539 A JP2003289539 A JP 2003289539A
- Authority
- JP
- Japan
- Prior art keywords
- area
- information
- rearrangement
- coding
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
号画像の品質を大きく劣化させずに、誤りにより一部し
か復号できない場合でも効率良く復号できる。 【解決手段】 動画像符号化装置は、フレーム毎に入力
される画像信号を複数個の領域に分割する領域分割手段
と、この領域分割手段により分割された各領域に対して
領域単位の順序を換える領域並べ換え手段と、並べ換え
順序を示す情報を符号化する第1の符号化手段と、並べ
換え順序に従って並べ換えられた各領域の画像信号を符
号化する第2の符号化手段とを備える。動画像符号化方
法は、フレーム毎に入力される画像信号を複数個の領域
に分割する領域分割ステップと、この領域分割ステップ
で分割された各領域に対して領域単位の順序を換える領
域並べ換えステップと、並べ換え順序を示す情報を符号
化する第1の符号化ステップと、並べ換え順序に従って
並べ換えられた各領域の画像信号を符号化する第2の符
号化ステップとを備える。
Description
議システム、携帯情報端末、デジタルビデオディスクシ
ステム、デジタルTV放送システムのように、動画像を
伝送・蓄積する装置/システムおよび再生する装置/シ
ステムに設けられる動画像符号化装置および方法に係
り、特に、画像を少ない情報量に圧縮符号化する装置お
よび圧縮符号化された情報を復元し画像を再生する装置
に関する。特に、無線伝送路のように誤りが生じやすい
媒体を介して符号化画像を伝送/蓄積する場合でも誤り
耐性が強く高品質に動画像の伝送/蓄積を行なうことが
できる動画像符号化装置および方法に関する。
に画像情報を少ない情報量に圧縮符号化する技術とし
て、動き補償、離散コサイン変換、サブバンド符号化、
ピラミッド符号化等の個別の方式やこれらの幾つかを組
み合わせた方式などの様々な方式が開発され、提案され
ている。また、特に動画像を圧縮符号化するための国際
標準方式として、『ISO−MPEG1,MPEG2,
ITU−T・H.261,H.262』が規格化されて
いる。これらは、いずれも動き補償適応予測離散コサイ
ン変換符号化を用いた方式に含まれており、その詳細は
文献1“マルチメディア符号化の国際標準”(安田浩編
・著、丸善、平成3年6月刊行)等に述べられている。
ここで、MPEGとはカラー動画像蓄積用符号化方式の
標準化作業を進めるための組織(Moving Picture Exper
ts Group)の名称であり、またこの組織により仕様が定
められた符号化方式の規格名としても用いられている。
して動き補償適応予測離散コサイン変換を用いた符号化
装置の構成を図29のブロック図に示す。符号化装置に
入力された画像331は、まず領域分割器301で定め
られた領域に分割される。そして、図30(a)に示す
ように、左上の領域から右下の領域の順にブロック順で
符号化が行なわれ、図30(b)のようにフレーム同期
信号に連続する符号列が形成される。符号化器において
はまず動き補償適応予測が行なわれる。図29におい
て、動き補償適応予測信号作成器304により、入力画
像とフレームメモリ305中に蓄えられておりかつ既に
符号化及び局部復号化が行なわれた画像との間の動きベ
クトルを検出し、動き補償予測信号を作成する。動き補
償予測および入力信号をそののまま符号化に用いるフレ
ーム内符号化(予測信号=0)のうち符号化に用いて好
適な予測モードが選択され、対応する予測信号333が
出力される。
ら選択された予測信号333が減算され、予測残差信号
334が出力される。予測残差信号334は離散コサイ
ン変換器307において一定の大きさのブロック単位で
離散コサイン変換(DCT)が行なわれ、さらに量子化
器308で量子化が行なわれる。量子化器からの出力は
2つに分岐され、一方は多重化器309で動きベクトル
との多重化が行なわれて出力される。もう一方は逆量子
化器312で逆量子化され、さらに逆離散コサイン変換
器313で逆離散コサイン変換(逆DCT)が行なわれ
る。逆離散コサイン変換器313からの出力は加算器3
14において適応予測信号333と加算が行なわれ、フ
レームメモリ305に記録される。
下のような問題がある。まず、可変長符号においては一
箇所で誤りが生じると、可変長符号の同期外れが発生
し、その後の情報が正しく受信できたとしても誤った値
に復号されるという問題点がある。これにより一箇所の
誤りがその後の復号にも影響を及ぼし、大幅な画質劣化
につながる。そのため、従来は誤りが検出されると、次
フレームのフレーム同期信号(PSC)まで情報を捨て
る等の処理がなされる。しかし、このような処理を行な
ったとしても、本来の情報量に比べ大幅に情報量が減少
するためやはり大きな画質劣化を生じる。
994年度画像符号化シンポジウム(PCSJ94)に
おいて松村、中井から誤り耐性を考慮した動画像高能率
符号化方式が提案されている(文献2:“誤り耐性を考
慮した動画像高能率符号化方式”、松村・中井著、19
94年画像符号化シンポジウム、1−1、1994参
照)。動画像符号化では可変長符号が利用されるが、可
変長符号は誤りが生じると同期外れが生じる欠点が存在
する。しかし、可変長符号には誤りによる同期外れが生
じた場合にもそのまま復号することにより自動的に符号
語の切れ目が正しいものと一致し、同期回復をする特徴
もある(自己同期回復特性)。通常は同期回復しても、
どの領域に相当する情報かを特定することができず、同
期回復後の情報も利用不可能であった。上記方式では、
この可変長符号の自己同期回復特性を利用できるように
符号化系列の記述方法を従来の領域毎の並びから、図3
1のように情報の内容毎にまとめ、後部予測残差符号列
の領域単位の並びを変更した点に特徴がある。これによ
り、誤りが生じた場合でもそのまま次フレームのフレー
ム同期信号まで復号を行ない、前部で復号できたヘッダ
情報と共に、予測残差信号の復号値を時間的に後の方か
ら順に利用することができ、利用可能な情報の量を増加
させている。
問題点がある。1フレームの情報に複数個の誤りが存在
するような誤り率の高い伝送路の場合、利用できる情報
が減少し効果が少なくなる。復号可能な領域が減少した
場合、復号できる確率の高い領域が画像の性質によらず
特定の箇所(画面上部)に偏ることになる。これは通常
の使用を考えた際、画面中央に重要な領域があることか
ら、背景等の重要度の低い領域のみを救済していること
になり、非効率的である。さらに、復号できた領域から
復号不可能となった領域を予測しようとした際、一部に
偏った領域から画面全体を予測しなければならず、予測
が困難である。また、前半のヘッダ情報で誤りが生じた
場合、後部予測残差情報が全て復号できたとしても前半
のヘッダ情報が復号できた領域しか復号できない。つま
り、後部の予測残差情報は前部ヘッダ情報に依存した情
報のため復号できた情報が無駄になっている。
成を示すブロック図である。この復号装置は図29に示
す符号化装置と逆の動作を行なうことにより復号画像信
号を得るものである。
順序の例を示す図であり、図示のような経路によりジグ
ザグスキャンが行なわれていた。
入した従来の符号化方式の一例を示すものであり、図3
4(a)のような領域の符号化を行なう際に、図34
(b)に示すようなnブロックライン(n≧1)単位で
同期信号を挿入することにより同期回復の機会を増やす
ようにしていた。
動画像符号化装置及び復号装置においては、符号に誤り
が生じると可変長符号の同期外れから復号画像の品質が
大きく低下してしまうという欠点があった。また、誤り
により画像の一部のみが復号可能な場合、領域毎の復号
可能確率が画像の特徴によらず特定の部分に偏り非効率
的であった。
じた場合であっても、復号画像の品質が大きく劣化する
ことを抑えると共に、誤りにより符号の一部のみが復号
可能な場合でも効率良く復号できる動画像符号化装置お
よび方法を提供することを目的とする。
る動画像符号化装置は、フレーム毎に入力される画像信
号を複数個の領域に分割する領域分割手段と、この領域
分割手段により分割された各領域に対して領域単位の順
序を換える領域並べ換え手段と、領域並べ換え順序を示
す情報を符号化する第1の符号化手段と、前記領域並べ
換え順序に従って並べ換えられた各領域の画像信号を符
号化する第2の符号化手段とを備えることを特徴とす
る。
置は、第1の構成において、前記領域分割手段は、フレ
ーム毎に入力される画像信号を複数個のマクロブロック
単位に分割することを特徴とする。
置は、第1または第2の構成の何れかにおいて、前記領
域並べ換え順序を示す情報を記述した領域並べ換えテー
ブルをさらに備えると共に、前記第1の符号化手段は、
前記領域並べ換えテーブルに記述された前記領域並べ換
え順序を示す情報を符号化することを特徴とする。
置は、第1ないし第3の構成の何れかにおいて、前記領
域並べ換え手段は、重要な情報が位置している画面の領
域を前記領域並べ換え順序の先頭にして当該領域を並べ
換えることを特徴とする。
置は、第1ないし第4の構成の何れかにおいて、前記領
域並べ換え手段は、画面の中央の領域を前記領域並べ換
え順序の先頭にして当該領域を並べ換えることを特徴と
する。
法は、フレーム毎に入力される画像信号を複数個の領域
に分割する領域分割ステップと、この領域分割ステップ
で分割された各領域に対して領域単位の順序を換える領
域並べ換えステップと、領域並べ換え順序を示す情報を
符号化する第1の符号化ステップと、前記領域並べ換え
順序に従って並べ換えられた各領域の画像信号を符号化
する第2の符号化ステップとを備えることを特徴とす
る。
法は、第6の構成において、前記領域分割ステップで
は、フレーム毎に入力される画像信号が複数個のマクロ
ブロック単位に分割されることを特徴とする。
法は、第6または第7の構成の何れかにおいて、前記第
1の符号化ステップで符号化される前記領域並べ換え順
序を示す情報は、領域並べ換えテーブルに記述されてい
ることを特徴とする。
法は、第6ないし第8の構成の何れかにおいて、前記領
域並べ換えステップでは、重要な情報が位置している画
面の領域を前記領域並べ換え順序の先頭にして当該領域
を並べ換えることを特徴とする。
方法は、第6ないし第9の構成の何れかにおいて、前記
領域並べ換えステップでは、画面の中央の領域を前記領
域並べ換え順序の先頭にして当該領域を並べ換えること
を特徴とする。
する。まず、動画像符号化装置の概念図である図1によ
り、全体構成を説明する。画像入力は符号化手段10に
より圧縮符号化され、所定の配列の2つの符号列に形成
される。この符号化手段10は、画面上を所定領域毎に
分割する領域分割手段11と、分割された領域毎に例え
ば重要度等の基準により並べ換える領域並べ換え手段1
2と、並べ換えられた領域について2つの符号列を形成
する符号列形成手段13と、を含んでいる。符号化手段
10により形成された符号列は、符号列分割手段14に
より分割され、次いで、符号列並べ換え手段15により
1つのフレーム内を、このフレームを挟む2つのフレー
ム同期信号(PSC)からフレーム中央に向かい正逆両
方向に並べ換えられる。この状態を示すのが図2のデー
タフレームである。
第1の実施の形態のブロック図である。この実施の形態
は動き補償適応予測離散コサイン変換符号化方式を用い
た動画像符号化装置である。
方式については前述の文献1等に詳しい説明があるので
動作の概略のみを説明し、従来方式との差異を詳細に説
明する。
分割器101において、予め定められた領域毎に分割さ
れた後、領域並べ変え器102に転送される。領域並べ
変え器では並べ変える順序を記述した領域並べ変えテー
ブル103の情報を基に並べ変えが行なわれ、各領域毎
に動き補償適応予測器104に転送される。領域の並べ
変えに関する部分は本発明の重要部分であるため、ブロ
ック図についての概略を説明した後、詳細に説明する。
でに符号化/復号化処理が終了した前フレームが格納さ
れているフレームメモリ105から呼び出された前フレ
ーム情報と、前記領域毎に分割された現フレーム情報と
を比較し、現フレームのその領域が前フレームのどの部
位から移動してきたか、つまり現フレームまでの間にそ
の領域にどの程度の動きがあったかを計算してこれを動
きベクトルとして表現する(この一連の操作を動き補償
と称する)。
報から動き補償された前フレームの各領域情報が差し引
かれ、その差分情報(つまり前フレームに動き情報を考
慮しただけでは表しきれなかった現フレームの情報)が
離散コサイン変換器107、量子化器108にて符号化
される。各領域毎に、この符号化情報と動きベクトル情
報が多重化器109にて多重化され、さらに符号列分割
器110にて符号列を二つに分割し、次の符号列並べ変
え器111にて並べ変えが行なわれた後、伝送路に送出
されて受信側に送られる。この、符号列分割器110お
よび符号列並べ変え器111に関しても、本発明の重要
部分のため前記領域並べ変え器と同様に詳細は後述す
る。
量子化器112、逆離散コサイン変換器113で動き補
償誤差として復号され、加算器114にて動き補償後の
前フレーム情報と動き補償誤差とが加算され現フレーム
情報が再生されてフレームメモリ内に格納される。
は、領域分割器101が領域を分割した後、図30に示
される順で領域単位に符号化していたのに対し、本発明
では各領域に分割後、新たに領域並べ変え器102を付
加し領域の並べ変えを行なう。図4は、分割した領域を
どのような順序で並べ変えを行なうかを示した一例であ
る。このような領域の符号化順序を記憶した領域並べ変
えテーブル103を用意し、それを参照しながら領域並
べ変え器102では領域の並べ変えを行なう。本発明で
は領域並べ変え器102で並び変え符号化された符号列
を符号列分割器110において2つの符号列に分割す
る。図4の場合、(a)、(b)それぞれに対応した第
1の符号列及び第2の符号列に分割する。
いて、第1の符号列はフレーム同期信号に連続して前方
から後方へ順方向に並べ、第2の符号列は第1の符号列
に連続して後方から前方へ逆方向に並べ変え伝送路へ送
出する。図5は本発明における伝送路へ送出する符号列
の並べ方を記述したものである。これにより、2つに分
割した符号列のうち第1の符号列は現フレームのフレー
ム同期信号を見つけることで復号可能となり、第2の符
号列は次フレームのフレーム同期信号を見つけることに
より、その同期信号から逆方向に符号列が配列されてい
るので復号可能となる。よって、復号途中で誤りが発生
した場合、従来は次フレームのフレーム同期信号までの
情報を全て廃棄しなくてはならないため画質に大幅な劣
化を生じていたのに対し、本発明では一方の情報に誤り
が生じて復号できず、さらに可変長符号の同期はずれか
ら第1の符号列の終端部分が特定できない場合でも、第
2の符号列は次フレームのフレーム同期信号にのみ依存
しているため第1の符号列とは無関係に復号が可能とな
る。このように本発明は一方の符号列に生じた誤りの影
響が他方の符号列の復号に及ばない構造となっている。
これにより図31の従来の符号化装置において問題とな
っていた前部情報に後部情報が依存する問題点を解決す
ることができる。
くは両方の情報が途中までしか復号できなかった場合で
も領域の符号化順序を図4のように変更しているため、
復号できる領域が画面の特定領域に偏らなくすることが
できる。また、復号できた領域が画面全体に均一に存在
していることから、復号できた領域の情報を用いて復号
不可能となった領域を予測することが容易に行なうこと
ができる。これによって、現フレームの画像を完全とは
いかないまでも大幅な画質劣化を引き起こさないように
することができ、ある程度の高画質を有する画像として
復号することができる。
明を合わせた例を挙げたが、特に第1及び第2の発明を
同時に用いる必要はなく、それぞれ独立に実現すること
も可能である。また、この第1の実施の形態は動き補償
適応予測離散コサイン変換符号化方式を用いていたが、
特にこの符号化方式である必要はなく他の画像符号化方
式に対しても利用可能である。
例を幾つか示したものである。例えば画面中央に重要な
情報(動き、顔等)があるような入力画像が中心のアプ
リケーションであれば、画面中央の領域が先頭に来るよ
うに情報を並べ変える。このように並べ換えを行なうこ
とで誤りが生じ可変長符号の同期外れが生じた場合でも
重要な領域の復号可能確率を従来より高くすることがで
きる。これは、誤りが生じた場合可変長符号の性質上後
部の情報ほど復号不可能となる確率が高くなることを考
慮した構成となっているためである。また、この他にも
動きベクトルの値等から画像の重要中心部を求め、その
座標の領域から図8に示されるように螺旋状に領域を符
号化することで各入力画像毎に並べ変えテーブルを切替
えてもしくは作成使用することも可能である。その際、
フレーム毎の符号列は、フレーム同期信号の後に前記重
要中心部座標を表す情報を挿入しておくなどして符号化
側と復号化側での整合性をとる必要がある。さらに、符
号化側と復号化側で同一の並べ変えテーブルを複数個用
意し、符号化側で画像に応じ適応的に切替え使用した並
べ変えテーブルの番号と合わせて受信側へ送出すること
で、並べ変えテーブルを切替えることも可能である。
用した場合、順方向、逆方向に符号列を分割する必要は
なく、1つの符号列として順方向からも逆方向からも復
号できる。その際、符号列の並び方を図4,6,7及び
8にそれぞれ示されるような並び方にすることにより重
要な部分の復号確率を高くすることも可能である。その
一例として、図9に双方向復号可能な可変長符号を利用
した場合の符号列の並べ方を示す。図中の数字のついた
ブロックは、それぞれが符号化の際のマクロブロックに
相当するようなものを表しているとする。
について説明する。図10は第2の実施の形態の符号化
装置を示すブロック図である。図3と異なる点は、図1
1に示すように情報の分割が第1の実施の形態は画面全
体を2つの領域群に分割し、符号列分割器110でそれ
に対応する符号列に分割するのに対し、この実施の形態
は第1および第2の符号列それぞれが画面全体の全ての
の領域を含む変わりに各領域の符号列それぞれがDCT
係数列分割器220で2つに分割された一方のみを含ん
だものとすることにある。
も、他方の情報が復号可能であるならば、各領域毎に通
常の品質より多少は劣っていてもある程度の品質を有す
る画像が復号でき、第1の実施の形態に比較し画面全体
では均一な画質が得ることができる。この他にも、DC
T係数に限られず他の各情報も2つに分割し、符号化す
ることも可能である。
は、以下のような例があげられる。予測誤差信号を離散
コサイン変換して得られた係数を、従来は図33のよう
にジグザクスキャンにより符号化していたのに対し、本
発明においては図12のように奇数番目の係数と偶数番
目の係数とに分割する。また、図13のように水平方向
の相関を強く反映する部分と垂直方向の相関を強く反映
する部分に分割することも可能である。さらに、上記の
例(図12)が通常のジグザグスキャンを基にしてDC
T係数列を分割しているのに対し、画像に合ったスキャ
ンを基にDCT係数を分割する構成とすることも本発明
では可能である。
た動画像復号装置を示している。符号化装置から伝送/
蓄積された符号列はフレーム同期信号検出後、符号化順
序テーブル1103の情報を基に、各領域毎に予測誤差
信号を復号し、逆量子化器1112において逆量子化、
逆DCT器1113で逆離散コサイン変換という一連の
処理を行なう。この際、読み込んだ符号列は符号列メモ
リ1116に同時に蓄えていく。前部第1の符号列を復
号終了した場合、もしはく何らかの誤りが生じ復号不可
能となった場合には、復号処理を停止し、次のフレーム
のフレーム同期信号まで符号列メモリ1116に符号列
を蓄え続ける。次フレームのフレーム同期信号を発見し
たら、符号列並べ変え器1117において符号列メモリ
1116の内容を最後から1ビットづつ逆に読みだし復
号を行なう。前部第1の符号列と同様に復号を行ない、
復号が終了もしくは誤りにより復号不可能となった場合
には復号処理を終了し、前部第1の情報と後部第2の情
報の復号できた情報を合わせて復号情報とする。
して再生画像を得る。再生画像は装置外へ出力されると
共にフレームメモリ1105へ記録される。上記のよう
な2つに符号列が分解され一方が順方向他方が逆方向に
並べられた符号列を復号することで、一方に誤りが存在
し復号不可能となった場合でも他方へは全く影響せず復
号を行なうことができる。さらに、領域並べ変えによっ
て符号化順序を変更していることから、誤り検出器11
26,1127によって誤りが検出された場合でも、復
号できた領域から復号不可能となった領域を予測し、補
間することが従来法に比べて容易となる。
て伝送を行なう場合の符号化装置について説明する。誤
り率の異なる伝送路を用いて伝送する際、誤り率の低い
高品質な伝送路で誤った場合重大な影響を及ぼす重要な
情報を伝送し、誤り率の高い伝送路では重要度の低い情
報を伝送するといった階層化手段がしばしば用いられ
る。そこで、誤り率の低い伝送路(上位階層)、誤り率
の高い伝送路(下位階層)それぞれに転送される情報に
対し前記第1の実施の形態、第2の実施の形態と同様に
領域の並べ変え、符号列の分割、符号列の並べ変えを行
なうことで階層符号化に対しても同様に対応できる。図
15は階層化と組み合わせた際の符号列の例を示したも
のである。この例は、領域の並べ変えを行ない符号化さ
れたもののうち、上位階層にはモード情報、動きベクト
ル等の重要な情報を入れ、下位階層には予測差信号をい
れる。
分割し一方を前方から後方へ順方向に、他方を後方から
前方へ逆方向に並べ変える。第1の実施の形態のように
符号列を分割する場合、上位階層と下位階層で同じ分割
の仕方をする方が上位階層と下位階層の整合性が正しく
とれる。しかし、1フレームの領域を2つに分割する
際、符号量がどちらか一方に偏るような場合には、上位
階層は誤り率が低いことを考慮して図16のように符号
列の分割は行なわず1つの符号列で表し、下位階層のみ
符号列の分割を行なう。その際、下位階層の2つの符号
列の符号量が均等に近づくように、図4の(a)(b)
に含まれる領域の個数を変える。つまり、図4(a)
(b)に含まれる領域の数を等しくせず、上位階層のモ
ード情報等から動的に変化させる。このようにすること
で、下位階層の2つに分割した符号列の符号量が均等に
なるように分割することができる。
とで切り別けているが、動きベクトルの符号量に応じて
動きベクトルを上位階層、下位階層に振り分けたり、も
しくは動きベクトルの符号量が少なく上位階層に余裕の
ある場合には、予測誤差信号のDCT係数のうち幾つか
を上下階層に振り分ける等の操作を行なうことも可能で
ある。
に対し重要度の高い情報を前部に配置し、重要度の低い
情報をそれに続いて配置するようなシステムにおいて
は、図17(a)における重要度の高い符号列を順方向
に並べてから、重要度の低い符号列を逆方向に並べかえ
て重要度の高い符号列の後ろに配置するように適用する
(図17(c))ことで、図17(b)に示す従来の例
に比較して誤りが生じた場合でも多くの情報が正しく復
号可能になる。その際、上位階層の符号列(順方向の符
号列)の先頭に位置する情報に対応した下位階層の情報
ほど下位階層の符号列(逆方向の符号列)の先頭に位置
するように配置する。可変長符号化では先頭の情報の方
が正しく復号される確率が高いため、図18のように本
実施の形態の方式を適用すると、上位は前部の情報ほ
ど、下位は後ろの同期信号に近い後部の情報ほど正しく
復号される確率が高い。
していく方式のうち、各単位毎の情報を上位・下位に分
割し符号化する階層符号化方式においては、上位の先頭
の情報に対応した下位の情報を後部(後部の同期信号の
近く)に配置する方が効率が良い。図19にはその詳細
が示されている。この場合、図19(a)のように配置
しないで、図19(b)のように配置すると、下位で正
しく復号できた情報に対応する上位の情報がないため、
符号語のレベルで復号できてもそこから画像信号を再生
することができなくなる。
復号装置を階層符号化方式に適用するについては、上記
実施の形態のように階層化された符号列毎に本発明を適
用するのではなく、順方向に並べられた符号列と逆方向
に並べられた符号列とのそれぞれの符号列を階層化する
ようにしても良い。
の形態を説明するための符号列の構成を示している。図
20に示されるように、この実施の形態においては2つ
に分割された符号列のそれぞれが階層化されているもの
であり、例えば、1フレームの画像を飛び越し走査(イ
ンタレース)して2つのフィールドに分割し、まず、そ
の一方のフィールドを順方向の符号列として構成し、他
方を逆方向の符号列として構成する。次に、それぞれの
符号列において、上位情報としては復号時に必ず必要と
なるような情報を配置し、下位情報としては例えば残差
部等を配置して階層化する。
何れか一方が誤り等の発生により復号できない場合であ
っても、もう一方は完全に復号することができる。した
がって、上位情報と下位情報とをそれぞれ別個に階層化
するよりは容易かつ効率的に階層符号化を実施すること
が可能となる。また、上位情報が完全に復号されない
と、たとえ下位情報が復号されても利用することができ
ないようなシステムにおいても効率的な符号の階層化を
実現できる。下位情報が復号されても上位情報が復号さ
れないと利用することのできないシステムというのは、
例えば図15の例において、上位情報と下位情報との間
に同期信号が挿入されていなかったり、上位情報の最後
を示すポインタ情報が付加されていない場合等が考えら
れる。したがって、図15の実施の形態において、上位
情報・下位情報間に同期信号を挿入したり、ポインタ情
報等を付加したりすることによっても、上位情報が復号
されても下位情報が復号されない限り、何れの情報をも
利用できないという不具合は改善することが可能ではあ
るが、この実施の形態のように階層符号化することによ
り、格段に容易に上記不具合を解消できる。
おいて、動画像を3つの符号列に分割して符号化を行な
った実施の形態について図21を参照しながら説明す
る。この実施の形態においては、上述した階層符号化の
概念を踏まえて動画像の符号化を行なうものであり、例
えば重要な情報を2つに分割して第1の符号列と第2の
符号列とを構成し、重要な情報の符号列に含まれなかっ
た情報についてさらに第3の符号列を構成するものであ
る。このような重要度にしたがった配列により第1ない
し第3の符号列を構成した後、具体的には図21の下側
に図示のような配列で符号列を構成する。このような配
列で符号を並べることにより、重要な情報の保護を強化
することができる。
層符号化を画像情報の符号化に適用する場合、重要情報
部にはモード情報や動きベクトル情報が割り当てられ、
これらの情報が画面の何れの位置に配置されているかを
考慮して2つの符号列に分割する。この分割に際して
は、重要情報用の2つの符号列の一方が誤り等により消
失した場合であっても、他方がその消失を補えるように
マクロブロックを市松模様状に選択して、市松模様の例
えば黒ブロックを第1の符号列に対応させ、白ブロック
を第2の符号列に対応させておくことにより、フラッシ
ング(flashing―明滅―)やコンシールメント(concea
lment ―隠蔽―)等の処理が容易に行なえるようにする
ことも可能である。このように、重要情報は第1及び第
2の符号列に分割して配列し、第3の符号列には残差部
を割り当てればよいが、第3の符号列自身の誤り耐性を
向上させるためにこの第3の符号列に固定長符号や双方
向に復号可能な可変長符号を配列させるようにしても良
い。
み合わせることも可能である。第2の符号列を第1の符
号列と同一又はこれに準ずるものとし、図21の下側に
示されたような配列に構成しておくことにより、通常は
第1の符号列を順方向についてのみ復号して動画像を再
生して利用すると共に、この第1の符号列に誤りが発生
した場合に、逆方向に第2の符号列を復号すれば誤りの
ない完全な画像情報を得ることができる。
画面の位置関係について、例えば、第1の符号列を画面
の左上から右下へと対応画素の情報を当てはめ、第2の
符号列を画面の右下から左上へと当てはめることによ
り、符号語の何れかに誤りが生じても左上から右下に復
号した第1の符号列と、右下から左上へと復号した第2
の符号列とを重複して利用することができる。これによ
り、例えば何れかの符号列の何れかの箇所に誤りが発生
しても、第1及び第2の符号列を順方向及び逆方向に復
号していけば、互いを補うことが可能となり、復号可能
な情報の確率を向上させることができる。このように、
対になる符号列が構成されている順序を両方が誤りによ
り完全に復号できない場合でも互いに補い合える構成と
することにより、符号語の何れかに誤りが発生した際に
正しく復号できる情報の割合を高くすることができる。
に新たに付加する必要がないことから、単純に二重化す
る場合よりも効率が良くなる。この構成は、図21に示
された配列に限定されず、一方の符号列を通常の符号列
とし、他方の符号列を予備の符号列とすることによりこ
の発明の他の実施の形態の何れに対しても適用可能であ
る。
て、符号語の配列の順序を符号列単位で順方向及び逆方
向とするのではなく、より小さな情報の単位で符号語の
配列を順方向と逆方向とするように構成しても良い。上
述してきた実施の形態は何れも符号列を何らかの基準に
より2つの情報単位に分割し、一方を順方向に符号語を
配列し、他方を逆方向に配列するものとして説明してき
た。しかしながら、符号化の際に逆方向に並べられる符
号列は、一旦バッファに蓄積した後で並べ替えを行ない
出力する必要があることから、符号化が終了してからで
ないと並べ替えの処理を行なうことができず、処理動作
に遅延が発生してしまうという問題があった。
符号列の単位により符号化を行なうのではなく、例えば
マクロブロック単位のような小さな単位により逆方向に
符号化することにより、処理動作の遅延を少なくするこ
とができる。このような実施の形態における構成が、図
22に示されている。図22において、マクロブロック
MB1からMB10の情報を半分に分割する際に、逆方
向に配列されるマクロブロックMB6からMB10を一
纏めにして並べ替えるのではなく、それぞれのマクロブ
ロック毎に並べ替えて符号化することを意味している。
は、復号化器を用いてマクロブロックMB10から順に
復号する必要がある。しかしながら、通常の復号化器は
前のマクロブロックと後のマクロブロックとの差分を符
号化しておいてこの差分符号を用いて後のマクロブロッ
クを復号するというように、前のブロックの情報を後の
ブロックの復号に利用しているために、マクロブロック
MB1から順に復号しなくてはならない。
の情報からでも復号できるように付加情報を付け加える
ことにより、上記のような順方向で復号しなくてはなら
ないという問題を克服している。例えば、動きベクトル
や量子化幅のような前の情報との差分を符号化するよう
な情報に対して、後ろからも復号可能なようにマクロブ
ロックMB10の動きベクトル及び量子化幅の実際の値
を付加情報として付け加えることにより、マクロブロッ
クMB10からでも復号を開始することが可能となる。
その後は、マクロブロックMB10の情報中にマクロブ
ロックMB9との差分に関する情報が含まれていること
から、この情報を利用してマクロブロックMB9の復号
を行なう。以下、同様にマクロブロックMB8、MB
7、MB6のように順次に逆方向から復号することによ
り、一纏まりの情報を完全に復号化することが可能とな
る。この付加情報は、必ずしも図22に示される位置に
付加される必要はなく、逆方向に並べられた符号語を復
号する前にその位置が特定できる箇所でありさえすれ
ば、何れの位置にでも付け加えることが可能である。
を述べたが、ここに述べた方式は特に上位階層、下位階
層といった重要度に差のある情報を符号化する際の符号
列の並べ方に特定するものではなく、同等の重要度を有
する2つの符号列に対しても同様の手法を適用できるこ
とは勿論である。
発明に係る符号化装置が適用されるだけではなく、多階
層の情報の纏まりに対しても上記と同様に本発明を適用
することが可能である。
べ変えをフレーム単位で行ないフレーム同期信号で同期
を取っているが、特にフレーム同期信号である必要はな
く、第1の符号列の前の第2の符号列の後ろに同期信号
があれば全ての場合で利用可能である。例えば、1フレ
ームの中に複数個の同期信号が存在する場合(図30
(a)の1行づつに同期信号が挿入されている場合
等)、従来は図30(b)に示すように行毎にフレーム
内同期信号を挿入したものを、図30(c)のように同
期信号から同期信号までを単位として領域並べ変え、符
号列分割、および符号列の並べ変えを1行内で行なうこ
とも可能である。即ち、図30(b)の従来例のように
従来並べ変えられていたものを図30(c)のように行
なうことも可能である。
ロックで構成する方式に重要領域から並べる方式を適用
した図である。この方式のように、フレーム同期信号
(PSC)以外にフレーム内に同期信号を挿入し、誤っ
た場合でも利用不可能な情報が少なくなるようにするも
のは図34に示すように従来から用いられている。この
フレーム内を同期信号によって分割した各シンクブロッ
クに対し、図23に示すように例えば(a)のような順
で符号化したものを第1のシンクブロックに対応させ、
(b)の順で符号化したものを第2のシンクブロックに
対応させることで、どちから一方が誤りにより損失した
場合でも、他方が補う構造とすることができる。また重
要ブロックから並べることで、重要ブロックほど正しく
復号できる確率が高くなる。
号を付することにより、双方向の復号を可能としている
が、本発明は符号列を復号する前に符号列の最後の部分
を特定できるものであれば、同期信号は特に必要ではな
い。以下、この同期符号を用いない方式に係る実施の形
態について説明する。1フレーム分または数マクロブロ
ック分の情報のような所定単位の情報を固定長符号化し
て出力するような符号化システムの場合、復号側では同
期信号等を特に頼りにすることなく、順方向に並べられ
た符号列と、逆方向に並べられた符号列と、のそれぞれ
の先頭を特定することができる。図24は、この固定長
符号化された符号列に本発明に係る符号化装置を適用し
た例を示している。この例においては、N個のマクロブ
ロック(MB)を合わせてmビットになるように固定長
化されている符号列に本発明を適用した実施の形態が示
されている。この実施の形態において、図25に示すよ
うに、逆方向に並べられている符号列の先頭は必ずmビ
ット毎に存在するために、上述したように同期信号を符
号列中に介挿する必要がなくなり、規則的に正しく復号
することができる。
位で情報が固定長にはなっていないシステムにおいて
も、同期信号によらずに逆方向に並べられた符号列の先
頭位置を特定することのできる実施の形態について説明
する。この実施の形態に係るシステムにおいては、逆方
向の符号列の先頭がどの箇所に位置付けられているかを
特定できる情報を付加して符号列を出力するように構成
されている。図26がこの実施の形態に係る符号列を示
している。先頭を示すポインタ情報を、同期を取ること
が可能なフレームヘッダまたはこれに準ずる位置に配置
することにより、復号器側においてはこのポインタ情報
を用いて逆方向に並べられた符号列の先頭を特定してこ
れらの符号列を復号する。このように、同期信号の代わ
りに所定単位で符号列の最後が特定できるように構成し
ておくことにより、本発明は可変長符号化方式であって
も実施が可能となる。
形態における、復号装置での高速再生の動作について説
明する。高速順方向再生の場合、フレームの先頭を示す
フレーム同期信号を受信後、順方向に記述されている前
部の第1の符号列のみ前記復号処理により復号を行ない
次フレームへ処理を進める。逆方向に並べ変えられた第
2の符号列に相当する情報は、第1の符号列により復号
された情報を用いて補間等を行なうことで対応する。
様に、逆方向にフレーム同期信号を探し、フレーム同期
信号を受信後逆方向に並べ変えられた第2の符号列のみ
復号を行なう。この際、動き補償適応予測符号化を用い
ている場合には前フレームの画像が必要なため、動き補
償を用いていないフレームのみを選択していく必要があ
る。
び復号装置を無線通信システムに応用した第3の実施の
形態を示すものである。図27において無線通信システ
ムは、画像伝送系20と画像再生系30とを含み、ネッ
トワーク40の設けられた基地局41を介して画像の伝
送や受信が行なわれる。
を、誤り耐性処理部23を備える情報源符号化部22
と、伝送路符号化部24と、無線部25と、を備えてお
り、情報源符号化部22においては離散コサイン変換
(DCT)や量子化等が行なわれ、また、伝統路符号化
部24においては、符号化データの誤り検出や訂正等が
行なわれる。
統路復号化部32、誤り耐性処理部34を含む情報源復
号化部33と、画像信号出力部35と、を備えている。
置及び復号装置が適用される一例を示すものであり、図
示のように、無線通信ネットワーク40の基地局41、
42、43を介して、ラップトップタイプのパソコン5
1やデスクトップのパソコン52等の端末50により動
画像の伝送及び受信が行なわれる。
伝送/蓄積の際に発生する符号の誤りに起因する復号画
像の品質劣化が小さい動画像符号化装置および方法を提
供することができる。
符号情報群に分割し、少なくとも符号情報群の1つを順
方向、他の1つを逆方向に記述することで、一方の情報
に誤りが発生しても他方の情報から復号を行なうことに
より、動画像情報の復号効率の向上を図ることができ、
また、復号された画像の品質が大幅に劣化するのを防止
することもできる。
り1つの入力画像から2つの独立した符号列を出力する
場合、入力画像を分割した各領域の符号化順序をそれぞ
れ別々の順序で符号化することで、両方の情報に途中で
誤りが発生し復号不可能になった場合でも復号可能な部
分が画像の一部に偏ることがなくなり、画面の全体もし
くは重要な部分が優先的に再生可能となる。
示すブロック図。
示す図。
装置のブロック図。
の一例を示す図。
た符号列を示す図。
の例を示す図。
の例を示す図。
変え順序の例を示す図。
の符号列の並べ方を示す図。
化装置のブロック図。
態との相違点を示す図。
す図。
方向の相関を考慮した順序に分割する例を示す図。
ブロック図。
す図。
す図。
方式の例を示す図。
を示す図。
の誤り発生時を示す図。
を示す図。
号列の構成を示す図。
の符号列の構成を示す図。
ムを複数シンクブロックで構成する方式に適用した図。
おける符号列の構成を示す図。
他の符号列の構成を示す図。
態の符号列を示す図。
を無線通信システムに応用した実施の形態を示す図。
を無線通信システムに応用した実施の形態を示す図。
図。
た符号列を示す図。
図。
示す図。
償器 105,205,305,1105,1205 フレー
ムメモリ 106,206,306 差分器 107,207,307 離散コサイン変換器 108,208,308 量子化器 109,209,309 多重化器 110 符号列分割器 111,211 符号列並べ変え器 112,212,312,1112,1212 逆量子
化器 113,213,313,1113,1213 逆離散
コサイン変換器 114,214,314,1114,1214 加算器 1115,1215 非多重化器 1116 符号列メモリ 1117 符号列並べ変え器 1119 画像信号並べ変え器 220 DCT係数列分割器 221 DCT係数列合成器 122,123,222,223,322,323 可
変長符号化器 1124,1125,1224,1225 可変長復号
化器 1126,1127 誤り検出器 131,231,331 入力画像信号 133,233,333 予測信号 134,234,334 予測残差信号
Claims (10)
- 【請求項1】フレーム毎に入力される画像信号を複数個
の領域に分割する領域分割手段と、該領域分割手段によ
り分割された各領域に対して領域単位の順序を換える領
域並べ換え手段と、領域並べ換え順序を示す情報を符号
化する第1の符号化手段と、前記領域並べ換え順序に従
って並べ換えられた各領域の画像信号を符号化する第2
の符号化手段とを備えることを特徴とする動画像符号化
装置。 - 【請求項2】前記領域分割手段は、フレーム毎に入力さ
れる画像信号を複数個のマクロブロック単位に分割する
ことを特徴とする請求項1に記載の動画像符号化装置。 - 【請求項3】前記領域並べ換え順序を示す情報を記述し
た領域並べ換えテーブルをさらに備えると共に、前記第
1の符号化手段は、前記並べ換えテーブルに記述された
前記領域並べ換え順序を示す情報を符号化することを特
徴とする請求項1または請求項2の何れかに記載の動画
像符号化装置。 - 【請求項4】前記領域並べ換え手段は、重要な情報が位
置している画面の領域を前記領域並べ換え順序の先頭に
して当該領域を並べ換えることを特徴とする請求項1な
いし請求項3の何れかに記載の動画像符号化装置。 - 【請求項5】前記領域並べ換え手段は、画面の中央の領
域を前記領域並べ換え順序の先頭にして当該領域を並べ
換えることを特徴とする請求項1ないし請求項4の何れ
かに記載の動画像符号化装置。 - 【請求項6】フレーム毎に入力される画像信号を複数個
の領域に分割する領域分割ステップと、この領域分割ス
テップで分割された各領域に対して領域単位の順序を換
える領域並べ換えステップと、領域並べ換え順序を示す
情報を符号化する第1の符号化ステップと、前記領域並
べ換え順序に従って並べ換えられた各領域の画像信号を
符号化する第2の符号化ステップとを備えることを特徴
とする動画像符号化方法。 - 【請求項7】前記領域分割ステップでは、フレーム毎に
入力される画像信号が複数個のマクロブロック単位に分
割されることを特徴とする請求項6に記載の動画像符号
化方法。 - 【請求項8】前記第1の符号化ステップで符号化される
前記領域並べ換え順序を示す情報は領域並べ換えテーブ
ルに記述されていることを特徴とする請求項6または請
求項7の何れかに記載の動画像符号化方法。 - 【請求項9】前記領域並べ換えステップでは、重要な情
報が位置している画面の領域を前記領域並べ換え順序の
先頭にして当該領域を並べ換えることを特徴とする請求
項6ないし請求項8の何れかに記載の動画像符号化方
法。 - 【請求項10】前記領域並べ換えステップでは、画面の
中央の領域を前記領域並べ換え順序の先頭にして当該領
域を並べ換えることを特徴とする請求項6ないし請求項
9の何れかに記載の動画像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003061759A JP2003289539A (ja) | 1995-03-15 | 2003-03-07 | 動画像符号化装置および方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5628595 | 1995-03-15 | ||
JP7-56285 | 1995-03-15 | ||
JP27798295 | 1995-10-25 | ||
JP7-277982 | 1995-10-25 | ||
JP2003061759A JP2003289539A (ja) | 1995-03-15 | 2003-03-07 | 動画像符号化装置および方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8055096A Division JPH09182073A (ja) | 1995-03-15 | 1996-03-08 | 動画像符号化装置および復号装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003289539A true JP2003289539A (ja) | 2003-10-10 |
Family
ID=29254952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003061759A Pending JP2003289539A (ja) | 1995-03-15 | 2003-03-07 | 動画像符号化装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003289539A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022520609A (ja) * | 2019-02-13 | 2022-03-31 | フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | オーディオ送信プロセッサ、オーディオ受信プロセッサ、および関連方法ならびにコンピュータプログラム |
-
2003
- 2003-03-07 JP JP2003061759A patent/JP2003289539A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022520609A (ja) * | 2019-02-13 | 2022-03-31 | フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | オーディオ送信プロセッサ、オーディオ受信プロセッサ、および関連方法ならびにコンピュータプログラム |
JP7348297B2 (ja) | 2019-02-13 | 2023-09-20 | フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | オーディオ送信プロセッサ、オーディオ受信プロセッサ、および関連方法ならびにコンピュータプログラム |
US11875806B2 (en) | 2019-02-13 | 2024-01-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-mode channel coding |
US12009002B2 (en) | 2019-02-13 | 2024-06-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio transmitter processor, audio receiver processor and related methods and computer programs |
US12039986B2 (en) | 2019-02-13 | 2024-07-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and decoding method for LC3 concealment including full frame loss concealment and partial frame loss concealment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5852469A (en) | Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system | |
JP3923898B2 (ja) | 画像符号化方法及び装置 | |
US20020114397A1 (en) | Stream processing apparatus and method | |
JP2004007753A (ja) | 画像復号化方法及び装置 | |
KR100668993B1 (ko) | 신호 처리 장치와 방법, 기록 장치, 재생 장치, 기록 및 재생 장치, 및 스트림 처리 장치와 방법 | |
JPH09182073A (ja) | 動画像符号化装置および復号装置 | |
JP2003289539A (ja) | 動画像符号化装置および方法 | |
JP2003299094A (ja) | 動画像復号装置および方法 | |
JP2003250158A (ja) | 動画像復号装置および方法 | |
JP4131977B2 (ja) | 可変長復号化装置 | |
JP2006141045A (ja) | 動画像復号装置および方法 | |
JP2006141044A (ja) | 動画像符号化装置および方法 | |
JP3819638B2 (ja) | 可変長符号化装置 | |
JP2004007766A (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3905938B2 (ja) | 画像符号化装置および画像復号化装置 | |
JP4199240B2 (ja) | 可変長復号化装置およびこの装置で用いられるデータまたはプログラムを記録した記録媒体 | |
JPH08125967A (ja) | 画像データ記録再生装置 | |
JPH0993589A (ja) | 動画像圧縮符号の復号方法及び復号装置 | |
JPH0993604A (ja) | 記録再生装置 | |
JPH09121350A (ja) | 可変長符号化における事象の配置・伝送方法 | |
JP2004056808A (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP2004007767A (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2004072748A (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP2007151163A (ja) | 画像復号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050624 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050819 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051128 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051209 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060113 |