JP2004129216A - 画像復号化方法及び装置 - Google Patents
画像復号化方法及び装置 Download PDFInfo
- Publication number
- JP2004129216A JP2004129216A JP2003189065A JP2003189065A JP2004129216A JP 2004129216 A JP2004129216 A JP 2004129216A JP 2003189065 A JP2003189065 A JP 2003189065A JP 2003189065 A JP2003189065 A JP 2003189065A JP 2004129216 A JP2004129216 A JP 2004129216A
- Authority
- JP
- Japan
- Prior art keywords
- code string
- basic
- additional
- decoding
- code sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【解決手段】入力符号列436を付加符号列に付加されている同期符号を用いて符号列分離器406により基本符号列432と付加符号列433とに分離して、復号器408で復号を行って復号データ437を出力し、復号データから復号器408で基本符号列432が復号可能か復号不可能かを誤り検出器409により判定し、この判定結果に基づいて切替器407により、基本符号列432が復号可能な場合は基本符号列を復号器408に入力し、復号不可能な場合は付加符号列433を復号器408に入力する。
【選択図】 図3
Description
【発明の属する技術分野】
本発明は、画像を少ない情報量に圧縮符号化し、また圧縮符号化により得られた符号列を復号して画像を再生する画像復号化方法及び装置に係り、特に無線伝送路のような誤りが生じやすい媒体を介して符号化画像を伝送/蓄積する場合でも誤り耐性が強く高品質に伝送/蓄積を行なうことができる画像復号化方法及び装置に関する。
【0002】
【従来の技術】
TV電話、TV会議システム、携帯情報端末、ディジタルビデオディスクシステムおよびディジタルTV放送システムのような画像を伝送したり蓄積するシステムにおいて、伝送または蓄積のために画像を少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化およびピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式としてISO・MPEG1,MPEG2,ITU−T・H.261,H.262が規定されている。これらはいずれも動き補償適応予測と離散コサイン変換を組み合わせた圧縮符号化方式であり、文献1(安田浩編著、“マルチメディア符号化の国際標準”、丸善、平成3年6月)等に詳細が述べられている。
【0003】
図29に、従来の動画像符号化装置の例として動き補償適応予測と離散コサイン変換を用いた符号化装置の基本構成を示す。入力画像信号1231は、領域分割器1201で予め定められた複数の領域に分割された後、まず動き補償適応予測が行われる。すなわち、動き補償適応予測器1202において入力画像信号1231とフレームメモリ1203中に蓄えられている既に符号化および局部復号化が行われた前フレームの参照画像信号との間の動きベクトルが検出され、この動きベクトルを用いて参照画像信号に対して動き補償が行われることにより予測信号1233が作成される。ただし、動き補償適応予測器1202では、動き補償予測と入力画像信号1231をそのまま符号化に用いるフレーム内符号化(予測信号=0)のうち、好適な方の予測モードが選択され、その予測モードに対応する予測信号1233が出力される。
【0004】
次に、減算器1204において入力画像信号1231から予測信号1233が減算され、予測残差信号1234が出力される。予測残差信号1234は、離散コサイン変換器1205において一定の大きさのブロック単位で離散コサイン変換(DCT)が行われる。この離散コサイン変換により得られたDCT係数は、量子化器12012で量子化される。量子化器1206で量子化されたDCT係数は二分岐され、一方において可変長符号化器1213で符号化された後、多重化器1209において可変長符号化器1214で符号化された動きベクトル情報と多重化されて符号列として出力され、他方において逆量子化器1210で逆量子化された後、さらに逆離散コサイン変換器1211で逆離散コサイン変換(逆DCT)される。逆離散コサイン変換器1211からの出力は加算器1212で適応予測信号1233と加算されて局部復号信号となり、フレームメモリ1203に参照画像信号として記憶される。
【0005】
図30は、図29の動画像符号化装置に対応する動画像復号化装置の基本構成を示す図である。動画像符号化装置から伝送/蓄積された符号列は、逆多重化器1319において量子化されたDCT係数と動きベクトル情報に分離される。量子化されたDCT係数情報は可変長復号化器1320、逆量子化器1310、逆離散コサイン変換器1311を経て予測誤差信号となる。動きベクトル情報は可変長復号化器1321で復号された後、動き補償予測器1302に入力される。動き補償予測器1302では動きベクトルを用いてフレームメモリ1303内の前フレームの参照画像信号に動き補償が行われ、予測信号が生成される。次に、加算器1312において予測誤差信号と予測信号が加算され、画像信号が再生される。再生された画像信号は、装置外へ出力されると共にフレームメモリ1303に参照画像信号として記憶される。
【0006】
しかし、このような従来の動画像符号化/復号化装置には、以下のような問題がある。
【0007】
無線通信路等の誤りが混入する可能性のある通信路では、上記のような符号化を行っただけでは、誤りが生じた場合に復号画像品質が著しく劣化する。特に、同期信号、モード情報および動きベクトルといった信号が誤った場合の画質劣化は著しい。
【0008】
また、動画像符号化では前述した通り、動き補償適応予測符号化が頻繁に用いられるが、この動き補償適応予測符号化ではフレーム間の差分のみを符号化するため、誤りが生じるとそのフレームが誤るだけではなく、誤った画像がフレームメモリに蓄えられ、その誤った画像を用いて予測画像を作成し、残差が加えられることとなる。そのため、これ以降のフレームが正しく復号されたとしても、フレーム間差分を用いずフレーム内のみで符号化されているモード(イントラモード)で情報が送られてくるか、徐々に誤りの影響が減衰して元に戻るかのどちらか以外、それ以降のフレームも正しい復号画像は得られなくなる。
【0009】
図31は、この様子を図示したものである。この例は黒い円が動いていく様子を示しており、通常は次フレームの円を表す残差信号(残差信号の黒い円で表してあるもの)と、前フレームの円を消すための残差信号(残差信号の点線の円で表してあるもの)が含まれたものがフレーム間差分信号として出てくる。ここでは、簡略化のため動き補償はせず、MV(動きベクトル)=0としてフレーム間差分をとっている。
【0010】
ここで、誤りにより1フレーム分情報が失われたとすると、2番目のフレームは全く復号されず、例えば1番目のフレームのまま出力される。3番目のフレームでは、2番目のフレームに加えて始めて正しく復号できる残差を1番目のフレームに加えてしまい、全く別の画像となってしまう。これ以降、誤った画像に残差を加えていくため、基本的に誤りが消えず正しい復号画像を再生することは出来なくなる。
【0011】
この問題点を解決するため、従来では一定周期毎にイントラモードで符号化するリフレッシュと呼ばれる手法が通常用いられる。この場合、イントラモードで符号化すると符号量が増加して誤りのない時の画質を著しく低下させてしまうため、画面全体を一度にリフレッシュするのではなく、1フレームに数マクロブロックずつリフレッシュする周期リフレッシュ等の方法が通常用いられる。しかしながら、この周期リフレッシュでは符号量の増加は抑えられる反面、正常な状態に回復するまでに長い時間がかかるという問題が起こる。
【0012】
他の誤り対策としては、誤り訂正符号の利用があるが、これではランダムに生じる誤りは訂正出来ても、バースト的に連続して数百ビットといった誤りが生じるような場合には対処が難しく、たとえ対処できたとしても、やはりかなりの冗長度を必要とする。
【0013】
【発明が解決しようとする課題】
上述したように、画像符号化、特に動画像符号化では誤りによる情報の消失が大きな画質劣化の要因となる。また、誤りにより消失した情報を回復する従来の周期リフレッシュ等の方式では、符号化効率を考えると回復までに長い時間を要し、回復に要する時間を短縮しようとすると符号量が増加して効率を悪くするといった問題点があった。
【0014】
本発明は、誤りにより情報が失われた場合でも早期に回復可能で、かつリフレッシュや誤り訂正ほどの符号量の増加がない画像復号化及び装置を提供することを目的とする。
【0015】
【課題を解決するための手段】
本発明は、基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列を入力し、付加符号列に付加された同期信号により基本符号列と付加符号列との判別を行い、この判別の結果に基づいて入力符号列を基本符号列と付加符号列とに分離し、基本符号列または付加符号列を復号して復号データを出力することを特徴とする
また、基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列を基本符号列と付加符号列とに分離し、基本符号列または付加符号列を復号手段に入力して復号データを出力し、復号手段で基本符号列が復号可能か復号不可能かを判定し、復号手段で基本符号列が復号可能と判定された場合は基本符号列を復号手段に入力し、復号不可能と判定された場合は付加符号列を復号手段に入力する。
【0016】
【発明の実施の形態】
以下、本発明の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る画像符号化装置のブロック図である。入力画像信号131は符号化器101において符号化され、符号列(これを基本符号列という)132として出力される。この基本符号列132はそのまま符号列合成器103に入力されると共に、メモリを用いた符号列遅延器102に入力され、ここで一定時間記憶保持された後、出力される。
【0017】
すなわち、符号列遅延器102では一定時間経過後、保持していた過去の符号列(これを付加符号列という)133を出力する。この付加符号列133も、符号列合成器103に入力される。符号列合成器103では、符号化器から出力された基本符号列132と符号列遅延器102から出力された付加符号列133を合成し、出力符号列134として出力する。
【0018】
図2は、従来方式(a)と本実施形態による出力符号列(b)(c)の構成を示した図である。符号列合成器103での符号列の合成の方法には様々な方法があるが、ここでは例として二種類の方式を示している。また、図中のPSC(Picture Synchronization Code)は、同期信号を表している。
【0019】
図2(b)で提案方式1として例示するものは、最初に符号列遅延器102を介さずに出力される基本符号列132の直後に、符号列遅延器102から出力されたこれと全く同じ付加符号列133を再度出力する方式である。この提案方式1では、一つのフレームの中に同じ符号列の情報が二度含まれているため、片方の符号列の情報に誤りが生じた場合にも、他方の符号列の情報を利用することで復号側で正しく復号することができる。
【0020】
ただし、符号列に可変長符号を用いている場合には、一度誤りが生じると符号の切れ目が分からなくなり、それ以後全く正しく復号できない同期外れといわれる状態になってしまうことがある。よって提案方式1を可変長符号を利用しているシステムに使用すると、先頭の基本符号列に誤りが生じた場合その後に続く付加符号列も正しく復号できないことになってしまうので、本方式は固定長の符号を用いたシステム、または逆方向にも復号可能な符号列の構成を用いた場合に有効である。
【0021】
また、全く同じ符号列を二度並べることから、一つの同期区間(同期信号から同期信号まで)のビット数を求め、それを二等分することでも各々の符号列を分離することはできる。ただし、同期信号が失われた時や疑似同期信号が生じた場合などでは正しい同期区間の符号量が求められず誤動作することに注意する必要がある。
【0022】
次に、図2(c)に示す提案方式2は通常の可変長符号を用いた場合でも利用できる方式である。この方式は、入力画像信号の第nフレームを符号化した符号列を基本符号列とし、入力画像信号の第n−1フレームを符号化した符号列を付加符号列として一つのフレームに合成するものである。この方式では前述の提案方式1と異なり、第n+1番目の同期区間の中に第nフレームを符号化した符号列を付加符号列として再度出力している。これにより第n番目の同期区間で誤りが生じた情報が失われた場合でも、同じ情報が次の第n+1番目の同期区間に存在し、それを用いることによって正しく復号することができる。
【0023】
この提案方式2では、次の同期区間に二度目の符号列を合成することから、誤りが生じても次の同期信号を一緒に破壊しない限り次の同期区間まで誤りが及ぶことはなく、提案方式1のような可変長符号の同期外れの問題を特に考慮する必要はない。ただし、誤り時に正しく復号できるのが次の同期区間の信号を復号してからになるため、復号器の構成法によっては復号画像信号の出力するタイミングが本来のものより遅くなる。
【0024】
次に、本実施形態に係る画像復号化装置について説明する。図3は、図1に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。図1の画像符号化装置から出力され、図示しない伝送系または蓄積系を介して入力される入力符号列436は、付加符列分離器406により基本符号列と付加符号列に分離される。通常は切替器407で基本符号列432が選択され、復号器408に入力される。
【0025】
復号器408は、基本符号列432を復号すると共に、その復号状態を示す復号状態信号439を誤り検出器409へ出力する。誤り検出器409では、復号状態信号439から入力符号列436に誤りがないか、そして復号器408の復号結果に誤りがないかどうか等を調べ、誤りの有無を示す誤り検出信号440を復号器408に出力する。復号器408は、誤り検出信号440から誤りがある場合は基本符号列432の復号結果を復号画像信号437として出力し、誤りがある場合は復号結果を出力しない。
【0026】
また、誤り検出器409はさらに切替器制御信号438を切替器407に出力し、誤りがある場合は切替器407を切替えて付加符号列433を選択させ、これを復号器408へ入力させる。この場合、復号器408は付加符号列433を復号し、誤り検出器409で誤りが検出されなければその復号結果を基本符号列423の復号結果に代えて復号画像信号437として出力する。
【0027】
なお、基本符号列432および付加符号列433の両方が誤った場合には、復号器408で一つ前のフレームをそのまま出力するなどの処理を行えばよい。
【0028】
次に、本発明の他の実施形態について説明する。なお、以降の実施形態において第1の実施形態を示した図1および図3と同一名称が記載されたブロックは、第1の実施形態で説明した通りの機能を有するものとする。
【0029】
(第2の実施形態)
図4は、本発明の第2の実施形態に係る画像符号化装置のブロック図である。第1の実施形態との相違点は、入力画像信号131を符号化器201により符号化して得られた基本符号列232を符号列簡略化器204において符号量を削減するために簡略化した符号列235に変換してから、符号列遅延器202に入力する点である。簡略化符号列235は符号列遅延器202により一定時間遅延されて付加符号列233となり、符号列合成器202において基本符号列232と合成され、出力符号列234として出力される。
【0030】
符号列簡略化器204は、結果的に付加符号列233の符号量を削減するためのものであるから、その位置は図4のように符号列遅延器202の前でなくともよく、符号列遅延器202の後でもよい。
【0031】
本実施形態によると、付加符号列233の符号量が基本符号列232のそれより少ないため、従来法に対して少ない符号量の増加で第1の実施形態と同程度の誤り耐性を実現できる。また、符号量の増加が少ないことから、第1の実施形態よりも誤りが少ない場合、より高画質な復号画像を得ることができる。
【0032】
一方、誤り時に基本符号列232が破壊され、付加符号列233の方で復号を行うと、付加符号列233を簡略化して情報量を削減していることから、復号結果にある程度の歪みが残る場合がある。しかし、符号列の簡略化方法を工夫することで、歪みが視覚的にほとんど問題にならない程度にすることができる。以下にその方式について具体例を説明する。
【0033】
まず第1の簡略化方式は、基本符号列232(符号化情報)の中で重要な情報のみを選択する方式である。基本符号列232は、前述したようにモード情報、動きベクトル、予測残差信号といった性質の異なる信号から構成されている。符号列簡略化器204では、基本符号列232を構成するこれらの信号のうち重要度の高い信号のみを選択して簡略化符号列235として出力し、符号列遅延器202は簡略化符号列235を遅延して付加符号列233を出力する。
【0034】
例えば、図5(a)に示す通常の符号列の例を考えてみる。図29、図30で説明したように、動き補償適応予測符号化を用いた画像符号化/復号化装置の場合、最初のステップとして動き補償による予測信号の作成があり、次のステップで予測信号に予測残差信号を加算することになる。この場合、復号化装置では予測信号まで作成できればある程度の復号画像信号が得られることから、動き補償による予測信号が作成できるレベルの情報のみに限定して簡略化符号列235すなわち付加符号列233を構成する。また、INTRA(イントラ)モードのブロックは予測信号では表現できないため、INTRAモードのブロックの直流成分(DC)を付加符号列233に加えることで、INTRAモードにも対応させるようにする。このように付加符号列233を構成し、基本符号列232と合成することで、効率良く誤り耐性能力を強化することができる。
【0035】
図5(b)(c)に示す提案方式1’、2’は、それぞれ第1の実施形態で説明した図2(b)(c)の提案方式1、2に対応する符号列の構成を示したものである。図中の各ブロックの右下に表記してあるn−1、n、及びn+1はその情報が何番目のフレームに相当する情報であるかを示している。
【0036】
次に、第2の簡略化方式について説明をする。上述した第1の簡略化方式は、低ビットレートでの符号化時には効果的であるが、高いビットレートの場合、予測信号だけ再生しても元の画像とかなりの相違がある場合が多い。そこで、ある程度の予測残差信号も付加符号列233の中に組み込む必要がある。その場合、予測残差信号のレベルの大きなブロックのみを選択したり、離散コサイン変換により得られたDCT係数の低域に近い成分、すなわちDCT係数を表す図6の斜線で示した係数に相当する成分を選択して出力することで符号量の増加を抑えることができる。
【0037】
上述した第2の簡略化方式では、単純に信号を選択するだけでは符号量が目的としている量まで減少しない場合もある。その場合の対処法として、以下に第3の簡略化方式を示す。第3の簡略化方式では、上記のように信号を選択した後そのまま簡略化符号列235として出力するのではなく、精度を落してから簡略化符号列235として出力する。例えば、半画素単位の動きベクトルを整数画素単位の動きベクトルに再量子化し、これを簡略化符号列235として出力する。
【0038】
また、予測残差信号も簡略化符号列235として出力する方は、通常の量子化幅よりも大きな量子化幅で再量子化して出力することで、符号量を第1および第2の簡略化方式に比べて少なくすることができる。再量子化は、DCTした係数のレベルや、動き補償まで戻って新しく大きな量子化幅で量子化する方が精度が良いが、処理に時間がかかるため、量子化された値を半分にするなどしてさらに量子化するといった方式をとることもできる。
【0039】
次に、本実施形態に係る画像復号化装置について説明する。図7は、図4に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。各部の基本的動作は、図3に示した第1の実施形態の画像復号化装置と同様であるため、相違点のみを以下に述べる。
【0040】
本実施形態が第1の実施形態と相違する点は、誤り時に復号器508からの復号状態信号439に基づく誤り検出器509からの切替器制御信号538で第1の切替器507を付加符号列533側に切替えた後、付加符号列533を復号器508に直接入力するのではなく、一旦付加符号列補間器510に入力する点である。この付加符号列補間器510では、前述した第1〜第3の簡略化方式により簡略化された符号列533を復号器508で復号できるように、欠けている情報を付け加えたり、再量子化等で変形した情報を元に戻す等の処理を行う。
【0041】
もし、画像符号化装置の方でそのまま復号器508に入力しても構わない符号列構成としている場合は、この付加符号列補間器510を設ける必要なく、図3に示した第1の実施形態と同様の画像復号化装置で復号できる。例えば、予測残差信号を省く場合、モード情報を書き換えて予測残差のないモードに予め設定しておき、付加符号列を構成すればよい。
【0042】
また、付加符号列533が簡略化されている場合、画像復号化装置において付加符号列のみで基本符号列を置き換えて復号してしまうと、簡略化されている分だけ復号画像の品質が誤り無しの時の復号画像の品質に比べ劣化する。そこで、第1の実施形態の画像復号化装置と同様に、基本符号列を第2の切替器511を介して復号器508に入力して復号した際、正しく復号された信号はそのまま復号画像信号537として出力し、誤りによって失われた情報のみ付加符号列を復号器508で復号した信号を復号画像信号537として出力する処理を行う。このようにすれば、付加符号列を簡略化することで失われた情報の影響を少なく抑えることができる。
【0043】
(第3の実施形態)
図8は、本発明の第3の実施形態に係る画像符号化装置のブロック図である。本実施形態は、同期信号付加器305を新たに加えたことが特徴である。ここでは図1に示した第1の実施形態を基本にして同期信号付加器305を加えた構成を示しているが、図4に示した符号列簡略化器を有する第2の実施形態を基本にした構成も実現できる。
【0044】
第1および第2の実施形態との相違点は、符号列遅延器302を介して付加符号列333を出力する際、同期信号付加器305において付加符号列333に同期信号を付加する点である。この方式の利点は、同期信号の付加により付加符号列333のみで一つの同期区間を構成しているため、基本符号列332から付加符号列333が独立し、他の同期区間で生じた誤りが付加符号列333に及ばないことである。また、付加符号列333で生じた誤りは、この中で閉じたものとなるので、他の同期区間に影響を及ぼさない。よって、第1および第2の実施形態に比較して誤りの影響が少なく、誤り耐性能力がさらに強化される。
【0045】
また、画像復号化装置で付加符号列を分離する際、同期区間単位で処理することができ、分離が容易になる。ただし、読み込んだ一同期区間の情報が基本符号列に相当するものか、または付加符号列に相当するものかを判別する情報が必要になる。その判別方法として、ここでは以下に二通りの方法を挙げる。
【0046】
まず、第1の判別方法は同期信号で基本符号列と付加符号列を判別する方法である。すなわち、同期信号として基本符号列と付加符号列とで異なったものを用意し、使い分けることで判別する。第2の判別方法は、基本符号列と付加符号列に同期信号には同じものを用い、その後のヘッダ情報で基本符号列と付加符号列を判別する方法である。
【0047】
これら第1および第2の判別方法を比較すると、符号化の効率という点では第1の判別方法のように同期信号を二つ用意する方が良い場合が多いが、同期信号は他の符号と全く一致しないものを選ぶ必要がある。このように新しくもう一つの同期信号を作成するより、同期信号を一つにしておき、その後ろのヘッダ情報で区別する第2の判別方法の方が容易に実現できる。
【0048】
しかし、ヘッダ情報までを含んで同期信号と解釈するならば、長い同期信号で区別していることとなり、これら第1および第2の判別方法は本質的には同じこととなる。よって、本実施形態における符号列の構成を示す図9では、同期信号が2つある場合のみを示してある。図9において、図中の各ブロックの右下に表記してあるn、及びn+1は、図8と同様その情報が何番目のフレームに相当する情報かを示している。
【0049】
次に、本実施形態に係る画像復号化装置について説明する。図10は、図8に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。図1および図4に示した第1および第2の実施形態における画像復号化装置との相違点は、入力符号列636から基本符号列と付加符号列を分離して出力するための付加符号列分離器606に同期信号判定器612を有し、この同期信号判定器612によって入力符号列636が基本符号列か付加符号列かの判別を行い、これに基づいて基本符号列632と付加符号列633を分離して出力する切替器613を制御する点である。
【0050】
その他の構成、すなわち基本符号列632と付加符号列633を復号器608に切り替えて入力する切替器607と復号器608および誤り検出器609は、第1および第2の実施形態における画像復号化装置と同様である。
【0051】
また、本実施形態でも第2の実施形態の画像復号化装置で示した基本符号列の正しく復号できた部分を用い、誤りにより復号できなかった部分のみを付加符号列の復号によって得られた情報で置き換える処理を行うことにより、復号画像の品質を上げることができる。
【0052】
さらに、本実施形態において基本符号列中の予測残差信号の前に同期信号を挿入することで、さらに強力な誤り耐性を実現できる。
【0053】
図11は、この方式による符号列の構成を示した図である。符号量の無駄を省くため、第1同期信号による同期区間は動き適応予測による予測画像が作成できる最低限の情報のみで構成し、続く第2の同期信号による同期区間に残差信号に関係するモード情報、残差信号等を組み込む。そして、前述したように第3の同期信号による同期区間に付加符号列に相当するものを組み込む。
【0054】
復号時は、第1の同期区間に誤りが生じた場合には第3の同期区間の付加符号列で予測画像を作成し、第2の同期区間の残差信号を加えることで復号画像信号を作成する。このとき、付加符号列の予測信号作成に関する情報が第1の同期区間のものと同じ場合は、完全に正しく復号することができる。第2の同期区間に誤りが生じた場合は、第1の同期区間の情報で予測画像を作成し、第2の同期区間の情報で正しく復号されたものと第3の同期区間の付加符号列に含まれた残信号に関する情報を合わせて復号画像信号を作成する。第3の同期区間に誤りが生じた場合は、第1、第2同期区間の情報をそのまま復号すれば良いので、完全に正しく復号できる(図12〜図14参照)
このように、基本符号列中に誤りが生じた場合、単純に付加符号列に切り替えるのでなく、基本符号列中で正しく復号できた個所を利用し、それに付加符号列の内容を加えて復号することで、復号できた情報を最大限に活用することができる。
【0055】
(第4の実施形態)
次に、本発明の第4の実施形態として、第2の実施形態で説明した符号列簡略化器204の具体例について説明する。図15は、この符号列簡略化器の構成を示すブロック図である。図示しない符号化器からの入力符号列2031は、この実施形態では例えば図29に示した動画像符号化装置において、可変長符号化器1213,1214で可変長符号化される前の量子化されたDCT係数や動きベクトル情報である。この入力符号列2031は重要情報選択器2001に入力され、ここで相対的に重要な重要情報2032のみが選択された後、符号列変換器2002に入力される。符号列変換器2002は、入力された重要情報2032を符号表(例えば可変長符号表)を用いて他の符号列2033(例えば可変長符号の符号列)に変換する。符号表は、符号化対象値と符号語(例えば可変長符号語)との対応関係をメモリに記述したものであり、この例では重要情報2032が符号化対象値として入力されると、これに対応する符号語が符号列2033として出力される。
【0056】
重要情報選択器2001は、例えば符号化器が図29に示した動き補償予測と予測残差符号化を用いた動画像符号化方式の場合、予測残差信号である量子化されたDCT係数よりも動きベクトル情報が重要であることから、符号化に関する情報を集めたヘッダ部と動きベクトル情報のみを重要情報として選択する。この場合、符号化器がフレーム内符号化(イントラ符号化)モードのときは動きベクトルは存在しないため、重要情報選択器2001で全く情報が選択されないことになる。そこで、フレーム内符号化モードでは、動きベクトル情報の代わりにDCT係数の直流成分を選択する。これにより、フレーム間符号化モードおよびフレーム内符号化モードの両モードにおいて重要情報を選択できる。
【0057】
その他、重要情報選択器2001において予測残差信号のDCT係数の低域に近い成分までを重要情報として選択したり、あるいは全ての動きベクトル情報を選択するのではなく、一部間引いた動きベクトル情報を重要情報として選択する方法等をとってもよい。例えば、8画素×8画素毎に求められていた動きベクトルを16画素×16画素の動きベクトルに変換し、これを重要情報とする。
【0058】
符号列変換器2002は、重要情報2032を前述したように可変長符号表などの符号表を用いて符号列に変換する。ここで、符号列変換器2002内の符号表、すなわち付加符号列生成用の符号表は、基本符号列生成用の符号表と異なっていてもよいし、同一であってもよい。これらはいずれも一長一短があるので、目的に応じて使い分ければよい。
【0059】
(1)まず、符号列変換器2002に基本符号列生成用の符号表と異なる専用の符号表を用いた場合について説明する。
通常、基本符号列を生成する際には、重要情報以外の情報まで考慮して最適になるように作成された符号表を用いるため、符号列変換器2002で重要情報のみを符号列に変換する場合に、この基本符号列生成用の符号表をそのまま利用すると冗長な部分がある。そこで、伝送路の符号化レートを重要視する場合には、基本符号列の符号表とは別に付加符号列に最適な符号表を符号列変換器2002に用いて重要情報2032の符号列変換を行う。このようにすることで、効率のよい符号化が可能である。
【0060】
(2)次に、符号列変換器2002に基本符号列生成用の符号表と同一の符号表を用いた場合について説明する。
このように基本符号列生成用の符号表と付加符号列生成用の符号表を共通にすると、後述するように付加符号列用の復号のための復号器を特別に用意する必要がなくなるため、復号器の回路規模を従来と同じにすることができる。これを実現するためには、例えば予測残差信号のDCT係数を送らず、動きベクトル情報のみを重要情報として選択し、符号列変換器2002を通して付加符号列として送る際には、基本符号列で予測残差信号があることを示しているモード情報を予測残差信号がないことを示すモード情報に変換して、付加符号列を生成する。これにより、基本符号列と同じ符号表を用いて付加符号列を生成することが可能である。
【0061】
(第5の実施形態)
図16は、本発明の第5の実施形態に係る画像復号化装置のブロック図である。入力符号列2131は、符号列判定器2101において基本符号列か付加符号列かの判定が行われ、さらに付加符号列と判定された場合は前に復号した基本符号列に対応した付加符号列であるかどうかが判定される。これらの判定結果を基に符号列切替器2102が切り替え制御され、入力符号列2131が基本符号列の場合は基本符号列復号器2103に入力され、また付加符号列の場合は付加符号列復号器2104に符号列2131が入力される。
【0062】
基本符号列復号器2103および付加符号列復号器2104は、出力として復号値2135および2136とは別に、復号状態情報2133および2134を出力するように構成されている。復号状態情報2133および2134は、復号が正しく行われたか否かを示す情報であり、例えば基本符号列復号器2103および付加符号列復号器2104で得られる誤り検出情報である。
【0063】
復号値選択器2105は、符号列判定器2101の判定結果2132と、基本符号列復号器2103の復号状態情報2133および付加符号列復号器2104の復号状態情報2134とから、基本符号列復号器2133の復号値2135および付加符号列復号器2134の復号値2136のうち正しいと推定される方の復号値を選択し、その選択した復号値が出力符号値2138として出力されるように復号値切替器2106を制御する。すなわち、復号値切替器2106では、復号値選択器2105からの復号値切替器制御信号2137を、用いて基本符号列および付加符号列の復号値2135,2136のいずれかを切り替えて出力する。
【0064】
本実施形態によると、基本符号列復号器2103および付加符号列復号器2104からの誤り情報などの復号状態情報2133および2134を利用して、これらの復号器2103および2104から出力される復号値2135および2136のうち正しい復号値を出力することが可能である。本実施形態は、第5の実施形態における(1)の場合、すなわち画像符号化装置で得られる基本符号列と付加符号列が異なる符号表で符号化されている場合の画像復号化装置に特に有効である。
【0065】
(第6の実施形態)
図17は、本発明の第6の実施形態に係る画像復号化装置のブロック図である。入力符号列2231は、符号列判定器2201において基本符号列か付加符号列の判定が行われ、さらに付加符号列と判定された場合は前に復号した基本符号列に対応した付加符号列であるかどうかが判定される。また、入力符号列2231は符号列復号器2202により復号され、さらに基本符号列の場合は復号値蓄積器2204に復号値2234が蓄積される。符号列復号器2202は、出力として復号値2234とは別に、復号が正しく行われたか否かを示す誤り情報などの復号状態情報2233を出力する。
【0066】
復号値選択器2203は、符号列判定器2201の判定結果2232と、符号列復号器2202からの復号状態情報2233とから、基本符号列の復号値および付加符号列の復号値2234のうち正しいと推定される方の復号値を選択し、その選択した復号値が出力符号値2237として出力されるように復号値切替器2205を制御する。すなわち、復号値切替器2205では、復号値選択器2203からの選択制御信号2236を用いて、復号値蓄積器2204からの基本符号列の復号値2235および符号列復号器2202から出力される付加符号列の復号値2234いずれかを切り替えて出力する。
【0067】
本実施形態によると、同一の符号列復号器2202で基本符号列および付加符号列を復号することが可能であるため、復号器を従来方式と同程度の回路規模で実現することができる。本実施形態は、第4の実施形態における(2)の場合、すなわち画像符号化装置で得られる基本符号列と付加符号列が同一の符号表で符号化されている場合の画像復号化装置に特に有効である。
【0068】
(第7の実施形態)
次に、本発明の第7の実施形態として、第5および第6の実施形態で用いた符号列判定器2101,2201の判定アルゴリズムについて説明する。
【0069】
図18は、符号列の基本構造の例を表したものである。符号列の先頭には同期信号(PSC)が配置され、続いて基本符号列または付加符号列を判定するIDおよび符号列の時間的位置を示す情報TRが順次配置され、最後に符号化された情報DATAが配置されている。
【0070】
符号列判定器では、IDにより入力符号列が基本符号列か付加符号列かの判定を行う。また、IDにより付加符号列と判定した場合には、さらにその符号列がTRにより前回復号した基本符号列と同じ時間的位置に当たるものかどうかの判定を行う。これにより、基本符号列とそれに対応した付加符号列の判定を行うことができる。
【0071】
しかし、この方法では伝送路で誤りが生じた場合、基本符号列と付加符号列との対応を間違えることによる誤動作が生じる場合がある。例えば、図19の最上段に示された本来の符号列に対して、図19(a)に示すように基本符号列1と付加符号列2だけが復号され、しかも付加符号列の時間的位置情報TRが誤って基本符号列1のTRと一致した場合を考える。この場合には、正しくは基本符号列1で1枚の画像を構成して出力し、その後、付加符号列のみで1枚の画像を構成し出力するべきところ、基本符号列1と付加符号列2で正しく復号できた部分を合わせて1枚の画像として出力してしまう。
【0072】
また、図19(b)に示すように、基本符号列2のTRが誤り、付加符号列2に対応した基本符号列と判定されなくなった場合を考える。この場合、本来は基本符号列2と付加符号列2を合わせて1枚の画像が構成されるべきところ、2枚の別々の画像が構成されることとなる。
【0073】
このような不都合を避けるため、例えば図20に示すアルゴリズムに従って基本符号列と付加符号列の関係を判定する。ここでは、基本符号列の時間的位置情報TRをTR1、付加符号列のTRをTR2、一つ前に復号したTRをPre_TRとする。また、固定フレームレートで符号化されている場合には、Pre_TRと正しいTR1,TR2との差分値Skip_Timeも既知である。
【0074】
そこで、図20のアルゴリズムでは、まずTR1とTR2と一致するかを調べ(ステップS11)、一致すれば復号した付加符号列は直前に復号された基本符号列に対応した符号列であると判定する。一方、TR1とTR2が不一致の場合は、次に差分値Skip_Timeが既知かどうかを調べ(ステップS12)、既知の場合はPre_TRにSkip_Timeを加算したものとTR2を比較し(ステップS13)、同じならば符号列の並びとして、その間に挟まれている基本符号列のTR1が誤っていると判定する。そして、TR1をTR2に修正して(ステップS14)、復号した付加符号列は直前に復号された基本符号列に対応した符号列であると判定する。この様子を図21に示す。
【0075】
ステップS12においてSkip_Timeが既知でない場合、およびステップS13においてPre_TRにSkip_Timeを加算したものとTR2が不一致の場合は、復号した付加符号列は直前に復号された基本符号列と対応しないと判定する。
【0076】
図20のアルゴリズムでは、基本符号列の時間的位置情報TRが誤った場合には対応できるが、それ以外の誤りに関しては対応できない。そこで、それ以上の誤り耐性を考える必要がある場合には、図22に示すアルゴリズムにより基本符号列と付加符号列の関係を判定する。ここで、Single_Error_Check(A,B)は、Aに1ビット誤りを付加したものとBが一致するかどうかを判定する関数とする。
【0077】
すなわち、まずTR1とTR2と一致するかを調べ(ステップS21)、一致すれば符号列1は符号列2の基本符号列であると判定する。一方、TR1とTR2が不一致の場合は、次にTR1に1ビット誤りを付加したものとTR2が一致するかどうかを調べ(ステップS22)、一致すれば符号列1は符号列2の基本符号列であると判定し、不一致であれば次に差分値Skip_Timeが既知かどうかを調べ(ステップS23)、既知の場合はさらにPre_TRとSkip_Timeの加算値に1ビット誤りを付加したものとTR2が一致するかどうかを調べ(ステップS24)、一致していれば基本符号列のTR1が誤っていると判定して、TR1をTR2に修正し(ステップS25)、符号列1は符号列2の基本符号列であると判定する。
【0078】
ステップS23においてSkip_Timeが既知でない場合、およびステップS24においてPre_TRとSkip_Timeの加算値に1ビット誤りを付加したものとTR2が不一致の場合は、符号列1は符号列2の基本符号列ではないと判定する。
【0079】
このようなアルゴリズムにより、TRに1ビット誤りが挿入した場合も正しく判定することが可能である。この様子を図23に示す。なお、1ビットより多い誤りも判定したい場合には、この関数を許容誤り数に対応したものに変更すればよい。
【0080】
(第8の実施形態)
次に、本発明の第8の実施形態として、第5および第6の実施形態で用いた復号値選択器2105,2203の具体例について説明する。図24および図25は、本実施形態における復号値選択器の選択方法の例を示した図である。
【0081】
まず、図24で示す復号値選択方法は、基本符号列および付加符号列の画像の小領域毎の誤り情報を図16の基本符号列復号器2103および付加符号列復号器2104、または図17の符号列復号器2202から受け取る。この誤り情報は、図16の場合は復号状態情報2133,2134に含まれ、図17の場合は復号状態情報2233に含まれている。
【0082】
そして、これらの誤り情報と図16の符号列判定器2101または図17の符号列判定器2201の判定結果から、画像の小領域単位に基本符号列の復号値を用いるか、付加符号列の復号値を用いるかを決定する。図24では、×を付した領域が誤っていることを表す。通常、付加符号列は基本符号列の簡略化されたものであるので、基本符号列で正しく復号できている領域は基本符号列の復号値を選択する。基本符号列が誤っている領域であって、付加符号列が正しく復号できている領域は、付加符号列の復号値を選択する。基本符号列および付加符号列の双方の復号値に誤りが存在する領域は、前フレームをそのまま使うモードにする(Not Coded)。
【0083】
このように小領域単位に基本符号列および付加符号列の復号値を切り替えて利用することにより、一方の復号値のみを利用する場合に比較して、より多くの領域を復号することが可能となる。但し、誤り率が高い通信状態の場合、誤りが発見されずに復号されている領域が存在する可能性がある。その場合は、領域単位に選択せず、完全に復号できたフレーム単位で復号値を利用することができる。
【0084】
次に、図25の復号値選択方法について説明する。上述した図24の復号値選択方法の場合、基本符号列の復号時に発見できなかった誤りは、そのまま誤った復号値として出力されてしまう。これに対して、図25に示した復号値選択方法では、復号時の誤り情報に併せて、復号情報も利用して復号値の選択を行う。復号情報とは、例えばフレーム内符号化(イントラ)、フレーム間符号化(インター)といった符号化モードを示すモード情報などである。
【0085】
この復号情報を基本符号列および付加符号列の小領域単位に整合性を調べ、例えばある小領域でモード情報が変化した場合には、その領域に誤りが生じたと判定する。こうすることにより、誤りを見逃す確率を減少することが可能である。また、付加符号列に誤り訂正符号等を利用し、付加符号列の信頼度を高くすることで、モード情報が変化した小領域については付加符号列の情報を選択する方式を用いることが可能である。さらに、付加符号列に例えばイントラモード数を付加することで、モードが誤って他のモードになることによる誤りに対する検出精度を上げることもできる。
【0086】
(第9の実施形態)
図26は、本発明の第9の実施形態に係る画像符号化装置の要部の構成を示すブロック図であり、特に符号化器3101と簡略化制御器3102および符号列簡略化器3103について示している。符号列簡略化器3103は、図4に示した符号列簡略化器204と基本的に同じである。
【0087】
入力画像信号3131は、符号化器3101により符号化される。簡略化制御器3102は、符号化器3101から符号3132とは別に出力される符号化情報3133を用いて、簡略化方式制御信号3134により符号列簡略化器3103での簡略化方式を決定する。符号列簡略化器3103は、この決定された簡略化方式により符号化器3101からの符号列3132を簡略化する。
【0088】
ここで、符号化情報とは、例えば(a) 符号化器3101が発生する符号量と、(b) 符号化器3101で用いる動きベクトルの大きさ、(c) フレーム内符号化領域の数、(d) 予測残差信号の大小を示す情報であり、(b) 〜(d) はいずれもこれらが大きくなるほど誤りが生じた場合の影響が大きくなるので、誤り耐性に関する情報といえる。簡略化制御器3102は、この符号化情報、すなわち符号列の符号量に関する情報および該符号列の誤り耐性に関する情報に基づいて、符号列簡略化器3103を制御する。
【0089】
具体的には、例えば符号量に余裕がある場合には、動きベクトルのみでなく、予測残差信号のDCT係数までを重要情報として選択したり、予測残差信号の大きな領域はDCT係数を重要情報と選択するようにする。また、予測残差信号のDCT係数を重要情報として選択する場合は、基本符号列中の予測残差信号と同じ予測残差信号でなく、符号化器3101で基本符号列を符号化する際に用いた量子化幅よりも大きな量子化幅で粗く予測残差信号を量子化することで、符号量を削減する等の方式を用いると効果的である。さらに、誤りが生じた場合に大きな影響を及ぼすイントラモードの予測残差信号をインターモードの予測残差信号より、多く選択するなどの処理も可能となる。また、符号量に余裕のない場合、付加符号列を生成し、出力するかどうか自体を切り替えることも可能である。
【0090】
本実施形態によると、符号化の状況に合わせてフレーム単位などの簡略化により発生符号量を調節したり、大きな誤りを引き起こす原因となる個所だけを強く保護するようにすることが可能である。
【0091】
以上、本発明による実施形態を説明したが、上記実施形態で示した基本符号列と付加符号列の合成の仕方に限定するものではなく、その他様々な合成の仕方が適用できる。また、本実施形態では動画像符号化を対象に説明したが、特に動画像符号化に特化するものではなく、静止画像符号化にも本発明を同様に適用することができる。さらに、画像符号化だけではなく、音声符号化等の他の符号化に対しても本発明を適用することが可能である。
【0092】
次に、本発明の応用例として、本発明の画像符号化/復号化装置を適用した動画像伝送システムの実施形態を図27を用いて説明する。パーソナルコンピュータ(PC)1101に備え付けられたカメラ1102より入力された動画像信号は、PC1101に組み込まれた画像符号化装置によって符号化される。この画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機1103により無線で送信され、他の無線機1104によって受信される。無線機1104で受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはワークステーション(EWS)1105に組み込まれた画像復号化装置によって復号され、EWS1105のディスプレイに表示される。
【0093】
一方、EWS1105に備え付けられたカメラ1106より入力された動画像信号は、EWS1105に組み込まれた画像符号化装置を用いて上記と同様に符号化される。動画像信号の符号化データは、他の音声やデータの情報と多重化され、無線機1104により無線で送信され、無線機1103によって受信される。無線機1103によって受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分割される。これらのうち、動画像信号の符号化データはPC1101に組み込まれた画像復号化装置によって復号され、PC1101のディスプレイに表示される。
【0094】
図28(a)(b)は、図27におけるPC1001およびEWS1005に組み込まれた画像符号化装置および画像復号化装置の構成を概略的に示すブロック図である。
【0095】
図28(a)に示す画像符号化装置は、カメラなどの画像入力部1101からの画像信号を入力して誤り耐性処理部1103を有する情報源符号化部1102と、伝送路符号化部1104を有し、情報源符号化部1101においては予測残差信号の離散コサイン変換(DCT)と生成されたDCT係数の量子化などが行われ、伝送路符号化部1104においては可変長符号化や符号化データの誤り検出および誤り訂正符号化などが行われる。伝送路符号化部1104から出力される符号化データは無線機1105に送られ、送信される。
【0096】
一方、図28(b)に示す画像復号化装置は、無線機1201によって受信された符号化データを入力して伝送路符号化部1104と逆の処理を行う伝送路復号化部1202と、伝送路復号化部1201の出力信号を入力して情報源符号化部1102と逆の処理を行う誤り耐性処理部1204を有する情報源復号化部1203を有し、情報源復号化部1203で復号化された画像はディスプレイなどの画像出力部1025によって出力される。
【0097】
【発明の効果】
以上説明したように、本発明によれば伝送/蓄積の際に生じる誤りにより情報が失われた場合でも早期に回復可能で、復号画像の品質劣化が小さく、しかも従来の誤り対策である周期リフレッシュや誤り訂正のような符号量の大きな増加がなく、符号化効率の高い画像復号化方法及び装置を提供することができる。
【図面の簡単な説明】
【図1】第1の実施形態に係る画像符号化装置の構成を示すブロック図
【図2】第1の実施形態における符号列の構成を示す図
【図3】第1の実施形態に係る画像復号化装置の構成を示すブロック図
【図4】第2の実施形態に係る画像符号化装置の構成を示すブロック図
【図5】第2の実施形態における符号列の配列を示す図
【図6】第2の実施形態における予測残差信号の帯域に関する選択方法の例を示す図
【図7】第2の実施形態に係る画像復号化装置の構成を示すブロック図
【図8】第3の実施形態に係る画像符号化装置の構成を示すブロック図
【図9】第3の実施形態における符号列の構成を示す図
【図10】第3の実施形態に係る画像復号化装置の構成を示すブロック図
【図11】第3の実施形態における符号列の他の構成を示す図
【図12】第3の実施形態における誤り時の復号方法を示す図
【図13】第3の実施形態における誤り時の復号方法を示す図
【図14】第3の実施形態における誤り時の復号方法を示す図
【図15】第4の実施形態に係る符号列簡略化器の構成を示すブロック図
【図16】第5の実施形態に係る画像復号化装置の構成を示すブロック図
【図17】第6の実施形態に係る画像復号化装置の構成を示すブロック図
【図18】第7の実施形態を説明するための符号列の構成例を示す図
【図19】第7の実施形態を説明するための符号列判定器が誤動作した場合の動作例を示す図
【図20】第7の実施形態における符号列判定器のアルゴリズムを示すフローチャート
【図21】第7の実施形態における付加符号列に対応した基本符号列の判定例を示す図
【図22】第7の実施形態における符号列判定器の誤りを考慮したアルゴリズムを示すフローチャート
【図23】第7の実施形態における誤りを考慮して判定を行う方式の例を示す図
【図24】第8の実施形態における復号値選択器の復号値選択方法を示す図
【図25】第8の実施形態における復号時に発見できなかった誤りを考慮した復号値選択方法の例を示す図
【図26】第9の実施形態に係る画像符号化装置における簡略化制御部の構成を示すブロック図
【図27】本発明の応用例に係るシステムの例を示すブロック図
【図28】図27のシステムで使用される画像符号化装置および画像復号装置の概略構成を示すブロック図
【図29】従来の画像符号化装置の構成を示すブロック図
【図30】従来の画像復号化装置の構成を示すブロック図
【図31】従来技術における誤りの影響を説明するための図
【符号の説明】
101,201,301,3101…符号化器
102,202,302…符号列遅延器
103,203,303…符号列合成器
204,3103…符号列簡略化器
305…同期信号付加器
131,231,331,3131…入力画像信号
132,232,332,3132…基本符号列
133,233,333,3135…付加符号列
134,234,334…符号化信号(合成符号列)
235…簡略化符号列
406,506,606…付加符号列分離器
407,507,511,607,613…切替器
408,508,608…復号器
409,509,609…誤り検出器
510…付加符号列補間器
612…同期信号判定器
436,536,636…入力符号化信号
432,532,632…基本符号列
433,533,633…付加符号列
437,537,637…復号画像信号
438,538,638,641…切替器制御信号
439…復号状態信号
440…誤り検出信号
1101…パーソナルコンピュータ(PC)
1102,1106…カメラ
1103,1104…無線機
1105…ワークステーション(EWS)
1201…領域分割器
1202,1302…動き補償器
1202,1302…フレームメモリ
1204…差分器
1205…離散コサイン変換器
1206…量子化器
1209…多重化器
1210,1310…逆量子化器
1211,1311…逆離散コサイン変換器
1212,1312…加算器
1213,1214…可変長符号化器
1319…逆多重化器
1320,1321…可変長復号化器
1231…入力画像信号
1233…予測信号
1234…予測残差信号
2001…重要情報選択器
2002…符号列変換器
2031…入力符号列
2032…重要情報
2033…変換後の符号列
2101…符号列判定器
2102…符号列切替器
2103…符号列基本符号列復号器
2104…付加符号列復号器
2105,2203…復号値選択器
2106,2205…復号値切替器
2131,2231…入力符号列
2132,2232…判定結果
2133,2134,2233…復号状態情報
2135,2136,2234,2235…復号値
2137,2236…復号値切替器制御信号
2138,2237…復号画像信号
2203…符号列復号器
3102…簡略化制御器
3133…符号化情報
3134…簡略化方式制御信号
Claims (10)
- 基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列を入力し、
前記付加符号列に付加された同期信号により前記基本符号列と付加符号列との判別を行い、
前記判別の結果に基づいて前記入力符号列を基本符号列と付加符号列とに分離し、
前記基本符号列または前記付加符号列を復号して復号データを出力することを特徴とする画像復号化方法。 - 基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列を前記基本符号列と付加符号列とに分離し、
前記基本符号列または前記付加符号列を復号手段に入力して復号データを出力し、
前記復号手段で前記基本符号列が復号可能か復号不可能かを判定し、
前記復号手段で前記基本符号列が復号可能と判定された場合は前記基本符号列を前記復号手段に入力し、復号不可能と判定された場合は前記付加符号列を前記復号手段に入力することを特徴とする画像復号化方法。 - 前記入力符号列は、前記付加符号列として前記基本符号列と同じ符号列が付加されていることを特徴とする請求項1または2記載の画像復号化方法。
- 前記入力符号列は、前記付加符号列に前記基本符号列に付加されている同期信号と同一または異なる同一同期信号が付加され、該同期信号が付加された付加符号列と前記基本符号列とが合成されていることを特徴とする請求項1または2記載の画像復号化方法。
- 前記入力符号列は、前記付加符号列を判定するIDが配置されていることを特徴とする請求項1または2記載の画像復号化方法。
- 基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列について、前記付加符号列に付加された同期信号により前記基本符号列と付加符号列との判別を行い、前記判別の結果に基づいて前記入力符号列を基本符号列と付加符号列とに分離する符号列分離手段と、
前記基本符号列または前記付加符号列を復号して復号データを出力する復号手段とを具備したことを特徴とする画像復号化装置。 - 基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列について、前記付加符号列に付加された同期信号により前記基本符号列と付加符号列との判別を行い、前記判別の結果に基づいて前記入力符号列を基本符号列と付加符号列とに分離する符号列分離手段と、
前記基本符号列または前記付加符号列を復号して復号データを出力する復号手段と、
前記復号手段で前記基本符号列が復号可能か復号不可能かを判定する判定手段と、
前記判定手段により前記復号手段で前記基本符号列が復号可能と判定された場合は前記基本符号列を前記復号手段に入力し、復号不可能と判定された場合は前記付加符号列を前記復号手段に入力する符号列切替手段とを具備したことを特徴とする画像復号化装置。 - 前記入力符号列は、前記付加符号列に前記基本符号列に付加されている同期信号と同一または異なる同期信号が付加され、該同期信号が付加された付加符号列と前記基本符号列とが合成されていることを特徴とする請求項6または7記載の画像復号化装置。
- 前記判定手段は、誤り検出により前記基本符号列が復号可能か復号不可能かを判定することを特徴とする請求項7記載の画像復号化装置。
- 前記符号列切替手段は、前記判定手段により前記復号手段で前記基本符号列が復号不可能と判定された場合は誤りにより失われた情報のみ前記付加符号列を前記復号手段に入力することを特徴とする請求項7記載の画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003189065A JP2004129216A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28090895 | 1995-10-27 | ||
JP2003189065A JP2004129216A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17040096A Division JPH09182067A (ja) | 1995-10-27 | 1996-06-28 | 画像符号化/復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004129216A true JP2004129216A (ja) | 2004-04-22 |
Family
ID=17631625
Family Applications (11)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17040096A Pending JPH09182067A (ja) | 1995-10-27 | 1996-06-28 | 画像符号化/復号化装置 |
JP2003189070A Pending JP2004007753A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189067A Expired - Fee Related JP3762392B2 (ja) | 1995-10-27 | 2003-06-30 | 動画像符号化方法及び装置 |
JP2003189063A Pending JP2004007751A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189069A Pending JP2004007752A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189065A Pending JP2004129216A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189066A Pending JP2004064762A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
JP2003189062A Pending JP2004048752A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
JP2003189068A Pending JP2004032792A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189064A Pending JP2004056797A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2006068363A Abandoned JP2006222980A (ja) | 1995-10-27 | 2006-03-13 | 画像符号化方法と装置及び画像復号化方法と装置 |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17040096A Pending JPH09182067A (ja) | 1995-10-27 | 1996-06-28 | 画像符号化/復号化装置 |
JP2003189070A Pending JP2004007753A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189067A Expired - Fee Related JP3762392B2 (ja) | 1995-10-27 | 2003-06-30 | 動画像符号化方法及び装置 |
JP2003189063A Pending JP2004007751A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189069A Pending JP2004007752A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003189066A Pending JP2004064762A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
JP2003189062A Pending JP2004048752A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
JP2003189068A Pending JP2004032792A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2003189064A Pending JP2004056797A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
JP2006068363A Abandoned JP2006222980A (ja) | 1995-10-27 | 2006-03-13 | 画像符号化方法と装置及び画像復号化方法と装置 |
Country Status (2)
Country | Link |
---|---|
US (25) | US5930395A (ja) |
JP (11) | JPH09182067A (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09182067A (ja) | 1995-10-27 | 1997-07-11 | Toshiba Corp | 画像符号化/復号化装置 |
KR100330196B1 (ko) * | 1997-05-16 | 2002-03-28 | 다치카와 게이지 | 가변길이 프레임 전송방법과 전송장치 및 수신장치 |
US6754277B1 (en) * | 1998-10-06 | 2004-06-22 | Texas Instruments Incorporated | Error protection for compressed video |
JP3606306B2 (ja) * | 1998-10-08 | 2005-01-05 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
KR100327412B1 (ko) * | 1999-08-02 | 2002-03-13 | 서평원 | 에러 정정을 위한 영상 부호화 및 복호화 방법 |
US6757654B1 (en) * | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
JP4141952B2 (ja) * | 2001-07-19 | 2008-08-27 | トムソン ライセンシング | 信号の受信を改善する方法、システム、および受信機 |
DE60311231T2 (de) * | 2002-01-22 | 2007-11-15 | Microsoft Corp., Redmond | Verfahren zum ermöglichen von direktzugriff und spleissen in einem verschlüsselten videostrom |
WO2003090470A2 (en) * | 2002-04-19 | 2003-10-30 | Microsoft Corporation | Methods and systems for preventing start code emulation at non-byte aligned and/or bit-shifted locations |
US20060251337A1 (en) * | 2003-08-07 | 2006-11-09 | Redert Peter A | Image object processing |
WO2005025225A1 (ja) * | 2003-09-04 | 2005-03-17 | Nec Corporation | 動画像データ変換方法および装置ならびにプログラム |
JP2005123856A (ja) * | 2003-10-16 | 2005-05-12 | Ricoh Co Ltd | 画像処理システム、画像処理方法、プログラム及び情報記録媒体 |
TWI313107B (en) * | 2003-11-24 | 2009-08-01 | Unified viterbi/turbo decoder for mobile communication systems | |
EP1744482A4 (en) * | 2004-05-06 | 2011-04-13 | Nec Corp | WIRELESS COMMUNICATION SYSTEM, WIRELESS COMMUNICATION PROCESS AND WIRELESS COMMUNICATION DEVICE |
US8149739B2 (en) * | 2004-10-15 | 2012-04-03 | Lifesize Communications, Inc. | Background call validation |
US20060106929A1 (en) * | 2004-10-15 | 2006-05-18 | Kenoyer Michael L | Network conference communications |
US7545435B2 (en) * | 2004-10-15 | 2009-06-09 | Lifesize Communications, Inc. | Automatic backlight compensation and exposure control |
US7650031B2 (en) * | 2004-11-23 | 2010-01-19 | Microsoft Corporation | Method and system for detecting black frames in a sequence of frames |
US7929776B2 (en) * | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
EP1732331A1 (en) * | 2005-06-08 | 2006-12-13 | BRITISH TELECOMMUNICATIONS public limited company | Video coding |
US8621896B2 (en) | 2005-11-30 | 2014-01-07 | Lg Electronics Inc. | Washing machine |
CN101227601B (zh) * | 2007-01-15 | 2011-09-14 | 飞思卡尔半导体公司 | 在视频再现中进行几何变换的方法和设备 |
JP2008187530A (ja) * | 2007-01-30 | 2008-08-14 | Yazaki Corp | 通信システム、並びに、受信器及び送信器 |
JP2010538534A (ja) * | 2007-08-28 | 2010-12-09 | トムソン ライセンシング | チャネル変更遅延のないスタガーキャスティング |
US9661267B2 (en) * | 2007-09-20 | 2017-05-23 | Lifesize, Inc. | Videoconferencing system discovery |
JP2009111932A (ja) * | 2007-10-31 | 2009-05-21 | Panasonic Corp | 動画像復号化装置 |
US8305421B2 (en) * | 2009-06-29 | 2012-11-06 | Lifesize Communications, Inc. | Automatic determination of a configuration for a conference |
WO2012008162A1 (ja) * | 2010-07-15 | 2012-01-19 | パナソニック株式会社 | 画像復号化方法、画像符号化方法、画像復号化装置、画像符号化装置、プログラムおよび集積回路 |
WO2012069886A1 (en) * | 2010-11-26 | 2012-05-31 | Nokia Corporation | Coding of strings |
US10271069B2 (en) | 2016-08-31 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selective use of start code emulation prevention |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4581741A (en) * | 1983-12-07 | 1986-04-08 | Rockwell International Corporation | Error detection apparatus for data dependent coding circuitry |
US5596421A (en) * | 1993-06-03 | 1997-01-21 | Matsushita Electric Industrial Co., Ltd. | Optical disk recorder for video signals and an optical disk for use therein |
JP3428697B2 (ja) | 1993-09-07 | 2003-07-22 | キヤノン株式会社 | 画像復号化方法 |
JPH09182067A (ja) * | 1995-10-27 | 1997-07-11 | Toshiba Corp | 画像符号化/復号化装置 |
-
1996
- 1996-06-28 JP JP17040096A patent/JPH09182067A/ja active Pending
- 1996-10-25 US US08/738,171 patent/US5930395A/en not_active Expired - Lifetime
-
1999
- 1999-05-07 US US09/306,983 patent/US6035069A/en not_active Expired - Fee Related
- 1999-12-23 US US09/471,416 patent/US6353681B2/en not_active Expired - Lifetime
- 1999-12-23 US US09/471,415 patent/US6408098B2/en not_active Expired - Lifetime
- 1999-12-23 US US09/471,414 patent/US6334000B2/en not_active Expired - Lifetime
-
2002
- 2002-01-29 US US10/057,915 patent/US6621931B2/en not_active Expired - Lifetime
- 2002-01-29 US US10/057,942 patent/US6701018B2/en not_active Ceased
- 2002-03-19 US US10/100,004 patent/US6643403B2/en not_active Expired - Fee Related
- 2002-03-19 US US10/100,005 patent/US6643404B2/en not_active Expired - Fee Related
-
2003
- 2003-06-30 JP JP2003189070A patent/JP2004007753A/ja active Pending
- 2003-06-30 JP JP2003189067A patent/JP3762392B2/ja not_active Expired - Fee Related
- 2003-06-30 JP JP2003189063A patent/JP2004007751A/ja active Pending
- 2003-06-30 JP JP2003189069A patent/JP2004007752A/ja active Pending
- 2003-06-30 JP JP2003189065A patent/JP2004129216A/ja active Pending
- 2003-06-30 JP JP2003189066A patent/JP2004064762A/ja active Pending
- 2003-06-30 JP JP2003189062A patent/JP2004048752A/ja active Pending
- 2003-06-30 JP JP2003189068A patent/JP2004032792A/ja active Pending
- 2003-06-30 JP JP2003189064A patent/JP2004056797A/ja active Pending
-
2006
- 2006-03-13 JP JP2006068363A patent/JP2006222980A/ja not_active Abandoned
-
2008
- 2008-09-18 US US12/232,508 patent/USRE42500E1/en not_active Expired - Lifetime
- 2008-09-18 US US12/232,510 patent/USRE42591E1/en not_active Expired - Lifetime
-
2009
- 2009-12-07 US US12/591,981 patent/USRE42501E1/en not_active Expired - Lifetime
- 2009-12-07 US US12/591,980 patent/USRE42518E1/en not_active Expired - Lifetime
-
2010
- 2010-04-19 US US12/762,686 patent/USRE42454E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,935 patent/USRE42474E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,834 patent/USRE42504E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,972 patent/USRE42520E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,998 patent/USRE42621E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,983 patent/USRE42456E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,722 patent/USRE42502E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,795 patent/USRE42503E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,756 patent/USRE42571E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,745 patent/USRE42519E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,864 patent/USRE42505E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,793 patent/USRE42455E1/en not_active Expired - Lifetime
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3762392B2 (ja) | 動画像符号化方法及び装置 | |
KR100564896B1 (ko) | 화상부호화방법 및 장치와 기록매체 | |
JP2007151163A (ja) | 画像復号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050614 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050815 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060511 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060602 |