JPH1023423A - 画像符号化装置および画像復号化装置 - Google Patents
画像符号化装置および画像復号化装置Info
- Publication number
- JPH1023423A JPH1023423A JP16948996A JP16948996A JPH1023423A JP H1023423 A JPH1023423 A JP H1023423A JP 16948996 A JP16948996 A JP 16948996A JP 16948996 A JP16948996 A JP 16948996A JP H1023423 A JPH1023423 A JP H1023423A
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- frame memory
- motion
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
処理が進むに従ってフレームメモリに書き込まれていた
復号化画像を順次更新していってしまうため、過去の復
号化画像で現在の符号化フレームに似た画像があった場
合でも、既にフレームメモリから消去されてしまってい
るので参照できず、これを用いた効率な予測ができな
い。 【解決手段】 復号化画像のうちフレームメモリに継続
的に記憶する画像を背景画像として選択して記憶させる
背景画像記憶制御手段と、この背景画像に基づき入力画
像に対応する動き補償予測を行い動き補償予測に基づく
予測画像を生成する背景動き補償手段とを備えた。
Description
符号化あるいは復号化を行い、画像の効率的伝送もしく
は蓄積を行うシステムに供することのできる画像符号化
装置および復号化装置に関するものである。具体的な応
用例としては、衛星や地上波、有線通信網を介して行う
ディジタル放送システム、ディジタルビデオディスク、
移動体ビデオフォン、PHSビデオフォン、あるいは画
像のデータベースなどがある。
て、ISO/IEC JTC1/SC29/WG11において検討された国際標
準方式であるMPEG2がある。例えば「テレビジョン学会
誌 画像情報工学と放送技術」の1995年4月号では、MPE
Gを特集テーマとして解説している。同誌p.29-60に渡
り、「3-2 ビデオ圧縮」としてMPEG2の符号化方式が紹
介されている。以下、MPEG2の符号化方式について説明
する。
構成を示す構成図であり、図32はMPEG2復号化器の基
本構成を示す構成図である。図中、1はフレーム並び換
え部、2は減算部、3a、3bはインタ(フレーム内)
/イントラ(フレーム間)切り替えセレクタ、4は変換
部、5は量子化部、6は逆量子化部、7は逆変換部、8
は加算器、9は第1のフレームメモリ、10は第2のフ
レームメモリ、11は順方向動き補償部、12は両方向
動き補償部、13は逆方向動き補償部、15は動き推定
部、16は符号化制御部、17は可変長符号化部、18
はバッファである。
像データ、101は並び替えされた入力画像データ、1
02は予測誤差画像、103は原入力画像または予測誤
差画像、104は変換係数、105は量子化係数、10
6は逆量子化された変換係数、107は逆変換された画
像データ、108は局部復号化画像、109は第1のフ
レームメモリからの参照画像、110は第2のフレーム
メモリからの参照画像、111は順方向動き予測画像、
112は両方向動き予測画像、113は逆方向動き予測
画像、115は決定された予測画像、117はセレクタ
への制御信号、118は変換部4への制御信号、119
は適応量子化値、120は可変長符号化語、121はビ
ットストリーム、123は動きベクトル、124は参照
画像、125はイントラ・インター切り替え信号であ
る。
る。ディジタル化され入力画像信号100は、フレーム
並び換え部1において符号化される画像フレームの並べ
替えを行う。図33は、この並べ替えを図示したもので
ある。図33において、Iはイントラ(フレーム内)符
号化画像、Pはフレーム間符号化画像、Bは両方向予測
符号化画像を意味している。尚、番号は表示される時間
的な順番を示す。
号化され、次に第4フレームがPピクチャとして符号化
され、この時、既に符号化済みのIピクチャを予測のた
めの参照フレームとして用いることになる。続いて、第
2フレームがBピクチャとして符号化され、この時に予
測のための参照フレームとして用いられるのが、既に符
号化済みの第1フレームのIピクチャと第4フレームの
Pピクチャである。同図中の矢印は予測される方向を示
す。
の構成で符号化が行われる。従って、時間順に並んでい
た入力画像信号100を上記処理のために、符号化順に
並べ替えるのが、フレーム並べ替え部1の働きである。
続いて、前記Iピクチャの場合には予測符号化を行わな
いので、並び替えされた画像101はそのままセレクタ
3aに入力して、セレクタ出力103につながる。他
方、前記PピクチャまたはBピクチャの場合の予測符号
化には、減算部2において予測画像115との差分が取
られ、予測誤差画像102がセレクタ出力103とな
る。
通り変換係数104が出力され、これは量子化部を通
り、量子化係数105が得られる。量子化係数105は
可変長符号化部17において可変長符号化され、可変長
符号化語120が出力される。また量子化係数105は
一方で逆量子化部6の入力ともなり、量子化係数106
が得られる。さらに量子化係数106は逆変換部7にお
いて再度画像レベルにまで逆変換されて画像データ10
7が出力される。画像データ107は前記Iピクチャの
場合には加算部8で選択された予測画像116と加算さ
れ、局部復号化画像108が供される。
ャの場合にはそのまま第1のフレームメモリ9に書き込
まれるが、Pピクチャの場合には第2のフレームメモリ
10に書き込まれる。一方、Bピクチャの場合は108
はどちらのフレームメモリにも書き込まれることはな
い。
のみ用いるので、第1のフレームメモリ9内の参照画像
124を読み出して、動き推定部15においてマクロブ
ロック(16画素x16ラインの処理の基本単位)毎に
動き予測を行い、最も現在のマクロブロックに値が近い
ものを予測画像として選択し、同時に動きベクトル12
3を出力する。図31の点線領域で示された動き補償部
に動きベクトル123が入力して動き予測画像が出力さ
れるが、この場合には順方向動き補償部11において、
第1のフレームメモリ9からの参照画像109を用い
て、順方向動き予測画像111が供され、決定された予
測画像115となる。
マクロブロックの局部復号化画像108は、第2のフレ
ームメモリに書き込まれる。但し、上記Pピクチャの場
合でも、該マクロブロックがフレーム内(イントラ)符
号化される時には、フレーム並び替えされた画像101
が直接セレクタ出力となる。
手順は上記Pピクチャの場合と同様であるが、予測のた
めの参照フレームを2つ使う所が異なる。動き推定部1
5では、第1のフレームメモリ9からの参照画像109
を用いた順方向予測、第2のフレームメモリ10からの
参照画像110を用いた逆方向予測、参照画像109、
110の両方を用いた両方向予測を行い、最も現在のマ
クロブロックに値が近い予測モードを選択し、その時の
動きベクトル123を出力する。決定された予測モード
に基いて動き補償部では、それらに相当する動き補償部
(11、12、13)において予測画像が出力される。
例えば、両方向動き予測が選択された時は両方向予測画
像112が供され、決定された予測画像115となる。
符号化が終了すると、第2のフレームメモリに書き込ま
れていた画像データは、第1のフレームメモリに転送さ
れる。その後、第7フレームのPピクチャが符号化さ
れ、復号化画像が第2のフレームメモリに書き込まれ
る。以後、前記と同様にBピクチャ(第5、6フレー
ム)が符号化される。また、該マクロブロックがフレー
ム内(イントラ)符号化される時には、フレーム並び替
えされた画像101が直接セレクタ出力となることは、
Pピクチャの場合と同様である。
図32において、22は可変長復号化部、107(a)は
イントラ(フレーム内)符号化の画像、107(b)は
予測誤差画像である。次に動作を説明する。ビットスト
リーム121は受信バッファ8においてある時間、蓄積
され、可変長符号化語120は可変長復号化部22にお
いて、可変長復号化されて量子化係数105が出力され
る。その後の処理手順は符号化器の局部復号化処理と全
く同様である。該マクロブロックがイントラ復号化の場
合には、逆変換された画像107は、107(a)となる
が、インター(フレーム内)復号化の場合には、107
(b)となる。107(b)は加算部8において、予測画
像115との加算により、復号化画像108が出力され
る。108は、表示用フレーム並び替え部38におい
て、復号化画像を時間順に並び替える処理を行い、最終
的に出力画像137が供される。
方向、及び逆方向予測符号化を組み合わせた方式の代表
的なものである。この例において、Pピクチャの符号化
では、第1のフレームメモリを用いて順方向予測のみを
用い予測符号化を行っていた。他方Bピクチャの符号化
では、第1及び第2のフレームメモリを用いて順方向予
測、逆方向予測、両方向予測のいずれか1つの中から、
予測誤差の最小なモードを選択する手法を取っていた。
ームメモリに書き込まれていた復号化画像は消去されて
しまうため、例えば過去の復号化画像で現在の符号化フ
レームに似た画像があった場合には、既にフレームメモ
リから消去されてしまっているため、参照できないこと
になる。
を参照画像として効率的に利用することを目的として、
全体の予測効率を向上させ、高能率な動画像符号化及び
復号化を行う装置を実現することにある。
号化装置は、複数の復号化画像を記憶する記憶手段と、
この記憶手段に記憶された復号化画像に基づき入力画像
に対応する動き補償予測を行い動きベクトルを生成する
とともに動き補償予測に基づく予測画像を生成する動き
補償予測手段と、この動き補償予測手段により生成され
た予測画像と入力画像との差分を取り予測誤差画像を算
出する予測誤差算出手段と、この予測誤差算出手段から
の予測誤差画像と上記予測画像とから上記復号化画像を
生成する復号化手段と、上記復号化画像のうち上記記憶
手段に継続的に記憶する画像を背景画像として選択して
上記記憶手段に記憶する背景画像記憶制御手段と、上記
背景画像に基づき入力画像に対応する動き補償予測を行
い動きベクトルを生成するとともに動き補償予測に基づ
く予測画像を生成する背景動き補償手段とを備えたもの
である。
復号化画像を記憶する記憶手段と、この記憶手段に記憶
された復号化画像に基づき動き補償予測を行い動き補償
画像を生成する動き補償手段と、この動き補償手段から
の動き補償画像と予測誤差画像とから上記復号化画像を
生成する復号化手段と、上記復号化画像のうち上記記憶
手段に継続的に記憶する背景画像を選択して上記記憶手
段に記憶する背景画像記憶制御手段と、上記背景画像に
基づき背景予測画像を生成する背景予測画像生成手段と
を備えたものである。
を記憶するフレームメモリと、上記背景画像を記憶する
フレームメモリとにより上記記憶手段を構成する。
を記憶するフレームメモリと、上記背景画像を記憶する
フレームメモリとにより、上記記憶手段を構成する。
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
ピクチャ単位で行う。
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
ピクチャ単位で行う。
御手段による記憶手段への画像内容の書き替えを、所定
の時間間隔または外部からの制御信号によってマクロブ
ロック単位で行う。
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
マクロブロック単位で行う。
き補償手段の上記背景画像における動きベクトルの探索
範囲を可変とする。
償予測手段あるいは上記背景動き補償予測手段により得
られる動きベクトルを保持し、生成された動きベクトル
と過去の動きベクトルとの差分ベクトルを算出する差分
ベクトル生成手段を備え、上記差分ベクトルを可変長符
号化する。
化済み動きベクトルを保持し、差分ベクトルに上記過去
の復号化済み動きベクトルを加算して動きベクトルを再
生する動きベクトル加算部を備える。
複数個の対象画像(オブジェクト)毎に過去の該オブジ
ェクトの復号化画像を記憶する複数のフレームメモリ群
と、復号化画像をいずれかのフレームメモリ群のフレー
ムメモリに書き込むかを制御信号によって選別するフレ
ームメモリ選択部と、上記該オブジェクト単位に設けた
フレームメモリ群のフレームメモリから読み出した参照
画像を用いて順方向予測、逆方向予測、両方向予測、背
景予測を、オブジェクト単位に切り替えて動き補償予測
を行う動き補償予測部と、予測画像と現画像との差分を
取り、予測誤差画像を算出する減算器と、参照画像から
の予測画像と現画像の予測誤差画像との加算を算出する
加算部と、符号化情報を可変長符号化する可変長符号化
部と、を備えた構成とする。
複数個の対象画像(オブジェクト)毎に過去の該オブジ
ェクトの復号化画像を記憶する複数のフレームメモリ群
と、オブジェクト単位に復号化画像をいずれかのフレー
ムメモリに書き込むかを制御信号によって選別するフレ
ームメモリ選択部と、符号化ビットストリームを可変長
復号化する可変長復号化部と、上記フレームメモリ群の
フレームメモリから読み出した参照画像を用いて、オブ
ジェクト単位に順方向予測、逆方向予測、両方向予測、
背景予測を切り替えて動き補償画像を生成する動き補償
部とを備えた構成とする。
化装置において上記フレームメモリ群を3つとする。
象とするオブジェクトの過去の復号化画像を記憶したフ
レームメモリ群内の、該オブジェクトが存在する領域の
画像内容の書き替えを、ある時間間隔または外部からの
制御信号によって行う。
象とするオブジェクトの過去の復号化画像を記憶したフ
レームメモリ群内の、該オブジェクトが存在する領域の
画像内容の書き替えを、ある時間間隔または外部からの
制御信号によって行う。
からの参照画像における動きベクトル探索の探索範囲を
各オブジェクト毎に可変にする。
ト毎のフレームメモリ群内の画像を参照して得られた過
去の動きベクトルをある時間だけ保持して、オブジェク
ト毎に別個に差分ベクトルを算出する差分ベクトル生成
部を備え、該差分ベクトルを可変長符号化する。
ト毎のフレームメモリ群内の画像を参照して得られた過
去の復号化済み動きベクトルをある時間だけ保持して、
復号化された差分ベクトルに上記過去の復号化済み動き
ベクトルを加算して、オブジェクト毎に動きベクトルを
再生する動きベクトル加算部を備える。
像の符号化装置の構成図である。図1において、21は
動き補償予測手段としての動き補償予測部、35は背景
画像記憶制御手段としてのフレームメモリ選択部、45
は多重化部である。また、126は決定された動き予測
モード、134、135は選択された復号化画像、13
9は多重化されたビットストリームである。また、上記
以外は既に説明された番号のものと同等である。
化の動作は、従来例で述べた動き補償予測+変換符号化
と同一である。従ってここでは差異部分について主に述
べる。局部復号化画像108は、フレームメモリ選択部
35に入力し、ここで第1のフレームメモリ9、第2の
フレームメモリ10のいずれかに書き込まれるかが選択
される。また、動き推定部15では、上記フレームメモ
リ9、10から参照画像109、110を読み出して、
並び替えされた入力画像データ101との予測誤差が最
小となる予測モード126と動きベクトル123を出力
する。
9、110を読み出して、これら予測モード126及び
動きベクトル123を元に、動き予測画像115を出力
する。ビットストリーム121は、予測モード126と
共に多重化部45において多重化され、送出される。以
上が符号化器の基本動作である。以下、各部の詳細につ
いて述べる。
たものであり、同図において、27は順方向予測画像生
成部、28は両方向予測画像生成部、29は逆方向予測
画像生成部、30は背景動き補償手段としての背景予測
画像生成部、31は予測モード決定部、127は順方向
予測画像、128は両方向予測画像、129は逆方向予
測画像、130は背景予測画像である。
像生成部27、28、29、30では、所定の予測モー
ドに従って予測画像を生成する。例えば、順方向予測画
像生成部27では、第1のフレームメモリ9から参照画
像109を読み出して、入力画像データ101と値が近
い画像を参照画像109の中から探索する。
ブロックマッチング法をそのまま用いればよい。即ち、
前述のマクロブロック内のすべての画素についてマッチ
ングを取り、その誤差値の総和が最小になる画像を探索
することになる。その結果順方向予測画像生成部27で
は順方向予測画像127が出力される。逆方向予測画像
生成部29では、第2のフレームメモリ10の中から参
照画像110の中を探索して、同様にブロックマッチン
グを行い、逆方向予測画像129を出力する。
のフレームメモリ9、10を用いて、両方向予測画像1
28を出力する。両方向予測画像生成部28では、順方
向予測画像と逆方向予測画像を別個に作成し、これをも
とに両方向予測画像を求める。例えば、順方向予測画像
と逆方向予測画像の平均画像を求め、これを両方向予測
画像128とする手法が考えられる。一方、背景予測画
像生成部30では、第2のフレームメモリから参照画像
110を読み出し、ブロックマッチングにより背景予測
画像130を出力する。
127、128、129、130の中で選択された予測
画像を入力して、それらと入力画像101との差分(予
測誤差)が最小になる予測モードを選択する。この時、
予測モード126及び動きベクトル123が31から出
力される。予測モード126は、例えば順方向予測モー
ドの時が0、逆方向予測モードの時が1、両方向予測モ
ードの時が2、背景予測モードの時が3という様に決め
ればよい。
モード決定部31において生成され出力されるが、動作
としては下記の通りである。即ち、予め決められた範囲
で参照画像を探索し、各予測画像生成部において最も予
測誤差が小さい予測画像が得られた時に、予測画像と共
に動きベクトル123(a)、123(b)、123
(c)、123(d)が各予測画像生成部より出力され
る。これらは、いずれも予測モード決定部31に入力
し、各予測画像127、128、129、130の中で
最も現画像101との誤差が小さいものを選択し、その
最小値を与える予測画像の動きベクトル(動きベクトル
123(a)、123(b)、123(c)、123
(d)のいずれか)を最終的に動きベクトル123とし
て出力する。
示した構成図であり、24、26は選択器(スイッ
チ)、114は背景予測画像である。次に動作について
説明する。スイッチ25では、予測モード126に従っ
て、2つのスイッチSW1、SW2が開閉する。
像モードを示していた場合には、選択器24のSW1が
ノードBを選択し、SW2がノードCを選択する。他
方、背景予測モードが選択された時には、SW1がOF
F(選択なし)、SW2がノードEを選択する。前者の
場合は、両方向動き補償部12において、動きベクトル
123を用いて両方向動き予測画像112を生成する。
同時に、スイッチ26で両方向動き補償部12の出力ノ
ードが選択されて、両方向動き予測画像112が決定さ
れた予測画像115として、動き補償予測部21の出力
となる。
き補償予測部とを別個に備え、動き推定部で求めた予測
モードと動きベクトルとを動き補償予測部に送り、該動
き補償予測部において予測画像を生成する構成とした
が、図4に示すように、両部を動き推定・補償部39で
代用させる構成にしても、同等の機能を実現できる。
処理単位であるマクロブロック単位に符号化が行われ
る。一方、従来例のMPEG2では、Iピクチャ、Pピ
クチャ、Bピクチャの3タイプのピクチャが存在し、こ
れらピクチャによって予測モードが制限を受けていた。
即ち、Iピクチャではすべてのマクロブロックがイント
ラで符号化され、予測モードは存在しない。Pピクチャ
では順方向予測のみが存在し、Bピクチャでは順方向予
測、逆方向予測、両方向予測の3つの予測モードが存在
する。
ピクチャ、後述のPBGピクチャの2つのピクチャタイ
プが加わる。PGピクチャでは、順方向予測と背景予測
の2つが存在し、PBGピクチャでは順方向予測、逆方
向予測、両方向予測、背景予測の4つの予測モードが存
在する。
クチャのパターン例を図示したものである。例えば、
(A)の場合、これは従来例と同様であり、従来技術と
同様の手段に従えばよい。(B)の場合、第2のフレー
ムメモリ10に書き込まれていた背景画像(図5で“B
G”と表示)からの背景予測と1つ前の復号化済みピク
チャからの順方向予測の2つの予測モードを持ち、予測
誤差が小さい方を選択する。
方、第7ピクチャからはPBBP..の構造に変更にな
る。この場合、第6ピクチャまでは第2のフレームメモ
リ10に背景画像が記録されているが、その後はまず第
9ピクチャが、第6ピクチャを参照して順方向予測され
る。続いて、従来例と同様に第7ピクチャ、第8ピクチ
ャが第6ピクチャと第9ピクチャの復号化済みピクチャ
を参照して予測される。
へ伸びた点線は、例えば第2ピクチャの復号化画像の内
容が第2のフレームメモリに背景画像として書き込まれ
ることを意味している。書き込みのタイミングとして
は、ある時間間隔としてもよいし、また外部からの制御
信号から行ってもよい。但しこれは1つの例であり、他
にいくらでも多くのパターンが取れる。図5(C)で
は、第1ピクチャがIピクチャの場合を示しており、こ
の符号化済みピクチャが背景画像として第2のフレーム
メモリに書き込まれることを示している。
チャのマクロブロックの予測モードは、背景画像予測と
順方向予測のいずれかに選択される。これは、背景画像
が静止している場合に有効であり、背景画像の前で人物
が会話するシーンでは、人物の動きで背景画像が見え隠
れするオクルージョンという現象が起こるので、極めて
有効である。また、背景画像が静止画で予め既知である
場合には、符号化処理を開始する前に、第2のフレーム
メモリに該背景画像を書き込んでおくこともできる。な
お、符号化ピクチャのパターンが上記(A)、(B)、
(C)以外にも取れることは言うまでもない。
35の動作について説明する。同部では、局部復号化画
像108を第1のフレームメモリ9、または第2のフレ
ームメモリ10のどちらに書き込むかを決定する。決定
法としては例えば、図6で示した様にフレーム並び替え
部1からの制御信号140によって切り替える手法が考
えられる。
符号化されるピクチャのタイプがわかるため、例えば、
図5(B)に示した“BG”打ち切りまでは復号化済み
の画像は外部からの信号がない限り、第1のフレームメ
モリ9に書き込み、それ以降はPBBP..の構造とな
るため、従来例と同様に書き込み対象のフレームメモリ
を適応的に選択すればよい。また、図5(B)で図示し
た様に、ある位置での復号化済みピクチャからの第2フ
レームメモリ10への背景画像としての書き込みは、例
えば、シーンチェンジを検出した時に、所定時間後に復
号化画像を書き込むような構成とすればよい。
られている手法、例えば1フレーム内のマクロブロック
の中で、予測誤差がしきい値以上のマクロブロックがあ
る個数以上出現した場合、これをシーンチェンジとみな
す方法等があり、これらに従えばよい。また、上記手法
以外にも多くの手法が存在することは言うまでもない。
また、この実施形態では、記憶手段として第1、第2の
フレームメモリを備えて、動き補償予測を切り替える構
成を実現したが、ハードウエアの実現に当たっては、複
数個のフレームメモリ分の記憶容量を持ったメモリをそ
の内部アドレスによって切り分けることで、複数個のフ
レームメモリを同時に持たせることが可能となる。
基づく背景予測を用いて動き補償予測を行うので、符号
化シーケンスに影響されずに高い予測効率を維持しなが
ら符号化を行える。なお、以上の説明において、背景画
像のフレームメモリへの記憶制御を行うものを示した
が、ここでいう背景画像とは、継続的に記憶する画像の
ことを意味するものであり、画像の内容自体を示すもの
ではないことはいうまでもない。すなわち、従来のピク
チャ配列のように順次更新されていってしまう画像の中
に、後の予測の有効ば画像があるので、これを更新手順
による記憶とは独立して継続的に記憶しておくものであ
り、この画像をここでは背景画像としているものであ
る。
における動画像の復号化装置の構成図である。図におい
て、23は動き補償部、46は多重化分離部である。上
記以外は既に説明された番号のものと同等である。
置は、実施形態1に示した符号化装置に対応する。基本
的な復号化の処理手順は、従来例で述べた復号化装置と
同様であるため、ここでは差異について主に説明する。
局部復号化画像108はフレームメモリ35に入力し
て、書き込む対象のフレームメモリが選択されて、選択
された復号化画像134または135に局部復号化画像
108が転送される。
2のフレームメモリ10に該復号化画像が書き込まれ
る。一方、動き補償部23では、符号化装置の局部復号
化と同様な手順で、両フレームメモリから参照画像10
9または110を読み出し、予め決められた予測モード
126に従って、予測画像115を生成する。図8は、
動き補償部23の内部構成を示した構成図であり、32
はスイッチである。次に動作について説明する。選択さ
れた予測モード126に対応した予測画像生成部では、
参照画像109または110を読み出して予測画像を生
成する。さらにスイッチ32が、選択された予測モード
に切り替わることにより、最終的に決定された予測画像
115が出力される。
態における動画像の符号化装置の構成図である。図にお
いて、33は動き補償予測部、34は第3のフレームメ
モリ、37はフレームメモリ選択部、41は動き推定
部、133は第3のフレームメモリの参照画像、136
は選択された局部復号化画像である。上記以外は既に説
明された番号のものと同等である。この実施形態は、図
1に示したものに、第3のフレームメモリを付加した箇
所が大きな相違点である。
画像を記憶した3つのフレームメモリから参照画像10
9、110、133を読み出し、動き推定部41におい
て動き予測を行い、得られた動きベクトル123及び予
測モード126は動き補償予測部33に入力する。動き
補償予測部33では、決定された予測モード126に従
って、所定の動き予測画像を生成するために必要な参照
画像を参照画像109、110、133の中から選択
し、決定された予測画像115を出力する。
メモリ選択部37においてどのフレームメモリに書き込
むかが決定された後、所定のフレームメモリに参照画像
134または135または136として書き込まれる。
したものであり、42は予測モード決定部である。この
図10に示した動き推定部41は、図2に示した動き推
定部に、第3のフレームメモリからの参照画像133が
追加された構成である。順方向予測画像生成部27は入
力画像101と第1のフレームメモリの参照画像109
を入力して順方向予測画像127を出力し、両方向予測
画像生成部28は入力画像101と第1のフレームメモ
リの参照画像109、及び第2のフレームメモリの参照
画像110を入力して両方向予測画像128を出力し、
逆方向予測画像生成部29は入力画像101と第2のフ
レームメモリの参照画像110を入力して逆方向予測画
像129を出力し、背景予測画像生成部30は入力画像
101と第3のフレームメモリの参照画像133を入力
して背景予測画像130を出力する。
27、28、29、30と入力画像101との絶対値差
分を取り、この値が最小になる予測モードを決定して、
これを予測モード126として出力する。また同時に動
きベクトル123を出力する。
図であり、予測モード126に従ってスイッチ25が開
閉し、参照画像109、110が所定の動き補償部に入
力する。例えば、順方向予測モードが選択されていた場
合には、SW1がノードAに切り替わり、SW2はOF
Fとなる。また両方向予測モードが選択されていた場合
には、SW1がノードBに切り替わり、SW2がノード
Cに切り替わる。
は、参照画像133が直接入力して参照される。続い
て、スイッチ26では予測モード126に対応したノー
ドに切り替わり、最終的に決定された予測画像115が
出力される。また、この実施形態では、第1、第2、第
3のフレームメモリを備えて、動き補償予測を切り替え
る構成を実現したが、ハードウエアの実現に当たって
は、複数個のフレームメモリ分の記憶容量を持ったメモ
リをその内部アドレスによって切り分けることで、複数
個のフレームメモリを同時に持たせることが可能とな
る。
リの書き換えの動作を示す説明図であり、以下、図6の
フレームメモリ選択部37の動作との関係を含めて説明
する。図12には(A),(B),(C)の3つのパタ
ーンが図示してあり、(A)では第6ピクチャにおいて
背景予測と順方向予測とのPGピクチャに切り替わり、
以後第9ピクチャまでこの構成が継続する。その後、第
10ピクチャからは、再ぴIBBPの構造に戻ってい
る。
7、第8、第10、第11ピクチャで、順方向予測、逆
方向予測、両方向予測、背景予測のすべての予測モード
が切り替え可能な構成となっており、予測効率は1番高
い。またこの場合でも背景画像として第3のフレームメ
モリへの書き込みは随時可能であるが、(B)の例で
は、第5、第10ピクチャから背景画像用の第3のフレ
ームメモリヘの書き込みを行っている。(C)では、第
3、第6、第9、第12ピクチャで、背景予測と順方向
予測とのPGピクチャとなっている。
たピクチャがどのピクチャタイプであるか既知であるの
で、フレームメモリ選択部37では、そのピクチャタイ
プに従って、復号画像108を書き込むべきフレームメ
モリは自ずと決まる。即ち、IBBPの構造を取ってい
る場合には、Iでは第1のフレームメモリに書き込ま
れ、Pで第2のフレームメモリに書き込まれる。Bはど
のフレームメモリにも書き込まれない。なお、ある復号
化画像がある時間間隔または外部の制御信号によって背
景画像として第3のフレームメモリにも書き込まれるの
は、既に述べた通りである。
態における動画像の復号化装置の構成図であり、これは
図9に示した符号化装置に対応する復号化装置である。
図13において、36は動き補償部である。
6では、第1のフレームメモリ9、第2のフレームメモ
リ10、第3のフレームメモリ19から読み出した参照
画像109、110、133を参照して動き補償を行
い、予測画像115を出力する。復号化画像は、再び表
示用フレーム並び替え部38において、表示用の時間順
に並び替えされて出力画像137が得られる。図14
は、該動き補償部36の内部構成図を示す構成図であ
り、各予測画像生成部で生成された予測画像が、予測モ
ード126に従ってスイッチ32において選択される。
そして選択された予測画像115が出力される。
(B)、(C)で示した背景画像への書き換えをピクチ
ャ単位で行うものを示したが、これをマクロブロック単
位に行うことが、予測の効率化に有効な場合がある。
号化処理の中で、所定の時間間隔で更新する手法や、あ
る位置のマクロブロック内のすべての画素がある時間以
上予測のために参照されなかった場合には、制御信号を
発生させて、背景画像内の該マクロブロックのみを復号
化画像によって書き換える操作を行えばよい。
(B)の第2ピクチャから背景画像“BG”への書き込
みタイミングに対し、図15の斜線領域のマクロブロッ
クのみがそのまま第2のフレームメモリに書き込まれ、
第3ピクチャを予測する際の参照画像の一部になる。同
様に、上述の実施形態のうちフレームメモリを3つ備え
た符号化装置においても、図12(B)、(C)で示し
た背景画像への書き換えをマクロブロック単位に行う。
この書き換えの手法としては、上記と同じ操作を行えば
よい。
像内容の書き替えを、ある時間間隔または外部からの制
御信号によってマクロブロック単位に行うので、より細
かいレベルで、常にフレームメモリ内の画像内容を、背
景予測に対して高い予測効率が得られる内容に維持でき
る。
置に対応して復号化装置においても、背景画像への書き
換えをマクロブロック単位に行う。例えば、図7の復号
化装置において、復号化画像108は、フレームメモリ
選択部35において選択された後、上記マクロブロック
と同位置にある背景画像のマクロブロックが選択された
復号化画像135に書き換えられる。尚、上記マクロブ
ロック単位の更新は、ある時間間隔または外部からの制
御信号に従って行えばよい。同様に、図13に示した復
号化装置においても、図12(B)、(C)で示した背
景画像への書き換えをマクロブロック単位に行う。この
書き換えの手法としては、上記と同じ操作を行えばよ
い。
いて、図1の動き推定部15、または図3の動き推定部
33での、背景予測を行う際の動き探索範囲を、順方向
予測または逆方向予測の探索範囲と可変にすることも有
効である。これは、例えば、背景予測が有効に作用する
のは背景からの動きベクトルが0の時であることを利用
して、他の予測を行う時よりも探索範囲を小さく設定す
ることが考えられる。それに付随する効果としては、探
索時間が短縮されること、動きベクトルの可変長符号化
コードを短く設定できるために、動きベクトルの符号化
情報量が低減できることが挙げられる。
形態における符号化装置の構成図であり、47は差分ベ
クトル生成部、141は差分ベクトルである。差分ベク
トル生成部47において現在の動きベクトル123と参
照ベクトルとの差分ベクトル141を算出して、これを
可変長符号化部17において可変長符号化する。図17
はこの動きベクトルの符号化法について図示したもので
ある。
て、1つの桝目は1個のマクロブロックを意味する。第
1のフレームメモリ内の参照画像を読み出して動き補償
予測を行って求められた現在のマクロブロックの動きベ
クトルMV(1)は、既に符号化・復号化済みのマクロブ
ロックの動きベクトルMV1(1)、 MV2(1)、 MV3
(1)の3つを候補ベクトルとして、これらとの差分値を
実際に可変長符号化するのが効率的であることが知られ
ている。
(1)の3つの中間値を候補ベクトルとすることを考えれ
ば、差分ベクトルPMV(1)は、以下の式で表すことが
できる。但し、medianは中間値を算出する演算子
である。 PMV(1)=MV(1)−median(MV1(1),MV
2(1),MV3(1)) 同様に、第2のフレームメモリの場合には、 PMV(2)=MV(2)−median(MV1(2),MV
2(2),MV3(2)) となる。
クトル生成部47を加えた符号化装置の構成図である。
差分ベクトルの算出では、上記の場合に加えて、第3の
フレームメモリ用の参照動きベクトルPMV(3)を算
出して、これを可変長符号化すればよい。以上のように
して動きベクトルの情報発生量を抑制することができ
る。
を用いる符号化装置に対応した復号化装置の構成図を図
19、および図20に示し、48は動きベクトル加算部
である。可変長復号化部22において可変長復号化され
た差分ベクトル141は、動きベクトル48において参
照ベクトルとの加算を取り、動きベクトル123が算出
される。
ピクチャ内の画面全体を符号化対象としていたのに対
し、この実施形態では、画面を構成する複数個の対象物
画像(オブジェクト)単位に符号化のピクチャタイプを
可変な構造とする。図21に示すように、例えば画面が
オブジェクト1(魚)、オブジェクト2(水中:背景
画)、オブジェクト3(ボール)から構成されており、
各々の境界線が既知であった場合、それらのオブジェク
トを別々の手法で符号化することが可能になる。
ャタイプを用いることで実現する。例えば、オブジェク
ト1は動きが大きいので、両方向予測が背景予測よりも
予測効率が高いことを考慮して、図5(A)のピクチャ
タイプの構成とする。一方、オブジェクト2はほとんど
動きがない画像であるため、背景予測がより有効であ
る。従って、図5(C)の構成を取ればよい。但し、急
激に途中でシーンが変化する等の変化が起こった場合に
は、図5(B)の様に、途中のピクチャからBピクチャ
を含んだ構成とすればよい。
装置の具体例を示す構成図であり、42はオブジェクト
識別部、43は第1のフレームメモリ群、44は第2の
フレームメモリ群、138はオブジェクト識別信号であ
る。
100には、オブジェクト毎に識別信号が付いており、
42で識別されたオブジェクトの番号が識別信号138
として出力される。動き推定部15ではオブジェクト識
別信号138に従って、第1のフレームメモリ群43、
第2のフレームメモリ群44の中から、符号化対象のオ
ブジェクトに対応したフレームメモリを選び、参照画像
を読み出して、動き予測を行う。
部15で決定された予測モード126に従って、所定の
ブジェクトに対応したフレームメモリを選び、予測画像
115を生成する。一方、フレームメモリ選択部35で
は、復号化画像108をオブジェクト識別信号138に
従って、所定のフレームメモリ群の中の所定のオブジェ
クトに対応したフレームメモリに書き込む。またオブジ
ェクト識別信号138は、他の符号化情報と共に多重化
部45において多重化されて、多重化されたビットスト
リーム139として送出される。
レームメモリ群を備えて、動き補償予測を切り替える構
成を実現したが、ハードウエアの実現に当たっては、複
数個のフレームメモリ群分の記憶容量を持ったメモリを
その内部アドレスによって切り分けることで、複数個の
フレームメモリ群を同時に持たせることが可能となる。
以上のように、オブジェクトの動きに応じた予測構造を
取れるので全体の予測効率が向上する。
する復号化装置の構成図を図23に示し、46は多重化
分離部である。次に動作について説明する。多重化分離
部46で多重化分離されたオブジェクト識別信号138
に従って、動き補償部23では所定のフレームメモリ群
の中の所定のオブジェクトに対応したフレームメモリか
ら参照画像を読み出し、予測モードに対応した動き補償
を行い、予測画像115を生成する。一方、フレームメ
モリ選択部35では、復号化画像108をオブジェクト
識別信号138に従って、所定のフレームメモリ群の中
の所定のオブジェクトに対応したフレームメモリに書き
込む。
装置に、さらに1つのフレームメモリ群を追加して、3
つのフレームメモリ群の構成とした符号化装置の構成図
であり、49は第3のフレームメモリ群である。
100には、オブジェクト毎に識別信号が付いており、
42で識別されたオブジェクトの番号が識別信号138
として出力される。動き推定部15ではオブジェクト識
別信号138に従って、第1のフレームメモリ群43、
第2のフレームメモリ群44、第3のフレームメモリ群
49の中から、符号化対象のオブジェクトに対応したフ
レームメモリを選び、参照画像を読み出して、動き予測
を行う。
部15で決定された予測モード126に従って、所定の
オブジェクトに対応したフレームメモリを選び、予測画
像115を生成する。一方、フレームメモリ選択部35
では、復号化画像108をオブジェクト識別信号138
に従って、所定のフレームメモリ群の中の所定のオブジ
ェクトに対応したフレームメモリに書き込む。またオブ
ジェクト識別信号138は、他の符号化情報と共に多重
化部45において多重化されて、多重化されたビットス
トリーム139として送出される。また、この実施形態
では、第1、第2、第3のフレームメモリ群を備えて、
動き補償予測を切り替える構成を実現したが、ハードウ
エアの実現に当たっては、複数個のフレームメモリ群分
の記憶容量を持ったメモリをその内部アドレスによって
切り分けることで、複数個のフレームメモリ群を同時に
持たせることが可能となる。
応する復号化装置の構成図を図25に示す。次に動作に
ついて説明する。多重化分離部46で多重化分離された
オブジェクト識別信号138に従って、動き補償部23
では所定のフレームメモリ群の中の所定のオブジェクト
に対応したフレームメモリから参照画像を読み出し、予
測モードに対応した動き補償を行い、予測画像115を
生成する。一方、フレームメモリ選択部35では、復号
化画像108をオブジェクト識別信号138に従って、
所定のフレームメモリ群の中の所定のオブジェクトに対
応したフレームメモリに書き込む。
ェクトの過去の復号化画像を記憶した第2のフレームメ
モリ群内の該オブジェクトに対応したフレームメモリ内
の、該オブジェクトが存在する領域の画像内容の書き替
えを、ある時間間隔または外部からの制御信号によって
行うことがある。
る領域を含むすべてのマクロブロックの復号化画像によ
って、第2のフレームメモリ群内の該オブジェクトに対
応したフレームメモリの同位置のマクロブロック内の画
像内容が書き替えられることを図示している。従って、
同図の場合には、縦2個、横2個、計4個のマクロブロ
ックの内容が更新されることになる。
去の復号化画像を記憶した第3のフレームメモリ群内の
該オブジェクトに対応したフレームメモリ内の、該オブ
ジェクトが存在する領域の画像内容の書き替えを、ある
時間間隔または外部からの制御信号によって行う場合、
上記説明における第2のフレームメモリ群内のフレーム
メモリに書き込む操作を、第3のフレームメモリ群内の
フレームメモリに書き込む操作で代用すればよい。
装置においても、オブジェクトの過去の復号化画像を記
憶した第2のフレームメモリ群内の該オブジェクトに対
応したフレームメモリ内の、該オブジェクトが存在する
領域の画像内容の書き替えを、ある時間間隔または外部
からの制御信号によって行うようにする。
号化装置において、第1のフレームメモリ群の該オブジ
ェクトに対応したフレームメモリからの参照画像と、第
2のフレームメモリ群の該オブジェクトに対応したフレ
ームメモリからの参照画像とで、オブジェクト毎に動き
ベクトル探索の探索範囲を可変にする。例えば、図22
の符号化装置において、該オブジェクトの、動きの少な
い背景画像を第2のフレームメモリ群の該オブジェクト
に対応したフレームメモリに記憶させておき、他方、動
きの大きい該オブジェクトの復号化画像を第1のフレー
ムメモリ群の該オブジェクトに対応したフレームメモリ
に随時書き込む操作を行えば、両者とも高い予測効率を
維持することができる。
て、第1のフレームメモリ群の該オブジェクトに対応し
たフレームメモリからの参照画像と、第2のフレームメ
モリ群の該オブジェクトに対応したフレームメモリから
の参照画像と、第3のフレームメモリ群の該オブジェク
トに対応したフレームメモリからの参照画像とで、オブ
ジェクト毎に動きベクトル探索の探索範囲を可変にす
る。
オブジェクトの、動きの少ない背景画像を第3のフレー
ムメモリ群の該オブジェクトに対応したフレームメモリ
に記憶させておき、他方、動きの大きい該オブジェクト
の復号化画像を第1のフレームメモリ群または第2のフ
レームメモリ群の該オブジェクトに対応したフレームメ
モリに随時書き込む操作を行えば、3者とも高い予測効
率を維持することができる。以上のように、オブジェク
トが参照する複数個のフレームメモリ群に応じて、動き
ベクトルの探索範囲を別々に設定するので、例えば動き
が小さいオブジェクトの場合には、動きベクトルの探索
範囲を狭くすることで、動きベクトルの情報発生量を削
減することができる。
号化装置において、オブジェクト毎の第1のフレームメ
モリ群内の該オブジェクトに対応したフレームメモリか
らの画像を参照して得られた過去の動きベクトルと、オ
ブジェクト毎の第2のフレームメモリ群内の該オブジェ
クトに対応したフレームメモリからの画像を参照して得
られた過去の動きベクトルとを、別々にある時間だけ保
持して、オブジェクト毎に別個に差分ベクトルを算出す
る差分ベクトル生成部を備えたものを図27に示す。
定部15において現画像101と、第1のフレームメモ
リ群もしくは第2のフレームメモリ群で、動き推定の結
果選択されたフレームメモリ群の該オブジェクトに対応
したフレームメモリ内の画像を参照画像としての動き推
定を行い、動きベクトル123を検出する。動きベクト
ル123は差分ベクトル生成部47において、同部に記
憶された該オブジェクトの過去の動きベクトルの中から
候補ベクトルを選択して(前述のMV1,MV2,MV
3)、差分ベクトル141を出力する。差分ベクトル1
41は可変長符号化部17において、可変長符号化語に
符号化される。従って、差分ベクトル生成部47では各
フレームメモリ群毎に、過去の動きベクトルを別々にあ
る時間だけ保持しておくメモリ機能を有している。
置に対応した復号化装置の構成図を図28に示す。可変
長復号化部22において可変長復号化された差分ベクト
ル141は、動きベクトル加算部48において、同部に
記憶された該オブジェクトの過去の動きベクトルの中か
ら候補ベクトルを選択して、この候補ベクトルに上記差
分ベクトル141を加算することで、動きベクトル12
3を再現する。123は動き補償部23に送られ、同部
において、選択されたフレームメモリ群の該オブジェク
トに対応したフレームメモリ内の画像を参照画像を読み
出して、予測画像115が出力される。
3のフレームメモリ群を追加した構成の符号化装置の構
成図を図29に示す。符号化対象とするオブジェクト
は、動き推定部15において現画像101と、第1のフ
レームメモリ群もしくは第2のフレームメモリ群もしく
は第3のフレームメモリ群の中で、動き推定の結果選択
されたフレームメモリ群の該オブジェクトに対応したフ
レームメモリ内の画像を参照画像としての動き推定を行
い、動きベクトル123を検出する。動きベクトル12
3は差分ベクトル生成部47において、同部に記憶され
た該オブジェクトの過去の動きベクトルの中から候補ベ
クトルを選択して(前述のMV1,MV2,MV3)、
差分ベクトル141を出力する。差分ベクトル141は
可変長符号化部17において、可変長符号化語に符号化
される。この場合も、差分ベクトル生成部47では各フ
レームメモリ群毎に、過去の動きベクトルを別々にある
時間だけ保持しておくメモリ機能を有している。
置に対応した復号化装置の構成図を図30に示す。可変
長復号化部22において可変長復号化された差分ベクト
ル141は、動きベクトル加算部48において、同部に
記憶された該オブジェクトの過去の動きベクトルの中か
ら候補ベクトルを選択して、この候補ベクトルに上記差
分ベクトル141を加算することで、動きベクトル12
3を再現する。動きベクトル123は動き補償部23に
送られ、同部において、選択されたフレームメモリ群の
該オブジェクトに対応したフレームメモリ内の画像を参
照画像を読み出して、予測画像115が出力される。以
上のように、複数個のフレームメモリ群の個数分だけ、
オブジェクト毎に過去の動きベクトルをある時間だけ記
憶させたメモリ機能を持ち、検出した動きベクトルと候
補ベクトルとの差分ベクトルを算出する差分ベクトル生
成部を備えれば、動きベクトルの情報発生量を抑制する
ことができる。
景画像を記憶し、これに基づく背景予測を用いて動き補
償予測を行うので、符号化シーケンスに影響されずに高
い予測効率を維持しながら符号化を行えるという効果が
ある。
のフレームメモリ内の画像内容の書き替えを、ある時間
間隔または外部からの制御信号によってピクチャ単位に
行うので、常にフレームメモリ内の画像内容を、背景予
測に対して高い予測効率が得られる内容に維持できると
いう効果がある。
のフレームメモリ内の画像内容の書き替えを、ある時間
間隔または外部からの制御信号によってマクロブロック
単位に行うので、より細かいレベルで、常にフレームメ
モリ内の画像内容を、背景予測に対して高い予測効率が
得られる内容に維持できるという効果がある。
ムメモリ別に、動き推定を行う時の動きベクトルの探索
範囲を可変にするので、例えば動きが少ない画面が書き
込まれているフレームメモリの参照から動きを探索する
場合は、短いコードを与えることができるために、動き
ベクトルの符号化情報量を削減する効果がある。
け、過去の動きベクトルをある時間だけ記憶させたメモ
リ機能を持ち、検出した動きベクトルと候補ベクトルと
の差分ベクトルを算出する差分ベクトル生成部を備えた
ので、動きベクトルの情報発生量を抑制する効果があ
る。
ト毎に複数個のフレームメモリを使って動き補償予測を
行う構成にしたので、オブジェクトの動きに応じた予測
構造を取れるので全体の予測効率が向上するという効果
がある。
ームメモリ内の符号化対象のオブジェクトが存在してい
る領域のみを復号化画像によって、ある時間間隔または
外部制御信号によって書き換えるので、背景予測の高い
効率を維持できるという効果がある。
レームメモリ群に応じて、動きベクトルの探索範囲を別
々に設定するので、例えば動きが小さいオブジェクトの
場合には、動きベクトルの探索範囲を狭くすることで、
動きベクトルの情報発生量を削減するという効果があ
る。
だけ、オブジェクト毎に過去の動きベクトルをある時間
だけ記憶させたメモリ機能を持ち、検出した動きベクト
ルと候補ベクトルとの差分ベクトルを算出する差分ベク
トル生成部を備えたので、動きベクトルの情報発生量を
抑制する効果がある。
装置の構成図である。
き推定部の内部構成を示した構成図である。
き補償予測部の内部構成を示した構成図である。
装置の構成図である。
ーンと予測モードとの関係の例を示す説明図である。
装置の構成図である。
装置の構成図である。
き補償部23の構成図である。
装置の構成図である。
動き推定部の構成図である。
動き補償部の構成図である。
ーンと予測モードとの関係の例を示す説明図である。
化装置の構成図である。
動き補償部の構成図である。
像の書き替えを示した説明図である。
動き推定部の構成図である。
の符号化法を示す説明図である。
構成図である。
構成図である。
構成図である。
図である。
構成図である。
構成図である。
構成図である。
構成図である。
た説明図である。
構成図である。
構成図である。
構成図である。
構成図である。
り替えセレクタ 4 変換部 8 加算部 9 第1のフレームメモリ 10 第2のフレームメモリ 11 順方向動き補償部 12 両方向動き補償部 13 逆方向動き補償部 15 動き推定部 16 符号化制御部 17 可変長符号化部 21 動き補償予測部 25、26 スイッチ 27 順方向予測画像生成部 28 両方向予測画像生成部 29 逆方向予測画像生成部 30 背景予測画像生成部 31 予測モード決定部 32 スイッチ 33 動き補償予測部 35 フレームメモリ選択部 36 動き補償部 37 フレームメモリ選択部 39 動き推定・補償部 40 動き推定部 42 オブジェクト識別部 43 第1のフレームメモリ群 44 第2のフレームメモリ群 47 差分ベクトル生成部 48 動きベクトル加算部 49 第3のフレームメモリ群 102 予測誤差画像 103 セレクタ出力 108 局部復号化画像 109、110 参照画像 111 順方向動き予測画像 112 両方向動き予測画像 113 逆方向動き予測画像 114 背景動き予測画像 115 決定された予測画像 116 選択された予測画像 117 セレクタへの制御信号 118 変換部4への制御信号 121 ビットストリーム 123 動きベクトル 124 参照画像 126 決定された動き予測モード 127 順方向予測画像 128 両方向予測画像 129 逆方向予測画像 130 背景予測画像 133 第3のフレームメモリからの参照画像 134、135、136 選択された局部復号化画像 138 オブジェクト識別信号 140 制御信号 141 差分ベクトル
Claims (20)
- 【請求項1】 複数の復号化画像を記憶する記憶手段
と、この記憶手段に記憶された復号化画像に基づき入力
画像に対応する動き補償予測を行い動きベクトルを生成
するとともに動き補償予測に基づく予測画像を生成する
動き補償予測手段と、この動き補償予測手段により生成
された予測画像と入力画像との差分を取り予測誤差画像
を算出する予測誤差算出手段と、この予測誤差算出手段
からの予測誤差画像と上記予測画像とから上記復号化画
像を生成する復号化手段と、上記復号化画像のうち上記
記憶手段に継続的に記憶する画像を背景画像として選択
して上記記憶手段に記憶する背景画像記憶制御手段と、
上記背景画像に基づき入力画像に対応する動き補償予測
を行い動きベクトルを生成するとともに動き補償予測に
基づく予測画像を生成する背景動き補償手段とを備えた
ことを特徴とする画像符号化装置。 - 【請求項2】 複数の復号化画像を記憶する記憶手段
と、この記憶手段に記憶された復号化画像に基づき動き
補償予測を行い動き補償画像を生成する動き補償手段
と、この動き補償手段からの動き補償画像と予測誤差画
像とから上記復号化画像を生成する復号化手段と、上記
復号化画像のうち上記記憶手段に継続的に記憶する背景
画像を選択して上記記憶手段に記憶する背景画像記憶制
御手段と、上記背景画像に基づき背景予測画像を生成す
る背景予測画像生成手段とを備えたことを特徴とする画
像復号化装置。 - 【請求項3】 復号化画像を記憶するフレームメモリ
と、上記背景画像を記憶するフレームメモリとにより、
上記記憶手段を構成したことを特徴とする請求項1記載
の画像符号化装置。 - 【請求項4】 復号化画像を記憶するフレームメモリ
と、上記背景画像を記憶するフレームメモリとにより、
上記記憶手段を構成したことを特徴とする請求項2記載
の画像復号化装置。 - 【請求項5】 上記背景画像記憶制御手段による記憶手
段への画像内容の書き替えを、所定の時間間隔または外
部からの制御信号によってピクチャ単位で行うことを特
徴とする請求項1または3いずれかに記載の画像符号化
装置。 - 【請求項6】 上記背景画像記憶制御手段による記憶手
段への画像内容の書き替えを、所定の時間間隔または外
部からの制御信号によってピクチャ単位で行うことを特
徴とする請求項2または4いずれかに記載の画像復号化
装置。 - 【請求項7】 上記背景画像記憶制御手段による記憶手
段への画像内容の書き替えを、所定の時間間隔または外
部からの制御信号によってマクロブロック単位で行うこ
とを特徴とする請求項1または3いずれかに記載の画像
符号化装置。 - 【請求項8】 上記背景画像記憶制御手段による記憶手
段への画像内容の書き替えを、所定の時間間隔または外
部からの制御信号によってマクロブロック単位で行うこ
とを特徴とする請求項2または4いずれかに記載の画像
復号化装置。 - 【請求項9】 上記背景動き補償手段の上記背景画像に
おける動きベクトルの探索範囲を可変とすることを特徴
とする請求項1または3いずれかに記載の画像符号化装
置。 - 【請求項10】 上記動き補償予測手段あるいは上記背
景動き補償予測手段により得られる動きベクトルを保持
し、生成された動きベクトルと過去の動きベクトルとの
差分ベクトルを算出する差分ベクトル生成手段を備え、
上記差分ベクトルを可変長符号化することを特徴とする
請求項1または3いずれかに記載の画像符号化装置。 - 【請求項11】 過去の復号化済み動きベクトルを保持
し、差分ベクトルに上記過去の復号化済み動きベクトル
を加算して動きベクトルを再生する動きベクトル加算部
を備えたことを特徴とする請求項2または4いずれかに
記載の画像復号化装置。 - 【請求項12】 動画像の符号化を行って符号化ビット
ストリームを出力する画像符号化装置において、画面を
構成する複数個の対象画像(オブジェクト)毎に過去の
該オブジェクトの復号化画像を記憶する複数のフレーム
メモリ群と、復号化画像をいずれかのフレームメモリ群
のフレームメモリに書き込むかを制御信号によって選別
するフレームメモリ選択部と、上記該オブジェクト単位
に設けたフレームメモリ群のフレームメモリから読み出
した参照画像を用いて順方向予測、逆方向予測、両方向
予測、背景予測を、オブジェクト単位に切り替えて動き
補償予測を行う動き補償予測部と、予測画像と現画像と
の差分を取り、予測誤差画像を算出する減算器と、参照
画像からの予測画像と現画像の予測誤差画像との加算を
算出する加算部と、符号化情報を可変長符号化する可変
長符号化部と、を備えたことを特徴とする画像符号化装
置。 - 【請求項13】 動画像の符号化ビットストリームを復
号化する画像復号化装置において、画面を構成する複数
個の対象画像(オブジェクト)毎に過去の該オブジェク
トの復号化画像を記憶する複数のフレームメモリ群と、
オブジェクト単位に復号化画像をいずれかのフレームメ
モリに書き込むかを制御信号によって選別するフレーム
メモリ選択部と、符号化ビットストリームを可変長復号
化する可変長復号化部と、上記フレームメモリ群のフレ
ームメモリから読み出した参照画像を用いて、オブジェ
クト単位に順方向予測、逆方向予測、両方向予測、背景
予測を切り替えて動き補償画像を生成する動き補償部
と、を備えたことを特徴とする画像復号化装置。 - 【請求項14】 上記フレームメモリ群を3つとしたこ
とを特徴とする請求項12記載の画像符号化装置。 - 【請求項15】 上記フレームメモリ群を3つとしたこ
とを特徴とする請求項13記載の画像復号化装置。 - 【請求項16】 符号化対象とするオブジェクトの過去
の復号化画像を記憶したフレームメモリ群内の、該オブ
ジェクトが存在する領域の画像内容の書き替えを、ある
時間間隔または外部からの制御信号によって行うことを
特徴とする請求項12または14いずれかに記載の画像
符号化装置。 - 【請求項17】 復号化対象とするオブジェクトの過去
の復号化画像を記憶したフレームメモリ群内の、該オブ
ジェクトが存在する領域の画像内容の書き替えを、ある
時間間隔または外部からの制御信号によって行うことを
特徴とする請求項12または14いずれかに記載の画像
復号化装置。 - 【請求項18】 オブジェクト毎のフレームメモリ群か
らの参照画像における動きベクトル探索の探索範囲を各
オブジェクト毎に可変にすることを特徴とする請求項1
2または14いずれかに記載の画像符号化装置。 - 【請求項19】 オブジェクト毎のフレームメモリ群内
の画像を参照して得られた過去の動きベクトルをある時
間だけ保持して、オブジェクト毎に別個に差分ベクトル
を算出する差分ベクトル生成部を備え、該差分ベクトル
を可変長符号化することを特徴とする請求項12または
14いずれかに記載の画像符号化装置。 - 【請求項20】 オブジェクト毎のフレームメモリ群内
の画像を参照して得られた過去の復号化済み動きベクト
ルをある時間だけ保持して、復号化された差分ベクトル
に上記過去の復号化済み動きベクトルを加算して、オブ
ジェクト毎に動きベクトルを再生する動きベクトル加算
部を備えたことを特徴とする請求項13または15いず
れかに記載の画像復号化装置。
Priority Applications (14)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16948996A JP3628810B2 (ja) | 1996-06-28 | 1996-06-28 | 画像符号化装置 |
NO965100A NO310009B1 (no) | 1996-06-28 | 1996-11-29 | Innretning for koding og dekoding av bilder |
DE69620160T DE69620160T2 (de) | 1996-06-28 | 1996-12-03 | Bildkodierungsgerät und Bilddekodierungsgerät |
EP20100000835 EP2178302A3 (en) | 1996-06-28 | 1996-12-03 | Image coding apparatus and image decoding apparatus |
DE1996629137 DE69629137T2 (de) | 1996-06-28 | 1996-12-03 | Bildkodierungsgerät und Bilddekodierungsgerät |
EP20030010483 EP1345448A3 (en) | 1996-06-28 | 1996-12-03 | Image coding apparatus and image decoding apparatus |
EP19960119376 EP0817491B1 (en) | 1996-06-28 | 1996-12-03 | Image coding apparatus and image decoding apparatus |
EP20090012778 EP2164264A1 (en) | 1996-06-28 | 1996-12-03 | Image coding apparatus and image decoding apparatus |
EP20010102242 EP1096800B1 (en) | 1996-06-28 | 1996-12-03 | Image coding apparatus and image decoding apparatus |
US08/759,834 US6381275B1 (en) | 1996-06-28 | 1996-12-04 | Image coding apparatus and image decoding apparatus |
SG1997000032A SG67967A1 (en) | 1996-06-28 | 1997-01-09 | Image coding apparatus and image decoding apparatus |
KR1019970003608A KR100254070B1 (ko) | 1996-06-28 | 1997-02-05 | 화상 부호화 장치 및 화상 복호화 장치 |
US10/835,582 USRE44663E1 (en) | 1996-06-28 | 2004-04-30 | Image decoding apparatus for persistently storing reference images |
US11/826,820 USRE44692E1 (en) | 1996-06-28 | 2007-07-18 | Image coding and decoding apparatus based on the coding mode of the image to be predicted |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16948996A JP3628810B2 (ja) | 1996-06-28 | 1996-06-28 | 画像符号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003004019A Division JP4441182B2 (ja) | 2003-01-10 | 2003-01-10 | 画像符号化装置および画像復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1023423A true JPH1023423A (ja) | 1998-01-23 |
JP3628810B2 JP3628810B2 (ja) | 2005-03-16 |
Family
ID=15887484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16948996A Expired - Lifetime JP3628810B2 (ja) | 1996-06-28 | 1996-06-28 | 画像符号化装置 |
Country Status (7)
Country | Link |
---|---|
US (3) | US6381275B1 (ja) |
EP (5) | EP0817491B1 (ja) |
JP (1) | JP3628810B2 (ja) |
KR (1) | KR100254070B1 (ja) |
DE (2) | DE69620160T2 (ja) |
NO (1) | NO310009B1 (ja) |
SG (1) | SG67967A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002503926A (ja) * | 1998-02-16 | 2002-02-05 | カナル プラス ソシエテ アノニム | 復号器におけるディジタル画像データの処理 |
WO2003065733A1 (en) * | 2002-02-01 | 2003-08-07 | Matsushita Electric Industrial Co., Ltd. | Moving image coding method and moving image decoding method |
WO2005004487A1 (ja) * | 2003-06-30 | 2005-01-13 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化装置及び画像符号化方法 |
JP2009071734A (ja) * | 2007-09-14 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
AU2008200669B2 (en) * | 2002-02-01 | 2010-05-13 | Godo Kaisha Ip Bridge 1 | Moving picture coding method and moving picture decoding method |
JP2014504823A (ja) * | 2011-01-03 | 2014-02-24 | アップル インコーポレイテッド | 暗黙基準フレームを用いる動画像符号化システム |
JP2016096502A (ja) * | 2014-11-17 | 2016-05-26 | 株式会社東芝 | 画像符号化装置、画像復号装置および画像伝送方法 |
US9807411B2 (en) | 2014-03-18 | 2017-10-31 | Panasonic Intellectual Property Management Co., Ltd. | Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method |
US11197014B2 (en) | 2016-09-06 | 2021-12-07 | Kabushiki Kaisha Toshiba | Encoding apparatus, decoding apparatus, and image processing system |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2369847B1 (en) | 1997-02-13 | 2016-04-20 | Mitsubishi Denki Kabushiki Kaisha | Moving picture decoding method |
US6493385B1 (en) * | 1997-10-23 | 2002-12-10 | Mitsubishi Denki Kabushiki Kaisha | Image encoding method, image encoder, image decoding method, and image decoder |
KR100308016B1 (ko) | 1998-08-31 | 2001-10-19 | 구자홍 | 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기 |
KR100282147B1 (ko) * | 1998-11-13 | 2001-02-15 | 구자홍 | 압축 영상 복원 방법 |
US7277483B1 (en) * | 2000-04-18 | 2007-10-02 | Ati International Srl | Method and apparatus for rate control for constant-bit-rate finite-buffer-size video encoder |
GB2381403B (en) * | 2000-05-10 | 2004-12-01 | Picturetel Corp | Video coding using multiple buffers |
US7058130B2 (en) * | 2000-12-11 | 2006-06-06 | Sony Corporation | Scene change detection |
KR100525785B1 (ko) * | 2001-06-15 | 2005-11-03 | 엘지전자 주식회사 | 이미지 화소 필터링 방법 |
US9894379B2 (en) * | 2001-07-10 | 2018-02-13 | The Directv Group, Inc. | System and methodology for video compression |
US20030058932A1 (en) * | 2001-09-24 | 2003-03-27 | Koninklijke Philips Electronics N.V. | Viseme based video coding |
AU2008203058B2 (en) * | 2001-11-06 | 2009-07-02 | Panasonic Intellectual Property Corporation Of America | Moving picture coding method and moving picture decoding method |
CN1913633B (zh) * | 2001-11-06 | 2011-06-01 | 松下电器产业株式会社 | 运动图像编码方法 |
ES2665693T3 (es) | 2001-11-06 | 2018-04-26 | Panasonic Intellectual Property Corporation Of America | Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento |
EP2262269B1 (en) | 2001-12-17 | 2018-01-24 | Microsoft Technology Licensing, LLC | Skip macroblock coding |
KR100491530B1 (ko) * | 2002-05-03 | 2005-05-27 | 엘지전자 주식회사 | 모션 벡터 결정 방법 |
US20050013498A1 (en) * | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
JP4591657B2 (ja) * | 2003-12-22 | 2010-12-01 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、プログラム |
US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
US9578345B2 (en) * | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
US7986733B2 (en) * | 2004-07-30 | 2011-07-26 | Broadcom Corporation | Tertiary content addressable memory based motion estimator |
JP4284265B2 (ja) * | 2004-11-02 | 2009-06-24 | 株式会社東芝 | 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 |
KR100703770B1 (ko) * | 2005-03-25 | 2007-04-06 | 삼성전자주식회사 | 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
JP4662171B2 (ja) * | 2005-10-20 | 2011-03-30 | ソニー株式会社 | 符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体 |
KR100834680B1 (ko) * | 2006-09-18 | 2008-06-02 | 삼성전자주식회사 | 이동통신 단말기에서 출력되는 동영상 및 이미지의 화질을개선하기 위한 장치 및 방법 |
EP2083571A4 (en) | 2006-10-30 | 2010-11-10 | Nippon Telegraph & Telephone | DYNAMIC PICTURE CODING METHOD, DECODING METHOD, DEVICE THEREFOR, PROGRAM THEREFOR AND THE PROGRAM CONTAINING STORAGE MEDIUM |
EP2076049A4 (en) * | 2007-03-28 | 2011-09-14 | Panasonic Corp | DECODING CIRCUIT, DECODING PROCESS, CODING CIRCUIT, AND CODING METHOD |
JP2009044537A (ja) * | 2007-08-09 | 2009-02-26 | Osaka Univ | 映像ストリーム処理装置及びその制御方法、プログラム、記録媒体 |
CN101127912B (zh) * | 2007-09-14 | 2010-11-17 | 浙江大学 | 利用动态背景帧的视频编码方法 |
KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
AU2009251048B2 (en) * | 2009-12-18 | 2013-12-19 | Canon Kabushiki Kaisha | Background image and mask estimation for accurate shift-estimation for video object detection in presence of misalignment |
JP5486091B2 (ja) * | 2010-09-30 | 2014-05-07 | 三菱電機株式会社 | 動画像復号装置及び動画像復号方法 |
EP2805511B1 (en) | 2012-01-20 | 2019-03-06 | Sun Patent Trust | Methods and apparatus for encoding and decoding video using temporal motion vector prediction |
PL2811743T3 (pl) | 2012-02-03 | 2021-09-13 | Sun Patent Trust | Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów i urządzenie do kodowania/dekodowania obrazów |
EP2824920A4 (en) | 2012-03-06 | 2016-02-17 | Panasonic Ip Corp America | VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO COORDING DEVICE, VIDEO CODING DEVICE AND VIDEO CODING / DECODING DEVICE |
US9948915B2 (en) | 2013-07-24 | 2018-04-17 | Qualcomm Incorporated | Sub-PU motion prediction for texture and depth coding |
KR102060857B1 (ko) | 2013-07-24 | 2019-12-30 | 퀄컴 인코포레이티드 | 3d-hevc 를 위한 단순화된 진보된 모션 예측 |
US9693077B2 (en) | 2013-12-13 | 2017-06-27 | Qualcomm Incorporated | Controlling sub prediction unit (sub-PU) motion parameter inheritance (MPI) in three dimensional (3D) HEVC or other 3D coding |
WO2015131387A1 (en) | 2014-03-07 | 2015-09-11 | Qualcomm Incorporated | Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi) |
US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
CA2942336A1 (en) | 2014-03-10 | 2015-09-17 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
CN105578180B (zh) * | 2014-10-16 | 2019-01-15 | 联想(北京)有限公司 | 一种编码方法及装置 |
TWI748459B (zh) * | 2020-05-18 | 2021-12-01 | 瑞昱半導體股份有限公司 | 影像處理方法 |
CN113726980B (zh) * | 2020-05-25 | 2024-06-25 | 瑞昱半导体股份有限公司 | 图像处理方法 |
CN111711841B (zh) * | 2020-07-27 | 2022-09-09 | 广州酷狗计算机科技有限公司 | 图像帧播放方法、装置、终端及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3462572D1 (en) * | 1983-04-20 | 1987-04-09 | Nippon Telegraph & Telephone | Interframe coding method and apparatus therefor |
CA1282490C (en) * | 1985-06-27 | 1991-04-02 | Nec Corporation | Coding apparatus for moving object image |
US4833535A (en) | 1987-02-04 | 1989-05-23 | Kabushiki Kaisha Toshiba | Image transmission apparatus |
US5367629A (en) * | 1992-12-18 | 1994-11-22 | Sharevision Technology, Inc. | Digital video compression system utilizing vector adaptive transform |
US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
US5436666A (en) | 1993-05-21 | 1995-07-25 | Intel Corporation | Limited-domain motion estimation/compensation for video encoding/decoding |
WO1995001054A1 (en) | 1993-06-28 | 1995-01-05 | Sony Corporation | Apparatus for decoding time-varying image |
-
1996
- 1996-06-28 JP JP16948996A patent/JP3628810B2/ja not_active Expired - Lifetime
- 1996-11-29 NO NO965100A patent/NO310009B1/no not_active IP Right Cessation
- 1996-12-03 DE DE69620160T patent/DE69620160T2/de not_active Expired - Lifetime
- 1996-12-03 EP EP19960119376 patent/EP0817491B1/en not_active Expired - Lifetime
- 1996-12-03 EP EP20010102242 patent/EP1096800B1/en not_active Expired - Lifetime
- 1996-12-03 EP EP20100000835 patent/EP2178302A3/en not_active Withdrawn
- 1996-12-03 EP EP20090012778 patent/EP2164264A1/en not_active Withdrawn
- 1996-12-03 EP EP20030010483 patent/EP1345448A3/en not_active Withdrawn
- 1996-12-03 DE DE1996629137 patent/DE69629137T2/de not_active Expired - Lifetime
- 1996-12-04 US US08/759,834 patent/US6381275B1/en not_active Ceased
-
1997
- 1997-01-09 SG SG1997000032A patent/SG67967A1/en unknown
- 1997-02-05 KR KR1019970003608A patent/KR100254070B1/ko not_active IP Right Cessation
-
2004
- 2004-04-30 US US10/835,582 patent/USRE44663E1/en not_active Expired - Lifetime
-
2007
- 2007-07-18 US US11/826,820 patent/USRE44692E1/en not_active Expired - Lifetime
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002503926A (ja) * | 1998-02-16 | 2002-02-05 | カナル プラス ソシエテ アノニム | 復号器におけるディジタル画像データの処理 |
AU2008200669B2 (en) * | 2002-02-01 | 2010-05-13 | Godo Kaisha Ip Bridge 1 | Moving picture coding method and moving picture decoding method |
KR100944552B1 (ko) * | 2002-02-01 | 2010-02-25 | 파나소닉 주식회사 | 동화상 부호화 방법, 동화상 부호화 장치 및 데이터 기억매체 |
AU2003208086B2 (en) * | 2002-02-01 | 2007-11-15 | Godo Kaisha Ip Bridge 1 | Moving picture coding method and moving picture decoding method |
US8396132B2 (en) | 2002-02-01 | 2013-03-12 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
KR100926845B1 (ko) | 2002-02-01 | 2009-11-13 | 파나소닉 주식회사 | 동화상 복호화 방법, 동화상 복호화 장치 및 데이터 기억 매체 |
US7664178B2 (en) | 2002-02-01 | 2010-02-16 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
US7664179B2 (en) | 2002-02-01 | 2010-02-16 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
US7936825B2 (en) | 2002-02-01 | 2011-05-03 | Panasonic Corporation | Moving image coding method and moving image decoding method |
US7715478B2 (en) | 2002-02-01 | 2010-05-11 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
WO2003065733A1 (en) * | 2002-02-01 | 2003-08-07 | Matsushita Electric Industrial Co., Ltd. | Moving image coding method and moving image decoding method |
US8737473B2 (en) | 2002-02-01 | 2014-05-27 | Panasonic Corporation | Moving picture coding method and moving picture decoding method |
US7751474B2 (en) | 2003-06-30 | 2010-07-06 | Mitsubishi Denki Kabushiki Kaisha | Image encoding device and image encoding method |
WO2005004487A1 (ja) * | 2003-06-30 | 2005-01-13 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化装置及び画像符号化方法 |
JP2009071734A (ja) * | 2007-09-14 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、プログラム、および画像処理システム |
JP2014504823A (ja) * | 2011-01-03 | 2014-02-24 | アップル インコーポレイテッド | 暗黙基準フレームを用いる動画像符号化システム |
US8842723B2 (en) | 2011-01-03 | 2014-09-23 | Apple Inc. | Video coding system using implied reference frames |
US9807411B2 (en) | 2014-03-18 | 2017-10-31 | Panasonic Intellectual Property Management Co., Ltd. | Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method |
JP2016096502A (ja) * | 2014-11-17 | 2016-05-26 | 株式会社東芝 | 画像符号化装置、画像復号装置および画像伝送方法 |
US10212436B2 (en) | 2014-11-17 | 2019-02-19 | Kabushiki Kaisha Toshiba | Image encoding apparatus, image decoding apparatus and image transmission method |
US11197014B2 (en) | 2016-09-06 | 2021-12-07 | Kabushiki Kaisha Toshiba | Encoding apparatus, decoding apparatus, and image processing system |
Also Published As
Publication number | Publication date |
---|---|
KR100254070B1 (ko) | 2000-04-15 |
SG67967A1 (en) | 1999-10-19 |
EP1096800A2 (en) | 2001-05-02 |
USRE44663E1 (en) | 2013-12-24 |
EP1096800B1 (en) | 2003-07-16 |
EP2164264A1 (en) | 2010-03-17 |
EP1345448A3 (en) | 2005-10-19 |
KR980007742A (ko) | 1998-03-30 |
DE69620160D1 (de) | 2002-05-02 |
EP0817491B1 (en) | 2002-03-27 |
EP0817491A3 (en) | 1998-06-10 |
EP1345448A2 (en) | 2003-09-17 |
NO965100L (no) | 1997-12-29 |
EP0817491A2 (en) | 1998-01-07 |
DE69629137T2 (de) | 2004-04-29 |
JP3628810B2 (ja) | 2005-03-16 |
EP2178302A8 (en) | 2010-07-14 |
DE69620160T2 (de) | 2002-11-28 |
NO310009B1 (no) | 2001-04-30 |
NO965100D0 (no) | 1996-11-29 |
DE69629137D1 (de) | 2003-08-21 |
US6381275B1 (en) | 2002-04-30 |
EP1096800A3 (en) | 2001-10-04 |
EP2178302A3 (en) | 2010-08-04 |
USRE44692E1 (en) | 2014-01-07 |
EP2178302A2 (en) | 2010-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3628810B2 (ja) | 画像符号化装置 | |
KR100592651B1 (ko) | 트랜스코딩 방법 및 장치 | |
KR100604392B1 (ko) | 비디오 부호화 방법 및 장치 | |
JP4724351B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 | |
KR102036771B1 (ko) | 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램 | |
JP2004056823A (ja) | 動きベクトル符号化/復号化方法及びその装置 | |
JPH07193823A (ja) | 映像データ・ブロック変換システム | |
JPH1175191A (ja) | インターレースされたデジタルビデオ用の双方向予測ビデオオブジェクト平面の予測及び符号化 | |
JPH05137131A (ja) | フレーム間動き予測方法 | |
JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
JP2000270332A (ja) | 動画像符号化方法および装置 | |
JP2009027759A (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 | |
JPH0541861A (ja) | 動画像符号化装置 | |
JP4441182B2 (ja) | 画像符号化装置および画像復号化装置 | |
JP2002335529A (ja) | 動画像符号化方法および装置 | |
JP2007243974A (ja) | 画像符号化装置および画像復号化装置 | |
JP4301495B2 (ja) | 動画像圧縮符号化装置 | |
JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH1023415A (ja) | 画像符号化復号方法および装置 | |
JP2007221202A (ja) | 動画像符号化装置及び動画像符号化プログラム | |
JP2001251628A (ja) | ディゾルブ画像の符号化装置 | |
JP3415390B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH0738899A (ja) | 画像符号化装置 | |
JPH1175200A (ja) | 動画像符号化装置及びこれを用いた簡易復号化画像モニタ方法,制御方法 | |
JPH089388A (ja) | 動画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040716 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |