JPH09247682A - 画像符号化方法及び画像符号化装置 - Google Patents
画像符号化方法及び画像符号化装置Info
- Publication number
- JPH09247682A JPH09247682A JP5150096A JP5150096A JPH09247682A JP H09247682 A JPH09247682 A JP H09247682A JP 5150096 A JP5150096 A JP 5150096A JP 5150096 A JP5150096 A JP 5150096A JP H09247682 A JPH09247682 A JP H09247682A
- Authority
- JP
- Japan
- Prior art keywords
- divided
- image
- frame
- refresh
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
ることなく、復号できない場合に画質劣化が著しい分割
区画について、復号側への伝送でデータ誤りやデータ欠
落が生じても復号画像の画質劣化期間をごく短時間とす
る。 【解決手段】 1フレームを複数に分割し、分割区画毎
に、時間相関利用符号化方式又は同一画像内符号化方式
のいずれかで符号化する画像符号化方法又は装置であっ
て、各フレーム又は数フレーム毎に、いくつかの分割区
画をリフレッシュ対象の分割区画として決定し、リフレ
ッシュ対象と決定された分割区画は同一画像内符号化方
式で符号化する画像符号化方法又は装置に関する。そし
て、各分割区画について、その画像内容の時間変化特徴
量を計算し、この得られた各分割区画毎の時間変化特徴
量に基いて、リフレッシュ対象の分割区画を決定するこ
とを特徴とする。
Description
画像符号化装置に関し、特に、復号エラーが複数枚の連
続画像に影響を与えることを防止するためのリフレッシ
ュ機能の改良に関する。
持つ動画像データを送信しようとする場合には、動画像
データは情報圧縮が施されて冗長性を削られる。一般
に、標準化になっている動画像符号化方式(例えば、I
TU−T/H.261やMPEG2等での動画像符号化
方式)においては、時間的に前のフレームとの差分を符
号化(以下、フレーム間符号化又はINTERモード符
号化と呼ぶ)して時間方向の冗長度を削減したり、ある
いは、前後するフレーム間の差分をとらずに符号化対象
画像に直交交換を施して符号化(以下、フレーム内符号
化又はINTRAモード符号化と呼ぶ)することにより
空間方向の冗長度を削減したりする圧縮方法を併用して
いる。
261やMPEG2等の動画像符号化方式では、1枚の
画像(フレーム)をある大きさ(例えば16画素×16
画素)の区画に区切り(以下、この分割区画をマクロブ
ロックと呼ぶ)、マクロブロック単位で符号化を行な
う。このような符号化されたマクロブロックを所定数ず
つまとめ(例えば、図2において点線で区切られた部
分)、これらのマクロブロック群の間には、可変長符号
の同期をとるための同期符号語が挿入される。このよう
な区切りの単位(マクロブロック群)は、ITU−T/
H.261ではGOB(Group of Block)と呼ばれ、M
PEG2ではスライスと呼ばれている。以下、この明細
書においては、GOBやスライスのような区切りの単位
をまとめてスライスと呼ぶことにする。
同期符号語が挿入されているので、データ誤りやデータ
欠落のあった影響はスライス単位で生じる。すなわち、
データ誤りやデータ欠落があったスライスは復号するこ
とができなくなってしまうが、同期符号語により次のス
ライスからは復号可能である。
された動画像圧縮データに誤りが生じたり、データが途
中でなくなってしまった場合には、復号画像が大きく歪
み、INTERモードでは時間的に前のフレームとの差
分を符号化しているので、その歪みの影響は、後のフレ
ームにもそのまま連続して伝搬していく。例えば、圧縮
データに誤りがない場合には、図2(a)に示すよう
に、復号される画像でも、4番目のスライスに何らかの
誤りが生じて第2フレーム目の一部分が復号できない場
合には、図2(b)に示すように、第2フレーム目だけ
でなく、第3フレーム以降にもその誤りの影響が伝搬し
ていく。
後続フレームへの伝搬を防止するために、符号側におい
て、一定周期で、前のフレームを参照しないフレーム内
符号化(INTRAモード符号化)を強制的に行なうよ
うにしている。このような強制的なINTRAモードで
の符号化動作はリフレッシュと呼ばれている。リフレッ
シュには、文献1に記載のように、スライス単位でリフ
レッシュするINTRAスライスと呼ばれるものや、フ
レーム単位でリフレッシュするINTRAフレームと呼
ばれるものがあり、さらには、文献名は挙げないが、マ
クロブロック単位でリフレッシュする方法もある。
耐性を有するATM画像符号化方式」、1992年画像
符号化シンポジウム』 図3は従来のINTRAスライスの説明図である。IN
TRAスライスでは、図3に示すように、リフレッシュ
する所定数(図示のものは2個)のスライスを、フレー
ム毎に巡回的に変化させている。また、図4は従来のマ
クロブロック単位でのリフレッシュ方法の説明図であ
る。マクロブロック単位でのリフレッシュでも、図4に
示すように、リフレッシュする所定数(図示のものは3
個)のマクロブロックを、フレーム毎に巡回的に変化さ
せている。
ッシュ単位がフレーム、スライス、マクロブロックのい
ずれであろうと、従来のリフレッシュ方法は、以下のよ
うに課題を有するものであった。
によりダイナミックレンジが狭められたフレーム間差分
信号を符号化するものであるので、INTRA符号化に
比較して符号化効率が良好なものである。リフレッシュ
機能によりINTRA符号化を行なうことは、その画像
区画(リフレッシュ単位)をINTER符号化する場合
に比較して、符号量を増大させる。このようなマイナス
面を有するリフレッシュを実行するからには、リフレッ
シュの実行による画質補償が高くなければならない。
ータが欠落したりした場合、一般には、正常に復号され
た過去のフレームのその分割区画のデータを用いる。こ
のような分割区画が静止画の場合、このようなデータ誤
りや欠落に対する補償で十分な画質が得られ、リフレッ
シュを必要としない。
は、画像内容に関係なく、フレーム毎に巡回的に定まる
分割区画やフレームをリフレッシュ(INTRA符号
化)していたので、リフレッシュをしなくてもデータ誤
りや欠落に対する画質補償が十分な画像(例えば静止
画)に対してもリフレッシュを行なうことも生じてお
り、この点から符号量を余分に増加させており、伝送効
率を低下させていた。
に、動画領域に係る圧縮データ部分にデータ誤りやデー
タ欠落が生じた場合、データ誤りやデータ欠落による画
質劣化は著しい。従って、動画領域に生じたデータ誤り
やデータ欠落の後続フレームへの伝搬は、早期に断切る
ことが好ましい。この点に鑑みた場合、同一の画像区画
に対するリフレッシュ周期を短くすることが好ましい。
しかし、リフレッシュ周期を短くした場合には、伝送す
る符号量が増大するので、かかる解決方法を採用するこ
とができない。
にデータ誤りやデータ欠落が生じて画質が著しく劣化し
ても、その画像区画に対するリフレッシュがなされるの
を待たなければならず、場合によって、画質劣化時間が
かなり長期になることも生じていた。
め、第1の本発明においては、1フレームを複数に分割
し、分割区画毎に、時間相関利用符号化方式又は同一画
像内符号化方式のいずれかで符号化する画像符号化方法
であって、各フレーム又は数フレーム毎に、いくつかの
分割区画をリフレッシュ対象の分割区画として決定し、
リフレッシュ対象と決定された分割区画は同一画像内符
号化方式で符号化する画像符号化方法において、(1) 各
分割区画について、その画像内容の時間変化特徴量を計
算し、(2) 得られた各分割区画毎の時間変化特徴量に基
いて、リフレッシュ対象の分割区画を決定することを特
徴とする。
ムを複数に分割し、分割区画毎に、時間相関利用符号化
方式又は同一画像内符号化方式のいずれかで画像符号化
手段が符号化する画像符号化装置であって、リフレッシ
ュ対象決定手段が、各フレーム又は数フレーム毎に、い
くつかの分割区画をリフレッシュ対象の分割区画として
決定し、画像符号化手段がリフレッシュ対象と決定され
た分割区画を同一画像内符号化方式で符号化する画像符
号化装置において、リフレッシュ対象決定手段を、以下
のように構成したことを特徴とする。
(1) 各分割区画について、その画像内容の時間変化特徴
量を計算する特徴量計算部と、(2) 得られた各分割区画
毎の時間変化特徴量に基いて、リフレッシュ対象の分割
区画を決定するリフレッシュ対象決定部とで構成したこ
とを特徴とする。
容の時間変化の特徴に基いて、リフレッシュ対象の分割
区画を決定するようにしたので、復号できない場合に画
質劣化が著しい分割区画について、復号側への伝送でデ
ータ誤りやデータ欠落が生じても、リフレッシュにより
画質劣化を迅速に回復できるようになり、また、伝送効
率をリフレッシュのために低下させることもない。
の第1の実施形態を図面を参照しながら詳述する。な
お、この第1の実施形態は、MPEG2に従う方法及び
装置を前提としているものである。
装置の機能的構成を示すブロック図である。
は、情報源符号器101、ビデオ信号多重化符号器10
2、送信バッファ103、伝送路符号器104、符号化
制御器109及びSADソーティング部110から構成
されている。ここで、符号化制御器109は、上位n選
択器105、一致判定器106、符号化モード判定器1
07及び量子化ステップサイズ決定器108から構成さ
れている。
媒体から読み出されたりしたビデオ信号(デジタル信
号)が情報源符号器101に入力される。情報源符号器
101は、入力されたビデオ信号をINTER符号化又
はINTRA符号化により情報源符号化する。
を示すブロック図である。なお、情報源符号器101
は、入力ビデオ信号をスライスやマクロブロックに分割
し、その分割区画毎に符号化処理する。従って、図示は
省略しているが、今、どのスライス、どのマクロブロッ
クを処理しているかを認識している処理回路が存在して
いる。
減算器200、信号選択器201、動きベクトル検出器
208に与えられる。減算器200は、入力されたビデ
オ信号と、フレームメモリ207から与えられた動き補
償されている前フレームのビデオ信号との差分信号を得
て信号選択器201に与える。信号選択器201には、
符号化モード判定器107からモード種類信号が与えら
れており、信号選択器201は、モード種類信号がIN
TERモードを指示しているとき減算器200からの差
分信号を選択し、INTRAモードを指示しているとき
入力されたビデオ信号そのものを選択する。信号選択器
201からの出力信号は、直交変換器の一種であるDC
T変換器(離散コサイン変換器)202によってDCT
変換され、さらに、量子化器203によって量子化さ
れ、圧縮ビデオ信号(符号化データ)としてビデオ信号
多重化符号器102に与えられると共に、逆量子化器2
04に与えられる。
4が必要とする量子化ステップサイズは、量子化ステッ
プサイズ決定器108から与えられる。
子化器204及び逆DCT変換器205を介して、信号
選択器201からの出力信号に対応した信号に局部復号
されて加算器206に与えられる。この加算器206に
も、信号線の図示は省略するが、符号化モード判定器1
07からのモード種類信号が与えられており、モード種
類信号がINTERモードを指示しているときには、逆
DCT変換器205からの出力信号にフレームメモリ2
07からの前フレームでの局部再生ビデオ信号を加算
し、モード種類信号がINTRAモードのときには逆D
CT変換器205からの出力信号をそのまま通過させて
フレームメモリ207に与える。フレームメモリ207
は、加算器206からの信号を、次のフレームの符号化
処理の際に必要となる前フレームの信号(予測ビデオ信
号)として格納する。
号から動きベクトルを検出し、その検出信号をフレーム
メモリ207及びビデオ信号多重化符号器102に与え
る。例えば、縦横に±15画素だけでずらした範囲内を
探索範囲とし、減算器200からの差分信号の分散値が
最も小さくなる動きベクトルを検出する。フレームメモ
リ207は、格納動作時又は読出し動作時の一方におい
て、与えられた動きベクトルに基づいた補償動作を実行
する。
クで示したものであり、図5に示した以外にも情報源符
号器101は処理機能部を有している。上述したような
処理に供しているスライスやマクロブロックを認識する
機能部や、後述するようなINTERモード、INTR
Aモードの決定処理に用いる情報を算出する機能部を有
している。
02は、量子化器203からの圧縮信号(符号化デー
タ)をさらに可変長符号化し、また、同期符号語等のヘ
ッダを多重化して送信しようとする符号列を完成して送
信バッファ103に与える。この多重化の際には、符号
化モード判定器107からのモード種類信号や、量子化
ステップサイズ決定器108からの量子化ステップサイ
ズや、動きベクトル検出器208からの動きベクトル信
号等の情報も多重化される。送信バッファ103に格納
された送信符号列は、伝送路符号器104によって伝送
路符号化されて送信される。伝送路符号としては、例え
ばBCH符号等の誤り訂正符号が用いられる。
103からバッファの中の格納状態が量子化ステップサ
イズ決定器107に通知される。量子化ステップサイズ
決定器107は、送信バッファ103の格納状態に基づ
いて、その時点で最適な量子化ステップサイズを決定し
て、上述したように情報源符号器101(量子化器20
3及び逆量子化器204)並びにビデオ信号多重化符号
器102に対して、制御信号として与える。
符号器104及び量子化ステップサイズ決定器108
は、従来と同様である。
る上位n選択器105、一致判定器106、符号化モー
ド判定器107及びSADソーティング部110でなる
リフレッシュ機能を担う構成部分に特徴を有するもので
ある。
なく、巡回的にリフレッシュするフレーム又は分割区画
(スライス又はマクロブロック)を定めていたが、この
第1の実施形態では、リフレッシュする分割区画又はフ
レームの決定に画像内容を反映させる点に特徴を有して
おり、かかる特徴を、上位n選択器105、一致判定器
106、符号化モード判定器107及びSADソーティ
ング部110によって実現している。以下では、フレー
ム毎に3個のマクロブロックをリフレッシュするとして
説明を行なう。
様に、そのマクロブロックがリフレッシュ対象でない場
合に、INTERモードで符号化するかINTRAモー
ドで符号化するかを判定できるようにする情報が、情報
源符号器101から与えられている。すなわち、マクロ
ブロックについての全ての画素(N×M画素;例えば1
6×16画素)の入力ビデオ信号(原データ)の値の分
散値(以下、原データ分散値と呼ぶ)と、動き補償が最
も良好になされた状態で減算器200から出力された、
そのマクロブロックについての全ての画素の差分信号
(予測誤差データ)の値の分散値(最適な動きベクトル
の探索時において得られる差分信号の分散値の中の最小
値であり、以下、動き補償差分データ分散値と呼ぶ)と
が符号化モード判定器107に与えられる。従って、リ
フレッシュ対象でないマクロブロックについては、これ
ら原データ分散値と動き補償差分データ分散値との比較
(それぞれ所定の係数を乗算又は加算した後に比較して
も良い)により、INTERモード又はINTRAモー
ドのどちらで符号化するかを決定する。ビデオ信号は、
フレーム相関が高いものであるので、ほとんどの場合、
動き補償差分データ分散値の方がかなり小さくなり、I
NTERモードでの符号化に決定される。
原データ分散値及び動き補償差分データ分散値に加え
て、動きベクトルを0とした場合に減算器200から出
力されるであろう差分信号(予測誤差データ)の各マク
ロブロックでの分散値(以下、位置固定差分データ分散
値と呼び、必要に応じてSADと略す)も、符号化モー
ド判定器107に与えられ、この点、従来とは異なって
いる。
は、動きベクトルを0とした前後するフレーム間の差分
信号の分散値であるので、対象となっているマクロブロ
ックの画像が動画部分であれば大きい値をとり、対象と
なっているマクロブロックの画像が静止画部分であれば
小さい値(動き補償差分データ分散値に等しいと考えら
れる)をとるものとなる。言い換えると、この位置固定
差分データ分散値(SAD)が大きいことは、その値が
大きいほど、次のフレームのそのマクロブロックの画像
として前のフレームの同一位置のマクロブロックの画像
を適用した場合に、おかしな画像となることを表してい
る。なお、位置固定差分データ分散値(SAD)とし
て、統計学上の分散の定義式に従って求めた値を用いる
代りに、それと同様な性格を有する後述するようにして
計算された値を用いることもできる。
器101から各マクロブロックについての位置固定差分
データ分散値(SAD)を、SADソーティング部11
0に与える。
ード判定器107から与えられた位置固定差分データ分
散値を受取り、1フレームの符号化が終了したときに
は、そのフレームの全てのマクロブロックに係る位置固
定差分データ分散値を大きい順にソーティングする。そ
して、ソーティングした結果を、上位n選択器105に
出力する。
タ分散値(SAD)が大きい方のn個(ここではnが3
とする)のマクロブロックの番号を認識して、一致判定
器106に出力する。
から与えられたn個のマクロブロック番号を内部に保持
し、情報源符号器101がこれから符号化処理しようと
するマクロブロックの番号が、保持しているn個のマク
ロブロック番号のいずれかに一致しているか否かを判定
する。一致判定器106は、保持しているn個のマクロ
ブロック番号のいずれにも一致していない場合に不一致
を表し、これに対して、一致するマクロブロック番号が
保持されている場合には一致を表す一致不一致信号を符
号化モード判定器107に与える。
致不一致信号が与えられたときには、上述したように、
原データ分散値と動き補償差分データ分散値との比較に
より、INTERモード又はINTRAモードのどちら
で符号化するかを決定する。これに対して、符号化モー
ド判定器107は、一致の一致不一致信号が与えられた
ときには、原データ分散値と動き補償差分データ分散値
との大小に関係なく、INTRAモードで符号化するこ
と(リフレッシュすること)に決定し、このようにして
決定されたモードの種類を表しているモード種類信号を
情報源符号器101に与える。
2以上の半導体チップで構成させることが多く、図1に
示すような明確に各機能部が分離されたハードウェアで
構成されることは少なく、ハードウェアとソフトウェア
とが融合されて構成されることが多い。
100の動作、言い換えると、第1の実施形態の画像符
号化方法の処理を、どのブロック101〜110の処理
かを明確にすることなく、図6のフローチャートに従っ
て説明する。なお、図6は、各フレームにおいて、3個
のマクロブロックをリフレッシュ対象のマクロブロック
として決定する場合を示している。また、図6は、画像
符号化処理の全体を示しているのではなく、第1の実施
形態の特徴をなすリフレッシュ動作に関連する処理だけ
を示している。
ュ対象のマクロブロックの番号を指示する3個のパラメ
ータUPD1、UPD2及びUPD3をそれぞれ、実際
のマクロブロック番号としては存在しない値(図6では
「−1」を用いている)に設定する(ステップ30
1)。かかる設定処理は、パラメータUPD1、UPD
2及びUPD3のクリア処理を意味しており、これらパ
ラメータUPD1、UPD2及びUPD3に有効な値が
設定されるまでは、いずれのマクロブロックに対しても
リフレッシュを実行させないことを確実なものとしてい
る。
理対象のマクロブロックを規定するパラメータMBKを
初期値(「0」;最初のマクロブロックを指示してい
る)に設定する(ステップ302)。
最初のフレームであるか否かを判定する(ステップ30
3)。
Kが指示しているマクロブロックをINTRAモードで
符号化する(ステップ306)。最初のフレームであれ
ば、前のフレームとの差分を求めることができないの
で、INTERモードで符号化する余地はない。
処理対象のマクロブロックについての位置固定差分デー
タ分散値SAD[MBK]を計算して格納する(ステッ
プ304)。ここで、位置固定差分データ分散値SAD
[i]としては、上述したように、現フレーム及び前フ
レームの同一位置の画素信号の差分値に対して統計学上
の分散値の定義通りに求めたものであっても良いが、同
一の機能を果たすことが担保された状態で演算の簡単化
を考慮すると、現フレーム及び前フレームの同一位置の
画素信号の差分絶対値の総和(マクロブロックの画素数
分の総和)を用いることが実際的である。
K]の計算、格納動作が終了すると、パラメータMBK
と、パラメータUPD1、UPD2又はUPD3との一
致判定を行なう(ステップ305)。すなわち、パラメ
ータMBKで規定されている処理対象マクロブロック
が、現時点でのリフレッシュ対象のマクロブロックに該
当しているか否かを判定する。
フレッシュ対象のマクロブロックに該当すると、処理対
象マクロブロックをINTRAモードで符号化し(ステ
ップ306)、一方、リフレッシュ対象のマクロブロッ
クに該当しないと、原データ分散値と動き補償差分デー
タ分散値とに基づいて符号化モードを決定し、決定した
INTERモード又はINTRAモードで処理対象のマ
クロブロックを符号化する(ステップ307)。
の決定方法によらずに符号化モードを決定するようにし
ても良い。すなわち、この第1の実施形態の場合、位置
固定差分データ分散値SAD[MBK]が既に得られて
いるので、動き補償差分データ分散値を用いずに、又
は、動き補償差分データ分散値に加えて位置固定差分デ
ータ分散値SAD[MBK]を利用してINTERモー
ド及びINTRAモードのどちらの符号化が適している
かを決定するようにしても良い。位置固定差分データ分
散値SAD[MBK]が大きければ大きいほど現フレー
ム及び前フレームの相関性が弱いことを表しているの
で、上述のように、符号化モードの決定に用いることが
できる。
対する符号化処理が終了すると、パラメータMBKと、
1フレーム当りのマクロブロック数MBKSより1だけ
小さい値MBKS−1とを大小比較することを通じて、
今まで処理対象であったフレームの全てのマクロブロッ
クについて符号化を終了したか否かを判定する(ステッ
プ308)。処理が終了直後のマクロブロックが、その
フレームの最後のマクロブロックでない場合には、処理
対象のマクロブロックを規定するパラメータMBKを1
インクリメントして次のマクロブロックを指示するよう
に更新した後(ステップ309)、上述したステップ3
03に戻って次のマクロブロックの処理に移行する。
を繰返し実行することにより、やがて、現在処理対象の
フレームの最後のマクロブロックに対する符号化処理も
終了する。このようにして、現在処理対象のフレームの
最後のマクロブロックに対する符号化処理が終了すると
(上記ステップ308で肯定結果)、そのフレームが最
後であるか否か、すなわち符号化する入力画像が終わり
であるか否かを判定する(ステップ310)。
ての位置固定差分データ分散値SAD[i](i=0〜
MBKS−1)を大きい順に並換え、並び換えられた位
置固定差分データ分散値SAD[j]に対応するマクロ
ブロック番号をパラメータSADNO[j]に代入する
(ステップ311)。例えば、SADNO[0]は今符
号化されたフレーム内で一番大きな位置固定差分データ
分散値SADを持つマクロブロックの番号であり、SA
DNO[MBKS−1]は一番小さな位置固定差分デー
タ分散値SADを持つマクロブロックの番号である。
クを規定する3個のパラメータUPD1、UPD2及び
UPD3にそれぞれ、パラメータSADNO[0]、S
ADNO[1]又はSADNO[2])をセットして上
述したステップ302に戻り(ステップ312)、次の
フレームの処理に進む。すなわち、次のフレームでリフ
レッシュすべきマクロブロックの番号として、今符号化
されたばかりのフレームにおいて、位置固定差分データ
分散値SADが大きい方の3個のマクロブロックを設定
した後、次のフレームの符号化処理に移行する。
最初のフレームについては、ステップ304において位
置固定差分データ分散値SADが計算されることがない
ので、これらステップ311及び312の処理は省略さ
れてステップ302に戻るようになされている。
処理により、この第1の実施形態においては、従来のよ
うに(図6に示すように)、リフレッシュ対象のマクロ
ブロックがフレーム毎に巡回的に変化するのではなく、
画像の中でよく動いている部分等の位置固定差分データ
分散値SADの大きい部分のマクロブロックを、すなわ
ち誤りによってデータが落とされる場合に非常に歪んで
しまう部分のマクロブロックを、図8に示すように、各
フレームでのリフレッシュ対象に設定することができ
る。言い換えると、背景のように画像の動きがない部分
等の位置固定差分データ分散値SADの小さい部分、す
なわち、誤りでデータが落とされても前のフレームを表
示すれば歪みのない画像を得ることができる部分を、リ
フレッシュ対象とすることはないようになっている。
理ループを繰返すことにより、やがて最終フレームの符
号化処理も終了し、このときには(ステップ310で肯
定結果)、図6に示す一連の符号化処理を終了させる。
リフレッシュ対象のマクロブロックを、画像内容に応じ
て柔軟に変更させるようにしたので、復号装置におい
て、データ誤りやデータ欠落により復号できないマクロ
ブロックが生じても、そのマクロブロックの画像として
復号できた過去の同一位置の信号を用いることにより、
十分な画質を得ることができる。
復号できないマクロブロックが静止画部分であれば過去
の信号を用いることで十分な画質が得られ、データ誤り
やデータ欠落により復号できないマクロブロックがその
影響が著しい動画部分であっても直ちにリフレッシュさ
れてその影響が長時間に渡らないので、画質劣化をごく
短時間に押さえることができる。
を説明するための図面である。ここで、図8(a)が従
来の画像符号化方法(リフレッシュ方法)に関するもの
であり、図8(b)がこの第1の実施形態の画像符号化
方法(リフレッシュ方法)に関するものである。
いて見た場合、一定周期でそのマクロブロックをリフレ
ッシュするので、復号側において、2フレーム目の5番
目のスライスの一部分(その先頭側の5個のマクロブロ
ックであり、一部は動画部分になっている)を、誤りや
欠落で復号できないで過去の復号信号を用いることで画
像が歪んでしまうと、その歪んだ部分をリフレッシュす
るまでにかなりの遅延が生じ、図8(a)に示すよう
に、復号画像の歪みが長時間継続する。
は、画像の中でよく動いている部分等の位置固定差分デ
ータ分散値SADの大きい部分のマクロブロックをリフ
レッシュ対象としているので、上記と同様に、復号側に
おいて、2フレーム目の5番目のスライスの一部分を誤
りや欠落が生じ、過去の復号信号を用いて動画部分に歪
みが生じても、その動画部分は次のフレーム(3フレー
ム目)でのリフレッシュ対象としてINTRAモードで
符号化されているので、図8(b)に示すように、次の
フレーム(3フレーム目)では正しく復号でき、3フレ
ーム目からは歪みが修正される。すなわち、画質劣化フ
レームを僅かな数フレーム(図8の例では1フレーム)
に抑えることができる。
当りのリフレッシュ対象数を従来より増やしているわけ
ではないので、符号量の増大(伝送効率の低下)を招く
ことはない。
の第2の実施形態を図面を参照しながら詳述する。な
お、この第2の実施形態も、MPEG2に従う方法及び
装置を前提としているものである。
装置の機能的構成を示すブロック図であり、上述した図
1との同一、対応部分には同一符号を付して示してい
る。
符号化装置100Aも、情報源符号器101、ビデオ信
号多重化符号器102、送信バッファ103、伝送路符
号器104、符号化制御器109A及びSADソーティ
ング部110から構成されている。しかし、符号化制御
器109Aの詳細構成が第1の実施形態とは異なってい
る。すなわち、この符号化制御器109Aは、第1の実
施形態と同様に、一致判定器106、符号化モード判定
器107及び量子化ステップサイズ決定部108を備え
ているが、上位n選択器105は備えられておらず、上
位n選択器105の代りに、周囲画像位置選択器111
が設けられている。
部110は、符号化モード判定器107から与えられた
位置固定差分データ分散値(SAD)を受取り、1フレ
ームの符号化が終了したときには、そのフレームの全て
のマクロブロックに係る位置固定差分データ分散値を大
きい順にソーティングし、ソーティングした結果を、周
囲画像位置選択器111に出力する。
分データ分散値(SAD)が最も大きいマクロブロック
の番号を認識すると共に、そのマクロブロックの周囲の
8個のマクロブロックの番号を認識して、一致判定器1
06に出力する。なお、位置固定差分データ分散値(S
AD)が最も大きいマクロブロックが、そのフレーム画
像の周辺のマクロブロックであって、周囲に8個のマク
ロブロックが存在しない場合には、固定差分データ分散
値(SAD)が最も大きいマクロブロックと、その周囲
に存在するマクロブロックの番号を一致判定器106に
出力する。
111から与えられた基本的には計9個のマクロブロッ
ク番号を内部に保持し、情報源符号器101がこれから
符号化処理しようとするマクロブロックの番号が、保持
している9個のマクロブロック番号のいずれかに一致し
ているか否かを判定する。一致判定器106は、保持し
ている9個のマクロブロック番号のいずれにも一致して
いない場合に不一致を表し、これに対して、一致するマ
クロブロック番号が保持されている場合には一致を表す
一致不一致信号を符号化モード判定器107に与える。
施形態と同様に動作し、ビデオ信号を符号化する。
て上位n選択器105の機能により、位置固定差分デー
タ分散値(SAD)の大きい方のn個のマクロブロック
をリフレッシュ対象にしているのに対して、第2の実施
形態は、位置固定差分データ分散値(SAD)の一番大
きいマクロブロックとその周囲のマクロブロックをリフ
レッシュ対象にしているという点が異なっている。
動作、言い換えると、第2の実施形態の画像符号化方法
の処理を、どのブロック101〜111の処理かを明確
にすることなく、図10のフローチャートに従って説明
する。なお、図10において、図6との同一、対応ステ
ップには、同一、対応符号を付して示している。また、
図10は、画像符号化処理の全体を示しているのではな
く、第2の実施形態の特徴をなすリフレッシュ動作に関
連する処理だけを示している。
に、第1の実施形態での処理と第2の実施形態の処理と
は大筋において同様である。但し、第1の実施形態にお
けるステップ301、305及び312の処理が、第2
の実施形態では多少変更されている(それぞれ、ステッ
プ301A、305A、312Aで表記している)。
シュ対象のマクロブロックの番号を指示する9個のパラ
メータUPD1〜UPD9をそれぞれ、実際のマクロブ
ロック番号としては存在しない値(「−1」)に設定す
る(ステップ301A)。上述のように、第2の実施形
態の場合、1フレーム当り最大9個のマクロブロックが
リフレッシュ対象となり得るので、リフレッシュ対象の
マクロブロックの番号を指示するパラメータも9個用意
されている。
の初期設定が終了すると、最初のフレームの符号化処理
に進み、処理対象のマクロブロック番号を規定するパラ
メータMBKを1インクリメントさせることを通じて処
理対象のマクロブロックを順次切り替えながら、最初の
フレームの各マクロブロックをINTRAモードで符号
化する(ステップ302と、ステップ303−306−
308−309−303のループ)。最初のフレームの
全てのマクロブロックの符号化処理が終了しても、この
ときには、位置固定差分データ分散値(SAD)が計算
されていないので、ソーティング処理や、その結果に基
づいてリフレッシュ対象のマクロブロックを決定する処
理(ステップ311、312A)は実行されずに、2番
目のフレームの処理に移行する。
むと、処理対象のマクロブロック番号を規定するパラメ
ータMBKを1インクリメントさせることを通じて処理
対象のマクロブロックを順次切り替えながら、各マクロ
ブロックについて、位置固定差分データ分散値(SA
D)の計算と、リフレッシュ対象かの確認と、INTE
Rモード又はINTRAモードでの符号化を行なう(ス
テップ302と、ステップ303−304−305A−
306(又は307)−308−309−303のルー
プ)。なお、この第2の実施形態の場合、1フレーム当
りのリフレッシュ対象のマクロブロック数が9であるの
で、リフレッシュ対象かの確認処理(ステップ305
A)が第1の実施形態とは若干異なっている。
UPD1〜UPD9が初期設定のままであるので、ステ
ップ305Aで肯定結果が得られることはなく、一般的
な方法により、符号化モードが決定される(ステップ3
07)。
合には、パラメータUPD1〜UPD9には有効な値が
設定されており、リフレッシュが実行されることもあり
得る(ステップ306)。
てのマクロブロックの符号化処理が終了したときには、
第1の実施形態と同様に、ソーティング処理が実行され
る(ステップ311)。しかし、そのソーティング結果
(SADNO[j])に基づいて、次のフレームでのリ
フレッシュ対象のマクロブロックを決定する処理が第1
の実施形態とは異なっている(ステップ312A)。
には、位置固定差分データ分散値が最も大きいマクロブ
ロックの番号SADNO[0]をパラメータUPD0の
値に設定し、番号がSADNO[0]のマクロブロック
の周囲の8個のマクロブロックの番号をそれぞれ、パラ
メータUPD1〜UPD8に設定する。図11(a)〜
(e)及び図12(f)〜図12(i)は、ステップ3
12Aによる、ソーティング結果(SADNO[0])
に基づいたパラメータUPD1〜UPD9の更新処理を
より正確に示したものである。すなわち、位置固定差分
データ分散値が最も大きいマクロブロックの番号SAD
NO[0]のフレーム内の位置によって場合分けして示
したものである。しかし、この場合分け自体には意味が
ないので、これ以上の説明は省略する。
理を通じて、位置固定差分データ分散値(SAD)の一
番大きいマクロブロックとその周囲のマクロブロック
が、次のフレームのリフレッシュ対象のマクロブロック
となり、次のフレームでの処理で、それらマクロブロッ
クは、INTRAモードでの符号化(リフレッシュ)が
実行される。
シュ対象のマクロブロックがフレーム毎に巡回的に変化
するのではなく、図13に示すように、例えば背景部分
との相違が最も大きい動画部分の移動等に応じて、リフ
レッシュ対象のマクロブロックが動的に変化する。
ことが多いので、位置固定差分データ分散値(SAD)
に基づいて、データ誤りやデータ欠落による歪みの影響
が大きい1個のマクロブロックを見付けても不十分なこ
とが多く、そこで、この第2の実施形態においては、位
置固定差分データ分散値(SAD)の一番大きいマクロ
ブロックの周囲マクロブロックもリフレッシュ対象とす
ることとした。
も、リフレッシュ対象のマクロブロックを、画像内容に
応じて柔軟に変更させるようにしたので、復号装置にお
いて、データ誤りやデータ欠落により復号できないマク
ロブロックが生じても、そのマクロブロックの画像とし
て復号できた過去の同一位置の信号を用いることによ
り、十分な画質を得ることができる。すなわち、データ
誤りやデータ欠落により復号できないマクロブロックが
静止画部分であれば過去の信号を用いることで十分な画
質が得られ、データ誤りやデータ欠落により復号できな
いマクロブロックがその影響が著しい動画部分であって
も直ちにリフレッシュされてその影響が長時間に渡らな
いので、画質劣化をごく短時間に押さえることができ
る。
置固定差分データ分散値(SAD)の一番大きいマクロ
ブロックだけでなく、その周囲マクロブロックも、リフ
レッシュ対象としているので、復号誤りによる画質劣化
をも最小限にすることができる。
復号できないマクロブロック(過去の信号を用いなけれ
ばならないマクロブロック)が生じた場合、その周囲に
復号はできるが復号誤りによる画質が低下しているマク
ロブロック(誤りに気付かずに復号してしまったマクロ
ブロック)が生じることが実際上多い。リフレッシュ機
能により、このような復号誤りによる画質劣化をも直ち
に防止することができる。
効果を視覚的な模式図で示したものであり、図14
(a)が従来方法に関するものであり、図14(b)が
この第2の実施形態に関するものである。図14におい
て、黒く塗り潰したマクロブロックが、復号誤りのマク
ロブロックを示しており、この図14からは、従来方法
に比較して、復号誤りのマクロブロックも、リフレッシ
ュにより迅速に画質が回復していることが分かる。
ュ対象数の増大を意図したものではなく、周囲のマクロ
ブロック数の選定によっては、リフレッシュによる符号
量の増大を従来と同程度にすることができる。
ブロックのものを示したが、スライス等の他の分割区画
(マクロブロックより小さいものであっても良い)の大
きさをリフレッシュ単位とするようにしても良い。ま
た、1フレーム当りのリフレッシュ対象の分割区画数
も、上記実施形態のものに限定されないことは勿論であ
る。なお、リフレッシュ単位がフレームの場合にも本発
明を適用できるものである。特許請求の範囲の範囲の表
現からは、このリフレッシュ単位がフレームの場合を除
外しているように読めるが、特許請求の範囲の表現にこ
のリフレッシュ単位がフレームの場合を含むものとす
る。
ッシュ対象数を固定したもの(第2の実施形態の場合に
も原則的には固定されている)を示したが、各フレーム
で、リフレッシュ対象数を変化させるようにしても良
い。例えば、第1の実施形態の変形として、位置固定差
分データ分散値(SAD)が閾値を越える分割区画を全
てリフレッシュ対象とするようにしても良い。また、第
2の実施形態の変形として、位置固定差分データ分散値
(SAD)が最大の分割区画と、その周囲の分割区画の
うち、位置固定差分データ分散値(SAD)が閾値を越
える分割区画とをリフレッシュ対象とするようにしても
良い。
レッシュ方法の技術的思想を、従来のリフレッシュ方法
の技術的思想と組み合わせるようにしても良く、また、
第2の実施形態におけるリフレッシュ方法の技術的思想
と組み合わせるようにしても良い。同様に、上記第2の
実施形態におけるリフレッシュ方法の技術的思想を、従
来のリフレッシュ方法の技術的思想と組み合わせるよう
にしても良い。このような組み合わせの一例を図15に
示している。図15には、第1及び第2の実施形態にお
けるリフレッシュ方法の技術的思想と、従来のリフレッ
シュ方法の技術的思想との3種類を組み合わせた場合に
おける、リフレッシュ対象の分割区画(マクロブロッ
ク)の変化を示している。
リフレッシュ対象か否かを決定する値である位置固定差
分データ分散値(SAD)を、符号化しようとするフレ
ームの直前2フレームのデータから生成するものを示し
たが、符号化しようとするフレームと直前フレームとの
2フレームから形成するようにしても良く、さらには、
3フレーム以上の情報から形成するようにしても良い。
また、位置固定差分データ分散値(SAD)も、統計学
上の分散値だけに限られないことは上述の通りであり、
その値も差分絶対値の総和に限定されるものではない。
例えば、原フレームのマクロブロックのデータ平均値
と、前フレームの同一位置のマクロブロックのデータ平
均値との差分絶対値等であっても良い。要は、復号時に
データ誤りやデータ欠落のために過去の復号信号を用い
た場合に、画質を著しく劣化させるマクロブロックを、
他のマクロブロックから区別できる指標値であれば良
く、値が大きいほどリフレッシュ対象とし難い指標値で
あっても良い。
置固定差分データ分散値(SAD)が最大の分割区画
と、その周囲の8個の分割区画とをリフレッシュ対象と
するものを示したが、周囲の分割区画はこれより多くて
も少なくても良い。例えば、周囲の分割区画を1重だけ
でなく2重に選ぶようしても良く、逆に周囲の分割区画
の内、所定方向(例えば垂直方向や水平方向)のものだ
けをリフレッシュ対象とするようにしても良い。図16
は、このような一例として、水平方向に隣接する周囲の
分割区画だけをリフレッシュ対象とした場合を示してい
る。
にリフレッシュ対象を定めるものを示したが、数フレー
ム毎にリフレッシュ対象を定めるようにしても良い。
リフレッシュ対象でないことを確認してから、そのマク
ロブロックをどちらの符号化モードで符号化するかを決
定するものを示したが、逆に、マクロブロックをどちら
の符号化モードで符号化するかを先に決定し、INTE
Rモードで符号化することに決定されたマクロブロック
についてリフレッシュ対象か確認するようにしても良
い。また、この変形例の延長上の変形例としては、IN
TERモードで符号化することに決定されたマクロブロ
ックの中からいくつかを、位置固定差分データ分散値
(SAD)に基いて、リフレッシュ対象に決定すること
を挙げることができる。
拠した画像符号化装置及び方法を意識したものである
が、本発明は、これに限定されず、フレーム間の相関性
を利用した符号化方式(特許請求の範囲では時間相関利
用符号化方式と記述している)と、過去のフレームの情
報を利用することなく符号化する符号化方式(特許請求
の範囲では同一画像内符号化方式と記述している)とを
併用している画像符号化装置及び方法に広く適用するこ
とができる。
式も同一画像内符号化方式も、上記実施形態のものに限
定されるものではない。例えば、時間相関利用符号化方
式として、1フレームだけでなく過去の数フレームの情
報から予測信号を形成する符号化方式や、フレーム相関
ではなくフィールド相関(なお、特許請求の範囲におけ
るフレームの用語は、一般的な定義と異なるが、場合に
よってはフィールド概念を含むものとする)を利用した
符号化方式等を適用しても良く、同一画像内符号化方式
として、ライン相関を利用した符号化方式等を適用して
も良い。従って、画像フレームの分割方法や、動きベク
トルの探索範囲等が上記実施形態のものに限定されない
ことは勿論である。
に時間相関利用符号化方式で符号化することを原則とし
ている画像符号化装置や方法にも本発明を適用すること
ができる。
及び方法によれば、各分割区画について、その画像内容
の時間変化特徴量を計算し、この得られた各分割区画毎
の時間変化特徴量に基いて、リフレッシュ対象の分割区
画を決定するようにしたので、復号できない場合に画質
劣化が著しい分割区画について、復号側への伝送でデー
タ誤りやデータ欠落が生じても、リフレッシュにより画
質劣化を迅速に回復でき、また、リフレッシュのために
符号量を徒に増加させることもない。
ある。
る。
る。
示すブロック図である。
ーチャートである。
を示す説明図である。
ある。
ローチャートである。
方法(1)の説明図である。
方法(2)の説明図である。
例を示す説明図である。
号器、105…上位n選択器、106…一致判定器、1
07…符号化モード判定器、110…SADソーティン
グ部、111…周囲画像位置選択器。
Claims (10)
- 【請求項1】 1フレームを複数に分割し、分割区画毎
に、時間相関利用符号化方式又は同一画像内符号化方式
のいずれかで符号化する画像符号化方法であって、各フ
レーム又は数フレーム毎に、いくつかの分割区画をリフ
レッシュ対象の分割区画として決定し、リフレッシュ対
象と決定された分割区画は同一画像内符号化方式で符号
化する画像符号化方法において、 各分割区画について、その画像内容の時間変化特徴量を
計算し、 得られた各分割区画毎の時間変化特徴量に基いて、リフ
レッシュ対象の分割区画を決定することを特徴とする画
像符号化方法。 - 【請求項2】 上記時間変化特徴量が、これから符号化
しようとするフレームと符号化が終了した直前フレーム
の2フレーム間の画素データの差分絶対値、若しくは、
これから符号化しようとするフレームの直前2フレーム
間の画素データの差分絶対値を、その分割区画の全ての
画素位置について累積した値であることを特徴とする請
求項1に記載の画像符号化方法。 - 【請求項3】 上記時間変化特徴量が表す時間変化度合
いが大きい方の所定個数の分割区画をリフレッシュ対象
の分割区画として決定することを特徴とする請求項1又
は2に記載の画像符号化方法。 - 【請求項4】 上記時間変化特徴量が表す時間変化度合
いが所定閾値より大きい全ての分割区画をリフレッシュ
対象の分割区画として決定することを特徴とする請求項
1又は2に記載の画像符号化方法。 - 【請求項5】 上記時間変化特徴量が表す時間変化度合
いが大きい方の1又は2以上の分割区画と、その分割区
画の周囲の分割区画とをリフレッシュ対象の分割区画と
して決定することを特徴とする請求項1又は2に記載の
画像符号化方法。 - 【請求項6】 1フレームを複数に分割し、分割区画毎
に、時間相関利用符号化方式又は同一画像内符号化方式
のいずれかで画像符号化手段が符号化する画像符号化装
置であって、リフレッシュ対象決定手段が、各フレーム
又は数フレーム毎に、いくつかの分割区画をリフレッシ
ュ対象の分割区画として決定し、上記画像符号化手段が
リフレッシュ対象と決定された分割区画を同一画像内符
号化方式で符号化する画像符号化装置において、 上記リフレッシュ対象決定手段が、 各分割区画について、その画像内容の時間変化特徴量を
計算する特徴量計算部と、 得られた各分割区画毎の時間変化特徴量に基いて、リフ
レッシュ対象の分割区画を決定するリフレッシュ対象決
定部とでなることを特徴とする画像符号化装置。 - 【請求項7】 上記特徴量計算部が求める時間変化特徴
量が、これから符号化しようとするフレームと符号化が
終了した直前フレームの2フレーム間の画素データの差
分絶対値、若しくは、これから符号化しようとするフレ
ームの直前2フレーム間の画素データの差分絶対値を、
その分割区画の全ての画素位置について累積した値であ
ることを特徴とする請求項6に記載の画像符号化装置。 - 【請求項8】 上記リフレッシュ対象決定部は、上記時
間変化特徴量が表す時間変化度合いが大きい方の所定個
数の分割区画をリフレッシュ対象の分割区画として決定
することを特徴とする請求項6又は7に記載の画像符号
化装置。 - 【請求項9】 上記リフレッシュ対象決定部は、時間変
化特徴量が表す時間変化度合いが所定閾値より大きい全
ての分割区画をリフレッシュ対象の分割区画として決定
することを特徴とする請求項6又は7に記載の画像符号
化装置。 - 【請求項10】 上記リフレッシュ対象決定部は、上記
時間変化特徴量が表す時間変化度合いが大きい方の1又
は2以上の分割区画と、その分割区画の周囲の分割区画
とをリフレッシュ対象の分割区画として決定することを
特徴とする請求項6又は7に記載の画像符号化装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5150096A JP3157101B2 (ja) | 1996-03-08 | 1996-03-08 | 画像符号化方法及び画像符号化装置 |
CNB971154740A CN1178515C (zh) | 1996-03-08 | 1997-07-29 | 图象编码方法及图象编码装置 |
US08/924,262 US6125144A (en) | 1996-03-08 | 1997-09-05 | Picture coding method and picture coder |
EP19970115471 EP0901288B1 (en) | 1996-03-08 | 1997-09-05 | Moving image coding method and apparatus |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5150096A JP3157101B2 (ja) | 1996-03-08 | 1996-03-08 | 画像符号化方法及び画像符号化装置 |
CNB971154740A CN1178515C (zh) | 1996-03-08 | 1997-07-29 | 图象编码方法及图象编码装置 |
US08/924,262 US6125144A (en) | 1996-03-08 | 1997-09-05 | Picture coding method and picture coder |
EP19970115471 EP0901288B1 (en) | 1996-03-08 | 1997-09-05 | Moving image coding method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09247682A true JPH09247682A (ja) | 1997-09-19 |
JP3157101B2 JP3157101B2 (ja) | 2001-04-16 |
Family
ID=27430006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5150096A Expired - Fee Related JP3157101B2 (ja) | 1996-03-08 | 1996-03-08 | 画像符号化方法及び画像符号化装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6125144A (ja) |
EP (1) | EP0901288B1 (ja) |
JP (1) | JP3157101B2 (ja) |
CN (1) | CN1178515C (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0935396A2 (en) * | 1998-02-09 | 1999-08-11 | Matsushita Electric Industrial Co., Ltd. | Video coding method and apparatus |
US6259736B1 (en) | 1998-01-30 | 2001-07-10 | Kabushiki Kaisha Toshiba | Video encoder and video encoding method |
JP2002335494A (ja) * | 2001-05-08 | 2002-11-22 | Mega Chips Corp | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム |
JP2008109224A (ja) * | 2006-10-23 | 2008-05-08 | Fujitsu Ltd | 符号化装置、符号化プログラムおよび符号化方法 |
JP2008258952A (ja) * | 2007-04-05 | 2008-10-23 | Ibex Technology Co Ltd | 符号化装置、符号化プログラムおよび符号化方法 |
JP2011050090A (ja) * | 2003-05-12 | 2011-03-10 | Google Inc | ビデオ圧縮方法 |
JP2011233991A (ja) * | 2010-04-26 | 2011-11-17 | Hitachi Consumer Electronics Co Ltd | 符号化装置および符号化方法 |
JP2013229883A (ja) * | 2007-12-05 | 2013-11-07 | Onlive Inc | 通信チャンネルを経て送信されるある形式のマルチメディアデータを保護するシステム及び方法 |
US8819525B1 (en) | 2012-06-14 | 2014-08-26 | Google Inc. | Error concealment guided robustness |
US8891616B1 (en) | 2011-07-27 | 2014-11-18 | Google Inc. | Method and apparatus for entropy encoding based on encoding cost |
JP2015053719A (ja) * | 2009-03-23 | 2015-03-19 | オーエルツー インコーポレイテッド | 選択されたタイル及びタイル回転パターンを使用してビデオをエンコードするためのシステム及び方法 |
US9179151B2 (en) | 2013-10-18 | 2015-11-03 | Google Inc. | Spatial proximity context entropy coding |
US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
US9392288B2 (en) | 2013-10-17 | 2016-07-12 | Google Inc. | Video coding using scatter-based scan tables |
US9509998B1 (en) | 2013-04-04 | 2016-11-29 | Google Inc. | Conditional predictive multi-symbol run-length coding |
US9774856B1 (en) | 2012-07-02 | 2017-09-26 | Google Inc. | Adaptive stochastic entropy coding |
JP2018507597A (ja) * | 2015-01-29 | 2018-03-15 | キヤノン株式会社 | 自己完結型符号化構造を符号化または復号する場合のパレット予測子初期化子 |
US11039138B1 (en) | 2012-03-08 | 2021-06-15 | Google Llc | Adaptive coding of prediction modes using probability distributions |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3053781B2 (ja) * | 1997-03-18 | 2000-06-19 | 沖電気工業株式会社 | 動画像圧縮符号の復号方法及び復号装置 |
JP3630565B2 (ja) * | 1998-08-26 | 2005-03-16 | 沖電気工業株式会社 | 動画像の符号化方法及び装置 |
JP3166736B2 (ja) * | 1998-11-25 | 2001-05-14 | 日本電気株式会社 | 動画像符号化装置および動画像符号化方法 |
JP3623679B2 (ja) * | 1999-01-06 | 2005-02-23 | 日本電気株式会社 | 動画像符号化装置 |
TW527832B (en) * | 2000-04-20 | 2003-04-11 | Matsushita Electric Ind Co Ltd | Video encoding apparatus that adjusts code amount by skipping encoding of image data |
JP3636061B2 (ja) * | 2000-11-08 | 2005-04-06 | 日本電気株式会社 | データ挿入装置及びその方法 |
US6765964B1 (en) | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
US7386048B2 (en) * | 2002-05-28 | 2008-06-10 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode organization |
US8949922B2 (en) * | 2002-12-10 | 2015-02-03 | Ol2, Inc. | System for collaborative conferencing using streaming interactive video |
US7342964B2 (en) * | 2003-07-15 | 2008-03-11 | Lsi Logic Corporation | Multi-standard variable block size motion estimation processor |
US9351013B2 (en) | 2003-11-13 | 2016-05-24 | Qualcomm Incorporated | Selective and/or scalable complexity control for video codecs |
US7953152B1 (en) | 2004-06-28 | 2011-05-31 | Google Inc. | Video compression and encoding method |
DE102005029127A1 (de) * | 2005-06-23 | 2007-04-19 | On Demand Microelectronics Ag | Verfahren und Vorrichtung zur optimierten prädiktiven Videocodierung |
JP4724061B2 (ja) * | 2006-07-06 | 2011-07-13 | 株式会社東芝 | 動画像符号化装置 |
EP2114080A1 (en) * | 2008-04-30 | 2009-11-04 | Thomson Licensing | Method for assessing the quality of a distorted version of a frame sequence |
US8325796B2 (en) * | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
US8311111B2 (en) * | 2008-09-11 | 2012-11-13 | Google Inc. | System and method for decoding using parallel processing |
US8326075B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video encoding using adaptive loop filter |
US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
WO2012048055A1 (en) | 2010-10-05 | 2012-04-12 | General Instrument Corporation | Coding and decoding utilizing adaptive context model selection with zigzag scan |
US8938001B1 (en) | 2011-04-05 | 2015-01-20 | Google Inc. | Apparatus and method for coding using combinations |
US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
US8780996B2 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method for encoding and decoding video data |
US8781004B1 (en) | 2011-04-07 | 2014-07-15 | Google Inc. | System and method for encoding video using variable loop filter |
US8780971B1 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method of encoding using selectable loop filters |
WO2013030833A1 (en) * | 2011-08-29 | 2013-03-07 | I.C.V.T. Ltd. | Controlling a video content system |
US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
US9344729B1 (en) | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
US11425395B2 (en) | 2013-08-20 | 2022-08-23 | Google Llc | Encoding and decoding using tiling |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1282490C (en) * | 1985-06-27 | 1991-04-02 | Nec Corporation | Coding apparatus for moving object image |
JPH082106B2 (ja) * | 1986-11-10 | 1996-01-10 | 国際電信電話株式会社 | 動画像信号のハイブリツド符号化方式 |
JPH04117882A (ja) * | 1990-09-07 | 1992-04-17 | Matsushita Electric Ind Co Ltd | 動画像符号化装置 |
US5260783A (en) * | 1991-02-21 | 1993-11-09 | Gte Laboratories Incorporated | Layered DCT video coder for packet switched ATM networks |
US5387938A (en) * | 1992-10-08 | 1995-02-07 | Matsushita Electric Industrial Co., Ltd. | Adaptive interframe/intraframe block coding method and apparatus |
US5805223A (en) * | 1994-05-25 | 1998-09-08 | Canon Kk | Image encoding apparatus having an intrapicture encoding mode and interpicture encoding mode |
US5457495A (en) * | 1994-05-25 | 1995-10-10 | At&T Ipm Corp. | Adaptive video coder with dynamic bit allocation |
JP3630474B2 (ja) * | 1995-07-14 | 2005-03-16 | 沖電気工業株式会社 | 動画像伝送システム及び動画像伝送装置 |
KR100197368B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
-
1996
- 1996-03-08 JP JP5150096A patent/JP3157101B2/ja not_active Expired - Fee Related
-
1997
- 1997-07-29 CN CNB971154740A patent/CN1178515C/zh not_active Expired - Lifetime
- 1997-09-05 US US08/924,262 patent/US6125144A/en not_active Expired - Lifetime
- 1997-09-05 EP EP19970115471 patent/EP0901288B1/en not_active Expired - Lifetime
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6259736B1 (en) | 1998-01-30 | 2001-07-10 | Kabushiki Kaisha Toshiba | Video encoder and video encoding method |
EP0935396A3 (en) * | 1998-02-09 | 2004-08-11 | Matsushita Electric Industrial Co., Ltd. | Video coding method and apparatus |
EP0935396A2 (en) * | 1998-02-09 | 1999-08-11 | Matsushita Electric Industrial Co., Ltd. | Video coding method and apparatus |
JP4736233B2 (ja) * | 2001-05-08 | 2011-07-27 | 株式会社メガチップス | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム |
JP2002335494A (ja) * | 2001-05-08 | 2002-11-22 | Mega Chips Corp | 動画像の逆再生方法、早送り再生方法、早送り検索方法及びそれらのプログラム |
US8824553B2 (en) | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
US10616576B2 (en) | 2003-05-12 | 2020-04-07 | Google Llc | Error recovery using alternate reference frame |
JP2011050090A (ja) * | 2003-05-12 | 2011-03-10 | Google Inc | ビデオ圧縮方法 |
US8942290B2 (en) | 2003-05-12 | 2015-01-27 | Google Inc. | Dynamic coefficient reordering |
JP2008109224A (ja) * | 2006-10-23 | 2008-05-08 | Fujitsu Ltd | 符号化装置、符号化プログラムおよび符号化方法 |
US7974479B2 (en) | 2006-10-23 | 2011-07-05 | Fujitsu Limited | Encoding apparatus, method, and computer product, for controlling intra-refresh |
JP2008258952A (ja) * | 2007-04-05 | 2008-10-23 | Ibex Technology Co Ltd | 符号化装置、符号化プログラムおよび符号化方法 |
JP2013229883A (ja) * | 2007-12-05 | 2013-11-07 | Onlive Inc | 通信チャンネルを経て送信されるある形式のマルチメディアデータを保護するシステム及び方法 |
JP2015053719A (ja) * | 2009-03-23 | 2015-03-19 | オーエルツー インコーポレイテッド | 選択されたタイル及びタイル回転パターンを使用してビデオをエンコードするためのシステム及び方法 |
JP2011233991A (ja) * | 2010-04-26 | 2011-11-17 | Hitachi Consumer Electronics Co Ltd | 符号化装置および符号化方法 |
US8891616B1 (en) | 2011-07-27 | 2014-11-18 | Google Inc. | Method and apparatus for entropy encoding based on encoding cost |
US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
US11039138B1 (en) | 2012-03-08 | 2021-06-15 | Google Llc | Adaptive coding of prediction modes using probability distributions |
US8819525B1 (en) | 2012-06-14 | 2014-08-26 | Google Inc. | Error concealment guided robustness |
US9774856B1 (en) | 2012-07-02 | 2017-09-26 | Google Inc. | Adaptive stochastic entropy coding |
US9509998B1 (en) | 2013-04-04 | 2016-11-29 | Google Inc. | Conditional predictive multi-symbol run-length coding |
US9392288B2 (en) | 2013-10-17 | 2016-07-12 | Google Inc. | Video coding using scatter-based scan tables |
US9179151B2 (en) | 2013-10-18 | 2015-11-03 | Google Inc. | Spatial proximity context entropy coding |
JP2018507597A (ja) * | 2015-01-29 | 2018-03-15 | キヤノン株式会社 | 自己完結型符号化構造を符号化または復号する場合のパレット予測子初期化子 |
Also Published As
Publication number | Publication date |
---|---|
JP3157101B2 (ja) | 2001-04-16 |
EP0901288A1 (en) | 1999-03-10 |
CN1206964A (zh) | 1999-02-03 |
US6125144A (en) | 2000-09-26 |
EP0901288B1 (en) | 2003-11-26 |
CN1178515C (zh) | 2004-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH09247682A (ja) | 画像符号化方法及び画像符号化装置 | |
EP0933948B1 (en) | Video encoder and video encoding method | |
CN1153463C (zh) | 一种自适应可变长度编码器/解码器 | |
KR100281967B1 (ko) | 공간 상관성을 이용한 영상 부호화 장치 및 그 방법 | |
JP3840020B2 (ja) | 動画像符号化装置 | |
CN101087417B (zh) | 图像编码装置 | |
US20030012286A1 (en) | Method and device for suspecting errors and recovering macroblock data in video coding | |
US20030235249A1 (en) | Video encoder and method for encoding video frames | |
US10958912B2 (en) | Bit prediction based bit rate control method and apparatus for video coding process supporting offline CABAC | |
US6697433B1 (en) | Image decoding apparatus | |
US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
JPH07264600A (ja) | 画像符号化データの同期ワード多重化方式 | |
US5703697A (en) | Method of lossy decoding of bitstream data | |
US6456664B1 (en) | Motion image encoder | |
US6473465B1 (en) | Method and apparatus for video coding at high efficiency | |
JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
US8379729B2 (en) | Content adaptive error localization to improve quality of corrupted video data streams upon decode | |
JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
KR19980048654A (ko) | 선택적 부호화방법 및 그 장치 | |
KR100372127B1 (ko) | 화상부호화방법및화상부호화장치 | |
JP2001309388A (ja) | 画像復号装置におけるエラー画像補完方法 | |
JP2000069485A (ja) | 動画圧縮装置 | |
JP4269405B2 (ja) | 符号化装置及び方法 | |
KR100632105B1 (ko) | 디지털 비월주사 인트라픽쳐 부호화/복호화 방법 | |
JP4264790B2 (ja) | 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090209 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090209 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |