JP2001028756A - コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 - Google Patents

コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置

Info

Publication number
JP2001028756A
JP2001028756A JP2000169846A JP2000169846A JP2001028756A JP 2001028756 A JP2001028756 A JP 2001028756A JP 2000169846 A JP2000169846 A JP 2000169846A JP 2000169846 A JP2000169846 A JP 2000169846A JP 2001028756 A JP2001028756 A JP 2001028756A
Authority
JP
Japan
Prior art keywords
frame
coding mode
current
intra
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000169846A
Other languages
English (en)
Other versions
JP4077135B2 (ja
Inventor
Alireza Farid Faryar
ファリッド ファーヤー アリレザ
Moushumi Sen
セン ムーシュミ
Kyeong Ho Yang
ホ ヤン キーオン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Original Assignee
Lucent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lucent Technologies Inc filed Critical Lucent Technologies Inc
Publication of JP2001028756A publication Critical patent/JP2001028756A/ja
Application granted granted Critical
Publication of JP4077135B2 publication Critical patent/JP4077135B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 （修正有） 【課題】 コンテクストベースでフレーム内コーディン
グモードとフレーム間コーディングモードとの間の選択
を行なうための方法および装置を提供する。 【解決手段】 ビデオシーケンスの現在の部分と前に再
生されたサンプルを、それぞれ、ビデオサービスの現在
のフレームと参照フレームから識別するステップを含
み、次に、現在の部分を処理するために、フレーム間コ
ーディングを用いるか、あるいはフレーム内コーディン
グを用いるかが、これら前に再生されたサンプルに関す
る比較に基づいて行なわれる。この方法がビデオエンコ
ーダとビデオデコーダの両方において遂行され、結果と
して、エンコーダは、コーディングモードに関するオー
バヘッド情報を対応するデコーダに送信する必要がなく
なる。本発明は、画素ベースのコーディングシステム内
で用いることも、ブロック変換ベースのコーディングシ
ステム内で用いることもできる。

Description

【発明の詳細な説明】
【０００１】合衆国政府が本発明におけるペイドアップ
（支払済）ライセンスおよび限られた状況下において特
許権所有者に対して契約当事者にNIST cooperative agr
eement no.NANB7H3051（proposal no.97-04-0020）:“E
nabling Technology for a Digial Video Optical Tape
Recorder of High Definition Motion Imagery"におい
て規定される妥当な条件にて本発明の実施を許可するこ
とを要請する権利を有するものである。
【０００２】
【関連する特許】本発明は、本発明と同時に出願され
た、“Methods And Apparatus For MotionEstimation U
sing Causal Templates（因果テンプレートを用いてモ
ーションを推定するための方法および装置）"および“M
ethods And Apparatus For Contest-based Perceptual
Quantization（コンテクストベースの知覚量子化のため
の方法および装置）"とも関連があるため、これらも参
照されたい。
【０００３】
【発明の属する技術分野】本発明はビデオの圧縮、より
具体的には、ビデオ圧縮システムにおいて用いるコンテ
クストベースにてコーディングモードを選択する方法お
よび装置に関する。
【０００４】
【従来の技術】ハイブリッドコーディング方式がビデオ
シーケンスを効率的に表現するために広く用いられてい
る。この方式においては、最初に、テンポラル予測がビ
デオシーケンス内のテンポラル（時間的）冗長を低減す
るために遂行され、次に、結果としての予測エラーが符
号化される。これらに関しては、例えば、Draft of MPE
G-2: Test Model 5,ISO/IEC JTC1/SC29/WG11,Apr.1993;
Draft of ITU-T Recommendation H.263,ITU-T SG XV,D
ec.1995; A.N.Netravali and B.G.Haskell,Digital Pic
tures:Representation,Compression,and Standards,2nd
Ed.,Plenum Press,1995;およびB.Haskell,A.Puri,and
A.N.Netravali,“Ditital Video: An Introduction to
MPEG-2",Chapman and Hall,1997を参照されたい。テン
ポラル予測は、しばしば、ビデオ信号の圧縮に非常に効
果的である。ただし、テンポラル予測エラーの符号化
は、通常、元の信号の符号化より困難であり、特に、テ
ンポラル予測がうまく機能しないフレームの領域におい
ては問題である。例えば、エンコーダは、実際のモーシ
ョンが探索レンジの外にある場合は、良好なテンポラル
予測ブロックを見つけることができない。従って、多く
のビデオコーダは、テンポラル予測にて良好な圧縮が達
成できる可能性がある場合は、フレーム間コーディング
（inter-frame coding）をそのエリア（ブロックあるい
は画素）に適用し、そうでない場合は、フレーム内コー
ディング（intra-frame coding）を適用するフレーム間
／内適応コーディングアプローチ（inter/intra adapti
ve codingapproach）を用いる。こうして、フレーム間
コーディングモードと、フレーム内コーディングモード
の２つの動作モードが用意され、各ブロック（あるいは
画素）を符号化するためにどちらのコーディングモード
を用いるか決定する過程はコーディングモード選択過程
と呼ばれる。
【０００５】
【発明が解決しようとする課題】ただし、周知のよう
に、従来のコーディングモード選択アプローチでは、コ
ーディングモード情報を表すオーバヘッドビットを、デ
コーダに送信することが必要となる。これは、デコーダ
の所に、コーディングモードの選択のために用いる現在
のフレーム内のサンプル、とりわけ、後に詳細に説明す
るように、現在のブロックあるいは現在のサンプルが存
在しないためである。このオーバヘッドの負担は、小さ
なブロックあるいは画素ベースにてモードの選択が遂行
される場合は、非常に大きくなる。従って、コーディン
グモード情報をデコーダに送信することを要求されない
コーディングモード選択方法を提供することは非常に有
益なことである。
【０００６】
【課題を解決するための手段】本発明は、ビデオシーケ
ンスに対するコーディングモードを選択するための方法
を提供する。本発明による方法においては、特徴とし
て、ビデオシーケンスの現在の部分に関して、フレーム
間コーディングを遂行するか、あるいはフレーム内コー
ディングを遂行するかの決定は、そのビデオシーケンス
と関連する前に再生されたサンプルのみに基づいて行な
われる。長所として、本発明の方法を用いるエンコーダ
は、コーディングモードオーバヘッド情報を対応するデ
コーダに送信することを必要とされない。
【０００７】本発明は、一面においては、ビデオ処理シ
ステムにおいて用いるビデオシーケンスの現在の部分を
処理するためのコーディングモードを選択するための方
法として具現される。この方法は、ビデオシーケンスの
現在の部分と関連する前に再生されたサンプルを、それ
ぞれ、ビデオサービスの現在のフレームと参照フレーム
から識別するステップを含む。次に、現在の部分を処理
するために、フレーム間コーディングを用いるか、ある
いはフレーム内コーディングを用いるかの選択が、これ
ら前に再生されたサンプルに関する比較に基づいて行な
われる。この比較は、本発明の方法を採用するアプリケ
ーションに依存する。例えば、本発明は、画素ベースの
予測コーディングシステム内で用いることも、ブロック
変換ベースのコーディングシステム内で用いることもで
きるが、前者の場合は、現在の部分は画素から成り、比
較には、前に再生されたサンプルに関する強度値が用い
られ；後者の場合は、現在の部分はブロックから成り、
比較には、前に再生されたブロックに関するdcおよびａ
ｃ係数が用いられる。さらに、前に再生されたサンプル
は、一つの好ましい実施例においては、テンプレートと
呼ばれるセットのサンプルから成る。前に再生されたサ
ンプルのみを持つテンプレートは因果テンプレートと呼
ばれる。
【０００８】本発明によると、エンコーダの所で遂行さ
れるコーディングモードの選択も前に再生されたサンプ
ルのみから成るセットのサンプルあるいはテンプレート
に基づいて行なわれる。これらセットのサンプルあるい
はテンプレートはデコーダの所でも容易に得ることがで
き、デコーダはエンコーダの所で用いられたのと同一の
セットのサンプルあるいは因果テンプレートを用いて同
一の決定過程をエンコーダとは独立に遂行することがで
き、このため、本発明のエンコーダは、コーディングモ
ードに関する情報を対応するデコーダに送信することは
必要とされず、長所として、送信帯域幅および／あるい
はメモリ容量を節約できる。
【０００９】
【発明の実施の形態】本発明との関連で用いられる“ビ
デオ”あるいは“ビデオシーケンス”なる用語には、例
えば、H.261、H.263、Motion-JPEG、MPEG-1およびMPEG-
2などの標準に従って符号化するのに適する形式の任意
のフレームあるいはフィールドシーケンスが含まれ；
“ブロック”なる用語には、上述の圧縮標準において定
義されるマクロブロックのみでなく、より一般的に、ビ
デオフレームあるいはフィールドの画素のグループも含
まれることに注意する。これらグループには、セットの
画素に限らず、単一の画素も含まれ、後に説明では、本
発明が、それぞれ、画素ベースの処理を採用する構成
と、ブロックベース（例えば、８×８画素ブロック）の
処理を採用する構成の両方に対して説明される。さら
に、“サンプル”なる用語は、ここでは、画素あるいは
情報のサブセット、例えば、画素と関連する成分を指
す。さらに、“コンテクスト”なる用語は、画素あるい
は画素の周囲を記述するために用いられる値を指し、こ
れは、本発明によると、前に再生されたサンプルから得
られる。注意すべき点として、本発明によるコーディン
グモード選択技法は、ビデオエンコーダと対応するビデ
オデコーダの両方において遂行され、このため、コーデ
ィングモードの選択に関するデータをエンコーダからデ
コーダに送信する必要はなくなる。
【００１０】最初に、図１、２Ａおよび２Ｂを用いて、
フレーム間コーディングモードとフレーム内コーディン
グモードとの間の選択を行なうための従来のアプローチ
について説明する。従来のビデオエンコーダ１０は、コ
ーディングモードセレクタ１２を備えるが、これは、現
在のフレームの現在のブロック全体を符号化し、デコー
ダに送信すべきか（フレーム内コーディングを用いるべ
きか）、あるいは現在のブロックに対して生成されるテ
ンポラル（時間）予測エラーを符号化し、これをデコー
ダに送信すべきか（フレーム間コーディングを用いるべ
きか）を制御する。コーディングモードセレクタ１２
は、この選択を実現するためにスイッチ１２Ａおよびス
イッチ１２Ｂを用いる。
【００１１】フレーム内コーディングが選択された場合
は、コーダ１４は、ビデオ入力から直接に受信される現
在のブロックをコーディング技法Ａを用いて符号化す
る。符号化されたブロックは、次に、デコーダ１６によ
って、コーディング技法Ａの逆、すなわち、Ａ-1を用い
て再生される。周知のように、こうして再生されたブロ
ックは、現フレーム用メモリ１８に格納され、これによ
って、現在のフレームの再生表現が形成される。加え
て、参照フレーム用メモリ２２も設けられるが、これ
は、現在のフレームの前のフレームの再生表現を格納す
る。現フレーム用メモリ１８と参照フレーム用メモリ２
２との間にはフレーム遅延ブロック２０が挿入される
が、これは、単に、現フレーム用メモリ１８内のブロッ
クと、参照フレーム用メモリ２２内のブロックとの間に
１フレーム期間の遅延が存在することを示す。
【００１２】フレーム間コーディングが選択された場合
は、残差コーダ２８が、信号減算器２６から受信される
テンポラル（時間）予測エラー信号を、コーディング技
法Ｂを用いて符号化する。信号減算器２６は、このテン
ポラル予測エラー信号を、周知のやり方で、現在のブロ
ックからテンポラル予測器２４によって生成された予測
器信号を減算することで生成する。このテンポラル予測
エラー（信号）は、現ブロックと、現ブロックを最も良
く予測すると期待される参照フレームからのブロックと
の間の差を表す。次に、現在のブロックがデコーダ３０
内で再生される。つまり、最初に、デコーダ３０内で、
テンポラル予測エラー信号に、コーディング技法Ｂの
逆、すなわち、逆コーディング技法Ｂ-1が適用され、次
に、この出力とテンポラル予測器信号を加えることで、
現在のブロックが再生される。次に、再生されたブロッ
クが現在のフレームの処理の最中に、現フレーム用メモ
リ１８内に格納される。次に、再生された現在のフレー
ムが次のフレームの処理の直前に、テンポラル予測器に
よって用いるために、参照フレーム用メモリ２２に格納
される。
【００１３】重大な点として、図１の説明から明らかな
ように、従来のコーディングモードセレクタ１２は、入
力として、ビデオ入力から直接に受信される現在のブロ
ックを含む現在のフレームと、参照フレーム用メモリ２
２から参照フレームの両方を受信する。つまり、従来の
コーディングモードセレクタは、コーディングモードの
選択を行なうために、（現在のフレームの）現在のブロ
ックと、参照フレーム内のブロックの両方を用いる。コ
ーディングモードセレクタは、参照フレーム内の現在の
ブロックと同一空間位置のブロックを用いることも、あ
るいは、モーション推定／補償が採用される場合は、モ
ーション補償されたブロックを用いることもできる。図
２Ａおよび２Ｂにおいて、Ｘnは、現在のフレームＦc内
の現在のブロックを表し、Ｘn-1は、参照フレームＦR内
の現在のブロックと空間的に対応するブロックを表す。
コーディングモードセレクタは、これら入力から、フレ
ーム間コーディングを遂行すべきか、フレーム内コーデ
ィングを遂行すべきかを決定する。例えば、現在のブロ
ックと参照フレーム内の空間的に対応するブロックとを
比較することで、現在のブロックを直接に符号化すべき
か（フレーム内コーディングを用いるべきか）、現在の
ブロックに対するテンポラル予測エラーを符号化すべき
か（フレーム間コーディングを用いるべきか）を決定す
る。つまり、従来のコーディングモードセレクタは、モ
ード選択に関する決定を行なうために、参照フレームか
らの現在のブロックと同一空間位置のブロックを用いる
かモーション補償されたブロックを用いるかとは関係な
く、現在のブロックも用いることを必要とされる。
【００１４】容易に理解できるように、現在のブロック
を正しく復号するためには、デコーダは、エンコーダに
おいてどちらのコーディングモードが採用されたかを知
る必要がある。つまり、従来のデコーダは、エンコーダ
の所でコーディング技法ＡとＢのどちらが採用されたか
に関する知識を得た上で、対応する復号技法Ａ-1あるい
はＢ-1を用いて現在のブロックを復号する。ところが、
従来の技術は、上述のように現在のブロックに対するコ
ーディングモードを決定するために現在のブロックを用
いるが、デコーダはまだ現在のブロックを処理してない
ために、従来の技術によるデコーダは、同一の決定をエ
ンコーダとは独立に行なうことはできない。つまり、短
所として、従来のコーディングシステムにおいては、エ
ンコーダは、デコーダに、符号化されたブロックを表す
信号と共に、コーディングモードに関する情報を送信す
ることで、デコーダに送信された信号を復号するやり方
（モード）を知らせることを要求される。
【００１５】このような従来の技術によるコーディング
システムからの重要な進歩として、本発明によるエンコ
ーダは、コーディングモードの選択を、再生されたサン
プルのみに基づいて遂行する。つまり、フレーム間コー
ディングモードを用いるか、フレーム内コーディングモ
ードを用いるかの決定を現在のブロックに基づいて行な
う代わりに、本発明のビデオエンコーダは、この決定を
行なうために、現在のブロックに隣接する前に再生され
たサンプルを用いて行う。つまり、本発明によると、後
により詳細に説明するように、フレーム間コーディング
モードを用いるか、フレーム内コーディングモードを用
いるかの決定は、現在のフレームからの前に再生された
サンプルと、参照フレームからの適当な前に再生された
サンプルと比較することで行なわれる。この決定は、既
に再生されている値（サンプル）のみに基づいて行なわ
れるために、エンコーダは、コーディングモードに関す
るオーバヘッド情報をデコーダに送信することを要求さ
れない。こうして、対応するデコーダは、同一のコーデ
ィングモード選択過程を用いて、エンコーダの所で現在
のブロックに対して行なわれたのと同一の決定を、エン
コーダとは独立に行なうことができ、結果として、伝送
帯域幅および／あるいはメモリ容量を節約できる。
【００１６】次に、図３のブロック図を用いて、本発明
の一つの実施例によるコーディングモード選択方法を用
いるビデオエンコーダを、コンテクスト（画素）ベース
の変換が用いられる背景で説明する。図３から明らかな
ように、本発明のエンコーダ１００は、図１のエンコー
ダ１０と類似の機能要素を備える。ただし、本発明のエ
ンコーダのコーディングモードセレクタ１１２は、エン
コーダ１０のコーディングモードセレクタ１２とは異な
り、エンコーダのビデオ入力に直接に接続されるのでは
なく、現フレーム用メモリ１１８に接続される。こうし
て、後に説明するように、コーディングモードセレクタ
１１２は、コーディングモードの選択を行なうために、
現フレーム用メモリからの前に再生された値（サンプ
ル）と、参照フレーム用メモリからの前に再生された値
（サンプル）のみを受信する。
【００１７】次に、図３に示すように相互接続された本
発明によるエンコーダ１００の対応する符号化動作につ
いて説明する。エンコーダ１００は、ここでは、ビデオ
シーケンスをブロックベースにて符号化するために用い
られるものと想定されるが、ただし、ここで用いられる
“ブロック”なる用語は、より一般的に、フレームの画
素、セットの画素、あるいは他の部分も指すことに注意
する。図５Ａおよび図５Ｂとの関連では、画素ベースの
符号化について説明し、図６Ａおよび図６Ｂとの関連で
は、ブロック変換ベースの符号化について説明する。
【００１８】図４Ａおよび図４Ｂは、前に再生されたサ
ンプル（値）のみを用いる概念を概略的に示す。図４Ａ
および４Ｂは、それぞれ、コーディングモードの決定を
行なうために用いられるセットの前に再生されたサンプ
ルを示す。これらセットは、テンプレートの形式を持つ
こともできることに注意する。前に再生されたサンプル
のみを含むテンプレートは、ここでは、因果テンプレー
トと呼ばれる。Ｘn（図４Ｂ）は、符号化されるべき現
在のフレームＦC内の現在のブロックを表し、Ｘn-1（図
４Ａ）は、参照フレームＦR内の空間的に対応するブロ
ックを表す。Ｘ n-1は、代わりに、モーション補償され
たブロックとすることもできる。図面に示されるよう
に、因果テンプレートＲnは、現在のフレームＦC内の現
在のブロックＸnに隣接するサンプルから形成される。
現在のフレームのサンプルは、フレームの左上の角か
ら、フレームの右下の角に向かって処理される、例え
ば、符号化および再生されるものと想定される。こうし
て、テンプレートＲnは、既に符号化および再生された
現在のフレームからのサンプルのみを含む。同様に、テ
ンプレートＲn-1は、参照フレームＦR内のブロックＸ
n-1に隣接するサンプルから形成され、これ自身は、前
に再生されたサンプルのみを含む。こうして、ブロック
Ｘn内の再生されたサンプルは、次のブロックに対する
次の符号化サイクルにおいて用いられる因果テンプレー
トの部分を形成する。
【００１９】コーディングモードの決定においては、図
５Ａと５Ｂおよび図６Ａと６Ｂに一例として示されるよ
うな因果テンプレートＲn内の前に再生されたサンプル
と、因果テンプレートＲn-1内の前に再生されたサンプ
ルが比較される。これら前に再生されたサンプルは、対
応するデコーダ内にも現在のブロックが復号される時点
で存在するために、すなわち、これらは、既に復号を終
え、デコーダのメモリ内に格納されているために、符号
化されたビット流と共に、コーディングモードに関する
オーバヘッド情報を送信および／あるいは格納すること
は必要とされない。
【００２０】次に、本発明によるエンコーダ１００のコ
ーディングモード選択動作を、図５Ａと５Ｂを用いて、
画素ベースの予測符号化の背景で関説明する。この背景
では、処理されるべき現フレームの現在の部分は、単一
の画素Ｘnとなることに注意する。従って、参照フレー
ムの対応部分も単一の画素Ｘn-1となる。エンコーダ１
００は、入力ビデオ信号を受信するが、エンコーダ１０
０は、画素Ｘnを（コーダ１１４を介して）コーディン
グ技法Ａを用いて符号化すべきか、あるいは画素Ｘnと
関連するテンポラル予測エラーを（エンコーダ１２８を
介して）残差コーディング技法Ｂを用いて符号化すべき
かを決定することを必要とされる。この決定は、コーデ
ィングモードセレクタ１１２によって行なわれる。コー
ディングモードセレクタ１１２は、それぞれ、現フレー
ム用メモリ１１８と参照フレーム用メモリ１２２からテ
ンプレートＲnとＲn-1を形成し、これら各テンプレート
内の画素と関連する画素強度値を比較する。モードの選
択が画素ベースで行なわれる説明の例では、モード選択
のために、現在のフレーム内の画素Xnと参照フレーム内
の画素Ｘn-1に関する４つの前に再生されたサンプルの
値が用いられる。こうして、図５Ａおよび５Ｂに示すよ
うな因果テンプレートＲnとＲn-1が形成され、これらを
用いるコーディングモードセレクタ１１２の場合、モー
ドの選択は、以下のようにフレーム内差とフレーム間差
を比較することで行なわれる：
【数１】
【００２１】上述のコーディングモード選択技法におい
て、｜ｘ｜は、ｘの絶対値を表す。こうして、フレーム
内差値（intra_difference）が、上に示すように、現在
のフレーム内の前に再生された４つのサンプルから計算
され、フレーム間差（intra_difference）は、上に示す
ように、現在のフレーム内の前に再生された４つのサン
プルと参照フレーム内の前に再生された４つのサンプル
から形成される。次に、フレーム内差値がフレーム間差
値と比較され、フレーム間差値がフレーム内差値より小
さな場合は、フレーム間コーディングが画素Ｘnに関し
て遂行され、小さくない場合は、フレーム内コーディン
グが遂行される。説明の例では、テンプレートＲnとＲ
n-1は、前に再生された４つのサンプルから形成される
が、ただし、これらサンプルの数は、これより多くする
こともあるいは少なくすることもできる。さらに、これ
らサンプルは、必ずしも符号化されるべき現在の画素に
隣接する必要はない。ただし、現在のブロックに隣接す
るサンプル（あるいはブロック）の方が、隣接しないサ
ンプルより、現在のサンプルとより高い相関を持つため
に好ましい。
【００２２】モードセレクタ１１２は、決定されたモー
ドに基づいて、適当なコーダ（１１４あるいは１２８）
およびデコーダ（１１６あるいは１３０）に、それぞ
れ、それによって受信される入力信号を、符号化および
復号するように通知する。フレーム内コーディングが選
択された場合は、コーダ１１４は、Ｘnを符号化し、モ
ードセレクタ１１２は、スイッチ１１２Ａは、コーダ１
１４の出力が送信あるいは格納されるべきビット流とし
て出力される位置にスイッチする。さらに、デコーダ１
１６は、符号化された画素を復号することで、再生され
たサンプルを形成する。モードセレクタ１１２は、スイ
ッチ１１２Ｂを、再生された現在のサンプルが現フレー
ム用メモリ１１８内に格納される位置にスイッチする。
この再生された現在のサンプルは、エンコーダによって
処理すべき次の画素Ｘn+1に対するモード選択過程にお
いてテンプレートを形成するために用いられる。
【００２３】フレーム間コーディングが選択された場合
は、エンコーダ１２８は、Ｘnに対して生成されたテン
ポラル予測エラーを符号化し、モードセレクタ１１２
は、スイッチ１１２Ａは、コーダ１２８の出力が送信あ
るいは格納すべきビット流として出力される位置にスイ
ッチする。周知のように、現在の画素に対するテンポラ
ル予測エラーを形成するためには、テンポラル予測器１
２４が、参照フレーム用メモリ１２２からテンポラル予
測器信号を生成し、このテンポラル予測器信号が減算器
１２６内で現在の画素から減算される。結果としての信
号は、現在の画素と、現在の画素を最も良く予測すると
期待される参照ブロック内の画素との間の差を表すテン
ポラル予測エラーを表す。テンポラル予測器は、さら
に、一連のフレーム間に存在するテンポラル相関をより
有効に利用するために、モーションの推定および補償を
行なうこともできる。さらに、デコーダ１３０は、符号
化されたテンポラル予測エラーを復号し、テンポラル予
測器信号を復号されたテンポラル予測エラー信号に加え
ることで、再生サンプルを形成する。モードセレクタ１
１２は、スイッチ１１２Ｂを、再生された現在のサンプ
ルが現フレーム用メモリ１１８内に格納される位置にス
イッチする。こうして格納された再生された現在のサン
プルは、次のモード選択過程において、エンコーダによ
って処理されるべき次の画素Ｘn+1に対するテンプレー
トを形成するために用いられる。本発明は、コーダＡお
よびＢを用いることに限定されるものではなく、これら
コーダＡおよびＢは符号化アルゴリズムを用いて実現す
ることもできる。例えば、コーダＡは、非常に複雑なフ
レーム内予測器およびこれに続くエントロピーコーディ
ングシステムから実現し、コーダＢはコンテクストベー
スのエントロピーコーディングシステムから実現するこ
ともできる。
【００２４】次に、図６Ａ〜６Ｃを用いて、本発明のコ
ーディングモード選択技法を、ブロック変換ベースの符
号化の背景で説明する。この実施例の目的に対しては、
エンコーダ１００へのビデオ入力は、ブロック変換およ
び量子化されているものと想定される。例えば、本発明
のモード選択技法は、各フレーム／フィールドが8×8Ha
damard変換を用いてブロック変換および量子化された後
に適用されるが、ただし、他の反転可能なブロック変換
を用いることもできる。
【００２５】図６Ａおよび６Ｂは、モード選択のために
用いられる因果テンプレートを示す。ここで、Ｘn(.)、
Ｒn(.)およびＲn-1(.)は、ブロック変換の適用とこれに
続く量子化の結果として得られるブロックを表す。この
実施例においては、因果テンプレートは、こうして得ら
れたブロックの、それぞれ、現在のフレームＦC内の現
在のブロックＸn(i,j)と前のフレームＦR内の再生され
たブロックＲn-1(i,j)に対するセットの相対位置から成
る。本発明のモード選択アルゴリズムは、それぞれ、現
在のフレームと前のフレーム内の、再生されたブロック
ＲnとＲn-1を用いる。より具体的には、本発明のこの技
法は、変換符号化される係数の現在のブロックが、フレ
ーム間符号化されるべきか、すなわち、前のフレームＦ
R内の対応するブロックから予測されるべきか、あるい
は、フレーム内符号化されるべきかを決定し、ブロック
がフレーム内符号化される場合は、さらに、そのブロッ
クが、現在のフレーム内の因果テンプレートから空間的
に予測されるべきか、あるいは、空間予測なしに符号化
されるべきか決定する。コーディングモードセレクタ１
１２によって遂行される本発明のモード選択過程の第一
のフェーズにおいては、テンプレート内のブロックのｄ
ｃ値のみを用いて、現在のｄｃ係数ｘn dc(i,j)のコーデ
ィングモードが決定される。つまり、
【数２】 が計算され（ここで、ｒn dc(.)およびｒn-1 dc(.)は、そ
れぞれ、現在のフレームおよび前のフレーム内の再生さ
れたブロックのｄｃ値を表すものと）、以下のような選
択が行なわれる：
【数３】 ここで、ThreshIntraおよびThreshInterは、適当に選択
された閾値を表し、ｐn d c(i,j)は、ｘn dc(i,j)に対する
プリディクタを表す。ｘn dc(i,j)が、空間的あるいは時
間的に予測されない場合は、ブロックの残りの６３個の
ａｃ係数ｘn k(i,j),k=1,2,...63も予測されない。他
方、ｘn dc(i,j)を予測することを選択した場合は、本発
明の方法の第二のフェーズが遂行される。つまり、ｘn k
(i,j)（k=1,2,...63）のコーディングモードが選択され
る。ａｃ係数ｘn k(i,j)のコーディングモードは、ブロ
ック内の係数の走査順序および直前の係数の予測エラー
ｅn k-1(i,j)の規模に依存する。走査順序としては、図
６Ｃに示すような標準的なジグザグ走査順序が用いられ
る。ｘn k(i,j)が現在のブロックの（走査順序におい
て）ｋ番目のａｃ係数であり、ｒn k-1(i,j)およびｅn
k-1(i,j)が、それぞれ、前のｋ−１番目の係数の再生エ
ラー値および予測エラー値を表すものとすると、本発明
のコーディングモード選択方法は、以下を指定する：
【数４】 ここで、k=1,2,...,63であり、各ａｃ係数ｘn k(i,j)（k
=1,2,...,63）は、予測される場合は、処理されている
ブロックのｄｃ係数ｘn dc(i,j)と同一のタイプの予測、
すなわち、空間あるいは時間予測を用いる。この過程の
任意のポイントにおいて、ｘn k(i,j)を前に再生された
係数から予測する必要はないことが決定された場合は、
ブロック内の残りの係数、ｘn m(i,j)（m=k+1,k+2,...,6
3）も予測されず、かわりに、ＰＣＭ（パルス符号変
調）値として直接に符号化される。
【００２６】本発明のコーディングモード選択過程の各
段階において、デコーダは、常に、エンコーダと同一の
情報にアクセスし、両方とも、各変換ブロックに対する
コーディングモードの選択に関して同一の決定に至り、
こうして、各ブロックにおいて用いられたコーディング
モードを示す余分なビットを送信する必要はなくなるこ
とに注意されたい。
【００２７】次に、図７を用いて、本発明によるコーデ
ィングモード選択方法２００の概要を流れ図にて示す。
ステップ２１０において、処理されるべき現在のフレー
ムの部分を表す入力ビデオ信号が受信される。この入力
信号は、ここでは、図６Ａ〜６Ｃとの関連で上で説明し
た例と同様に、受信される前に、ブロック変換され、量
子化されているものと想定される。ただし、処理される
べき現在のフレームの部分は、必ずしも典型的なブロッ
ク（例えば、8×8要素のブロック）である必要はなく、
図５Ａおよび５Ｂとの関連で説明した例のように一つの
画素であっても良い。
【００２８】次に、ステップ２２０において、それぞ
れ、現フレーム用メモリと参照フレーム用メモリからの
前に再生されたサンプルから因果テンプレートが形成さ
れる。次に、ステップ２３０において、これらテンプレ
ートからのサンプルを比較することで、フレーム間コー
ディングを行なうか、あるいはフレーム内コーディング
を行なうか決定される。次に、ステップ２４０におい
て、ステップ２３０の比較の結果に従って、現在のフレ
ームの現在の部分が、フレーム内コーディングモード、
あるいはフレーム間コーディングモードを用いて符号化
される。次に、現在のフレームの符号化された部分が、
対応するデコーダによるその後の復号のために、長所と
してコーディングモード選択情報を伴うことなしに、送
信および／あるいは格納される。上述のように、モード
の選択を行なうために、セットの前に再生されたサンプ
ルのみが用いられるために、デコーダは、エンコーダと
は独立に、同一のセットの前に再生されたサンプルを用
いて同一の決定過程を遂行し、同一の決定に至ることが
できる。
【００２９】次に、図８のブロック図を用いて、本発明
のコーディングモード選択方法を用いるデコーダを、コ
ンテクスト（画素）ベースの変換が用いられる背景で説
明する。デコーダは、図３のエンコーダ１００において
用いられている要素と類似の要素から成る。より具体的
には、デコーダ３０４、３０６は、図３のデコーダ１１
６、１３０に対応する。さらに、現フレーム用メモリ３
０８、フレーム遅延ブロック３１０、参照フレーム用メ
モリ３１２、テンポラル予測器３１４、および信号加算
器３１６も、それぞれ、図３の対応する要素と類似す
る。重要な点は、コーディングモードセレクタ３０２
は、図３のセレクタ１１２と同様に、現フレーム用メモ
リと参照フレーム用メモリから入力を受信し、受信され
た現在の信号の復号モードを決定（Ａ-1あるいはＢ-1）
するために、現在の信号を符号化するために用いられた
のと同一の因果テンプレートを形成することができるこ
とである。
【００３０】デコーダは、エンコーダによって用いられ
のと同一の前に再生されたサンプルをそのフレームメモ
リ内に持つために、コーディングモードセレクタ３０２
は、エンコーダと同一のコーディングモード選択過程
を、エンコーダとは独立に遂行することができる。例え
ば、コーディングモードセレクタ３０２は、モード選択
のために、図５Ａおよび５Ｂのテンプレートを既に説明
したのと同一のやり方で用いる。他方、ブロック変換符
号化が用いられる場合は、モードセレクタ３０２は、モ
ード選択のために、図６Ａおよび図６Ｂのテンプレート
を既に説明したのと同一のやり方で用いる。
【００３１】いったん用いるべきモードが決定される
と、モードセレクタ３０２は、該当するデコーダにその
決定を通知し、スイッチ３０２Ａおよび３０２Ｂをその
決定が実現される位置、つまり、デコーダ３０４あるい
は３０６の入力および出力をどちらかを選択する位置に
スイッチする。つまり、フレーム内復号が選択された場
合は、デコーダ３０４は、受信されたビット流を直接に
復号する。加えて、復号されたブロックは、現フレーム
用メモリ３０８内に再生されたブロックとして格納さ
れ、次の入力部分を復号するためのテンプレートを形成
するために用いられる。フレーム間復号が選択され、受
信される信号が予測エラーを表す場合は、デコーダ３０
６は予測エラー信号を復号し、この復号された信号に加
算器３１６内でテンポラル予測器３１４によって生成さ
れた予測器信号を加えることで、再生されたブロックが
得られる。こうして、再生されたブロックが、次の入力
部分を復号するためのテンプレートを形成するために用
いられる。
【００３２】長所として、上述の例から明らかなよう
に、このデコーダは、本発明によるモード選択過程は、
前に再生されたサンプルのみを用いて遂行されるため
に、エンコーダからコーディングモード選択に関するデ
ータを受信することを必要とされず、従って、エンコー
ダとデコーダ間の伝送帯域幅および／あるいはメモリ容
量が節約される。
【００３３】エンコーダ１００およびデコーダ３００の
要素は、それぞれ、中央処理ユニットを用いて実現する
ことも、マイクロプロセッサを用いて実現することも、
アプリケーションスペシフィック集積回路を用いて実現
することも、あるいは他のデータ処理デバイスを用いて
実現することもでき、加えて、これらは、コンピュータ
内に実現することも、ビデオ送信機内に実現すること
も、ケーブルシステムのヘッドエンド内に実現すること
も、テレビのセットトップボックス内に実現すること
も、あるいは他のタイプのビデオ信号プロセッサ内に実
現することもできる。中央処理ユニット、マイクロプロ
セッサ、アプリケーションスペシフィック集積回路、あ
るいは他のタイプのデータ処理デバイスは、必要であれ
ば、各要素の機能と関連するデータおよび結果を格納す
るための関連するメモリを設けられる。本発明は、様々
なタイプのビデオ処理あるいは伝送システムと共に用い
ることができる。上では、本発明が一例としてのビデオ
コーディングシステムとの関連で説明されたが、本発明
は、特定のタイプのビデオ信号フォーマット、ビデオ符
号化標準あるいはコーディングシステムの構成との使用
に限定されるものではなく、本発明は、より一般的に、
フレーム内コーディングモードとフレーム間コーディン
グモードの間の選択が行なわれ、しかも、このようなモ
ードの選択をエンコーダの所でモードの選択に関するオ
ーバヘッド情報を対応するデコーダに送信することを要
することなく遂行することが望まれるあらゆるタイプの
ビデオコーディングシステムに適用できるものである。
【００３４】上では、本発明の様々な実施例が付録の図
面を参照しながら説明されたが、本発明は、これらの具
体的な実施例に限定されるものではなく、本発明の範囲
あるいは精神から逸脱することなく、他の様々な変更お
よび修正が可能である。
【図面の簡単な説明】
【図１】従来のコーディングモード選択方法を用いるビ
デオエンコーダのブロック図である。
【図２】Ａは、従来のコーディングモード選択方法を遂
行するために用いられる、それぞれ、参照フレームと現
フレームの部分を示す図である。Ｂは、従来のコーディ
ングモード選択方法を遂行するために用いられる、それ
ぞれ、参照フレームと現フレームの部分を示す図であ
る。
【図３】本発明の一つの実施例によるコーディングモー
ド選択方法を遂行するビデオエンコーダのブロック図で
ある。
【図４】Ａは、本発明のコーディングモード選択方法を
遂行するために用いられる、それぞれ、参照フレームと
現フレームに対する一例としての因果テンプレートを示
す図である。Ｂは、本発明のコーディングモード選択方
法を遂行するために用いられる、それぞれ、参照フレー
ムと現フレームに対する一例としての因果テンプレート
を示す図である。
【図５】Ａは、画素ベースの予測コーディングの背景で
本発明によるコーディングモード選択方法を遂行するた
めに用いられる、それぞれ、参照フレームと現フレーム
に対する一例としての因果テンプレートを示す図であ
る。Ｂは、画素ベースの予測コーディングの背景で本発
明によるコーディングモード選択方法を遂行するために
用いられる、それぞれ、参照フレームと現フレームに対
する一例としての因果テンプレートを示す図である。
【図６Ａ】ブロック変換ベースのコーディングの背景で
本発明によるコーディングモード選択方法を遂行するた
めに用いられる、それぞれ、参照フレームおよび現フレ
ームに対する一例としての因果テンプレートを示す図で
ある。
【図６Ｂ】ブロック変換ベースのコーディングの背景で
本発明によるコーディングモード選択方法を遂行するた
めに用いられる、それぞれ、参照フレームおよび現フレ
ームに対する一例としての因果テンプレートを示す図で
ある。
【図６Ｃ】ブロック変換係数を求めるためのジクザグ走
査順序を示す図である。
【図７】本発明の一つの実施例によるコーディングモー
ド選択方法を示す流れ図である。
【図８】本発明の一つの実施例によるコーディングモー
ド選択方法を用いるビデオデコーダのブロック図であ
る。
【符号の説明】
１００ エンコーダ １１２ コーディングモードセレクタ １１６ デコーダ １１４、１２８ コーダ １１８ 現フレーム用メモリ １２２ 参照フレーム用メモリ １２８ エンコーダ ３０４、３０６ デコーダ ３０８ 現フレーム用メモリ ３１０ フレーム遅延ブロック ３１２ 参照フレーム用メモリ ３１４ テンポラル予測器 ３１６ 信号加算器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ムーシュミ セン アメリカ合衆国 07740 ニュージャーシ ィ，ウエスト エンド，オーシャン ブウ ルヴァード アパートメント ２ピー 385 (72)発明者 キーオン ホ ヤン アメリカ合衆国 07728 ニュージャーシ ィ，フリーホールド，ハウゾーン コート ８

Claims (25)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ処理システムにおけるビデオシー
    ケンスの現在の部分を処理するためのコーディングモー
    ドを選択するための方法であって、 前記ビデオシーケンスの前記現在の部分と関連する前に
    再生されたサンプルを、それぞれ、現在のフレームおよ
    び参照フレームから識別するステップ；および前記現在
    の部分を処理するために、第一のコーディングモードを
    用いるか、第二のコーディングモードを用いるかを、前
    記前に再生されたサンプルに関する比較に基づいて選択
    するステップを含むことを特徴とする方法。
  2. 【請求項２】 前記前に再生されたサンプルが、一つあ
    るいは複数のセットの前に再生されたサンプルから成る
    ことを特徴とする請求項１の方法。
  3. 【請求項３】 前記一つあるいは複数のセットの前に再
    生されたサンプルが一つあるいはテンプレートの形式を
    持つことを特徴とする請求項２の方法。
  4. 【請求項４】 前記方法が前記処理システムのビデオエ
    ンコーダ内で遂行され、前記処理が前記現在の部分の符
    号化から成ることを特徴とする請求項１の方法。
  5. 【請求項５】 前記方法が前記処理システムのビデオデ
    コーダ内で遂行され、前記処理が前記現在の部分の復号
    から成ることを特徴とする請求項１の方法。
  6. 【請求項６】 前記第一のコーディングモードがフレー
    ム内コーディングモードであり、前記第二のコーディン
    グモードがフレーム間コーディングモードであることを
    特徴とする請求項１の方法。
  7. 【請求項７】 前記選択ステップがさらに：フレーム内
    差値を前記現在のフレームからの前に再生されたサンプ
    ルに関する強度値から計算するステップ；フレーム間差
    値を前記現在のフレームおよび参照フレームからの前に
    再生されたサンプルに関する強度値から計算するステッ
    プ；および前記フレーム内差値とフレーム間差値を比較
    するステップを含むことを特徴とする請求項６の方法。
  8. 【請求項８】 前記選択ステップがさらに：前記フレー
    ム間差値の方が前記フレーム内差値より大きくない場合
    は、フレーム間コーディングモードを選択するステップ
    を含むことを特徴とする請求項７の方法。
  9. 【請求項９】 前記処理されるべきビデオシーケンスの
    部分が、少なくとも一つの画素から成ることを特徴とす
    る請求項１の方法。
  10. 【請求項１０】 前記処理されるべきビデオシーケンス
    の部分が、ブロック変換および量子化されたブロックか
    ら成ることを特徴とする請求項１の方法。
  11. 【請求項１１】 前記第一のコーディングモードがフレ
    ーム内コーディングモードであり、前記第二のコーディ
    ングモードがフレーム間コーディングモードであり、さ
    らに、前記現在のブロックがdc係数を含み、前記選択ス
    テップが：ｄｃ係数に対するフレーム内差値を前記現在
    のフレームからの前に再生されたブロックに関するｄｃ
    値から計算するステップ；ｄｃ係数に対するフレーム間
    差値を前記現在のフレームおよび参照フレームからの前
    に再生されたサンプルに関するｄｃ値から計算するステ
    ップ；および前記フレーム内差値と前記フレーム間差値
    の比較およびペアの閾値に基づいて前記dc係数に対する
    コーディングモードを選択するステップを含むことを特
    徴とする請求項１０の方法。
  12. 【請求項１２】 前記現在のブロックがａｃ係数を含
    み、前記ｄｃ係数に対する選択ステップが、ａｃ係数に
    対するコーディングモードの選択を行なうために、現在
    のブロックの先行するａｃ係数に関する予測エラーの規
    模を現在のブロックの対応する前に再生されたａｃ係数
    と比較するステップを含むことを特徴とする請求項１１
    の方法。
  13. 【請求項１３】 ビデオ処理システムにおけるビデオシ
    ーケンスの現在の部分を処理するためのコーディングモ
    ードを選択するための装置であって、 （１）前記ビデオシーケンスの前記現在の部分と関連す
    る前に再生されたサンプルを、それぞれ、現在のフレー
    ムおよび参照フレームから識別し、（２）前記現在の部
    分を処理するために、第一のコーディングモードを用い
    るか、第二のコーディングモードを用いるかを、前記前
    に再生されたサンプルに関する比較に基づいて選択する
    ための、少なくとも一つの処理デバイスを備えることを
    特徴とする装置。
  14. 【請求項１４】 前記前に再生されたサンプルが一つあ
    るいは複数のセットの前に再生されたサンプルから成る
    ことを特徴とする請求項１３の装置。
  15. 【請求項１５】 前記一つあるいは複数のセットの前に
    再生されたサンプルが一つあるいはテンプレートの形式
    を持つことを特徴とする請求項１４の装置。
  16. 【請求項１６】 前記コーディングモードの選択が前記
    処理システムのビデオエンコーダ内で遂行され、前記処
    理が前記現在の部分の符号化から成ることを特徴とする
    請求項１３の装置。
  17. 【請求項１７】 前記コーディングモードの選択が前記
    処理システムのビデオデコーダ内で遂行され、前記処理
    が前記現在の部分の復号から成ることを特徴とする請求
    項１３の装置。
  18. 【請求項１８】 前記第一のコーディングモードがフレ
    ーム内コーディングモードであり、前記第二のコーディ
    ングモードがフレーム間コーディングモードであること
    を特徴とする請求項１３の装置。
  19. 【請求項１９】 前記選択動作がさらに： （１）フレーム内差値を前記現在のフレームからの前に
    再生されたサンプルに関する強度値から計算し、（２）
    フレーム間差値を前記現在のフレームおよび参照フレー
    ムからの前に再生されたサンプルに関する強度値から計
    算し、（３）前記フレーム内差値とフレーム間差値を比
    較する動作を含むことを特徴とする請求項１８の装置。
  20. 【請求項２０】 前記選択動作がさらに：前記フレーム
    間差値の方が前記フレーム内差値より大きくない場合
    は、フレーム間コーディングモードを選択する動作を含
    むことを特徴とする請求項７の装置。
  21. 【請求項２１】 前記処理されるべきビデオシーケンス
    の部分が、少なくとも一つの画素から成ることを特徴と
    する請求項１３の装置。
  22. 【請求項２２】 前記処理されるべきビデオシーケンス
    の部分が、ブロック変換および量子化されたブロックか
    ら成ることを特徴とする請求項１３の装置。
  23. 【請求項２３】 前記第一のコーディングモードがフレ
    ーム内コーディングモードであり、前記第二のコーディ
    ングモードがフレーム間コーディングモードであり、さ
    らに、前記現在のブロックがｄｃ係数を含み、前記選択
    動作が：（１）ｄｃ係数に対するフレーム内差値を前記
    現在のフレームからの前に再生されたブロックに関する
    ｄｃ値から計算し、（２）ｄｃ係数に対するフレーム間
    差値を前記現在のフレームおよび参照フレームからの前
    に再生されたサンプルに関するｄｃ値から計算し、
    （３）前記フレーム内差値と前記フレーム間差値の比較
    およびペアの閾値に基づいて前記ｄｃ係数に対するコー
    ディングモードを選択する動作を含むことを特徴とする
    請求項１３の装置。
  24. 【請求項２４】 前記現在のブロックがａｃ係数を含
    み、前記ｄｃ係数に対する選択動作が、ａｃ係数に対す
    るコーディングモードの選択を行なうために、現在のブ
    ロックの先行するａｃ係数に関する予測エラーの規模を
    現在のブロックの対応する前に再生されたａｃ係数と比
    較する動作を含むことを特徴とする請求項２２の装置。
  25. 【請求項２５】 ビデオ処理システム内で用いる装置で
    あって、 （１）前記ビデオシーケンスの前記現在の部分と関連す
    る、それぞれ、現在のフレームおよび参照フレームから
    の前に再生されたサンプルを識別し、（２）前記現在の
    部分を処理するために、第一のコーディングモードを用
    いるか、第二のコーディングモードを用いるかを、前記
    前に再生されたサンプルに関する比較に基づいて選択す
    るための、コンテクストベースのコーディングモードセ
    レクタを備えることを特徴とする装置。
JP2000169846A 1999-06-07 2000-06-07 コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 Expired - Fee Related JP4077135B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/326,872 US6625215B1 (en) 1999-06-07 1999-06-07 Methods and apparatus for context-based inter/intra coding mode selection
US09/326872 1999-06-07

Publications (2)

Publication Number Publication Date
JP2001028756A true JP2001028756A (ja) 2001-01-30
JP4077135B2 JP4077135B2 (ja) 2008-04-16

Family

ID=23274090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000169846A Expired - Fee Related JP4077135B2 (ja) 1999-06-07 2000-06-07 コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置

Country Status (5)

Country Link
US (1) US6625215B1 (ja)
EP (1) EP1059812B1 (ja)
JP (1) JP4077135B2 (ja)
CA (1) CA2310341A1 (ja)
DE (1) DE60027955T2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007004678A1 (ja) * 2005-07-05 2007-01-11 Ntt Docomo, Inc. 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2008506987A (ja) * 2004-07-14 2008-03-06 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 信号の状況（コンテキスト）ベース符号化及び復号化
WO2008126843A1 (ja) * 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP2008283662A (ja) * 2007-04-09 2008-11-20 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP2008289005A (ja) * 2007-05-18 2008-11-27 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
WO2008149840A1 (ja) * 2007-06-04 2008-12-11 Ntt Docomo, Inc. 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
WO2010095559A1 (ja) * 2009-02-20 2010-08-26 ソニー株式会社 画像処理装置および方法
JP2010541457A (ja) * 2007-10-04 2010-12-24 サムスン エレクトロニクス カンパニー リミテッド 副画素動き推定を利用したインター予測符号化／復号化の方法及び装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6680974B1 (en) 1999-12-02 2004-01-20 Lucent Technologies Inc. Methods and apparatus for context selection of block transform coefficients
KR100377190B1 (ko) * 1999-12-24 2003-03-26 한국전자통신연구원 블록별 생성 비트스트림 크기에 따른 채널 오류 발생가능성 예측에 의한 인트라 갱신 블록 결정 기법을 이용한 영상 부호화 방법
FR2827054B1 (fr) * 2001-07-06 2003-12-12 Nec Technologies Uk Ltd Procede de controle et de gestion de l'etat de la batterie d'un appareil multimedia portable
KR20030009669A (ko) * 2001-07-23 2003-02-05 삼성전자주식회사 다채널 영상 부호화기 및 그 부호화 방법
DE60219364T2 (de) * 2002-01-22 2007-12-13 Koninklijke Philips Electronics N.V. Berechnung von komprimierten videoinformationen
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
KR20060008523A (ko) * 2004-07-21 2006-01-27 삼성전자주식회사 영상의 인트라 예측 방법 및 그 장치
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP4411220B2 (ja) * 2005-01-18 2010-02-10 キヤノン株式会社 映像信号処理装置、及びその映像信号処理方法
US8774272B1 (en) 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8711372B2 (en) * 2006-08-31 2014-04-29 Ricoh Co., Ltd. Techniques for image segment accumulation in document rendering
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) * 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
WO2010044754A1 (en) * 2008-10-15 2010-04-22 Agency For Science, Technology And Research Methods for encoding a digital picture, encoders, and computer program products
US20100246675A1 (en) * 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
KR101763909B1 (ko) 2010-12-23 2017-08-01 삼성전자주식회사 영상 예측 단위에 대한 인트라 예측 모드 부호화 방법 및 장치, 및 영상 예측 단위에 대한 인트라 예측 모드 복호화 방법 및 장치
CN102404570B (zh) * 2011-11-16 2014-06-04 浙江工业大学 基于率失真敏感度的多视点视频编码快速模式选择方法
CN103037218B (zh) * 2012-10-22 2015-05-13 北京航空航天大学 一种基于分形和h.264的多目立体视频压缩与解压缩方法
CN103051894B (zh) * 2012-10-22 2015-09-09 北京航空航天大学 一种基于分形和h.264的双目立体视频压缩与解压缩方法
CN103501437B (zh) * 2013-09-29 2016-06-22 北京航空航天大学 一种基于分形和h.264的高光谱图像压缩方法
US10341650B2 (en) * 2016-04-15 2019-07-02 Ati Technologies Ulc Efficient streaming of virtual reality content

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0595540A (ja) * 1991-09-30 1993-04-16 Sony Corp 動画像符号化装置
FR2702917B1 (fr) * 1993-03-16 1995-04-21 Thomson Csf Codeur-décodeur pour un codage compatible sous-bande d'images de télévision, et son application au codage de mouvement hiérarchique par des structures arborescentes .
JPH0846971A (ja) * 1994-07-29 1996-02-16 Sharp Corp 動画像符号化装置
KR0153671B1 (ko) * 1995-06-30 1998-11-16 배순훈 고선명 텔레비젼 엔코더의 레이트 콘트롤러
US5940131A (en) * 1995-12-15 1999-08-17 Kokusai Denshin Denwa Co. Ltd. Method and apparatus for coding moving pictures
US5825680A (en) * 1996-06-21 1998-10-20 Digital Equipment Corporation Method and apparatus for performing fast division

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4842265B2 (ja) * 2004-07-14 2011-12-21 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 信号の状況（コンテキスト）ベース符号化及び復号化
JP2008506987A (ja) * 2004-07-14 2008-03-06 エージェンシー フォー サイエンス，テクノロジー アンド リサーチ 信号の状況（コンテキスト）ベース符号化及び復号化
US8369628B2 (en) 2005-07-05 2013-02-05 Ntt Docomo, Inc. Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
WO2007004678A1 (ja) * 2005-07-05 2007-01-11 Ntt Docomo, Inc. 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US9282340B2 (en) 2005-07-05 2016-03-08 Ntt Docomo, Inc. Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
CN103024382A (zh) * 2005-07-05 2013-04-03 株式会社Ntt都科摩 动态图像编码装置、方法以及动态图像解码装置、方法
JP2008283662A (ja) * 2007-04-09 2008-11-20 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
CN104023242B (zh) * 2007-04-09 2017-07-07 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
CN103354613B (zh) * 2007-04-09 2016-01-06 株式会社Ntt都科摩 图像预测编码装置、图像预测编码方法、图像预测解码装置、以及图像预测解码方法
WO2008126843A1 (ja) * 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
CN103997655A (zh) * 2007-04-09 2014-08-20 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
US9031130B2 (en) 2007-04-09 2015-05-12 Ntt Docomo, Inc. Image prediction/encoding device, image prediction/encoding method, image prediction/encoding program, image prediction/decoding device, image prediction/decoding method, and image prediction decoding program
CN104023242A (zh) * 2007-04-09 2014-09-03 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
JP2008289005A (ja) * 2007-05-18 2008-11-27 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
US8761254B2 (en) 2007-06-04 2014-06-24 Ntt Docomo, Inc. Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
WO2008149840A1 (ja) * 2007-06-04 2008-12-11 Ntt Docomo, Inc. 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US8503532B2 (en) 2007-10-04 2013-08-06 Samsung Electronics Co., Ltd. Method and apparatus for inter prediction encoding/decoding an image using sub-pixel motion estimation
JP2010541457A (ja) * 2007-10-04 2010-12-24 サムスン エレクトロニクス カンパニー リミテッド 副画素動き推定を利用したインター予測符号化／復号化の方法及び装置
WO2010095559A1 (ja) * 2009-02-20 2010-08-26 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
EP1059812A2 (en) 2000-12-13
JP4077135B2 (ja) 2008-04-16
DE60027955T2 (de) 2007-01-25
US6625215B1 (en) 2003-09-23
CA2310341A1 (en) 2000-12-07
EP1059812A3 (en) 2003-10-29
EP1059812B1 (en) 2006-05-17
DE60027955D1 (de) 2006-06-22

Similar Documents

Publication Publication Date Title
JP4077135B2 (ja) コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置
US6289052B1 (en) Methods and apparatus for motion estimation using causal templates
EP0542195B1 (en) Interframe predicting method and picture signal coding/decoding apparatus
KR100592651B1 (ko) 트랜스코딩 방법 및 장치
KR100259561B1 (ko) 화상 부호화 데이타 재부호화 장치
KR100964526B1 (ko) 전환 효과를 위한 멀티미디어 코딩 기술
JPH09182083A (ja) ビデオ画像符号化方法及び復号化方法とその装置
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
JP2009510845A (ja) ビデオエンコードのための多次元近隣ブロック予測
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
EP0840516B1 (en) Apparatus and method for predictive coding and decoding
JP3681787B2 (ja) イメージ符号化システムとこれに用いる動き補償装置
JP2004023444A (ja) 動画符号化装置、及び動画記録再生装置
KR100728011B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
US20120163468A1 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
KR100202538B1 (ko) 엠펙 비디오 코덱 장치
JP4511649B2 (ja) 画像符号化方式および画像符号化装置
JPH0537786A (ja) 画像データエンコーダおよびデコーダ
JP3188081B2 (ja) 画像符号化方法および画像符号化装置
JPH11298902A (ja) 画像符号化装置および方法
JP3214849B2 (ja) 画像予測復号化方法および装置
JPH08340540A (ja) 画像フレームの符号化又は復号化の方法及びその装置
JPH07240943A (ja) ステレオ画像符号化方法
JP2001268571A (ja) 動画像再符号化装置
JPH1175197A (ja) 画像信号圧縮装置及び方法、並びに記録媒体

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20031226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040401

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080131

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4077135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140208

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350