JP2001510311A - 符号化方式におけるオブジェクトベースのレート制御装置及びその方法 - Google Patents
符号化方式におけるオブジェクトベースのレート制御装置及びその方法Info
- Publication number
- JP2001510311A JP2001510311A JP2000502636A JP2000502636A JP2001510311A JP 2001510311 A JP2001510311 A JP 2001510311A JP 2000502636 A JP2000502636 A JP 2000502636A JP 2000502636 A JP2000502636 A JP 2000502636A JP 2001510311 A JP2001510311 A JP 2001510311A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- bit rate
- target
- image
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
願)の利益を主張するものであり、その内容は本明細書に援用されている。
より詳細には、本発明は、符号化レートを最適化する一方、動画の全体的質を維
持するため、フレーム内の各領域、又は「オブジェクト」用の量子化器目盛を適
応可能に調整する方法及び装置に関する。
に、ISO/IEC国際基準11172、及び13818(一般に、それぞれM
PEG−1フォーマット、MPEG−2フォーマットと言う)を作成した。これ
らのMPEG基準には、MPEG準拠ビットストリームを生成するための、一般
的な符号化の方法及びシンタックスが特定されているが、複数の異なるアプリケ
ーション又はサービス、例えばデスクトップビデオ出版、ビデオ会議、ディジタ
ル記憶媒体、テレビ放送等を収容可能とするように多くの変形も可能である。
、特定の方法を何ら定義していない。よって、復号器入力バッファがオーバフロ
ー又はアンダフローを起こさないように、ビットレートを制御するレート制御プ
ロセスを考え出すことが、符号器設計者の課題である。
響を与える量子化プロセスの変更である。量子化器目盛(刻み幅)を変更するこ
とにより、ビットレートを変更、制御することができる。
。しかし、劣悪なレート制御プロセスの場合、実際にはビデオ画像の視覚的質が
悪化してしまうことが判明している。即ち、効率的に量子化目盛を変更できない
結果、オーバフロー、アンダフロー状態を避けるため、映像の終わり方向に量子
化器目盛を大幅に変更する必要がある。量子化器目盛の変更は、画質、圧縮効率
の両方に影響を与えるため、レート制御プロセスにおいて、画質を犠牲とするこ
となしにビットレートを制御することが重要である。
形態の映像が、全て映像グループ内で同一の複雑性を有することを前提として、
各フレーム用量子化器目盛が選ばれる。しかし、この判断基準で選ばれる量子化
器目盛では、各映像の複雑性が経時的に変化することから、最適符号化性能を得
ることはできない。
適応可能に調整する装置及び方法の技術においては、符号化レートを最適化する
一方、動画の全体的質を維持する必要がある。
を維持するために、各フレーム内の各領域又は「オブジェクト」に対して、量子
化器目盛を選ぶ装置及びその方法である。具体的には、一連の全映像に対して、
均一な視覚的質を維持する一方、映像の目標ビットレートが達成されるように各
フレーム(映像)内の各オブジェクトに対して、量子化器目盛が選ばれる。
により容易に理解できる。
符号を付してある。
トを制御する一方、ビデオ画像の全体的質を維持するために、各フレーム内の各
「オブジェクト」に対して、量子化器目盛を導出する装置である。次に、本発明
は、MPEG準拠符号器を参照して記載するが、当業者であればわかるように、
他の符号化復号化基準に準拠した符号器であっても本発明の適用は可能である。
き補償符号化方式の符号器又はその一部である。装置100は、動き推定モジュ
ール140、動き補償モジュール150、レート制御モジュール130、DCT
モジュール160、量子化(Q)モジュール170、可変長符号化(VLC)モジュ
ール180、バッファ190、逆量子化(Q-1)モジュール175、逆DCT( DCT-1)変換モジュール165、減算器115、加算器155を備える。装置
100は複数のモジュールを備えるが、当業者であればわかるように、様々なモ
ジュールが行う機能は、図1に示すように、別個のモジュールに隔離する必要は
ない。例えば、動き補償モジュール150、逆量子化モジュール175、逆DC
Tモジュール165を含むモジュールセットは、一般に「埋込復号器」として知
られている。
いる。このビデオ画像は、MPEG基準に従いディジタル化され、輝度及び2色
差信号(Y,Cr,Cb)として表される。これらの信号は、各映像(フレーム
)が複数のマクロブロックで表されるように更に複数の層(シーケンス、映像グ
ループ、映像、スライス、マクロブロック、ブロック)に分割される。各マクロ
ブロックは、4個の輝度ブロック、1個のCrブロック、1個のCbブロックより
成る。各ブロックは、8×8のサンプルアレイとして定義される。各ブロックユ
ニットへの映像分割により、2つの継続する映像間の変化を識別する能力、及び
低振幅変換係数の除去(以下記載)を通しての画像圧縮能力が向上する。ディジ
タル化信号は、適当なウィンドウ、解像度、入力フォーマットを選択するために
フォーマット変換等の任意の前理を受けてよい。
ロックという語は、符号化の基礎として使われる画素のブロックの、如何なるサ
イズ又は形をも記述するためのものである。概して言えば、「マクロブロック」
は、単一画素と同じほど小さく、あるいはビデオフレーム全体と同じほど大きく
設定できる。
は形をも記述するためのものである。概して言えば、「オブジェクト」は、単一
画素と同じほど小さく、あるいはビデオフレーム全体と同じほど大きく設定でき
る。
動きベクトルが推定される。動きベクトルとは、2次元ベクトルであり、動き補
償により使用され、現在の映像におけるブロック座標位置からのオフセットを、
基準フレーム内の座標に与える。基準フレームは、前のフレーム(P-フレーム )、あるいは前の及び又は将来のフレーム(B-フレーム)であってよい。動き ベクトルの使用により、チャンネル上で送信される情報量が減少させられること
により、画像圧縮が大幅に向上する。その理由は、現在フレームと基準フレーム
間の変化のみが符号化され、送信されるからである。
により受け取られ、そこでサンプル値の予測効率向上が図られる。動き補償には
予測が含まれる。この予測では、動きベクトルを使い、予測エラーを形成するの
に使われる以前の符号化サンプル値を含有する過去、及び/又は将来の基準フレ
ーム内にオフセットが与えられる。即ち、動き補償モジュール150では、以前
の符号化フレームと動きベクトルを使い、現在のフレームの推定が行われる。更
に、当業者であればわかるように、動き推定モジュールと、動き補償モジュール
が行う機能は、複合モジュール、例えば単一ブロック動き補償器で実施可能であ
る。
を選択する必要がある。符号化モード決定分野では、MPEGにより複数の異な
るマクロブロック符号化モードが提供されている。具体的には、MPEG−2に
よりマクロブロック符号化モードが提供されている。このモードには、内部モー
ド、動き補償なしモード(MCなし)、フレーム/フィールド/デュア−プライ
ム(frame/field/dual-prime)動き補償インタモード、順逆平均(forward/back
ward/average)インタモード、フィールドフレームDCTモードが含まれる。
来の基準映像に基づき、ブロックの内容に関して、経路152上で動き補償予測
(予測された画像)が生成される。この経路152上の動き補償予測は、減算器
115を介し、現在のマクロブロックにおける経路110上のビデオ画像から減
算され、経路153上に、エラー信号、又は予測残留信号が形成される。予測残
留信号形成により、入力ビデオ画像内の冗長情報が効果的に取り除かれる。ここ
で、現在のフレームがI-フレームとして符号化される場合、経路153上の予測
残留信号は、単に元の映像であり、予測残留信号ではないことに留意する必要が
ある。
、順離散的余弦変換プロセスが適用され、DCT係数の8×8ブロックが一組生
成される。DCTベース機能、又はサブバンド分解により、次の量子化ステップ
で重要となる心理視覚判断基準(psychovisual)の効率的使用が可能となる。
0に受け取られ、そこでDCT係数が量子化される。量子化プロセスでは、DC
T係数を一組の量子化値により割り、整数値を形成するため適当に切り捨ててD
CT係数を表すので、正確性が低減する。量子化値は、ベース機能の可視性(視
覚的に重みの付いた量子化として知られる)に基づく判断基準を利用し、各DC
T係数毎に別個に設定できる。即ち、量子化値は、所定のベース機能の可視性用
閾値、つまり人間の目が検知できる係数振幅に対応する。この値でDCT係数を
量子化することにより、DCT係数の多くが「0」値に変換され、これにより画
像圧縮効率が向上する。量子化プロセスは、視覚的質を得て、また符号器を制御
して出力を所定のビットレートに一致させる(レート制御)キーとなる操作であ
り、重要なツールである。各DCT係数に対して異なる量子化値が適用できるた
め、「量子化マトリックス」は一般に、基準テーブル、例えば輝度量子化テーブ
ル又は色量子化テーブルとして確立される。従って、復号器により量子化マトリ
ックスが選ばれ、この量子化マトリックスにより、変換ブロック内の各周波数係
数の量子化方法が決定される。
高い周波数では、より粗い量子化値を使用する方がよい。即ち、量子化エラーに
対する人の知覚感度は、空間周波数が高いほど低下する。その結果、高周波数が
、低周波数に比べてより許容値が少なくなり、より粗く量子化される。更に、正
確な量子化マトリックスは、意図される表示の特性、視距離、ソース内の騒音量
等、多くの外部的パラメータに依存する。従って、あるアプリケーション、又は
個々のフレームシーケンスに対してさえ、特定の量子化マトリックスを調整する
ことが可能となる。一般に、カスタマイズ量子化マトリックスは、圧縮ビデオ画
像と共に、文脈として記憶できる。量子化器目盛の適切な選択は、レート制御モ
ジュール130により行われる。
号接続171を介して可変長符号化(VCL)モジュール180により受け取ら
れる。そこで、量子化係数の2次元ブロックが「ジグザグ」順序で走査され、1
次元量子化DCT係数列に変換される。このジグザグ走査順序は、最低から最高
空間周波数まで、DCT係数のおおよそのシーケンス順序を示す。次に、可変長
DCT符号化(VLC)モジュール180は、可変長符号化、ランレングス符号化 を利用し、量子化DCT係数列、及びマクロブロックに関する全副情報を符号化
する。
取られる。異なる映像形態、可変長符号化を利用する結果、FIFO内への全体
的送速度も可変となる。即ち、各フレームの符号化に使われるビット数を変更す
ことができる。固定レートチャンネルを含むアプリケーションでは、FIFOバ
ッファを使い、符合器出力が、ビットレートを平滑にするチャンネルに一致させ
られる。従って、経路195上のFIFOバッファ190の出力信号は、経路1
10上の圧縮された入力ビデオ画像(あるいは、入力画像と予測画像間の圧縮化
された差信号)として表される。そこから、経路295を介し、記憶媒体、又は
電気通信回線に送られる。
ームのビットレートを監視、調整する役割を果たす。この機能により、データス
トリーム送信後、復号器側(図示しない受信器、又は目標記憶装置内)上におけ
るオーバフロー、アンダフローが避けられる。従って、バッファ190の状態を
監視し、符号器により生成されるビット数を制御することが、レート制御モジュ
ール130の役割である。
レーム内の各領域、又は「オブジェクト」に対して、量子化目盛が選ばれる。こ
れにより、符号化レートを制御する一方、ビデオ画像の全体的質が維持される。
即ち、フレームを評価することにより、フレーム内のある領域で、より以上の、
あるいはより以下のビットレート割り当てが必要かどうかの決定が可能となる。
種々のアプリケーションにおいて、様々な領域が、他領域以上に関心を呼ぶこと
が観察されている。例えば、見る人にとり、ビデオフォーンアプリケーション内
の人の顔の方が、背景より一般的に重要である。他の例として、ある画像領域、
つまり腫瘍があると思われる位置が周辺組織以上に重要である医療アプリケーシ
ョン、あるいはある画像領域,つまり軍備評価が周辺偽装以上に重要である監視
アプリケーション、等が含まれる。従って、特定アプリケーションにより、フレ
ーム内の適切な領域、又はオブジェクトの重要性を定める判断基準が指定される
。本発明では、各フレーム内の各領域、又はオブジェクトに対して、量子化目盛
が選択される。これにより、全映像シーケンス上で均一な視覚的質が維持される
一方、映像に対する目標ビットレートが達成される。
余弦変換)を実施する符号器により説明したが、本発明はこれに限定されるもの
ではない。他の時間及び空間符号化方法も使用可能であり、更には如何なる時間
、空間符号化の使用も含まなくともよい。
ブジェクトレート分配器132を具備する。フレームレート分配器131は、現
在のフレームに対してビットバジェット(目標フレームビットレート)を割り当
て、一方オブジェクトレート分配器132は、現在のフレーム内に各々定められ
たオブジェクトに対して、ビットバジェット(目標オブジェクトビットレート)
を割り当てる。
ら、あるいは様々なMPEGテストモデルを実施することにより、特定形態の映
像の複雑性(I,P,B)を略推定する。この推定された複雑性は、各フレーム
の符号化に必要な予測ビット数を導出するのに使われる。この知識を基に、多項
式複雑性測定に従い、フレームに対する量子化器目盛が計算される。該複雑性測
定は、フレームに対し選択された量子化器目盛が、映像に対する目標ビットレー
トに達しなければならないという制約を満たすよう導出される。フレームの符号
化後、レート制御モジュールが、多項式回帰プロセスの使用を通じ、複雑性測定
を回帰的に調整する。即ち、マクロブロック符号化に必要な実際のビット数を使
い、次のフレームに対する量子化器目盛の予測を向上するように複雑性測定が再
定義される。量子化器目盛の計算過程において、「目標フレームビットレート」
も回帰的に更新される。このフレームレート分配方法は、1998年2月11日
出願の、特許出願第09―022,349号(弁理士整理番号SAR12459
)「符号化方式におけるレート制御の最適化装置及びその方法」に開示されてお
り、その内容は本明細書に援用されている。本発明は、他のフレームビットレー
ト割り当て方法、例えば、歪み測定等に基づくフレームビットレート割り当て方
法を利用し実施可能である。
レームビットレートを適用し、1つ以上の目標オブジェクトビットレートを決定
する。そこで、目標フレームビットレートのビットが、オブジェクトの絶対差(
MAD)の二乗平均値に比例して分配される。目標オブジェクトビットレート、
及び対応する量子化器目盛の選択方法の詳細は、図4を参照して以下記載する通
りである。
モジュール120により決定される。オブジェクト分類、又は区分化モジュール
120には、各フレーム内のオブジェクト定義に必要な判断基準が含まれる。様
々なオブジェクト分類、又は区分化の方法が提供されている。例えば、MPEG
−4基準添付FISO/IEC14496−2に記載される方法が上げられる。
素値、これら画素値の位置等が、経路112上の画像シーケンスから直接得られ
る。即ち、画像シーケンス、例えばサーバ上に記憶されるビデオシーケンスやサ
ーバ上のプログラム等が前もって処理され、記憶媒体に記憶されている場合、記
憶されるビデオシーケンスを生成した符号器が、「オブジェクトベース」情報を
共に通過させることが可能となる。言い換えれば、「オブジェクトベース」情報
を、画像シーケンスと共に、符号器100に送信することができる。このような
実施構成においては、オブジェクト分類、又は区分化モジュール120を省くこ
とができる。
化DCT係数の8×8ブロックは、信号接続172を介し、逆量子化モジュール
175にも受け取られる。この段階で、符号器が、入力ビデオ画像のI-フレーム
及びP-フレームを再生する。このフレーム再生は、その後の符号化に対する基 準フレームとなるようにデータ復号化により行われる。
渡される。そこで、各マクロブロックにDCTを適用し、復号化エラー信号が生
成される。このエラー信号は、加算器155を介し、動き補償モジュールからの
予測信号に再び加算される。これにより、復号化基準映像(再構成された画像)
が生成される。
当てを行う方法200のフローチャートを示すブロック図である。より詳細には
、方法200は、ステップ205で開始され、ステップ210に進み、そこで現
在のフレームに対して、目標フレームのビットレートが決定される。好適な実施
形態において、目標フレームビットレートの決定は、複雑性測定を利用し行われ
る。この複雑性測定は、多項式回帰プロセスを通し、回帰的に調整される(図3
)。
トである。図3において、該方法はステップ305で開始され、ステップ310
に進み、そこで次の式で示すフレームTframeに対して、目標ビット(目標フレ ームビットレート)が決定される。
余フレーム数、Tprevious frameは前のフレーム符号化で使われたビット数、pa
st_percentは定数である。好適な実施形態において、定数past_percentは、0.
05に設定される。しかし、本発明は、これに限定されるわけではない。他の値
として、特定のアプリケーション、又は画像文脈に依存する値も採用できる。実
際には、これらの値は時間的に調整できる。
トに基づく、目標フレームビットレートの計算が可能となる。最後のフレームが
複雑、且つ多くのビットを使う場合、現在のフレームに対して、より多くのビッ
トを割り当てる必要があるという前提に繋がる。しかし、このように現在のフレ
ームへのビット割り当てを増やすと、剰余フレームの符号化に利用可能なビット
数が減少することになり、よってこのフレームに対するビット割り当ての増加が
制限されてしまう。重み付き平均は、式(1)の第2項に示すように、これら2
要素の中間を取ったものである。
ッファ満杯度により、計算された目標フレームビットレートTframeを調整する 。
ze−バッファ満杯度(a))、cは2の値になるように選択された定数(他の値
も使用可能)である。よって、「b」は、バッファ内の余剰空間を示す。式(2
)は、バッファが、半分より多く満たされている場合、調整された目標ビットレ
ートTframeが低下することを表している。逆に、バッファが半分より少なくし か満たされていない場合、調整される目標ビットレートTframeは上昇する。バ ッファがちょうど半分満たされている場合、式(2)がT’frame=Tframeとな
り、如何なる調整も必要ではない。
Rs/30)の低い方の領域が、次の式のように維持されるかを任意に確認する 。
目標レート(Rs/30)の低い方の領域を使い、最小品質を維持、又は保証す る。例えば、800ビット/フレームが、最小レートとして設定できる。最小品
質が維持できない場合、符号器は、現在のフレームを全て省くオプションを有す
る。次に、方法300は、ステップ340でその処理を終了する。
ート割り当て方法も使用可能であることに留意する必要がある。しかし、一旦目
標フレームビットレートを使い、目標オブジェクトビットレートが導出されると
、目標オブジェクトビットレートの計算オーバヘッド及び正確性が、採用される
フレームビットレート割り当て方法の影響を受ける。例えば、性能を犠牲にして
も計算の複雑性を最小にすることが望ましい場合、MPEGのTM4及びTM5
のフレームビットレート割り当て方法を採用することが適当である。反対に、計
算の複雑性の増加を犠牲にしても、性能を最大にすることが望ましい場合、特許
出願のフレームビットレート割り当て方法(弁理士整理番号SAR12459)
、あるいは他の更に複雑なフレームビットレート割り当て方法を採用することが
適当である。
トレートを決定する。こうして、方法200は、ステップ230において、その
処理を終了する。
ットレートを決定する方法400を示すフローチャートである。この方法は、ス
テップ405で開始され、ステップ410に進み、そこで各オブジェクトに対し
て、次のように目標オブジェクトビットレートViが決定される(i=1、2、 3...)。
領域上で計算が実行され、これによりオブジェクトに対して、平均画素値が得ら
れる。
画素値間の絶対差が、オブジェクト内に定義される画素に対して実行される。次
に、オブジェクトに対する画素の全絶対差(SAD)の合算が実行される。最後
に、SADが、オブジェクト内の画素数により分割される。これにより、オブジ
ェクトに対して、絶対差画素値(MAD)の平均が生成される。そして、目標フ
レームビットTframeが、オブジェクトの絶対差(MAD)の二乗平均に比例し て分配される。
3とすると、Tframeは、100に決定され、次にVa及びVbが、それぞれ次の ように与えられる。
えばヘッダ情報)、(2)オブジェクトi用動き情報(動きベクトル)、(3)
画像内のオブジェクトiの形状を定義する形状情報である。
ルファ平面」を使い実施される。例えば、画像が2つのオブジェクトa,bを有
するよう定義されると、画像上の画素値が量子化器により量子化される。これに
より、0と1の値のみ有する「アルファ平面」が生成される(この例では、二値
化アルファ平面)。アルファ平面において、「0」領域はオブジェクト「a」を
表し、「1」領域はオブジェクト「b」を表す。代わって、アルファ平面は、2
つより多いオブジェクトを有する画像を、3つより多いレベル内にその画像を量
子化すること等により、その画像に対して構成可能である。
の形状情報を復号器に伝達するには、目標オブジェクトビットレートViの一部
を使う必要がある。
わりに、目標オブジェクトビットの大部分が、動きベクトル、及び又はオブジェ
クト形状情報の符号化に供される場合、方法400では、オブジェクト形状制御
機構(「alpha_thi」と呼ばれる閾値)が採用される。この機構により、形状符 号化に割り当てられるビット数が、増加又は減少する。
はステップ423に進み、そこで次の式に従って、閾値alpha_thiが調整される 。
必要なビット、「d」は、値5と設定される定数を表す。定数「d」は、所定の
アプリケーションにより、他の値にも設定可能である。
ーム内の対応するshapeiから取られる。これにより、方法400は、Viが、syn
taxi、motioni、shapeiの符号化に十分かどうかの判定を速く実行することが可 能となる。よって、alpha_thiの調整方法が制御される。
、形状情報伝達に使われるビット数が減少する。しかし、ダウンサンプリングは
損失を伴うプロセスであり、オブジェクト位置又はその境界に関してエラーが導
入されてしまう。従って、方法400では、そのエラー測定が行われる。この測
定は、元のアルファ平面と、ダウンサンプルされ次にアップサンプルされたアル
ファ平面間で、各オブジェクトに対する絶対差SADiの合計を計算することに より実行される。次に、SADiが、以下のようにalpha_thiと比較される。
)の繰返し、式(6a)を使ったSADi、のalpha_thiへの再比較等が行われる
。ある時点で、SADiは、値16×alpha_thiより小さくなる。その時点で、現
在のダウンサンプリングファクタを使い、shapeiに対してビット計数が生成され
る。従って、alpha_thiの変更は、形状情報割り当てのビット数に影響を与える 。定数16は、実験により演繹したものだが、この定数は、アプリケーションが
異なれば修正可能である。
小さいと判定されると、alpha_thiは5増加する。alpha_thiの増加により、オブ
ジェクト位置iのに関する正確性が低下する。つまり、オブジェクト境界に歪み
が導入される。式(6)は、最大(max)関数を有することに留意する必要が
ある。ここで、alpha_thiは、35以上、又はalpha_thi+5になにるよう選ばれ
る。従って、ある状況では、たとえステップ420での質問に対する答えが否定
的であっても、alpha_thiの値を維持することが適当である。
ップ425に進み、そこで以下の式に従って、閾値alpha_thiが調整される。
定のアプリケーションに応じ、他の値にも設定可能である。従って、目標オブジ
ェクトビットレートViが、前のフレームのオブジェクトに対するHi(つまり、
syntaxi+motioni+shapei)の符号化に必要なビットより大きいと判定されると
、alpha_thiが5減少する。このalpha_thiの減少により、オブジェクト位置に関
する正確性が向上する。つまり、オブジェクト境界において歪みが最小となる。
ここで、式(7)は最小(min)関数を有することに留意する必要がある。こ
の場合、alpha_thiは、0以下、又はalpha_thi−5に設定される。
数(アプリケーションに応じ、他の値も使用可能)、Rsはシーケンス(又はセ グメント)に対するビットレート、「number_of_objects」は画像内オブジェク ト数、「buffer_size」はバッファのサイズ、Bppは、チャンネル出力レートで ある。即ち、方法400において、式(8a)が定義するバッファ条件が検出さ
れると、次にViが、30(ビデオの表示フレームレート)で除したbit_rateの 大きい方の値に減少調整される。この30は、「mergin」つまりmergin_buffer_
fullnessにより定義される部分より小さく、画像内のオブジェクト数、又はバッ
ファ内の余剰空間で除したものである。
と、Viはチャンネル出力レートに供給するよう調整される。要するに、Viは、
現在のバッファ状態、つまりバッファが満杯度な状態に、従って調整される。こ
のステップで、方式400は、画像内の各オブジェクトに対する、目標オブジェ
クトビットレートViの算出が完了となる。
り当て等、他の符号化パラメータが実施可能となる。即ち、特定オブジェクトが
高いViを有すると判定されると、より大きな処理電力の割り当てが可能となる 。例えば、特定オブジェクト符号化において、多重プロセッサ符号化方式により
、より多くのプロセッサを振り向けることが挙げられる。
に対する量子化目盛Qiが算出される。次にステップ450において、量子化目 盛Qiを使い、オブジェクトiが符号化される。方法400は、ステップ460 でその処理を終了する。
われる。簡単に言えば、量子化目盛Qiは、以下に示す2次式レート歪み方法か ら導出される。
動き、形状符号化に使用されるヘッダビット、Qiはオブジェクトi用に選ばれ る量子化レベル又は目盛、Eiは歪み測定である。好適な実施形態において、Ei は、動き補償実施後の現在のオブジェクトに対する平均絶対差を表す。即ち、測
定Eiにより、シーケンス内の継続フレーム間におけるオブジェクト差を説明す るようにオブジェクトビットバジェットの調整方法が提供される。Eiは、ブロ ック毎に、現在のオブジェクトと前のフレーム内の同じオブジェクト間の差を合
計し、平均絶対差測定を計算することにより算出される。言い換えれば、現在の
フレーム内のオブジェクトと前のフレーム内の同じオブジェクト間の差が大きい
ほど、現在のフレーム内オブジェクトの符号化に必要なビット数も大きくなる。
更に、Eiが平均二乗エラー、又はやや目につく差(jnd)を表すように、他 の歪み測定も使用できる。
めに使用される。この更新は、多項式回帰モデル、又は二次式回帰モデルを使い
実行され、パラメータX1及びX2が洗練される。即ち、定数X1及びX2は、オブ
ジェクトに割り当てられるビットと、特定の量子化器レベル又は目盛のオブジェ
クト符号化に必要な実際のビット数間の不一致を説明するために更新される。回
帰モデルは、当該技術では広く知られている。様々な回帰モデルの詳細に関して
は、例えば、予測及び時系列、(Bowerman,O‘Connel共著、Duxbury Press、第3版
、第4章、1993年)を参照するとよい。
れない(省かれる)ことがある。例えば、符号器は、各4番目のフレームのみ符
号化する。省かれるフレーム数は、特定アプリケーションの必要条件に適応させ
ることに留意する必要がある。
ァ満杯度、次のフレームに対する推定目標フレームビットレートTframeも検討 される。バッファ満杯度と次のフレーム用推定目標フレームビットレートの合計
が、バッファサイズの80%を超えると、次のフレームは符号化されずに省かれ
、バッファ満杯度は、チャンネル出力レートにより更新される。フレーム省略条
件は、次のように形成される。
,349号(弁理士整理番号SAR12459)にも記載されている。
明のオブジェクトベースのレート制御方法と共に、他の量子化計算方法、フレー
ム省略方法も使用可能である。
号器は、ブロック動き補償器(BMC)、動きベクトル符号器504、減算器5
02、離散的ウエーブレット変換(DWT)符号器506、ビットレートコント
ローラ510、DWT復号器512、出力バッファ514を含む。
フレームを定義する2次元画素配列)。低ビットレートのチャンネルを通して正
確に画像を送信するには、ビデオフレームシーケンス内の空間的、時間的冗長性
を大幅に減少する必要がある。この減少は、一般に、継続フレーム間の差のみを
符号化し、送信することにより達成される。前記符号器は、次の3機能を有して
いる。第1に、BMC及びその符号器504を利用し、フレーム間で起こる動き
を表す複数の動きベクトルを生成する。第2に、動きベクトルと組み合わされた
前のフレームの再構築バージョンを利用し、現在のフレームを予測する。第3に
、予測されたフレームを、現在のフレームより減算し、符号化され、動きベクト
ルと共に受信器に送信される残余フレームを生成する。
、従来の入力画像ウエーブレットツリー表示が生成される。このような画像分解
を達成するには、高水平高垂直(HH)、高水平低垂直(HL)、低水平高垂直
(LH)、低水平低垂直(LL)周波数のサブバンド内への2倍のサブサンプリ
ングを利用し、画像が分解される。次に、LLサブバンドに対して、更に2倍の
サブサンプリングが行われ、1組のHH、HL、LH、LLサブバンドが生成さ
れる。このサブサンプリングは、例えば、3つのサブサンプリングを使用する図
6に示すように、サブバンド配列を生成するように回帰的に達成される。実際に
は、6つのサブサンプリングが使用されるのが好ましい。サブバンド間の親子依
存関係は、親ノードのサブバンドから子ノードのサブバンドを指す矢印に示す通
りである。最低周波数サブバンドは、頂部左LL1であり、最高周波数サブバン ドは、低部右HH3となる。この例では、全ての子ノードが1親を有する。サブ バンド分解の詳細は、「ウエーブレット係数ゼロツリー使用の埋込み式画像符号
化」(J.M.Shapiro著、IEEE信号処理トランザクション、第41巻、12号、p. 3445〜62、1993年12月)を参照のこと。
ンで、ウエーブレットツリー係数の符号化が行われる。幅先パターンは、ビット
平面毎のパターンでウエーブレットツリーを横断する。つまり、全親ノード、全
子供、全孫の順に量子化される。反対に、深さ先パターンは、子供を通して低―
低サブバンド(LL1)内のルートから(トップダウン)、あるいは低―低サブ バンドを通して子供から(ボトムアップ)各ツリーを横断する。レートコントロ
ーラ510による適当な量子化レベル選択は、前記のように、シーケンスの各フ
レーム内の各オブジェクトに対して、ビットレートを制御することである。よっ
て、本発明は、種々の変換を使用する様々な形態の符合器に適用可能である。
ータ710、様々な入出力装置720を具備する。汎用コンピュータは、中央処
理装置(CPU)712、メモリ714、一連の画像を受信し符号化する符号器
716を含む。
、及び又は符号器500である。符号器716は、通信チャンネルを通してCP
U712に接続される物理的装置であってよい。あるいは、符号器716は、ソ
フトウエアアプリケーション(又は、例えば特定用途向けIC(ASIC)等、
ソフトウェアとハードウェアの混合)で表すこともできる。)この場合、ソフト
ウエアアプリケーションは、記憶装置からロードされ、コンピュータのメモリ7
12に存在する。よって、本発明の符号器100及び500は、コンピュータ読
出し可能媒体、例えばメモリ又は記憶装置等に格納できる。
置としては、例えば、キーボード、マウス、カメラ、カムコーダー、ビデオモニ
ター、限定するわけではないが、テープドライブ、フロッピードライブ、ハード
ディスクドライブ、コンパクトディスクドライブを含む任意の数の撮像装置、又
は記憶装置がある。入力装置は、符号化されたビデオのビットストリームを生成
するため、コンピュータへの入力を行い、あるいは、記憶装置、又は撮像装置か
らの一連のビデオ画像を受け取る役割を果たす。最後に、図示の通信チャンネル
730では、符号化方式からの符号化信号が、復号化方式(図示せず)に渡され
る。
、各フレーム内の各領域、又は「オブジェクト」に対して、量子化目盛を選ぶ新
規の装置及びその方法を説明した。本発明の多くの変更、修正、他の使用及び適
用が、当業者であればわかるように、本明細書及びその実施形態を示す添付図を
考慮することにより明らかとなる。このような変更、修正、他の使用及び適用は
全て、本発明の精神、範囲を超えるものではなく、本発明の範囲内である。
り当てる方法のフローチャートを示すブロック図である。
トを決定する方法のフローチャートである。
Claims (10)
- 【請求項1】画像シーケンスの各フレームを符号化する、ビットを割り当て
る方法であり、前記各フレームが少なくとも1つのオブジェクトを有し、 (a)前記フレームに対して、目標フレームビットレートを決定するステップと
、 (b)少なくとも1つのオブジェクトに、前記目標ビットレートを割り当てるス
テップと、 を具備する方法。 - 【請求項2】 前記割り当てステップ(b)が、少なくとも1つのオブジェ
クトに対する目標オブジェクトビットレートに従い、前記目標フレームビットレ
ートを割り当てるステップを具備する請求項1に記載の方法。 - 【請求項3】 少なくとも1つのオブジェクトに対する前記目標オブジェク
トビットレートが、前記オブジェクトの平均絶対差(Mad)に従い選択される
請求項2に記載の方法。 - 【請求項4】 前記目標オブジェクトビットレートが、次の式 【数1】 に従って決定される、請求項3に記載の方法。 ここで、Madiは、オブジェクトiの平均絶対差(Mad)、nは、フレー ム内の前記オブジェクト数、Viは、オブジェクトiの前記目標オブジェクトビ ットレートを表す。
- 【請求項5】 前記目標オブジェクトビットレートが、バッファ満杯度測定
に従い調整される請求項2に記載の方法。 - 【請求項6】 前記目標フレームビットレートTframeが、次の式、 【数2】 に従って導出される請求項1に記載の方法。 ここで、Rは、画像シーケンスに対する剰余ビット数、Nfは、画像シーケン
ス内の剰余フレーム数、Tprevious frameは、前のフレームの符号化に使われる
ビット数、past_percentは定数である。 - 【請求項7】 前記目標オブジェクトビットレートが、オブジェクトに関す
るシンタックス情報、動き情報、形状情報を符号化するため、割り当てられる請
求項2に記載の方法。 - 【請求項8】 (c)前記目標オブジェクトビットレートに従い、前記少な
くとも1つのオブジェクトに対して量子化器目盛を生成するステップ、 を更に具備する請求項2に記載の方法。 - 【請求項9】 画像シーケンスの各フレームを符号化する装置であって、前
記フレームが、少なくとも1つのオブジェクトを有し、 現在のフレームの予測画像を生成する動き補償器と、 現在のフレームと前記予測画像間の差信号に変換を加える変換モジュールであ
って、前記変換により複数の係数が生成されるモジュールと、 前記複数の係数を、少なくとも1つの量子化器目盛で量子化する量子化器と、
少なくとも1つのオブジェクトに対する目標オブジェクトビットレートに応答
して、現在のフレームに対して、前記少なくとも1つの量子化器目盛を選択的に
調整するコントローラと、 を具備する装置。 - 【請求項10】 少なくとも1つのオブジェクトに対する前記目標オブジェ
クトビットレートが、前記オブジェクトの平均絶対差(Mad)に従い選択され
る請求項9に記載の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US5213497P | 1997-07-10 | 1997-07-10 | |
US60/052,134 | 1997-07-10 | ||
US09/094,645 | 1998-06-15 | ||
US09/094,645 US6023296A (en) | 1997-07-10 | 1998-06-15 | Apparatus and method for object based rate control in a coding system |
PCT/US1998/014131 WO1999003279A1 (en) | 1997-07-10 | 1998-07-09 | Apparatus and method for object based rate control in a coding system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001510311A true JP2001510311A (ja) | 2001-07-31 |
JP2001510311A5 JP2001510311A5 (ja) | 2006-01-12 |
JP4187405B2 JP4187405B2 (ja) | 2008-11-26 |
Family
ID=26730228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000502636A Expired - Lifetime JP4187405B2 (ja) | 1997-07-10 | 1998-07-09 | 符号化方式におけるオブジェクトベースのレート制御装置及びその方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US6023296A (ja) |
EP (1) | EP1010329A4 (ja) |
JP (1) | JP4187405B2 (ja) |
CN (1) | CN1177480C (ja) |
AU (1) | AU8386698A (ja) |
CA (1) | CA2295689C (ja) |
WO (1) | WO1999003279A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005004487A1 (ja) * | 2003-06-30 | 2005-01-13 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化装置及び画像符号化方法 |
JP2008523724A (ja) * | 2004-12-08 | 2008-07-03 | クゥアルコム・インコーポレイテッド | 動画像符号化のための動き推定技術 |
US8761259B2 (en) | 2005-09-22 | 2014-06-24 | Qualcomm Incorporated | Multi-dimensional neighboring block prediction for video encoding |
Families Citing this family (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ID21557A (id) * | 1996-11-28 | 1999-06-24 | Thomson Multimedia Sa | Proses untuk pengkodean dengan daerah informasi |
US6633609B1 (en) * | 1996-12-24 | 2003-10-14 | Intel Corporation | Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth |
US6023296A (en) * | 1997-07-10 | 2000-02-08 | Sarnoff Corporation | Apparatus and method for object based rate control in a coding system |
US6173079B1 (en) * | 1997-09-17 | 2001-01-09 | Samsung Electronics Co., Ltd. | Buffer data control circuit and method in image compression system using wavelet system using wavelet transform |
US6215916B1 (en) * | 1998-02-04 | 2001-04-10 | Intel Corporation | Efficient algorithm and architecture for image scaling using discrete wavelet transforms |
US6252905B1 (en) * | 1998-02-05 | 2001-06-26 | International Business Machines Corporation | Real-time evaluation of compressed picture quality within a digital video encoder |
US6108447A (en) * | 1998-03-26 | 2000-08-22 | Intel Corporation | Method and apparatus for estimating frame rate for data rate control |
US6434196B1 (en) * | 1998-04-03 | 2002-08-13 | Sarnoff Corporation | Method and apparatus for encoding video information |
US6496607B1 (en) * | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
US6166664A (en) * | 1998-08-26 | 2000-12-26 | Intel Corporation | Efficient data structure for entropy encoding used in a DWT-based high performance image compression |
JP3393595B2 (ja) * | 1998-09-25 | 2003-04-07 | 日本電信電話株式会社 | 動画像符号化装置および動画像符号化方法 |
GB9822094D0 (en) * | 1998-10-09 | 1998-12-02 | Snell & Wilcox Ltd | Improvements in data compression |
US6850565B2 (en) * | 1998-12-18 | 2005-02-01 | Intel Corporation | Real time bit rate control system |
US6414992B1 (en) * | 1999-01-27 | 2002-07-02 | Sun Microsystems, Inc. | Optimal encoding of motion compensated video |
US6539124B2 (en) * | 1999-02-03 | 2003-03-25 | Sarnoff Corporation | Quantizer selection based on region complexities derived using a rate distortion model |
US7181073B1 (en) * | 1999-03-08 | 2007-02-20 | Texas Instruments Incorporated | Image coding using embedded zerotree patterns and bitplanes |
GB2350512A (en) * | 1999-05-24 | 2000-11-29 | Motorola Ltd | Video encoder |
US6351491B1 (en) * | 1999-06-23 | 2002-02-26 | Sarnoff Corporation | Apparatus and method for optimizing the rate control for multiscale entropy encoding |
DE10083046D2 (de) * | 1999-10-07 | 2002-03-07 | Deutsche Post Ag | Verfahren zur Erstellung und Überprüfung fälschungssicherer Dokumente |
US6765962B1 (en) * | 1999-12-02 | 2004-07-20 | Sarnoff Corporation | Adaptive selection of quantization scales for video encoding |
US6954499B2 (en) * | 2000-03-15 | 2005-10-11 | Victor Company Of Japan, Ltd | Moving picture coding, coded-moving picture bitstream conversion and coded-moving picture bitstream multiplexing |
GB0019121D0 (en) * | 2000-08-03 | 2000-09-27 | Wave Limited M | Signal compression and decompression |
US7418007B1 (en) | 2000-09-20 | 2008-08-26 | General Instrument Corporation | Method and apparatus for determining a transmission bit rate in a statistical multiplexer |
US6731685B1 (en) * | 2000-09-20 | 2004-05-04 | General Instrument Corporation | Method and apparatus for determining a bit rate need parameter in a statistical multiplexer |
US7616690B2 (en) * | 2000-10-31 | 2009-11-10 | Imec | Method and apparatus for adaptive encoding framed data sequences |
WO2002037826A2 (en) * | 2000-11-01 | 2002-05-10 | Webcast Technologies Inc | Encoding and decoding of video signals |
JP4534106B2 (ja) * | 2000-12-26 | 2010-09-01 | 日本電気株式会社 | 動画像符号化システム及び方法 |
US20020118746A1 (en) * | 2001-01-03 | 2002-08-29 | Kim Hyun Mun | Method of performing video encoding rate control using motion estimation |
US20020122482A1 (en) * | 2001-01-03 | 2002-09-05 | Kim Hyun Mun | Method of performing video encoding rate control using bit budget |
US7209519B2 (en) * | 2001-04-16 | 2007-04-24 | Mitsubishi Electric Research Laboratories, Inc. | Encoding a video with a variable frame-rate while minimizing total average distortion |
US6671324B2 (en) * | 2001-04-16 | 2003-12-30 | Mitsubishi Electric Research Laboratories, Inc. | Estimating total average distortion in a video with variable frameskip |
JP4765194B2 (ja) * | 2001-05-10 | 2011-09-07 | ソニー株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
US6504494B1 (en) * | 2001-11-06 | 2003-01-07 | Motorola, Inc. | Software, method and apparatus for rate controlled image compression |
DE10158691C1 (de) * | 2001-11-29 | 2003-06-26 | Siemens Ag | Verfahren und Vorrichtung zur Codierung von Videosequenzen |
US7603610B2 (en) * | 2002-02-18 | 2009-10-13 | Koninklijke Philips Electronics N.V. | Coding a video data stream with unequal error protection based activity |
DE10211265A1 (de) * | 2002-03-13 | 2003-10-09 | Deutsche Post Ag | Verfahren und Vorrichtung zur Erstellung prüfbar fälschungssicherer Dokumente |
WO2003084076A1 (en) * | 2002-04-02 | 2003-10-09 | Nokia Corporation | Coding transform coefficients in image / video encoder and/or decoders |
US7418037B1 (en) * | 2002-07-15 | 2008-08-26 | Apple Inc. | Method of performing rate control for a compression system |
US6711300B2 (en) * | 2002-08-15 | 2004-03-23 | Envivio, Inc. | Quantization and compression of information in a direct acyclic graph |
US7042943B2 (en) * | 2002-11-08 | 2006-05-09 | Apple Computer, Inc. | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders |
US7266133B2 (en) * | 2002-11-13 | 2007-09-04 | General Instrument Corporation | Methods and apparatus for statistical multiplexing with distributed multiplexers |
BR0316114A (pt) * | 2002-11-15 | 2005-09-27 | Thomson Licensing Sa | Método e sistema para multiplexação estatìstica escalonada |
US8840475B2 (en) * | 2002-12-10 | 2014-09-23 | Ol2, Inc. | Method for user session transitioning among streaming interactive video servers |
US7804897B1 (en) * | 2002-12-16 | 2010-09-28 | Apple Inc. | Method for implementing an improved quantizer in a multimedia compression and encoding system |
US7940843B1 (en) | 2002-12-16 | 2011-05-10 | Apple Inc. | Method of implementing improved rate control for a multimedia compression and encoding system |
KR100703421B1 (ko) * | 2003-01-20 | 2007-04-03 | 삼성전자주식회사 | 트랜스코딩을 이용한 동영상메일 통신장치 및 방법 |
US6954501B2 (en) * | 2003-02-17 | 2005-10-11 | Xvd Corporation | Method and apparatus for object based motion compensation |
US7266147B2 (en) * | 2003-03-31 | 2007-09-04 | Sharp Laboratories Of America, Inc. | Hypothetical reference decoder |
KR100543453B1 (ko) * | 2003-04-24 | 2006-01-23 | 삼성전자주식회사 | 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법 |
FR2862168B1 (fr) * | 2003-11-06 | 2006-05-19 | Canon Kk | Procede et dispositif de regulation de debit d'une sequence d'images. |
US8005139B2 (en) | 2004-06-27 | 2011-08-23 | Apple Inc. | Encoding with visual masking |
US8406293B2 (en) * | 2004-06-27 | 2013-03-26 | Apple Inc. | Multi-pass video encoding based on different quantization parameters |
US7319469B2 (en) * | 2004-07-26 | 2008-01-15 | Sony Corporation | Copy protection arrangement |
EP1825681B1 (en) * | 2004-12-02 | 2017-12-27 | Thomson Licensing DTV | Quantizer parameter determination for video encoder rate control |
US20060143678A1 (en) * | 2004-12-10 | 2006-06-29 | Microsoft Corporation | System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model |
US20060146929A1 (en) * | 2005-01-06 | 2006-07-06 | Lg Electronics Inc. | Method and system for acceleration of lossy video encoding owing to adaptive discarding poor-informative macroblocks |
US7403562B2 (en) * | 2005-03-09 | 2008-07-22 | Eg Technology, Inc. | Model based rate control for predictive video encoder |
US8208536B2 (en) * | 2005-04-28 | 2012-06-26 | Apple Inc. | Method and apparatus for encoding using single pass rate controller |
US7593026B2 (en) * | 2005-05-11 | 2009-09-22 | L-3 Communications Corporation | Dynamic display optimization method and system with image motion |
US8265141B2 (en) * | 2005-05-17 | 2012-09-11 | Broadcom Corporation | System and method for open loop spatial prediction in a video encoder |
JP4040052B2 (ja) * | 2005-05-24 | 2008-01-30 | 株式会社日立国際電気 | 画像データ圧縮装置 |
TWI279143B (en) * | 2005-07-11 | 2007-04-11 | Softfoundry Internat Ptd Ltd | Integrated compensation method of video code flow |
US8231443B1 (en) * | 2011-02-11 | 2012-07-31 | Tyson Foods, Inc. | Method and apparatus for processing a neck bone |
US8379721B2 (en) * | 2005-09-22 | 2013-02-19 | Qualcomm Incorported | Two pass rate control techniques for video coding using a min-max approach |
KR100750138B1 (ko) * | 2005-11-16 | 2007-08-21 | 삼성전자주식회사 | 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치 |
JP4795223B2 (ja) * | 2006-01-31 | 2011-10-19 | キヤノン株式会社 | 画像処理装置 |
US20070230586A1 (en) * | 2006-03-31 | 2007-10-04 | Masstech Group Inc. | Encoding, decoding and transcoding of audio/video signals using combined parallel and serial processing techniques |
US20070230579A1 (en) * | 2006-03-31 | 2007-10-04 | Masstech Group Inc. | Serial processing of video signals using a programmable hardware device |
JP2009545935A (ja) * | 2006-08-04 | 2009-12-24 | トムソン ライセンシング | 符号化及び復号方法、その方法を実行する装置、並びにビットストリーム |
KR100928324B1 (ko) * | 2007-10-02 | 2009-11-25 | 주식회사 아이브이넷 | 압축된 동영상을 복원하기 위한 프레임 버퍼 메모리 운영방법 및 이에 적합한 디코딩 장치 |
US20090129473A1 (en) * | 2007-11-19 | 2009-05-21 | Samsung Electronics Co., Ltd. | System and method for adjusting compression noise reduction based on global and local motion detection |
CN100563336C (zh) * | 2008-01-03 | 2009-11-25 | 上海广电(集团)有限公司中央研究院 | 一种基于手机电视的恒定码率控制方法 |
CN102484695A (zh) | 2009-08-31 | 2012-05-30 | 惠普发展公司,有限责任合伙企业 | 减少视频数据的通信延迟 |
JP5641755B2 (ja) * | 2010-03-25 | 2014-12-17 | キヤノン株式会社 | 符号化装置、符号化装置の制御方法、プログラム |
US8711933B2 (en) | 2010-08-09 | 2014-04-29 | Sony Computer Entertainment Inc. | Random access point (RAP) formation using intra refreshing technique in video coding |
CN103329532B (zh) * | 2011-03-10 | 2016-10-26 | 日本电信电话株式会社 | 量子化控制装置和方法以及量子化控制程序 |
JP5950157B2 (ja) * | 2012-05-18 | 2016-07-13 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
CN103428523B (zh) * | 2012-05-22 | 2015-07-08 | 华为技术有限公司 | 评估视频质量的方法和装置 |
WO2015071865A1 (en) * | 2013-11-14 | 2015-05-21 | Riversilica Technologies Pvt Ltd | Method and system to control bit rate in video encoding |
JP6289076B2 (ja) * | 2013-12-18 | 2018-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10419760B2 (en) | 2014-09-29 | 2019-09-17 | Sony Interactive Entertainment Inc. | Picture quality oriented rate control for low-latency streaming applications |
CN104469386B (zh) * | 2014-12-15 | 2017-07-04 | 西安电子科技大学 | 一种基于dof的恰可察觉误差模型的感知立体视频编码方法 |
US10200716B2 (en) | 2015-06-25 | 2019-02-05 | Sony Interactive Entertainment Inc. | Parallel intra-prediction encoding/decoding process utilizing PIPCM and/or PIDC for selected sections |
US10142049B2 (en) * | 2015-10-10 | 2018-11-27 | Dolby Laboratories Licensing Corporation | Near optimal forward error correction system and method |
US20170244894A1 (en) * | 2016-02-22 | 2017-08-24 | Seastar Labs, Inc. | Method and Apparatus for Managing Latency of Remote Video Production |
US10178390B2 (en) | 2016-03-30 | 2019-01-08 | Sony Interactive Entertainment Inc. | Advanced picture quality oriented rate control for low-latency streaming applications |
JP6857973B2 (ja) * | 2016-06-14 | 2021-04-14 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
EP3376766B1 (en) * | 2017-03-14 | 2019-01-30 | Axis AB | Method and encoder system for determining gop length for encoding video |
CN107071514B (zh) * | 2017-04-08 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 一种图片文件处理方法及智能终端 |
US10567768B2 (en) * | 2017-04-14 | 2020-02-18 | Apple Inc. | Techniques for calculation of quantization matrices in video coding |
WO2022036678A1 (en) * | 2020-08-21 | 2022-02-24 | Alibaba Group Holding Limited | Multi-level region-of-interest quality controllable video coding techniques |
CN112738515B (zh) * | 2020-12-28 | 2023-03-24 | 北京百度网讯科技有限公司 | 用于自适应量化的量化参数调整方法和装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5144426A (en) | 1989-10-13 | 1992-09-01 | Matsushita Electric Industrial Co., Ltd. | Motion compensated prediction interframe coding system |
US5134476A (en) * | 1990-03-30 | 1992-07-28 | At&T Bell Laboratories | Video signal encoding with bit rate control |
US5291282A (en) | 1990-04-19 | 1994-03-01 | Olympus Optical Co., Ltd. | Image data coding apparatus and method capable of controlling amount of codes |
JPH0813138B2 (ja) | 1990-11-28 | 1996-02-07 | 松下電器産業株式会社 | 画像符号化装置 |
GB2252002B (en) * | 1991-01-11 | 1995-01-04 | Sony Broadcast & Communication | Compression of video signals |
DE69230268T2 (de) | 1991-02-21 | 2000-04-13 | Nec Corp., Tokio/Tokyo | Kodierungsgerät zur Kompression von bewegten Bilddaten |
US5214507A (en) | 1991-11-08 | 1993-05-25 | At&T Bell Laboratories | Video signal quantization for an mpeg like coding environment |
US5231484A (en) * | 1991-11-08 | 1993-07-27 | International Business Machines Corporation | Motion video compression system with adaptive bit allocation and quantization |
JPH05167998A (ja) | 1991-12-16 | 1993-07-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像の符号化制御処理方法 |
US5253059A (en) * | 1992-05-15 | 1993-10-12 | Bell Communications Research, Inc. | Method and circuit for adjusting the size of a video frame |
KR0134871B1 (ko) * | 1992-07-17 | 1998-04-22 | 사또오 후미오 | 고능률 부호화 복호화 시스템 |
WO1994018799A1 (en) * | 1993-02-03 | 1994-08-18 | Qualcomm Incorporated | Interframe video encoding and decoding system |
US5440346A (en) * | 1993-06-16 | 1995-08-08 | Intel Corporation | Mode selection for method and system for encoding images |
BE1007807A3 (nl) * | 1993-11-30 | 1995-10-24 | Philips Electronics Nv | Inrichting voor het coderen van een videosignaal. |
US5566208A (en) * | 1994-03-17 | 1996-10-15 | Philips Electronics North America Corp. | Encoder buffer having an effective size which varies automatically with the channel bit-rate |
US5594504A (en) * | 1994-07-06 | 1997-01-14 | Lucent Technologies Inc. | Predictive video coding using a motion vector updating routine |
US5764805A (en) | 1995-10-25 | 1998-06-09 | David Sarnoff Research Center, Inc. | Low bit rate video encoder using overlapping block motion compensation and zerotree wavelet coding |
KR100355375B1 (ko) | 1995-11-01 | 2002-12-26 | 삼성전자 주식회사 | 영상부호화장치에있어서양자화간격결정방법및회로 |
EP0804857B1 (en) | 1995-11-15 | 2001-09-26 | Koninklijke Philips Electronics N.V. | Method and device for global bitrate control of a plurality of encoders |
US5745178A (en) * | 1996-01-22 | 1998-04-28 | Lucent Technologies Inc. | Global rate control for model-assisted coding of low bit rate video |
US5731835A (en) | 1996-02-26 | 1998-03-24 | David Sarnoff Research Center, Inc. | Dynamic coding rate control in a block-based video coding system |
US6055330A (en) * | 1996-10-09 | 2000-04-25 | The Trustees Of Columbia University In The City Of New York | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information |
US6243497B1 (en) | 1997-02-12 | 2001-06-05 | Sarnoff Corporation | Apparatus and method for optimizing the rate control in a coding system |
US5790196A (en) * | 1997-02-14 | 1998-08-04 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
US6112202A (en) | 1997-03-07 | 2000-08-29 | International Business Machines Corporation | Method and system for identifying authoritative information resources in an environment with content-based links between information resources |
US6023296A (en) * | 1997-07-10 | 2000-02-08 | Sarnoff Corporation | Apparatus and method for object based rate control in a coding system |
US6112203A (en) | 1998-04-09 | 2000-08-29 | Altavista Company | Method for ranking documents in a hyperlinked environment using connectivity and selective content analysis |
-
1998
- 1998-06-15 US US09/094,645 patent/US6023296A/en not_active Expired - Lifetime
- 1998-07-09 CN CNB988070642A patent/CN1177480C/zh not_active Expired - Lifetime
- 1998-07-09 JP JP2000502636A patent/JP4187405B2/ja not_active Expired - Lifetime
- 1998-07-09 EP EP98934312A patent/EP1010329A4/en not_active Withdrawn
- 1998-07-09 CA CA002295689A patent/CA2295689C/en not_active Expired - Fee Related
- 1998-07-09 AU AU83866/98A patent/AU8386698A/en not_active Abandoned
- 1998-07-09 WO PCT/US1998/014131 patent/WO1999003279A1/en active Application Filing
-
1999
- 1999-09-22 US US09/401,132 patent/US7372903B1/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005004487A1 (ja) * | 2003-06-30 | 2005-01-13 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化装置及び画像符号化方法 |
US7751474B2 (en) | 2003-06-30 | 2010-07-06 | Mitsubishi Denki Kabushiki Kaisha | Image encoding device and image encoding method |
JP2008523724A (ja) * | 2004-12-08 | 2008-07-03 | クゥアルコム・インコーポレイテッド | 動画像符号化のための動き推定技術 |
US8761259B2 (en) | 2005-09-22 | 2014-06-24 | Qualcomm Incorporated | Multi-dimensional neighboring block prediction for video encoding |
Also Published As
Publication number | Publication date |
---|---|
CN1177480C (zh) | 2004-11-24 |
US7372903B1 (en) | 2008-05-13 |
AU8386698A (en) | 1999-02-08 |
US6023296A (en) | 2000-02-08 |
JP4187405B2 (ja) | 2008-11-26 |
WO1999003279A1 (en) | 1999-01-21 |
CA2295689A1 (en) | 1999-01-21 |
CN1285115A (zh) | 2001-02-21 |
CA2295689C (en) | 2003-12-09 |
EP1010329A1 (en) | 2000-06-21 |
EP1010329A4 (en) | 2004-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4187405B2 (ja) | 符号化方式におけるオブジェクトベースのレート制御装置及びその方法 | |
KR100559924B1 (ko) | 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법 | |
US6243497B1 (en) | Apparatus and method for optimizing the rate control in a coding system | |
US6084908A (en) | Apparatus and method for quadtree based variable block size motion estimation | |
JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
US6160846A (en) | Apparatus and method for optimizing the rate control in a coding system | |
US20070025442A1 (en) | Coding method for coding moving images | |
US6252905B1 (en) | Real-time evaluation of compressed picture quality within a digital video encoder | |
JP3960451B2 (ja) | シーン特性検出型動画像符号化装置 | |
JPH118855A (ja) | デジタル・ビデオ信号エンコーダ及び符号化方法 | |
JPH0723422A (ja) | ディジタルvtrの映像信号帯域圧縮装置 | |
EP1114558A1 (en) | Intra-frame quantizer selection for video compression | |
KR20060072070A (ko) | 이미지 또는 픽쳐 시퀀스를 인코딩하는데 사용될 수 있는양자화 매트릭스를 발생하는 방법 및 장치 | |
US20050286628A1 (en) | Human visual system (HVS) filter in a discrete cosine transformator (DCT) | |
JP2005530423A (ja) | 画像鮮鋭度を符号化中に最適化する方法及びシステム | |
US9185420B2 (en) | Moving image coding apparatus and moving image coding method | |
JP4532607B2 (ja) | ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法 | |
US20080037888A1 (en) | Image quantization method and apparatus | |
KR100584422B1 (ko) | 영상데이터의 압축 장치 및 방법 | |
KR100322475B1 (ko) | 압축영역에서 엠펙-1 및 엠펙-2 동영상의 비트율 변환방법 | |
Bhojani et al. | Hybrid video compression standard | |
Choi et al. | Adaptive image quantization using total variation classification | |
JPH11196423A (ja) | 画像処理装置および方法、並びに提供媒体 | |
Yuan et al. | A mixed scheme to improve subjective quality in low bitrate video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050622 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050622 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050704 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050707 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080304 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080909 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |