JP4791380B2 - デジタル・ビデオ・シーケンスを予測符号化するための方法、システムおよびコンピュータ・プログラム - Google Patents

デジタル・ビデオ・シーケンスを予測符号化するための方法、システムおよびコンピュータ・プログラム Download PDF

Info

Publication number
JP4791380B2
JP4791380B2 JP2006551048A JP2006551048A JP4791380B2 JP 4791380 B2 JP4791380 B2 JP 4791380B2 JP 2006551048 A JP2006551048 A JP 2006551048A JP 2006551048 A JP2006551048 A JP 2006551048A JP 4791380 B2 JP4791380 B2 JP 4791380B2
Authority
JP
Japan
Prior art keywords
frame
measure
resolution
motion
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006551048A
Other languages
English (en)
Other versions
JP2007520157A5 (ja
JP2007520157A (ja
Inventor
ラタコンダ、クリシュナ、シー
ジャグモハン、アシシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2007520157A publication Critical patent/JP2007520157A/ja
Publication of JP2007520157A5 publication Critical patent/JP2007520157A5/ja
Application granted granted Critical
Publication of JP4791380B2 publication Critical patent/JP4791380B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、一般的には、デジタル・ビデオ符号化に関し、より特定的には、動的な解像度切り換えを使用してデジタル・ビデオ・ビットストリームを予測符号化するデジタル・ビデオ符号化に関する。
ビデオ符号化アルゴリズムは、典型的には、許容されるビットレート総数（可変ビットレート・ビデオの場合のように）または許容される平均ビットレート（制約ビットレート・ビデオ）において制約される。よって、ビデオ・エンコーダは、多数のビット（例えば、平均ビットレートより相当多い）を使用して各連続フレームの長いシーケンスを符号化することはできない。例えば、制約ビットレート・ビデオの場合、デコーダにある有限バッファを使用して、符号化されたフレームをその表示の前に記憶する。この場合、現在のフレームを符号化するために使用できる最大ビット数は、固定されている。これは、もしフレームが使用するビットが多すぎると、デコーダがアンダーフローを起こして、今後のフレームを遅延または欠落させなければならない状況となりうるからである。
エンコーダは、量子化尺度のような符号化パラメータを適切に選択することによって、フレームを符号化するために使用されるビット数を制御する。現在のフレームを符号化するために使用可能なビット数が少なければ、エンコーダは、高い量子化尺度を使用して、フレームを符号化するために使用されるビットレートを減少させる。しかしながら、高すぎる量子化尺度を使用してフレームを符号化すると、デコーダでフレームを再構築する場合に不自然なアーティファクトが現れる。使用された量子化尺度の大きさによっては、このようなアーティファクトは、ビデオ・ストリームの知覚的な品質についてかなりの損失を生じさせかねない。
高い量子化尺度を使用する代わりに、動的に減少させた解像度を使用して、フレームの符号化に使用されるビット数を低下することができる。符号化に先立ってフレームの解像度を低下させる（低減解像度モード符号化と称する）と、元の数に比べて少ない数のビットでフレームを符号化することができる。例えば、ＭＰＥＧ‐４のビデオ標準は、低減解像度モードを提供し、これは、低ビットレートでのビデオ・フレームの符号化のために使用することができる。
低減解像度での符号化は、再構築されたビデオ・フレームの知覚的な品質の観点から、非常に高い量子化尺度での符号化よりも好ましい。その理由は、高すぎる量子化尺度での符号化による特徴的なブロック型のアーティファクトに対して、低減解像度での符号化は、均一的なぼやけを生じさせるからである。しかしながら、低減解像度での符号化をいつ行うかを判断するのは、簡単ではない。やや高い量子化尺度での符号化は、低減解像度を使用するよりも高い品質の再構築を生じさせることが多い場合もある。これは、特に、フレームの空間的かつ時間的な複雑性が低減解像度の効果を遮蔽するほど高くない場合に当てはまる。ほとんど動きのないフレーム・シーケンスを低解像で符号化するのは得策ではない。
他の重要な問題は、連続したフレームを異なる解像度で符号化することによって生じる時間的な歪みの問題である。解像度モードを繰り返し切り換えることは得策ではなく、たとえ独立型に基づくフレームの低品質な再構築となっても、先行するフレームと同一の解像度モードを使用する方がよい場合もある。したがって、どの解像度選択方法も、適切に遮蔽されることができる場合であって、かつ、解像度モードが短期間に繰り返し切り換わらない場合にのみ、低減解像度を使用することを確実にすることが必須である。
画像のシーケンスにおける特定の画像を符号化するための適切な解像度モードの選択を目的とした符号化方法の一例が、米国特許第５２６２８５５号に開示されている。本従来技術システム（図１）において、エンコーダは、複合的な動き、フェード、およびディゾルブ状態、高量子化尺度、または高推定復号化時間を検出すると、フレームを低解像度で符号化する。本従来技術システムは、以下の制限を受ける。すなわち、上述の状態のいずれか１つが生じると、低減解像度モードに切り換わる。よって、ビデオ・ストリームに高速の動きがあると、たとえデコーダのバッファ・レベルが高くても（上述の一定のビットレートのビデオの場合）、エンコーダが低解像へ切り換わることになる。よって、解像度を選択する際に上述の状態を個別に考慮すると、上述の状態の組み合わせを具体化する機能が必要なので、この手法は適切でない。上述のシステムの第２の制限は、符号化解像度の切り換えによって生じる時間的な歪みの問題に対処していないことである。前のフレームの解像度モード履歴をシステムは考慮していないので、エンコーダが互いに異なる解像度モード間で変動する可能性が高い。
解像度選択コントローラの設計を目的とした符号化装置の一例が、米国特許第５８０５２２２号に開示されている。本従来技術システムにおいて、量子化器ステップサイズ、符号化データ量、および前のフレームのバッファ占有度を使用して、符号化中の現在のフレームの解像度を選択する。しかしながら、このシステムは、以下の制限を有する。すなわち、本従来技術システムは、前のフレーム１つからのみの統計情報を使用して、解像度選択決定を行っている。しかしながら、ビデオ・ビットストリームの統計情報の正確な推定には、複数のフレームに渡る統計結果を取り入れることが必要であることが知られている。このような前のフレーム１つから情報を推定するのは、不正確になりやすい。なぜなら、ビデオ・フレームは、典型的には、様々な統計的な振舞いを示すからである。さらに、徐々にシーンが変化するなどの数多くのビデオ効果は、選択する符号化解像度に対して重要な波及効果を有し、いくつかの連続するフレームに渡る統計的な振舞いを調査することによってのみ検出することができるからである。
さらに、米国特許第５８０５２２２号に具体化されている従来技術システムは（図２に示すように）、符号化解像度を選択している間に現在の動き量を考慮していない。選択される符号化解像度は、動きがあるか（またはないか）に基づくべきである。なぜならば、動きは、低解像度のビデオに存在するぼやけた歪みを効果的に遮蔽するからである。動きがない場合には、低解像度での符号化を避けるのが得策である。なぜならば、視覚的に認められる歪みを生じさせるからである。従来技術システムは、符号化解像度の選択の際に、動き推定値の代わりに、符号化されたデータ量を使用する。しかしながら、符号化されたデータ量は、動きの推定値としては不良である。例えば、直前のフレーム（それに対して現在のフレームが予測符号化される）の符号化が不良であった場合には、静止シーンにおけるフレームにもかかわらず、大量の符号化されたデータ量を有することがある。よって、従来技術システムは、少ない動きのシーケンスを低解像度で符号化して、かなりの歪みを生じさせる場合がある。
現在の（および将来の）フレームの統計情報を考慮しない場合、システムは、推定エラーの影響を受けやすい。これは、例えば、現在のフレームがシーン変化を示す場合に生じる。現在及び前のフレームが互いに異なるシーンに属する場合、前のフレームの統計的な振舞いは、現在のフレームを低解像度モードで符号化するのが得策かどうかを示す好適な指標ではない。何らかの符号化アルゴリズムが、将来のフレームの統計の先取り推定を使用し、上述の問題を回避するのに使用されてもよい。従来技術においてさらに開示されているのは、符号化中のデータ量の積の関数であって、量子化尺度を使用して、高解像度モードから低解像度モードへと共に低解像度モードから高解像度モードへの切り換えを互いに異なる予め設定された閾値で行うというものである。しかしながら、両モードの解像度決定のために同じ関数を使用するのは適切でない。
高解像度から低解像度モードへの切り換えは、現在及び将来のフレームを符号化するために使用可能なビット数が少ない場合に行われるべきである。一方で、低解像度を高解像度モードへ戻す切り換えは、この切り換えによって将来すぐに低解像度モードへ戻ることがないことが確実な場合にのみ行われるべきである。よって、決定を行うために使用される目的関数は、著しく異なる必要がある。例えば、低解像度から高解像度モードへの切り換えの場合には、シーン変化履歴などの追加のパラメータを考慮する必要がある。
本発明の目的は、動きの推定値を使用して歪みの遮蔽を提供し、かつ、不正確な統計推定および解像度モードを繰り返し切り換えるという問題を回避する、動的な解像度切り換えのための改良された方法を提供することである。本発明のさらなる目的は、符号化中の現在及び前のフレームの解像度を考慮した後に符号化パラメータを判断する、改良された符号化方法を提供することである。
本発明は、動的な解像度切り換えを使用することによって良質のビデオ再構築を確実にするデジタル・ビデオ・ビットストリームの予測符号化のための方法、システム、およびコンピュータ・プログラムに関する。解像度切り換えは、その名が示唆するように、出力する符号化されたビデオ・ビットストリームの解像度を変更することを意味する。解像度の変更は、前のフレームが低解像度で符号化された場合に現在のフレームを高解像度で符号化し、または、前のフレームが高解像度で符号化された場合に現在のフレームを低解像度で符号化することによって提供される。
本発明の一実施形態は、デジタル・ビデオ・シーケンスを予測符号化するための方法に関し、符号化中の現在のフレームの解像度を、複数のフレームの情報の統計および符号化情報に基づいて動的に選択するステップを備える。さらに、選択ステップは、少なくとも１つの前のフレームおよび現在のフレームからの統計および符号化情報を分析するステップを含み、統計情報は、シーン変化情報と、推定動き情報とを含み、符号化情報は、フレームによって使用された量子化尺度と、ビットの有効性尺度とを含む。本方法は、符号化パラメータを選択して、現在のフレームを選択された解像度で符号化するステップをさらに備え、選択手順は、符号化パラメータを判断する際に、動的解像度選択ステップの出力を考慮する。
本発明のさらなる実施形態は、デジタル・ビデオ・シーケンスの予測符号化のためのシステムに関する。本システムは、符号化中の現在のフレームの解像度の動的な選択のための動的解像度切り換えコントローラ手段を備え、選択は、複数のフレームの統計および符号化情報に基づく。解像度分析に追加的に含まれるのは、少なくとも１つの前のフレームおよび現在のフレームからの統計および符号化データであって、統計情報は、シーン変化情報と、推定動き情報とを含み、符号化情報は、フレームによって使用された量子化尺度と、ビットの有効性尺度とを含む。さらに、本システムは、符号化パラメータの選択および現在のフレームの選択された解像度での符号化のための符号器手段を備え、符号器手段は、符号化パラメータを判断する際に、動的解像度切り換えコントローラの出力を考慮する。
本発明のさらなる実施形態は、デジタル・ビデオ・シーケンスを予測符号化するためのコンピュータ・プログラム製品に関し、符号化中の現在のフレームの解像度を動的に選択するための手段を保持する、コンピュータが使用可能な媒体を備え、当該選択は、少なくとも１つの前のフレームおよび現在のフレームを含む複数のフレームの統計および符号化情報に基づく。統計情報は、シーン変化情報と、推定動き情報とを含み、符号化情報は、フレームによって使用された量子化尺度と、ビットの有効性尺度とを追加的に含む。さらに、本コンピュータ・プログラム製品は、符号化パラメータを選択して現在のフレームを選択された解像度で符号化するための手段を備え、当該手段は、符号化パラメータを判断する際に、符号化中の現在のフレームの解像度を動的に切り換えるための手段の出力を考慮する。
本発明のその他の実施形態は、フレームによって使用された量子化尺度と、ビットの有効性尺度とを含む符号化情報を使用してもよく、統計および符号化情報は、符号器手段の以前の実行によって生成される。
本発明の目的、利点、および特徴は、添付の図面と共に以下の説明を参照すればより明らかになるだろう。
添付の図面は、本発明の１つ以上の実施形態を示し、本書面の説明と共に、本発明の原則を説明する役割を果たす。可能な限り、図面全般を通じて、一実施形態の同一または同様の要素を言及するために同一の参照番号を使用する。
本発明の実施形態を以下に詳細に説明する。開示された実施形態は、専ら例示を意図したものであり、なぜなら、実施形態における数多くの修正および変形が当業者にとって明らかなはずだからである。図面に関して、図面全般を通じて、同様の番号は同様の部分を継続的に示す。
本発明を最初に図３を参照して説明する。本発明の一実施形態例は、デジタル・ビデオ・シーケンスの予測符号化のためのシステム３００に関する。システム３００は、符号化中の現在のフレームの解像度の動的な選択のための動的解像度切り換えコントローラ手段１０を備え、選択は、複数のフレームの統計および符号化情報に基づく。現在のフレームは、次に符号化すべきフレームであって、その符号化パラメータが現在の時間間隔で決定されているフレームを参照する。
解像度分析に追加的に含まれるのは、少なくとも１つの前のフレームおよび現在のフレームからの統計および符号化データであって、統計情報は、シーン変化情報と、推定動き情報とを含み、符号化情報は、フレームによって使用された量子化尺度と、ビットの有効性尺度とを含む。さらに、システム３００は、符号化パラメータの選択および現在のフレームの選択された解像度での符号化のための符号器手段３０を備え、符号器手段は、符号化パラメータを判断する際に、動的解像度切り換えコントローラ手段１０の出力を考慮する。
解像度切り換えコントローラ手段１０は、２つの互いに異なる方法のうちの１つを使用して、ビデオを現在符号化中の解像度によって、出力する符号化されたビデオ・ビットストリームの解像度をいつ切り換えるかを判断する。高解像度から低解像度へいつ切り換えるかを判断する際に重要な要素には、ビットの有効性尺度（すなわち、一定のビットレートのビデオの場合には、デコーダのバッファのアンダーフローの可能性）、オーバフローを回避するのに必要な量子化尺度の予想規模、および低解像度で符号化されたビデオ・フレームについての歪み遮蔽を提供可能な現存の動き量が含まれる。
低解像度から高解像度へいつ切り換えるかを判断する際に重要な要素には、現存の遮蔽動き量、そのような切り換えを行う場合の量子化尺度の予想値、およびそのような切り換えを行う場合の変動の可能性、すなわち、そのような切り換えに続いて低解像度モードへ近い将来戻る必要がある可能性が含まれる。そして、変動の可能性は、デコーダのバッファ・レベルと、前のフレームのシーン変化統計値とに左右される。したがって、解像度切り換えのための互いに異なる方法は、現在の解像度モードが高解像度モードか、または低解像度モードかによって、上述の基準を復号化のために必要な解像度を判断する基礎として使用する。
現在説明している実施形態例は、解像度切り換えコントローラ手段１０の出力に基づいて、符号器手段３０によって使用される符号化パラメータの調整を規定する。特に、解像度切り換えコントローラ手段１０が解像度についての切り換えが必要であると判断する場合には、フレームの非予測符号化が予測符号化よりも好都合である限りは、現在のフレームはシーン変化フレームとして符号化される。さらに、現在のフレームの統計値が前のフレームの統計値と著しく異なるものと仮定されて、それに従って、フレームに割り当てられた量子化尺度およびビットレートが計算される。さらに、フレームに割り当てられた量子化尺度およびビットレートは、「真の」シーン変化フレーム、すなわち、解像度切り換えによって生じたものではないシーン変化に対する対応割り当てより小さい。
図３の実施形態は、入力デジタル・ビデオから符号化されるべき現在のフレームを抽出する現フレーム抽出器手段７０を追加的に特徴として備える。当該手段の出力Ｓ１は、現在のフレームの統計値を計算するフレーム統計計算器手段８０に印加され、統計値には、ピクセル間差分と、予測量子化尺度と、動き推定値とが含まれる。
フレーム統計計算器手段８０は、現在のフレームがシーン変化を示すのに相応するほど前のフレームと相違しているかどうかを判断する。この判断を可能とするために、フレーム・バッファ手段９０は、１つ以上の前のフレームを記憶し、フレーム・バッファ９０の出力信号Ｓ２が、フレーム統計計算器手段８０に印加される。
フレーム統計収集器手段５０は、複数の前のフレームの統計値を収集する。統計値には、動き推定値と、デコーダのバッファ・レベルと、ピクセル間差分と、複数の前のフレームを符号化するために使用された量子化尺度とが含まれる。フレーム統計収集器手段５０に印加された入力信号には、遅延ラッチ手段９５からの出力信号Ｓ７と、解像度統計収集器手段４０からの出力信号Ｓ４と、符号器手段３０からの出力信号Ｓ５とが含まれる。
出力信号Ｓ７は、フレーム統計計算器手段８０からの出力信号Ｓ３を１フレーム期間分遅延することによって生成される。信号Ｓ３は、フレーム統計計算器手段８０からの統計値を保持し、統計値には、現在のフレームの動き推定値と、現在のフレームについてのピクセル間差分の値とが含まれる。上述の出力信号Ｓ４は、解像度統計収集器手段４０によって収集された解像度統計値を保持し、当該統計値には、複数の前のフレームが符号化された解像度が含まれる。出力信号Ｓ５は、符号器手段３０からの符号化された統計値を保持し、当該統計値には、複数の前のフレームを符号化するために使用された量子化尺度と、デコーダのバッファ・レベルとが含まれる。シーン変化履歴バッファ手段６０は、シーン変化を示した複数の前のフレームについてのフレーム番号を記憶する。フレーム統計計算器手段８０からの出力信号Ｓ６は、現在のフレームについてのシーン変化情報を保持する。出力信号Ｓ６は、遅延ラッチ手段９５に印加され、結果生じた遅延された出力信号Ｓ８は、シーン変化履歴バッファ手段６０に印加される。
上述のように、解像度切り換えコントローラ手段１０は、現在のビデオ・フレームが符号化されるべき解像度を選択する。解像度切り換えコントローラ手段１０に印加された入力は、フレーム統計収集器手段５０からの出力信号Ｓ９、シーン変化履歴バッファ手段６０からの出力信号Ｓ１０、およびフレーム統計計算器手段８０からの出力信号Ｓ１１である。前述の出力信号Ｓ９は、複数の前のフレームについての統計値を保持し、当該統計値には、動き推定値と、符号化のために使用された量子化尺度と、解像度統計値と、デコーダのバッファ・レベルとが含まれる。出力信号Ｓ１０は、シーン変化統計値、すなわち、前のシーン変化が生じたフレーム番号を保持する。
一実施形態例において、出力信号Ｓ１０は、直前のシーン変化が生じたフレーム番号（または、換言すれば、現在のシーンが開始したフレーム番号）を単に保持してもよい。代替実施形態において、信号は、徐々に生じたシーン変化効果（ワイプおよびフェードなど）を解像度切り換えコントローラによって検出および使用できるように、複数の前のシーン変化についての情報を含んでもよい。出力信号Ｓ１１は、フレーム統計計算器手段８０からの現在のフレームについてのフレーム統計値を保持し、当該統計値には、動き推定値と、現在のフレームについての予測量子化尺度とが含まれる。信号Ｓ１１に含まれる統計情報は、信号Ｓ１１は現在のフレームの統計上を含む点で、信号Ｓ９のものとは異なる。そのようなフレーム統計収集器手段５０は、１フレーム期間の遅延（この遅延は、遅延ラッチ手段９５によって生じる）後に、現在のフレーム統計情報を（信号Ｓ７を介して）受信するだけであり、信号Ｓ９は、前のフレームについての統計情報を含むのみである。
上述の受信した統計値に基づいて、解像度切り換えコントローラ１０は、出力する符号化されたビデオ・ストリームの解像度の切り換え（高から低解像度へ、または低から高解像度へ）が得策かを判断する。解像度切り換えコントローラ１０の決定は、出力信号Ｓ１２を介して、解像度減少手段２０と、符号器手段３０と、解像度統計収集器手段４０とに伝達される。出力ビデオ・ストリームが低解像度で符号化されなければならない場合は、解像度減少手段２０は、フィルタリングおよび副サンプリングの処理を通じて現在の解像度を減少させる。本処理の一実施形態例は、現在のフレームの各ピクセルにおけるｎ＊ｎ平均化マスク（ｎは、定数の整数）を使用して、その後、結果生じたフレームを垂直および水平の両次元においてｎでダウン・サンプリングすることである。
解像度の低減は、２つの場合に必要とされる。第１の場合は、直前のフレームが低解像度で符号化されて、解像度切り換えコントローラは解像度切り換えが必要ないと判断する場合である。第２の場合は、直前のフレームが高解像で符号化され、解像度切り換えコントローラは解像度切り換えが必要であると判断する場合である。現在のフレームは元の解像度で符号化されるべき場合には、解像度減少手段２０は、フレームが変化なしで通過することを単に許容する。
符号器手段３０は、現在のフレームを符号化する際に使用されるべき、量子化尺度を含むパラメータを判断し、フレームの実際の符号化を行う。当該手段に印加される入力信号は、解像度切り換えコントローラ１０からの出力信号Ｓ１２、フレーム統計収集器手段５０からの出力信号Ｓ１３、解像度減少手段２０からの出力信号Ｓ１５、およびフレーム統計計算器手段８０からの出力信号Ｓ１４である。上述の出力信号Ｓ１２は、解像度切り換えコントローラ１０によって判断された解像度切り換え決定を含む。
上述のように、重要なのは、フレームの統計値の相違が互いに異なる解像度にあり（たとえ他の点ではフレーム同士は類似していても）、現在のフレームの解像度が直前のフレームと異なる場合には、符号手段は符号化パラメータの適切な選択を行わなければならないということである。当該選択の一実施形態例は、解像度切り換えを「解像度のシーン変化」であるとみなして、上記の場合に現在のフレームを非予測的に符号化することである。
さらに、「解像度のシーン変化」は「真の」シーン変化ではない場合があるので（フレーム同士は、それらの元の解像度で同様である場合があるという点で）、ビット割り当ておよび量子化器の尺度選択は、「真の」シーン変化（すなわち、解像度の変化によって生じたのではないシーン変化）の場合における対応する選択よりも低くなければならない。符号手段が解像度切り換え決定に依存するということが、本発明の重要な利点の一つである。
出力信号Ｓ１３は、フレーム統計収集器手段５０からの複数の前のフレームの統計情報を保持する。上述の出力信号Ｓ１５は、解像度減少手段２０のフレーム出力を保持し、これは、元の現在のフレームであってもよいし、または減少された改造殿での現在のフレームであってもよい。上述の出力信号Ｓ１４は、フレーム統計計算器手段８０からの現在のフレームの統計情報を保持する。符号器手段３０は、上述の信号に含まれる情報を使用することによって、符号化パラメータを慎重に選択して、その後、符号化パラメータを使用して現在のフレームを符号化する。符号器手段３０の出力は、符号化されたデジタル・ビデオ・ストリームである。
図４は、デジタル・ビデオ・シーケンスを予測符号化するための方法に関する本発明のさらなる実施形態を示し、当該方法は、符号化中の現在のフレームの解像度を動的に選択するステップ３０２を備え、当該選択は、複数のフレームの統計および符号化情報に基づいて行われる。さらに、選択ステップは、少なくとも１つの前のフレームからの統計および符号化情報を分析するステップを含み、統計情報は、シーン変化情報と、推定動き情報とを含み、符号化情報は、フレームによって使用された量子化尺度と、ビットの有効性尺度とを含む。当該方法は、符号化パラメータを選択するステップ３０４と、現在のフレームを選択された解像度で符号化するステップとをさらに備え、選択手順は、符号化パラメータを判断する際に、動的解像度選択ステップの出力を考慮する。最後に、ステップ３０８で、本方法は、符号化されたデジタル・ビデオ・ビットストリームを出力する。
本発明のさらなる実施形態は、デジタル・ビデオ・シーケンスを予測符号化するためのコンピュータ・プログラム製品に関し、符号化中の現在のフレームの解像度を動的に選択するための手段を保持する、コンピュータが使用可能な媒体を備え、当該選択は、少なくとも１つの前のフレームおよび現在のフレームを含む複数のフレームの統計および符号化情報に基づく。統計情報は、シーン変化情報と、推定動き情報とを含み、符号化情報は、フレームによって使用された量子化尺度と、ビットの有効性尺度とを含む。さらに、本コンピュータ・プログラム製品は、符号化パラメータを選択して現在のフレームを選択された解像度で符号化するための手段を備え、当該手段は、符号化パラメータを判断する際に、符号化中の現在のフレームの解像度を動的に切り換えるための手段の出力を考慮する。
図５は、本発明内で使用されてもよい解像度切り換えコントローラ１０の一実施形態を示す。解像度の切り換えが必要か動かを判断するための解像度切り換えコントローラ１０によって使用される入力信号および統計値は、本好ましい実施形態においては以下のようなものである。入力信号Ｓ１００は、フレーム統計計算器８０からの現在のフレームについての量子化尺度の予想値を保持する。信号Ｓ１０１は、複数の前のフレームを符号化するために使用された量子化尺度の方策であるフレーム統計収集器５０からの値を保持する。例えば、値は、前のフレームを符号化するのに使用された量子化尺度の移動平均を計算することによって生成できる。信号Ｓ１０２は、フレーム統計収集器５０から、複数の前のフレームにおける動き量の尺度である値を保持する。当該値は、動きベクトルの大きさの移動平均、および各フレームと動き補償された前のフレームとの差分を取ることで得られた残余のエネルギーに依存して、関数を計算することによって生成できる。信号Ｓ１０３は、フレーム統計収集器５０からのデコーダのバッファ・レベルに関する情報を保持する。信号Ｓ１０４は、フレーム統計計算器８０からの現在のフレームにおける動き推定値を保持する。信号Ｓ１０５は、シーン変化を示した１つ以上の前フレームのフレーム番号を保持しており、最新のシーン変化を示したフレームのみのフレーム番号が使用される。信号Ｓ１０６は、現在のフレームのフレーム番号を保持する。信号Ｓ１０７は、バイナリ信号であって、現在のフレーム番号が１に等しければハイに設定され、そうでなければローに設定される。信号Ｓ１０６およびＳ１０７は、フレーム統計計算器８０によって生成できる。信号Ｓ１０６およびＳ１０７は、別個のフレーム・カウンタによっても生成できる。信号Ｓ１０８は、バイナリ信号であって、直前のフレームを符号化するのに使用された解像度が高ければハイに設定され、そうでなければローに設定される。本実施形態において、信号Ｓ１０８は、解像度統計収集器４０によって生成される。
入力バイナリ信号Ｓ１０７は、マルチプレクサ１２０に印加されて、信号Ｓ１００およびＳ１０１間で選択を行う。よって、現在のフレームのフレーム番号が１に等しければ、すなわち、現在のフレームが符号化中の最初のフレームであれば、マルチプレクサ１２０の出力信号Ｓ１１１は、予測された量子化器の尺度値信号Ｓ１００に設定される。最初のフレームについての予測された量子化器の尺度値が極端に高い場合は、ビデオの符号化の複雑性が高いだろうことが予想される場合があり、よって、低い解像度で符号化を開始するのがよい。これにより、最初のフレームを符号化している間に、参照する統計履歴がないことによって生じる問題が解消される。現在のフレームが符号化中の最初のフレームでない場合は、マルチプレクサ１２０の出力は値信号Ｓ１０１に設定され、これは、複数の前のフレームの量子化尺度値に基づいて計算される。
入力信号Ｓ１０２およびＳ１０４は、動き計算器１４０に印加される。動き計算器１４０は、信号Ｓ１０２に保持された値（前のフレームの動き推定値）と信号Ｓ１０４に保持された値（現在のフレームの動き推定値）とを組み合わせて、新たな動き推定値を生成し、これにより、前のフレームと現在のフレームとの動き推定値を組み合わせる。新たな動き推定値は、現在のフレームの動きを考慮しているので、ビデオ・シーケンスの現在の動きの特性を、前のフレームのみに基づいた尺度値よりもよく表している。同時に、当該推定値は複数の前のフレームの動き統計値も考慮しているので、ビデオ・ストリーム内の短命な時間的障害（ランダム・ノイズなど）によって不正確なものになることも少ない。動き推定値は、出力信号Ｓ１１０によって保持される。
高／低切り換えコントローラ１００は、高解像度から低解像度への解像度の切り換えの決定を実施する。好ましい実施形態において、高／低切り換えコントローラ１００は、図５に示す３つの比較器１０１，１０２，および１０３と、ＡＮＤゲート１０４と、ＯＲゲート１０５とからなる。高／低切り換えコントローラ１００への入力は、信号Ｓ１１１，Ｓ１０３，およびＳ１１０である。比較器１０１は、信号Ｓ１１１で入手可能な量子化尺度推定値Ｑを所定の閾値ＴＱと比較し、Ｑ＞ＴＱの場合にその出力はハイに設定される。比較器１０２は、信号Ｓ１１０で入手可能な動き推定値Ｍを所定の閾値ＴＭと比較し、Ｍ＞ＴＭの場合にその出力はハイに設定される。比較器１０３は、信号Ｓ１０３で入手可能なデコーダのバッファ・レベルＢｄｅｃを所定の閾値ＴＢと比較し、Ｂｄｅｃ＜ＴＢの場合にその出力はハイに設定される。比較器１０１および１０２の出力は、ＡＮＤゲート１０４を通過して、その結果は、比較器１０３の出力との論理和が取られる。ＯＲゲート１０５の出力信号Ｓ１２０は、高／低切り換えコントローラによってなされた決定を示す。出力がハイであれば、解像度は高解像度から低解像度へ切り換えられなければならない。よって、好ましい実施形態において、高／低切り換えコントローラは、以下の条件Ｃ１が真の場合には、高解像度から低解像度への以下の基準切り換えを実施する。
Ｃ１＝｛｛Ｑ＞ＴＱ｝ＡＮＤ｛Ｍ＞ＴＭ｝｝ＯＲ｛Ｂｄｅｃ＜ＴＢ｝
式中、Ｑは複数の前フレームを符号化するために使用された量子化尺度であり、Ｍは複数の前フレームと前記現在のフレームとに存在する前記動き尺度であり、Ｂ ｄｅｃ はデコーダのバッファの満杯の尺度であり、Ｔ Ｑ ，Ｔ Ｍ ，およびＴ Ｂ は予め設定された閾値である。
デコーダのバッファ・レベルが危険なほど低いか、または量子化尺度および動き量が大きい場合には、Ｃ１は真である。これは、（高量子化尺度での符号化によって生じた）量子化歪みと、（低解像度での符号化によって生じた）ぼやけ歪みとの間の関係を反映しており、ぼやけ歪みの効果を遮蔽するのに十分なほど動きが大きい場合には、動きぼやけ歪みが量子化歪みよりも好ましい。
よって、量子化歪みが非常に多ければ、低解像度への切り換えが得策であるが、これは、結果生じたぼやけ歪みを遮蔽するのに十分なほど動き量が大きい場合にのみである。しかしながら、デコーダのバッファ・レベルが非常に低い場合には、動きおよび量子化に関係なく、低解像度へ切り換えたほうがよい。なぜなら、デコーダのバッファのアンダーフローが、上述の歪みのいずれよりもはるかに深刻な歪みを生じさせるからである。
低／高切り換えコントローラ１１０は、低解像度から高解像度への解像度の切り換えの決定を実施する。低／高切り換えコントローラ１１０は、３つの比較器１１１，１１２，および１１３と、ＡＮＤゲート１１４とからなる。低／高切り換えコントローラ１１０への入力は、信号Ｓ１１１，Ｓ１０３，Ｓ１０５，Ｓ１０６およびＳ１１０である。比較器１１１は、関数Ｑ．Ｍ２を計算し、ここで、ＱおよびＭは上述の通りであり、この関数の値を所定の閾値ＴＱＭと比較し、Ｑ．Ｍｚ＜ＴＱの場合にその出力をハイに設定する。比較器１１２は、Ｓ１０６で入手可能な情報である現在のフレーム番号を、Ｓ１０５で入手可能な情報である最終シーン変化が生じたフレーム番号と比較する。比較器１１２の出力は、Ｆｃｕｒｒ−Ｆｓｅ＞Ｔｓｅの場合にハイに設定され、ここで、Ｆｃｕｒｒは現在のフレームのフレーム番号を指し、Ｆｓｅは最終のシーン変化が生じたフレーム番号を指し、Ｔｓｅは固定の予め設定された閾値を指す。比較器１１３は、Ｓ１０３で入手可能なデコーダのバッファ・レベルＢｄｅｃを所定の閾値ＴＢ２と比較し、Ｂｄｅｃ＞ＴＢ２の場合にその出力はハイに設定される。比較器１１１，１１２，および１１３の出力は、ＡＮＤゲート１１４を通過する。ゲート１１５の出力信号Ｓ１２１は、低／高切り換えコントローラ１１０によってなされた決定を示す。出力がハイであれば、解像度は低解像度から高解像度へ切り換えられなければならない。低／高切り換えコントローラ１１０は、以下の条件Ｃ２が真の場合には、低解像度から高解像度への切り換えを実施する。
Ｃ２＝｛Ｑ．Ｍ２＞ＴＱＭ｝ＡＮＤ｛Ｂｄｅｃ＞ＴＢ２｝ＡＮＤ｛Ｆｃｕｒｒ−ＦＳＣ＞ＴＳＣ｝
式中、Ｑは複数の前フレームを符号化するために使用された量子化尺度であり、Ｍは複数の前フレームと前記現在のフレームとに存在する前記動き尺度であり、Ｂ ｄｅｃ はデコーダのバッファの満杯の尺度であり、式中、Ｆ ｃｕｒｒ およびＦ ＳＣ はそれぞれ前記現在のフレームおよび最終のシーン変化フレームのフレーム番号であり、およびＴ ＱＭ ，Ｔ Ｂ２ ，およびＴ ＳＣ は予め設定された閾値である。
Ｃ２は、Ｃ１とは著しく異なる基準である。上記のように、これは、低解像度モードから高解像度モードへの切り換えの誘因は、逆の動作を行う誘因とは異なるからである。低解像度から高解像度モードへの切り換えを決定する場合には、低解像度モードへ逆戻りする必要がないように、永続的な高解像度モードが達成されるように保証することが最も重要である。よって、この決定がなされるのは、考慮される各個別の統計値が高解像度モードでの符号化が少なくとも近く将来に維持可能であることを示す場合のみである。関数Ｑ．Ｍ２の値が低い場合、量子化尺度および動き推定値の両方が低いことを示す。
統計値が低い場合、高解像度での符号化が望ましいことを示す。Ｑ．Ｍ２が積Ｑ．Ｍよりも好ましい理由は、動き推定値は、典型的には、解像度切り換え決定の基礎となるより信頼性のある正確なパラメータであることがわかるからである。Ｂｄｅｃの値が高い場合、高解像度での符号化によってデコーダのバッファ・レベルを将来危険なほどの低レベルにまで使い尽くすことがないほど、デコーダのバッファ・レベルは十分に高いことを示す。最後に、Ｆｃｕｒｒ−ＦＳＣが高い値であれば、最終のシーン変化以来十分な時間が経過したこと示す。
これが必要なのは、徐々にシーンが変化するのはいくつかのフレームに渡って生じることが多く、フレームは、典型的には、符号化する大量のビットを必要とするからである。このように、フレーム中に低解像度モードからの切り換えは、低解像度モードへすぐに戻る危険性があるので得策でない。したがって、条件Ｃ２は、積Ｑ．Ｍ２が低く、デコーダのバッファ・レベルが十分に高く、かつ最終シーン変化が生じて以来十分な時間が経過したことを要する。これらだけで、３つの比較のうちのいずれか１つで、切り換えが生じる場合に高解像度モードの永続性を保証するには十分ではない。しかしながら、３つすべての比較が成立すれば、切り換えが生じる場合に永続的な高解像度モードが達成できると合理的に推定できる。
信号Ｓ１２０およびＳ１２１は、バイナリ入力信号Ｓ１０８によって制御されるマルチプレクサ１３０に印加される。Ｓ１０８がハイに設定される場合、すなわち、直前のフレームを符号化するのに使用された解像度が高かった場合は、信号Ｓ１２０が、マルチプレクサ１３０の出力Ｓ１２２に現れる。
逆に、Ｓ１０８がローに設定される場合、すなわち、直前のフレームを符号化するのに使用された解像度が低かった場合は、信号Ｓ１２１が、マルチプレクサ１３０の出力に現れる。出力Ｓ１２２は、解像度切り換えコントローラ１０の最終的な出力である。出力がハイの場合、ビデオ・ストリームを符号化している解像度は切り換えられる。すなわち、前のフレームの解像度が高かった場合には、現在のフレームの解像度は低くなり、その逆も同様である。
図６は、フレーム統計計算器手段８０の一実施形態例を示す。フレーム統計計算器手段８０に印加される入力は、入力信号Ｓ２００およびＳ２０１である。入力信号Ｓ２００は、現フレーム抽出器手段７０からの現在のフレームを保持する。入力信号Ｓ２０１は、フレーム・バッファ手段９０からの前のフレームを保持する。フレーム統計計算器手段８０の実施形態例は、信号Ｓ２００およびＳ２０１が印加されるシーン変化検出器手段２００を実装する。シーン変化検出器手段２００は、現在のフレームがフレーム平均およびピクセル間差分を含むその統計値を前のフレームの対応統計値と比較することによって、シーン変化を示すかどうかを決定する。
シーン変化検出器手段２００の出力Ｓ２１０は、シーン変化履歴バッファ６０および符号器手段３０に印加される。フレーム統計計算器８０の実施形態は、信号Ｓ２００およびＳ２０１が印加される動き推定器手段２１０をさらに実装する。動き推定器手段２１０は、前のフレームと現フレームとの間の動き推定値を、動き補償された残余のエネルギーを含む動き統計値を検討することによって計算する。動き推定器手段２１０の出力Ｓ２１０は、解像度切り換えコントローラ手段１０およびフレーム統計収集器手段５０に印加される。フレーム統計計算器８０は、信号Ｓ２００およびＳ２０１が印加される量子化尺度予測器手段２２０をさらに実装する。量子化尺度予測器手段２２０は、現在のフレームを符号化するのに必要となる予想量子化尺度を推定し、この推定は、前および現在のフレームの複雑性と、前のフレームを符号化するのに必要だったビット数とを含む現在および前のフレーム統計値に基づく。推定値は、信号Ｓ２１２を介して出力され、解像度切り換えコントローラ１０に印加されて、上述のような符号化解像度を決定する際に使用される。
フレーム統計計算器８０は、信号Ｓ２００が印加されるピクセル間差分計算器手段２３０をさらに実装する。ピクセル間差分計算器手段２３０は、現在のフレームについての平均ピクセル間差分を計算して、統計値を信号Ｓ２１３を介して符号器手段３０およびフレーム統計収集器手段５０へ出力する。
代わりとして、本実施形態例は、複数の前のフレームの統計値を使用して（ここで、当該統計値は、フレーム統計収集器で入手可能である）、予測量子化尺度を推定して、シーン変化検出を実施することもできる。加えて、代替実施形態は、現在のフレームの差異を含む追加の統計値を計算して、これらの統計値を符号器手段３０および解像度切り換えコントローラ１０へ送信して、符号化の際の使用に供することもできる。
図７は、フレーム統計収集器手段５０の一実施形態例を示す。現在のフレームを符号化するに先立って、当該フレームのフレーム統計値は、フレーム統計収集器手段５０へ送信する前に統計値を１フレーム期間分遅らせる遅延ラッチに保持される。さらに、現在のフレームが符号化された直後に、当該フレームの符号化パラメータは、フレーム統計収集器手段５０に直接印加される。これは、次のフレームを符号化する直前に行われる。よって、フレーム統計収集器手段５０への入力信号は、フレーム統計値と、最後に符号化されたフレームの符号化パラメータとの情報を保持する。
統計情報は、フレーム統計収集器５０によって処理されて、解像度切り換えコントローラ１０および符号器手段３０へ送られて、符号化解像度および符号化パラメータを判断する際の「アプリオリな」情報として使用される。実施形態例において、フレーム統計収集器手段５０への入力は、入力信号Ｓ３００，Ｓ３０１，Ｓ３０２，Ｓ３０３，およびＳ３０４である。信号Ｓ３００は、前のフレームを符号化した解像度についての情報を保持する。この情報は、解像度統計収集器手段４０によって収集される。信号Ｓ３０１およびＳ３０３は、それぞれ、前のフレームの動き推定値および前のフレームのピクセル間差分の情報を保持する。これらの両信号は、元々は、フレーム統計計算器によって生成され、統計収集器に印加される前に遅延ラッチを通る。Ｓ３０１に保持された動き情報は、移動動き平均手段３１０によって使用されて、移動動き平均の新たな値を生成する。
最後に、信号Ｓ３０２およびＳ３０４は、最後に符号化されたフレームを符号化するのに使用された符号化パラメータについての情報、すなわち、当該フレームを符号化するのに使用された平均量子化尺度および当該フレームを符号化するのに使用されたビット数を、それぞれ保持する。これらの信号は、符号器手段３０によって生成されて、フレーム統計収集器５０に直接印加される。信号Ｓ３０２についての情報を使用して、移動Ｑ平均手段３２０によって、移動平均の新たな値を計算する。信号Ｓ３０４についての情報を使用して、バッファ・レベル手段３４０によって、新たなデコーダのバッファ・レベルを計算する。
本発明において、様々な修正および変形を本発明の範囲および精神から逸脱することなく行いうることは、当業者にとって明らかであろう。本発明の他の実施形態は、本明細書に開示された本発明の明細書および実施を考慮すれば、当業者にとって明らかであろう。本明細書および例は例示に過ぎず、本発明の範囲および精神は、請求項によって示されることが意図されている。
画像のシーケンスにおける特定の画像を符号化するための解像度モードの選択のための従来技術の符号化システムを示す図である。 デジタル・ビデオにおける特定のフレームを符号化するための解像度モードの選択のための従来技術の符号化システムを示す図である。 本発明のシステムの一実施形態を示す図である。 デジタル・ビデオ・シーケンスを予測符号化するための方法を示すフロー図である。 解像度切り換えコントローラの一実施形態の動作を示す図である。 フレーム統計計算器の一実施形態の動作を示すフロー図である。 フレーム統計収集器の一実施形態の動作を示すフロー図である。

Claims (21)

  1. デジタル・ビデオ・シーケンスを予測符号化するための方法であって、
    符号化中の現在のフレームの解像度を動的に選択するステップであって、前記選択は、少なくとも１つの前のフレームと現在のフレームとを含む複数のフレームの統計情報及び符号化情報に基づく、前記選択するステップと、
    前記動的に選択された解像度に基づいて符号化パラメータを選択して、現在のフレームを選択された解像度で符号化するステップと
    を含み、
    前記統計情報は、シーン変化情報と推定動き情報とを含み、
    前記符号化情報は、前記フレームによって使用される量子化尺度と、ビットの有効性尺度とを含み、
    前記動的に選択される解像度は、前記統計情報及び前記符号化情報に基づく関数条件にさらに基づき、及び、前記選択の基礎となる関数条件は、高／低解像度切り換えと比べて低／高解像度切り換えでは異なる、前記方法。
  2. 条件Ｃ１が真の場合に影響を受ける高／低解像度切り換えが以下の条件によって与えられるかどうかを判断するステップをさらに含み、
    Ｃ１＝｛｛Ｑ＞ＴＱ｝ＡＮＤ｛Ｍ＞ＴＭ｝｝ＯＲ｛Ｂｄｅｃ＜ＴＢ｝
    式中、Ｑは複数の前フレームを符号化するために使用された量子化尺度であり、Ｍは複数の前フレームと前記現在のフレームとに存在する前記動き尺度であり、Ｂｄｅｃはデコーダのバッファの満杯の尺度であり、ＴＱ，ＴＭ，およびＴＢは予め設定された閾値である、請求項１に記載の方法。
  3. 前記量子化尺度は、複数の前のフレームの前記量子化尺度と、前記現在のフレームの予測量子化尺度との移動平均に基づく、請求項２に記載の方法。
  4. 前記量子化尺度は、複数の前のフレームの前記量子化尺度の移動平均に基づき、さらに動き推定値は、個別のフレームの動き尺度の移動平均に基づき、前記動き尺度は、前記フレームの動き補償された残余のエネルギーと、前記フレームについての動きベクトルの大きさとに基づく、請求項２に記載の方法。
  5. 条件Ｃ２が真の場合に影響を受ける低／高解像度切り換えが以下の条件によって与えられるかどうかを判断するステップをさらに含み、
    Ｃ２＝｛Ｑ．Ｍ２＞ＴＱＭ｝ＡＮＤ｛Ｂｄｅｃ＞ＴＢ２｝ＡＮＤ｛Ｆｃｕｒｒ−ＦＳＣ＞ＴＳＣ｝
    式中、Ｑは複数の前フレームを符号化するために使用された量子化尺度であり、Ｍは複数の前フレームと前記現在のフレームとに存在する前記動き尺度であり、Ｂｄｅｃはデコーダのバッファの満杯の尺度であり、式中、ＦｃｕｒｒおよびＦＳＣはそれぞれ前記現在のフレームおよび最終のシーン変化フレームのフレーム番号であり、およびＴＱＭ，ＴＢ２，およびＴＳＣは予め設定された閾値である、請求項１に記載の方法。
  6. 前記量子化尺度は、複数の前のフレームの前記量子化尺度と、前記現在のフレームの予測量子化尺度との移動平均に基づく、請求項５に記載の方法。
  7. 前記量子化尺度は、複数の前のフレームの前記量子化尺度の移動平均に基づき、さらに動き推定値は、個別のフレームの動き尺度の移動平均に基づき、前記動き尺度は、前記フレームの動き補償された残余のエネルギーと、前記フレームについての動きベクトルの大きさとに基づく、請求項５に記載の方法。
  8. デコーダのバッファの満杯を判断することによってビットの前記有効性尺度を測定するステップをさらに含む、請求項１に記載の方法。
  9. 前記解像度を動的に選択するステップが、前記現在のフレームは直前のフレームとは異なる解像度で符号化すると判断した場合に、前記現在のフレームを非予測的に符号化することによって、当該選択による解像度の出力を取得するステップをさらに含む、請求項８に記載の方法。
  10. シーン変化検出は、ピクセル間差分と、２つの連続するフレームのフレーム平均とに基づく、請求項１に記載の方法。
  11. デジタル・ビデオ・シーケンスを予測符号化するためのシステムであって、
    符号化中の現在のフレームの解像度を動的に選択するための動的解像度切り換えコントローラ手段であって、前記選択は、少なくとも１つの前のフレームと現在のフレームとを含む複数のフレームの統計情報及び符号化情報に基づく、前記コントローラ手段と、
    前記動的に選択された解像度に基づいて符号化パラメータを選択して、現在のフレームを選択された解像度で符号化するための符号器手段と
    を備えており、
    前記統計情報は、シーン変化情報と推定動き情報とを含み、
    前記符号化情報は、前記フレームによって使用される量子化尺度と、ビットの有効性尺度とを含み、
    前記動的に判断される解像度は、前記統計情報及び前記符号化情報に基づく関数条件にさらに基づき、及び、前記選択の基礎となる関数条件は、高／低解像度切り換えと比べて低／高解像度切り換えでは異なる、前記システム。
  12. 条件Ｃ１が真の場合に影響を受ける高／低解像度切り換えが以下の条件によって与えられるかどうかを判断するために関数基準が評価され、
    Ｃ１＝｛｛Ｑ＞ＴＱ｝ＡＮＤ｛Ｍ＞ＴＭ｝｝ＯＲ｛Ｂｄｅｃ＜ＴＢ｝
    式中、Ｑは複数の前フレームを符号化するために使用された量子化尺度であり、Ｍは複数の前フレームと前記現在のフレームとに存在する前記動き尺度であり、Ｂｄｅｃはデコーダのバッファの満杯の尺度であり、ＴＱ，ＴＭ，およびＴＢは予め設定された閾値である、請求項１１に記載のシステム。
  13. 前記量子化尺度は、複数の前のフレームの前記量子化尺度と、前記現在のフレームの予測量子化尺度との移動平均に基づく、請求項１２に記載のシステム。
  14. 前記量子化尺度は、複数の前のフレームの前記量子化尺度の移動平均に基づき、さらに動き推定値は、個別のフレームの動き尺度の移動平均に基づき、前記動き尺度は、前記フレームの動き補償された残余のエネルギーと、前記フレームについての動きベクトルの大きさとに基づく、請求項１２に記載のシステム。
  15. 条件Ｃ２が真の場合に影響を受ける低／高解像度切り換えが以下の条件によって与えられるかどうかを判断するために関数基準が評価され、
    Ｃ２＝｛Ｑ．Ｍ２＞ＴＱＭ｝ＡＮＤ｛Ｂｄｅｃ＞ＴＢ２｝ＡＮＤ｛Ｆｃｕｒｒ−ＦＳＣ＞ＴＳＣ｝
    式中、Ｑは複数の前フレームを符号化するために使用された量子化尺度であり、Ｍは複数の前フレームと前記現在のフレームとに存在する前記動き尺度であり、Ｂｄｅｃはデコーダのバッファの満杯の尺度であり、式中、ＦｃｕｒｒおよびＦＳＣはそれぞれ前記現在のフレームおよび最終のシーン変化フレームのフレーム番号であり、およびＴＱＭ，ＴＢ２，およびＴＳＣは予め設定された閾値である、請求項１１に記載のシステム。
  16. 前記量子化尺度は、複数の前のフレームの前記量子化尺度と、前記現在のフレームの予測量子化尺度との移動平均に基づく、請求項１５に記載のシステム。
  17. 前記量子化尺度は、複数の前のフレームの前記量子化尺度の移動平均に基づき、さらに動き推定値は、個別のフレームの動き尺度の移動平均に基づき、前記動き尺度は、前記フレームの動き補償された残余のエネルギーと、前記フレームについての動きベクトルの大きさとに基づく、請求項１５に記載のシステム。
  18. ビットの前記有効性尺度が、デコーダのバッファの満杯を判断することによって測定される、請求項１１に記載のシステム。
  19. 前記解像度を動的に選択することが、前記現在のフレームは直前のフレームとは異なる解像度で符号化すると判断した場合に、前記現在のフレームを非予測的に符号化することによって、当該選択による解像度の出力を取得することをさらに含む、請求項１８に記載のシステム。
  20. シーン変化検出は、ピクセル間差分と、２つの連続するフレームのフレーム平均とに基づく、請求項１１に記載のシステム。
  21. コンピュータに、請求項１〜１０のいずれか一項に記載の各方法のステップを実行させるコンピュータ・プログラム。
JP2006551048A 2004-01-29 2004-11-02 デジタル・ビデオ・シーケンスを予測符号化するための方法、システムおよびコンピュータ・プログラム Expired - Fee Related JP4791380B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/767,597 US7352808B2 (en) 2004-01-29 2004-01-29 System and method for the dynamic resolution change for video encoding
US10/767,597 2004-01-29
PCT/US2004/036377 WO2005076631A1 (en) 2004-01-29 2004-11-02 System and method for the dynamic resolution change for video encoding

Publications (3)

Publication Number Publication Date
JP2007520157A JP2007520157A (ja) 2007-07-19
JP2007520157A5 JP2007520157A5 (ja) 2011-06-02
JP4791380B2 true JP4791380B2 (ja) 2011-10-12

Family

ID=34807703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006551048A Expired - Fee Related JP4791380B2 (ja) 2004-01-29 2004-11-02 デジタル・ビデオ・シーケンスを予測符号化するための方法、システムおよびコンピュータ・プログラム

Country Status (6)

Country Link
US (2) US7352808B2 (ja)
JP (1) JP4791380B2 (ja)
KR (1) KR100920332B1 (ja)
CN (1) CN100518329C (ja)
TW (1) TWI330037B (ja)
WO (1) WO2005076631A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI301953B (en) * 2005-03-14 2008-10-11 Qisda Corp Methods and apparatuses for video encoding
JP5058157B2 (ja) * 2006-04-19 2012-10-24 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
US20080129751A1 (en) * 2006-12-04 2008-06-05 George Lyons Smart Blanking Graphics Controller, Device Having Same, And Method
EP2143278B1 (en) * 2007-04-25 2017-03-22 Thomson Licensing Inter-view prediction with downsampled reference pictures
JP2008283560A (ja) * 2007-05-11 2008-11-20 Canon Inc 画像処理装置およびその方法
US20090202165A1 (en) * 2008-02-13 2009-08-13 Kabushiki Kaisha Toshiba Image decoding method and image decoding apparatus
US20090279601A1 (en) * 2008-05-08 2009-11-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and Apparatus of Displaying Video
US9407925B2 (en) * 2008-10-30 2016-08-02 Vixs Systems, Inc. Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith
JP4636474B2 (ja) * 2008-11-17 2011-02-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 映像変換装置、映像再生装置、映像変換再生システム及びプログラム
US20100150245A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Multimedia Stream Selection
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) * 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US9300969B2 (en) 2009-09-09 2016-03-29 Apple Inc. Video storage
US9565439B2 (en) * 2009-10-15 2017-02-07 Nbcuniversal Media, Llc System and method for enhancing data compression using dynamic learning and control
KR20130038231A (ko) * 2010-03-12 2013-04-17 퀄컴 엠이엠에스 테크놀로지스, 인크. 디스플레이의 리프레시 레이트의 증가를 가능하게 하기 위한 라인 승산
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
EP2448265A1 (en) 2010-10-26 2012-05-02 Google, Inc. Lip synchronization in a video conference
CN102595093A (zh) 2011-01-05 2012-07-18 腾讯科技（深圳）有限公司 动态更改视频编码的视频通信方法及***
US9602819B2 (en) 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
US8681866B1 (en) * 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US8780976B1 (en) * 2011-04-28 2014-07-15 Google Inc. Method and apparatus for encoding video using granular downsampling of frame resolution
US9210302B1 (en) 2011-08-10 2015-12-08 Google Inc. System, method and apparatus for multipoint video transmission
US9578336B2 (en) 2011-08-31 2017-02-21 Texas Instruments Incorporated Hybrid video and graphics system with automatic content detection process, and other circuits, processes, and systems
SI2744204T1 (sl) * 2011-09-14 2019-02-28 Samsung Electronics Co., Ltd., Postopek dekodiranja enote za napovedovanje (PU) na podlagi njene velikosti
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US8917309B1 (en) 2012-03-08 2014-12-23 Google, Inc. Key frame distribution in video conferencing
US8791982B1 (en) 2012-06-27 2014-07-29 Google Inc. Video multicast engine
KR102085270B1 (ko) 2013-08-12 2020-03-05 삼성전자 주식회사 가장 작은 왜곡 값을 갖는 해상도를 선택하는 이미지 처리 방법과 상기 방법을 수행하는 장치들
CN105744270B (zh) * 2014-12-10 2019-01-01 ***通信集团公司 一种带云台的视频编码方法及装置
US10165272B2 (en) * 2015-01-29 2018-12-25 Arris Enterprises Llc Picture-level QP rate control performance improvements for HEVC encoding
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
US10332534B2 (en) 2016-01-07 2019-06-25 Microsoft Technology Licensing, Llc Encoding an audio stream
US10356406B2 (en) * 2016-01-19 2019-07-16 Google Llc Real-time video encoder rate control using dynamic resolution switching
WO2017219353A1 (en) * 2016-06-24 2017-12-28 Qualcomm Incorporated Methods and systems of performing rate control based on scene dynamics and channel dynamics
US20180063549A1 (en) * 2016-08-24 2018-03-01 Ati Technologies Ulc System and method for dynamically changing resolution based on content
CN109151481B (zh) * 2017-06-28 2022-03-15 腾讯科技（深圳）有限公司 图片的传输和接收的方法、装置、***、设备和介质
CN109213109A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 编码器分辨率检测方法
CN108391127B (zh) * 2018-04-27 2021-08-10 腾讯科技（深圳）有限公司 视频编码方法、装置、存储介质及设备
CN111050175A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 视频编码的方法和装置
WO2020115520A1 (en) * 2018-12-02 2020-06-11 Playsight Interactive Ltd. Ball tracking in sport events
CN113473131B (zh) * 2021-07-01 2023-12-29 成都国科微电子有限公司 视频编码码率动态调节方法、装置、电子设备及存储介质
CN117114992B (zh) * 2023-08-26 2024-07-16 浙江大学 一种实时超分辨率方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09271026A (ja) * 1996-03-29 1997-10-14 Fujitsu Ltd 画像符号化装置
JPH10304381A (ja) * 1997-05-01 1998-11-13 Fujitsu Ltd 動画像符号化装置及び方法
JPH11317951A (ja) * 1998-04-30 1999-11-16 Sony Corp データ符号化装置、データ符号化方法及びデータ伝送方法
JP2000134615A (ja) * 1998-10-21 2000-05-12 Nippon Telegr & Teleph Corp <Ntt> 動的符号化制御方法、その装置及びそのプログラムを記録した記録媒体
JP2001359096A (ja) * 1999-06-08 2001-12-26 Matsushita Electric Ind Co Ltd 画像符号化装置
JP2002016923A (ja) * 2000-06-28 2002-01-18 Mitsubishi Electric Corp 画像符号化装置および画像符号化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734419A (en) 1994-10-21 1998-03-31 Lucent Technologies Inc. Method of encoder control
US5686964A (en) * 1995-12-04 1997-11-11 Tabatabai; Ali Bit rate control mechanism for digital image and video data compression
US6625322B1 (en) 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
US7177358B2 (en) * 2000-06-27 2007-02-13 Mitsubishi Denki Kabushiki Kaisha Picture coding apparatus, and picture coding method
DE10048735A1 (de) * 2000-09-29 2002-04-11 Bosch Gmbh Robert Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09271026A (ja) * 1996-03-29 1997-10-14 Fujitsu Ltd 画像符号化装置
JPH10304381A (ja) * 1997-05-01 1998-11-13 Fujitsu Ltd 動画像符号化装置及び方法
JPH11317951A (ja) * 1998-04-30 1999-11-16 Sony Corp データ符号化装置、データ符号化方法及びデータ伝送方法
JP2000134615A (ja) * 1998-10-21 2000-05-12 Nippon Telegr & Teleph Corp <Ntt> 動的符号化制御方法、その装置及びそのプログラムを記録した記録媒体
JP2001359096A (ja) * 1999-06-08 2001-12-26 Matsushita Electric Ind Co Ltd 画像符号化装置
JP2002016923A (ja) * 2000-06-28 2002-01-18 Mitsubishi Electric Corp 画像符号化装置および画像符号化方法

Also Published As

Publication number Publication date
US20050169545A1 (en) 2005-08-04
KR100920332B1 (ko) 2009-10-07
CN1906949A (zh) 2007-01-31
WO2005076631A1 (en) 2005-08-18
TWI330037B (en) 2010-09-01
CN100518329C (zh) 2009-07-22
US8160130B2 (en) 2012-04-17
US7352808B2 (en) 2008-04-01
JP2007520157A (ja) 2007-07-19
US20080063054A1 (en) 2008-03-13
KR20060132890A (ko) 2006-12-22
TW200536379A (en) 2005-11-01

Similar Documents

Publication Publication Date Title
JP4791380B2 (ja) デジタル・ビデオ・シーケンスを予測符号化するための方法、システムおよびコンピュータ・プログラム
JP2007520157A5 (ja)
US8718138B2 (en) Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image
EP1938615B1 (en) Adaptive gop structure in video streaming
JP5164866B2 (ja) ビデオ画像シーケンスの時間的頻度を適合させる方法および装置
JPH118855A (ja) デジタル・ビデオ信号エンコーダ及び符号化方法
KR20000068659A (ko) 가변 비트 레이트 비디오 코딩 방법 및 대응 비디오 코더
JP2011510562A (ja) 知覚上の品質を評価する方法
US6574277B1 (en) Moving-picture coding apparatus and method
EP1001633A2 (en) Encoding rate controlling apparatus and information encoding apparatus
KR101200924B1 (ko) 다수의 기준 화상에 대한 고속 움직임 추정
JP6867275B2 (ja) 映像符号化パラメータ調整装置、映像符号化パラメータ調整方法及びプログラム
WO2019162969A1 (en) System for computationally efficient analysis of traffic details in traffic video stream and a method thereof
EP1883246B1 (en) Video Encoder with Adaptive Frame Skipping
US9723314B2 (en) Flicker reduction circuit and method for compressed video transmission
US10516896B2 (en) Encoding device, encoding method, and storage medium
JP2006197006A (ja) 動画像符号化装置
WO2004045210A1 (ja) リピートフィールド検出装置
JP2002281508A (ja) スキップ領域検出型動画像符号化装置および記録媒体
JP2005184626A (ja) 画像処理装置
JP4582710B2 (ja) 動画像符号化装置
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
JP2006129375A (ja) 動画データ生成装置及び動画データ生成方法
JPH09214975A (ja) シーンチェンジ適応動画像符号化方法および装置
EP1263237A2 (en) Quantizing unit setting apparatus and method, coding apparatus and method, and information recording medium

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110325

A524 Written submission of copy of amendment under section 19 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20110325

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20110325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110712

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110721

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees