JP2010520678A - 取得と、ベース及び拡張レイヤとの釣り合いとのために、iフレームを適応的に決定するシステム及び方法 - Google Patents
取得と、ベース及び拡張レイヤとの釣り合いとのために、iフレームを適応的に決定するシステム及び方法 Download PDFInfo
- Publication number
- JP2010520678A JP2010520678A JP2009552016A JP2009552016A JP2010520678A JP 2010520678 A JP2010520678 A JP 2010520678A JP 2009552016 A JP2009552016 A JP 2009552016A JP 2009552016 A JP2009552016 A JP 2009552016A JP 2010520678 A JP2010520678 A JP 2010520678A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- encoded
- size
- data packet
- layer data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本発明は、マルチメディアデータを処理する装置、システム、及び方法を含む。マルチメディアデータを処理する方法は、該マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化すること、及び、該符号化Iフレームのサイズと、該符号化チャネル切替フレームおよび該符号化Pフレームのサイズとが、第1の条件を満たす場合、該符号化Iフレームを選択すること、を含む。マルチメディアデータを処理する装置は、該マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化し、及び、該符号化Iフレームのサイズと、該符号化チャネル切替フレームおよび該符号化Pフレームのサイズとが、第1の条件を満たす場合、該符号化Iフレームを選択する符号化器を含む。
【選択図】図1
【選択図】図1
Description
本特許出願は、2007年3月1日に出願され、この譲受人に譲渡され、ここに参照として明示的に組込まれている、「SYSTEMS AND METHODS FOR ADAPTIVELY DECIDING、IFRAMES FOR ACQUISITION AND BASE AND ENHANCEMENT LAYER、BALANCING」というタイトルの仮出願60/892,337の優先権を主張する。
本発明は、オーディオデータ、ビデオデータあるいはこれら両方を含むことがあるマルチメディアデータの符号化に関する。より詳しくは、本発明は、取得と、ベース及び拡張レイヤとの釣り合いのためにIフレームを適応的に決定することに関連する。
マルチメディアデータは、オーディオデータ、ビデオデータ、あるいはオーディオ及びビデオデータの組合せになりえる。マルチメディアデータは、1つまたは複数のフレームまたはピクチャを表わす多くのビットを含む。マルチメディアデータは、Iフレーム(イントラ符号化フレーム)で始まり、その後、1つまたは複数のBフレーム(双方向フレームbi-directional frame)またはPフレーム(予測フレームpredictive frame)が続く。一般に、Iフレームは、フレームを表示するための全てのデータを記憶し、Bフレームは1つ又は複数の前のおよび/または後のフレームに依存する(例えば、前のフレームから変化したデータを単に含むか、後のフレーム中のデータとは異なることがある)。また、Pフレームは、前のフレームから変化したデータを含む。一般的な用法では、Iフレームは、符号化されたマルチメディアデータ中にBフレームおよびPフレームとともにちりばめられている。サイズ(例えば、フレームを符号化するために用いられるビット)の点から、Iフレームは通常Pフレームより大きく、それは通常Bフレームより大きい。
マルチメディアデータは異なる複数のショット(すなわちシーン)に分割することができる。ショットは、1つのアクションについて連続する複数のビデオフレームをもつビデオシーケンスである。連続する2つのフレームが異なるイメージあるいは場面を作り出す場合、シーンチェンジが生じる。シーンチェンジは、多くのシーンチェンジアルゴリズムを用いて検出することができ、マルチメディアデータの効率的な符号化の重要な部分になりえる。一連のフレーム中の1つのフレームが、前のフレームと比較して異なるシーンを示すデータをもつとき、シーンチェンジが生じる。一般に、一連のフレームは、任意の隣接した2つまたは3つの(あるいはより多くの)フレームに著しい変化を持たないことがあり、あるいは、遅い変化、あるいは速い変化があってもよい。
シーンが著しく変化しないとき、多くのBフレームおよびPフレームが後続するIフレームは、後のマルチメディアデータの復号および表示が視覚的に許容できるように、ビデオを十分に符号化することができる。しかし、シーンが著しく、突然またはゆっくり変わるとき、追加のIフレームおよびそれほど予測的でない符号化(BフレームおよびPフレーム)は、続いて復号される視覚的に許容できる結果を生成するために用いられる。急なシーンチェンジとして分類されたフレームの内容は、その前のフレームとは異なるため、急なシーンチェンジフレームは、通常Iフレームとして符号化されるべきである。しかし、シーンチェンジ検出は必ずしも正確だとは限らないので、マルチメディアデータをIフレーム、Bフレーム、またはPフレームとして符号化するかどうかを決定することにおける改良は、符号化効率を改善することができる(すなわち、符号化されるビットの数を減少させる)。
この発明は、マルチメディアデータを処理する装置、システムおよび方法を含む。マルチメディアデータを処理する方法は、前記マルチメディアデータのフレームをIフレーム、チャネル切替フレーム、及びPフレームとして符号化すること、及び、前記符号化されたIフレームのサイズと、前記符号化されたチャネル切替フレームおよび前記符号化されたPフレームのサイズとが第1の条件を満たす場合、前記符号化されたIフレームを選択すること、を含む。
マルチメディアデータを処理する装置は、前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、及びPフレームとして符号化し、符号化されたIフレームのサイズと、前記符号化されたチャネル切替フレームおよび前記符号化されたPフレームのサイズとが、第1の条件を満たす場合、前記符号化されたIフレームを選択する符号化器を含むことがある。
マルチメディアデータを処理する装置は、前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、及びPフレームとして符号化する手段を含むことがある。前記符号化する手段は、また、前記マルチメディアデータのフレームをBフレームとして符号化し、前記符号化されたIフレームと前記符号化されたBフレームとのうちの少なくとも1つを用いて第1ベースレイヤデータパケット及び第1拡張レイヤデータパケットを生成し、前記符号化されたPフレームと前記チャネル切替フレームとのうちの少なくとも1つを用いて、第2ベースレイヤデータパケット及ぶ第2拡張レイヤデータパケットを生成する。前記装置は、さらに、前記符号化されたIフレームのサイズと、前記符号化されたチャネル切替フレーム及び前記符号化されたPフレームのサイズとが第1の条件を満たす場合、前記符号化されたIフレームを選択する手段を含むことがある。
機械読み取り可能な媒体は、マルチメディアデータを処理する命令を含むことがあり、前記命令は実行されると、機械に、前記マルチメディアデータのフレームをIフレーム、チャネル切替フレーム、及びPフレームとして符号化させ、前記符号化されたIフレームのサイズと、前記符号化されたチャネル切替フレーム及び前記符号化されたPフレームのサイズとが第1の条件を満たす場合、前記符号化されたIフレームを選択させる。
発明の特徴、オブジェクトおよび利点は、図面とともに考慮されると、以下に述べられた詳細な説明からより明白になるだろう。
本発明の種々の特徴の実施形態を実装する装置、システム、および方法が、ここに、図面を参照して説明される。図面および関連する説明は、発明のいくつかの実施形態を説明するために提供されるが、この発明の範囲を制限するものではない。図面の全体にわたって、参考番号は参考されるエレメント間で同じものを示すために再度使用される。さらに、各参照番号の最初の数字は、当該エレメントが最初に現われる図を示す。
図1は、マルチメディア(例えばビデオ、オーディオあるいは両方)データの符号化及び復号を行うシステム100のブロック図である。マルチメディアデータは、一連のピクチャまたはビデオフレームの形式でもよい。システム100はマルチメディアデータを、符号化(例えば、圧縮)したり、復号(例えば解凍)したりするように構成されてもよい。システム100は、サーバ105、デバイス110、および、デバイス110にサーバ105を接続する通信チャンネル115を含むことがある。システム100は、マルチメディアデータの符号化及び復号を行う、以下に述べる方法を説明するために使用されることがある。システム100は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードあるいはそれの任意の組合せを用いて実装されることがある。1つまたは複数のエレメントを配置および/または組み合わすことができ、この発明の趣旨及び範囲を維持しながら、システム100の代わりに他のシステムも用いることができる。さらなるエレメントをシステム100に追加してもよいし、あるいは、この発明の趣旨および範囲を維持しながらシステム100から取り除いてもよい。
サーバ105はプロセッサ120、記憶媒体125、符号化器130およびI/Oデバイス135(例えばトランシーバ)を含むことがある。プロセッサ120および/または符号化器130は、一連のピクチャまたはビデオフレームの形で、マルチメディアデータを受信することがある。プロセッサ120および/または符号化器130は、アドバンストRISCマシン(ARM:Advanced RISC Machine)、コントローラ、デジタル信号プロセッサ(DSP)、マイクロプロセッサあるいはマルチメディアデータを処理することができる他のデバイスでもよい。プロセッサ120および/または符号化器130は、記憶するためにマルチメディアデータを記憶媒体125に送信してもよいし、及びまたは、マルチメディアデータを符号化してもよい。記憶媒体125は、さらに、サーバ105の動作および機能を制御するために、プロセッサ120および/または符号化器130によって用いられるコンピュータ命令を記憶することがある。記憶媒体125は、マルチメディアデータを記憶する1つまたは複数のデバイス、および/または情報を記憶する他の機械読み取り可能な媒体を表わすことがある。用語「機械読み取り可能媒体」は、これに限定するものではないが、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読み出し専用メモリ(ROM)、EPROM、EEPROM、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、DVD、無線チャネル、及び、命令群およびまたはデータを格納、包含または、運ぶことのできる種々の他の媒体を含む。
記憶媒体125から受信されたコンピュータ命令を用いて、符号化器130はマルチメディアデータの並列および順次処理(例えば符号化)の両方を実行する。以下の方法に説明されるように、コンピュータ命令が実行されてもよい。一旦マルチメディアデータが符号化されれば、符号化されたマルチメディアデータは、通信チャンネル115によってデバイス110への送信のためにI/Oデバイス135へ送られることがある。
デバイス110は、プロセッサ140、記憶媒体145、復号器150、I/Oデバイス155(例えばトランシーバ)、およびディスプレイデバイスまたはスクリーン160を含むことがある。デバイス110は、コンピュータ、ディジタルビデオレコーダ、送受信器handset device(例えば携帯電話、モバイルユニット、ブラックベリー(Blackberry)、iPhoneなど)、セットトップボックス、テレビ、および、マルチメディアデータを受信、処理(例えば、圧縮)および/または表示することができる他のデバイスでもよい。I/Oデバイス155は、符号化されたマルチメディアデータを受信し、該符号化されたマルチメディアデータは、圧縮のために復号器150およびまたは記憶媒体145へ送られる。復号器150は、符号化されたマルチメディアデータを用いて、該マルチメディアデータを再生する。一旦復号されると、マルチメディアデータは記憶媒体145に保存することができる。記憶媒体145から検索されたコンピュータ命令群を用いて、復号器150は、マルチメディアデータの並列および順次処理(例えば減圧)の両方を実行し、一連のピクチャまたはビデオフレームを再生する。以下の方法に説明されるように、コンピュータ命令群が実装されてもよい。プロセッサ140は、記憶媒体145および/または復号器150からマルチメディアデータを受信し、該マルチメディアデータをディスプレイデバイス160に表示することがある。記憶媒体145は、さらに、デバイス110の動作および機能を制御するために、プロセッサ140および/または復号器150によって用いられるコンピュータ命令群を格納してもよい。
通信チャンネル115は、サーバ105とデバイス110との間で符号化されたマルチメディアデータを送信するために使用されてもよい。通信チャンネル115は、有線接続またはネットワーク、およびまたは無線接続またはネットワークでもよい。例えば、通信チャンネル115は、インターネット、同軸ケーブル、光ファイバーライン、衛星リンク、地上リンク、無線リンク、信号を伝搬することのできる他の媒体、およびこれらの任意の組合せを含むことができる。
図2は、非レイヤモードで動作する符号化装置200のブロック図である。装置200の符号化は、図1の符号化器130の代わりに用いてもよいし、符号化器130の一部でもよい。非レイヤモードにおいて、単一レイヤが、マルチメディアデータに使用され、また、フレームは、パケットフォーマット(例えばスーパフレーム)でグループ化されることがある。符号化装置200は、符号器205および比較モジュール210を含むことがある。符号化器205と比較モジュールとの間をつなぐフィードバックループ215は、マルチパス(例えば2つのパス)符号化及びトランスコーディング(transcoding)を可能にする。マルチパス符号化及びトランスコーディングにおいて、符号化器205は、第2パス符号化または再符号化前の各フレームの複雑さについての情報をもつ。符号化器205につながれたフィードフォワードループ220は、第2及び後続のパスの間、符号化されたマルチメディアデータが比較モジュール210をスキップすることを可能にする。
図3Aおよび3Bは、非レイヤモードにおける取得のために、マルチメディアデータを選択する方法のフローチャートである。図2、3Aおよび3Bを参照すると、マルチメディアデータは、ビットのストリームの形で符号化器205により受信される(ブロック305)。ビットのストリームは、1つ又は複数のスーパーフレームとしてグループ化または組織化されることがある。一実施形態において、スーパーフレームはマルチメディアデータの約1秒に等しい。例えば、各スーパーフレームは、マルチメディアデータのフレームレートに依存して、1、12、15、24、30あるいは60個のフレーム、または他の数のフレームをもつことがある。用語“フレーム”は、この開示において、用語“スーパーフレームと置き換えることができ、これらは、この開示の全体にわたって交換可能に使用することができる。用語“サイズ”は、この開示において、用語“スーパーフレームサイズ”と置き換えることができ、これらは、この開示の全体にわたって交換可能に使用することができる。さらに、ここに説明された装置及び方法は、ブロック、マクロブロック、フレームおよびスーパーフレームのようなマルチメディアデータの任意の部分に実行することができる。
符号化器205は、符号化すべきスーパーフレーム中で、1つまたは複数のフレームを選択する。一実施形態では、符号器205は、Iフレーム符号化及びチャネル切替フレーム符号化のための取得ポイントである、マルチメディアデータの各スーパーフレームにつき、1つ又は複数のフレーム(例えば、1つ又は複数のシーンチェンジフレーム)を検出及び選択するためのシーンチェンジ検出アルゴリズムを用いることがある(ブロック310)。Iフレーム符号化のために選択されたフレームは、チャネル切替フレーム符号化のために選択されたフレームとは同じかもしれないし、同じではないかもしれない。例えば、フレーム1がIフレーム符号化のために選択され、フレーム7がチャネル切替フレーム符号化のために選択されてもよい。この例において、配置されたPフレームはフレーム1である。したがって、符号化器205は、Iフレーム及びPフレームとしてフレーム1を符号化し、チャネル切替フレームとしてフレーム7を符号化する。別の実施形態では、符号化器205は、Iフレーム符号化、チャネル切替フレーム符号化、およびPフレーム符号化に、スーパーフレーム中で同じフレーム(例えばフレーム1)を選択することがある。
以下にさらに議論されるように、選択されたフレームは、多くの異なる符号化アルゴリズムを用いて符号化されてもよい。例えば、選択されたフレームは、3つの異なる符号化アルゴリズムを用いて符号化されて、標準品質のIフレーム、チャネル切替フレーム(例えば、低品質Iフレーム)、およびPフレームのような、符号化マルチメディアデータを生成する。チャネル切替フレームおよび標準品質のPフレームは、配置された取得ポイントである。符号化器205は、例えば、符号化効率、取得ポイント、およびパケット化に基づき、Iフレーム、チャネル切替フレーム、およびPフレームとして選択された1つまたは複数のフレームを符号化すべきかどうか、そしてそれはいつ符号化するかを適応的に決定する。
符号化器205は、マルチメディアデータ(例えば1つまたは複数の選択されたフレーム)を、Iフレームとして符号化する(ブロック315)。一実施形態では、符号化器205は、1つまたは複数の選択されたフレームを、標準品質のIフレームとして符号化するIフレーム符号化アルゴリズムを用いる。例えば、標準品質のIフレームは、レート制御アルゴリズムに基づく効果または品質を破らないようにするために、前の隣接フレームと同じかまたは類似する品質をもつことができる。Iフレーム符号化アルゴリズムは、標準品質をもつ符号化Iフレームを生成するために用いられる。
符号化器205は、マルチメディアデータ(例えば、1つまたは複数の選択されたフレーム)をチャネル切替フレームとして符号化する(ブロック320)。一実施形態では、符号化器205は、1つまたは複数の選択されたフレームをチャネル切替フレームまたは低品質Iフレームとして符号化するために、低品質Iフレーム符号化アルゴリズムを用いる。低品質Iフレーム符号化アルゴリズムを用いることにより、チャネル切替フレームの量子化パラメータ(QP)は、配置されたPフレームのQPよりある値だけ増加されることがある。チャネル切替フレーム符号化アルゴリズムは、低品質の符号化Iフレームを生成するために用いられる。
符号化器205は、マルチメディアデータ(例えば、1つまたは複数の選択されたフレーム)をPフレームとして符号化する(ブロック325)。一実施形態では、符号化器205は、1つまたは複数の選択されたフレームを、標準品質のPフレームとして符号化するために、Pフレーム符号化アルゴリズムを用いる。例えば、標準品質のPフレームは、レート制御アルゴリズムに基づく効果または品質を破らないようにするために、前の隣接フレームと同じかまたは類似する品質をもつことができる。Pフレーム符号化アルゴリズムは、標準品質をもつ符号化Pフレームを生成するために用いられる。ブロック328では、符号化器205は、マルチメディアデータの1つまたは複数の選択されたフレーム(例えば、スーパーフレーム内の残りのフレーム)を、PフレームまたはBフレームとして符号化する。
マルチメディアデータ(例えば1つまたは複数の選択されたフレーム)用の効率的な符号化アルゴリズムを決定するために、符号化器205は、符号化Iフレームのサイズ、符号化チャネル切替フレームのサイズ、および符号化Pフレームのサイズを決定する(ブロック330)。符号化Iフレームのサイズ、符号化チャネル切替フレームのサイズ、および符号化Pフレームのサイズが、ブロック315、320および325の符号化プロセスの間に決定される場合、ブロック330はスキップされてもよい。
図3Aの中で示されるように、ブロック315、320、325および328はスキップされてもよい。ブロック315、320、325および328がスキップされる場合、符号化器205は、スキップフラグを、符号化器205がマルチメディアデータの符号化をスキップしたことを示す「1」に設定する(ブロック333)。ブロック315、320、325および328がスキップされた場合、符号化器205は、Iフレームとして符号化された場合の当該1つまたは複数の選択されたフレームのサイズ、チャネル切替フレームとして符号化された場合の当該1つまたは複数の選択されたフレームのサイズ、Pフレームとして符号化された場合の当該1つまたは複数の選択されたフレームのサイズを推定する(ブロック330)。一実施形態では、マルチメディアデータ(例えば、1つまたは複数の選択されたフレーム)に、空間的複雑さおよび時間的複雑さに基づき当該マルチメディアデータのサイズを推定するために、符号化器205により、前処理が実行される。マルチメディアデータの複雑さの量は、Iフレーム符号化、チャネル切替フレーム符号化、およびPフレーム符号化がマルチメディアデータに実行された場合に、符号化器205が該マルチメディアデータのサイズを推定することを可能にする。
一旦サイズの決定または推定がなされると、比較モジュール210は、符号化チャネル切替フレームに符号化Pフレームを加えたサイズと、符号化Iフレームのサイズとを比較する(ブロック335)。標準品質Iフレームのサイズと、低品質Iフレームおよび標準品質Pフレームのサイズとを比較することにより、比較モジュール21は、選択されたフレームに最も効率的な符号化アルゴリズムを選択する。一実施形態では、比較モジュール210は、符号化チャネル切替フレームに符号化Pフレームを加えたスーパーフレームサイズと、符号化Iフレームのスーパーフレームサイズとを比較してもよい。比較モジュール210は、選択されたフレームについての符号化コードを符号化器205へ送信することがある。符号化コードは、選択されたフレームに使用するための符号化タイプを表わす。
ブロック340では、符号化器205は、スキップフラグが「1」に等しいかどうかを決定する。スキップフラグが「1」に等しい場合、符号化がスキップされたので、符号化器205は1つまたは複数の選択されたフレームを符号化する必要がある。
符号化器205は、Iフレームのサイズが、チャネル切替フレームに、配置されたPフレームを加えたサイズより小さい場合、Iフレーム符号化(すなわち、標準品質Iフレーム)を用いて、当該1または複数の選択されたフレームを符号化する(ブロック345)。符号化器205は、チャネル切替フレームにPフレームを加えたサイズがIフレームのサイズより小さい場合、チャネル切替フレーム符号化(すなわち、低品質Iフレームとして)およびPフレーム符号化(すなわち、標準品質Pフレームとして)を用いて、当該1つまたは複数の選択されたフレームを符号化する(ブロック350)。チャネル切替フレームおよび標準品質Pフレームは、取得ポイントとして配置される。従って、符号化器205は、最小量のビットまたはバイトを生成する符号化方法を選択する。ブロック355では、符号化器205は、PフレームあるいはBフレームとして、マルチメディアデータの1つまたは複数の選択されていないフレーム(例えば、スーパーフレーム中の残りのフレーム)を符号化する。
スキップフラグが「1」に等しくない場合、符号化がブロック315、320、325および328で実行されないので、符号化器205は、当該1つまたは複数の選択されたフレームを符号化する必要はない。符号化器205は、符号化Iフレームのサイズが、符号化チャネル切替フレームに符号化Pフレームを加えたサイズよりも小さい場合、符号化Iフレームを選択する(ブロック360)。符号化Iフレームが選択された場合、符号化器205は、符号化チャネル切替フレームおよび符号化Pフレームを廃棄することがある。符号化器205は、符号化チャネル切替フレームに符号化Pフレームを加えたサイズが、符号化Iフレームのサイズより小さい場合、符号化チャネル切替フレームと符号化Pフレーとを選択する(ブロック365)。符号化チャネル切替フレームおよび符号化Pフレームが選択された場合、符号化器205は符号化Iフレームを廃棄することがある。
図4は、レイヤモードで動作する符号化装置400のブロック図である。
レイヤモードにおいて、ベースレイヤおよび拡張レイヤはマルチメディアデータの処理のために使用される。符号化装置400は、符号化器405、バランシング(balancing)/パッディング(padding)モジュール410、比較モジュール415、およびパケット化モジュール420を含むことがある。符号化器405と比較モジュール415との間をつなぐフィードバックループ425は、マルチパス(例えば2つのパス)符号化およびトランスコーディングを可能にする。マルチパス符号化またはトランスコーディングにおいて、符号化器405は、第2パス符号化または再符号化前の各フレームの複雑さについての情報をもつ。符号化装置400は、図1の符号化器130の代わりに用いてもよいし、符号化器130の一部でもよい。
図5A、5Bおよび5Cは、レイヤモードにおける取得のためのマルチメディアデータの選択方法のフローチャートである。図4、5A、5Bおよび5Cを参照すると、マルチメディアデータは、ビットのストリームのかたちで、符号化器405によって受信される。当該ビットのストリームは、1つまたは複数のスーパーフレームとしてグループ化または組織化されることがある。符号化器405は、符号化するべきスーパーフレーム中で、シーンチェンジフレームを選択する。一実施形態では、符号化器405は、Iフレーム符号化及びチャネル切替フレーム符号化のための取得ポイントである、マルチメディアデータの各スーパーフレームにつき、1つ又は複数のフレーム(例えば、1つ又は複数のシーンチェンジフレーム)を検出及び選択するためのシーンチェンジ検出アルゴリズムを用いることがある(ブロック510)。Iフレーム符号化のために選択されたフレームは、チャネル切替フレーム符号化のために選択されたフレームとは同じかもしれないし、同じではないかもしれない。
以下に議論されるように、選択されたフレームは、多くの異なる符号化アルゴリズムを使用して符号化されてもよい。例えば、選択されたフレームは、3つの異なる符号化アルゴリズムを用いて符号化されて、標準品質のIフレーム、チャネル切替フレーム(例えば、低品質Iフレーム)、およびPフレームのような、符号化マルチメディアデータを生成する。チャネル切替フレームおよび標準品質のPフレームは、配置された取得ポイントである。符号化器405は、例えば、符号化効率、取得ポイント、およびパケット化に基づき、Iフレーム、チャネル切替フレーム、およびPフレームとして選択された1つまたは複数のフレームを符号化すべきかどうか、そしてそれはいつ符号化するかを適応的に決定する。
符号化器405は、マルチメディアデータ(例えば、1つまたは複数の選択されたフレーム)を符号化する(ブロック515)。一実施形態では、符号化器405は、当該1つまたは複数の選択されたフレームを標準品質のIフレームとして符号化するために、Iフレーム符号化アルゴリズムを用いる。例えば、標準品質のIフレームは、レート制御アルゴリズムに基づく効果または品質を破らないようにするために、前の隣接フレームと同じかまたは類似する品質をもつことができる。Iフレーム符号化アルゴリズムは、標準品質をもつ符号化Iフレームを生成するために用いられる。
符号化器405は、マルチメディアデータ(例えば、1つまたは複数の選択されたフレーム)をチャネル切替フレームとして符号化する(ブロック520)。一実施形態では、符号器405は、1つまたは複数の選択されたフレームを、チャネル切替フレームまたは低品質Iフレームとして符号化するために、低品質Iフレーム符号化アルゴリズムを用いる。低品質Iフレーム符号化アルゴリズムを用いることにより、チャネル切替フレームの量子化パラメータ(QP)は、配置されたPフレームのQPよりある値だけ増加される場合がある。チャネル切替フレーム符号化アルゴリズムは、低品質の符号化Iフレームを生成するために用いられる。
符号器405は、マルチメディアデータ(例えば、1つ又は複数の選択されたフレーム)を、Pフレームとして符号化する(ブロック525)。一実施形態では、符号器405は、1つ又は複数の選択されたフレームを標準品質のPフレームとして符号化するために、Pフレーム符号化アルゴリズムを使用する。標準品質のPフレームは、レート制御アルゴリズムに基づく効果または品質を破らないようにするために、前の隣接フレームと同じかまたは類似する品質をもつことができる。Pフレーム符号化アルゴリズムは、標準品質の符号化Pフレームを生成するために用いられる。ブロック528では、符号化器405は、マルチメディアデータの1つまたは複数の選択されていないフレーム(例えばスーパーフレーム中の残りのフレーム)を、PフレームまたはBフレームとして符号化する。
図5Aに示されるように、ブロック515、520、525および528はスキップされてもよい。ブロック515、520、525および528がスキップされる場合、符号化器405は、スキップフラグを、符号化器405がマルチメディアデータの符号化をスキップしたことを示す「1」に設定する(ブロック533)。
ブロック530では、符号器405は、スキップフラグが「1」に等しいかどうかを決定する。スキップフラグが「1」に等しい場合、符号化器405は、Iフレームとして符号化される場合の当該1つ又は複数の選択されたフレームのサイズ、チャネル切替フレームとして符号化される場合の当該1つまたは複数の選択されたフレームのサイズ、およびPフレームとして符号化される場合の当該1つまたは複数の選択されたフレームのサイズを推定する(ブロック535)。一実施形態では、マルチメディアデータ(例えば、1つまたは複数の選択されたフレーム)に、空間的複雑さおよび時間的複雑さに基づき当該マルチメディアデータのサイズを推定するために、符号化器205により、前処理が実行される。マルチメディアデータの複雑さの量は、Iフレーム符号化、チャネル切替フレーム符号化、およびPフレーム符号化がマルチメディアデータに実行された場合に、符号化器205が該マルチメディアデータのサイズを推定することを可能にする。
マルチメディアデータが符号化されていないので、符号化器405は、Iフレーム符号化、チャネル切替フレーム符号化、及びPフレーム符号化がマルチメディアデータに実行される場合の当該マルチメディアデータのサイズの少なくとも1つを用いて、ベースレイヤデータパケット及び拡張レイヤデータパケットをシミュレートする(ブロック540)。マルチメディアデータのサイズは、符号化器405が、ベースレイヤデータパケットおよび拡張レイヤデータパケットのコンテンツを予測することを可能にする。
スキップフラグが「1」に等しくない場合、符号化器405は、符号化Iフレームのサイズ、符号化チャネル切替フレームのサイズ、および符号化Pフレームのサイズを決定する(ブロック545)。符号化Iフレームのサイズ、符号化チャネル切替フレームのサイズ、および符号化Pフレームのサイズが、ブロック515、520および525の符号化プロセスの間に決定される場合には、ブロック545はスキップされることがある。
マルチメディアデータが符号化されたので、符号化器405は、(1)符号化Iフレーム、及び(2)符号化チャネル切替フレーム及び符号化Pフレームについて、ベースレイヤデータパケットおよび拡張レイヤデータパケットを生成する(ブロック550)。従って、符号化器405は2つのベースレイヤデータパケットおよび2つの拡張レイヤデータパケットを生成する。すなわち、Iフレーム符号化について1つのベースレイヤデータパケットおよび1つの拡張レイヤデータパケット、チャネル切替フレームおよびPフレーム符号化について1つのベースレイヤデータパケット及び1つの拡張レイヤデータパケット。
バランシング/パッディングモジュール410は、ベースレイヤデータパケットと拡張レイヤデータパケットとが同じサイズとなるように、釣り合わせる(バランスをとる)(ブロック555)。ベースレイヤのサイズが拡張レイヤのサイズと異なる場合、バランシング/パッディングモジュール410は、当該2つのレイヤのサイズが類似するように、大きい方のレイヤから小さい方のレイヤへ、複数のフレームまたは複数のフレームの一部を移動(move または transfer)することがある。一実施形態では、バランシング/パッディングモジュール410は、BフレームまたはPフレームを選択して、1つのレイヤから他のレイヤへ移動する。釣り合わせることは、パディングするビットあるいはバイトの数を減らす。一旦、釣り合わせることが完了すると、バランシング/パッディングモジュール410は、ベースレイヤのサイズおよび拡張レイヤのサイズを決定し、大きい方のレイヤと等しくなるように、小さい方のレイヤを埋めるかまたはパッディングする(ブロック560)。
比較モジュール415は、標準品質のIフレームについて、ベースレイヤに拡張レイヤを加えた第1総サイズを計算または決定する(ブロック565)。比較モジュール415は、低品質Iフレーム及び標準品質Pフレームについて、ベースレイヤに拡張レイヤを加えた第2総サイズを計算または決定する(ブロック570)。
ブロック575では、符号化器405は、スキップフラグが「1」に等しいかどうかを決定する。スキップフラグが「1」に等しい場合、符号化がスキップされたので、符号化器405は1つまたは複数のフレームを符号化する必要がある。符号化器405は、Iフレームのサイズが、チャネル切替フレームに配置されたPフレームを加えたサイズより小さい場合、Iフレーム符号化(例えば、標準品質のIフレーム)を用いて、1つまたは複数の選択されたフレームを符号化する(ブロック580)。符号化器405は、チャネル切替フレームにPフレームを加えたサイズが、Iフレームのサイズより小さい場合、チャネル切替フレーム符号化(すなわち、低品質Iフレームとして)およびPフレーム符号化(すなわち、標準品質Pフレームとして)を用いて、1つまたは複数の選択されたフレームを符号化する(ブロック585)。チャネル切替フレームおよび標準品質のPフレームは、取得ポイントとして配置される。ブロック590では、符号化器405は、マルチメディアデータの1つまたは複数の選択されていないフレーム(例えば、スーパーフレーム中の残りのフレーム)を、PフレームあるいはBフレームとして符号化する。
スキップフラグが「1」に等しくない場合、符号化はブロック515、520および525で実行されないので、符号化器405は1つ又は複数の選択されたフレームを符号化する必要はない。符号化器405は、第1総サイズが第2総サイズより小さい場合、符号化Iフレームのベースレイヤデータパケットおよび拡張レイヤデータパケットを選択する(ブロック592)。符号化Iフレームが選択された場合、符号化器405である、符号化チャネル切替フレームおよび符号化Pフレーム用のベースレイヤデータパケットおよび拡張レイヤデータパケットを廃棄することがある。第2総サイズが第1総サイズより小さい場合、符号化器405は、符号化チャネル切替フレーム及び符号化Pフレームのベースレイヤデータパケットおよび拡張レイヤデータパケットを選択する(ブロック594)。符号化チャネル切替フレームおよび符号化Pフレームが選択された場合、符号化器405は、符号化Iフレーム用のベースレイヤデータパケットおよび拡張レイヤデータパケットを廃棄することがある。従って、符号化器405は、ベースレイヤに拡張レイヤのための最も小さいサイズを生成する符号化方法を選択する。パケット化モジュール420は、符号化フレームを、ベースレイヤデータパケットおよび拡張レイヤデータパケットを転送することがある(ブロック596)。
図6は、当該符号化方法に基づく典型的なベースレイヤおよび拡張レイヤ構成である。一実施形態では、第1ベースレイヤは最初のPフレームをもち、第1拡張レイヤは配置されたチャネル切替フレームをもち、第2ベースレイヤは最初のIフレームをもち、第2拡張レイヤはパッディングされた複数のビットをもつことがある。
図7は、多くの符号化フレームについての、符号化順、表示順、Pフレームサイズ、およびBフレームサイズを説明するテーブルである。ベースレイヤがIフレームを持っていない場合、全てのPフレームがベースレイヤへ送られる。ベースレイヤがIフレームをもつ場合、Iフレームまたはその前のPフレームは(表示順に基づき)、ベースレイヤまたは拡張レイヤに送られ得る。
図8は、標準Iフレーム符号化方法を強要したときと、標準Iフレーム符号化方法を強要しないときとに、ベースレイヤ及び拡張レイヤで生成されるバイト数を説明するテーブルを説明する。以下で言及されるフレーム番号は、符号化順に基づく。フレーム60に対応するチャネル切替フレームは、6,487バイトをもつ。ベースレイヤおよび拡張レイヤが同じサイズであるので、Iフレームが強要されないとき、符号化器405は、全てのPフレームをベースレイヤへ送り、全てのBフレーム及びチャネル切替フレームを拡張レイヤへ送る。拡張レイヤ(8,881バイト)は、そのサイズがベースレイヤのサイズ(27,414バイト)と等しくなるように、詰め物のバイトでパッディングされる。13,692バイトをもつIフレームが、フレーム73で強要されたとき(フレーム73のPフレームが廃棄される)、符号化器405はフレーム60、73、79および85をベースレイヤへ送り、残りのPフレーム及び全てのBフレームが拡張レイヤへ送られる。ベースレイヤ(16,097バイト)は、そのサイズが拡張レイヤ(19,091バイト)と等しくなるように、詰め物のバイトでパッディングされる。図8に示されるように、Iフレームを強要しないと、符号化方法は、54,828バイトの第1総サイズとなる。しかし、Iフレームを強要することによって、符号化方法は、38,182バイトの第2総サイズとなる。従って、符号化器405は、バイトの数を少なくできるので、標準品質のIフレームを用いる符号化を強要する符号化方法を選択する。
発明のいくつかの実施形態では、マルチメディアデータを処理する装置が開示されている。当該装置は、マルチメディアデータをIフレーム、チャネル切替フレーム、及びPフレームとして符号化する手段を含む。マルチメディアデータを符号化する手段は、プロセッサ120、符号化器130、符号化器205および/または符号化器405であることがある。該装置は、符号化マルチメディアデータを選択する手段を含むことがある。該選択する手段は、プロセッサ120、符号化器130、符号化器205、比較モジュール210、符号化器405およびまたは比較モジュール415であることがある。該装置は、第1ベースレイヤデータパケットが、第1拡張レイヤデータパケットと類似するサイズとなるように釣り合わせ、第2ベースレイヤデータパケットが、第2拡張レイヤデータパケットと類似するサイズとなるように釣り合わせる手段を含むことがある。該釣り合わせる手段は、プロセッサ120、符号化器130、符号化器205、比較モジュール210、符号化器405、バランシング/パッディングモジュール410、及びまたは比較モジュール415であることがある。該装置は、第1ベースレイヤデータパケットを第1拡張レイヤデータパケットと同じサイズとなるようにパッディングし、第2ベースレイヤデータパケットを第2の拡張レイヤデータパケットと同じサイズとなるようにパッディングする手段を含むことがある。該パディングする手段は、プロセッサ120、符号化器130、符号化器205、比較モジュール210、符号化器405、バランシング/パッディングモジュール410、及びまたは比較モジュール415であることがある。
当業者には、ここに開示された例に関する種々の具体的な論理ブロック、モジュール、及びアルゴリズムステップが、電子ハードウェア、コンピューターソフトウェアあるいはその両方の組合せとして実装される得ることは言うまでもない。ハードウェアとソフトウェアとの互換性を明確に説明するために、種々の具体的コンポーネント、ブロック、モジュール、回路およびステップが、それらの機能の観点で一般的に上記に説明されている。そのような機能が、ハードウェアまたはソフトウェアとして実装されるかどうかは、システム全体に課された特定用途および設計制約に依存する。熟練者は、当該説明された機能を、特定用途毎に種々の方法で実装することができるが、そのような実装決定は、開示された方法の範囲から逸脱するとは解釈されるべきでない。
種々の例示的な論理的ブロック、モジュール、およびここに示された例に関して説明された回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラム可能論理回路で、個別のゲートまたはトランジスターロジック、個別のハードウェアコンポーネント、あるいは、ここに説明された機能を実行するために設計されたこれらの任意の組合せで実装されたり実行されたりすることがある。汎用プロセッサは、マイクロプロセッサでもよいが、その代わりに、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラあるいはステートマシーンでもよい。プロセッサも、コンピュータ機器、例えば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと併用される1つまたは複数のマイクロプロセッサ、または、任意の他のそのような構成として実装されてもよい。
ここに開示された例に関して説明された方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、あるいはこの2つの組合せで、直接具体化されてもよい。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、または当該技術分野で既知の任意の他の形式の記憶媒体に存在してもよい。典型的な記憶媒体は、プロセッサが当該記憶媒体に対し情報の読出及び書込が可能なように、当該プロセッサに連結されている。代案では、記憶媒体はプロセッサに組込まれていてもよい。プロセッサと記憶媒体は、特定用途向け集積回路(ASIC)に存在してもよい。ASICは無線モデムに存在してもよい。代案では、プロセッサと記憶媒体は、無線モデム中の個別のコンポーネントとして存在してもよい。
開示された例の前述の説明は、当業者が、開示された方法および装置の製造または使用を可能にするために提供される。これらの例に対する種々の修正は、当業者には容易に理解できるであろう。また、ここに定義された原理は、開示された方法および装置の精神または範囲から逸脱することなく、他の例に適用されることがある。説明された実施形態は、全ての点で、限定的ではなく、単なる例示として、考慮される。従って、本発明の範囲は、先の説明よりは添付のクレームにより示される。クレームと同等の意味および範囲内の全ての変更は、それらの範囲内に包含されることになる。
Claims (60)
- マルチメディアデータを処理する方法であって、
前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化すること;及び
前記符号化Iフレームのサイズと、前記符号化チャネル切替フレームおよび前記符号化Pフレームのサイズとが、第1の条件を満たす場合、前記符号化Iフレームを選択すること;
を含む方法。 - 前記符号化Iフレームのサイズが、前記符号化チャネル切替フレームに前記符号化Pフレームを加えたサイズより小さい場合、前記第1の条件が満たされる請求項1記載の方法。
- 前記符号化Iフレームのサイズと、前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズとが、第2の条件を満たす場合、前記符号化チャネル切替フレーム及び前記符号化Pフレームを選択すること、をさらに含む請求項1記載の方法。
- 前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズが、前記符号化Iフレームのサイズより小さい場合、前記第2の条件が満たされる請求項3記載の方法。
- フレームを符号化することは、第1フレームをIフレームとして符号化することと、第2フレームをチャネル切替フレームとして符号化することと、を含む請求項1記載の方法。
- 空間的複雑さ及び時間的複雑さに基づき、前記符号化Iフレームのサイズと、前記チャネル切替フレームおよび前記符号化Pフレームのサイズとを推定すること、をさらに含む請求項1記載の方法。
- 前記マルチメディアデータのフレームをBフレームとして符号化すること;
前記符号化Iフレームと前記符号化Bフレームとのうちの少なくとも1つを用いて、第1ベースレイヤデータパケット及び第1拡張レイヤデータパケットを生成すること;及び
前記符号化Pフレームと前記符号化チャネル切替フレームとのうちの少なくとも1つを用いて、第2ベースレイヤデータパケットおよび第2拡張レイヤデータパケットを生成すること;
をさらに含む請求項1記載の方法。 - 前記第1拡張レイヤデータパケットと類似するサイズとなるように、前記第1ベースレイヤデータパケットを釣り合わせること、及び、前記第2拡張レイヤデータパケットと類似するサイズとなるように、前記第2ベースレイヤデータパケットを釣り合わせること、をさらに含む請求項7記載の方法。
- 前記第1拡張レイヤデータパケットと同じサイズとなるように、前記第1ベースレイヤデータパケットをパッディングすること、及び、前記第2拡張レイヤデータパケットと同じサイズとなるように、前記第2ベースレイヤデータパケットをパッディングすること、をさらに含む請求項8記載の方法。
- 前記第1ベースレイヤデータパケットと前記第1拡張レイヤデータパケットとの第1総サイズを決定すること;
前記第1総サイズを前記符号化Iフレームに割り当てること;
前記第2ベースレイヤデータパケットと前記第2拡張レイヤデータパケットとの第2総サイズを決定すること;及び
前記第2総サイズを、前記符号化チャネル切替フレームと前記符号化Pフレームとのサイズに割り当てること;
をさらに含む請求項9記載の方法。 - マルチメディアデータを処理する装置であって、
前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化し、
前記符号化Iフレームのサイズと、前記符号化チャネル切替フレームおよび前記符号化Pフレームのサイズとが、第1の条件を満たす場合、前記符号化Iフレームを選択する符号化器を含む装置。 - 前記符号化Iフレームのサイズが、前記符号化チャネル切替フレームに前記符号化Pフレームを加えたサイズより小さい場合、前記第1の条件が満たされる請求項11記載の装置。
- 前記符号化器は、前記符号化Iフレームのサイズと、前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズとが、第2の条件を満たす場合、前記符号化チャネル切替フレーム及び前記符号化Pフレームを選択する請求項11記載の装置。
- 前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズが、前記符号化Iフレームのサイズより小さい場合、前記第2の条件が満たされる請求項13記載の装置。
- フレームを符号化することは、第1フレームをIフレームとして符号化することと、第2フレームをチャネル切替フレームとして符号化することと、を含む請求項11記載の装置。
- 前記符号化器は、空間的複雑さ及び時間的複雑さに基づき、前記符号化Iフレームのサイズと、前記チャネル切替フレームおよび前記符号化Pフレームのサイズとを推定する請求項1記載の装置。
- 前記符号化器は、
前記マルチメディアデータのフレームをBフレームとして符号化し、
前記符号化Iフレームと前記符号化Bフレームとのうちの少なくとも1つを用いて、第1ベースレイヤデータパケット及び第1拡張レイヤデータパケットを生成し、及び
前記符号化Pフレームと前記符号化チャネル切替フレームとのうちの少なくとも1つを用いて、第2ベースレイヤデータパケットおよび第2拡張レイヤデータパケットを生成する、
請求項11記載の装置。 - 前記第1拡張レイヤデータパケットと類似するサイズとなるように、前記第1ベースレイヤデータパケットを釣り合わせ、及び、前記第2拡張レイヤデータパケットと類似するサイズとなるように、前記第2ベースレイヤデータパケットを釣り合わせる、バランシングモジュールをさらに含む請求項17記載の装置。
- 前記第1拡張レイヤデータパケットと同じサイズとなるように、前記第1ベースレイヤデータパケットをパッディングし、及び、前記第2拡張レイヤデータパケットと同じサイズとなるように、前記第2ベースレイヤデータパケットをパッディングするパッディングモジュールをさらに含む請求項18記載の装置。
- 前記符号化器は、
前記第1ベースレイヤデータパケットと前記第1拡張レイヤデータパケットとの第1総サイズを決定し、
前記第1総サイズを前記符号化Iフレームに割り当て、
前記第2ベースレイヤデータパケットと前記第2拡張レイヤデータパケットとの第2総サイズを決定し、及び
前記第2総サイズを、前記符号化チャネル切替フレームと前記符号化Pフレームとのサイズに割り当てる
請求項19記載の装置。 - マルチメディアデータを処理する装置であって、
前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化する手段;及び
前記符号化Iフレームのサイズと、前記符号化チャネル切替フレームおよび前記符号化Pフレームのサイズとが、第1の条件を満たす場合、前記符号化Iフレームを選択する手段;
を含む装置。 - 前記符号化Iフレームのサイズが、前記符号化チャネル切替フレームに前記符号化Pフレームを加えたサイズより小さい場合、前記第1の条件が満たされる請求項21記載の装置。
- 前記選択する手段は、前記符号化Iフレームのサイズと、前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズとが、第2の条件を満たす場合、前記符号化チャネル切替フレーム及び前記符号化Pフレームを選択する請求項21記載の装置。
- 前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズが、前記符号化Iフレームのサイズより小さい場合、前記第2の条件が満たされる請求項23記載の装置。
- フレームを符号化することは、第1フレームをIフレームとして符号化することと、第2フレームをチャネル切替フレームとして符号化することと、を含む請求項21記載の装置。
- 前記符号化する手段は、空間的複雑さ及び時間的複雑さに基づき、前記符号化Iフレームのサイズと、前記チャネル切替フレームおよび前記符号化Pフレームのサイズとを推定する請求項21記載の装置。
- 前記符号化する手段は、
前記マルチメディアデータのフレームをBフレームとして符号化し、
前記符号化Iフレームと前記符号化Bフレームとのうちの少なくとも1つを用いて、第1ベースレイヤデータパケット及び第1拡張レイヤデータパケットを生成し、及び
前記符号化Pフレームと前記符号化チャネル切替フレームとのうちの少なくとも1つを用いて、第2ベースレイヤデータパケットおよび第2拡張レイヤデータパケットを生成する
請求項21記載の装置。 - 前記第1拡張レイヤデータパケットと類似するサイズとなるように、前記第1ベースレイヤデータパケットを釣り合わせ、及び、前記第2拡張レイヤデータパケットと類似するサイズとなるように、前記第2ベースレイヤデータパケットを釣り合わせる手段をさらに含む請求項27記載の装置。
- 前記第1拡張レイヤデータパケットと同じサイズとなるように、前記第1ベースレイヤデータパケットをパッディングし、及び、前記第2拡張レイヤデータパケットと同じサイズとなるように、前記第2ベースレイヤデータパケットをパッディングする手段をさらに含む請求項28記載の装置。
- 前記符号化する手段は、
前記第1ベースレイヤデータパケットと前記第1拡張レイヤデータパケットとの第1総サイズを決定し、
前記第1総サイズを前記符号化Iフレームに割り当て、
前記第2ベースレイヤデータパケットと前記第2拡張レイヤデータパケットとの第2総サイズを決定し、及び
前記第2総サイズを、前記符号化チャネル切替フレームと前記符号化Pフレームとのサイズに割り当てる
請求項29記載の装置。 - マルチメディアデータを処理するための命令群を機械読み取り可能な媒体であって、前記命令は、実行されると、機械に、
前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化させ;及び
前記符号化Iフレームのサイズと、前記符号化チャネル切替フレームおよび前記符号化Pフレームのサイズとが、第1の条件を満たす場合、前記符号化Iフレームを選択させる、
機械読み取り可能な媒体。 - 前記符号化Iフレームのサイズが、前記符号化チャネル切替フレームに前記符号化Pフレームを加えたサイズより小さい場合、前記第1の条件が満たされる請求項31記載の機械読み取り可能な媒体。
- 前記符号化Iフレームのサイズと、前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズとが、第2の条件を満たす場合、前記符号化チャネル切替フレーム及び前記符号化Pフレームを選択する命令をさらに含む請求項31記載の機械読み取り可能な媒体。
- 前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズが、前記符号化Iフレームのサイズより小さい場合、前記第2の条件が満たされる請求項33記載の機械読み取り可能な媒体。
- フレームを符号化することは、第1フレームをIフレームとして符号化することと、第2フレームをチャネル切替フレームとして符号化することと、を含む請求項31記載の機械読み取り可能な媒体。
- 空間的複雑さ及び時間的複雑さに基づき、前記符号化Iフレームのサイズと、前記チャネル切替フレームおよび前記符号化Pフレームのサイズとを推定する命令をさらに含む請求項31記載の機械読み取り可能な媒体。
- 前記マルチメディアデータのフレームをBフレームとして符号化し、
前記符号化Iフレームと前記符号化Bフレームとのうちの少なくとも1つを用いて、第1ベースレイヤデータパケット及び第1拡張レイヤデータパケットを生成し、及び
前記符号化Pフレームと前記符号化チャネル切替フレームとのうちの少なくとも1つを用いて、第2ベースレイヤデータパケットおよび第2拡張レイヤデータパケットを生成する命令をさらに含む請求項31記載の機械読み取り可能な媒体。 - 前記第1拡張レイヤデータパケットと類似するサイズとなるように、前記第1ベースレイヤデータパケットを釣り合わせ、及び、前記第2拡張レイヤデータパケットと類似するサイズとなるように、前記第2ベースレイヤデータパケットを釣り合わせる命令をさらに含む請求項37記載の機械読み取り可能な媒体。
- 前記第1拡張レイヤデータパケットと同じサイズとなるように、前記第1ベースレイヤデータパケットをパッディングし、及び、前記第2拡張レイヤデータパケットと同じサイズとなるように、前記第2ベースレイヤデータパケットをパッディングする命令をさらに含む請求項38記載の機械読み取り可能な媒体。
- 前記第1ベースレイヤデータパケットと前記第1拡張レイヤデータパケットとの第1総サイズを決定し、
前記第1総サイズを前記符号化Iフレームに割り当て、
前記第2ベースレイヤデータパケットと前記第2拡張レイヤデータパケットとの第2総サイズを決定し、及び
前記第2総サイズを、前記符号化チャネル切替フレームと前記符号化Pフレームとのサイズに割り当てる
命令をさらに含む請求項39記載の機械読み取り可能な媒体。 - マルチメディアデータを処理する送受信器であって、
前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化し、
前記符号化Iフレームのサイズと、前記符号化チャネル切替フレームおよび前記符号化Pフレームのサイズとが、第1の条件を満たす場合、前記符号化Iフレームを選択する符号化器を含む送受信器。 - 前記符号化Iフレームのサイズが、前記符号化チャネル切替フレームに前記符号化Pフレームを加えたサイズより小さい場合、前記第1の条件が満たされる請求項41記載の送受信器。
- 前記符号化器は、前記符号化Iフレームのサイズと、前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズとが、第2の条件を満たす場合、前記符号化チャネル切替フレーム及び前記符号化Pフレームを選択する請求項41記載の送受信器。
- 前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズが、前記符号化Iフレームのサイズより小さい場合、前記第2の条件が満たされる請求項43記載の送受信器。
- フレームを符号化することは、第1フレームをIフレームとして符号化することと、第2フレームをチャネル切替フレームとして符号化することと、を含む請求項41記載の送受信器。
- 前記符号化器は、空間的複雑さ及び時間的複雑さに基づき、前記符号化Iフレームのサイズと、前記チャネル切替フレームおよび前記符号化Pフレームのサイズとを推定する請求項41記載の送受信器。
- 前記符号化器は、
前記マルチメディアデータのフレームをBフレームとして符号化し、
前記符号化Iフレームと前記符号化Bフレームとのうちの少なくとも1つを用いて、第1ベースレイヤデータパケット及び第1拡張レイヤデータパケットを生成し、及び
前記符号化Pフレームと前記符号化チャネル切替フレームとのうちの少なくとも1つを用いて、第2ベースレイヤデータパケットおよび第2拡張レイヤデータパケットを生成する、
請求項41記載の送受信器。 - 前記第1拡張レイヤデータパケットと類似するサイズとなるように、前記第1ベースレイヤデータパケットを釣り合わせ、及び、前記第2拡張レイヤデータパケットと類似するサイズとなるように、前記第2ベースレイヤデータパケットを釣り合わせる、バランシングモジュールをさらに含む請求項47記載の送受信器。
- 前記第1拡張レイヤデータパケットと同じサイズとなるように、前記第1ベースレイヤデータパケットをパッディングし、及び、前記第2拡張レイヤデータパケットと同じサイズとなるように、前記第2ベースレイヤデータパケットをパッディングするパッディングモジュールをさらに含む請求項48記載の送受信器。
- 前記符号化器は、
前記第1ベースレイヤデータパケットと前記第1拡張レイヤデータパケットとの第1総サイズを決定し、
前記第1総サイズを前記符号化Iフレームに割り当て、
前記第2ベースレイヤデータパケットと前記第2拡張レイヤデータパケットとの第2総サイズを決定し、及び
前記第2総サイズを、前記符号化チャネル切替フレームと前記符号化Pフレームとのサイズに割り当てる
請求項49記載の送受信器。 - マルチメディアデータを処理する集積回路であって、
前記マルチメディアデータのフレームを、Iフレーム、チャネル切替フレーム、およびPフレームとして符号化し、
前記符号化Iフレームのサイズと、前記符号化チャネル切替フレームおよび前記符号化Pフレームのサイズとが、第1の条件を満たす場合、前記符号化Iフレームを選択する、符号化回路を含む集積回路。 - 前記符号化Iフレームのサイズが、前記符号化チャネル切替フレームに前記符号化Pフレームを加えたサイズより小さい場合、前記第1の条件が満たされる請求項51記載の集積回路。
- 前記符号化回路は、前記符号化Iフレームのサイズと、前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズとが、第2の条件を満たす場合、前記符号化チャネル切替フレーム及び前記符号化Pフレームを選択する請求項51記載の集積回路。
- 前記符号化チャネル切替フレーム及び前記符号化Pフレームのサイズが、前記符号化Iフレームのサイズより小さい場合、前記第2の条件が満たされる請求項53記載の集積回路。
- フレームを符号化することは、第1フレームをIフレームとして符号化することと、第2フレームをチャネル切替フレームとして符号化することと、を含む請求項51記載の集積回路。
- 前記符号化回路は、空間的複雑さ及び時間的複雑さに基づき、前記符号化Iフレームのサイズと、前記チャネル切替フレームおよび前記符号化Pフレームのサイズとを推定する請求項51記載の集積回路。
- 前記符号化回路は、
前記マルチメディアデータのフレームをBフレームとして符号化し、
前記符号化Iフレームと前記符号化Bフレームとのうちの少なくとも1つを用いて、第1ベースレイヤデータパケット及び第1拡張レイヤデータパケットを生成し、及び
前記符号化Pフレームと前記符号化チャネル切替フレームとのうちの少なくとも1つを用いて、第2ベースレイヤデータパケットおよび第2拡張レイヤデータパケットを生成する、
請求項51記載の集積回路。 - 前記第1拡張レイヤデータパケットと類似するサイズとなるように、前記第1ベースレイヤデータパケットを釣り合わせ、及び、前記第2拡張レイヤデータパケットと類似するサイズとなるように、前記第2ベースレイヤデータパケットを釣り合わせる、バランシング回路をさらに含む請求項57記載の集積回路。
- 前記第1拡張レイヤデータパケットと同じサイズとなるように、前記第1ベースレイヤデータパケットをパッディングし、及び、前記第2拡張レイヤデータパケットと同じサイズとなるように、前記第2ベースレイヤデータパケットをパッディングするパッディング回路をさらに含む請求項58記載の集積回路。
- 前記符号化回路は、
前記第1ベースレイヤデータパケットと前記第1拡張レイヤデータパケットとの第1総サイズを決定し、
前記第1総サイズを前記符号化Iフレームに割り当て、
前記第2ベースレイヤデータパケットと前記第2拡張レイヤデータパケットとの第2総サイズを決定し、及び
前記第2総サイズを、前記符号化チャネル切替フレームと前記符号化Pフレームとのサイズに割り当てる
請求項59記載の集積回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US89233707P | 2007-03-01 | 2007-03-01 | |
US11/837,062 US20080212673A1 (en) | 2007-03-01 | 2007-08-10 | Systems and Methods for Adaptively Determining I Frames for Acquisition and Base and Enhancement Layer Balancing |
PCT/US2008/055555 WO2008106656A2 (en) | 2007-03-01 | 2008-02-29 | Systems and methods for adaptively determining i frames for acquisition and base and enhancement layer balancing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010520678A true JP2010520678A (ja) | 2010-06-10 |
Family
ID=39721859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009552016A Pending JP2010520678A (ja) | 2007-03-01 | 2008-02-29 | 取得と、ベース及び拡張レイヤとの釣り合いとのために、iフレームを適応的に決定するシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20080212673A1 (ja) |
EP (1) | EP2127387A2 (ja) |
JP (1) | JP2010520678A (ja) |
KR (1) | KR20090125150A (ja) |
CN (1) | CN101755459A (ja) |
TW (1) | TW200844903A (ja) |
WO (1) | WO2008106656A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016511592A (ja) * | 2013-02-22 | 2016-04-14 | トムソン ライセンシングThomson Licensing | ピクチャ・ブロックのコーディング方法および復号方法、対応する装置、およびデータストリーム |
US10701373B2 (en) | 2013-02-22 | 2020-06-30 | Interdigital Vc Holdings, Inc. | Coding and decoding methods of a picture block, corresponding devices and data stream |
US12052432B2 (en) | 2013-02-22 | 2024-07-30 | Interdigital Vc Holdings, Inc. | Coding and decoding methods of a picture block, corresponding devices and data stream |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100118938A1 (en) * | 2008-11-12 | 2010-05-13 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Encoder and method for generating a stream of data |
DE102010007177B4 (de) * | 2010-02-08 | 2017-06-22 | Siemens Healthcare Gmbh | Anzeigeverfahren für ein vor einer Aufweitungseinrichtung liegendes Bild des Inneren eines Gefäßes und hiermit korrespondierende Anzeigeeinrichtung |
US9532059B2 (en) * | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
US20130208809A1 (en) * | 2012-02-14 | 2013-08-15 | Microsoft Corporation | Multi-layer rate control |
US20160360219A1 (en) * | 2015-06-05 | 2016-12-08 | Apple Inc. | Preventing i-frame popping in video encoding and decoding |
US20210076047A1 (en) * | 2019-09-11 | 2021-03-11 | Chung Yuan Christian University | System, apparatus and method for data compaction and decompaction |
KR20230042952A (ko) | 2021-09-23 | 2023-03-30 | 국방과학연구소 | I-프레임 분할 전송 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6480541B1 (en) * | 1996-11-27 | 2002-11-12 | Realnetworks, Inc. | Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts |
US6694060B2 (en) * | 2000-12-21 | 2004-02-17 | General Instrument Corporation | Frame bit-size allocation for seamlessly spliced, variable-encoding-rate, compressed digital video signals |
US7984174B2 (en) * | 2002-11-11 | 2011-07-19 | Supracomm, Tm Inc. | Multicast videoconferencing |
CN101536524B (zh) * | 2006-11-15 | 2012-06-13 | 高通股份有限公司 | 用于使用信道切换帧的应用的***和方法 |
-
2007
- 2007-08-10 US US11/837,062 patent/US20080212673A1/en not_active Abandoned
-
2008
- 2008-02-29 EP EP08731168A patent/EP2127387A2/en not_active Withdrawn
- 2008-02-29 JP JP2009552016A patent/JP2010520678A/ja active Pending
- 2008-02-29 WO PCT/US2008/055555 patent/WO2008106656A2/en active Search and Examination
- 2008-02-29 KR KR1020097020254A patent/KR20090125150A/ko active IP Right Grant
- 2008-02-29 CN CN200880006514A patent/CN101755459A/zh active Pending
- 2008-02-29 TW TW097107403A patent/TW200844903A/zh unknown
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016511592A (ja) * | 2013-02-22 | 2016-04-14 | トムソン ライセンシングThomson Licensing | ピクチャ・ブロックのコーディング方法および復号方法、対応する装置、およびデータストリーム |
CN110087100A (zh) * | 2013-02-22 | 2019-08-02 | 汤姆逊许可公司 | 画面块的编码和解码方法、对应的设备和数据流 |
US10701373B2 (en) | 2013-02-22 | 2020-06-30 | Interdigital Vc Holdings, Inc. | Coding and decoding methods of a picture block, corresponding devices and data stream |
CN110087100B (zh) * | 2013-02-22 | 2021-09-07 | 汤姆逊许可公司 | 画面块的编码和解码方法、对应的设备和数据流 |
US11558629B2 (en) | 2013-02-22 | 2023-01-17 | Interdigital Vc Holdings, Inc. | Coding and decoding methods of a picture block, corresponding devices and data stream |
US11750830B2 (en) | 2013-02-22 | 2023-09-05 | Interdigital Vc Holdings, Inc. | Coding and decoding methods of a picture block, corresponding devices and data stream |
US12052432B2 (en) | 2013-02-22 | 2024-07-30 | Interdigital Vc Holdings, Inc. | Coding and decoding methods of a picture block, corresponding devices and data stream |
Also Published As
Publication number | Publication date |
---|---|
US20080212673A1 (en) | 2008-09-04 |
WO2008106656A2 (en) | 2008-09-04 |
CN101755459A (zh) | 2010-06-23 |
WO2008106656A3 (en) | 2009-12-10 |
TW200844903A (en) | 2008-11-16 |
KR20090125150A (ko) | 2009-12-03 |
EP2127387A2 (en) | 2009-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010520678A (ja) | 取得と、ベース及び拡張レイヤとの釣り合いとのために、iフレームを適応的に決定するシステム及び方法 | |
US9071841B2 (en) | Video transcoding with dynamically modifiable spatial resolution | |
KR101859155B1 (ko) | 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝 | |
JP5389991B2 (ja) | 遷移効果のためのマルチメディアコード化技術 | |
US9414086B2 (en) | Partial frame utilization in video codecs | |
JP5918328B2 (ja) | 画像符号化方法及び画像復号方法 | |
US9300956B2 (en) | Method and apparatus for redundant video encoding | |
JP5188033B2 (ja) | 記録再生装置、送出装置及び伝送システム。 | |
US10855988B2 (en) | Adaptive prediction structures | |
US9584832B2 (en) | High quality seamless playback for video decoder clients | |
JP2011507461A (ja) | 適応型グループオブピクチャ(agop)構造の決定 | |
JP2000175187A (ja) | ビデオ圧縮のための領域ベ―スのリフレッシュ方法 | |
JP2008167449A (ja) | 映像の符号化、復号化方法及び装置 | |
US20100303151A1 (en) | Method for decoding video signal encoded using inter-layer prediction | |
US9565404B2 (en) | Encoding techniques for banding reduction | |
KR20060070400A (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
US20080025408A1 (en) | Video encoding | |
CN107431807A (zh) | 内容自适应b‑图像模式视频编码 | |
WO2006038568A1 (ja) | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 | |
CN114257818A (zh) | 视频的编、解码方法、装置、设备和存储介质 | |
JP2013524554A (ja) | 高効率な動画符号化のための符号語の制約 | |
JP2008109693A (ja) | 動画像再符号化装置 | |
JP4360985B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム | |
KR101465148B1 (ko) | 동영상을 부호화/복호화하기 위한 장치 및 그 방법 | |
KR20060045797A (ko) | 계층적 b 픽쳐를 이용한 동영상 부호화시에 gop를적응적으로 세분하기 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120515 |