JP2005323353A - 高忠実度のトランスコーディング - Google Patents

高忠実度のトランスコーディング Download PDF

Info

Publication number
JP2005323353A
JP2005323353A JP2005118048A JP2005118048A JP2005323353A JP 2005323353 A JP2005323353 A JP 2005323353A JP 2005118048 A JP2005118048 A JP 2005118048A JP 2005118048 A JP2005118048 A JP 2005118048A JP 2005323353 A JP2005323353 A JP 2005323353A
Authority
JP
Japan
Prior art keywords
format
video
compressed video
picture
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005118048A
Other languages
English (en)
Inventor
Jay Yogeshwar
ヨゲシュワル ジェイ
Kunal Mukerjee
ムケルジー クナル
Robert D Green
ディー.グリーン ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005323353A publication Critical patent/JP2005323353A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E06DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06CLADDERS
    • E06C1/00Ladders in general
    • E06C1/02Ladders in general with rigid longitudinal member or members
    • E06C1/04Ladders for resting against objects, e.g. walls poles, trees
    • E06C1/08Ladders for resting against objects, e.g. walls poles, trees multi-part
    • E06C1/10Sections fitted end to end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • EFIXED CONSTRUCTIONS
    • E06DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06CLADDERS
    • E06C7/00Component parts, supporting parts, or accessories
    • E06C7/08Special construction of longitudinal members, or rungs or other treads
    • EFIXED CONSTRUCTIONS
    • E06DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06CLADDERS
    • E06C7/00Component parts, supporting parts, or accessories
    • E06C7/50Joints or other connecting parts
    • E06C7/505Anchors being adapted to fix a ladder to a vertical structure, e.g. ladder hooks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 高忠実度のトランスコーディング技法を提供する。
【解決手段】 ソースフォーマット圧縮ビデオの再符号化データセットエレメントを得て、ビデオをターゲットフォーマットで圧縮するときにこれらのエレメントを符号化決定および/または等価パラメータのために使用する。これにより、ピクチャタイプ、イントラ/インターマクロブロック符号化タイプ、フィールド/フレーム符号化決定、および/または量子化レベル等を2つのフォーマットにわたって維持することができるようになる。これは、ソースおよびターゲットフォーマット間で圧縮ビデオの品質を一致させ、トランスコーディング損失を低減する助けとなる。同時に、全体的なビットレートを低減するために追加の圧縮が可能となる。また、トランスコーダは、一定または比較的一定のビットレートで出力を生成するために比例レート制御を適用することができる。
【選択図】 図2

Description

高忠実度(ハイファイ)のトランスコーディング技法について述べる。例えば、ビデオトランスコーダが、ソースフォーマットの圧縮ビデオからシンタックスエレメントを抽出し、ビデオをターゲットフォーマットで圧縮するときに、これらのシンタックスエレメントを符号化決定のために使用する。
インターネットを介したDVDおよびビデオの配送の導入に伴って、ディジタルビデオが一般的になった。技術者らは、品質を維持しながらもディジタルビデオを効率的に処理するために様々な技法を使用している。こうした技法を理解するには、ビデオ情報がコンピュータの中でどのように表現され、処理されているかを理解することが役立つ。
I.コンピュータにおけるビデオ情報の表現
コンピュータはビデオ情報を、情報を表す一連の数として処理する。単一の数が、通常、ピクチャの1つのピクチャエレメント(ピクセル)の強度値を表す。ビデオ情報の品質には、サンプル深度、解像度、フレームレートを含め、いくつかの要因が影響を及ぼす。
サンプル深度(または精度)は、サンプルを表すために使用される数の範囲を示している。サンプルに対してより多くの値が可能なときは、数は強度のより微妙な変化を取り込むことができるので、品質は高くなる。解像度が高いビデオは、他のビデオよりも明瞭に見える傾向があり、フレームレートが高いビデオは、他のビデオよりもスムーズに見える傾向がある。これら要因のすべてについて、高品質に対するトレードオフは、表1に示すように、情報を格納および伝送するコストである。
Figure 2005323353
HDTVに使用されるような高解像度フォーマットは、未加工のビデオに対してさらに多くのビットレートを使用する。この高いビットレートにもかかわらず、企業および消費者は、ビデオコンテンツの作成、編集、配布、再生のためにますますコンピュータに依存している。この理由で、技術者らは、圧縮(符号化(コーディングまたはエンコーディング)とも呼ばれる)を使用してディジタルビデオのビットレートを低減している。圧縮は、情報をより低いビットレートの形式に変換することによって、情報を格納および伝送するコストを削減する。圧縮解除(復号とも呼ばれる)は、圧縮された形式から元の情報のバージョンを再構成する。圧縮の範疇として、ロスレス(損失なし)とロッシー(損失あり)の2つがある。
ロスレス圧縮は、冗長をなくすことによって情報のビットレートを低減する。例えば、10個の赤い一連のピクセルが、圧縮では「赤」のコードと数10として表され、圧縮解除では、この一連のピクセルが完全に再構成される。ロスレス圧縮は、品質を犠牲にすることなくビットレートを低減するが、ある程度までしかビットレートを低減することができない。ビットレートの減少は、情報の複雑さによって制限される。ロスレス圧縮の別の呼称はエントロピー符号化である。
対照的に、ロッシー圧縮では、品質は損なわれるが、ビットレートの減少はより劇的である。例えば、それぞれがわずかに異なる濃さの赤い10個の一連のピクセルが、同じ「赤」色の10個のピクセルとして近似される。ロッシー圧縮は、より多くの品質を削減することによってより多くのビットレートを低減することができるが、失われた品質は復元できない。ロッシー圧縮は、多くの場合、ロスレス圧縮と共に使用される。ロッシー圧縮がビデオの複雑さおよび品質を低減し、これにより、後続のロスレス圧縮でより多くのビットレートの低減が可能になる。例えば、それぞれがわずかに異なる濃さの赤い10個の一連のピクセルが、圧縮で「赤」のコードおよび数10として表される。圧縮解除では、元の一連のピクセルが同じ「赤」色の10個のピクセルとして再構成される。
様々な国際規格が、ビデオ圧縮、圧縮解除、および圧縮ビデオのシンタックスを扱っている。これらには、様々なバージョンのMPEG−1、MPEG−2、MPEG−4、H.261、H.262、H.263、H.264/AVT/JVTが含まれる。これらの規格の他に、様々な会社がビデオ圧縮および圧縮解除の製品を提供している。これらには、Microsoft Corporationから出ている様々なバージョンのWindows(登録商標) Media Videoツールが含まれる。これらの規格および製品はそれぞれ、ロッシーおよびロスレス圧縮技法の異なる組合せを使用している。
過去、放送およびケーブル業界は、ビデオコンテンツの獲得、貢献、製作、配送のために様々な種類のMPEG−2(およびMPEG−1)を採用してきた。結果として、特にMPEG−2フォーマットでアーカイブされたレガシーコンテンツが多量に存在する。しかし、圧縮フォーマットとして、MPEG−2は、WMVバージョン9(「WMV9」)などのより最近のフォーマットに比べると特に効率的ではない。これらの業界はますます、オンエアでのバックアップ、セットトップボックスへのビデオオンデマンド配送、伝送バックホール、高解像度ビデオのブラウズプロキシの作成など、放送製作および流通ワークフロー用途にWMV9の符号化効率およびWMV9の多用途性に惹きつけられている。これらの業界にとっての問題は、より効率的な処理および流通のために、どのようにレガシーMPEG−2コンテンツをWMV9に効率的に変換するかである。
II.トランスコーディング
様々なデバイスおよびエンドユーザが、様々な記憶および伝送能力、ならびに様々な品質要件を有している。さらに、様々なデバイスおよびエンドユーザが様々な圧縮フォーマットを使用する可能性がある。一般に、トランスコーディングは、あるビットレート、品質、またはフォーマットの圧縮情報を、別のビットレート、品質、またはフォーマットの圧縮情報に変換する。様々なトランスコーダが様々な技法を使用している。
同種のトランスコーダは、トランスコーディング中に圧縮解除と圧縮の両方に同じフォーマットを使用し、例えば高ビットレートのMPEG−2圧縮ビデオを低ビットレートのMPEG−2圧縮ビデオに変換する。異種のトランスコーダは、圧縮解除および圧縮に異なるフォーマットを使用し、例えばMPEG−2圧縮ビデオをH.262圧縮ビデオに変換する。異種のトランスコーダの記述については、非特許文献1を参照されたい。
いくつかのトランスコーダは、圧縮情報を完全に圧縮解除し、次いでその情報を完全に再圧縮する。単純なトランスコーディングは、単に圧縮解除および再圧縮の段階をカスケードしている。他のトランスコーダは、圧縮情報を部分的にのみ圧縮解除し、圧縮解除した情報を再圧縮し、まだ圧縮されたままの他のエレメントをトランスコーディングの一部として渡している。全米映画テレビジョン技術者協会(「SMPTE」)は、MPEG−2圧縮ビデオからMPEG−2圧縮ビデオへのトランスコーディングでの使用のための情報を指定する規格を作成した。この規格は、MPEG−2圧縮ビデオから同じまたは異なるビットレートのMPEG−2圧縮ビデオにトランスコードする目的でMPEG−2シンタックスエレメントおよび関係する派生パラメータをリストしている。非特許文献2を参照されたい。部分的な圧縮解除のトランスコーダは、通常、圧縮情報を再使用してトランスコーディングプロセスの複雑さを低減し、第2の圧縮における動き補償や符号化モード決定などのリソース集約的な操作を回避している。
圧縮解除後、ビデオを再サンプリングしたり、再量子化したり、または他の方法で処理したりすることができる。これはビットレートを低減するか、またはフォーマット互換性を保証するために必要なことがあるが、このような処理は第2の圧縮に関連する必要的な損失を超えるトランスコーディング損失を招くことがある。例えば、73Mbit/秒のビデオが、4Mbit/秒のMPEG−2ビデオに圧縮され、そして2.8Mbit/秒のH.261ビデオにトランスコードされるとする。トランスコーディング損失により、トランスコードされたH.261ビデオの品質が73Mbit/秒のビデオが直接に2.8Mbit/秒のH.261ビデオに変換された場合の品質よりも悪くなる可能性がある。
単純なトランスコーディングは、多くの場合、同じフォーマットにトランスコーディングするときでも、高いトランスコーディング歪みを招く。トランスコーディングパスあたりの品質損失は、およそ1〜2dB(ピーク信号対雑音比(PSNR)損失で)であると推定されている。連結したトランスコーディングは、各生成でピクチャ品質の損失を生じる可能性があり、ビデオ品質は、何回かの変換の後に許容できなくなることがある。5dBの損失は、複雑さの軽い放送製作のチェーンでもよくみられる。さらに、繰り返しの量子化プロセスにより、個々の量子化ペナルティの合計を超えて全体的な再量子化ペナルティにつながることがある。
部分的な圧縮解除トランスコーダに関するさらなる情報については非特許文献3および4を参照されたい。第2の圧縮における符号化決定に影響を与えるために圧縮情報からのシンタックスエレメントも使用するトランスコーダに関するさらなる情報については非特許文献5、6、および7を参照されたい。量子化を変更することによってビットレートを低くするトランスコーダの記述については非特許文献5、6、7、および8を参照されたい。トランスコーディングにおけるレート制御の記述については非特許文献7および8を参照されたい。
先行のビデオトランスコーダの利点がどんなものであれ、これらは本発明の様々な異なる態様の利点を有していない。詳細には、上述の参考文献は主に同種のトランスコーディングのソリューションに焦点を合わせており、これは異種のトランスコーディングソリューションの必要性を無視している。また、これらの参考文献は、トランスコーディングでの圧縮情報の再使用について論じているが、これらは概して、トランスコーディングの複雑さを低減するための再使用を強調している。品質損失を低減する点から再使用を述べている参考文献もわずかにあるが、これらは、トランスコーディングにおける第2の圧縮段階の圧縮効率も利用しつつもどのように情報を効率的に再使用するかについては示していない。とりわけ、以前のビデオトランスコーダは、ビットレートの低減を可能にする限り品質が損なわれ、品質を維持する限りビットレートの低減はない。以前のビデオトランスコーダは、品質を実質的に維持すると共にビットレートを実質的に低減するようにトランスコードしていない。
要約すると、高忠実度のトランスコーディングのための様々な戦略について述べる。これらの戦略では、例えばビデオトランスコーダが品質を実質的に維持するとともにビットレートを実質的に低減するようにビデオをソースフォーマットからターゲットフォーマットにトランスコードする。様々な戦略は、組み合わせてまたは独立して使用することができる。
第1の戦略によれば、ツールがビデオをソースフォーマットからターゲットフォーマットに同じビットレートまたはより低いビットレートでトランスコードする。ツールは、ソースフォーマットの圧縮ビデオを圧縮解除し、圧縮ビデオの複数のユニットについてタイプ値を得る。タイプ値は、ピクチャタイプ値、マクロブロック符号化タイプ値、および/またはその他の情報とすることができる。ツールがこのビデオを再圧縮するとき、ツールは得られたタイプ値に少なくとも部分的に基づいて何らかの符号化決定を行って、ターゲットとソースのフォーマットの圧縮ビデオ間でツールが品質を一致させるのを助ける。ツールは、ターゲットフォーマットの圧縮効率を利用してビットレートを低減するために独立して他の符号化決定を行う。
第2の戦略によれば、ツールが、あるフォーマットでの圧縮ビデオを圧縮解除し、圧縮ビデオの量子化レベルを得る。ツールがこのビデオを別のフォーマットで再圧縮するとき、ツールは得られた量子化レベルに匹敵する程度までビデオを量子化して、2つのフォーマットの圧縮ビデオ間の品質の差を低減する。同時に、第2のフォーマットの圧縮効率によりビットレートが実質的に低減される。
第3の戦略によれば、ツールが第1のフォーマットの圧縮ビデオを圧縮解除し、このビデオを再圧縮する。ツールは、1パス可変ビットレート符号化による第2のフォーマットエンコーダを使用するが、圧縮パラメータを規制して、一定または比較的一定のビットレートの第2のフォーマット圧縮ビデオを生成する。
本発明のこれらおよびその他の特徴および利点は、添付の図面を参照して進める以下の実施形態の詳細な記述から明らかになるであろう。
記載の実施形態は、高忠実度(ハイファイ)トランスコーディングのための技法およびツールを対象とする。例えば、ビデオトランスコーダが第1のロッシー圧縮フォーマットから第2のロッシー圧縮フォーマットへビデオの高忠実度変換を行う。これにより、トランスコーディング損失が低減され、品質が実質的に保持された、2つのフォーマット間の相互運用性が可能になる。同時に、第2のフォーマットの圧縮効率により、入力ビットレートよりも実質的に低い出力ビットレートをもたらす。
単純なトランスコーディングの期間にピクチャごとに使用されるビットの数を比較することで鍵となる観測が得られる。単純なトランスコーディングにおける品質損失は、部分的には、同じピクチャを2つの異なる圧縮フォーマットで圧縮するのに使用されるビットの数の格差から生じる。ピクチャの再圧縮に使用されるビットが少なすぎると、付加的な歪みを招く危険が高まり、品質損失が後続のピクチャに影響することがある。例えば、あるピクチャが後続のピクチャの動き補償のためのリファレンスピクチャとして使用される場合、トランスコーダは、予測ピクチャの予測残差を符号化する追加のビットを費やすことによって、リファレンスピクチャ中の品質損失を補償しなければならない。他方、ピクチャの再圧縮に使用されるビットが多すぎると、保持される「品質」は人間の観賞者の可視しきい値よりもかなり低く、そのため、そうでなければ他のピクチャに使用することができるビットが無駄になる。進行中のビット不足問題が生じたり、または悪化したりする場合があり、潜在的に後続のピクチャの品質を損なう。
本明細書に記載した様々な技法およびツールは、再圧縮のためにどのようにビットを効率的に使用するかを決定するときに、ソースフォーマット圧縮ビデオからの情報、またはソースフォーマット圧縮ビデオに関する情報を使用する。この情報は、ソースフォーマット圧縮ビデオの復号中に、または別のソースから、取得または導出することができる。トランスコーダの規則は、どのようにターゲットフォーマットのシンタックスエレメントを使用し、どのようにソースフォーマット情報に基づいて符号化決定を行うかを規定する。この結果、トランスコードされたピクチャの品質は、ソースフォーマット圧縮ピクチャの品質と実質的に一致する。ピクチャをターゲットフォーマットで圧縮するのに使用されるビットの数は、ビットレートの全体的な差について調整した後では、同じピクチャをソースフォーマットで圧縮するのに使用されたビットの数におおよそ追従する。
いくつかの実施形態では、トランスコーダは、再符号化中にソースフォーマットシンタックスエレメントなどの情報をヒント(トランスコーディング規則として実現される)として使用する。これにより、特定の対応するシンタックスエレメントおよび符号化決定を2つのフォーマットにわたって保持することができるようになる。ピクチャをその前の品質レベルよりもずっと低く圧縮しないことにより、トランスコーダは新たな人工劣化(例えば、粗すぎる量子化による)を招く危険を低減する。トランスコーダはまた、雑音を符号化したり、または品質を可視しきい値よりも低く保ったりするようにビットを割り振ることを回避する。元のエンコーダがロッシー圧縮でビットを節約した領域では、トランスコーディングの品質は低下する。というのは、より高品質でトランスコーディングしても、元のコンテンツに対する忠実度を改善するのにほとんど役立たず、代わりに量子化雑音を招くか、または第1の符号化によって導入された量子化雑音を増幅する可能性があるからである。このように、トランスコードされたビデオは、許容差内で入来ビデオの品質およびビットレートパターンに従う。
いくつかの実施形態では、トランスコーダは、ターゲットフォーマットエンコーダが、ソースフォーマット圧縮ビデオからのピクチャタイプ(例えばI、P、またはB)をターゲットフォーマットで圧縮される対応するピクチャに使用するように強制する。これにより、トランスコーダが圧縮ビデオの品質をソースフォーマットとターゲットフォーマットの間で一致させるのを助けることができ、また、早送り、早戻し、およびその他のアクセス機能を保持するのを助けることもできる。いくつかの実施形態では、トランスコーダは、ターゲットフォーマットで圧縮するときに、ソースフォーマット圧縮ビデオからのインター/イントラマクロブロック符号化タイプを使用する。あるいは、トランスコーダは、ソースフォーマット圧縮ビデオからのフィールド/フレーム符号化決定情報を使用する。これらの技法もまた、トランスコーダが圧縮ビデオの品質をソースフォーマットとターゲットフォーマットの間で一致させるのを助けることができる。同時に、トランスコーダは、全体的なビットレートを低減するために追加の圧縮の機会を利用する自由をターゲットフォーマットエンコーダに与える。
いくつかの実施形態では、トランスコーダは、ソースフォーマット圧縮ビデオの量子化レベルをターゲットフォーマット圧縮ビデオにマップする。例えば、トランスコーダは、マクロブロックレイヤ量子化レベルを、ターゲットフォーマット圧縮ビデオの対応するマクロブロックにマップする。フォーマットがMPEG−2およびWMV9であるとき、トランスコーダは、MPEG−2量子化レベルをWMV9マクロブロックにWMV9の差分量子化器シグナリング機構を使用してマップすることができる。
いくつかの実施形態では、トランスコーダは、一定または比較的一定のビットレートで出力を生成するためにビデオエンコーダの1パス可変ビットレートモードに対して外部の比例レート制御を適用する。これにより、トランスコーダは一定ビットレートモードまたは可変ビットレートモードで動作できるようになる。
様々な例示的な実装形態で、ビデオトランスコーダは、MPEG−2符号化ビデオのWMV9符号化ビデオへの高忠実度変換を行い、通常のシーケンスに対してビットレートを20〜30%低減する。トランスコーダは、ピクチャタイプおよびマクロブロックタイプを維持し、量子化レベルを注意深くマップして、トランスコーディング損失を切り詰める。このトランスコーディングは特に、MPEG−2が主流フォーマットであった高品質ビデオの製作者および放送業者に有用である。その他の用途は、あるタイプの民生用デバイスに使用されるフォーマット(例えばPC上のMPEG−2)と別のタイプの民生用デバイスに使用されるフォーマット(例えばラップトップ上のWMV9)との間のトランスコーディングに関係する。
あるいは、トランスコーダは、MPEG−2からWMV9への変換以外の変換を行う。例えば、トランスコーダは、MPEG−2とH.264の間、MPEG−2とVC−9の間、またはビデオフォーマットの別のペアの間で変換する。または、トランスコーダはビデオ以外の情報を変換する。ビデオトランスコーダ以外の処理ツールは、本技法の1つまたは複数を実施することができる。
様々なトランスコーディング技法について本明細書の所々で、単一の統合システムの一部として記載するが、これらの技法は別々に、潜在的には他の技法と組み合わせて適用することができる。さらに、様々な技法の動作を提示の目的である特定の一連の順序で述べるが、この記述方法は、特定の順序付けが必要とされない限り、動作の順序のマイナーな再配置を包含することを理解されたい。例えば、順番に記載した動作は、場合によっては並べ替えてもよく、あるいは同時に実行してもよい。さらに、簡単のために、フローチャートは、特定の技法が他の技法と共に使用できる様々な方法を示していないこともある。
I.コンピューティング環境
図1に、記載の実施形態を実施することのできる適したコンピューティング環境の一般化した例(100)を示す。本技法およびツールは多様な汎用または専用コンピューティング環境で実施することができるので、コンピューティング環境(100)は、使用または機能の範囲についていかなる限定を意味するものではない。
図1を参照すると、コンピューティング環境(100)は、少なくとも1つの処理ユニット(110)およびメモリ(120)を備える。図1では、この最も基本的な構成(130)が破線内に含まれている。処理ユニット(110)は、コンピュータ実行可能命令を実行し、実際のプロセッサであっても仮想のプロセッサであってもよい。マルチプロセッシングシステムでは、複数の処理ユニットにより、コンピュータ実行可能命令を実行して処理力を増大させる。メモリ(120)は、揮発性メモリ(例えばレジスタ、キャッシュ、RAM)、不揮発性メモリ(例えばROM、EEPROM、フラッシュメモリなど)、またはこれら2つの何らかの組合せとすることができる。メモリ(120)は、高忠実度トランスコーディングを実施するソフトウェア(180)を格納する。
コンピューティング環境は追加の機構を有することもできる。図1では、コンピューティング環境(100)は、ストレージ(140)、1つまたは複数の入力デバイス(150)、1つまたは複数の出力デバイス(160)、および1つまたは複数の通信接続(170)を含む。バス、コントローラ、またはネットワークなどの相互接続機構(図示せず)が、コンピューティング環境(100)のコンポーネントを相互接続する。通常、オペレーティングシステムソフトウェア(図示せず)が、コンピューティング環境(100)中で実行される他のソフトウェアの動作環境を提供し、コンピューティング環境(100)のコンポーネントの活動を調整する。
ストレージ(140)は、リムーバブルまたは非リムーバブルとすることができ、磁気ディスク、磁気テープもしくはカセット、CD−ROM、CD−RW、DVD、または情報を格納するために使用でき、コンピューティング環境(100)内でアクセスできるその他の任意の媒体を含む。ストレージ(140)は、ソフトウェア(180)の命令を格納している。
入力デバイス(150)は、キーボード、マウス、ペン、またはトラックボールなどのタッチ入力デバイス、音声入力デバイス、スキャニングデバイス、またはコンピューティング環境(100)へ入力を提供する別のデバイスとすることができる。オーディオまたはビデオの場合、入力デバイス(150)はサウンドカード、ビデオカード、TVチューナカード、またはアナログもしくはディジタル形式のオーディオもしくはビデオを受け入れる類似のデバイスとすることができ、あるいはオーディオまたはビデオサンプルをコンピューティング環境(100)に読み込むCD−ROMまたはCD−RWとすることができる。出力デバイス(160)は、ディスプレイ、プリンタ、スピーカ、CDライタ、またはコンピューティング環境(100)からの出力を提供する別のデバイスとすることができる。
通信接続(170)は、通信媒体を介して別のコンピューティングエンティティへの通信を可能にする。通信媒体は、コンピュータ実行可能命令、オーディオもしくはビデオ入力または出力、その他のデータなどの情報を変調データ信号で搬送する。変調データ信号は、信号中の情報を符号化する形でその1つまたは複数の特性が設定または変更された信号である。限定ではなく例として、通信媒体には、電気的、光学的、RF、赤外線、音響、またはその他の搬送波で実現される有線または無線技法が含まれる。
本技法およびツールは、コンピュータ可読媒体の一般的なコンテキストで述べることができる。コンピュータ可読媒体は、コンピューティング環境内でアクセスできる任意の利用可能な媒体である。限定ではなく例として、コンピューティング環境(100)では、コンピュータ可読媒体にはメモリ(120)、ストレージ(140)、通信媒体、およびこれら任意の組合せが含まれる。
本技法およびツールは、プログラムモジュールに含まれるコンピュータ実行可能命令など、コンピューティング環境中でターゲットの実際のプロセッサまたは仮想プロセッサ上で実行されているコンピュータ実行可能命令の一般的なコンテキストで述べることができる。一般に、プログラムモジュールには、特定のタスクを行ったり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で組み合わせたり、分割したりすることができる。プログラムモジュールのコンピュータ実行可能命令は、ローカルまたは分散コンピューティング環境内で実行することができる。
提示の目的で、この詳細な記述では、「判定」「生成」「調整」「適用」などの用語を使用してコンピューティング環境でのコンピュータ動作を説明する。これらの用語は、コンピュータによって実行される動作の高レベルの抽象化であり、人間によって行われる行為と混同されるべきではない。これらの用語に対応する実際のコンピュータ動作は、実装形態に応じて異なる。
II.ビデオトランスコーダ
図2に、記載の実施形態を実施することのできる一般化されたビデオトランスコーダ(200)を示す。図2のトランスコーダ(200)は、図3に示すDirectX Media Object(「DMO」)(300)として実現することができる。DMOは、図4のシステムフィルタグラフ(400)に組み込むことができる。このアーキテクチャは、トランスコーダの統合を簡単にし、様々なソースフォーマットデコーダのいずれかを使用するフレキシビリティを提供し、付加機能の追加を簡単にする。
(A.一般化されたビデオトランスコーダ)
トランスコーダ(200)は、ソースフォーマットデコーダおよびビットストリームパーサ(210)、再符号化データセットプロセッサ(220)、ターゲットフォーマットエンコーダ(230)を含む様々なモジュールを有する。トランスコーダ(200)内のモジュール間の図示した関係は、トランスコーダ(200)中の情報の一般的な流れを示し、その他の関係は、簡単のために図示していない。
全体として、トランスコーダ(200)は、ソースフォーマットで圧縮されたビデオ(205)を受け取り、復号し、再符号化し、ターゲットフォーマットで圧縮されたビデオ(235)を生成する。例えば、ソースフォーマットはMPEG−2であり、ターゲットフォーマットはWMV9であるが、他のフォーマットのペアも可能である。MPEG−2に関する追加の詳細については、参照によりその開示が本明細書に組み込まれるMPEG−2規格(H.262規格とも称される)を参照されたい。WMV9に関する追加の詳細については、参照によりその開示が本明細書に組み込まれる2003年7月18日に出願された米国特許仮出願第60/488,710号を参照されたい。
トランスコーダ(200)はビデオピクチャを処理し、このビデオピクチャは、ビデオフレーム、ビデオフィールド、またはフレームとフィールドの組合せとすることができる。トランスコーダ(200)における圧縮解除および圧縮は、ブロックベースであり、4:2:0などのカラーフォーマットを使用し、この場合、各マクロブロック(「MB」)は、4つの8×8ルミナンスブロック(時に1つの16×16MBとして扱われる)と、2つの8×8クロミナンスブロックを含む。あるいは、圧縮および圧縮解除はオブジェクトベースであり、異なるMBまたはブロックフォーマットを使用するか、そうでなければ異なるサイズまたは構成のピクセルのセットに関して操作を行う。
図2を参照すると、ソースフォーマットデコーダおよびビットストリームパーサ(210)は、ソースフォーマットの圧縮ビデオ(205)を受け取る。デコーダ(210)は、ビデオ(205)を復号し、トランスコーディングのための復号ビデオ(215)を生成する。同じまたは異なる復号ビデオを、エンドユーザによるプレビューのためのビデオ(213)として使用することができる。デコーダ(210)のコンポーネントは、圧縮フォーマットおよび実装形態によって異なるが、通常はエントロピーデコーダ、逆量子化器、逆周波数変換器、動き補償器が含まれる。デコーダ(210)は、ビデオ(205)を完全に圧縮解除して、トランスコーディングのためのビデオ(215)を生成する。
ビットストリームパーサ(210)は、デコーダ(210)と統合されることも別個とされることもあり、ビデオを再符号化するために使用されるデータエレメントのセット(217)を抽出する。例えば、これらのエレメントには、ピクチャタイプ、MBイントラ/インター符号化モード、およびフレーム/フィールド決定情報が含まれる。MPEG−2シンタックスエレメントの記述については、参照によりその開示が本明細書に組み込まれる非特許文献2を参照されたい。あるいは、データエレメントセット(217)は、その他および/または追加のエレメントを含む。再符号化データセットプロセッサ(220)は、再圧縮を制御する際の使用のために抽出されたエレメントを処理し、パッケージ化する。
ターゲットフォーマットエンコーダ(230)は、ビデオ(215)をターゲットフォーマットに従って再符号化する。ターゲットフォーマットエンコーダ(230)自体は、実際の圧縮を行うエンコーダモジュール(232)と、圧縮の品質および/またはレートを制御するためのエンコーダ制御モジュール(234)とを含む。エンコーダ制御モジュール(234)は、ソースフォーマットビデオからのエレメントを、エンコーダモジュール(232)の制御信号と、ターゲットフォーマット圧縮ビデオの等価パラメータに変換する。エンコーダモジュール(232)は、ターゲットフォーマットの圧縮ビデオ(235)を生成し、これはプレビュー目的でターゲットフォーマットデコーダモジュールや、他のフィードバック目的で別のモジュールにルーティングすることができる。エンコーダモジュール(232)のコンポーネントは、圧縮フォーマットおよび実装形態によって異なるが、通常は画像プリプロセッサ(サンプルレート変換やフィルタリングなどのため)、動き推定器/補償器、周波数変換器、量子化器、エントロピーエンコーダ、ならびに必要な復号コンポーネントが含まれる。
ビデオトランスコーダの特定の実施形態では、一般化されたトランスコーダ(200)の変形または補足バージョンを使用することもできる。実装形態および所望のトランスコーディングタイプに応じて、トランスコーダのモジュールを追加したり、省略したり、複数のモジュールに分割したり、他のモジュールと組み合わせたり、そして/または同様のモジュールで置き換えたりすることができる。代替の実施形態では、様々なモジュールおよび/または他の構成のモジュールを有するトランスコーダが、記載の技法の1つまたは複数を行う。
(B.トランスコーダの内部アーキテクチャ)
図3に、DMO(300)の内部アーキテクチャを示す。全体として、DMO(300)のビデオモジュールは、2つの入力ピンと1つの出力ピンを有する。入力ピンは、復元ビデオ(302)と、ソースフォーマット(例えばMPEG−2)圧縮ビデオ(304)のためのものであり、出力ピンは、ターゲットフォーマット(例えばWMV9)圧縮ビデオ(342)のためのものである。
ターゲットフォーマットビデオエンコーダ(310)が、復元ビデオ(302)を受け取り、ピクチャの圧縮準備ができたときにソースフォーマットパラメータパーサ(320)に通知(312)を送る。リターンとして、エンコーダ(310)は、符号化決定を行う際に使用する情報を受け取る。この通知/リターンプロトコルは、コンポーネント間での、または他の何らかの機構とのコールバック関数として実施することができる。情報は、ビデオ符号化と同期して、符号化が進行するにつれて数個のピクチャずつ抽出される。あるいは、トランスコーダは異なるタイミングを使用する。
パーサ(320)は、対応するソースフォーマット圧縮ビデオ(304)を受け取り、そこからシンタックスエレメントを抽出して、ソースビデオ中のビデオピクチャに関する情報を得る。パーサ(320)は、圧縮ビデオ(304)から、埋め込まれたシンタックスエレメントおよび派生するエレメントのいずれかまたはすべてを抽出する。例えば、パーサ(320)はSMPTE MPEG−2再符号化データセットのサブセットを抽出する。あるいは、パーサ(320)は、他のおよび/または追加のエレメントを抽出する。これらのシンタックスエレメントから、パーサ(320)は符号化決定を行い、リターンパラメータ(322)としてエンコーダ(310)への配送のためにシンタックスエレメントおよび符号化決定をパラメータ化する。エンコーダ(310)は、リターンパラメータ(322)を使用してターゲットフォーマット圧縮ビデオを生成する。
別個のパスで、ターゲットフォーマット(例えばWMA9)オーディオエンコーダ(330)が、復元オーディオ(328)を受け取り、ターゲットフォーマット圧縮オーディオを生成する。
キューおよびバッファ管理モジュール(340)が、エンコーダ(310、330)から圧縮ビデオおよび圧縮オーディオを受け取り、ターゲットフォーマット圧縮ビデオ(342)およびターゲットフォーマット圧縮オーディオ(344)を同期出力として生成する。キューおよびバッファ管理モジュール(340)は、レート制御のために1つまたは複数のバッファを含むことができ、エンコーダ(310、330)にフィードバックを提供して、品質および/またはレートを規制することができる。
(C.トランスコーダを使用したフィルタグラフ)
図4に、トランスコーダのDMO(300)をフィルタとして組み込むフィルタグラフ実装形態(400)を示す。集合的に、このシステムは、オーディオおよびビデオのトランスコーディング、圧縮オーディオおよびビデオの多重化、最終出力としての有効な出力フォーマット(例えばASF)ファイルの作成を行う。
トランスコーディングは、入力として多重化されたソースフォーマット(例えばMPEG−2)ファイルと共に開始する。ソースフォーマットソースフィルタ(410)は、ネットワークストリームやファイルなどから再生されたソースフォーマットビデオストリームを表す。ソースフォーマットストリームスプリッタ(420)が、ソースフォーマットストリームを圧縮オーディオと圧縮ビデオのサブストリームに分離し、これらを単一のピンを介してTEE(430)に渡す。TEE(430)は、その入力ピン上で受け取る情報を、その出力ピンのそれぞれに渡す。(情報を受け取るフィルタは、いくらかを使用し、残りを無視することになる。)
ソースフォーマットビデオデコーダ(440)が、圧縮ビデオサブストリームを復号し、復元ビデオを生成する。ソースフォーマット(例えばAES)オーディオデコーダ(450)が、圧縮オーディオサブストリームを復号し、復元オーディオを生成する。
トランスコーダフィルタ(300)が、復元ビデオおよび復元オーディオ、ならびにソースフォーマット圧縮ビデオサブストリームを含むTEE(430)からの未加工の出力を受け取る。トランスコーダフィルタ(300)のコンポーネントは、上述のように動作し、ターゲットフォーマット(例えばWMV9)圧縮ビデオと、ターゲットフォーマット(例えばWMA9)圧縮オーディオを生成する。ライタ/マルチプレクサ(490)が、この圧縮情報をヘッダ情報と組み合わせて、出力フォーマットファイルとし、これが格納および/または伝送される。
このフィルタグラフ(400)は、トランスコーダのソフトウェアのみによる実装形態を表すこともできるが、他の実装形態では、より高速なトランスコーディングという利益を期待してトランスコーディングのためにハードウェア、ファームウェア、およびソフトウェアの組合せを使用する。
III.タイプシンタックスエレメントの保持
いくつかの実施形態では、ビデオトランスコーダは、ソースフォーマットからターゲットフォーマットへのトランスコーディングの間に、ピクチャタイプ、MB符号化タイプ、フレーム/フィールド符号化決定情報、および/またはその他の情報を保持する。トランスコーダはこの情報を、ターゲットフォーマット圧縮での符号化決定および/または等価パラメータの設定に使用する。これは、トランスコーダがソースフォーマット圧縮ビデオの品質に一致させるのを助ける。同時にトランスコーダは、圧縮効率を利用し、全体的なビットレートを低減するために、ビデオのその他の様々な符号化決定を行う自由をターゲットフォーマットエンコーダに与える。
図5に、トランスコーディング中にソースフォーマット圧縮ビデオの再符号化データセットエレメントを取得および使用するための技法(500)を示す。ソースフォーマットデコーダが、ソースフォーマット圧縮ビデオを圧縮解除し(510)、復元ビデオを生成する。例えば、圧縮解除は完全圧縮解除である。
トランスコーダは、ソースフォーマット圧縮ビデオの再符号化データセットエレメントを得る(520)。これらのエレメントを得る(520)ために、トランスコーダは、復号前、復号中、または復号後にソースフォーマット圧縮ビデオを(例えばバッファされあたコピーから)パースする。あるいは、再符号化データセットエレメントを別個にシグナルするか、または他の方法で提供する。これらのエレメントは、ソースフォーマットシンタックスエレメントであるか、またはソースフォーマットシンタックスエレメントから派生するエレメント、例えばピクチャタイプ値、イントラ/インターMB符号化タイプ値、およびフィールド/フレーム情報である。あるいは、トランスコーダは、その他のエレメントおよび/または追加のエレメントを得る。
ターゲットフォーマットエンコーダが、復元されたビデオを再圧縮し(530)、ターゲットフォーマット圧縮ビデオを生成する。これを行う際、エンコーダは、符号化決定を行うときに再符号化データセットエレメントを使用する。トランスコーダはまた、ターゲットフォーマット圧縮でのパラメータのいくつかのエレメントを渡すこともできる。このように、エンコーダは、ビデオをターゲットフォーマットで圧縮するときに、ソースフォーマット圧縮ビデオの品質におよそ従う。エンコーダは、品質を犠牲にすることなくビットレートを低減するために、その他の様々な決定を独立して行う。例えば、エンコーダは、様々な予測モード決定および/または変換サイズ決定を行って符号化を局所的パターンによりよく適合させ、それによりビットレートを低減する。または、エンコーダは、動き補償予測を改善し、それによって予測残差のビットレートを低減するためにループフィルタリング、強度補償、より多くの動きベクトル、および/または増加した動きベクトル精度を有する動き補償のための新しい動きベクトルを計算する。ソースフォーマット圧縮ビデオからの動きベクトル情報は、いくつかの動き推定決定(例えば、開始点を提供することによって推定を高速化するため)で使用することができ、他の動き推定決定(例えば、ループフィルタリングや強度補償などを考慮して正確な動きベクトルを見つけるため)では無視することができる。
トランスコーダは、再圧縮(530)を始める前に圧縮解除(510)を完了することができる。より一般的には、トランスコーダは、ピクチャ、ピクチャグループ、またはビデオのその他の期間に対してこうした技法(500)の段階を同時に行う。
IV.量子化レベルのマッピング
いくつかの実施形態では、ビデオトランスコーダは、トランスコーディング時にソースフォーマットの圧縮ビデオの量子化レベルをターゲットフォーマットの圧縮ビデオにマップする。このマッピングは、ソースおよび目的の圧縮ビデオフォーマットにおける量子化器ステップサイズの等価性を確立し、トランスコーダが品質を保持し、トランスコーディング損失を低減するのを助ける。
図6に、トランスコーディング中にソースフォーマット圧縮ビデオの量子化レベルを取得し、使用するための技法(600)を示す。ソースフォーマットデコーダが、ソースフォーマット圧縮ビデオを圧縮解除し(610)、復元ビデオを生成する。例えば、圧縮解除は完全圧縮解除である。
トランスコーダは、ソースフォーマット圧縮ビデオの量子化レベルを得る(620)。これらのレベルを得る(620)ために、トランスコーダは、復号前、復号中、または復号後にソースフォーマット圧縮ビデオをパースする。あるいは、これらのレベルは別個にシグナルされるか、または他の方法で提供される。量子化レベルは、例えば、均一な量子化のMBあたりの量子化ステップサイズ値である。あるいは、トランスコーダは、その他の種類および/または追加の種類の量子化レベルを得る。
次に、ターゲットフォーマットエンコーダが、復元されたビデオを再圧縮し(630)、ターゲットフォーマット圧縮ビデオを生成する。これを行う際、エンコーダは、量子化決定ときに、得られた量子化レベルを使用する。例えば、エンコーダは、ソースフォーマット圧縮ビデオ中の対応するピクチャのMBのMBあたりの量子化ステップサイズ値の平均に基づいて、ピクチャの量子化値を設定する。または、エンコーダは、ソースフォーマット圧縮ビデオ中の対応するMBのMBあたりの量子化ステップサイズ値に基づいて、MBの量子化値を設定する。これにより、ターゲットフォーマットで圧縮するときに、エンコーダがソースフォーマット圧縮ビデオの品質に一致させるのを助ける。前のセクションで述べたように、エンコーダは、品質を犠牲にすることなくビットレートを低減するために、その他の様々な決定を独立して行うことができる。
トランスコーダは、再圧縮(630)を始める前に圧縮解除(610)を完了することができる。より一般的には、トランスコーダは、ピクチャ、ピクチャグループ、またはビデオのその他の期間に対してこうした技法(600)の段階を同時に行う。
V.トランスコーディングにおけるレート制御
いくつかの実施形態では、ビデオトランスコーダは、トランスコーディング時にレート制御を使用する。例えば、レート制御により、トランスコーダがビットレートを制御して、ソースフォーマット圧縮ビデオの品質に近い品質を保持しながら、インターネットストリーミングまたはその他の用途のための定ビットレート制約を満たすことができるようにする。
図7に、トランスコーディングにおけるレート制御のための技法(700)を示す。ソースフォーマットデコーダが、ソースフォーマット圧縮ビデオを圧縮解除し(710)、復元されたビデオを生成する。例えば、圧縮解除は完全圧縮解除である。前のセクションで述べたように、トランスコーダは、ソースフォーマット圧縮ビデオの量子化レベルを得る(720)。トランスコーダは、ターゲットフォーマットでの圧縮ビデオのユニットに対してターゲット量子化レベルを設定する(730)。例えば、エンコーダは、前のセクションで述べたように、ピクチャまたはMBに対して量子化レベルを割り当てる。
トランスコーダは、1つまたは複数のレート規準に基づいて、ターゲット量子化レベルを(しきい値内で)調整する(740)。しきい値は、トランスコーダがソースフォーマット圧縮ビデオの対応する量子化レベルから過度に上または下に逸脱しないようにし、これにより、圧縮ビデオの品質をターゲットおよびソースフォーマット間で近い品質に維持する助けとなる。レート規準は、バッファ飽和レベル、ユニットに割り振られたビットの数とユニットの符号化に実際に使用されたビットの数との偏差、および/またはその他のエレメントに基づく。ユニットに割り振られたビットの数は、所望のビットレート、ピクチャタイプ、および/またはピクチャ符号化の複雑さに基づくことができ、または(適切にスケールされた)ソース圧縮フォーマットの同じユニットによって使用されたビットに基づいてもよい。さらに、エンコーダは、複雑さの局所的な変動を考慮するように量子化を調整することができる。概して、トランスコーダは、量子化を粗くしてビットレートを目標に向けて低減するか、または量子化を細かくしてビットレートを目標に向けて増大する。トランスコーダはまた、目標ビットレートを達成しつつ、品質レベルの変動を制御するよう試みることもできる。
ユニットの量子化レベルを調整した(740)後、トランスコーダは、トランスコーディングが終了したかどうかを判定し(750)、終了していない場合は、次のユニットのターゲット量子化レベルを設定する(730)ことによって継続する。トランスコーダは、レート制御の設定(730)および調整(740)を始める前に圧縮解除(710)を完了することができる。より一般的には、トランスコーダは、ピクチャ、ピクチャグループ、またはビデオのその他の期間に対してこうした技法(700)の段階を同時に行う。
VI.実装形態の組合せ
前述の技法は、独立して別個に適用することもできるし、単一の統合されたトランスコーディングシステムにおいて組み合わせることもできる。一実装形態では、トランスコーダはMPEG−2ビデオをWMV9ビデオに変換する。
トランスコーダは、MPEG−2シンタックスエレメントおよびセマンティックエレメントを考慮し、MPEG−2圧縮とWMV9圧縮の間でシンタックスエレメントおよび符号化決定が維持されるようにする規則のセットを使用する。具体的には、トランスコーダは、復号サブシステム中でMPEG−2ビデオから導出されるMPEG−2再符号化データセット(SMPTE327M−2000に記述されている)のサブセットを使用する。トランスコーダは、MPEG−2再符号化データを符号化サブシステム中の開始点として使用し、そこからWMV9符号化のための符号化決定を行い、いくつかのアイテムをWMV9ビットストリームに繰り越す。このように、トランスコーダは、WMV9エンコーダの特定の必要性およびトランスコーディングシナリオに従って、様々なMPEG−2符号化パラメータを保持または修正する。
トランスコーダは、以下の問題に対処する。すなわち、MPEG−2で符号化されたビデオピクチャのセットがある場合、トランスコーダは、同じピクチャをWMV9で再符号化するときにどのようにビットおよび品質(量子化)を割り振るべきかという問題である。トランスコーディングでは、トランスコーダは、品質を実質的に保持しながらトランスコーディング損失を回避(または少なくとも大幅に低減)するよう努める。トランスコーダは、知覚可能性/可視性のしきい値よりも低い品質を保持するためにビットを過剰に費やすことはしない。同時に、トランスコーダは、WMV9の追加の圧縮効率を利用して、MPEG−2圧縮入力のビットレートよりも低いビットレートの出力を生成する。
トランスコーダは単一のパスで動作し、ビデオシーケンスを通して1つのパスで同時にMPEG−2圧縮ビデオを圧縮解除し、再符号化データセットエレメントを収集し、ビデオを再圧縮する。実装に応じた十分なカスタマイズにより、この単一パストランスコーディングは、リアルタイムまたはほぼリアルタイムでMPEG−2入力とWMV9出力を有する様々なストリーミングシナリオで使用することができる。あるいは、トランスコーダは、シーケンス全体を圧縮解除し、シーケンス全体の統計を格納してから、トランスコーディングを開始することもできよう。このようなマルチパスのトランスコーディングは品質を改善することができるが、明らかにより多くの計算時間を要し、製品としての実施が困難になる。
(A.放送およびケーブル用途)
トランスコーダの品質を保持する特徴は、放送およびケーブル業界と密接な関係がある。トランスコーダは、既存のコンテンツのMPEG−2からWMV9への効率的な変換を可能にして、WMV9の効率を利用するか、または単に2つのフォーマット間の相互運用性を可能にする。MPEG−2からWMV9へのシームレスなトランスコーディングの潜在的な用途は、製作、編集、格納、および消費を含む広範なシナリオをカバーする。このセクションでは主に放送およびケーブルの「垂直軸」の用途に焦点を合わせるが、そのビジネス業務は製作および流通活動の範囲にまたがる。
(1.VODおよびPVRのためのコンテンツ変換)
コンテンツ消費の主流モデルは、コンテンツプッシュモデルであった。今日、コンテンツプルモデルがより一般的になりつつあるが、この場合のコンテンツは、どのコンテンツをいつ見るかを消費者が決定した後に配送される。2つの技術がこの変化を容易にした。第1はビデオオンデマンド(「VOD」)であり、第2はパーソナルビデオレコーダ(「PVR」)である。
VODもPVRも両方とも、帯域幅およびストレージの節約のために、MPEG−2からWMV9へのトランスコーディングの恩恵を受ける。VODおよびPVRは大規模スケールで実施され、帯域幅節約の累積効果は、大きなコスト節約をもたらすことができる。VODで、オペレータらはMPEG−2圧縮を許容可能な品質のビデオの限界いっぱいまで使用しており、そのため別のフォーマットへのトランスコーディングは、それ以上のどんな品質劣化も回避すべきである。トランスコーダは、MPEG−2 VODコンテンツをWMV9フォーマットに変換するとき、ビデオの品質を維持しながらビットレートを低減する。
(2.Play to Airビデオサーバのためのコンテンツ変換)
ビデオサーバは、MPEG−2フォーマットで内部に格納されているビデオを、定期的に取り込み、再生する。編集される資産は、製作のチェーンに適合するように、MPEG−2で再摂取されるか、またはMPEG−2にトランスコードされる。WMV9の圧縮効率は、放送設備内のネットワーク帯域幅およびストレージの要件を低減する。
トランスコーダは、スタジオ摂取のコンテンツを、品質を維持しながら元のビットレートよりも低いビットレートでWMV9に変換する。この再フォーマット化されたコンテンツは、より小さいフットプリントで格納することができ、より狭い帯域幅で再生サーバに伝送することができる。放送設備は、放送再生、放送バックアップ、または遠隔サイトからの災害復旧のためにWMV9コンテンツを使用することができる。災害復旧の場合では、ビデオがワイドエリアネットワークを介して搬送される可能性が高いので、ビットレート低減から得られるコスト節約はさらに大きい。
(3.コンテンツレビューのためのプロキシ作成)
コンテンツレビューのためのプロキシ作成は、現在、WMV9のポピュラーな使用法の1つである。MPEG−2は、放送設備内でのビデオの貢献および流通に都合が良いが、本質的にストリーミングフォーマットではなく、より低い解像度およびビットレートに適用されたときはうまくスケールしない。アーカイブされたコンテンツ、および放送予定の摂取されたコンテンツをレビューするために、より低いレートのプロキシが必要とされる。
トランスコーダは、元のフレームレートのままのより低いビットレートおよびより低い解像度のWMV9ファイルを作成する。元のビデオからのタイムコードは、プロキシの低ビットレートビデオで保持される。トランスコーダは、ユーザがプロキシをプレビューし、カットおよびその他の編集を行い、編集の決定リストを作成することを可能にするコンテンツプレーヤと共に使用することができる。
(4.バックホール配送のためのコンテンツ変換)
放送業者は、定期的にバックホール配送を使用して、コンテンツを地方放送のためにその系列会社に送る。コンテンツ企業連合は、専用ファイバまたは衛星チャネル経由のバックホール配送を使用して、クライアントにビデオを配送する。MPEG−2は、適切な条件付きアクセスデコーダを用いて、これらおよびその他の設備内転送のための一般的な中間配送フォーマットの1つである。バックホール用途では、小さなビットレート利得でも、大きなコスト節約をもたらすことができる。中間フォーマットはトランスペアレントであり、これによりWMV9をより効率的な配送フォーマットとして採用することへの強力な推進力がもたらされる。
(B.ピクチャ符号化タイプの使用)
MPEG−2とWMV9は両方とも、3つの基本ピクチャ符号化タイプ、すなわちイントラ(「I」)、片方向予測([P])、両方向予測([B])を使用する。MPEG−2とWMV9とではこれらのピクチャタイプの符号化および復号に違いがある。WMV9は通常、より圧縮効率がよく、同じ品質の場合にビットレートを低減する。したがって、トランスコーディングの目標は、入力ビデオストリームとトランスコードされたビデオストリームの間でビット割振り自体を保持することではない。MPEG−2とWMV9との間の符号化ツールの違いにより、このような厳密な追跡の必要性を除去する。他方、MPEG−2圧縮ビデオからのピクチャあたりの相対的なビット割振りは、ビットを過剰に割り振ってもピクチャ品質を改善することにはならないので、WMV9エンコーダの一般的なガイドとして役立つ可能性がある。実際、ピクチャタイプ情報を使用して符号化決定をガイドすることによって、トランスコーディング効率を大きく改善することができる。
元のピクチャに対する符号化ピクチャの忠実度はピクチャタイプに応じて大きな差があるので、MPEG−2の各ピクチャタイプは、ビットレートおよび品質と密接な関係がある。Iピクチャは完全リフレッシュを表し、これは動き補償や再構成などにおけるエラーの伝搬を終了させる。トランスコーディングエラーの伝搬はまた、新しいIピクチャで終了する。Iピクチャは通常、他のピクチャよりも多くのビットを消費する。このように、Iピクチャを挿入するとビットレートに悪影響を及ぼすが、伝搬エラーを低減することで知覚品質を改善する傾向がある。
トランスコーダは、いくつかの状況で、ソースフォーマット圧縮ビデオとターゲットフォーマット圧縮ビデオの間でIピクチャタイプを一致させる。トランスコーディングエラー、伝送エラー、またはその他のエラーの伝搬に対する回復力を改善するために、トランスコーダは、ターゲットフォーマット圧縮ビデオでIピクチャを使用する。または、GOPパターンマッチングが使用されるとき(以下参照)、トランスコーダはIピクチャタイプを一致させる。WMV9エンコーダは、Iピクチャの正確な位置を数ピクチャだけ前方または後方に調整して、シーケンス特有の符号化効率を利用することができる。
Pピクチャは(前のリファレンスピクチャからの)前方予測を使用し、Bピクチャは前方および/または後方予測を使用することができる。通常、Pピクチャは、Bピクチャよりも多くのビットを消費する。Pピクチャは、動き補償のためのリファレンスピクチャとして使用することができる。Bピクチャは他のどんなピクチャによっても参照されず、そのためBピクチャ内のエラーは局所化される。
ターゲットフォーマット圧縮ビデオのビットレートをソースフォーマット圧縮ビデオのビットレートと一致させることができるとき、トランスコーダは、最高品質のトランスコーディングのピクチャ符号化タイプを保持する。しかし、ビットレートを低減したトランスコーディングでは、このようなピクチャタイプマッチングは、必要なビットレートの低減を妨げることがある。それゆえ、トランスコーダは、WMV9圧縮ビデオでIピクチャの代わりにPピクチャを選択的に代用するか、またはIピクチャの頻度を減らす。PピクチャをBピクチャで置き換えることによって、さらなるビットレートの低減が達成される。トランスコーダは、すべてのトランスコーディングシナリオにおいてBピクチャをBピクチャにマップする。
(C.ピクチャグループパターンの使用)
ピクチャグループ(「GOP」)は、ピクチャタイプパターンに従ったピクチャの配置の1つである。MPEG−2のGOPは、Iピクチャと、その後にアンカーとして続くいくつかのPピクチャと、アンカー間のBピクチャで構成することができ、例えばI,B,B,P,B,B,P,B,B,P,B,Bである。MPEG−2ビデオストリームは、多くの場合、フィルムコンテンツには12フレームのGOPサイズを使用し、テレビジョンコンテンツには15フレームのGOPサイズを使用する。様々なGOPパターンが、ランダムアクセス、早送り、早戻し、またはその他のアクセス機能のための異なるレベルのサポートを提供する。対照的に、WMV9ビデオは通常、Iピクチャの頻度がより少なく、デフォルト設定では毎10秒ごとにIピクチャが挿入される。
トランスコーダは、様々な状況で、GOPパターン(詳細にはIピクチャの位置)を入力ビデオとトランスコードされたビデオの間で一致させることができる。ソースおよびターゲットフォーマットの圧縮ビデオ間で対応するランダムアクセス、早送り、早戻し、またはその他のアクセス機能が必要とされるとき、トランスコーダは、GOPパターンを一致させる。品質の試行錯誤として、GOPパターンを一致させることは、ビットレートを一致させる傾向になり、これは品質を一致させる傾向になる。IピクチャをWMV9ビデオ中のGOPパターンに従って配置すると、PピクチャおよびBピクチャをMPEG−2ビデオ中のPおよびBピクチャの位置と一致するように配置することができる。
(D.フレーム/フィールド符号化決定情報の使用)
MPEG−2では、シーケンス全体をフレームまたはフィールドとして符号化することができる。後者の使用は非常に稀である。というのは、フレームに対して許容されるフィールド符号化モードは、速く動くコンテンツを圧縮するときに効率の損失を埋め合わせるからである。概して、フレーム符号化の方がフィールド符号化よりも性能が優れていることが多い。
フィールド符号化ピクチャをトランスコーディングするとき、トランスコーダは、WMV9エンコーダの内部決定機構に、各MBのフィールド/フレーム符号化タイプを判定させる。トランスコーダは、自動的にフィールド符号化を施行しない。あるいは、トランスコーダは、すべてのピクチャタイプについて、MBレイヤまたは他のレイヤでフィールド/フレーム符号化タイプ決定を一致させる。例えば、トランスコーダは、MPEG−2圧縮ビデオがフィールドピクチャを使用するとき、WMV9エンコーダにインターレースドフィールドピクチャを使用させる。このようにしてフレーム/フィールドピクチャタイプを一致させることにより、トランスコーディングにおけるタイプマッチングの他の例と同様にトランスコーディング効率を改善することが期待される。
(E.マクロブロックイントラ/インター情報の使用)
MPEG−2およびWMV9の両方で、PピクチャおよびBピクチャ中のMBを、イントラ符号化(リファレンスからの予測を使用しない)またはインター符号化(リファレンスからの予測を使用する)することができる。例えば、イントラ符号化は、動き補償が失敗するか、または不十分な結果(例えば大きい予測残差)を与えるときに使用される。動き補償は、リファレンスピクチャ中に適当な一致のない新たにさらされたコンテンツ(新しいオブジェクトや新しく現れた背景など)をMBが含むときに失敗することがある。
いくつかの実装形態では、トランスコーダは、イントラ/インター符号化タイプ決定を保持し、この決定をWMV9ビデオ中の非Iピクチャに対してMBレイヤで選択的に再適用する。MBレベルでイントラ符号化タイプを一致させることの動機付けの1つは、検討中のMBに、(より高いビットレートの犠牲を払って)高品質が保証されることである。
(F.ピクチャレベルでの量子化マッチング)
MPEG−2およびWMV9は両方とも、変換係数の均一な量子化を使用する。係数は、ビット精度、許容される量子化器ステップサイズの数、許容される量子化器ステップサイズの範囲という点から同様に表される。これにより、MPEG−2ビデオとWMV9ビデオの間で品質を一致させるための推進機構として量子化の使用が容易になる。MPEG−2圧縮ビデオとWMV9圧縮ビデオの間で量子化レベルを追跡することによって、トランスコーダは、少なすぎず多すぎないビットが使用されるようにWMV9符号化をガイドする。適した数のビットを使用して各ピクチャを圧縮することにより、品質を保持し、トランスコーディング損失を低減する助けとなる。
トランスコーダにおいて、MPEG−2パーサが、MPEG−2ビデオ中の所与のピクチャのMBごとに量子化器スケールを抽出する。WMV9ビデオ中のピクチャのピクチャレベルでの量子化について、トランスコーダは、MPEG−2ビデオのピクチャ中のスキップされていないMBのMPEG−2量子化スケールを平均化する。トランスコーダは、この平均値をWMV9ピクチャのピクチャレベル量子化器スケールに使用する(ピクチャ内のMBにピクチャレベル量子化器スケールを使用する)。
トランスコーダがレート制御を使用する場合、トランスコーダは、現在のレート制約を満たすようにピクチャレベル量子化器スケールを調整することができる。いずれの場合も、トランスコーダは、量子化レベルをMEPG−2ビデオ中の対応する量子化レベルの許容差内に維持する。
(G.マクロブロックレベルでの量子化マッチング)
ピクチャレベルの量子化器レベル制御は、きめ細かい品質/レート制御を提供しない。MPEG−2ビデオとWMV9ビデオとの間で品質をよりしっかりと一致させるために、トランスコーダは、MBレベルで量子化を一致させる。WMV9では、MBレベルでの量子化器スケールの設定を可能にする(DQUANT機能と呼ばれることもある)。
DQUANTにより、WMV9エンコーダは、個々のMBの量子化レベルを調整することができる。トランスコーダは、WMV9エンコーダに、MPEG−2ビデオのそれぞれの対応するMBの量子化器値に従って量子化を使用させる。トランスコーダがレート制御を使用する場合、トランスコーダは、現在のレート制約を満たすようにMBあたりの量子化器レベルを調整することができる。やはりいずれの場合も、トランスコーダは、量子化レベルをMPEG−2ビデオ中の対応する量子化レベルの許容差内に維持する。
WMV9のMBスキップ決定は調整されない。言い換えれば、MBは、対応するMBがMPEG−2ビデオで符号化されたというだけで、WMV9ビデオで符号化されることはない。
(H.定ビットレートのレート制御)
多くのシナリオで、トランスコーダは、MPEG−2入力のビットレートよりも低い可変ビットレートで出力WMV9ビデオを生成する。他のシナリオでは、トランスコーダは、MPEG−2入力のビットレート以下の固定または比較的固定のビットレートで、WMV9出力を生成する。これを達成するために、トランスコーダは、WMV9エンコーダのデフォルト可変ビットレートモードに加えてレート制御を使用して、変動するピクチャタイプおよびシーンの複雑さにかかわらず固定の出力ビットレートを維持するのを助ける。
トランスコーダは、レート制御のために3ステップのプロセスを使用することができる。すなわち、(1)目標のビット割振り、(2)仮想バッファ規準に基づく量子化に対する粗い制御、(3)量子化値を局所的な変動に調整するための細かい適応量子化である。目標のビット割振りは、ピクチャタイプおよびピクチャの複雑さによって変化させることができる。例えば、Iピクチャには、同じ品質のPピクチャよりも多くのビットが割り振られ、Pピクチャには、同じ品質のBピクチャよりも多くのビットが割り振られる。抽出されたピクチャタイプ値を使用して、異なるピクチャにビットを割り振ることができる。複雑なピクチャには、同じ品質の単純なピクチャよりも多くのビットが割り振られ、この場合、複雑さはコンテンツまたは符号化結果の分析から推定される。
トランスコーダは、WMV9エンコーダからのフィードバックを使用して、量子化レベルを余剰ビットまたは不足ビットに応じて調整する。具体的には、トランスコーダは、レートバッファの飽和度に比例して量子化ステップサイズをスケールする。これにより、バッファオーバーフローおよびアンダーフローを回避しつつ、出力を所望のレートに適合させる。出力ビットレート目標が妥当なときは、トランスコーダは依然としてシームレスなトランスコーディングを達成することができる。トランスコーダはまた、心理視覚的な規準を適用することもできる。ピクチャ、ピクチャグループ、またはコンテンツのその他の期間に対する定ビットレート制約が満たされる限り、トランスコーダはWMV9エンコーダに、品質制約を満たすよう期間内にビットを効率的に割り振るフレキシビリティを与える。
(1.第1のCBR実装形態)
図8に、第1の比例レート制御機構(800)を示す。この機構は、目標のビット割振りからの偏差に従って重み付けを使用する。最終的なビット割振りは、符号化されるピクチャまたはMBに対する重み付き量子化器ステップサイズ(862)として表現される。割り振られたビットと、ピクチャを符号化するのに使用された実際のビットとの偏差を使用して、目標の量子化器ステップサイズ(844)をスケールする。この場合、目標量子化器ステップサイズ(844)は、ソースフォーマット圧縮ビデオから導出される。
初期のビット割振り(802)には、いくつかの戦略が可能である。単純なアプローチの1つは、ビットレート(ビット/秒)をフレームレート(フレーム/秒)で割った値に基づいて、各ユニットにビットを割り振ることである。各ユニットに対するビット割振りはまた、ソースフォーマットで使用された対応するビット数を、ターゲット対ソースのビットレート比率でスケールした値に基づくこともできる。あるいは、この機構は、上記のように開始するが、定ビットレート規準に適合しつつ、ターゲットフォーマットのピクチャタイプに基づいて割振りを修正する。
ピクチャを符号化するのに実際に使用されたビット(882)を、ピクチャに割り振られたビット(802)から差し引く。これにより、割り振られたビットと使用されたビットとの偏差が得られる。時差効果を構築するために、いくつかの過去のピクチャからの偏差を使用して量子化器スケーリングに影響を与える。これらの偏差は、遅延バッファ(820、830)中で遅延され、しきい値スケールファクタ(822、832)によって重み付けされる。例えば、しきい値スケールファクタを0.5として、前の2つのピクチャのそれぞれの偏差に等しい重みを与える。または、前の2つのピクチャのうち新しい方には、より多くの重みを与える(例えば0.7対0.3)。重み付けされた偏差は、組み合わされ、しきい値評価器(840)にルーティングされる。
しきい値評価器(840)は、調整された偏差を受け取り、量子化スケールファクタ(842)を計算して、目標量子化ステップサイズ(844)に適用する。図8では量子化スケールファクタ(842)を乗数として示しているが、ファクタ(842)は、目標量子化ステップサイズ(844)に対して足す量、または引く量として表現することもできる。しきい値評価器(840)は、スケーリングの大きさを制限して、あるピクチャから別のピクチャへのピクチャ品質の大きな変化を防ぐことができる。
(2.第2のCBR実装形態)
図9に、第2の比例レート制御機構の一部の擬似コード(900)を示す。この機構は、バッファ飽和レベルに従って重み付けを使用する。この実装形態で、目標ビット割振りg_nAvgBPFは、一定であり、目標ビットレートを1秒あたりのフレームで割った値に等しいと仮定する。pIncomingParameterの項は、最後のピクチャを符号化することによって消費されたビット総数を表す。これらの項は、一定レートで枯渇し、変動するレートで満たされる仮想バッファのバッファレベルであるg_nCurrentBufferLevelを調整する。
バッファレベルは、0からg_nMaxBufSizeまでに制限され、g_nMaxBufSizeは用途に依存する。あるケースでは、g_nMaxBufSizeは、目標ビットレートで5秒のビデオに初期化される。バッファ飽和度nBufferFractionは、g_nCurrentBufferLevelをg_nMaxBufSizeで割ることによって計算される。バッファ飽和度は、スケーリングの量をADJUST_SCALEとして判定し、ADJUST_SCALEは、実験的に導出された値である。例えば、ADJUST_SCALEが20である場合、量子化スケーリングファクタq_nQPAdjustは−10および10の範囲で変化する。バッファが半分満たされている場合、nBufferFractionは0.5であり、q_nQPAdjustは0である。バッファが飽和状態に近づくにつれて、q_nQPAdjustは10に近づいて、量子化ステップサイズを上にスケール(またはインクリメント)し、それによりビットレートを低下させてバッファ飽和度を正常にする。他方、バッファが空の状態に近づくにつれて、q_nQPAdjustは−10に近づいて、量子化ステップサイズを下にスケール(またはデクリメント)し、それによりビットレートを増大させてバッファ飽和度を正常にする。図9の擬似コード(900)では、過去の符号化ピクチャを越えて重み付けを使用していない。
(I.その他のシステムの問題)
トランスコーディングでゲインを得るために、トランスコーディング規則は、トランスコーダが使用されるシステムコンテキストの様々な詳細を考慮する。これらの詳細のいくつかは、ピクチャ品質に影響する。他の詳細は、実装形態のスピードおよび効率に影響する。
(1.カラーサンプリング)
MPEG−2は、インターレースおよびプログレッシブのピクチャに対して4:2:0のカラーサンプリングを使用する。さらに、標準解像度のビデオに対して、4:2:2のカラーサンプリングの別個のプロファイルをサポートしている。WMV9は、プログレッシブビデオとインターレースビデオの両方に対して4:2:0のカラーサンプリングを使用する。4:2:0のMPEG−2ビデオから4:2:0のWMV9ビデオにトランスコーディングするとき、トランスコーダは、サンプル変換なしで復号ビデオを処理し、これにより、圧縮段階の外で人工劣化をもたらすのを回避する助けとなる。
あるいは、ターゲットフォーマットエンコーダは、例えばインターレースビデオに対して4:1:1など、別のカラーサンプリングフォーマットを使用することもできる。4:2:0サンプリングから4:1:1サンプリングへの変換が必要な場合、トランスコーダは、色成分を垂直方向に2倍だけアップサンプリングし、フィールドベースのフィルタリングを垂直方向に行って、インターレース人工劣化を低減する。トランスコーダは、標準の2分の1帯域フィルタリングを使用して、色成分を水平方向にダウンサンプルする。4:2:2カラーサンプリングを使用するソースビデオの場合、4:1:1は最も単純なターゲットモードである。
ビデオが複数のカラーサンプリングモード間で切り替わるとき、トランスコーダは単純に1つのカラーサンプリングモードを選択し、使用して、様々なカラーサンプリングプロセスを継続して処理する複雑さを回避することができる。または、トランスコーダは、カラーサンプリングモードをフレームごとのベースまたはその他のベースで切り替えることもできる。
トランスコーダは、ルミナンス/クロミナンス色空間と、赤/緑/青の色空間との間の変換など、色空間変換を避ける。MPEG−2とWMV9ビデオは両方ともルミナンス/クロミナンス空間で動作し、そのため色変換は不要である。
(2.3:2プルダウンパターン)
テレビジョンは、NTSCビデオを毎秒約60フィールドで表示する。対照的に、フィルムコンテンツは毎秒24ビデオフレームで表示される。テレシネ変換プロセスは、ビデオをテレビのレートからフィルムのレートに変換し、逆テレシネプロセスは、フィルムからテレビに変換する。フィルムは、3:2プルダウンパターンを使用してテレビのレートに変換されることが多く、3:2プルダウンパターンに従えば、3つのフィールドが最初のフィルムフレームから(例えばフィールドを繰り返すことによって)引き出され、2つのフィールドが次のフィルムフレームから引き出され、以下同様である。
逆テレシネの場合、MPEG−2は、基本ストリーム中で3:2プルダウンパターン情報を可能にする。これにより、表示デバイスが毎秒60フィールドでコンテンツを表示することができるようになる。同様に、WMV9は、逆テレシネ検出および処理を基本デコーダの外で行う。WMVのいくつかのバージョンでは、逆テレシネ情報がWMVビットストリーム中でシグナルされる。しかし、他のバージョンでは、基本ストリームのシンタックスは逆テレシネ情報のエレメントを含まず、したがって、逆テレシネ情報はASFレベルで渡され、再生デバイスのコンポーネントによって抽出され、適用される。
トランスコーダは、毎秒24フレームのフィルムコンテンツを次のように扱う。トランスコーダは、MPEG−2ビデオから3:2プルダウンパターンを、「トップフィールドファースト」と「リピートファーストフィールド」の2つのフラグとして引き出す。これらのフラグの一方または両方が、ビデオの各符号化フレームについて保持される(基本ストリーム中でまたはASFレベルで)。結果として、編集またはその他の理由によるパターン中のブレイクが保持される。トランスコーダは、様々なトランスコーディング規則でフレームを再圧縮する。表示デバイスで、コンテンツは、保持された逆テレシネ情報を使用して毎秒約60フィールドで再生される。このソリューションは、純粋なフィルムコンテンツで機能する。フィルムとテレビジョンの混合コンテンツの場合は、トランスコーダはフィルムコンテンツをテレビジョンコンテンツとして扱い、処理を単純化する。
(3.ループフィルタリング)
ループフィルタリングは、量子化関連のブロッキング人工劣化の影響を平滑化することによってピクチャ品質を改善する。これにより、リファレンスピクチャが後続の動き推定および補償に対してうまく機能する。WMV9でのループフィルタリングの使用により、前の圧縮サイクルからの圧縮人工劣化が軽減され、ループフィルタリングなしでは、このような人工劣化により後続の圧縮の効果が低減されることがある。トランスコーダにより、WMV9エンコーダ中でのループフィルタリングが可能になる。
(4.量子化スケールおよび量子化行列)
MPEG−2は、特定のピクチャタイプに使用される明示的な量子化行列をビットストリームのシーケンスヘッダで提供している。MPEG−2のデフォルト量子化行列は、Iピクチャではフラットでなく、他のタイプのピクチャではフラットである。対照的に、WMV9は、すべてのピクチャタイプにわたってフラットな量子化行列を使用するが、フラットな量子化の0を中心としたデッドゾーンの幅について、2つの変形を提供する。(非フラットな量子化もなお、WMV9のエンコーダ限定のプロセスとして実施することができる)。
トランスコーディングの目的のために、イントラ符号化ブロックにより細かい量子化器スケールを使用することで、ピクチャ品質を改善するようには思われない。というのは、先の圧縮で失われた情報は、より細かい量子化で復元することはできないからである。そのため、トランスコーディング規則として、WMV9エンコーダは対応するMPEG−2符号化MBの量子化スケールを超えず、量子化行列に対して適切に調整する。非イントラブロックの場合は、WMV9はより複雑な予測モードおよびより正確な動きベクトルをサポートするので、WMV9エンコーダによって使用される量子化器スケールは、対応するMPEG−2のMBの量子化スケールをかなり超えることができる。トランスコーダは、所望の品質設定に基づいて種々のデッドゾーン幅の間で選択して、量子化を微調整することができる。
(5.MVモード)
MPEG−2では一般に、MBあたり1つの動きベクトルを提供する。フィールド符号化MBの場合、1つの動きベクトルがMBの各フィールドについて生成される。WMV9では、MBあたり4つまでの動きベクトルが可能である。これにより、動きベクトルをシグナルするための追加のビットを犠牲にして、局所的な変化に適応するためによりきめ細かい動き補償が可能になる。トランスコーダは、WMV9エンコーダでMBあたり4つの動きベクトルを可能にする。
(6.高速整数変換)
MPEG−2は標準的なDCTを使用する。WMV9は、いくつかのモードでDCTを可能にするが、他のモードでは高速な整数ベースの変換を使用し、これは、MPEG−2スタイルのDCTを使用するのに比べて処理を高速化する。品質の点では、高速な整数ベースの変換の全体的な性能は、標準的なDCTと同様である。高速な整数ベースの変換は、それ自体ではDCTに比べて品質を改善しない。
しかし、変換の違いにより、MPEG−2ビデオから導出されるDCT係数を単純にWMV9で再使用することはできない。これは重大なペナルティではない。というのは、WMV9は、いずれにせよ新しい動き推定および補償の後で変換係数を再計算するからであり、また、高速な整数ベースの変換は計算時間のペナルティが小さいからである。
(7.強度補償)
強度補償は、リファレンスピクチャ中のピクセルを再マッピングして、ピクセル値をスケールおよび/またはシフトすることを可能にする。これにより、フェードインおよびフェードアウトシーケンス中のビットを保存するのを助けることができる。MPEG−2は強度補償を使用しないが、トランスコーダは、WMV9エンコーダでの強度補償を可能にする。
(8.可変サイズの変換)
WMV9エンコーダは、可変サイズの変換を使用することができ、これはMPEG−2からの大きな逸脱である。変換のブロックサイズは、局所的な適応性と符号化オーバーヘッドとをトレードオフするパラメータである。局所的変化への適応が望ましいときは、より小さい変換サイズが好ましい。変換サイズの適切な選択により、そうでなければコンテンツの境界を含むことになるブロックの高周波数変換係数の粗い量子化によるリンギングおよびその他の人工劣化を低減することができる。
(9.動きベクトル精度)
MPEG−2では、動きベクトルは2分の1ピクセル精度に限定されており、WMV9では、4分の1ピクセル精度の動きベクトルが許容されている。4分の1ピクセル精度は、潜在的に符号化効率においてゲインをもたらす。MPEG−2ビデオの品質は、先のロッシー圧縮の後に改善することはできないが、4分の1ピクセル精度の動き補償は、同じまたはより低いビットレートで品質を保持するのを助ける。
(10.オーバーラップおよびその他の予測モード)
動きベクトル、予測エラー、その他の値に対して、WMV9で予測モードが豊富に利用可能であることは、WMV9をMPEG−2から差別化している。一般に、トランスコーダは、WMV9エンコーダでこれらのモードの選択を制限しない。例外の1つは、フィールド符号化MBについてである。MPEG−2ビデオがMBのフィールド符号化を使用する場合、WMV9エンコーダを同じモードに適合させることで、トランスコーディング損失を低減することができる。
(11.長いまたは拡張された範囲の動きベクトル)
長いまたは拡張された範囲の動きベクトルは、Pピクチャの水平および垂直方向の動きベクトルの範囲を拡張する。
MPEG−2ビットストリームでシグナルされる動きベクトル情報は、トランスコーディング中にWMV9エンコーダでの動き推定の開始点として使用することができ、潜在的にWMV9エンコーダでの動き推定プロセスを高速化する。WMV9エンコーダはまた、MPEG−2の動きベクトルをガイドとして、動き推定探索領域のサイズを縮小することもできる。
VII.結果
前述の技法により、トランスコーダは、MPEG−2からWMV9への高忠実度変換を達成する。高忠実度変換は、以前に符号化されたコンテンツのより低い忠実度の表現を許容しないであろう高品質ビデオの製作者および放送業者にとって、極めて重要である。基準点の1つとして、45dBのPSNRはトランスコーディングには高いと考えられ、MPEG−2からWMV9へのトランスコーダは、この指標を超えることが多い。
第1のテストセットでは、MPEG−2ビデオと、単純なトランスコーダを使用してトランスコードされたWMV9ビデオのピクチャサイズを比較した。WMV9ビデオの多くのピクチャについて、使用されたビットの数は、対応するMPEG−2ピクチャに使用されたビットの数よりもずっと多いかずっと少ないかのどちらかであった。
第2のテストセットでは、MPEG−2ビデオと、改良トランスコーダを使用してトランスコードされたWMV9ビデオのピクチャサイズを比較した。この比較では、WMV9ピクチャあたりに使用されたビットの数は、MPEG−2ピクチャあたりに使用されたビット数よりも一貫して少なく、全体的な使用パターンの山と谷は、2つのビデオシーケンス間でおよそ一致する。
後続のテストでは、単純なトランスコーディングと改良トランスコーディングの品質を、レート制御なしで様々なビットレートで比較した。これらのテストは、同じMPEG−2コンテンツについて、改良トランスコーディングが単純なトランスコーディングに対して一貫して実質的なゲインを示した。これらのテストの場合、IピクチャおよびPピクチャについて、MPEG−2量子化器スケールパラメータをWMV9ビデオのMBレベルで一致させた。Bピクチャについては、ピクチャレベルマッチングを使用した。短い(5秒)シーケンスと長い(30秒)シーケンスの両方をテストした。WMV9ビデオについて結果として得られたビットレートは、MPEG−2ビデオよりも平均して約25%低かった。単純なトランスコーディングと改良トランスコーディングの両方で、平均PSNRは、MPEG−2ビデオに比べてトランスコードされたWMV9ビデオでは40dBを超えていた。単純なトランスコーディングに比べて、改良トランスコーディングは、ルミナンスについては一貫して平均で0.5dBよかった(クロミナンスについては平均で1dB)。この差は10%と20%の間のビットレートゲインに対応し、これは、改良トランスコーディングに匹敵する品質を達成するためには単純なトランスコーディングで10%から20%多いビットを使用しなければならないことを意味する。視聴者テストでこれらの結果が確認され、視聴者は、改良トランスコーディングの結果の品質の方が、同じビットレートの単純なトランスコーディングの結果よりも優れていると一貫して識別した。
他のテストでは、MB符号化タイプのトランスコーディング規則を使用した場合と使用しない場合とで結果を比較した。非Iピクチャについて、トランスコーダは、MPEG−2イントラMBがWMV9ビデオ中の対応するイントラMBになるようにしたが、MPEG−2ビデオ中でインタータイプであったMBをどのように符号化するかはWMV9エンコーダが決定できるようにした。トランスコーダはまた、すべてのピクチャタイプにおいてフィールドおよびフレーム符号化決定を一致させた。これらの規則で、改良トランスコーディングの品質は、依然として単純なトランスコーディングよりも高かったが、PSNRゲインは、マクロブロックタイプ規則なしの場合よりも小さかった。PSNRの改善は、ルミナンスについては平均して0.2dBと0.3dBの間であった(クロミナンスについては0.8dB)。
他のテストでは、比例レート制御を他の規則と組み合わせて評価した。出力ビットレートは、バッファオーバーフローおよびアンダーフローを回避しつつ、目標レートパラメータの1%以内であることがわかった。出力ビットレートがMPEG−2量子化レベルに一致させたときに得られるビットレートよりもかなり低く設定された場合、トランスコーダの品質を保持する特徴は覆された。しかし、レート制御は、レートおよび品質を規制するためには依然として有用な機能である場合がある。一般的な法則として、WMV9エンコーダの圧縮効率を利用するために、品質を保持し、トランスコーディング損失を回避しつつ、トランスコーダの出力を入力圧縮ビデオよりも約25%低いビットレートに設定することができことができる。
記載の実施形態を参照して本発明の原理を記述および図示したが、記載の実施形態は、このような原理を逸脱することなく、構成および詳細を修正することができることが理解されるであろう。本明細書に記載のプログラム、プロセス、または方法は、別途指示がない限り、どんな特定タイプのコンピューティング環境に関係したり、限定されたりしないことを理解されたい。様々なタイプの汎用または専用コンピューティング環境が共に使用されるか、または本明細書に述べた教示に従って動作を行なうことができる。ソフトウェアで示した記載の実施形態のエレメントはハードウェアで実現してもよく、またその逆も可能である。
本発明の原理を適用することのできる多くの可能な実施形態に鑑みて、添付の特許請求の範囲およびその均等の範囲および趣旨内に入る得るすべてのそのような実施形態が本発明として請求される。
記載の実施形態を実施することができる適したコンピューティング環境のブロック図である。 記載の実施形態を実施することができるビデオトランスコーダのブロック図である。 トランスコーダのDMOアーキテクチャのブロック図である。 図3のトランスコーダを組み込むフィルタグラフのブロック図である。 ターゲットフォーマットにトランスコーディングする際にソースフォーマット圧縮ビデオの再符号化データセットエレメントを取得し、使用するための技法を示すフローチャートである。 ターゲットフォーマットにトランスコーディングする際にソースフォーマット圧縮ビデオの量子化レベルを取得し、使用するための技法を示すフローチャートである。 トランスコーディングにおけるレート制御の技法を示すフローチャートである。 一実装形態における比例レート制御機構のブロック図である。 別の実装形態における比例レート制御機構の擬似コードリストである。
符号の説明
100 コンピューティング環境
110 処理ユニット
120 メモリ
130 基本構成
140 ストレージ
150 入力デバイス
160 出力デバイス
170 通信接続
180 高忠実性(ハイファイ)トランスコーディングを実施するソフトウェア
200 トランスコーダ
205 ソースフォーマット圧縮ビデオ
210 ソースフォーマットデコーダおよびビットストリームパーサ
213 プレビューのための復号ビデオ
215 トランスコーディングのための復号ビデオ
217 再符号化データセットエレメント
220 再符号化データセットプロセッサ
230 ターゲットフォーマットエンコーダ
232 エンコーダ
234 エンコーダ制御モジュール
235 ターゲットフォーマット圧縮ビデオ
300 DMO/トランスコーダフィルタ
302 復元ビデオ
304 ソースフォーマット圧縮ビデオ
310 ターゲットフォーマットビデオエンコーダ
312 通知
320 ソースフォーマットパラメータパーサ
322 リターンパラメータ
328 復元オーディオ
330 ターゲットフォーマットオーディオエンコーダ
340 キュー/バッファ管理モジュール
342 ターゲットフォーマット圧縮ビデオ
344 ターゲットフォーマット圧縮オーディオ
400 フィルタグラフ
410 ソースフォーマットソースフィルタ
420 ソースフォーマットストリームスプリッタ
440 ソースフォーマットビデオデコーダ
450 ソースフォーマットオーディオデコーダ
490 ライタ/マルチプレクサ
800 比例レート制御機構
802 割り振られたビット
820 遅延バッファ
822 しきい値スケールファクタ
830 遅延バッファ
832 しきい値スケールファクタ
840 しきい値評価器
842 量子化スケールファクタ
844 ピクチャの目標量子化ステップサイズ
862 ピクチャの量子化ステップサイズ
864 圧縮解除されたビデオ
880 WMV9エンコーダ
882 使用されたビット
884 圧縮ビデオ

Claims (56)

  1. ビデオをソースフォーマットからより低いビットレートのターゲットフォーマットにトランスコーディングする方法であって、
    前記ソースフォーマットの圧縮ビデオの複数のユニットについてタイプ値を得ることと、
    前記ソースフォーマットの圧縮ビデオを圧縮解除することと、
    前記ビデオを再圧縮して前記ターゲットフォーマットの圧縮ビデオを生成することであって、前記ターゲットフォーマットとソースフォーマットのそれぞれの圧縮ビデオ間で品質を一致させるのを助けるために、前記得られたタイプ値に少なくとも部分的に基づいて第1の符号化決定を行うことを含み、前記ターゲットフォーマットの圧縮効率を利用してビットレートを低減するために第2の符号化決定を独立して行うことをさらに含むことと
    を備えることを特徴とする方法。
  2. 前記タイプ値を得ることは、前記ソースフォーマットの圧縮ビデオをパースすることを備えることを特徴とする請求項1に記載の方法。
  3. 第2の符号化決定を独立して行うことは、動き補償のために新しい動きベクトルを計算することを含み、前記ソースフォーマットの圧縮ビデオからの動きベクトル情報の使用により、前記新しい動きベクトルを計算するための動き推定を高速化することを特徴とする請求項1に記載の方法。
  4. 前記動き推定および補償は、ループフィルタリングおよび強度補償を使用することを特徴とする請求項3に記載の方法。
  5. 前記動き推定および補償は、マクロブロックあたり4つまでの動きベクトルと、4分の1ピクセルの動きベクトル精度を使用することを特徴とする請求項3に記載の方法。
  6. 第2の符号化決定を独立して行うことは、可変サイズ周波数変換のサイズを選択することを含むことを特徴とする請求項1に記載の方法。
  7. 第2の符号化決定を独立して行うことは、動きベクトルまたは予測残差についての予測モードを選択することを含むことを特徴とする請求項1に記載の方法。
  8. 圧縮解除することは、前記圧縮ビデオを完全に圧縮解除することを含むことを特徴とする請求項1に記載の方法。
  9. 前記ソースフォーマットでの圧縮と前記ターゲットフォーマットでの圧縮は、異なる周波数変換を使用することを特徴とする請求項1に記載の方法。
  10. 前記ソースフォーマットでの圧縮と前記ターゲットフォーマットでの圧縮は、異なるエントロピー符号化を使用することを特徴とする請求項1に記載の方法。
  11. コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、前記コンピュータ実行可能命令によってプログラムされたコンピュータシステムに請求項1に記載の方法を行わせることを特徴とするコンピュータ可読媒体。
  12. 前記複数のユニットはビデオピクチャであり、前記タイプ値はIピクチャ、Pピクチャ、Bピクチャを含むピクチャタイプ値であることを特徴とする請求項1に記載の方法。
  13. 前記ターゲットフォーマットの圧縮ビデオのビットレートは、1つまたは複数のビデオピクチャの実質的にすべてについてピクチャごとに、前記ソースフォーマットの圧縮ビデオのビットレート以下であることを特徴とする請求項1に記載の方法。
  14. 前記複数のユニットはマクロブロックであり、前記複数のタイプ値はマクロブロック符号化タイプ値であることを特徴とする請求項1に記載の方法。
  15. 前記マクロブロックはイントラ符号化マクロブロックおよびインター符号化マクロブロックを含み、前記マクロブロック符号化タイプ値はイントラおよびインターを含むことを特徴とする請求項14に記載の方法。
  16. 前記ソースフォーマットはMPEG−2フォーマットであり、前記ターゲットフォーマットはWMV9フォーマットであることを特徴とする請求項1に記載の方法。
  17. ビデオを第1フォーマットからより低いビットレートの第2フォーマットにトランスコーディングする方法であって、
    前記第1フォーマットの圧縮ビデオの複数のピクチャについてピクチャタイプ値を得ることと、
    前記第1フォーマットの圧縮ビデオを完全に圧縮解除することと、
    前記ビデオを再圧縮して前記第2フォーマットの圧縮ビデオを生成することであって、前記得られたピクチャタイプ値に少なくとも部分的に基づいてピクチャタイプ決定を行うことを含み、前記第2フォーマットの圧縮効率を利用してビットレートを低減するために動き推定および補償を行うことをさらに含むことと
    を備えることを特徴とする方法。
  18. 前記第2フォーマットの動き推定および補償は、ループフィルタリングの使用、マクロブロックあたりの動きベクトルの数、強度補償の使用、および/または動きベクトル精度の点で、前記第1フォーマットの動き推定および補償とは異なることを特徴とする請求項17に記載の方法。
  19. 前記第1フォーマットと前記第2フォーマットは、異なる周波数変換を使用することを特徴とする請求項17に記載の方法。
  20. コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、前記コンピュータ実行可能命令によってプログラムされたコンピュータシステムに請求項17に記載の方法を行わせることを特徴とするコンピュータ可読媒体。
  21. 前記ピクチャタイプ値は、Iピクチャ、Pピクチャ、Bピクチャを含むことを特徴とする請求項17に記載の方法。
  22. 前記再圧縮することは、前記ピクチャタイプ値を使用して前記第1フォーマットの圧縮ビデオと前記第2フォーマットの圧縮ビデオの間で1つまたは複数のピクチャ位置を一致させることを含むことを特徴とする請求項17に記載の方法。
  23. 前記再圧縮することは、前記ピクチャタイプ値を使用して前記第1フォーマットの圧縮ビデオと前記第2フォーマットの圧縮ビデオの間でピクチャグループ構造を一致させることを含むことを特徴とする請求項17に記載の方法。
  24. ビデオをトランスコーディングする方法であって、
    第1フォーマットの圧縮ビデオについてフレーム/フィールド情報を得ることと、
    前記第1フォーマットの圧縮ビデオを完全に圧縮解除することと、
    前記ビデオを再圧縮して、前記第1フォーマットとは異なる第2フォーマットの圧縮ビデオを生成することであって、前記第2フォーマットの圧縮ビデオの品質を前記第1フォーマットの圧縮ビデオの品質と一致させるのを助けるために、前記得られたフレーム/フィールド情報に少なくとも部分的に基づいて符号化決定を行うことと
    を備えることを特徴とする方法。
  25. 前記再圧縮することは、前記第2フォーマットの圧縮ビデオのマクロブロックレベルでフィールド/フレームタイプを設定することを含むことを特徴とする請求項24に記載の方法。
  26. 前記再圧縮することは、前記第2フォーマットの圧縮ビデオのピクチャレイヤでフィールド/フレームタイプを設定することを含むことを特徴とする請求項24に記載の方法。
  27. 前記第2フォーマットの圧縮ビデオは、前記第1フォーマットの圧縮ビデオのビットレートよりも低いビットレートを有することを特徴とする請求項24に記載の方法。
  28. 前記再圧縮することは、前記第2フォーマットの圧縮効率を利用してビットレートを低減するために、動き推定および補償を行うことを含むことを特徴とする請求項24に記載の方法。
  29. コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、前記コンピュータ実行可能命令によってプログラムされたコンピュータシステムに請求項24に記載の方法を行わせることを特徴とするコンピュータ可読媒体。
  30. ビデオをトランスコーディングする方法であって、
    第1フォーマットの圧縮ビデオの量子化レベルを得ることと、
    前記第1フォーマットの圧縮ビデオを圧縮解除することと、
    前記ビデオを再圧縮して第2フォーマットの圧縮ビデオを生成することであって、前記得られた量子化レベルに少なくとも部分的に基づいて前記第2フォーマットの圧縮ビデオの量子化レベルを設定することを含み、前記第1フォーマットでの圧縮と前記第2フォーマットでの圧縮は異なる周波数変換を使用することと
    を備えることを特徴とする方法。
  31. 前記第1フォーマットでの圧縮はDCTを使用し、前記第2フォーマットでの圧縮は高速整数変換を使用することを特徴とする請求項30に記載の方法。
  32. コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、前記コンピュータ実行可能命令によってプログラムされたコンピュータシステムに請求項30に記載の方法を行わせることを特徴とするコンピュータ可読媒体。
  33. 前記得られた量子化レベルは、前記第1フォーマットの圧縮ビデオのマクロブロックの量子化レベルであることを特徴とする請求項30に記載の方法。
  34. 前記再圧縮することは、前記得られた量子化レベルの平均に少なくとも部分的に基づいて、前記第2フォーマットの圧縮ビデオのビデオピクチャの量子化レベルを設定することを備えることを特徴とする請求項30に記載の方法。
  35. 前記再圧縮することは、前記得られた量子化レベルのうちの1つに少なくとも部分的に基づいて、前記第2フォーマットの圧縮ビデオのマクロブロックの量子化レベルを設定することを備えることを特徴とする請求項30に記載の方法。
  36. 前記得られた量子化レベルを、レート制御のために、前記量子化レベルを適用する前に、調整することをさらに備えることを特徴とする請求項30に記載の方法。
  37. 前記得られた量子化レベルを考慮することは、前記第2フォーマットの圧縮ビデオの品質を前記第1フォーマットの圧縮ビデオの品質と一致させるのを助けることを特徴とする請求項30に記載の方法。
  38. ビデオをトランスコーディングする方法であって、
    第1フォーマットの圧縮ビデオの複数のマクロブロックについて、マクロブロックあたりの量子化レベルを得ることと、
    前記第1フォーマットの圧縮ビデオを圧縮解除することと、
    前記ビデオを再圧縮して第2フォーマットの圧縮ビデオを生成することであって、前記得られた量子化レベルに少なくとも部分的に基づいて、前記第2フォーマットの圧縮ビデオの対応するマクロブロックの量子化レベルを設定することを含むことと
    を備えることを特徴とする方法。
  39. コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、前記コンピュータ実行可能命令によってプログラムされたコンピュータシステムに請求項38に記載の方法を行わせることを特徴とするコンピュータ可読媒体。
  40. 前記第2フォーマットは、マクロブロックレイヤで差分量子化レベルシグナリングを使用することを特徴とする請求項38に記載の方法。
  41. 前記量子化レベルは、量子化ステップサイズであることを特徴とする請求項38に記載の方法。
  42. 前記得られた量子化レベルを、レート制御のために、前記量子化レベルを適用する前に、調整することをさらに備えることを特徴とする請求項38に記載の方法。
  43. ビデオをトランスコーディングする方法であって、
    第1フォーマットの圧縮ビデオの量子化レベルを得ることと、
    前記第1フォーマットの圧縮ビデオを圧縮解除することと、
    前記ビデオを再圧縮して第2フォーマットの圧縮ビデオを生成することであって、前記第2フォーマットの圧縮ビデオを、前記得られた量子化レベルに匹敵する程度まで量子化して、前記第1フォーマットと第2フォーマットのそれぞれの圧縮ビデオ間の品質の差を低減することを含み、前記第2フォーマットの圧縮効率は前記第2フォーマットの圧縮ビデオのビットレートを前記第1フォーマットの圧縮ビデオに比べて実質的に低減することを特徴とする方法。
  44. 前記第1フォーマットと第2フォーマットのそれぞれの圧縮ビデオのピクチャレベルで量子化またはビットレートを追跡することを含むことを特徴とする請求項43に記載の方法。
  45. 前記第1フォーマットと第2フォーマットのそれぞれの圧縮ビデオのマクロブロックレベルで量子化またはビットレートを追跡することを含むことを特徴とする請求項43に記載の方法。
  46. 前記第2フォーマットの圧縮効率は、前記第2フォーマットの圧縮ビデオのビットレートを前記第1フォーマットの圧縮ビデオに比べて少なくとも20%低減することを特徴とする請求項43に記載の方法。
  47. 前記第2フォーマットの圧縮ビデオと前記第1フォーマットの圧縮ビデオの品質の全体的な差は、可視しきい値よりも低いことを特徴とする請求項43に記載の方法。
  48. 前記第2フォーマットの動き推定および補償は、ループフィルタリングの使用、マクロブロックあたりの動きベクトルの数、強度補償の使用、および/または動きベクトル精度の点で、前記第1フォーマットの動き推定および補償とは異なることを特徴とする請求項43に記載の方法。
  49. 前記第2フォーマットでの圧縮は、可変サイズ周波数変換を使用することを特徴とする請求項43に記載の方法。
  50. 前記第2フォーマットでの圧縮と前記第1フォーマットでの圧縮は、動きベクトルおよび/または予測残差について異なる予測モードを使用することを特徴とする請求項43に記載の方法。
  51. 前記第2フォーマットでの圧縮と前記第1フォーマットでの圧縮は、異なるエントロピー符号化を使用することを特徴とする請求項43に記載の方法。
  52. コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、前記コンピュータ実行可能命令によってプログラムされたコンピュータシステムに請求項43に記載の方法を行わせることを特徴とするコンピュータ可読媒体。
  53. ビデオをトランスコーディングする方法であって、
    第1フォーマットの圧縮ビデオを圧縮解除することと、
    デフォルト1パス可変ビットレート符号化により第2フォーマットエンコーダを使用して、前記ビデオを再圧縮して第2フォーマットの圧縮ビデオを生成することであって、前記第2フォーマットエンコーダの圧縮パラメータを規制して1つまたは複数のレート制御規準に比例して品質およびビットレートを変えることによって前記第2フォーマットの圧縮ビデオを一定または比較的一定のビットレートで生成することと
    を備えることを特徴とする方法。
  54. 前記1つまたは複数のレート制御規準は、バッファ飽和度の値に少なくとも部分的に基づくことを特徴とする請求項53に記載の方法。
  55. 前記1つまたは複数のレート制御規準は、前のビデオに対して割り振られたビットと使用されたビットとの偏差に少なくとも部分的に基づくことを特徴とする請求項53に記載の方法。
  56. コンピュータ実行可能命令を格納したコンピュータ可読媒体であって、前記コンピュータ実行可能命令によってプログラムされたコンピュータシステムに請求項53に記載の方法を行わせることを特徴とするコンピュータ可読媒体。

JP2005118048A 2004-04-15 2005-04-15 高忠実度のトランスコーディング Pending JP2005323353A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/826,974 US20050232497A1 (en) 2004-04-15 2004-04-15 High-fidelity transcoding

Publications (1)

Publication Number Publication Date
JP2005323353A true JP2005323353A (ja) 2005-11-17

Family

ID=34939172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005118048A Pending JP2005323353A (ja) 2004-04-15 2005-04-15 高忠実度のトランスコーディング

Country Status (10)

Country Link
US (1) US20050232497A1 (ja)
EP (1) EP1587327A2 (ja)
JP (1) JP2005323353A (ja)
KR (1) KR20060045719A (ja)
CN (1) CN1684518A (ja)
AU (1) AU2005201439A1 (ja)
BR (1) BRPI0501305A (ja)
CA (1) CA2504185A1 (ja)
MX (1) MXPA05004071A (ja)
RU (1) RU2005110996A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111006A1 (ja) * 2006-03-27 2007-10-04 Nec Corporation 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
US8045821B2 (en) 2007-02-16 2011-10-25 Panasonic Corporation Coding method conversion apparatus
JP2014530587A (ja) * 2011-10-17 2014-11-17 グーグル インコーポレイテッド ビデオ記述長によって導かれるビデオ符号化のレート−歪み−複雑性の最適化
JP2016111625A (ja) * 2014-12-09 2016-06-20 富士通株式会社 サーバ装置、プログラム及び情報処理方法

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753726B1 (ja) * 2004-10-13 2006-03-08 シャープ株式会社 動画像再符号化装置、動画像編集装置、プログラム、及び記録媒体
CA2594118C (en) * 2004-12-08 2015-07-21 Imagine Communications Ltd. Distributed statistical multiplexing of multi-media
JP2006203682A (ja) * 2005-01-21 2006-08-03 Nec Corp 動画像圧縮符号化ビットストリームシンタックス変換装置及び動画像通信システム
JP4886689B2 (ja) * 2005-07-15 2012-02-29 パナソニック株式会社 パケット送信装置
US20070033144A1 (en) * 2005-08-03 2007-02-08 Microsoft Corporation Binding components
US8045618B2 (en) * 2005-08-05 2011-10-25 Lsi Corporation Method and apparatus for MPEG-2 to VC-1 video transcoding
US7881384B2 (en) * 2005-08-05 2011-02-01 Lsi Corporation Method and apparatus for H.264 to MPEG-2 video transcoding
US8208540B2 (en) * 2005-08-05 2012-06-26 Lsi Corporation Video bitstream transcoding method and apparatus
US8155194B2 (en) * 2005-08-05 2012-04-10 Lsi Corporation Method and apparatus for MPEG-2 to H.264 video transcoding
US7912127B2 (en) * 2005-08-05 2011-03-22 Lsi Corporation H.264 to VC-1 and VC-1 to H.264 transcoding
US7903739B2 (en) * 2005-08-05 2011-03-08 Lsi Corporation Method and apparatus for VC-1 to MPEG-2 video transcoding
US8447121B2 (en) 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
KR20070108433A (ko) * 2006-01-09 2007-11-12 한국전자통신연구원 청크 디스크립터를 이용한 svc 파일포맷에서의 비디오데이터 공유방법
US8102916B1 (en) * 2006-01-12 2012-01-24 Zenverge, Inc. Dynamically changing media compression format in compressed domain
US7830800B1 (en) 2006-01-12 2010-11-09 Zenverge, Inc. Architecture for combining media processing with networking
US8862759B2 (en) * 2006-04-05 2014-10-14 Agiledelta, Inc. Multiplexing binary encoding to facilitate compression
US7659897B1 (en) * 2006-06-30 2010-02-09 Nvidia Corporation System, method, and computer program product for video benchmarking
CN101119483B (zh) * 2006-07-31 2011-11-02 联想(北京)有限公司 一种基于源质量的视频流传输速率调整方法
JP5112787B2 (ja) * 2006-09-01 2013-01-09 株式会社リコー 情報処理装置、プログラム更新方法及びプログラム
US8194744B2 (en) * 2006-09-20 2012-06-05 Lsi Corporation Method and/or apparatus for implementing reduced bandwidth high performance VC1 intensity compensation
US20080101473A1 (en) * 2006-10-26 2008-05-01 Matsushita Electric Industrial Co., Ltd. Transcoding apparatus and transcoding method
US8311114B1 (en) 2006-12-06 2012-11-13 Zenverge, Inc. Streamlined transcoder architecture
FR2908259A1 (fr) * 2007-02-16 2008-05-09 Thomson Licensing Sas Procede de reduction de debit d'un premier flux de donnees video codees en un deuxieme flux
US20080316995A1 (en) * 2007-06-20 2008-12-25 Motorola, Inc. Broadcast channel signal and apparatus for managing the transmission and receipt of broadcast channel information
US8098732B2 (en) * 2007-10-10 2012-01-17 Sony Corporation System for and method of transcoding video sequences from a first format to a second format
US8233727B2 (en) * 2007-10-19 2012-07-31 Research In Motion Limited Arbitrary ratio image resizing in the DCT domain
US8457958B2 (en) * 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
WO2009097284A1 (en) * 2008-02-01 2009-08-06 Zenverge, Inc. Intermediate compression of reference frames for transcoding
US8265168B1 (en) 2008-02-01 2012-09-11 Zenverge, Inc. Providing trick mode for video stream transmitted over network
CN101621685B (zh) * 2008-07-04 2011-06-15 株式会社日立制作所 编码装置和编码方法
WO2010036995A1 (en) * 2008-09-29 2010-04-01 Dolby Laboratories Licensing Corporation Deriving new motion vectors from existing motion vectors
US20100104022A1 (en) * 2008-10-24 2010-04-29 Chanchal Chatterjee Method and apparatus for video processing using macroblock mode refinement
US20100104015A1 (en) * 2008-10-24 2010-04-29 Chanchal Chatterjee Method and apparatus for transrating compressed digital video
US20100118982A1 (en) * 2008-10-24 2010-05-13 Chanchal Chatterjee Method and apparatus for transrating compressed digital video
AU2009324014A1 (en) * 2008-12-03 2011-06-23 Nokia Corporation Switching between DCT coefficient coding modes
US20100166060A1 (en) * 2008-12-31 2010-07-01 Texas Instruments Incorporated Video transcoder rate control
US8396114B2 (en) 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US20100246688A1 (en) * 2009-03-26 2010-09-30 Apple Inc. Blind noise analysis for video compression
KR101045191B1 (ko) * 2009-06-09 2011-06-30 (주)제너시스템즈 개선된 영상 트랜스코더 및 트랜스코딩 방법
US8270473B2 (en) 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US20110046761A1 (en) * 2009-08-19 2011-02-24 Paul Frederick Titchener Recorded Media Enhancement Method
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
CN102055966B (zh) 2009-11-04 2013-03-20 腾讯科技(深圳)有限公司 一种媒体文件的压缩方法和***
US8897370B1 (en) * 2009-11-30 2014-11-25 Google Inc. Bitrate video transcoding based on video coding complexity estimation
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US8825886B2 (en) * 2010-07-28 2014-09-02 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for evaluating network transport effects on delivery of media content
US8533166B1 (en) * 2010-08-20 2013-09-10 Brevity Ventures LLC Methods and systems for encoding/decoding files and transmission thereof
US9094685B2 (en) 2010-09-21 2015-07-28 Dialogic Corporation Efficient coding complexity estimation for video transcoding systems
CN102014284B (zh) * 2010-12-10 2014-09-10 中兴通讯股份有限公司 转码业务中获取视频码流的参数集值的方法、***及装置
US8902973B2 (en) * 2011-04-05 2014-12-02 Dialogic Corporation Perceptual processing techniques for video transcoding
CN105049864A (zh) * 2011-06-28 2015-11-11 三星电子株式会社 根据像素分类使用偏移调整的视频解码方法及其设备
US9369723B2 (en) * 2011-07-14 2016-06-14 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams
WO2013033458A2 (en) 2011-08-30 2013-03-07 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US8934538B2 (en) * 2011-10-17 2015-01-13 Google Inc. Rate-distortion-complexity optimization of video encoding
JP5760950B2 (ja) * 2011-10-28 2015-08-12 富士通株式会社 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム
US20130117418A1 (en) * 2011-11-06 2013-05-09 Akamai Technologies Inc. Hybrid platform for content delivery and transcoding
ES2823478T3 (es) * 2011-12-13 2021-05-07 Jvc Kenwood Corp Dispositivo de codificación de vídeo, procedimiento de codificación de vídeo, programa de codificación de vídeo, dispositivo de decodificación de vídeo, procedimiento de decodificación de vídeo, y programa de decodificación de vídeo
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
CN103220550B (zh) 2012-01-19 2016-12-07 华为技术有限公司 视频转换的方法及装置
US10021409B2 (en) * 2012-05-09 2018-07-10 Integrated Device Technology, Inc. Apparatuses and methods for estimating bitstream bit counts
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
US20140037005A1 (en) * 2012-08-02 2014-02-06 Penne Y. LEE Transcoding video data
US9591355B2 (en) * 2012-10-19 2017-03-07 Broadcom Corporation Decoding video streams using decoders supporting a different encoding profile
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
KR20180010343A (ko) * 2013-05-24 2018-01-30 쏘닉 아이피, 아이엔씨. 적응적 비트레이트 스트리밍을 위해 적응적 양자화를 갖고 다수의 비디오 스트림들을 인코딩하는 시스템들 및 방법들
US10205955B2 (en) * 2013-07-26 2019-02-12 Riversilica Technologies Pvt Ltd Method and system for transcoding a digital video
US9137285B2 (en) * 2013-10-21 2015-09-15 Broadcom Corporation Adaptive audio video (AV) stream processing
US9485456B2 (en) 2013-12-30 2016-11-01 Akamai Technologies, Inc. Frame-rate conversion in a distributed computing system
FR3016764B1 (fr) * 2014-01-17 2016-02-26 Sagemcom Broadband Sas Procede et dispositif de transcodage de donnees video de h.264 vers h.265
CN105187835B (zh) 2014-05-30 2019-02-15 阿里巴巴集团控股有限公司 基于内容的自适应视频转码方法及装置
US20160041993A1 (en) * 2014-08-05 2016-02-11 Time Warner Cable Enterprises Llc Apparatus and methods for lightweight transcoding
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10452951B2 (en) * 2016-08-26 2019-10-22 Goodrich Corporation Active visual attention models for computer vision tasks
AU2018230328B2 (en) 2017-03-10 2021-05-06 Hfi Innovation Inc. Method and apparatus of implicit intra coding tool settings with intra directional prediction modes for video coding
US10771789B2 (en) 2017-05-19 2020-09-08 Google Llc Complexity adaptive rate control
US10958948B2 (en) 2017-08-29 2021-03-23 Charter Communications Operating, Llc Apparatus and methods for latency reduction in digital content switching operations
US10652296B2 (en) * 2017-10-06 2020-05-12 Arris Enterprises Llc Method and apparatus to efficiently smooth adaptive content playback in HTTP live streaming
CN111199743B (zh) * 2020-02-28 2023-08-18 Oppo广东移动通信有限公司 音频编码格式确定方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238214A (ja) * 2000-02-22 2001-08-31 Sony Corp 符号化フォーマット変換装置及び方法、符号化信号生成装置及び方法
JP2002232894A (ja) * 2001-02-06 2002-08-16 Victor Co Of Japan Ltd データレート変換装置
JP2004032796A (ja) * 2003-07-22 2004-01-29 Toshiba Corp 情報伝送システム

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2389277A1 (fr) * 1977-04-29 1978-11-24 Ibm France Procede de quantification a allocation dynamique du taux de bits disponible, et dispositif de mise en oeuvre dudit procede
FR2412987A1 (fr) * 1977-12-23 1979-07-20 Ibm France Procede de compression de donnees relatives au signal vocal et dispositif mettant en oeuvre ledit procede
EP0064119B1 (fr) * 1981-04-30 1985-08-28 International Business Machines Corporation Perfectionnement aux procédés de codage de la voix et dispositif de mise en oeuvre du procédé perfectionné
JPH0556275A (ja) * 1990-08-30 1993-03-05 Sharp Corp 画像符号化装置及び画像復号装置
DE4211945C1 (ja) * 1992-04-09 1993-05-19 Institut Fuer Rundfunktechnik Gmbh, 8000 Muenchen, De
JP3508146B2 (ja) * 1992-09-11 2004-03-22 ソニー株式会社 ディジタル信号符号化復号化装置、ディジタル信号符号化装置及びディジタル信号復号化装置
JP3185413B2 (ja) * 1992-11-25 2001-07-09 ソニー株式会社 直交変換演算並びに逆直交変換演算方法及びその装置、ディジタル信号符号化及び/又は復号化装置
US5463424A (en) * 1993-08-03 1995-10-31 Dolby Laboratories Licensing Corporation Multi-channel transmitter/receiver system providing matrix-decoding compatible signals
NL9301358A (nl) * 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
US5537440A (en) * 1994-01-07 1996-07-16 Motorola, Inc. Efficient transcoding device and method
US5515107A (en) * 1994-03-30 1996-05-07 Sigma Designs, Incorporated Method of encoding a stream of motion picture data
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
US5617142A (en) * 1994-11-08 1997-04-01 General Instrument Corporation Of Delaware Method and apparatus for changing the compression level of a compressed digital signal
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
US6026182A (en) * 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
US5835495A (en) * 1995-10-11 1998-11-10 Microsoft Corporation System and method for scaleable streamed audio transmission over a network
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5996022A (en) * 1996-06-03 1999-11-30 Webtv Networks, Inc. Transcoding data in a proxy computer prior to transmitting the audio data to a client
SE515535C2 (sv) * 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
JPH11275592A (ja) * 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
US6466623B1 (en) * 1998-03-27 2002-10-15 Industrial Technology Research Institute Method and apparatus for motion estimation for high performance transcoding
US6434197B1 (en) * 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6463414B1 (en) * 1999-04-12 2002-10-08 Conexant Systems, Inc. Conference bridge processing of speech in a packet network environment
US6370502B1 (en) * 1999-05-27 2002-04-09 America Online, Inc. Method and system for reduction of quantization-induced block-discontinuities and general purpose audio codec
US6426977B1 (en) * 1999-06-04 2002-07-30 Atlantic Aerospace Electronics Corporation System and method for applying and removing Gaussian covering functions
US7315815B1 (en) * 1999-09-22 2008-01-01 Microsoft Corporation LPC-harmonic vocoder with superframe structure
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US6522693B1 (en) * 2000-02-23 2003-02-18 International Business Machines Corporation System and method for reencoding segments of buffer constrained video streams
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6650705B1 (en) * 2000-05-26 2003-11-18 Mitsubishi Electric Research Laboratories Inc. Method for encoding and transcoding multiple video objects with variable temporal resolution
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
US7039116B1 (en) * 2000-11-07 2006-05-02 Cisco Technology, Inc. Methods and apparatus for embedding and format conversion of compressed video data
US7058127B2 (en) * 2000-12-27 2006-06-06 International Business Machines Corporation Method and system for video transcoding
US20030028386A1 (en) * 2001-04-02 2003-02-06 Zinser Richard L. Compressed domain universal transcoder
US6925501B2 (en) * 2001-04-17 2005-08-02 General Instrument Corporation Multi-rate transcoder for digital streams
JP4038996B2 (ja) * 2001-04-27 2008-01-30 松下電器産業株式会社 信号処理装置および信号処理方法
US6757648B2 (en) * 2001-06-28 2004-06-29 Microsoft Corporation Techniques for quantization of spectral data in transcoding
JP4574090B2 (ja) * 2001-09-21 2010-11-04 三菱電機株式会社 動画データ変換装置および動画データ変換プログラム
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
US20030206597A1 (en) * 2002-04-19 2003-11-06 Droplet Technology, Inc. System, method and computer program product for image and video transcoding
JP4275358B2 (ja) * 2002-06-11 2009-06-10 株式会社日立製作所 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法
US6944224B2 (en) * 2002-08-14 2005-09-13 Intervideo, Inc. Systems and methods for selecting a macroblock mode in a video encoder
US20040136457A1 (en) * 2002-10-23 2004-07-15 John Funnell Method and system for supercompression of compressed digital video
US6961377B2 (en) * 2002-10-28 2005-11-01 Scopus Network Technologies Ltd. Transcoder system for compressed digital video bitstreams
US7318027B2 (en) * 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7295612B2 (en) * 2003-09-09 2007-11-13 Apple Inc. Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
US7440626B2 (en) * 2004-12-02 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Image transcoding
US20060245491A1 (en) * 2005-04-28 2006-11-02 Mehrban Jam Method and circuit for transcoding transform data
US8447121B2 (en) * 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
US8265157B2 (en) * 2007-02-07 2012-09-11 Lsi Corporation Motion vector refinement for MPEG-2 to H.264 video transcoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238214A (ja) * 2000-02-22 2001-08-31 Sony Corp 符号化フォーマット変換装置及び方法、符号化信号生成装置及び方法
JP2002232894A (ja) * 2001-02-06 2002-08-16 Victor Co Of Japan Ltd データレート変換装置
JP2004032796A (ja) * 2003-07-22 2004-01-29 Toshiba Corp 情報伝送システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111006A1 (ja) * 2006-03-27 2007-10-04 Nec Corporation 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
JPWO2007111006A1 (ja) * 2006-03-27 2009-08-06 日本電気株式会社 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
JP4662085B2 (ja) * 2006-03-27 2011-03-30 日本電気株式会社 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
US8237772B2 (en) 2006-03-27 2012-08-07 Nec Corporation Moving picture storage system, moving picture storage method, and moving picture storage program
US8045821B2 (en) 2007-02-16 2011-10-25 Panasonic Corporation Coding method conversion apparatus
JP2014530587A (ja) * 2011-10-17 2014-11-17 グーグル インコーポレイテッド ビデオ記述長によって導かれるビデオ符号化のレート−歪み−複雑性の最適化
JP2015222997A (ja) * 2011-10-17 2015-12-10 グーグル インコーポレイテッド ビデオ記述長によって導かれるビデオ符号化のレート−歪み−複雑性の最適化
US9225983B2 (en) 2011-10-17 2015-12-29 Google Inc. Rate-distortion-complexity optimization of video encoding guided by video description length
JP2016111625A (ja) * 2014-12-09 2016-06-20 富士通株式会社 サーバ装置、プログラム及び情報処理方法

Also Published As

Publication number Publication date
US20050232497A1 (en) 2005-10-20
RU2005110996A (ru) 2006-10-20
EP1587327A2 (en) 2005-10-19
KR20060045719A (ko) 2006-05-17
MXPA05004071A (es) 2005-10-19
AU2005201439A1 (en) 2005-10-27
CN1684518A (zh) 2005-10-19
CA2504185A1 (en) 2005-10-15
BRPI0501305A (pt) 2005-12-06

Similar Documents

Publication Publication Date Title
JP2005323353A (ja) 高忠実度のトランスコーディング
US6441754B1 (en) Apparatus and methods for transcoder-based adaptive quantization
US8300688B2 (en) Method for video transcoding with adaptive frame rate control
EP1145558B1 (en) System for editing compressed image sequences
KR100934290B1 (ko) 엠피이지-2 4:2:2-프로파일 비트스트림을 메인-프로파일비트스트림으로 컨버팅 하기 위한 방법 및 아키텍처
US8170097B2 (en) Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
US6081295A (en) Method and apparatus for transcoding bit streams with video data
US7301999B2 (en) Quantization method and system for video MPEG applications and computer program product therefor
US8311095B2 (en) Method and apparatus for transcoding between hybrid video codec bitstreams
US8442122B2 (en) Complexity scalable video transcoder and encoder
US20090141809A1 (en) Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
JP5429580B2 (ja) 復号装置および方法、プログラム、並びに記録媒体
JP2003032682A (ja) 部分的に復号された入力ビットストリームのマクロブロック群を変換符号化する方法及び装置
JP4163006B2 (ja) ドリフト補正を備えたビデオトランスコーダ
KR20070090240A (ko) 미세 입자 스케일러빌리티를 위한 디지털 비디오의 실시간트랜스코딩을 위한 시스템 및 방법
US6961377B2 (en) Transcoder system for compressed digital video bitstreams
EP1407615A1 (en) Method and device for generating a scalable coded video signal from a non-scalable coded video signal
US20100020883A1 (en) Transcoder, transcoding method, decoder, and decoding method
JP2003061091A (ja) 圧縮ビットストリームをアップサンプリングする方法および装置
US20110080944A1 (en) Real-time video transcoder and methods for use therewith
KR100932727B1 (ko) 비디오 스트림 전환 장치 및 방법
JPH10271512A (ja) 画像信号符号化装置及び方法、画像信号復号装置及び方法、並びに記録媒体
Tamanna Transcoding H. 265/HEVC
JP2004007571A (ja) 符号化装置および方法、復号装置および方法、編集装置および方法、記録媒体、並びにプログラム
Benussi et al. Innovative ultra low complex, high quality and drift free MPEG-2 transrater controlled by a single pass-very precise variable rate controller

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110426