JP5327366B2 - データ変換装置および方法、並びに記録媒体 - Google Patents

データ変換装置および方法、並びに記録媒体 Download PDF

Info

Publication number
JP5327366B2
JP5327366B2 JP2012168021A JP2012168021A JP5327366B2 JP 5327366 B2 JP5327366 B2 JP 5327366B2 JP 2012168021 A JP2012168021 A JP 2012168021A JP 2012168021 A JP2012168021 A JP 2012168021A JP 5327366 B2 JP5327366 B2 JP 5327366B2
Authority
JP
Japan
Prior art keywords
transcoding
content
output
input
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012168021A
Other languages
English (en)
Other versions
JP2012235516A (ja
Inventor
輝彦 鈴木
クーン ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012168021A priority Critical patent/JP5327366B2/ja
Publication of JP2012235516A publication Critical patent/JP2012235516A/ja
Application granted granted Critical
Publication of JP5327366B2 publication Critical patent/JP5327366B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)

Description

本発明は、データ変換装置および方法、並びに記録媒体に関し、特に、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システムなど、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合や、動画像信号を編集し記録する場合などに用いて好適なデータ変換装置および方法、並びに記録媒体に関する。
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
動画像の高能率符号化方式の代表的なものとして、蓄積用動画像符号化方式としてのMPEG（Moving Picture Expert Group）方式がある。これはＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて議論され、標準案として提案されたものであり、動き補償予測符号化とＤＣＴ（Discrete Cosine Transform）符号化を組み合わせたハイブリッド方式が採用されている。
MPEGでは様々なアプリケーションや機能に対応するために、いくつかのプロファイルおよびレベルが定義されている。最も基本となるのが、メインプロファイル メインレベル（MP＠ML）である。
図１を参照して、MPEG方式のMP＠ML（メインプロファイル＠メインレベル）のエンコーダの構成例について説明する。
入力画像信号はまずフレームメモリ群１に入力され、所定の順番で符号化される。
符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路２に入力される。動きベクトル検出回路２は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，…Ｂ，Ｐとして処理される）。
動きベクトル検出回路２は予め定められた所定の参照フレームを参照し、動き補償を行い、その動きベクトルを検出する。動き補償（フレーム間予測）には前方予測、後方予測、両方向予測の３種類のモードがある。Ｐピクチャの予測モードは前方予測のみでありＢピクチャの予測モードは前方予測、後方予測、両方向予測の３種類である。動きベクトル検出回路２は予測誤差を最小にする予測モードを選択し、その際の予測モードを発生する。
この際、予測誤差は例えば、符号化するマクロブロックの分散と比較され、マクロブロックの分散の方が小さい場合、そのマクロブロックでは予測は行わず、フレーム内符号化が行われる。この場合、予測モードは画像内符号化（イントラ）となる。動きベクトルおよび上記予測モードは可変長符号化回路６および動き補償回路１２に入力される。
動き補償回路１２では所定の動きベクトルに基づいて予測画像を生成し、演算回路３に入力する。演算回路３は、符号化するマクロブロックの値と予測画像の値の差分信号をDCT回路４に出力する。イントラマクロブロックの場合、演算回路３は、符号化するマクロブロックの信号をそのままDCT回路４に出力する。
DCT回路４は、入力されたデータをDCT（離散コサイン変換）処理し、DCT係数に変換する。このＤＣＴ係数は、量子化回路５に入力され、送信バッファ７のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路６に入力される。
可変長符号化回路６は、量子化回路５より供給される量子化ステップ（スケール）に対応して、量子化回路５より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ７に出力する。
可変長符号化回路６にはまた、量子化回路５より量子化ステップ（スケール）、動きベクトル検出回路２より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、および動きベクトル、が入力されており、これらも可変長符号化される。
送信バッファ７は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５に出力する。
送信バッファ７は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ７は、量子化制御信号によって量子化回路５の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ７のオーバフローまたはアンダフローが防止される。
そして、送信バッファ７に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力される。
一方、量子化回路５より出力されたデータは、逆量子化回路８に入力され、量子化回路５より供給される量子化ステップに対応して逆量子化される。逆量子化回路８の出力は、ＩＤＣＴ（逆ＤＣＴ）回路９に入力され、逆ＤＣＴ処理された後、演算器１０を介してフレームメモリ群１１に記憶される。
次に、図２を用いて、MPEGのMP＠MLのデコーダの構成例を説明する。伝送路を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ３１に一時記憶された後、可変長復号回路３２に供給される。可変長復号回路３２は、受信バッファ３１より供給されたデータを可変長復号し、動きベクトル、予測モードを動き補償回路３７に、また、量子化ステップを逆量子化回路３３に、それぞれ出力するとともに、復号された画像データを逆量子化回路３３に出力する。
逆量子化回路３３は、可変長復号回路３２より供給された画像データを、同じく可変長復号回路３２より供給された量子化ステップに従って逆量子化し、逆ＤＣＴ回路３４に出力する。逆量子化回路３３より出力されたデータ（ＤＣＴ係数）は、逆ＤＣＴ回路３４で、逆ＤＣＴ処理され、演算器３５に供給される。
逆ＤＣＴ回路３４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器３５より出力され、演算器３５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ群３６に供給されて記憶される。また、このデータは、そのまま、再生画像として外部に出力される。
入力ビットストリームがＰまたはＢピクチャの場合、動き補償回路３７は可変長復号回路３２より供給される、動きベクトルおよび予測モードに従って、予測画像を生成し、演算器３５に出力する。演算器３５は逆ＤＣＴ回路３４より入力される画像データと、動き補償回路３７より供給される予測画像データを加算し、出力画像とする。またＰピクチャの場合、演算器３５の出力は、フレームメモリ群３６に入力されて記憶され、次に復号する画像信号の参照画像とされる。
MPEGではMP＠MLの他に、様々なプロファイルおよびレベルが定義され、また各種ツールが用意されている。スケーラビリティも、MPEGのこうしたツールの１つである。
MPEGでは、異なる画像サイズやフレームレートに対応する、スケーラビリティを実現するスケーラブル符号化方式が導入されている。例えば空間スケーラビリティの場合、下位レイヤのビットストリームのみを復号する場合、画像サイズの小さい画像信号を復号し、下位レイヤおよび上位レイヤのビットストリームを復号する場合、画像サイズの大きい画像信号を復号する。
図３を用いて空間スケーラビリティのエンコーダを説明する。空間スケーラビリティの場合、下位レイヤは画像サイズの小さい画像信号、また上位レイヤは画像サイズの大きい画像信号に対応する。
下位レイヤの画像信号はまずフレームメモリ群１に入力され、MP＠MLと同様に符号化される。ただし、演算器１０の出力はフレームメモリ群１１に供給され、下位レイヤの予測参照画像として用いられるだけでなく、画像拡大回路４１により上位レイヤの画像サイズと同一の画像サイズに拡大された後、上位レイヤの予測参照画像にも用いられる。
上位レイヤの画像信号はまず、フレームメモリ群５１に入力される。動きベクトル検出回路５２はMP＠MLと同様に、動きベクトルおよび予測モードを決定する。
動き補償回路６２は動きベクトル検出回路５２によって決定された動きベクトルおよび予測モードに従って、予測画像を生成し、重み付加回路４４に出力する。重み付加回路４４では予測画像に対して重み（係数）Wを乗算し、演算器４３に出力する。
演算器１０の出力は上記のとおり、フレームメモリ群１１および画像拡大回路４１に入力される。画像拡大回路４１では演算器１０によって生成された画像信号を拡大して上位レイヤの画像サイズと同一の大きさにして重み付加回路４２に出力する。重み付加回路４２では、画像拡大回路４１の出力に、重み(1-W)を乗算し、演算器４３に出力する。
演算器４３は重み付加回路４２および４４の出力を加算し、予測画像として演算器５３に出力する。演算器４３の出力はまた演算器６０に入力され、逆DCT回路５９の出力と加算された後、フレームメモリ群６１に入力され、この後符号化される画像信号の予測参照フレームとして用いられる。
演算器５３は符号化する画像信号と、演算器４３の出力との差分を計算し、出力する。ただし、フレーム内符号化マクロブロックの場合、演算器５３は符号化する画像信号をそのまま DCT回路５４に出力する。
DCT回路５４は演算器５３の出力をDCT（離散コサイン変換）処理し、DCT係数を生成し、量子化回路５５に出力する。量子化回路５５ではMP＠MLの場合と同様に、送信バッファ５７のデータ蓄積量などから決定された量子化スケールにしたがってDCT係数を量子化し、可変長符号化回路５６に出力する。可変長符号化回路５６は、量子化されたDCT係数を可変長符号化した後、送信バッファ５７を介して上位レイヤのビットストリームとして出力する。
量子化回路５５の出力はまた、量子化回路５５で用いた量子化スケールで逆量子化回路５８により逆量子化され、逆DCT回路５９で逆DCTされた後、演算器６０に入力される。演算器６０は、演算器４３と逆DCT回路５９の出力を加算し、フレームメモリ群６１に入力する。
可変長符号化回路５６ではまた、動きベクトル検出回路５２で検出された動きベクトルおよび予測モード、量子化回路５５で用いた量子化スケール、重み付加回路４２および４４で用いた重みWが入力され、それぞれ符号化され、伝送される。
これまでの動画像符号化装置および復号装置は、それぞれが１対１に対応することが前提となっていた。例えば、テレビ会議システムにおいては、送信側と受信側は常に１対１であり、また送信端末と受信端末の処理能力や仕様などは、予め定められていた。さらに、DVDなどの蓄積メディアでは、復号装置の仕様、処理能力などは、予め厳密に決められており、符号化装置は、その仕様を満たす復号装置のみを前提として動画像信号の符号化を行う。したがって、符号化装置では、予め決められた仕様の復号装置で最適な画質が得られるように画像信号を符号化すれば、常に最適な画質で画像を伝送することが可能であった。
しかしながら、例えばインターネットなどのように、伝送容量が一定でなく、時間や経路により伝送容量が変化するような伝送路へ動画像を送信する場合、また不特定多数の端末が接続されていて、受信端末の仕様が予め決められておらず、様々な処理能力をもつ受信端末に向けて動画像を送信する場合、最適な画質を知ること自体が困難であり、効率よく動画像を送信することが困難である。
さらに、端末の仕様が一意でないため、符号化装置と復号装置の符号化方式が異なる場合もあり、その場合には符号化ビットストリームを効率よく所定のフォーマットへ変換する必要があるが、最適な変換方法は未だ確立していない。
本発明はこのような状況に鑑みてなされたものであり、様々な伝送容量をもつ伝送路を介して画像信号を効率よく伝送することができるようにするとともに、様々な処理能力をもつ受信端末に対して最適な動画像を伝送することができるようにするものである。
本発明の一側面は、入力フォーマットでエンコードされた入力ビットストリームを出力フォーマットでエンコードされた出力ビットストリームにトランスコードするデータ変換装置において、前記入力ビットストリームを前記出力ビットストリームにトランスコードする際に用いられる符号化パラメータと、前記符号化パラメータを用いたトランスコードの最大のビットレートを示す情報とを含むコンテンツ情報と、前記出力ビットストリームを受信するクライアントの処理能力を示すクライアント情報とを受け取る受け取り手段と、前記受け取り手段により受け取られた前記コンテンツ情報及び前記クライアント情報に基づいて、前記入力ビットストリームを、トランスコーディングタイプ情報により示される前記出力フォーマットにトランスコードし、前記出力ビットストリームを生成する変換手段とを有するデータ変換装置である。
本発明の一側面は、また、入力フォーマットでエンコードされた入力ビットストリームを出力フォーマットでエンコードされた出力ビットストリームにトランスコードするデータ変換装置のデータ変換方法において、前記データ変換装置が、前記入力ビットストリームを前記出力ビットストリームにトランスコードする際に用いられる符号化パラメータと、前記符号化パラメータを用いたトランスコードの最大のビットレートを示す情報とを含むコンテンツ情報と、前記出力ビットストリームを受信するクライアントの処理能力を示すクライアント情報とを受け取り、受け取られた前記コンテンツ情報及び前記クライアント情報に基づいて、前記入力ビットストリームを、トランスコーディングタイプ情報により示される前記出力フォーマットにトランスコードし、前記出力ビットストリームを生成するデータ変換方法である。
本発明の一側面は、さらに、入力フォーマットでエンコードされた入力ビットストリームを出力フォーマットでエンコードされた出力ビットストリームにトランスコードするコンピュータを、前記入力ビットストリームを前記出力ビットストリームにトランスコードする際に用いられる符号化パラメータと、前記符号化パラメータを用いたトランスコードの最大のビットレートを示す情報とを含むコンテンツ情報と、前記出力ビットストリームを受信するクライアントの処理能力を示すクライアント情報とを受け取る受け取り手段と、前記受け取り手段により受け取られた前記コンテンツ情報及び前記クライアント情報に基づいて、前記入力ビットストリームを、トランスコーディングタイプ情報により示される前記出力フォーマットにトランスコードし、前記出力ビットストリームを生成する変換手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明の一側面においては、入力ビットストリームを出力ビットストリームにトランスコードする際に用いられる符号化パラメータと、符号化パラメータを用いたトランスコードの最大のビットレートを示す情報とを含むコンテンツ情報と、出力ビットストリームを受信するクライアントの処理能力を示すクライアント情報とが受け取られ、受け取られたコンテンツ情報及びクライアント情報に基づいて、入力ビットストリームが、トランスコーディングタイプ情報により示される出力フォーマットにトランスコードされ、出力ビットストリームが生成される。
本技術によれば、ビットストリームの形式変換を行うことができる。特に、再生を行う端末に最適な画質となるように形式変換を行うことが可能となる。
従来のMPEGのエンコーダの構成を示すブロック図である。 従来のMPEGのデコーダの構成を示すブロック図である。 従来のMPEGの他のエンコーダの構成を示すブロック図である。 本発明が適用されるシステムの構成を示すブロック図である。 図４のマルチメディアコンテンツサーバの構成を示すブロック図である。 図４のデータアクセスサーバの構成を示すブロック図である。 図６のトランスコーディング装置の構成を示すブロック図である。 トランスコーディングを説明する図である。 トランスコーディングを説明する図である。 図４のマルチメディアコンテンツサーバの記録を説明する図である。 図１０の符号化難易度解析回路の構成を示すブロック図である。 コンテンツ情報信号の構成を説明する図である。 トランスコーディングヒント記述子の構造を説明する図である。 メディアインフォメーション記述子の構造を説明する図である。 セグメント記述子の構造を説明する図である。 MPEG−７の全体の構造を説明する図である。 図１０の符号化難易度解析回路の他の構成例を示すブロック図である。 図１７のコンテンツ情報信号発生回路の動作を説明するフローチャートである。 MediaTranscodingHint記述子の構造を説明する図である。 DifficultyTypeを説明する図である。 MediaTranscodingHints記述子の構造を説明する図である。 MediaInformation記述子の構造を説明する図である。 ビデオデータとSegment記述子の関係を説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。
（第１の実施の形態）
図４に本発明の第１の実施の形態の構成を示す。
マルチメディアコンテンツサーバ１０１は、動画像などを含むマルチメディアコンテンツを、ハードディスクなどの蓄積メディア（例えば、後述する図５のコンテンツ記録装置１１２）に記録し保持する。マルチメディアコンテンツは、例えば、非圧縮で、または、MPEG-1，MPEG-2，またはMPEG-4（以下、これをMPEG-1/2/4のように略記する）などの圧縮ビットストリーム形式で記録される。
受信端末（クライアント）１０３はマルチメディアコンテンツを要求し、受信し、表示する端末である。ユーザは受信端末１０３を用いてコンテンツを取得する。受信端末１０３は、所定のコンテンツを要求するコンテンツ要求信号１、並びに自身の端末の処理能力、例えばメモリサイズ、画像表示装置の解像度、演算能力、バッファサイズ、復号可能なビットストリームのフォーマット、などを示すクライアント情報信号を送信する。
コンテンツ要求信号１は、例えば映画のタイトルなど、要求するコンテンツの意味的な内容を含む情報であり、MPEG-7符号化方式により符号化されている。
データアクセスサーバ１０２は、ネットワークまたは所定の伝送路を介して受信端末１０３よりコンテンツ要求信号１およびクライアント情報信号を受信する。データアクセスサーバ１０２は、コンテンツ要求信号１に基づき要求されたコンテンツの情報を要求するコンテンツ情報要求信号を、ネットワークまたは所定の伝送路を介してマルチメディアコンテンツサーバ１０１に送信する。
マルチメディアコンテンツサーバ１０１には、マルチメディアコンテンツおよび記録されているマルチメディアコンテンツの情報が、内蔵する蓄積メディアに記録されている。マルチメディアコンテンツサーバ１０１は、コンテンツ情報要求信号を受信すると、それに基づき、所定のコンテンツ情報信号を、データアクセスサーバ１０２に送信する。
コンテンツ情報信号は、マルチメディアコンテンツサーバ１０１に記録されているマルチメディアコンテンツの情報を示す信号であり、例えば、ファイル名、コンテンツのタイトル、著者、出演者などの情報を含む。コンテンツ情報信号は、意味的情報および物理的情報の双方を含み、例えばMPEG-7方式で符号化される。物理的情報とは、例えば、蓄積メディアに記録されている際のファイル名や、ビットストリーム中の所定の位置を示すポインタなどである。意味的情報とは、例えば、コンテンツのタイトルや出演者などである。
データアクセスサーバ１０２は、コンテンツ情報信号、コンテンツ要求信号１、およびクライアント情報信号より、所定のコンテンツを確定し、そのコンテンツを要求するコンテンツ要求信号２を、マルチメディアコンテンツサーバ１０１に送信する。
コンテンツ要求信号２は、例えばファイル名を含む。コンテンツ要求信号２は物理的な情報であり、例えばファイル名やビットストリーム中の所定の位置を示すポインタである。コンテンツ要求信号２は、例えばMPEG-7により符号化されている。
マルチメディアコンテンツサーバ１０１は、コンテンツ要求信号２により要求されたマルチメディア（MM）コンテンツをデータアクセスサーバ１０２に送信する。
データアクセスサーバ１０２は、コンテンツ情報信号およびマルチメディアコンテンツを、マルチメディアコンテンツサーバ１０１より受信する。データアクセスサーバ１０２は、クライアント情報信号およびコンテンツ情報信号に基づき、マルチメディアコンテンツを最適な形式に変換（Transcode（トランスコード））する。データアクセスサーバ１０２は、変換したマルチメディアコンテンツを受信端末１０３に送信する。
図４においては、データアクセスサーバ１０２と受信端末１０３、およびデータアクセスサーバ１０２とマルチメディアコンテンツサーバ１０１は、それぞれ伝送路により隔てられ、独立して記載されているが、それぞれが同一の端末内に実装されていても構わない。例えば、マルチメディアコンテンツサーバ１０１、データアクセスサーバ１０２、受信端末１０３のすべてが同一端末内にあっても構わないし、またマルチメディアコンテンツサーバ１０１およびデータアクセスサーバ１０２が同一端末内にあり、受信端末１０３がネットワークを介して隔てられた別の端末になっていても良い。同様に、マルチメディアコンテンツサーバ１０１がネットワークを介して隔てられた別の端末で、データアクセスサーバ１０２と受信端末１０３が同一端末となっていてもよい。以下、簡単のため、それぞれが独立している場合について説明するが、同一端末内にある場合にも、以下の説明はそのまま適用できる。
図５に、図４におけるマルチメディアコンテンツサーバ１０１の構成例を示す。コンテンツ情報信号、および、その他のコンテンツの情報を記述するメタデータは、メタデータ記録装置１１１に記録される。また動画像を含むマルチメディアコンテンツはコンテンツ記録装置１１２に記録される。
コンテンツ情報信号およびその他コンテンツに関連するメタデータは、意味的および物理的な情報である。意味的情報とは、例えば、映画のタイトルや監督名といった情報である。物理的な情報とは、例えば、ファイル名、URL、ビットストリーム中の所定の位置を示すポインタなどである。こうしたコンテンツ情報信号およびメタデータは、例えばMPEG-7により符号化され、記録される。
マルチメディアコンテンツそれ自身は、コンテンツ記録装置１１２に、様々なフォーマット、例えばMPEG-1/2/4などで符号化され、記録される。
データアクセスサーバ１０２より入力されたコンテンツ情報要求信号は、メタデータマネージャ１１３に入力される。メタデータマネージャ１１３は、メタデータ記録装置１１１に記録されるメタデータとコンテンツ情報信号を管理する。メタデータマネージャ１１３は、コンテンツ情報要求信号をメタデータ記録装置１１１に供給する。
メタデータ記録装置１１１は、供給されたコンテンツ情報要求信号に基づき、所定のメタデータまたはコンテンツ情報信号を検索し、メタデータマネージャ１１３に供給する。メタデータマネージャ１１３は、コンテンツ情報信号を、図４におけるデータアクセスサーバ１０２に出力する。
データアクセスサーバ１０２より入力されたコンテンツ要求信号２は、マルチメディアコンテンツマネージャ１１４に入力される。マルチメディアコンテンツマネージャ１１４は、コンテンツ記録装置１１２に記録されているマルチメディアコンテンツの管理を行う。マルチメディアコンテンツマネージャ１１４は、コンテンツ要求信号２をコンテンツ記録装置１１２に供給する。
コンテンツ記録装置１１２は、供給されたコンテンツ要求信号２に基づき、所定のマルチメディア（MM）コンテンツを検索し、マルチメディアコンテンツマネージャ１１４に出力する。マルチメディアコンテンツマネージャ１１４は、マルチメディアコンテンツを図４におけるデータアクセスサーバ１０２に出力する。
図６に、図４におけるデータアクセスサーバ１０２の構成例を示す。データアクセスサーバ１０２は、トランスコーディングマネージャ１２１、トランスコーディング装置１２２、およびトランスコーディングライブラリ１２３から構成される。
図４における受信端末１０３より入力されるクライアント情報信号は、トランスコーディングマネージャ１２１に入力され、また図４におけるマルチメディアコンテンツサーバ１０１より入力されるコンテンツ情報信号は、トランスコーディングマネージャ１２１に入力される。
トランスコーディングマネージャ１２１は、クライアント情報信号、およびコンテンツ情報信号に基づき、マルチメディアコンテンツの出力フォーマットを決定する。トランスコーディングマネージャ１２１は、トランスコーディングタイプ情報をトランスコーディング装置１２２に出力する。トランスコーディングタイプ情報は、マルチメディアコンテンツの出力フォーマット、およびトランスコーディング装置１２２におけるトランスコーディングの方法を示す情報である。
トランスコーディングマネージャ１２１はまた、コンテンツ利用可能情報、およびコンテンツ情報信号を、図４における受信端末１０３に出力する。トランスコーディングマネージャ１２１は、要求されたコンテンツがマルチメディアコンテンツサーバ１０１に無い場合、コンテンツ利用可能情報を"0"にし、また要求されたコンテンツがマルチメディアコンテンツサーバ１０１にある場合、コンテンツ利用可能情報を"1"にセットする。
トランスコーディング装置１２２は、トランスコーディングタイプ情報に基づき、入力されたコンテンツの変換を行う。
トランスコーディング装置１２２は、CPUやDSPなどの上で動作するソフトウエアモジュールとして実装することも可能である。この場合、トランスコーディング装置１２２はトランスコーディングタイプ情報に基づき、トランスコーディングライブラリ１２３に記録されている所定のトランスコーディングツールを用いてトランスコーディング（コンテンツの変換）を行う。トランスコーディング装置１２２はトランスコーディングタイプ情報に基づき、ツール要求信号をトランスコーディングライブラリ１２３に出力する。トランスコーディングライブラリ１２３は要求されたソフトウエアモジュール（トランスコーディングツール）をトランスコーディング装置１２２に出力する。トランスコーディング装置１２２はソフトウエアモジュールを実行する際に必要なメモリなどを確保し、そのソフトウエアモジュールを用いてトランスコーディングを行う。
図７を用いてトランスコーディング装置１２２の構成例について説明する。もっとも簡単にトランスコーディング装置１２２を実現する方法は、コンテンツ（ビットストリーム）をデコードした後、所定のフォーマットのエンコーダを用いて再エンコードすることである。
図７におけるトランスコーディング装置１２２では、マルチメディアコンテンツサーバ１０１より供給されたビットストリームは、まずデコーダ１３１に入力され、デコードされる。デコードされた画像信号は、受信端末１０３が受信できるフォーマットのエンコーダ１３２に供給され、符号化される。
デコーダ１３１によりビットストリームを復号する際に復号された符号化パラメータ、例えば、動きベクトル、量子化係数、符号化モードは、エンコーダ１３２に供給され、エンコーダ１３２において画像信号を符号化する際に用いられる。エンコーダ１３２は、デコーダ１３１より供給される符号化パラメータ、およびトランスコーディングマネージャ１２１から供給されるトランスコーディングタイプの情報に基づいて復号画像を符号化し、所定のフォーマットのビットストリームを生成し、出力する。
図８を参照して、トランスコーディング装置１２２がコンテンツ情報信号を用いてトランスコーディングする方法の一例を説明する。
所定のコンテンツを符号化する場合、その画質は、同一ビットレートであっても、画枠サイズ、フレームレートなどによって異なる。図８（B）にその一例を示す。この図は、同一画像を、異なる３つの画枠サイズ、フレームレートで符号化した際の、ビットレート（図８（B）の横軸）と画質（図８（B）の縦軸）の関係を示す図である。ビットレートが十分に高い場合には、画枠が大きく（ITU-R Recommendation601）、フレームレートが高い（30Hz）画像を符号化するとき、最も画質が良くなるが、ビットレートが低くなると、急激に画質が劣化する。
所定のビットレートＲB2以下では、Rec.601の画像サイズを縦横1/2（SIF）にし、フレームレートを低く（10Hzに）して符号化した方が画質が良くなる。さらに所定のビットレートＲB1以下では、SIFの画像サイズをさらに縦横1/2（QSIF）にして符号化した方が画質が良くなる。しかしながら、各ビットレートでどの画像サイズとフレームレートで符号化すれば画質が最適になるかは、画像の性質に依存する。図８（B）に示すような関係はコンテンツによって異なる。
本実施の形態におけるコンテンツ情報信号は、例えば、各ビットレートにおいて、そのコンテンツを符号化する際に最適な符号化パラメータのリストである。図８（A）にその一例を示す。この場合のコンテンツ情報信号では、ビットレートＲA1以下では、縦横1/4サイズの画枠でフレームレート10Hzで符号化を行い、ビットレートＲA1以上ＲA2以下では、縦横1/2サイズの画枠で符号化を行い、ビットレートＲA2以上では、Rec.601サイズ、フレームレート30Hzで符号化を行うものとされている。
この場合のコンテンツ情報信号の記述方法の詳細は後述する。
次に図９を参照して、コンテンツ情報信号を用いてトランスコーディング装置１２２が行うトランスコーディング方法の変形例を説明する。所定のマルチメディアコンテンツを送信する伝送路には、ビットレートが時間変動することを許す可変ビットレートの伝送路と、ビットレートが固定の固定ビットレートの伝送路とが存在する。また符号化方式にも、可変ビットレートで符号化することが可能な符号化方式と、固定ビットレートのみでしか符号化することができない符号化方式とが存在する。
例えば、無線伝送路を介したテレビ会議システムや放送などでは、固定ビットレートでビットストリームが符号化される。これに対して、ＤＶＤなどにおいては、可変ビットレートで符号化される。また、符号化方式においては、MPEG-1やH.263は、固定ビットレートでのみ符号化可能であり、MPEG-2やMPEG-4では、可変ビットレートで符号化することが可能である。
コンテンツを固定ビットレートまたは可変ビットレートで符号化する場合、可変ビットレートで符号化した方が一般的に画質は良い。コンテンツの符号化効率はその画像の性質に依存する。したがって、コンテンツが異なれば、符号化効率は異なるし、また同一コンテンツでも、時刻により符号化効率は異なる。図９（A）に、符号化難易度の時間的変化の一例を示す。横軸は時刻を表し、縦軸は符号化難易度を表している。符号化難易度が低いシーンでは、低いビットレートで高画質が得られるのに対して、符号化難易度の高いシーンでは、高いビットレートでも十分な画質を得ることが難しい。
図９（B）に、この動画像を固定ビットレートで符号化した場合の、画質の時間的変化を示す。図９（A）と図９（B）を比較して明らかなように、固定ビットレートで符号化する場合、符号化難易度の低いシーンでは画質は良くなるが、符号化難易度の高いシーンにおいては画質がかなり悪くなる。従って、時刻によって画質が大きく変動する。
図９（C）に、図９（A）の動画像を可変ビットレートで符号化した場合の符号化ビットレートの時間的変化を示す。符号化難易度の高いシーンには、より高いビットが割り当てられ、符号化難易度の低いシーンには、比較的少ないビットが割り当てられる。その結果、図９（D）に示されるように画質が変化する。固定ビットレートで符号化する場合（図９(Ｂ)）と比較して、コンテンツ全体の発生ビット量は同一であっても、平均的な画質は可変ビットレートの方が良くなる。また可変ビットレート符号化では、画質の時間的変化がより少なくなる。
しかしながら、効率よく可変ビットレート符号化を行うためには、一度動画像全体の符号化難易度を解析し、図９（A）に示すような特性を予め求めておく必要がある。ある程度大きい容量のバッファをもち、そのバッファが許容する範囲で符号化難易度を計測する方法もあるが、これもあくまで、その容量の範囲内で最適化が行われるだけであって、そのコンテンツ全体で最適化が行われるわけではない。
そこで、このような問題を解決するため、本発明の他の実施の形態では、マルチメディアコンテンツサーバ１０１より出力されるコンテンツ情報信号に、図９（A）に示されるようなコンテンツの符号化難易度情報を記述し、トランスコーディング装置１２２は、固定ビットレートで符号化されたビットストリームを、この符号化難易度情報を用いて可変ビットレートで符号化して出力する。
すなわち、図７の実施の形態のトランスコーディング装置１２２においては、エンコーダ１３２はマルチメディアコンテンツサーバ１０１より供給されるコンテンツ情報信号に基づき、ビットストリームを符号化し、ビットストリームを出力していた。
これに対して図１０に示される実施の形態においては、図４におけるマルチメディアコンテンツサーバ１０１に所定のマルチメディアコンテンツを記録する場合、外部より、マルチメディアコンテンツサーバ１０１にビットストリームが供給されると、それは、まず符号化難易度解析回路１４１に入力される。本実施の形態ではビットストリームが入力されるが、圧縮されていない動画像を直接入力しても構わない。
符号化難易度解析回路１４１はコンテンツの符号化難易度を解析し、図９（A）に示すような符号化難易度の特性を得、コンテンツ情報信号として、メタデータ記録装置１１１に出力するとともに、入力されたコンテンツのビットストリームをコンテンツ記録装置１１２に出力する。
図１１に符号化難易度解析回路１４１の構成例を示す。図１１（A）の例では、入力されたビットストリームは、まず構文解析回路（パーサ）１５１に入力され、ビットストリームから符号化パラメータ（量子化係数、ビット量など）が抽出される。ヒントジェネレータ１５２は、この時、各フレームにおける量子化係数の平均値Ｑ、そのフレームでの発生ビット量Ｂを求め、さらに、Ｑ×Ｂを、そのフレームでの符号化難易度として求め、コンテンツ情報信号としてメタデータ記録装置１１１に供給し、記録させる。
図１１（B）は、符号化難易度解析回路１４１の変形例を示す。この例では、入力ビットストリームは一度デコーダ１６１で復号される。復号された画像はエンコーダ１６２に入力される。エンコーダ１６２では、固定量子化スケール、例えばＱ＝１で符号化が行われる。Ｑ＝１で符号化した際の各フレームの発生ビット量がそのフレームの符号化難易度となり、コンテンツ情報としてメタデータ記録装置１１１に供給され、記録される。
図１２を参照してコンテンツ情報信号を記述するフォーマットの一例を説明する。図１２の例では、コンテンツ情報信号は、Transcodingを行う際のヒントとなる情報を含む記述子である、図１２（Ａ）に示すTranscodingHintに記述される。図１２（Ａ）の例では、TranscodingHintは、ID、並びにTranscodingParameterSetおよびTranscodingComplexityHintの記述子を含む。IDは、記述子を識別する識別番号である。
TranscodingParameterSetは、図１２（Ｂ）に示されるように、各ビットレートにおける符号化、トランスコーディングを行う際に最適な符号化パラメータを記述する記述子であり、ID，MinBitRate，MaxBitRate，FrameRate，FrameSizeにより構成されている。
MinBitRateはこの記述子の情報が有効である最低のビットレートを示すフラグである。
MaxBitRateはこの記述子の情報が有効である最大のビットレートを示すフラグである。
FrameRateは、MinBitrate以上MaxBitRate以下で、その画像を符号化する際に最適な画質を得るフレームレートを示すフラグである。
FrameSizeは、MinBitrate以上MaxBitRate以下で、その画像を符号化する際に最適な画質を得る画枠サイズを示すフラグである。
TranscodingComplexityHintは、そのコンテンツの符号化、トランスコーディングの難易度を記述する記述子であり、図１２（Ｃ）に示されるように構成される。そのStartMediaLocatorは、この記述子の情報が有効であるビットストリームの先頭の位置を示すポインタである。
EndMediaLocatorは、この記述子の情報が有効であるビットストリームの最後の位置を示すポインタである。Complexityは、bitstream上でStartMediaLocatorとEndMediaLocatorの間の部分での符号化難易度を示すフラグである。
TranscodingComplexityHintは、図１２（Ｄ）に示すように構成することもできる。StartFrameNumberはこの記述子の情報が有効である先頭のフレーム番号を示すポインタである。
EndFrameNumberはこの記述子の情報が有効である最後のフレーム番号を示すポインタである。
Complexityは、bitstream上でStartFrameNumberとEndFrameNumberの間の部分での符号化難易度を示すフラグである。
図１２（Ａ）に示されるTranscodingHint記述子のデータ構造を、UML(Universal Modeling Language)で表現すると、図１３に示すようになる。TranscodingHintは、１個以上のTranscodingParameterSetと、１個以上のTranscodingComplexityHintで構成されている。TranscodingParameterSetは０回以上繰り返される。TranscodingComplexityHintも同様に、０回以上繰り返される。
MPEG-7はコンテンツに関する情報を記述するメタデータの標準であり、複数の記述子から構成される。MPEG-7の仕様の詳細は、ISO/IEC SC29/WG11N3112,N3113,N3114に記述されている。TranscodingHintは記述子は、このMPEG-7のメタデータの一種として構成することができる。
図１４は、MPEG-7のMediaInformation記述子（MediaIdentification記述子,MediaFormat記述子,MediaCoding記述子,MediaTranscodingHint記述子,およびMediaInstance記述子により構成される）に、上記TranscodingHintを付加して記述する場合のデータ構造の例を示す。MediaInformation記述子はコンテンツのメディア、例えば符号化方式などを記述する記述子である。TranscodingHint記述子はこのMediaInformation記述子に、０または１つ記述される。
MediaInformation記述子はコンテンツ全体あるいはコンテンツの一部分に付加される。したがって、この例では、TranscodingHint記述子もコンテンツ全体あるいはコンテンツの一部に付加される。
図１５に、MPEG-7のSegment記述子に、TranscodingHint記述子を記述する場合のデータ構造の例を示す。Segment記述子は、コンテンツを、例えば各シーンなどの複数部分に分割した場合における、それぞれの部分に関する情報を記述する記述子である。この例では、TranscodingHint記述子は、このVisualSegment記述子およびAudioSegment記述子に、０または１つ記述される。
Segment記述子はコンテンツの一部分に付加される。したがって、この例の場合、TranscodingHint記述子もコンテンツの一部に付加される。
図１４に示されるように、MPEG-7のMediaInformation記述子に、TranscodingHint記述子を付加して記述すると、MPEG-7全体のデータ構造は、図１６に示すようになる。
（第２の実施の形態）
次に、第２の実施の形態を説明する。第２の実施の形態において、コンテンツ情報信号を構成する符号化難易度は、動き補償の難易度を示す情報と、イントラ符号の難易度を示す情報とから構成することを特徴とする。この２つの情報からも、第１の実施の形態において図９（Ａ）に示すようなコンテンツの所定のシーンの符号化難易度を知ることが可能である。この場合、図１０に示す符号化難易度解析回路１４１は、例えば、図１７に示すように構成される。
入力ビットストリームは、必要であれば、デコーダ２０１によりデコードされた後、エンコーダ２０２乃至２０５に供給される。エンコーダ２０２は、デコーダ２０１より入力された画像データを、固定量子スケール、例えばＱ＝１で、イントラ符号化のみで符号化処理を行う。Ｑ＝１で符号化した際のフレームの発生ビット量が、その符号化のイントラ符号化難易度となり、コンテンツ情報信号発生回路２０８に供給される。
エンコーダ２０３は、固定量子化スケールで、例えばＱ＝１，且つｍ＝１で符号化処理(Ｉ,Ｐピクチャのみの符号化処理）を行う。エンコーダ２０４は、固定量子化スケールで、例えばＱ＝１，ｍ＝２で（隣接する２つのＰピクチャの間に１フレームのＢピクチャを挿入して）符号化を行う。エンコーダ２０５は、固定量子化スケールで、例えば、Ｑ１，ｍ＝３で（隣接する２つのＰピクチャの間に２フレームのＢピクチャを挿入して）符号化を行う。
平均値回路２０６は、エンコーダ２０３乃至２０５の出力の平均値を演算する。この平均値は、動き補償符号化難易度として差分回路２０７に供給される。
差分回路２０７は、エンコーダ２０２の出力から、平均値回路２０６の出力を減算し、その差分値を、コンテンツ情報信号発生回路２０８に供給する。コンテンツ情報信号発生回路２０８には、不図示の外部装置からセグメント（Segment）の開始時刻と終了時刻が供給されている。コンテンツ情報信号発生回路２０８は、開始時刻と終了時刻で特定されるセグメントのコンテンツ情報信号を、エンコーダ２０２の出力と差分回路２０７の出力から生成し、メタデータ記録装置１１１に供給する。
次にその動作について説明する。デコーダ２０１は、必要であれば、入力ビットストリームをデコードし、エンコーダ２０２乃至２０５に供給する。エンコーダ２０２は、Ｑ＝１でイントラ符号化のみを実行する。この際の各フレームの発生ビット量は、そのフレームのイントラ符号化難易度を表し、コンテンツ情報信号発生回路２０８と差分回路２０７に供給される。
なお、このイントラ符号化難易度は、後述するTextureHint記述子（図１９(Ｃ)）に記述される。
エンコーダ２０３は、Ｑ＝１，ｍ＝１でデコーダ２０１より供給された画像データをエンコードする。エンコーダ２０４は、Ｑ＝１，ｍ＝２でデコーダ２０１より出力された画像データをエンコードし、エンコーダ２０５は、Ｑ＝１，ｍ＝３で、デコーダ２０１からの画像データをエンコードする。エンコーダ２０３乃至２０５は、各フレームの発生ビット量を平均値回路２０６に出力する。
平均値回路２０６は、エンコーダ２０３乃至２０５より供給された各フレームの発生ビット量の平均値を演算する。この平均値は、動き補償符号化難易度として差分回路２０７に供給される。
差分回路２０７は、エンコーダ２０２より供給されるイントラ符号化の難易度を表すイントラ符号化難易度から平均値回路２０６より供給される動き補償符号化難易度を減算し、これを動き補償難易度としてコンテンツ情報信号発生回路２０８に供給する。
なお、この動き補償難易度は、後述するMotionHint記述子（図１９(Ｂ)）に記述される。
コンテンツ情報信号発生回路２０８は、エンコーダ２０２より供給されたイントラ符号化難易度と、差分回路２０７より供給された動き補償難易度に基づいて、コンテンツ情報信号を生成し、メタデータ記録装置１１１に供給し、記録させる。
次に、図１８のフローチャートを参照して、このコンテンツ情報信号発生回路２０８が行うコンテンツ情報信号生成処理について説明する。
最初にステップＳ１において、コンテンツ情報信号発生回路２０８は、開始時刻と終了時刻で指定されるセグメント内の全てのフレームのイントラ符号化難易度の合計を計算する。
なお、セグメントは、ビデオ信号の時間軸方向の所定の区間を意味し、１つのビデオコンテンツは、１つまたは複数のセグメントから構成される。このセグメントの具体的例については、図２２を参照して後述する。
次に、ステップＳ２において、コンテンツ情報信号発生回路２０８は、シーケンス全体に渡って、全てのフレームのイントラ符号化難易度の合計値を計算する。
次にステップＳ３において、コンテンツ情報信号発生回路２０８は、次式に従って正規化処理を実行し、後述するTextureHintのDifficultyを演算する。
Difficulty＝（そのセグメント内のイントラ符号化難易度の和÷セグメント内のフレーム数）÷（シーケンス全体のイントラ符号化難易度の和÷シーケンス全体のフレーム数）
このDifficultyは、各セグメント毎に求められる。
次に、ステップＳ４において、コンテンツ情報信号発生回路２０８は、セグメント内の動き補償難易度の合計を計算する。さらにステップＳ５において、シーケンス全体の符号化難易度が計算される。そしてステップＳ６において、コンテンツ情報信号発生回路２０８は、次式に従って、セグメント毎に正規化処理を実行し、後述するMotionHintのMotion_uncompensabilityを演算する。
Motion_uncompensability＝（セグメント内の動き補償難易度の和÷セグメント内のフレーム数）÷（シーケンス全体の動き補償難易度の和÷シーケンス全体のフレーム数）
このMotion_uncompensabilityも各セグメント毎に求められる。
次に、ステップＳ７において、コンテンツ情報信号発生回路２０８は、ステップＳ３とステップＳ６の演算結果に基づいて、コンテンツ情報信号としてMediaTranscodingHint記述子を生成する。
このMediaTranscodingHint記述子は、トランスコーディングを行う際に最適な符号化パラメータを記述する記述子であり、本発明においては、図１９に示すように記述する。
図１９（Ａ）に示されるように、MediaTranscodingHint記述子は、ID，UtilityScaling()，MotionHint()，およびTextureHint()により構成される。
UtilityScaling記述子は、コンテンツの各ビットレートにおける画質を記述する記述子である。
MotionHint記述子は、そのコンテンツの動き補償の難易度を記述する記述子であり、図１９（Ｂ）に示されるように、ID，Motion_uncompensability，Motion_range_x_left，Motion_range_x_right，Motion_range_y_left，Motion_range_y_rightにより構成される。
フレーム間相関が低い場合、動き補償によって、向上することができる符号化効率はそれほど大きくなく、より多くのビットをフレーム間相関が低い部分に割り当てる必要がある。Motion_uncompensabilityは、０から１の値を取るパラメータである。０は、各フレームが全く同一であることを示し、１はフレーム間相関が全くないことを示す。このMotion_uncompensabilityには、図１７の差分回路２０７が出力する動き補償難易度が記述される。
Motion_range_x_left，Motion_range_x_rightは、動き補償における動き量の水平方向の最大変化量を表す。同様に、Motion_range_y_left，Motion_range_y_rightは、動き補償における動き量の垂直方向の最大変化量を示す。これらは、動きベクトル検出における水平方向と垂直方向の最大サーチレンジを表すことになる。動きベクトルの最大値を予め指定することにより、トランスコーディングにおける演算量を画質を保持したまま減少させることが可能となる。
TextureHint記述子は、そのコンテンツの空間方向の圧縮の難易度を記述する記述子であり、図１７のエンコーダ２０２が出力するイントラ符号化難易度が記述される。このTextureHint記述子は、図１９（Ｃ）に示すように、ID，Difficulty，DifficultyTypeにより構成される。
Difficultyは、そのコンテンツのイントラ符号化難易度を示すフラグであり、動き補償を用いずに符号化する場合の符号化難易度を示す。
DifficultyTypeは、Difficultyの処理、すなわちどのようにしてその記述子中に記述されているDifficultyが計測されたのかを示すフラグである。DifficultyTypeは、図２０に示されるように、その値の"０"は、EncodingDifficultyを表している。
図１９（Ａ）に示すMediaTranscodingHint記述子のデータ構造を、UMLで表現すると、図２１に示すようになる。
MediaTranscodingt記述子は、それぞれ０または１個のUtilityScaling記述子，MotionHint記述子，TextureHint記述子で構成される。
図２１に示すMediaTranscodingHint記述子は、図２２に示されるように、MediaIdentification記述子，MediaFormat記述子，MediaCoding記述子，MediaInstance記述子とともに、コンテンツのメディア、例えば符号化方式などを記述する記述子であるMediaInformation記述子を構成する。
MediaInformation記述子は、コンテンツ全体、あるいはコンテンツの一部分に付加される。従って、MediaTranscodingHint記述子もコンテンツ全体、あるいはコンテンツの一部に付加されることになる。
図２３には、MediaTranscodingHint記述子のビデオデータとの関連を模式的に表している。ビデオコンテンツ２１１は、少なくとも１つのシーケンスで構成され、その一部のシーン（セグメント）２１２は、開始時刻（Start Time）と終了時刻（End Time）によって規定される。このセグメント２１２に関する情報（開始時刻や終了時刻など）は、Segment記述子２１３に記述される。MediaInformation記述子は、コンテンツ１つに対して１つ定義にしても構わないし、Segment記述子に対して１つ定義してもよい。Segment記述子２１３の子記述子として、MediaInformation記述子２１４を定義する場合、MediaTrancodingHint記述子２１５は、MediaInformation記述子２１４の子記述子であるから、MediaTranscodingHint記述子２１５は、各セグメント（シーン）毎に規定されることになる。MediaTranscodingHint記述子２１５は、子記述子として、UtilityScaling記述子２１６、MediaHint記述子２１７およびTextureHint記述子２１８を有している。
MediaInformation記述子２１４およびその子記述子は、全てSegment記述子２１３の子記述子となり、その記述内容は、親記述子であるSegment記述子２１３が規定する開始時刻および終了時刻の間でのみ有効な値となる。
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
図２４は、上記処理を実行するパーソナルコンピュータの構成例を表している。CPU（Central Processing Unit）２２１は、ROM（Read Only Memory）２２２に記憶されているプログラム、または記憶部２２８からRAM（Random Access Memory）２２３にロードされたプログラムに従って各種の処理を実行する。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU２２１、ROM２２２、およびRAM２２３は、バス２２４を介して相互に接続されている。このバス２２４にはまた、入出力インタフェース２２５も接続されている。
入出力インタフェース２２５には、キーボード、マウスなどよりなる入力部２２６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部２２７、ハードディスクなどより構成される記憶部２２８、モデム、ターミナルアダプタなどより構成される通信部２２９が接続されている。通信部２２９は、ネットワークを介しての通信処理を行う。
入出力インタフェース２２５にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク２４１、光ディスク２４２、光磁気ディスク２４３、或いは半導体メモリ２４４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２２８にインストールされる。
プログラムが記録されている記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、磁気ディスク２４１（フロッピディスクを含む）、光ディスク２４２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク２４３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ２４４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２２や、記憶部２２８に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
また、本明細書において、コンテンツとは主に画像信号を例に説明したが、画像信号に限ることなく、音声信号、プログラム、テキスト信号等を含むものである。
１０１ マルチメディアコンテンツサーバ， １０２ データアクセスサーバ， １０３ 受信端末， １１１ メタデータ記録装置， １１２ コンテンツ記録装置， １１３ メタデータマネージャ， １１４ マルチメディアコンテンツマネージャ, １２１ トランスコーディングマネージャ, １２２ トランスコーディング装置, １２３ トランスコーディングライブラリ, １３１ デコーダ, １３２ エンコーダ, １４１ 符号化難易度解析回路, １５１ パーサ, １５２ ヒントジェネレータ, １６１ デコーダ, １６２ エンコーダ

Claims (3)

  1. 入力フォーマットでエンコードされた入力ビットストリームを出力フォーマットでエンコードされた出力ビットストリームにトランスコードするデータ変換装置において、
    前記入力ビットストリームを前記出力ビットストリームにトランスコードする際に用いられる符号化パラメータと、前記符号化パラメータを用いたトランスコードの最大のビットレートを示す情報とを含むコンテンツ情報と、前記出力ビットストリームを受信するクライアントの処理能力を示すクライアント情報とを受け取る受け取り手段と、
    前記受け取り手段により受け取られた前記コンテンツ情報及び前記クライアント情報に基づいて、前記入力ビットストリームを、トランスコーディングタイプ情報により示される前記出力フォーマットにトランスコードし、前記出力ビットストリームを生成する変換手段と
    を有するデータ変換装置。
  2. 入力フォーマットでエンコードされた入力ビットストリームを出力フォーマットでエンコードされた出力ビットストリームにトランスコードするデータ変換装置のデータ変換方法において、
    前記データ変換装置が、
    前記入力ビットストリームを前記出力ビットストリームにトランスコードする際に用いられる符号化パラメータと、前記符号化パラメータを用いたトランスコードの最大のビットレートを示す情報とを含むコンテンツ情報と、前記出力ビットストリームを受信するクライアントの処理能力を示すクライアント情報とを受け取り、
    受け取られた前記コンテンツ情報及び前記クライアント情報に基づいて、前記入力ビットストリームを、トランスコーディングタイプ情報により示される前記出力フォーマットにトランスコードし、前記出力ビットストリームを生成する
    データ変換方法。
  3. 入力フォーマットでエンコードされた入力ビットストリームを出力フォーマットでエンコードされた出力ビットストリームにトランスコードするコンピュータを、
    前記入力ビットストリームを前記出力ビットストリームにトランスコードする際に用いられる符号化パラメータと、前記符号化パラメータを用いたトランスコードの最大のビットレートを示す情報とを含むコンテンツ情報と、前記出力ビットストリームを受信するクライアントの処理能力を示すクライアント情報とを受け取る受け取り手段と、
    前記受け取り手段により受け取られた前記コンテンツ情報及び前記クライアント情報に基づいて、前記入力ビットストリームを、トランスコーディングタイプ情報により示される前記出力フォーマットにトランスコードし、前記出力ビットストリームを生成する変換手段と
    して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012168021A 2000-03-13 2012-07-30 データ変換装置および方法、並びに記録媒体 Expired - Fee Related JP5327366B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012168021A JP5327366B2 (ja) 2000-03-13 2012-07-30 データ変換装置および方法、並びに記録媒体

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2000068719 2000-03-13
JP2000068719 2000-03-13
JP2000147768 2000-05-19
JP2000147768 2000-05-19
JP2012168021A JP5327366B2 (ja) 2000-03-13 2012-07-30 データ変換装置および方法、並びに記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010206584A Division JP5088594B2 (ja) 2000-03-13 2010-09-15 データ変換装置および方法

Publications (2)

Publication Number Publication Date
JP2012235516A JP2012235516A (ja) 2012-11-29
JP5327366B2 true JP5327366B2 (ja) 2013-10-30

Family

ID=26587320

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009237234A Expired - Lifetime JP4483997B2 (ja) 2000-03-13 2009-10-14 データ変換装置および方法、並びに、符号化装置および方法
JP2010206584A Expired - Fee Related JP5088594B2 (ja) 2000-03-13 2010-09-15 データ変換装置および方法
JP2012168021A Expired - Fee Related JP5327366B2 (ja) 2000-03-13 2012-07-30 データ変換装置および方法、並びに記録媒体

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009237234A Expired - Lifetime JP4483997B2 (ja) 2000-03-13 2009-10-14 データ変換装置および方法、並びに、符号化装置および方法
JP2010206584A Expired - Fee Related JP5088594B2 (ja) 2000-03-13 2010-09-15 データ変換装置および方法

Country Status (8)

Country Link
US (4) US7020196B2 (ja)
EP (2) EP2369842B1 (ja)
JP (3) JP4483997B2 (ja)
KR (1) KR100875781B1 (ja)
CN (2) CN1595985B (ja)
AU (1) AU777595B2 (ja)
HK (1) HK1043636A1 (ja)
SG (1) SG105486A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890503A (en) * 1998-06-29 1999-04-06 Bowen; Steven J. Self-contained fully automatic apparatus for cleaning eyeglasses
EP2369842B1 (en) * 2000-03-13 2015-08-19 Sony Corporation Supplying, generating, converting and reading video content
WO2003001770A2 (en) * 2001-06-22 2003-01-03 Emblaze Systems, Ltd. Mms system and method with protocol conversion suitable for mobile/portable handset display
JP2003087785A (ja) * 2001-06-29 2003-03-20 Toshiba Corp 動画像符号化データの形式変換方法及び装置
JP4163618B2 (ja) * 2001-08-28 2008-10-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化伝送システム、動画像符号化伝送方法、これらに用いて好適な符号化装置、復号化装置、符号化方法、復号化方法及びプログラム
AU2002353301A1 (en) * 2001-11-21 2003-06-10 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
JP4477822B2 (ja) 2001-11-30 2010-06-09 パナソニック株式会社 情報変換装置
EP1343327B1 (fr) * 2001-12-28 2011-06-15 Koninklijke Philips Electronics N.V. Procédé pour effectuer un traitement sur un contenu multimedia
US20030174771A1 (en) * 2002-03-12 2003-09-18 Victor Company Of Japan, Ltd Method, apparatus, and program for variable bit rate encoding
US7236521B2 (en) * 2002-03-27 2007-06-26 Scientific-Atlanta, Inc. Digital stream transcoder
CN101039424B (zh) 2002-07-15 2010-05-26 株式会社日立制作所 动态图像编码方法
KR20040028401A (ko) * 2002-09-30 2004-04-03 주식회사 케이티 대역폭별 컨텐츠 제공 시스템 및 그 방법
JP2004178332A (ja) * 2002-11-28 2004-06-24 Satake Corp コンテンツ変換制御方法及びコンテンツ利用システム
KR100703421B1 (ko) * 2003-01-20 2007-04-03 삼성전자주식회사 트랜스코딩을 이용한 동영상메일 통신장치 및 방법
JP2006191186A (ja) * 2004-12-28 2006-07-20 Toshiba Corp コンテンツの再生システム、再生装置、再生方法、及び配信サーバ
JP2006203682A (ja) * 2005-01-21 2006-08-03 Nec Corp 動画像圧縮符号化ビットストリームシンタックス変換装置及び動画像通信システム
JP2006277402A (ja) * 2005-03-29 2006-10-12 Nec Corp データ圧縮装置及び方法並びにデータ圧縮用プログラム
EP1932358A4 (en) * 2005-09-28 2011-04-13 Ericsson Telefon Ab L M MEDIA CONTENTS MANAGEMENT
FR2896118A1 (fr) * 2006-01-12 2007-07-13 France Telecom Codage et decodage adaptatifs
KR100840462B1 (ko) * 2006-01-31 2008-06-20 도시바 마쯔시따 디스플레이 테크놀로지 컴퍼니, 리미티드 화상 표시 장치 전송 인터페이스
AU2007249777A1 (en) * 2006-05-11 2007-11-22 Cfph, Llc Methods and apparatus for electronic file use and management
KR101100413B1 (ko) 2007-01-08 2011-12-30 노키아 코포레이션 트랜스코딩된 미디어 스트림들을 위해 상호운용성 포인트의 미리결정된 시그널링을 제공하고 사용하기 위한 시스템 및 방법
JP4952433B2 (ja) * 2007-08-08 2012-06-13 ソニー株式会社 情報処理装置および方法、並びに、情報処理システム
JP5123681B2 (ja) * 2008-02-05 2013-01-23 キヤノン株式会社 映像表示装置及びその制御方法、並びに映像出力装置及びその制御方法
US8370520B2 (en) * 2008-11-24 2013-02-05 Juniper Networks, Inc. Adaptive network content delivery system
JP2011081457A (ja) * 2009-10-02 2011-04-21 Sony Corp 情報処理装置および方法
JP5553140B2 (ja) * 2009-10-02 2014-07-16 ソニー株式会社 情報処理装置および方法
JP5652021B2 (ja) * 2010-07-08 2015-01-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
RU2014105292A (ru) * 2011-07-13 2015-08-20 Телефонактиеболагет Л М Эрикссон (Пабл) Кодер, декодер и способы их работы для управления опорными изображениями
US8885702B2 (en) * 2011-10-17 2014-11-11 Google Inc. Rate-distortion-complexity optimization of video encoding guided by video description length
US10463858B2 (en) * 2012-07-17 2019-11-05 Stimwave Technologies Incorporated Devices and methods for treating craniofacial pain
JP2016539540A (ja) 2013-10-11 2016-12-15 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオビットストリームをトランスコーディングする方法及び構成
US10440080B2 (en) 2013-10-18 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) Software-defined media platform
CN106210745A (zh) * 2016-08-31 2016-12-07 成都市和平科技有限责任公司 一种智能化jpeg图像编解码***及方法
EP3322189B1 (en) * 2016-11-10 2019-12-25 Alcatel Lucent Method and system for controlling video transcoding
EP3322187B1 (en) * 2016-11-10 2020-01-29 Alcatel Lucent Method and transcoder for video transcoding
EP3322188B1 (en) * 2016-11-10 2019-12-25 Alcatel Lucent Method and device for generating a signal comprising video transcoding hints
US20180176285A1 (en) * 2016-12-15 2018-06-21 The Directv Group, Inc. Enhanced transmission of media to client devices
KR20200094525A (ko) 2019-01-30 2020-08-07 삼성전자주식회사 서로 연관된 복수의 데이터를 포함하는 하나의 파일을 처리하는 전자 장치
JP7352396B2 (ja) * 2019-07-04 2023-09-28 日本放送協会 番組送出装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517652A (en) * 1990-05-30 1996-05-14 Hitachi, Ltd. Multi-media server for treating multi-media information and communication system empolying the multi-media server
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5475421A (en) * 1992-06-03 1995-12-12 Digital Equipment Corporation Video data scaling for video teleconferencing workstations communicating by digital data network
US5805220A (en) * 1995-02-22 1998-09-08 U.S. Philips Corporation System for transmitting a plurality of video programs simultaneously through a transmission channel
US6513069B1 (en) * 1996-03-08 2003-01-28 Actv, Inc. Enhanced video programming system and method for providing a distributed community network
US6018768A (en) * 1996-03-08 2000-01-25 Actv, Inc. Enhanced video programming system and method for incorporating and displaying retrieved integrated internet information segments
US5960389A (en) * 1996-11-15 1999-09-28 Nokia Mobile Phones Limited Methods for generating comfort noise during discontinuous transmission
JP3662384B2 (ja) * 1997-03-09 2005-06-22 松下電器産業株式会社 情報提供方法及びこれに用いる情報提供、受信装置
US6026097A (en) * 1997-03-13 2000-02-15 8 X 8, Inc. Data processor having controlled scalable input data source and method thereof
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
US5907374A (en) * 1997-06-30 1999-05-25 Hewlett-Packard Company Method and apparatus for processing a compressed input bitstream representing an information signal
KR100756596B1 (ko) * 1997-07-08 2007-09-10 소니 가부시끼 가이샤 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법
US5963222A (en) * 1997-10-27 1999-10-05 International Business Machines Corporation Multi-format reduced memory MPEG decoder with hybrid memory address generation
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP3906542B2 (ja) * 1998-01-28 2007-04-18 ソニー株式会社 情報処理装置及び方法、データ通信システム
JPH11250009A (ja) 1998-03-04 1999-09-17 Uniden Corp サーバ装置及びウェブデータ変換方式
GB2353923A (en) * 1998-05-29 2001-03-07 Palm Inc Method and apparatus for communicating information over low bandwith communications networks
US6031872A (en) * 1998-06-16 2000-02-29 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a video signal
EP1088448B1 (en) * 1998-06-18 2003-01-15 Sony Electronics Inc. A method of and apparatus for partitioning, scaling and displaying video and/or graphics across several display devices
US6490370B1 (en) * 1999-01-28 2002-12-03 Koninklijke Philips Electronics N.V. System and method for describing multimedia content
US6628839B1 (en) * 1999-02-23 2003-09-30 Matsushita Electric Industrial Co., Ltd. Image coding system converting apparatus, image coding system converting method, and recording medium
US6345279B1 (en) * 1999-04-23 2002-02-05 International Business Machines Corporation Methods and apparatus for adapting multimedia content for client devices
JP4312934B2 (ja) * 1999-06-29 2009-08-12 エルジー エレクトロニクス インコーポレイティド デジタルインタフェースを通して連結された機器間の特性情報による動作方法及びその制御装置
US20010047517A1 (en) 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
EP2369842B1 (en) * 2000-03-13 2015-08-19 Sony Corporation Supplying, generating, converting and reading video content

Also Published As

Publication number Publication date
EP1137289A2 (en) 2001-09-26
KR20010091988A (ko) 2001-10-23
HK1043636A1 (zh) 2002-09-20
EP1137289B1 (en) 2012-05-02
US9894316B2 (en) 2018-02-13
US8792552B2 (en) 2014-07-29
JP2010011511A (ja) 2010-01-14
US20150070581A1 (en) 2015-03-12
CN1321945A (zh) 2001-11-14
EP1137289A3 (en) 2005-09-14
KR100875781B1 (ko) 2008-12-24
AU2646301A (en) 2001-09-20
JP2012235516A (ja) 2012-11-29
US20050201461A1 (en) 2005-09-15
US20110019084A1 (en) 2011-01-27
JP4483997B2 (ja) 2010-06-16
US20020015444A1 (en) 2002-02-07
EP2369842A1 (en) 2011-09-28
SG105486A1 (en) 2004-08-27
JP5088594B2 (ja) 2012-12-05
CN1595985A (zh) 2005-03-16
EP2369842B1 (en) 2015-08-19
US7782941B2 (en) 2010-08-24
CN1595985B (zh) 2012-07-04
JP2011024250A (ja) 2011-02-03
AU777595B2 (en) 2004-10-21
US7020196B2 (en) 2006-03-28

Similar Documents

Publication Publication Date Title
JP5327366B2 (ja) データ変換装置および方法、並びに記録媒体
KR100440953B1 (ko) 영상 압축 비트 스트림의 트랜스코딩 방법
US7266148B2 (en) Video transcoding apparatus
JP2005323353A (ja) 高忠実度のトランスコーディング
JP4622121B2 (ja) データ変換装置および方法、並びに、符号化装置および方法
US20040013399A1 (en) Information processing method and apparatus
US20120106643A1 (en) Image processing device, image processing method, and image processing system
US20100239001A1 (en) Video streaming system, transcoding device, and video streaming method
JP3852366B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
JP4421734B2 (ja) 符号化データ変換方法，及びデータ記録媒体
Kim et al. An optimal framework of video adaptation and its application to rate adaptation transcoding
JP5472094B2 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
Vetro et al. Media conversions to support mobile users
JP3263901B2 (ja) 画像信号符号化方法及び装置、画像信号復号化方法及び装置
KR100932727B1 (ko) 비디오 스트림 전환 장치 및 방법
JP2000013791A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
KR20100010605A (ko) 부호화된 아날로그 영상신호 데이터의 네트워크 전송 장치및 이 장치를 위한 영상 구성 방법
JP2001061145A (ja) 画像符号化装置および画像符号化方法、並びに画像復号装置および画像復号方法
Suchomski et al. Format independence of audio and video in multimedia database systems
Zhang et al. Intermedia: system and application for video adaptation
JP2004134889A (ja) 画像信号変換装置及び画像信号変換方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130708

R151 Written notification of patent or utility model registration

Ref document number: 5327366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees