JP5339290B2 - 映像多重化装置、映像多重化方法、及びプログラム - Google Patents

Description

本発明は、同期した複数のストリーム構成をもつ映像を一定の伝送帯域以内で伝送する映像多重化装置、映像多重化方法、及びプログラムに関する。

複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４ Ａｎｎｅｘ Ｈとして多視点映像符号化（ＭＶＣ）が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、ＭＶＣの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。

図２６は、従来技術による映像伝送システムの構成を示すブロック図である。図において、従来技術の映像伝送システムは、多重化装置１、映像伝送サーバ２、映像再生クライアント３から構成される。多重化装置１において、符号化部１０１は、Ｍ本の入力ストリームを同一の固定符号化レートで符号化・多重化し、多重化データを作成する。データ蓄積部１０２は、このＭ本のストリームを含む多重化データを蓄積する。

映像伝送サーバ２において、データ送信部１０３は、データ蓄積部１０２からＮ（≦Ｍ）本のストリームを取り出し、映像再生クライアント３へ送出する。ここで、Ｎ本のストリームを送出するためには、Ｎ×固定符号化レート分の伝送レートが必要となる。

映像再生クライアント３において、データ受信部１０４は、Ｎ本のストリームを受信する。復号化部１０５は、Ｎ本のストリームを復号する。映像表示部１０６は、部分映像を表示する。

なお、ここでは、Ｍ本のストリーム（全体ストリーム）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（部分ストリーム）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、Ｍ個の単位映像、部分映像は、Ｎ個の単位映像から構成される。

Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.

上述した従来技術では、伝送レート＜Ｎ×固定符号化レートの場合には、Ｎ本の部分ストリームから構成される部分映像を送出できないという問題があった。また、伝送レート≧Ｎ×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなるという問題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる映像多重化装置、映像多重化方法、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、映像を構成する複数の生ストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、前記複数の生ストリームの各々を複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化する符号化手段と、前記映像の一部を表示させる映像表示領域に対応した所定数の生ストリームの組合わせを選択する選択手段と、前記符号化手段により生成された前記複数の符号化ストリームの各々に対する品質評価値を算出する評価値算出手段と、前記符号化手段により生成された前記複数の符号化ストリームの中から、前記選択手段により選択された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記評価値算出手段により算出された前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを指示する選択指示手段と、前記選択指示手段により指示された組合わせの前記所定数の符号化ストリームを伝送する伝送手段とを備えることを特徴とする映像多重化装置である。

本発明は、上記の発明において、入力された映像データを小領域に分割することで複数の生ストリームを生成する映像分割手段を更に備え、前記符号化手段は、前記映像分割手段により分割された前記複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化することを特徴とする。

本発明は、上記の発明において、前記所定数の生ストリームの組合わせを指定する指定手段を更に具備し、前記選択指示手段は、前記指定手段により前記生ストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された前記参照情報に基づいて、前記選択手段により選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを新たに指示することを特徴とする。

本発明は、上記の発明において、前記所定数の生ストリームの組合わせを指定する指定手段を更に具備し、前記参照情報作成手段は、前記指定手段により前記所定数の生ストリームの組合わせが変更指示されると、前記符号化手段により生成された前記複数の符号化ストリームの中から、変更指示された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記評価値算出手段により算出された前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、変更指示された前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を新たに作成することを特徴とする。

また、上述した課題を解決するために、本発明は、映像を構成する複数の生ストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、前記複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化するステップと、前記映像の一部を表示させる映像表示領域に対応した所定数の生ストリームの組合わせを選択するステップと、生成された前記複数の符号化ストリームの各々に対する品質評価値を算出するステップと、生成された前記複数の符号化ストリームの中から、選択された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を作成するステップと、前記作成された参照情報に基づいて、選択すべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを指示するステップと、指示された組合わせの前記所定数の符号化ストリームを伝送するステップとを含むことを特徴とする映像多重化方法である。

本発明は、上記の発明において、入力された映像データを小領域に分割することで複数の生ストリームを生成するステップと、前記分割された複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化するステップとを更に含むことを特徴とする。

本発明は、上記の発明において、前記所定数の生ストリームの組合わせを指定するステップと、前記所定数の生ストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを新たに指示するステップとを更に含むことを特徴とする。

本発明は、上記の発明において、前記所定数の生ストリームの組合わせを指定するステップと、前記所定数の生ストリームの組合わせが変更指示されると、生成された前記複数の符号化ストリームの中から、変更指示された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、変更指示された前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を新たに作成するステップとを更に含むことを特徴とする。

また、上述した課題を解決するために、本発明は、映像を構成する複数の生ストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、前記複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化する符号化機能、前記映像の一部を表示させる映像表示領域に対応した所定数の生ストリームの組合わせを選択する選択機能、前記符号化機能により生成された前記複数の符号化ストリームの各々に対する品質評価値を算出する評価値算出機能、前記符号化機能により生成された前記複数の符号化ストリームの中から、前記選択機能により選択された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記評価値算出機能により算出された前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を作成する参照情報作成機能、前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを指示する選択指示機能、前記選択指示機能により指示された組合わせの前記所定数の符号化ストリームを伝送する伝送機能を実現することを特徴とするプログラムである。

この発明によれば、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。

本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。 本第１実施形態による、各データＩＤに対する評価値算出手順を説明するためのフローチャートである。 本第１実施形態でのコマンド変換の際に必要となる、参照情報の作成手順を説明するためのフローチャートである。 本第１実施形態でのストリームＩＤとデータＩＤとの対応情報を示す概念図である。 本第１実施形態での参照情報作成の詳細手順を説明するためのフローチャートである。 本第１実施形態での画質改善のための優先データＩＤ情報を示す概念図である。 本第１実施形態でのストリーム要求情報の作成例を示す概念図である。 本第１実施形態での参照情報を示す概念図である。 本第１実施形態での映像再生クライアント３０のコマンド送信手順を説明するためのフローチャートである。 本第１実施形態での映像伝送サーバ２０のコマンド受信およびデータ送信手順を説明するためのフローチャートである。 本第１実施形態での映像再生クライアント３０のデータ受信および映像表示手順を説明するためのフローチャートである。 本第２実施形態による映像伝送システムの構成を示すブロック図である。 本第２実施形態での映像分割部３０１による映像分割の一例を示す概念図である。 本第２実施形態での各データＩＤに対するＳＮＲの算出手順を説明するためのフローチャートである。 本第２実施形態でのビットレート（５００ｋｂｐｓ）で付与されたデータＩＤを示す概念図である。 本第２実施形態でのビットレート（１Ｍｂｐｓ）で付与されたデータＩＤを示す概念図である。 本第２実施形態でのビットレート（１．５Ｍｂｐｓ）で付与されたデータＩＤを示す概念図である。 本第２実施形態でのタイルＩＤと映像符号化データＩＤの対応情報を示す概念図である。 本第２実施形態での表示パターンの例を示す概念図である。 本第２実施形態でのストリーム要求情報の作成例を示す概念図である。 本第２実施形態での参照情報を示す概念図である。 本発明の第３実施形態による映像伝送システムの構成を示すブロック図である。 本発明の第４実施形態による映像伝送システムの構成を示すブロック図である。 本発明の第５実施形態による、多重化装置１０における参照情報作成手順を説明するためのフローチャートである。 本第５実施形態での多重化装置１０における評価値をキーとしたデータＩＤの昇順ソートの例を示す概念図である。 従来技術による映像伝送システムの構成を示すブロック図である。

以下、本発明の一実施形態を、図面を参照して説明する。
Ａ．第１実施形態
図１は、本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。多重化装置１０において、符号化部２０１は、同期したＭ本のストリーム構成を持つ映像を入力とし、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。データ蓄積部２０２は、この映像データを蓄積する。参照情報作成部２０３は、データ蓄積部２０２に蓄積されている映像データを用いて、参照情報を作成し、参照情報蓄積部２０４に蓄積する。なお、参照情報、映像データの順に多重化したデータをデータ蓄積部２０２に蓄積してもよい。

映像伝送サーバ２０において、データ管理部２０５は、コマンド受信部２０６で受信した、映像再生クライアント３０からの「ストリーム要求情報」に従って、データ蓄積部２０２へＮ（≦Ｍ）本のストリーム要求を行うことで、データ蓄積部２０２に蓄積されたＭ本のストリームからＮ本のストリームを取り出し、データ送信部２０７へ転送する。データ送信部２０７は、Ｎ本のストリームを映像再生クライアント３０へ送出する。コマンド受信部２０６は、映像再生クライアント３０からのコマンドを受信する。参照情報送信部２０８は、参照情報蓄積部２０４から参照情報データを取り出し、映像再生クライアント３０へ送出する。

映像再生クライアント３０において、データ受信部２１２は、Ｎ本のストリームを受信する。復号化部２１３は、Ｎ本のストリームを復号する。映像表示部２１４は、復号化された部分映像を表示する。参照情報受信部２１６は、映像伝送サーバ２０から送信される参照情報を受信し、参照情報蓄積部２１０に蓄積する。ストリーム組合せ指定部２１５は、ストリーム組合せ指定の変更入力を受付ける。コマンド変換部２１１は、ストリーム組合せ指定に変更があった場合に、参照情報蓄積部２１０に蓄積された参照情報を参照し、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換する。コマンド送信部２０９は、「ストリーム要求情報」に従って映像伝送サーバ２０にコマンド送信を行う。

なお、多重化装置１０におけるデータ蓄積部２０２と参照情報蓄積部２０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部２０７と参照情報送信部２０８とを機能統合し、映像再生クライアント３０におけるデータ受信部２１２と参照情報受信部２１６とを機能統合するような構成も可能である。

また、図１では、映像再生クライアント３０において、コマンド変換部２０９は、「参照情報」を参照して、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換しているが、映像伝送サーバ２０と映像再生クライアント３０とで「参照情報」を持つことで、コマンド変換部２１１にてコマンド変換せず、「ストリーム組合せ情報」を、直接、コマンドとして、コマンド送信部２０９より送信する構成も実施可能である。この構成の場合、映像伝送サーバ２０側で、参照情報を参照することで、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換することができる。

次に、本第１実施形態の映像多重化・伝送方法について詳細に説明する。
本第１実施形態では、例えば、同期した１２本の入力ストリームから構成される映像を１０Ｍｂｐｓで伝送する際に、映像データを伝送する前に、参照情報を送信する。図１に示す多重化装置１０における参照情報作成部２０３での参照情報の作成手順は、各入力ストリームを複数のビットレートで符号化した結果に対する評価値算出手順と、評価値の算出結果を用いた参照情報作成手順とから構成される。

図２は、本第１実施形態による、符号化部２０１、参照情報作成部２０３による各データＩＤに対する評価値算出手順を説明するためのフローチャートである。まず、符号化部２０１は、同期した複数の入力ストリームにストリームＩＤを付与する。次に、各入力ストリームを複数の符号化レート（ビットレート）で符号化し（ステップＳ００１）、符号化後のストリームに対してデータＩＤを付与する（ステップＳ００２）。続いて、参照情報作成部２０３は、ストリームＩＤと映像符号化データＩＤの対応情報の作成を行い（ステップＳ００３）、最後に各データＩＤに対する評価値の算出を行う（ステップＳ００４）。

図３は、本第１実施形態による、コマンド変換部２１１でのコマンド変換の際に必要となる、参照情報作成部２０３による参照情報の作成手順を説明するためのフローチャートである。参照情報作成部２０３は、参照情報の作成の前に、まず、伝送帯域を示す「伝送レート」と、データＩＤの組合せから構成される「ストリーム組合せ」とを設定し（ステップＳ２０１）、基本となる符号化レートを示す「ベースビットレート」と、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」との設定を行う（ステップＳ２０２）。

次に、「ストリーム組合せ」内のベースビットレートにおけるデータＩＤから画質改善対象となるデータＩＤの個数を算出する（ステップＳ２０３）。次に、ステップＳ００４で算出した各データＩＤに対する評価値を用いて、優先的に画質改善が必要なデータＩＤの順位情報を作成する（ステップＳ２０４）。「ストリーム組合せ」内のベースビットレートにおけるデータＩＤから、ステップＳ２０３で算出されたデータＩＤの個数分を、改善ビットレートにおけるデータＩＤに変更する（ステップＳ２０５）。最後に、「ストリーム組合せ情報」と、データＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報の作成を行う（ステップＳ２０６）。

例えば、伝送レート：１０Ｍｂｐｓ、ベースビットレート：５００ｋｂｐｓ、改善ビットレート：１Ｍｂｐｓ、「ストリーム組合せ」をストリームＩＤ（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）、評価値を平均ＳＮＲ（全フレームのＳＮＲ（信号雑音比：signal-noise ratio)の平均値）とした場合、ストリームＩＤとデータＩＤとの対応情報は、図４に示すようになる。

また、各フレームのＳＮＲは、次式（１）により算出する。

ＳＮＲ＝１０＊ｌｏｇ_１０（ＭＡＸ^２／ＭＳＥ） （１）

単位はデシベル［ｄＢ］である。ＭＡＸは、原画像が取り得る最大画素値である。例えば、ビット深度が８ビットの場合のＭＡＸの値は、２５５となる。また、数式（１）のＭＳＥとは、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）のことであり、タイルサイズの原画像とローカルデコード画像との差分の二乗総和を、タイルサイズの画素数で割ることで求められる。

なお、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を符号化手順とは別に行う必要がある。

図５は、本第１実施形態による、多重化装置１０における参照情報作成の詳細手順を説明するためのフローチャートである。参照情報作成部２０３は、まず、「ストリーム組合せ」の設定（ストリームＩＤ（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）、Ｎｔ＝１２）、伝送ビットレート（Ｍａｘ＿ｂｉｔｒａｔｅ）＝１０Ｍｂｐｓの設定を行う（ステップＳ３０１）。次に、ベースビットレート（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）＝５００ｋｂｐｓ、改善ビットレート（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ）＝１Ｍｂｐｓの設定を行う（ステップＳ３０２）。

次に、Ｎｔ（「ストリーム組合せ」のストリームＩＤの個数）×ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ（ベースビットレート）＜Ｍａｘ＿ｂｉｔｒａｔｅ（伝送ビットレート）であり（第１の条件）、かつ、Ｍ１（Ｍａｘ＿ｂｉｔｒａｔｅ−Ｎｔ×ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）＞Ｍ２（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ−ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）、または、Ｍ１＝Ｍ２となる第２の条件を満足するか否かを判定する（ステップＳ３０３）。

上記第１の条件、または第２の条件を満たさない場合には、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ−Δｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ−Δｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐとし（ステップＳ３０４）、ステップＳ３０３に戻る。

一方、上述した設定条件では、「ストリーム組合せ」のストリームＩＤの個数よりＮｔ＝１２であるので、Ｎｔ×ｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝１２×０．５Ｍｂｐｓ＝６Ｍｂｐｓ＜Ｍａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓとなり、第１の条件を満たし、さらに、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓであるので、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１−０．５＝０．５Ｍｂｐｓとなり、Ｍ１＞Ｍ２の第２の条件を満たす（ステップＳ３０３のＹＥＳ）。

上記第１の条件、及び第２の条件を満たすと、Ｍｕｐ＝ＩＮＴ（４／０．５）＝８を算出し（ステップＳ３０５）、「ストリーム組合せ」内の１２個のベースビットレートにおけるデータＩＤに関するＹ成分のＳＮＲをキーとして昇順にソートする（ステップＳ３０６）。これにより、図６に示すソート結果を得る。

次に、Ｍｕｐ＝８から、ＳＮＲの小さい順に８個選定し（ステップＳ３０７）、図４に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、図７に示すように、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する（ステップＳ３０８）。最後に、図８に示すように、「ストリーム組合せ」とデータＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する（ステップＳ３０９）。

次に、本第１実施形態による映像伝送システムで、映像再生クライアント３０からのコマンド送信から映像表示までの一連の手順について図９から図１１を参照して説明する。

図９は、映像再生クライアント３０のコマンド送信手順を説明するためのフローチャートである。まず、ストリーム組合せ指定部２１５にて、「ストリーム組合せ」の指定を行い（ステップＳ５０１）、コマンド変換部２１１にて、「ストリーム組合せ」から「ストリーム要求情報」への変換を行い（ステップＳ５０２）、コマンド送信部２０９にて、コマンド送信を行う（ステップＳ５０３）。

図１０は、映像伝送サーバ２０のコマンド受信およびデータ送信手順を説明するためのフローチャートである。まず、コマンド受信部２０６にて、コマンドを受信し（ステップＳ４０１）、コマンドに含まれる要求データＩＤの解釈を行い（ステップＳ４０２）、要求データＩＤに対応するストリームをデータ蓄積部２０２からデータ送信部２０７へ転送する（ステップＳ４０３）。最後に、データ送信部２０７にてストリームの送信を行う（ステップＳ４０４）。

図１１は、映像再生クライアント３０のデータ受信および映像表示手順を説明するためのフローチャートである。まず、データ受信部２１２にてストリームの受信を行い（ステップＳ６０１）、次に復号化部２１３にてストリームの復号化を行う（ステップＳ６０２）。最後に、映像表示部２１４にて復号化データの表示を行う（ステップＳ６０３）。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図１２は、本第２実施形態による映像伝送システムの構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。多重化装置１０において、映像分割部３０１は、入力された映像データをＭ本のストリームに分割（タイル分割）する。符号化部２０１は、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。

上述したように、本第２実施形態では、映像分割部３０１にて、入力映像データを同期した複数のストリームに分割する。例えば、入力映像サイズ３８４０×１９２０画素、タイルサイズ６４０×３２０画素とした場合には、図１３に示すような分割結果となる。このとき、映像表示領域サイズを１９２０×１０８０画素とした場合、映像表示のパターンは、１２パターンとなる。

図１４は、各データＩＤに対するＳＮＲの算出手順を説明するためのフローチャートである。まず、３８４０×１９２０画素の入力映像を、図１３に示すように、６×６＝３６個にタイル分割する（ステップＳ１０１）。次に、各タイルを複数の段階のビットレート（例えば、５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で符号化する（ステップＳ１０２）。続いて、各タイルの符号化結果に対するデータＩＤの付与を行う（ステップＳ１０３）。例えば、図１５、図１６、図１７には、複数の段階のビットレート（５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で付与されたデータＩＤを示している。

次に、図１８に示すような、タイルＩＤと映像符号化データＩＤの対応情報を作成する（ステップＳ１０４）。最後に、入力画像のタイル分割後に得られるタイルサイズの原画像と、符号化部２０１での処理の過程で得られるタイルサイズのローカルデコード画像とから各データＩＤに対する平均ＳＮＲ（全フレームのＳＮＲの平均値）を算出する（ステップＳ１０５）。

ここで、各フレームのＳＮＲは、前述した第１実施形態と同様に、数式（１）で算出する。なお、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を、符号化手順とは別に行う必要がある。

本第２実施形態において、コマンド変換部２１１でのコマンド変換の際に必要となる、参照情報の作成手順は、前述した第１実施形態と同様（図３）であるので、異なる点についてのみ説明する。

例えば、図１３に示すように、タイルサイズを６４０×３２０画素、入力映像サイズを３８４０×１９２０画素、映像表示領域サイズを１９２０×１０８０画素とした場合の例について説明する。図１３に示すようなケースの場合、映像表示領域が拡大縮小せず、平行移動のみと仮定した場合、全部で表示パターンは、図１９に示すように、表示パターンＰ１〜Ｐ１２の１２パターンとなる。各タイルＩＤが付与されたストリームを入力画像として、図１５に示す、５００ｋｂｐｓで符号化した結果のストリーム、図１６に示す、１Ｍｂｐｓで符号化した結果を、図１７に示す、１．５Ｍｂｐｓで符号化した結果を、データＩＤ付与したとき、タイルＩＤとデータＩＤの対応関係は、図１８に表すことができる。

ここで、本第２実施形態において、伝送レート１０Ｍｂｐｓ、ベースビットレート５００ｋｂｐｓ、改善ビットレート１Ｍｂｐｓ、または１．５Ｍｂｐｓ、評価値を平均ＳＮＲ（全フレームのＳＮＲの平均値）とした場合について説明する。なお、本第２実施形態による、多重化装置１０における参照情報作成手順は、前述した第１実施形態と基本的に同様（図５）であるので、図５を参照して説明する。

ステップＳ３０１において、「ストリーム組合せ」として、図１９に示す「表示パターンＰ６」を設定、伝送レートが１０ＭｂｐｓなのでＭａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓで設定する。次に、ステップＳ３０２において、ベースビットレートｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝５００ｋｂｐｓ、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓを設定した場合について説明する。

図１９に示す「表示パターンＰ６」内のタイル数は、１２タイルなので、Ｎｔ＝１２となる。よって、ステップＳ３０３において、Ｎｔ×ｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝１２×０．５Ｍｂｐｓ＝６ＭｂｐｓＭａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓとなり、条件を満たし、さらに、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓの場合、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１−０．５＝０．５Ｍｂｐｓとなり、Ｍ１＞Ｍ２の条件を満たす。

上記条件を満たすと、ステップＳ３０５で、Ｍｕｐ＝ＩＮＴ（４／０．５）＝８と算出できる。次に、図１８に示すタイルＩＤと映像符号化データＩＤとの対応情報より、「表示パターンＰ６」内の１２個のタイルＩＤに対応するベースビットレートにおけるデータＩＤを選択し、ステップＳ３０６において、このデータＩＤに関するＹ成分の平均ＳＮＲをキーとして昇順にソートする。これにより、図６に示すソート結果を得る。

次に、ステップＳ３０５で算出されたＭｕｐ＝８から、ステップＳ３０７において、ＳＮＲの小さい順に８個選定し、ステップＳ３０８において、図１８に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する。最後に、ステップＳ３０９において、図８に示すように、「ストリーム組合せ」とデータＩＤとから構成される「ストリーム要求情報」の対応情報を含む参照情報を作成する。

一方、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１．５Ｍｂｐと設定した場合には、ステップＳ３０３において、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１．５−０．５＝１．０Ｍｂｐｓとなり、Ｍ１＞Ｍ２の条件を満たすので、ステップＳ３０５において、Ｍｕｐ＝ＩＮＴ（４／１．０）＝４と算出できる。

次に、ステップＳ３０６において、表示パターンＰ６内の１２個のタイル数分のデータＩＤに関するＹ成分のＳＮＲをキーとして昇順にソートする。これにより、図６に示すソート結果を得る。次に、Ｓ３０５で算出されたＭｕｐ＝４から、ステップＳ３０７において、ＳＮＲの小さい順に４個選定し、ステップＳ３０８において、図１８に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、図２０に示すように、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する。最後に、ステップＳ３０９において、図２１に示すように、「ストリーム組合せ」とデータＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する。

なお、本第２実施形態において、映像再生クライアントにおけるコマンド送信から映像表示までの一連の手順については、前述した第１実施形態と同様（図９から図１１）であるので、説明を省略する。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図２２は、本第３実施形態による映像伝送システムの構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。多重化装置１０において、評価値計算部４０３は、データ蓄積部４０２に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部４０４に蓄積する。なお、評価値、映像データの順に多重化したデータをデータ蓄積部４０２に蓄積してもよい。

映像伝送サーバ２０において、評価値送信部４０８は、評価値蓄積部４０４から評価値情報を取り出し、映像再生クライアントへ送出する。

映像再生クライアント３０において、評価値受信部４１５は、映像伝送サーバ２０から送信される評価値情報を受信し、評価値蓄積部４１６に蓄積する。参照情報作成部４１８は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部４１６から評価値情報を取り出し、参照情報の作成を行い、該参照情報を参照情報蓄積部２１０に蓄積する。

なお、多重化装置１０におけるデータ蓄積部２０２と評価値蓄積部４０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部２０７と評価値送信部４０８とを機能統合し、映像再生クライアント３０におけるデータ受信部２１２と評価値受信部４１５とを機能統合するような構成も可能である。

本第３実施形態は、前述した第１実施形態の変形であり、図１の構成と図２２の構成とを比較することで分かる通り、多重化装置１０で参照情報を作成するのではなく、映像再生クライアント３０で参照情報の作成を行う。

このため、映像伝送クライアント３０に送信される情報は、図８、及び図２１に示す情報ではなく、図４に示すストリームＩＤと映像符号化データＩＤとの対応情報、及び図６に示すソートした結果（ここでは、全データＩＤに対する平均ＳＮＲ計算結果）となる。映像再生クライアント３０での参照情報の作成は、前述した第１実施形態と同様である。つまり、図５における、ステップＳ３０１の「ストリーム組合せ」の設定を、図２２に示すストリーム組合せ指定部２１５にて行い、「ストリーム組合せ」の指定の変化に応じて、図５に示す手順で参照情報の作成を行う。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図２３は、本第４実施形態による映像伝送システムの構成を示すブロック図である。なお、図１、図１２、図２２に対応する部分には同一の符号を付けて説明を省略する。図２３から明らかなように、本第４実施形態による映像伝送システムは、図１に示す第１実施形態による映像伝送システムの構成に対して、図１２に示す第２実施形態の構成、及び図２２に示す第３実施形態の構成を採用した構成となっている。

すなわち、本第４実施形態による映像伝送システムでは、多重化装置１０において、映像分割部３０１が、入力された映像データをＭ本のストリームに分割（タイル分割）し、評価値計算部４０３は、データ蓄積部５０３に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部４０４に蓄積する。また、映像伝送サーバ２０において、評価値送信部４０８は、評価値蓄積部４０４から評価値情報を取り出し、映像再生クライアント３０へ送出する。映像再生クライアント３０において、評価値受信部４１５は、映像伝送サーバ２０から送信される評価値情報を受信し、評価値蓄積部４１６に評価値情報を蓄積し、参照情報作成部４１８は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部４１６から評価値情報を取り出し、参照情報の作成を行い、参照情報を参照情報蓄積部２１０に蓄積する。

本第４実施形態は、前述した第１実施形態の変形であり、図１２の構成と図２３の構成とを比較することで分かる通り、多重化装置１０で参照情報を作成するのではなく、映像再生クライアント３０で参照情報の作成を行う。

このため、映像伝送クライアント３０に送信される情報は、図８、及び図２１に示す情報ではなく、図１８、及び図６（ここでは、全データＩＤに対する平均ＳＮＲ計算結果）に示す情報となる。映像再生クライアント３０での参照情報の作成は、前述した第２実施形態と同様であり、図５における、ステップＳ３０１の「ストリーム組合せ」の設定を、図２３のストリーム組合せ指定部２１５にて行い、「ストリーム組合せ」の指定の変化に応じて、図５に示す手順で参照情報の作成を行えばよい。

Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
本第５実施形態による映像伝送システムの構成は、図１２に示す本第２実施形態による映像伝送システムの構成と同じであるので説明を省略する。本第５実施形態では、伝送レート：１１Ｍｂｐｓ、ベースビットレート：５００ｋｂｐｓ、改善ビットレート：１Ｍｂｐｓ、及び１．５Ｍｂｐｓ（２段階の改善）、評価値を平均ＳＮＲ（全フレームのＳＮＲの平均値）とした場合の参照情報作成手順について説明する。

図２４は、本第５実施形態による、多重化装置１０における参照情報作成手順を説明するためのフローチャートである。まず、伝送帯域を示す「伝送レート」を１１Ｍｂｐｓに設定し、データＩＤの組合せから構成される「ストリーム組合せ」の設定（ストリームＩＤ＝（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７））を行い（ステップＳ７０１）、次に、基本となる符号化レートを示す「ベースビットレート」＝５００ｋｂｐｓと、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」＝１Ｍｂｐｓ ａｎｄ １．５Ｍｂｐｓの設定を行う（ステップＳ７０２）。

次に、図２５に示すように、評価値（ＳＮＲ＿Ｙ５００で示される平均ＳＮＲ）をキーとしたデータＩＤの昇順ソートを行い（ステップＳ７０３）、ベースビットレートによる符号化データに付与されたデータＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，１２１，１２５，１２６，１２７）のうち、ＳＮＲが最低値を示すデータＩＤ＝１２１を、１段階上の１Ｍｂｐｓで符号化されたデータに付与されたデータＩＤ＝２２１に変更する（ステップＳ７０４）。変更後は、データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，２２１，１２５，１２６，１２７）となる。

この結果、総ビットレート１１×０．５Ｍｂｐｓ＋１×１Ｍｂｐｓ＝６．５Ｍｂｐｓ＜伝送レート：１１Ｍｂｐｓとなり（ステップＳ７０５のＮＯ）、Ｓ７０３へ戻る。なお、ソートとデータＩＤ変更を複数回行った後、データＩＤ＝２２１をさらに変更する際には、１段階上の１．５Ｍｂｐｓで符号化されたデータに付与されたデータＩＤ＝３２１に変更する。

そして、ステップＳ７０５にて、ＹＥＳとなった場合には、総ビットレートが伝送レートを超えていることを示しているので、直前のデータＩＤ変更を元に戻す（ステップＳ７０６）。今回のケースでは、１０回のデータＩＤ変更が実施され、図２５に示すような結果を得ることができる。ここで、ＳＮＲ＿Ｙは、変更後のデータＩＤに対応したデータに対応した平均ＳＮＲを示している。次に、図２５に斜線で示すデータＩＤに基づいて、参照情報を作成する（ステップＳ７０７）。

なお、図２５には、変更前のデータＩＤと図４により対応付けられたデータＩＤに対する平均ＳＮＲとを示している。

上述した第１実施形態から第５実施形態によれば、複数の同期したストリーム構成からなる映像に対して、複数のビットレートで符号化、及び多重化した映像データから伝送レートに適したＮ本のストリームを取り出して伝送することで、伝送レート＜Ｎ×固定符号化レートの場合であっても、Ｎ本のストリームから構成される部分映像を送出することができ、伝送レート≧Ｎ×固定符号化レートとなるように、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。

１０ 多重化装置
２０ 映像伝送サーバ
３０ 映像再生クライアント
２０１ 符号化部
２０２ データ蓄積部
２０３ 参照情報作成部
２０４ 参照情報蓄積部
２０５ データ管理部
２０６ コマンド受信部
２０７ データ送信部
２０８ 参照情報送受信部
２０９ コマンド送信部
２１０ 参照情報蓄積部
２１１ コマンド変換部
２１２ データ受信部
２１３ 復号化部
２１４ 映像表示部
２１５ ストリーム組合わせ指定部
２１６ 参照情報受信部

Claims (9)

1. 映像を構成する複数の生ストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、
   前記複数の生ストリームの各々を複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化する符号化手段と、
   前記映像の一部を表示させる映像表示領域に対応した所定数の生ストリームの組合わせを選択する選択手段と、
   前記符号化手段により生成された前記複数の符号化ストリームの各々に対する品質評価値を算出する評価値算出手段と、
   前記符号化手段により生成された前記複数の符号化ストリームの中から、前記選択手段により選択された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記評価値算出手段により算出された前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、
   前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを指示する選択指示手段と、
   前記選択指示手段により指示された組合わせの前記所定数の符号化ストリームを伝送する伝送手段と
   を備えることを特徴とする映像多重化装置。
2. 入力された映像データを小領域に分割することで複数の生ストリームを生成する映像分割手段を更に備え、
   前記符号化手段は、
   前記映像分割手段により分割された前記複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化することを特徴とする請求項１記載の映像多重化装置。
3. 前記所定数の生ストリームの組合わせを指定する指定手段を更に具備し、
   前記選択指示手段は、
   前記指定手段により前記生ストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された前記参照情報に基づいて、前記選択手段により選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを新たに指示することを特徴とする請求項１または２に記載の映像多重化装置。
4. 前記所定数の生ストリームの組合わせを指定する指定手段を更に具備し、
   前記参照情報作成手段は、
   前記指定手段により前記所定数の生ストリームの組合わせが変更指示されると、前記符号化手段により生成された前記複数の符号化ストリームの中から、変更指示された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記評価値算出手段により算出された前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、変更指示された前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を新たに作成することを特徴とする請求項１または２に記載の映像多重化装置。
5. 映像を構成する複数の生ストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、
   前記複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化するステップと、
   前記映像の一部を表示させる映像表示領域に対応した所定数の生ストリームの組合わせを選択するステップと、
   生成された前記複数の符号化ストリームの各々に対する品質評価値を算出するステップと、
   生成された前記複数の符号化ストリームの中から、選択された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を作成するステップと、
   前記作成された参照情報に基づいて、選択すべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを指示するステップと、
   指示された組合わせの前記所定数の符号化ストリームを伝送するステップと
   を含むことを特徴とする映像多重化方法。
6. 入力された映像データを小領域に分割することで複数の生ストリームを生成するステップと、
   前記分割された複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化するステップと
   を更に含むことを特徴とする請求項５記載の映像多重化方法。
7. 前記所定数の生ストリームの組合わせを指定するステップと、
   前記所定数の生ストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを新たに指示するステップと
   を更に含むことを特徴とする請求項５または６に記載の映像多重化方法。
8. 前記所定数の生ストリームの組合わせを指定するステップと、
   前記所定数の生ストリームの組合わせが変更指示されると、生成された前記複数の符号化ストリームの中から、変更指示された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、変更指示された前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を新たに作成するステップと
   を更に含むことを特徴とする請求項５または６に記載の映像多重化方法。
9. 映像を構成する複数の生ストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、
   前記複数の生ストリームの各々を、複数の符号化レートで符号化し、符号化により生成された複数の符号化ストリームを多重化する符号化機能、
   前記映像の一部を表示させる映像表示領域に対応した所定数の生ストリームの組合わせを選択する選択機能、
   前記符号化機能により生成された前記複数の符号化ストリームの各々に対する品質評価値を算出する評価値算出機能、
   前記符号化機能により生成された前記複数の符号化ストリームの中から、前記選択機能により選択された前記組合わせに含まれる前記所定数の生ストリームそれぞれを基本となる符号化レートにより符号化して生成された符号化ストリームを特定し、置き換え後の前記所定数の符号化ストリームの符号化レートの総和が前記所定の伝送帯域以内となるように、特定された前記符号化ストリームの中から前記評価値算出機能により算出された前記品質評価値が他の特定された前記符号化ストリームよりも低い符号化ストリームを選択し、選択された前記符号化ストリームを当該符号化ストリームと同じ前記生ストリームから前記基本となる符号化レートよりも高い符号化レートにより符号化して生成された前記符号化ストリームと置き換えて前記所定数の符号化ストリームの組合わせを決定し、前記所定数の前記生ストリームの組合わせから決定された前記所定数の符号化ストリームの組合わせを特定する参照情報を作成する参照情報作成機能、
   前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数の生ストリームの組合わせに対応した前記所定数の符号化ストリームの組合わせを指示する選択指示機能、
   前記選択指示機能により指示された組合わせの前記所定数の符号化ストリームを伝送する伝送機能を実現することを特徴とするプログラム。

Images