JP5487074B2 - 映像伝送方法、及び映像伝送システム - Google Patents

Description

本発明は、高解像度パノラマ映像をユーザの注視領域指定に応じて一定の伝送帯域以内で伝送するための映像伝送方法、及び映像伝送システムに関する。

複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４ Ａｎｎｅｘ Ｈとして多視点映像符号化（ＭＶＣ）が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、ＭＶＣの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。

図１８は、従来技術による映像伝送システムの構成を示すブロック図である。図において、従来技術の映像伝送システムは、多重化装置１、映像伝送サーバ２、映像再生クライアント３から構成される。多重化装置１において、符号化部１０１は、ＭＶＣ符号化部であり、Ｍ本の入力ストリームを同一の固定符号化レートで符号化・多重化し、多重化データを作成する。データ蓄積部１０２は、このＭ本のストリームを含む多重化データを蓄積する。

映像伝送サーバ２において、データ送信部１０３は、データ蓄積部１０２に蓄積されているＭ本の多重化ストリームからＮ（≦Ｍ）本のストリームを取り出し、映像再生クライアント３へ送出する。ここで、Ｎ本のストリームを送出するためには、Ｎ×固定符号化レート分の伝送レートが必要となる。

映像再生クライアント３において、データ受信部１０４は、Ｎ本のストリームを受信する。復号化部１０５は、Ｎ本のストリームを復号する。映像表示部１０６は、部分映像を表示する。

なお、ここでは、Ｍ本のストリーム（全体ストリーム）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（部分ストリーム）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、Ｍ個の単位映像、部分映像は、Ｎ個の単位映像から構成される。

Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.

上述した従来技術では、ＨＤサイズを超えるような高解像度パノラマ映像を実網などの制限された伝送帯域以下で伝送できないという問題があった。具体的には、伝送レート＜Ｎ×固定符号化レートの場合には、Ｎ本の部分ストリームから構成される部分映像を送出できないという問題があった。

また、伝送レート≧Ｎ×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなるという問題があった。

さらに、Ｎ本の部分ストリームからなる部分映像を十分な品質でできたとしても、部分映像の伝送であるため、ユーザの注視領域の急激な変更操作に追随した伝送要求、及び部分映像の受信ができないという問題があった。つまり、ユーザの注視領域操作に追随して、映像を表示できないという問題があった。なお、ここでの注視領域操作とは、「ズームイン（注視領域縮小）」、「ズームアウト（注視領域拡大）」、「上移動」、「下移動」、「左移動」、「右移動」などを意味する。

図１９は、注視領域の変更例を示す概念図である。映像データは、図１９に示すように、複数の解像度、例えば、高解像度、中解像度、及び低解像度に変換された後、各解像度の１つが６４０×３２０画素からなるタイルサイズの３２個のタイルに分割される。各タイルに付された数字が、タイル分割情報（タイルＩＤ）である。高解像度タイルの０，１，２，８，９，１０，１６，１７，１８が注視領域１であり、４，５，６，１２，１３，１４，２０，２１，２２が注視領域２であり、１，２，３，９，１０，１１，１７，１８，１９が注視領域３であると想定する。

例えば、図１９において、注視領域１から注視領域２へ急激な変更操作が行われた場合、注視領域２の部分映像の要求をかけてから受信するまでは、伝送遅延などが原因となり、表示すべき映像がなくなるという問題があった。

さらに、図１９の注視領域１→注視領域３→注視領域２へと急激な変更操作が行われた場合に、注視領域の部分映像の２重要求が禁止されている（前回の部分映像の要求から受信を待って、新規の要求をかける）ケースにおいては、上記変更操作の途中で注視領域３の位置に来たときに、すぐに注視領域３の部分映像の要求をかけると、注視領域３の部分映像の受信処理を待たなくてはいけないため、本来ユーザが目的とする注視領域２の部分映像の要求、受信処理がさらに遅延するという問題があった。

図２０は、従来技術において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときの動作を説明するためのフローチャートである。具体的には、従来技術の方法では、注視領域の移動により重なりのあるタイルに変更があると、すぐにタイル映像の要求を行っていたため、注視領域３の部分映像の要求（ステップＳ１００１）、受信（ステップＳ１００２）の後に、注視領域２の部分映像の要求（ステップＳ１００３）、受信（ステップＳ１００４）を行っていた。

本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レート以下で高解像度パノラマ映像を伝送することができ、映像品質を最大化でき、ユーザの注視領域の急激な操作に対しても、伝送レート以下で映像を表示することができ、さらに、注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる映像伝送方法、及び映像伝送システムを提供することにある。

上述した課題を解決するために、本発明は、入力映像を符号化・多重化して所定の伝送帯域で伝送する映像伝送方法であって、入力映像を解像度変換し、解像度変換した各映像を複数の小領域に分割する第１のステップと、前記複数の小領域の各々にタイルＩＤを付与する第２のステップと、前記複数の小領域の各ストリームを、複数の符号化レートを指定するパラメータで符号化し多重化する第３のステップと、前記複数の小領域の各ストリームに対する符号化結果に対してデータＩＤを付与する第４のステップと、前記複数の小領域の各々に付与されたタイルＩＤと前記複数の小領域の各ストリームに対する符号化結果に付与されたデータＩＤとが対応付けられた対応表を作成する第５のステップと、前記複数の小領域の各ストリームの符号化結果に付与されたデータＩＤに対する評価値の算出する第６のステップとを含むことを特徴とする映像伝送方法である。

本発明は、上記の発明において、前記対応表と前記評価値とを受信する第７のステップと、ユーザから指定される注視領域から着目解像度を決定する第８のステップと、前記対応表に基づいて、前記注視領域に対応する小領域のタイルＩＤリストを作成する第９のステップと、前記小領域のタイルＩＤリスト中に含まれる各小領域のストリームの符号化結果に対するデータＩＤを前記対応表から抽出し、前記評価値に基づいて、各データＩＤに対する補正評価値を算出する第１０のステップと、前記補正評価値と前記小領域のタイルＩＤとから前記小領域のストリームの符号化結果に対するデータＩＤを決定する第１１のステップとを更に含むことを特徴とする。

本発明は、上記の発明において、前記第８のステップは、前記注視領域が拡大する場合と前記注視領域が縮小する場合との閾値を異なる値に設定する第１２のステップと、注視領域の縦幅または横幅と前記閾値との大小関係に基づいて、前記着目解像度を決定する第１３のステップとを含むことを特徴とする。

本発明は、上記の発明において、前記第１１のステップは、伝送ビットレートを設定する第１４のステップと、前記伝送ビットレートから映像とは関係ないデータによるビットレートを減算することで、映像の使用可能帯域を算出する第１５のステップと、前記映像の使用可能帯域に基づいて、前記小領域のストリームの符号化結果に対するデータＩＤを決定する第１６のステップとを含むことを特徴とする。

本発明は、上記の発明において、前記第１６のステップは、前記補正評価値に基づく優先度に基づいて、前記小領域のタイルＩＤリストから、前記使用可能帯域より小さい伝送ビットレートを有するタイルＩＤ候補を絞り込む第１７のステップと、前記タイルＩＤ候補における、前記着目解像度と、該着目解像度に対してＮ個下の解像度とに基づいて、前記小領域のタイルＩＤの選択品質を決定する第１８のステップと、前記小領域のタイルＩＤと前記選択品質とに基づいて、前記小領域のストリームの符号化結果に対するデータＩＤを決定する第１９のステップとを含むことを特徴とする。

本発明は、上記の発明において、前記第１７のステップは、前記小領域のタイルＩＤリストから該当小領域のタイルＩＤを選択する第２０のステップと、前記小領域のタイルＩＤの最低品質の伝送ビットレートが使用可能帯域以下であるかを判定する第２１のステップと、前記伝送ビットレートが使用可能帯域以下であると判定された場合、前記使用可能帯域から該当小領域のタイルＩＤの最低品質の伝送ビットレートを減算し、該当小領域のタイルＩＤを、優先度が次の小領域のタイルＩＤに変更し、絞り込み後の小領域のタイルＩＤ候補の数を算出する第２２のステップと、前記伝送ビットレートが使用可能帯域以下でないと判定された場合、前記小領域のタイルＩＤリストから該当小領域のタイルＩＤ以下の優先度の小領域のタイルＩＤを削除する第２３のステップとを更に含むことを特徴とする。

本発明は、上記の発明において、前記第１８のステップは、前記小領域のタイルＩＤリストのうち、前記補正評価値の最も低いタイルＩＤを改善対象の小領域のタイルＩＤとして決定する第２４のステップと、前記改善対象の小領域のタイルＩＤが存在し、かつ現在の選択品質から改善品質への増加分のビットレートが前記使用可能帯域以下である場合、前記使用可能帯域から増加分のビットレートを減算したものを使用可能帯域とし、前記選択品質を前記改善品質に変更し、前記改善対象の小領域のタイルＩＤの補正評価値を更新する第２５のステップと、前記改善対象の小領域のタイルＩＤが存在しないか、あるいは、現在の選択品質から改善品質への増加分のビットレートが使用可能帯域以下でない場合、当該選択品質の決定処理を終了する第２６のステップとを含むことを特徴とする。

また、上述した課題を解決するために、本発明は、多重化装置により符号化・多重化した映像を映像再生クライアントに所定の伝送帯域で伝送する映像伝送装置であって、前記入力映像を複数の解像度に変換する解像度変換手段と、前記解像度変換手段により複数の解像度に変換された各解像度の映像を、複数の小領域に分割する映像分割手段と、前記映像分割手段により分割された複数の小領域のストリームの各々を、複数の符号化レートを指定するパラメータで符号化して多重化する符号化手段と、前記符号化手段により符号化された複数の小領域のストリームの各々に対する品質評価値を算出する評価値算出手段と、前記映像分割手段により分割された小領域と前記符号化手段により符号化された複数の小領域のストリームとを対応付けた対応表を作成する対応表作成手段と、前記映像再生クライアントで指定された注視領域に基づいて、伝送対象となる所定数の小領域のストリームを決定する決定手段と、前記符号化手段により符号化された複数のストリームの中から、前記決定手段により決定された伝送対象となる所定数の小領域のストリームを選択する第１の選択手段と、前記第１の選択手段により選択される前記所定数の小領域のストリームの符号化レートの総和が、所定の伝送帯域以内となり、かつ、前記所定数の小領域のストリームの品質評価値の最低値がより高くなるように、前記所定数の小領域のストリームの中から、複数の解像度の映像ストリームを選択する第２の選択手段と、前記第２の選択手段により最終的に選択された、前記複数の解像度の映像ストリームを前記映像再生クライアントに伝送する伝送手段とを備えることを特徴とする映像伝送装置である。

また、上述した課題を解決するために、本発明は、多重化装置により符号化・多重化した映像を映像再生クライアントに所定の伝送帯域で伝送する映像伝送装置のコンピュータに、前記入力映像を複数の解像度に変換する解像度変換機能、前記複数の解像度に変換された各解像度の映像を、複数の小領域に分割する映像分割機能、前記分割された複数の小領域のストリームの各々を、複数の符号化レートを指定するパラメータで符号化して多重化する符号化機能、前記符号化された複数の小領域のストリームの各々に対する品質評価値を算出する評価値算出機能、前記分割された小領域と前記符号化された複数の小領域のストリームとを対応付けた対応表を作成する対応表作成機能、前記映像再生クライアントで指定された注視領域に基づいて、伝送対象となる所定数の小領域のストリームを決定する決定機能、前記符号化された複数のストリームの中から、前記伝送対象となる所定数の小領域のストリームを選択する第１の選択機能、前記選択された所定数の小領域のストリームの符号化レートの総和が、所定の伝送帯域以内となり、かつ、前記所定数の小領域のストリームの品質評価値の最低値がより高くなるように、前記所定数の小領域のストリームの中から、複数の解像度の映像ストリームを選択する第２の選択機能、前記最終的に選択された、前記複数の解像度の映像ストリームを前記映像再生クライアントに伝送する伝送機能を実現することを特徴とするプログラムである。

本発明は、上記の発明において、前記符号化された前記複数の小領域の各ストリームをデータ蓄積部に蓄積する第２７のステップと、前記決定されたデータＩＤに基づいて、ユーザが注視領域を指定してから一定時間以上経過した後、前記注視領域に対応する小領域のストリームをコマンド要求する第２８のステップと、前記符号化された前記複数の小領域の各ストリームの中から、前記コマンド要求された、前記決定されたデータＩＤに対応する、前記注視領域に対応する小領域のストリームを取り出す第２９のステップと、前記取り出された、前記注視領域に対応する小領域のストリームを、最終的な映像ストリームとして伝送する第３０のステップとを更に含むことを特徴とする。

本発明は、上記の発明において、前記決定手段は、前記映像再生クライアントで注視領域が指定されてから一定時間以上経過した後、伝送対象となる所定数の小領域のストリームを決定することを特徴とする。

この発明によれば、符号化レートを下げ過ぎることなく、伝送レート以下で高解像度パノラマ映像を伝送することができ、映像品質を最大化でき、ユーザの注視領域の急激な操作に対しても、伝送レート以下で映像を表示することができ、さらに、注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる。

本発明の実施形態による映像伝送システムの構成を示すブロック図である。 解像度変換＆映像分割部２００による映像データのタイル分割例、及びタイル分割情報（タイルＩＤ）の付与例を示す概念図である。 高解像度タイルを対象としたデータＩＤの付与例を示す概念図である。 各タイル映像と映像符号化データとの対応表の一例を示す概念図である。 １フレーム単位（または所定のフレーム単位）毎の評価値の例を示す概念図である。 多重化装置１０における処理手順を示すフローチャートである。 ユーザの注視領域の指定からコマンド変換部２１１におけるデータＩＤの決定方法までの処理手順を示すフローチャートである。 注視領域から着目解像度の決定方法を説明するための概念図である。 各解像度におけるタイルＩＤの対応関係を示す概念図である。 タイルＩＤの決定方法を説明するための概念図である。 補正評価値とタイルＩＤによるデータＩＤの決定手順を説明するためのフローチャートである。 使用可能帯域を考慮したデータＩＤの決定手順を説明するためのフローチャートである。 優先度によるタイルＩＤ候補の絞込み手順（解像度別）を説明するためのフローチャートである。 選択品質における補正評価値をキーとしたタイルＩＤの昇順ソート後、選択品質の変更１回実施後の例を示す概念図である。 タイルＩＤの選択品質決定手順（解像度別）を説明するためのフローチャートである。 本実施形態において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときに生じる受信の遅延を回避するための動作を説明するためのフローチャートである。 本実施形態において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときに生じる受信の遅延を回避するための動作を説明するためのフローチャートである。 従来技術による映像伝送システムの構成を示すブロック図である。 注視領域の変更例を示す概念図である。 従来技術において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときの動作を説明するためのフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．実施形態の構成
本発明では、決められた伝送帯域（Ｘとする）の中で、注視領域を含み、複数の解像度で符号化されているＮ個の単位映像を受信したい場合に、各領域の各符号レートＹ（ｙ１、ｙ２、ｙ３など）に応じた品質（高いレートほどに高い品質）のうち、最低品質が高くなるように、Ｎ個の領域の符号レートを定めることを特徴としている。

図１は、本発明の実施形態による映像伝送システムの構成を示すブロック図である。図において、本実施形態による映像伝送システムは、多重化装置１０、映像伝送サーバ２０、及び映像再生クライアント３０からなる。多重化装置１０において、解像度変換＆映像分割部２００は、映像データを複数の解像度に変換した後に、各解像度の映像データをタイル分割し（例えば、後述する図２を参照）、小領域の映像データからなるタイル映像を作成する。

符号化部２０１は、これらタイル映像を複数の符号化レートを指定するパラメータ（例えば、ビットレートやＱＰ値など）で符号化・多重化し、映像データを作成する。データ蓄積部２０２は、タイル分割情報（例えば、後述する図２を参照）、符号化前のタイル映像データ、タイル映像毎の符号化及び多重化した映像データ、及び符号化処理の過程で作成されるタイル映像ローカルデコード映像データを蓄積する。

評価値計算部２０３は、データ蓄積部２０２に蓄積されている映像データを用いて、１フレーム単位（または所定のフレーム単位）毎の評価値を計算し、これら評価値（例えば、後述する図５を参照）、及び各タイル映像と映像符号化データとの対応表（例えば、後述する図４を参照）を、対応テーブル＆評価値蓄積部２０４に蓄積する。

映像伝送サーバ２０において、データ管理部２０５は、コマンド受信部２０６で受信した、映像再生クライアント３０からのコマンド（データＩＤを用いたストリーム要求）に従って、データ蓄積部２０２へＮ（≦Ｍ）本のストリーム要求を行うことで、データ蓄積部２０２に蓄積されたＭ本のストリームからＮ本のストリームを取り出し、データ送信部２０７へ転送する。

データ送信部２０７は、Ｎ本のストリームを映像再生クライアント３０へ送出する。コマンド受信部２０６は、映像再生クライアント３０からのコマンドを受信する。なお、映像再生クライアント３０へデータ送信前に、データ送信部２０７は、タイル分割情報（例えば、後述する図２を参照）をデータ受信部２１２へ送出する。また、対応テーブル＆評価値送信部２０８は、評価値蓄積部２０４から対応テーブル、及び評価値情報を取り出し、映像再生クライアントの評価値受信部２１５へ送出する。

映像再生クライアント３０において、データ受信部２１２は、タイル分割情報、及びＮ本のストリームを受信する。復号化部２１３は、Ｎ本のストリームを復号する。映像表示部２１４は、復号化された部分映像をタイル分割情報に基づき再構成して表示する。対応テーブル＆評価値受信部２１５は、映像伝送サーバ２０から送信される対応テーブル、及び評価値情報を受信し、対応テーブル＆評価値蓄積部２１６に蓄積する。注視領域指定部２１７は、ユーザから注視領域の変更を受付ける。

タイルＩＤリスト作成部２１８は、ユーザの注視領域の指定に変更があった場合に、注視領域からタイルＩＤリストを決定し、該当のタイルＩＤに対応するデータＩＤを対応テーブルから決定し、該当のデータＩＤに関連する評価値を、対応テーブル＆評価値蓄積部２１６から取出し、補正評価値計算部２１０に送出する。補正評価値計算部２１０は、該当のデータＩＤに関連する評価値の補正（例えば、各フレーム単位の評価値を一定区間毎に平均化するなどの補正処理）を行う。これにより頻繁なコマンド要求を回避する効果がある。

コマンド変換部２１１は、注視領域指定の変更、及び補正評価値の変更があった場合に、補正評価値とタイルＩＤとに基づいて、映像伝送サーバ２０に要求するデータＩＤを決定する。コマンド送信部２０９は、コマンド変換部２１１で決定されたデータＩＤに基づくコマンドを送信する。

なお、多重化装置１０におけるデータ蓄積部２０２と対応テーブル＆評価値蓄積部２０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部２０７と対応テーブル＆評価値送信部２０８とを機能統合し、映像再生クライアント３０におけるデータ受信部２１２と対応テーブル＆評価値受信部２１５とを機能統合するような構成も可能である。

図２は、解像度変換＆映像分割部２００による映像データのタイル分割例、及びタイル分割情報（タイルＩＤ）の付与例を示す概念図である。映像データは、図２に示すように、複数の解像度、例えば、高解像度、中解像度、及び低解像度に変換された後、各解像度の映像データ毎にタイル分割される。図２の例では、高解像度の映像データは、１つが６４０×３２０画素からなるタイルサイズの３２個のタイルに分割され、中解像度の映像データは、１つが６４０×３２０画素からなるタイルサイズの８個のタイルに分割され、低解像度の映像データは、１つが６４０×３２０画素からなるタイルサイズの２個のタイルに分割される。各タイルに付された数字が、タイル分割情報（タイルＩＤ）である。高解像度タイルの０，１，２，８，９，１０，１６，１７，１８が注視領域１であり、４，５，６，１２，１３，１４，２０，２１，２２が注視領域２であると想定する。

図３は、高解像度タイルを対象としたデータＩＤの付与例を示す概念図である。高解像度映像に含まれるタイルについては、各ビットレートでの符号化結果に対し、データＩＤが付与される。例えば、ビットレートが５００Ｋｂｐｓで映像符号化した場合の映像符号化データＩＤは、１００，１０１，…，１３０，１３１となる。また、ビットレートが１Ｍｂｐｓで映像符号化した場合の映像符号化データＩＤは、２００，２０１，…，２３０，２３１となる。同様にして、ビットレートが１．５Ｍｂｐｓで映像符号化した場合の映像符号化データＩＤは、３００，３０１，・・・，３３０，３３１となる。

図４は、各タイル映像と映像符号化データとの対応表の一例を示す概念図である。該対応表は、図２に示す高解像度タイルに付与されたタイルＩＤと、図３に示すビットレートでのデータＩＤとを対応付けたものである。すなわち、０，１，…，３１のタイルＩＤに対して、ビットレートが５００Ｋｂｐｓでの１００，１０１，…，１３１のデータＩＤが対応付けられており、ビットレートが１Ｍｂｐｓでの２００，２０１，…，２３１のデータＩＤが対応付けられており、ビットレートが１．５Ｍｂｐｓでの３００，３０１，・・・，３３１のデータＩＤが対応付けられている。

図５は、１フレーム単位（または所定のフレーム単位）毎の評価値の例を示す概念図である。高解像度タイルを対象としてタイルＩＤにおけるストリームを５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓで符号化した時のローカルデコード画像のＹ成分のＳＮＲ（Signal Nose Ratio）を評価値としている。

次に、本実施形態の映像多重化・伝送方法について詳細に説明する。
ここでは、解像度、符号化ビットレートは３段階とし、入力映像サイズ（高解像度映像サイズ）：５１２０×１２８０画素、中解像度映像サイズ：２５６０×６４０画素、低解像度映像サイズ：１２８０×３２０画素、タイルサイズ：６４０×３２０画素、ビットレートは、５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓとした場合の説明を行う。

Ｂ．多重化装置１０の処理
図６は、多重化装置１０における処理手順を示すフローチャートである。まず、解像度変換＆映像分割部２００で、入力映像データを解像度変換した後、タイル分割し（ステップＳ１１０１）、図２に示すように、各タイルにタイルＩＤを付与する（ステップＳ１１０２）。次に、符号化部２０１で、各タイルを複数段階のビットレートで符号化し（ステップＳ１１０３）、各ビットレートでの符号化結果に対してデータＩＤを付与する（ステップＳ１１０４）。例えば、高解像度映像に含まれるタイルについては、各ビットレートでの符号化結果に対し、図３に示されるようにデータＩＤが付与される。

続いて、評価値計算部２０３で、図４に示すようなタイルＩＤとデータＩＤとの対応表を作成し（ステップＳ１１０５）、最後に、各データＩＤに対する評価値を算出する（ステップＳ１１０６）。例えば、評価値として、符号化時に作成されるローカルデコード画像のＹ成分ＳＮＲを用いた場合、フレームの関数ＳＮＲ（ｆ）と表現でき、ｆはフレーム番号を示す。なぜなら、フレーム毎にＳＮＲが変動するためである。これにより、各タイルのフレーム毎の映像品質が把握できる。

ここで、ｆ番目の各フレームのＳＮＲ（ｆ）は、次式（１）により算出する。

ＳＮＲ（ｆ）＝１０＊ｌｏｇ_１０（ＭＡＸ^２／ＭＳＥ（ｆ）） ………………（１）

単位はデシベル［ｄＢ］である。ＭＡＸは、原画像が取り得る最大画素値である。例えば、ビット深度が８ビットの場合のＭＡＸの値は、２５５となる。また、数式（１）のＭＳＥ（ｆ）とは、フレーム番号ｆでの平均二乗誤差（Mean Square Error）のことであり、タイルサイズの原画像とローカルデコード画像との差分の二乗総和を、タイルサイズの画素数で割ることで求められる。

また、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を符号化手順とは別に行う必要がある。

Ｃ．映像再生クライアント３０の処理
次に、本実施形態による映像再生クライアント３０の処理手順について説明する。
図７は、本実施形態による映像再生クライアント３０において、ユーザの注視領域の指定からコマンド変換部２１１におけるデータＩＤの決定方法までの処理手順を示すフローチャートである。まず、タイトルＩＤリスト作成部２１８で、注視領域指定部２１７からのユーザの注視領域の指定から着目解像度を決定し（ステップＳ１２０１）、タイトルＩＤリスト作成部２１８で、注視領域からタイルＩＤリストを作成し（ステップＳ１２０２）、補正評価値計算部２１０で、タイルＩＤリスト中に含まれる各データＩＤの補正評価値を算出する（ステップＳ１２０３）。そして、コマンド変換部２１１で、補正評価値とタイルＩＤとからデータＩＤを決定する（ステップＳ１２０４）。

次に、ステップＳ１２０１における注視領域から着目解像度の決定方法について説明する。図８は、注視領域から着目解像度の決定方法を説明するための概念図である。ここでは、高解像度パノラマ映像に対して、注視領域を拡大させる（ズームインする）場合と、注視領域を縮小させる（ズームアウトする）場合とで閾値を一致させないことに特徴があり、閾値付近での頻繁な解像度の変更を回避する効果がある。

例えば、図８に示すように、注視領域１から注視領域２の拡大操作があった場合、注視領域の横幅Ｗが閾値Ｔｈ＿ｏｕｔ１以上となった場合に、伝送要求をかける映像データの解像度は、高解像度から中解像度に変更される。この拡大操作に続き、注視領域２から注視領域１への縮小操作があった場合には、横幅Ｗの値は閾値Ｔｈ＿ｉｎ１を跨ぐことはないため、中解像度から高解像度への変更は発生しない。このように、注視領域の拡大、縮小の際に異なる閾値を用いることで、閾値Ｔｈ＿ｏｕｔ１付近で注視領域がユーザの位置調整のため頻繁に拡大、縮小を行う場合などに、頻繁な解像度の変更が発生しなくなる効果がある。なお、縦幅Ｈの値についても同様の解像度変換処理を追加してもよい。

図９は、各解像度におけるタイルＩＤの対応関係を示す概念図である。図において、高解像度映像サイズを縦横２分の１に縮小したものが中解像度映像サイズ、さらに縦横２分の１に縮小したものが低解像度映像サイズとなっており、各解像度６４０×３２０画素のタイルで分割を行っている。なお、ここでは、２段階の縮小率を５０％と同率としているが、異なる縮小率としてもよい。また、各解像度におけるタイルサイズを６４０×３２０画素としているが、異なるタイルサイズとしてもよい。

以上の分割による各解像度のタイルＩＤの対応関係は、中解像度のタイルＩＤ＝４０は、高解像度のタイルＩＤ＝０，１，８，９に対応する。また、低解像度のタイルＩＤ＝８０は、高解像度のタイルＩＤ＝０，１，２，３，８，９，１０，１１，１６，１７，１８，１９，２４，２５，２６，２７に対応する。他のタイルについても同様の関係が成立する。

映像伝送サーバ２０側に、高解像度映像サイズ（入力映像サイズ）とその縮小版の映像を用意し、クライアント側で、ユーザの注視領域が拡大（ズームアウト）するに従い、解像度の低い映像を要求することで、映像表示に適した効率的な映像伝送が可能となる。つまり、ズームアウトすればするほど、パノラマ映像が縮小して表示されるため、低解像度の映像で十分ということである。

上述したように、タイトルＩＤリスト作成部２１８は、ステップＳ１２０１において、解像度を決定した後、ステップＳ１２０２において、注視領域からタイルＩＤリストを作成する。ここで、図１０（ａ）、（ｂ）は、タイルＩＤの決定方法を説明するための概念図である。例えば、ステップＳ１２０１で、高解像度に決定し、図１０（ａ）に示すように、注視領域の左上頂点座標が（ｘ，ｙ）＝（９６０，１００）で、注視領域が１９２０画素×１０８０画素の場合、タイルＩＤリストは、図１０（ｂ）の網掛け部分のタイルとなる。つまり、タイルＩＤリストは、１，２，３，４，９，１０，１１，１２，１７，１８，１９，２０，２５，２６，２７，２８となる。これらが、伝送要求対象となるタイルである。

次に、補正評価値計算部２１０は、ステップＳ１２０３において、タイルＩＤリスト中に含まれる各データＩＤを対応表（図４を参照）から抽出し、映像伝送サーバ２０から伝送される評価値（図５を参照）から各データＩＤに対する補正評価値を算出する。なお、ここでの補正評価値は、一定区間の平均値（平均ＳＮＲ）などを用いる。これにより、頻繁に評価値が変動し、以下のステップで頻繁なデータＩＤの決定に変更が行われないように回避する効果がある。

次に、コマンド変換部２１１は、ステップＳ１２０４において、補正評価値とタイルＩＤとからデータＩＤを決定する。なお、補正評価値を用いない場合には、評価値ＳＮＲ（ｆ）がフレーム毎に変動するため、ステップＳ１２０４がフレーム毎に処理されることとなる。

Ｄ．データＩＤの決定処理
次に、コマンド変換部２１１による、上記ステップＳ１２０４の詳細な手順について説明する。

図１１は、補正評価値とタイルＩＤによるデータＩＤの決定手順を説明するためのフローチャートである。図１１に示すように、高解像度パノラマ映像以外にも伝送される情報がある場合には、高解像度パノラマ映像の伝送に使用できる帯域が最大伝送ビットレートとはならないため、データＩＤを決定する前に、使用可能帯域Ｂの算出をする必要がある。

例えば、音声付のパノラマ映像を伝送する場合には、まず、伝送ビットレートの設定を行い（ステップＳ１３０１）、Ｂにその伝送ビットレートを代入する（ステップＳ１３０２）。次に、Ｂから伝送プロトコルヘッダなどのビットレートを減算し（ステップＳ１３０３）、さらに、音声のビットレートを引き算する（ステップＳ１３０４）。そして、得られた使用可能帯域Ｂを考慮したデータＩＤの決定を行う（ステップＳ１３０５）。使用可能帯域Ｂを考慮するとは、残りの使用可能帯域でパノラマ映像を通せるように、データＩＤの決定をすることを意味している。これにより、伝送レート以下のパノラマ映像を可能とする効果がある。

図１２は、上述したステップＳ１３０５の詳細な処理手順（使用可能帯域を考慮したデータＩＤの決定手順）を説明するためのフローチャートである。ここで、着目解像度と１つ下の解像度とについて同様の処理を行う理由は、２段階の解像度を伝送するためである。さらに、着目解像度より、１つ下の解像度の伝送対象となる領域を広げることにより、ユーザの注視領域の急激な操作に対しても、映像再生クライアントにて、表示すべきデータがなくなるという問題を解決する。なお、図１２では、２段階の解像度を、着目解像度と１つ下の解像度としているが、着目解像度とＮ個下の解像度としてもよい。

例えば、図２を参照して説明すると、注視領域１により決定される高解像度のタイルＩＤリストはタイルＩＤ＝（０，１，２，８，９，１０，１６，１７，１８）であり、中解像度のタイルＩＤリストはタイルＩＤ＝（４０，４１，４４，４５）であるが、このようなタイルＩＤの伝送では、着目解像度が高解像度の場合に注視領域１から注視領域２へユーザの急激な操作があった場合に、伝送遅延により表示すべきデータがないという状況が存在してしまう。このため、中解像度のタイルＩＤリストを広い領域にとり、タイルＩＤ＝（４０，４１，４２，４３，４４，４５，４６，４７）のようにすれば、中解像度で映像全体を送信しているため、ユーザの急激な操作に対しても、表示すべき映像がないという状況を回避できる。

図１２において、コマンド変換部２１１は、まず、優先度によるタイルＩＤの絞込みを行う（ステップＳ１４０１）。該ステップＳ１４０１の詳細については、図１３及び図１４を参照して説明する。

図１３は、優先度によるタイルＩＤ候補の絞込み手順（解像度別）を説明するためのフローチャートである。また、図１４は、選択品質における補正評価値をキーとしたタイルＩＤの昇順ソート後、選択品質の変更を１回実施後の例を示す概念図である。

例えば、ステップＳ１５０１の処理解像度が高解像度で、ユーザの注視領域からタイルＩＤリストが図１０のようになった場合、このタイルＩＤリストに基づいて、対応テーブル＆評価値蓄積部２１６から評価値を取出し、補正評価値を算出し、図１４の左表のようなタイルＩＤと現在の選択品質、各ビットレートでのローカルデコード画像の補正評価値から構成される表を作成する。選択品質における補正評価値をキーとしたソート前の選択品質の列には、すべて最低ビットレートでのローカルデコード画像の補正評価値が設定される。

次に、選択品質における補正評価値をキーとして昇順ソートした結果に対し、上から処理優先度を高くする。これにより該当タイルＩＤを優先度が高いほうから順に選択する（ステップＳ１５０１）。続いて、該当タイルＩＤの最低品質の伝送ビットレートが使用可能帯域以下であるかどうか否かを判定し（ステップＳ１５０２）、使用可能帯域以下である場合には、使用可能帯域Ｂから該当タイルＩＤの最低品質の伝送ビットレートを減算する（ステップＳ１５０３）。次に、該当タイルＩＤに優先度が次のタイルＩＤを代入し（ステップＳ１５０４）、Ｓ１５０２の前に処理を戻す。そして、タイルＩＤリストから該当タイルＩＤリストがなくなったら、絞り込み後のタイルＩＤ候補の数を算出する（ステップＳ１５０５）。

一方、該当タイルＩＤの最低品質の伝送ビットレートが使用可能帯域より大である場合（ステップＳ１５０２にてＮＯ）には、使用可能帯域ではタイルＩＤの追加ができないことを意味しており、タイルＩＤリストから該当タイルＩＤ以下の優先度のタイルＩＤを削除する（Ｓ１５０６）。次に、上記タイルＩＤの削除後、残ったタイルＩＤをカウントすることで、絞り込み後のタイルＩＤ候補の数を算出する（ステップＳ１５０５）。

以上で図１２のステップＳ１４０１の処理が終了する。続いて、タイルＩＤリスト数とタイルＩＤ候補の数が一致するか否かを判定する（ステップＳ１４０２）。図１３に示すフローチャートから分かるように、タイルＩＤリストと絞り込み後のタイルＩＤ候補とが一致するとは、タイルＩＤリストの全てのタイルＩＤに関して、ステップＳ１５０２の判断がすべてＹＥＳとなったということを意味しており、処理解像度の全てのタイルに関して、最低品質で伝送可能であることを意味する。

一方、タイルＩＤリスト数とタイルＩＤ候補の数が一致しない場合（ステップＳ１４０２がＮＯ）場合、着目解像度と最低解像度とが一致するか否かを判定する（ステップＳ１４１０）。ここで、着目解像度と最低解像度とが一致しない場合（ステップＳ１４１０がＮＯ）には、着目解像度を１つ下の解像度に変更し（ステップＳ１４１１）、ステップＳ１４１２、つまり、図７のステップＳ１２０５へ処理を戻す。

一方、着目解像度と最低解像度とが一致した場合（ステップＳ１４１０がＹＥＳ）には、ステップＳ１４０３へ処理を進める。タイルＩＤリスト数とタイルＩＤ候補の数が一致した場合（ステップＳ１４０２がＹＥＳ）、または、タイルＩＤリスト数とタイルＩＤ候補の数が一致しないものの、目解像度と最低解像度とが一致した場合（ステップＳ１４１０のＹＥＳ）には、着目解像度と最低解像度とが一致しないか否かを判定する（Ｓ１４０３）。

そして、着目解像度が最低解像度と一致しない場合（ステップＳ１４０３がＹＥＳ）には、１つ下の解像度の優先度によるタイルＩＤ候補の絞り込みを行い（ステップＳ１４０５）、ステップＳ１４０６へ処理を進める。一方、着目解像度が最低解像度と一致する場合（ステップＳ１４０３がＮＯ）には、ステップＳ１４０５の処理をスキップし、ステップＳ１４０６へ処理を進める。ステップＳ１４０６の詳細な処理については図１５を参照して説明する。

図１５は、タイルＩＤの選択品質決定手順（解像度別）を説明するためのフローチャートである。タイルＩＤの選択品質決定手順においては、まず、改善対象タイルＩＤを決定する（ステップＳ１６０１）。該ステップＳ１６０１では、まず、図１４に示すように、選択品質における補正評価値をキーとしたタイルＩＤの昇順ソートを実施後、補正評価値の最も低いタイルＩＤを改善対象として決定する。改善品質が２段階ある場合には、改善対象となる度に１段階の品質改善を行う。例えば、図１４の右表は、ＳＮＲ１２８が最低値を示した場合であり、選択品質の補正評価値をキーとした昇順ソートを１回実施し、選択品質を１段階上げて、ＳＮＲ１２８からＳＮＲ２２８へ変更した例を示している。この後、複数回ソートと選択品質の変更とを繰り返した後、再び、ＳＮＲ２２８が最低品質を示した場合、再び、選択品質を１段階上げて、ＳＮＲ２２８からＳＮＲ３２８へ変更することで、映像品質の底上げをする。

通常、画面全体の映像品質にばらつきがある場合、画面全体の映像品質は、画質が悪い部分に引っ張られ、かつ、映像シーケンス全体の品質は、各フレームの品質の積分であると考えられるため、最低の品質部分から品質を底上げすることは、効率的な品質改善効果を及ぼし、映像品質を最大化すると考えられる。

続いて、改善対象のタイルＩＤが存在するか否かを判定し（ステップＳ１６０２）、改善対象のタイルＩＤが存在する場合（ステップＳ１６０２のＹＥＳ）には、改善品質の伝送ビットレートＲＩから選択品質の伝送ビットレートＲＣを減算し、この結果が使用可能帯域Ｂ以下であるか否かを判定する（ステップＳ１６０３）。そして、使用可能帯域Ｂ以下である場合（ステップＳ１６０３のＹＥＳ）には、Ｂから（ＲＩ−ＲＣ）を減算する（ステップＳ１６０４）。続いて、選択品質を改善品質に変更する（ステップＳ１６０５）。最後に、該当タイルＩＤの補正評価値の更新を行う（ステップＳ１６０６）。

一方、改善対象のタイルＩＤが存在しない場合（ステップ１６０２がＮＯ）には、改善対象がないため、処理を終了する。また、改善品質の伝送ビットレートＲＩから選択品質の伝送ビットレートＲＣを減算した結果が使用可能帯域Ｂより大である場合（ステップＳ１６０３のＮＯ）には、使用可能帯域が不足しているため、処理を終了する。

以上で、図１２のステップＳ１４０６の処理が終了し、引き続き、着目解像度と最低解像度とが一致していないか否かを判定し（ステップＳ１４０７）、着目解像度と最低解像度とが一致していない場合（ステップＳ１４０７がＹＥＳ）には、１つ下の解像度のタイルＩＤの選択品質の決定を行う（ステップＳ１４０８）。最後に、タイルＩＤと選択品質とからデータＩＤを決定する（ステップＳ１４０９）。

一方、着目解像度と最低解像度とが一致している場合（ステップＳ１４０７のＮＯ）には、ステップＳ１４０８の処理をスキップし、上述したステップＳ１４０９へ処理を進める。例えば、図１４の右表のような処理結果が得られた場合、タイルＩＤ＝２８、選択品質＝ＳＮＲ２２８であることから、データＩＤは２２８と決定される。

コマンド変換部２１１では、上述したようにして決定されたデータＩＤを用いて、映像データ要求コマンドを作成し、コマンド送信部２０９より、コマンド送信を行う。

前述したように、図１９に示すように、注視領域１→注視領域３→注視領域２へ急激な変更操作が行われた場合に、注視領域の部分映像の２重要求が禁止されている（前回の部分映像の要求から受信を待って、新規の要求をかける）ケースにおいては、上記変更操作の途中で注視領域３の位置に来たときに、すぐに注視領域３の部分映像の要求をかけると、注視領域３の部分映像の受信処理を待たなくてはいけないため、本来ユーザが目的とする注視領域２の部分映像の要求、受信処理がさらに遅延する。そこで、本実施形態では、注視領域が移動してからＮ秒以上停止したときのみ新規の要求をかけるような方法に変えるようにしている。

図１６、及び図１７は、本実施形態において、注視領域の部分映像の二重要求が禁止されている映像伝送システムにおいて、注視領域の急激な変更が起こったときに生じる受信の遅延を回避するための動作を説明するためのフローチャートである。本実施形態では、注視領域が移動を開始すると（ステップＳ１７０１）、注視領域の停止時間がＮ秒以上であるか否かを判定し（ステップＳ１７０２）、Ｎ秒以上停止したときのみ（ステップＳ１７０２のＹＥＳ）、注視領域の部分映像の要求をかける（ステップＳ１７０３）。これにより、注視領域２の部分映像の要求をかけ（ステップＳ１８０１）、該注視領域２の部分映像を受信する（ステップＳ１８０２）。このように、新規の要求をかけるような方法に変えることで、注視領域移動後の位置（注視領域２）でのみ新規の要求をかける。

上述した実施形態によれば、高解像度パノラマ映像を複数の同期したタイル映像に分割し、各タイル映像を複数のビットレートで符号化、及び多重化した映像データから伝送レートに適したビットレートおよび解像度でストリームを取り出すとともに、着目解像度より１つ下の解像度も伝送する。

なお、デコード方法には、２種類あり、着目解像度とそれより１つ下の解像度とを同時にデコードする方法と、着目解像度のみをデコードする方法とがある。後者の方法は、着目解像度が１つ下の解像度になった場合に、その解像度のみをデコードする。

これにより、以下を可能とする。
１）符号化レートを下げ過ぎることなく、伝送レート以下で高解像度パノラマ映像を伝送できる。
２）伝送レート以下で、映像品質を最大化できる。
３）ユーザの注視領域の急激な操作に対しても、伝送レート以下で映像表示できる。
４）注視領域の移動時にユーザが目的とする注視領域の受信を早めることができる。

１０ 多重化装置
２０ 映像伝送サーバ
３０ 映像再生クライアント
２００ 解像度変換＆映像分割部
２０１ 符号化部
２０２ データ蓄積部
２０３ 評価値計算部
２０４ 対応テーブル＆評価値蓄積部
２０５ データ管理部
２０６ コマンド受信部
２０７ データ送信部
２０８ 対応テーブル＆評価値送信部
２０９ コマンド送信部
２１０ 補正評価値計算部
２１１ コマンド変換部
２１２ データ受信部
２１３ 復号化部
２１４ 映像表示部
２１５ 対応テーブル＆評価値受信部
２１６ 対応テーブル＆評価値蓄積部
２１７ 注視領域指定部
２１８ タイルＩＤリスト作成部

Claims (8)

1. 第１装置が入力映像を符号化・多重化して所定の伝送帯域で第２装置に伝送する映像伝送方法であって、
   前記第１装置は、
   入力映像を解像度変換し、解像度変換した各映像を複数の小領域に分割する第１のステップと、
   前記複数の小領域の各々にタイルＩＤを付与する第２のステップと、
   前記複数の小領域の各ストリームを、複数の符号化レートを指定するパラメータで符号化し多重化する第３のステップと、
   前記複数の小領域の各ストリームに対する符号化結果に対してデータＩＤを付与する第４のステップと、
   前記複数の小領域の各々に付与されたタイルＩＤと前記複数の小領域の各ストリームに対する符号化結果に付与されたデータＩＤとが対応付けられた対応表を作成する第５のステップと、
   所定フレーム単位ごとの前記データＩＤに対応する前記複数の小領域の各ストリームに対する符号化結果に対する評価値を、前記第３のステップが符号化し多重化する前の前記複数の小領域の各ストリームと符号化し多重化した前記複数の小領域の各ストリームとの差分から品質を表す値として計算する第６のステップと、
   前記対応表と前記評価値とを送信する第７のステップと、
   前記第２装置は、
   前記対応表と前記評価値とを受信する第７−１のステップと、
   ユーザから指定される注視領域から着目解像度を決定する第８のステップと、
   前記対応表に基づいて、前記注視領域に対応する小領域のタイルＩＤリストを作成する第９のステップと、
   前記小領域のタイルＩＤリスト中に含まれる各小領域のストリームの符号化結果に対するデータＩＤを前記対応表から抽出し、前記評価値に基づいて、各データＩＤに対する評価値を一定区間ごとに平均化した一定区間の平均値である補正評価値として算出する第１０のステップと、
   前記補正評価値と前記小領域のタイルＩＤとの対応情報から前記符号化レートを特定し、前記対応表に基づいて当該符号化レートに対応する前記小領域のストリームの符号化結果のデータＩＤを決定する第１１のステップと、
   前記第１１のステップにおいて決定されたデータＩＤを含むストリーム要求を送信する第１１−１のステップと、
   前記第１装置は、
   前記第１１−１のステップにおいて送信された前記ストリーム要求を受信する第１１−２のステップと、
   前記ストリーム要求に含まれる前記データＩＤのストリームを送信する第１１−３のステップと、
   を含み、
   前記第８のステップは、
   前記注視領域が拡大する場合と前記注視領域が縮小する場合との閾値を異なる値に設定する第１２のステップと、
   注視領域の縦幅または横幅と前記閾値との大小関係に基づいて、前記着目解像度を決定する第１３のステップと、
   を含むことを特徴とする映像伝送方法。
2. 前記第１１のステップは、
   伝送ビットレートを設定する第１４のステップと、
   前記伝送ビットレートから映像とは関係ないデータによるビットレートを減算することで、映像の使用可能帯域を算出する第１５のステップと、
   前記映像の使用可能帯域に基づいて、前記小領域のストリームの符号化結果に対するデータＩＤを決定する第１６のステップと、
   を含み、
   前記第１６のステップは、
   前記補正評価値に基づく優先度に基づいて、前記小領域のタイルＩＤリストから、前記使用可能帯域より小さい伝送ビットレートを有するタイルＩＤ候補を絞り込む第１７のステップと、
   前記タイルＩＤ候補における前記着目解像度の前記評価値に基づいて、前記優先度ごとにソートしてタイルＩＤ候補と前記着目解像度の前記評価値との対応情報を生成し、生成した対応情報の前記タイルＩＤごとの前記着目解像度の前記評価値から前記小領域のタイルＩＤの選択品質を決定する第１８のステップと、
   前記小領域のタイルＩＤと前記選択品質とに基づいて、前記小領域のストリームの符号化結果に対するデータＩＤを決定する第１９のステップと、
   を含むことを特徴とする請求項１に記載の映像伝送方法。
3. 前記第１７のステップは、
   前記小領域のタイルＩＤリストから該当小領域のタイルＩＤを選択する第２０のステップと、
   前記小領域のタイルＩＤの最低品質の伝送ビットレートが使用可能帯域以下であるかを判定する第２１のステップと、
   前記伝送ビットレートが使用可能帯域以下であると判定された場合、前記使用可能帯域から該当小領域のタイルＩＤの最低品質の伝送ビットレートを減算し、該当小領域のタイルＩＤを、優先度が次の小領域のタイルＩＤに変更し、絞り込み後の小領域のタイルＩＤ候補の数を算出する第２２のステップと、
   前記伝送ビットレートが使用可能帯域以下でないと判定された場合、前記小領域のタイルＩＤリストから該当小領域のタイルＩＤ以下の優先度の小領域のタイルＩＤを削除する第２３のステップと、
   を更に含むことを特徴とする請求項２に記載の映像伝送方法。
4. 前記第１８のステップは、
   前記小領域のタイルＩＤリストのうち、前記補正評価値の最も低いタイルＩＤを改善対象の小領域のタイルＩＤとして決定する第２４のステップと、
   前記改善対象の小領域のタイルＩＤが存在し、かつ現在の選択品質から改善品質への増加分のビットレートが前記使用可能帯域以下である場合、前記使用可能帯域から増加分のビットレートを減算したものを使用可能帯域とし、前記選択品質を前記改善品質に変更し、前記改善対象の小領域のタイルＩＤの補正評価値を更新する第２５のステップと、
   前記改善対象の小領域のタイルＩＤが存在しないか、あるいは、現在の選択品質から改善品質への増加分のビットレートが前記使用可能帯域以下でない場合、当該選択品質の決定処理を終了する第２６のステップと、
   を含むことを特徴とする請求項２に記載の映像伝送方法。
5. 前記第１装置は、
   前記符号化された前記複数の小領域の各ストリームをデータ蓄積部に蓄積する第２７のステップと、
   前記決定されたデータＩＤに基づいて、ユーザが注視領域を指定してから一定時間以上経過した後、前記注視領域に対応する小領域のストリームをコマンド要求する第２８のステップと、
   前記符号化された前記複数の小領域の各ストリームの中から、前記コマンド要求された、前記決定されたデータＩＤに対応する、前記注視領域に対応する小領域のストリームを取り出す第２９のステップと、
   前記取り出された、前記注視領域に対応する小領域のストリームを、最終的な映像ストリームとして伝送する第３０のステップと、
   を更に含むことを特徴とする請求項１に記載の映像伝送方法。
6. 第１装置が入力映像を符号化・多重化して所定の伝送帯域で第２装置に伝送する映像伝送システムであって、
   前記第１装置は、
   入力映像を解像度変換し、解像度変換した各映像を複数の小領域に分割する第１の手段と、
   前記複数の小領域の各々にタイルＩＤを付与する第２の手段と、
   前記複数の小領域の各ストリームを、複数の符号化レートを指定するパラメータで符号化し多重化する第３の手段と、
   前記複数の小領域の各ストリームに対する符号化結果に対してデータＩＤを付与する第４の手段と、
   前記複数の小領域の各々に付与されたタイルＩＤと前記複数の小領域の各ストリームに対する符号化結果に付与されたデータＩＤとが対応付けられた対応表を作成する第５の手段と、
   所定フレーム単位ごとの前記データＩＤに対する評価値を、前記第３の手段が符号化し多重化する前の前記複数の小領域の各ストリームと符号化し多重化した前記複数の小領域の各ストリームとの差分から品質を表す値として計算する第６の手段と、
   前記対応表と前記評価値とを送信する第７の手段と、
   前記第２装置は、
   前記対応表と前記評価値とを受信する第７−１の手段と、
   ユーザから指定される注視領域から着目解像度を決定する第８の手段と、
   前記対応表に基づいて、前記注視領域に対応する小領域のタイルＩＤリストを作成する第９の手段と、
   前記小領域のタイルＩＤリスト中に含まれる各小領域のストリームの符号化結果に対するデータＩＤを前記対応表から抽出し、前記評価値に基づいて、各データＩＤに対する評価値を一定区間ごとに平均化した一定区間の平均値である補正評価値として算出する第１０の手段と、
   前記補正評価値と前記小領域のタイルＩＤとの対応情報から前記符号化レートを特定し、前記対応表に基づいて当該符号化レートに対応する前記小領域のストリームの符号化結果のデータＩＤを決定する第１１の手段と、
   前記第１１の手段において決定されたデータＩＤを含むストリーム要求を送信する第１１−１の手段と、
   前記第１装置は、
   前記ストリーム要求を受信する第１１−２の手段と、
   前記ストリーム要求に含まれる前記データＩＤのストリームを送信する第１１−３の手段と、
   を含み、
   前記第８の手段は、
   前記注視領域が拡大する場合と前記注視領域が縮小する場合との閾値を異なる値に設定する第１２の手段と、
   注視領域の縦幅または横幅と前記閾値との大小関係に基づいて、前記着目解像度を決定する第１３の手段と、
   を含むことを特徴とする映像伝送システム。
7. 前記第１１の手段は、
   伝送ビットレートを設定する第１４の手段と、
   前記伝送ビットレートから映像とは関係ないデータによるビットレートを減算することで、映像の使用可能帯域を算出する第１５の手段と、
   前記映像の使用可能帯域に基づいて、前記小領域のストリームの符号化結果に対するデータＩＤを決定する第１６の手段と、
   を含み、
   前記第１６の手段は、
   前記補正評価値に基づく優先度に基づいて、前記小領域のタイルＩＤリストから、前記使用可能帯域より小さい伝送ビットレートを有するタイルＩＤ候補を絞り込む第１７の手段と、
   前記タイルＩＤ候補における前記着目解像度の前記評価値に基づいて、前記優先度ごとにソートしてタイルＩＤ候補と前記着目解像度の前記評価値との対応情報を生成し、生成した対応情報の前記タイルＩＤごとの前記着目解像度の前記評価値から前記小領域のタイルＩＤの選択品質を決定する第１８の手段と、
   前記小領域のタイルＩＤと前記選択品質とに基づいて、前記小領域のストリームの符号化結果に対するデータＩＤを決定する第１９の手段と、
   を含むことを特徴とする請求項６に記載の映像伝送システム。
8. 前記符号化された前記複数の小領域の各ストリームをデータ蓄積部に蓄積する第２７の手段と、
   前記決定されたデータＩＤに基づいて、ユーザが注視領域を指定してから一定時間以上経過した後、前記注視領域に対応する小領域のストリームをコマンド要求する第２８の手段と、
   前記符号化された前記複数の小領域の各ストリームの中から、前記コマンド要求された、前記決定されたデータＩＤに対応する、前記注視領域に対応する小領域のストリームを取り出す第２９の手段と、
   前記取り出された、前記注視領域に対応する小領域のストリームを、最終的な映像ストリームとして伝送する第３０の手段と、
   を更に含むことを特徴とする請求項６に記載の映像伝送システム。

Images