JP2011024018A - 送信装置、受信装置、送信方法、受信方法及び伝送システム - Google Patents

Abstract

【課題】ユーザが視聴を希望する領域に対応する高精細な映像信号の配信を、送信装置における処理負担を増大させることなく実現する。
【解決手段】入力映像信号の映像領域を所定数の領域に分割して領域分割映像信号を生成する映像領域分割処理部２０と、領域分割映像信号を符号化して映像ビットストリームを生成する符号化処理部３０とを備える。また、複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部４０と、受信装置２から送信される視聴位置の情報を含む視点情報を受信する視点情報受信部６０とを備える。その上で、視聴位置により特定される第１の領域に対応する映像ビットストリーム及び、第１の領域の周辺領域である第２の領域に対応する映像ビットストリームを映像ビットストリーム群蓄積部４０から抽出して伝送用の映像ビットストリームを生成し、受信装置２に送信するようにした。
【選択図】図４

Description

本発明は、送信装置、受信装置、送信方法、受信方法及び伝送システムに関し、特に、受信装置側で指定された任意の視聴領域に対応する映像を、送信装置から受信装置に配信する技術及び、配信された映像から表示用の画像を生成する技術に関する。

近年、デジタル化技術の発展に伴って映像の高精細化が進んでいる。また、ＭＰＥＧ（Moving Picture Experts Group）−２やＭＰＥＧ−４等の動画像符号化技術やネットワーク通信技術の発展により、これらの高精細映像を携帯電話端末等のクライアント端末に伝送することも可能となった。

高精細映像をクライアント端末にネットワークを介して伝送する時には、ネットワークの伝送帯域に適したビットレートを有する映像符号化ビットストリームを生成する必要がある。ビットストリームとは、圧縮された情報空間（圧縮信号空間）を有する情報系列を意味する。

映像符号化ビットストリームの生成は、配信サーバ等において、高精細のオリジナル映像を伝送帯域に適した映像サイズに非圧縮信号空間で縮小し、縮小された信号に対して映像符号化することにより行うことができる。

一方、高精細のオリジナル映像を非圧縮信号空間で縮小せず、オリジナル映像と同一の解像度品質で符号化した映像符号化ビットストリームを作成しておき、必要に応じて、伝送帯域に適した低解像度の映像符号化ビットストリームに変換することも行われている。低解像度の映像符号化ビットストリームへの変換は、映像符号変換技術であるトランスコーディング技術を用いて行う。

このようなトランスコーディング技術を用いて低解像度に変換された、伝送帯域に適したビットレートを有する映像全体の配信することについては、例えば特許文献１、特許文献２に記載されている。この場合は、クライアント端末において、配信サーバから受信した低解像度映像符号化ビットストリームを用いて映像拡大処理を行うことにより、特定の領域に対応する映像符号化ビットストリームを生成することができる。

ところが、この映像拡大処理は映像信号の補間を行うことを意味しており、表示する映像のサイズのみを拡大させる結果となる。これにより、クライアント端末に表示される映像の解像度が低下してしまうため、視聴領域に表示された映像の詳細をユーザが把握することが難しくなってしまうという問題があった。

このような問題を解決するため、視聴を希望する視聴領域の映像を、クライアント端末においてオリジナルの映像の解像度品質のまま視聴できるようにすることも行われている。この場合、まずクライアント端末から配信サーバに対して、ユーザが視聴を希望する領域を指定する情報を送信させる。そして配信サーバにおいて、視聴領域に対応する映像信号を非圧縮信号であるオリジナルの高精細映像から抽出し、その後、映像符号化処理を行うことにより視聴領域に対応する映像符号化ビットストリーム（以下、視聴領域映像符号化ビットストリームと称する）を生成する。このとき、解像度品質を元のオリジナル映像と同一のままのものとすることにより、配信サーバからクライアント端末に送信する映像の品質を高く保てるようになる。

また、視聴領域映像符号化ビットストリームを、非圧縮信号であるオリジナルの映像信号から生成するのではなく、予め生成しておいた映像符号化ビットストリームから生成することも行われている。この場合は、オリジナルの高精細映像と同一の解像度品質を有する映像符号化ビットストリームを予め生成しておく手順が必要となる。ここで生成する映像符号化ビットストリームは、特定の領域に対応するものでなく、全体領域を対応したものとなる。

そして、クライアント端末から視聴領域を指定する情報（以下、視聴領域指定情報と称する）が送信されたタイミングで、映像符号化ビットストリームを一旦非圧縮信号に復号し、復号された映像信号から視聴領域に対応する映像信号を抽出して再度映像符号化を行う。これにより、配信サーバにおいて、視聴領域に対応した高解像度品質の映像符号化ビットストリームが生成されるようになる。

例えば特許文献３には、クライアント端末から、視聴領域指定情報ではなく、配信を希望する映像に関する符号化パラメータ等の設定値が送信される構成が記載されている。そして、ユーザから設定値が送信された段階で、配信側の装置で予めＭＰＥＧ−２のファイル形式で圧縮されていた映像を一旦復号し、指定された設定値に基づいてＭＰＥＧ−４のファイル形式で再符号化する手法が記載されている。

米国特許第５３０７１６７号明細書 特開平２−１３５８８０号公報 特開２００４−２６６６９０号公報

しかしながら、視聴領域として指定された領域に対応する映像信号を、高精細映像の解像度品質で符号化する場合で、映像の視聴を希望するユーザが多数存在する場合には、ユーザ要求毎の映像符号化処理が必要となってしまう。また、ユーザから送信される視聴領域指定情報が時間の経過する毎に変化する場合には、視聴領域指定情報に変化が生じる毎に映像符号化処理を行う必要がある。すなわち、配信サーバ内での処理負荷が増加することになる。さらに、映像符号化処理をユーザ毎に行う必要があるため、ユーザの数に比例して、配信サーバにおける映像符号化処理に対する処理負荷も増加してしまう。

さらに、配信対象映像の蓄積の観点について考えると、視聴領域として指定された領域に対応する映像信号を抽出して符号化する方式では、オリジナルの高精細映像は非圧縮信号で蓄積しておくことが必要となる。これにより、オリジナルの映像信号を格納するための記憶装置には、多大な蓄積容量が要求されることになる。このため、映像の配信を行う企業やプロバイダ等において、配信サーバの構築や維持にかかる費用が増大してしまうという問題があった。

一方、予め映像を符号化しておき、符号化により生成された映像符号化ビットストリームを一旦復号して再度符号化する手法においては、クライアント端末に配信される映像はすべて再符号化された映像となる。このため、クライアント端末に送信される映像符号化ビットストリームにおいて、再符号化処理により発生する品質劣化を回避することができないという問題があった。

本発明はかかる点に鑑みてなされたものであり、ユーザが視聴を希望する領域に対応する高精細な映像の配信を、サーバ等の送信装置における処理負担を増大させることなく実現することを目的とする。

上記課題を解決するために、本発明は、入力映像信号の映像領域を所定数の領域に分割して、分割された各領域に対応する複数の領域分割映像信号を生成する映像領域分割処理部と、複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成する符号化処理部とを備える。また、符号化処理部で生成された複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部と、当該送信装置とネットワークで接続された受信装置から送信される、映像領域の中から受信装置のユーザによって視聴を希望する領域として指定された視聴位置の情報を含む視点情報を受信する視点情報受信部とを備える。その上で、視点情報受信部で受信した視点情報に基づいて、視聴位置により特定される第１の領域に対応する映像ビットストリーム及び、視聴位置により特定される領域の周辺領域である第２の領域に対応する映像ビットストリームを、映像ビットストリーム群蓄積部から抽出して、伝送用の映像ビットストリームを生成し、受信装置に送信するようにした。

このように構成したことにより、オリジナルの入力映像信号の映像は複数の領域に分割され、分割されたそれぞれの領域を構成する映像信号が符号化されて映像ビットストリームが生成されて送信装置内に蓄積される。そして、受信装置から送信された視点情報に基づき、視聴位置によって特定される領域に対応する映像ビットストリームが抽出され、受信装置に送信されるようになる。

これにより、送信装置側で、受信装置から視聴位置の情報が送信される都度、視聴位置に対応する映像信号の符号化処理を行う必要がなくなる。

また、視聴位置により特定される領域（第１の領域）の映像ビットストリームだけでなく、その周辺の領域（第２の領域）の映像ビットストリームも併せて受信装置に送信される。

これゆえ、受信装置側で視聴位置が移動する場合にも、移動先の領域が上記周辺領域に限り、対応する映像ビットストリームを新たに送信装置から取得する必要がなくなる。

本発明によれば、送信装置での処理負担を軽減しつつ、ユーザが視聴したい位置に対応する映像ビットストリームの配信を遅延の少ない形で行うことができるようになる。

また、本発明によると、受信装置側で視聴位置が移動する場合にも、すでに送信装置から送信済みの第２の領域に対応する映像ビットストリームを用いて、素早く表示映像を生成することができる。

本発明の第１の実施の形態による伝送システムの概要を示す概要図である。 本発明の第１の実施の形態による伝送領域の構成例を示す説明図である。 本発明の第１の実施の形態による視聴位置の移動速度に応じた符号化品質制御の例を示す説明図である。 本発明の第１の実施の形態によるサーバの構成例を示すブロック図である。 本発明の第１の実施の形態によるマルチストリーム情報と視点情報を構成する要素を説明する説明図であり、（ａ）はオリジナルの高精細映像の全体領域に対する伝送領域及び表示領域の位置付け又は関係の例を示し、（ｂ）は各分割領域の構成例を示し、（ｃ）はマルチストリームの構成例を示す。 本発明の第１の実施の形態によるサーバ中のクライアントステータス管理部の内部構成例を示すブロック図である。 本発明の第１の実施の形態によるサーバ中の音声ビットストリーム抽出・ミキサ処理部の処理の例を説明する説明図である。 本発明の第１の実施の形態によるサーバ中のシングルストリーム生成部の内部構成例を示すブロック図である。 本発明の第１の実施の形態によるサーバ中のシングルストリーム構成部の内部構成例を示すブロック図である。 本発明の第１の実施の形態によるサーバ中のシングルストリーム再構成処理制御部の内部構成例を示すブロック図である。 本発明の第１の実施の形態によるクライアントの内部構成例を示すブロック図である。 本発明の第１の実施の形態による伝送システムの動作の例を示すフローチャートである。 本発明の第２の実施の形態によるサーバの構成例を示す概要図である。

以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置から供給される映像信号をクライアントに配信する例）
２．第２の実施の形態（複数の映像配信サーバから供給される映像信号をクライアントに配信する例）

＜１．第１の実施の形態＞
本実施の形態（以下、本例とも称する）では、本発明の送信装置をサーバに適用し、本発明の受信装置を携帯電話端末に適用した例を説明する。ただし、本発明の受信装置は、携帯電話端末に限らず、例えばＰＤＡ（Personal Digital Assistants）やパーソナルコンピュータ、音声再生装置やゲーム端末等、通信機能及び表示部に映像を表示させる機能を有する様々な装置に適用可能である。

なお、説明は以下の順序で行う。
（１）伝送システムの概要
（２）サーバの構成例
（３）クライアントの構成例
（４）伝送システムの動作例

［伝送システムの概要］
まず、図１〜図３を参照して本例の伝送システムの概要について説明する。
図１は、本実施の形態の伝送システムの概要を示すものである。図１に示す伝送システムは、映像の配信を行うサーバ１とクライアント２とにより構成される。サーバ１とクライアント２とは、ネットワーク３を介して接続されている。なお、図１においてはクライアント２を１つのみ表示してあるが、実際には、複数のクライアント２がネットワーク３を通してサーバ１にアクセスできるように構成されている。

サーバ１には図示せぬ撮像装置より構成される映像信号入力部が接続してあり、映像信号入力部で得られた高精細な映像がサーバ１に入力される。ここでいう高精細な映像としては、本例では、例えば３６００画素×２４００画素等の解像度を有するものを想定している。なお、解像度はこれに限定されるものではなく、７６８０画素×４３２０画素等の他の解像度を有する映像信号を扱うようにしてもよい。

クライアント２では、サーバ１が有する高精細のオリジナル映像の中から、視聴を希望する特定の領域（以下、視聴希望領域と称する）を指定する操作が行われる。具体的には、クライアント２の表示部２１３の画面上に小さな枠を表示させ、この枠の位置や大きさを変えられるように構成することによって、ユーザが視聴希望領域を特定できるようにしている。

さらに、この視聴希望領域を拡大又は縮小する操作も行えるようにしている。ユーザが画面内の特定の領域の映像をより高解像度で視聴したり、より低い解像度でオリジナルの高精細映像の全体像を俯瞰することができるようにするためである。

このような、視聴希望領域の大きさや位置、視聴希望領域の拡大又は縮小する操作の情報（すなわち、視聴を希望する解像度の情報；以下、「要求解像度」と称する）は、「視点情報」としてクライアント２からサーバ１に連続的に送信される。要求解像度のパラメータは、オリジナルの高精細映像の解像度を１とした場合の比率（例えば１，２，１０等）で設定できるものとする。サーバ１への視点情報の送信は、視点情報に変化が生じる毎に行われる。

このような機能を実現するため、サーバ１においては、まず、映像信号入力部から供給されたオリジナルの非圧縮の高精細映像から、映像符号化ビットストリーム（以下、単にビットストリームとも称する）を生成する処理を行う。

この映像符号化ビットストリームは、オリジナルの高精細映像の映像領域を複数の領域に分割して得られる、各分割領域単位で生成する。以下の説明では、分割領域毎に生成したビットストリームを、分割領域映像ビットストリームと称する。

サーバ１は、このような分割領域映像ビットストリームを予め生成し、ＨＤＤ（Hard Disk Drive）等で構成される映像ビットストリーム群蓄積部４０に蓄積しておく。そして、クライアント２から視点情報が送信されたタイミングで、視点情報により特定される領域に対応するビットストリームを抽出してクライアント２に送信する。

これにより、複数のクライアント２からその位置が異なる様々な視点情報が送信された場合にも、サーバ１は、視点情報により特定される領域に対応するビットストリームを抽出してクライアント２に送信するだけでよくなる。

さらに、サーバ１では、この分割領域映像ビットストリームを、複数の解像度に対応させて生成することを行う。本例では、「低解像度」、「中解像度」、「高解像度」の３つの解像度レベル毎に、それぞれ分割領域映像ビットストリームを生成する例を挙げる。そして、このように生成した各解像度に対応する分割領域映像ビットストリームを映像ビットストリーム群蓄積部４０内に蓄積しておく。

なお、本例では解像度レベルを３つ設けた例を挙げているが、これに限定されるものではない。例えば４つや５つ等、解像度の分類をより細かい段階で行うようにしてもよいし、２段階等のより荒い段階で設定するようにしてもよい。

図１に示す映像ビットストリーム群蓄積部４０内の「低解像度ストリーム」には、「低解像度」に対応する分割領域映像ビットストリームが蓄積される。「低解像度」の解像度としては、クライアント２の表示部２１３の画面解像度と同程度の低い解像度が設定される。具体的には、例えばＱＶＧＡ（３６０画素×２４０画素）等の解像度が設定される。この低解像度のビットストリームは、オリジナル高精細映像の１画面に対して１つ生成される。

この低解像度のビットストリームがクライアント２に送信され、クライアント２の表示部２１３の画面上に表示されることで、クライアント２のユーザは、オリジナルの高精細映像の全体像を画面上で把握することができるようになる。

「高解像度ビットストリーム群」には、オリジナルの高精細映像における解像度品質と同等の解像度品質を有する分割領域映像ビットストリームが蓄積される。この「高解像度ビットストリーム群」は、ユーザにより選択された視聴希望領域に対応する画像を、オリジナルの映像と同程度の高解像度品質で配信可能にする目的で生成される。

「中解像度ビットストリーム群」には、「中解像度」の解像度を有する分割領域映像ビットストリームが蓄積される。「中解像度」の解像度としては、上述した「低解像度」の解像度と、「高解像度」の解像度との中間の解像度が設定される。つまり「低解像度」の解像度が３６０画素×２４０画素であり、「高解像度」の解像度が３６００画素×２４００画素である場合には、「中解像度ビットストリーム群」には、１６２０画素×１０８０画素等の解像度を有する分割領域映像ビットストリームが蓄積される。

「低解像度ビットストリーム」、「中解像度ビットストリーム群」、「高解像度ビットストリーム群」として蓄積されたビットストリーム（群）は、切替部８３の接続先が選択的に切り替えられることにより、いずれかが選択されてクライアント２に送信される。切替部８３の切り替えの制御は、クライアント２から送信される視点情報の内容に基づいて行う。つまり、視点情報によって特定される領域に対応する複数のビットストリームが映像ビットストリーム群蓄積部４０から抽出され、クライアント２に送信される。

例えば、視点情報に含まれる位置情報（視聴希望領域の位置情報）が高精細のオリジナル映像の左上端を示しており、要求解像度が“１０”（解像度品質＝１／１０）である場合を想定する。この場合は、低解像度ビットストリームが抽出されて、クライアント２に送信される。つまり、オリジナルの高精細映像の全体映像を、クライアント２の表示部２１３の画面サイズ（例えばＱＶＧＡ）に収まるような低解像度に変換することによって生成された低解像度ビットストリームが選択されて、クライアント２に送信される。

一方、視点情報に含まれる位置情報が、同じく高精細のオリジナル映像の左上端を示していても、要求解像度が“１”である場合には、高解像度ビットストリーム群の中から視聴希望領域に対応する複数のビットストリームが抽出される。すなわち、オリジナルの映像の左上端から、クライアント２の表示部２１３の解像度と対応する３６０画素×２４０画素の領域分のビットストリームが抽出され、視聴希望領域に対応する映像としてクライアント２に送信される。

同様に、要求解像度が“５” （解像度品質＝１／５）である場合には、中解像度ビットストリーム群の中から、オリジナル映像の左上端から７２０画素×４８０画素の領域に対応する複数のビットストリームが抽出され、クライアント２に送信される。

このように構成することにより、クライアント２からサーバ１に対して様々な値の要求解像度が送信された場合にも、対応するビットストリームをサーバ１が即座に抽出してクライアント２に送信することができるようになる。

さらに、本例のサーバ１は、視点情報により特定される視聴希望領域に対応するビットストリームだけでなく、視聴希望領域の周囲の領域を構成するビットストリームも、クライアント２に送信することを行う。視聴希望領域の位置（ユーザの視点がある位置；以下、視点位置とも称する）に移動があった場合にも、視線の移動先の領域にある映像を、即座にクライアント２の表示画面上に表示できるようにするためである。

図２は、サーバ１がビットストリームを抽出する対象領域の例を示したものである。図２の一番外側の枠がオリジナル映像の１画面（全体領域Ａｗ）を示しており、太線で示した一番小さな枠が、クライアント２から送信された視聴希望領域によって特定される領域Ａｄを示す。この領域Ａｄにある画像は、クライアント２に送信された後にその表示部２１３の画面上で表示されるため、以降の説明では、この領域Ａｄを表示領域Ａｄ（第１の領域）と称する。

表示領域Ａｄの周囲の領域である、一点鎖線で示された大きな枠で囲まれた領域は、サーバ１からクライアント２に実際に伝送されるビットストリームにより構成される領域である。以降の説明では、この領域を伝送領域Ａｔ（第２の領域）と称する。すなわち、本例の伝送システムでは、視聴希望領域に対応する表示領域Ａｄを構成するビットストリームだけでなく、その周囲の領域を構成するビットストリームも併せてクライアント２に送信する。

ただし、本例の伝送システムでは、固定ビットレートによる配信もしくは、ネットワーク帯域に余裕がない場合の配信を想定している。従って、表示領域Ａｄだけでなくその周辺の領域を構成するビットストリームを配信することで、ネットワークの帯域を圧迫してしまうことが想定される。

この問題を解決するために、サーバ１では、伝送領域Ａｔのうちの表示領域Ａｄとその周辺の領域との間に符号化の品質による優先度をつけて、ビットストリームを生成することを行う。具体的には、表示領域Ａｄの周辺の領域には、表示領域Ａｄを構成するビットストリームに比べて低品質（符号量が少ない）ビットストリームを割り当てることで、ネットワーク上を流れるデータ量を低減させる。

図２に示した例では、伝送領域Ａｔのうちの破線で囲まれた領域に、高品質な（符号化量が多い）ビットストリームを割り当てている（高品質符号化領域Ａｈ；第３の領域）。一方、伝送領域Ａｔのうちの高品質符号化領域Ａｈ以外の領域に、高品質符号化領域Ａｈに割り当てられるビットストリームよりも低品質なビットストリームを割り当てている（低品質符号化領域Ａｌ；第４の領域）。

しかし、ユーザによる視点位置が素早く変化している場合等で、表示領域Ａｄの移動速度が速い場合には、周辺領域へのアクセスの可能性も増加する。このような場合には、周辺領域に割り当てるビットストリームの品質を、表示領域Ａｄが移動していない場合におけるものより少し高く（中品質に）とすることを行う。一方、表示領域Ａｄに割り当てるビットストリームの品質は、表示領域Ａｄが移動していない場合におけるものより少し低くすることを行う。

このように、高品質なビットストリームを割り当てる優先度を、視点位置（表示領域Ａｄ）の移動速度に応じて動的に変化させることによって、固定ビットレートによる配信を行う場合にも、優先的に送信すべきデータにより多くの帯域が割り当てることができるようになる。一方、クライアント側では視線位置の移動速度が速い場合にも、サーバ１から伝送領域Ａｔとして既に送信された表示領域Ａｄ以外の領域を構成するビットストリームを用いて、迅速に表示映像を生成することができるようになる。

図３は、時刻によって変化する視点位置（表示領域Ａｄ）の移動速度と、伝送領域Ａｔを構成する各領域に割り当てる符号量との対応例を示した図である。図３において、Ｘ軸とＹ軸はオリジナル映像の全体領域ＡｗのＸ軸とＹ軸に対応しており、Ｚ軸は時間方向を示している。また、各領域に割り当てる品質の高低を、それぞれ異なる図柄によって区別して示してある。なお、図３において図２と対応する箇所には同一の符号を付してある。

時間方向における時刻Ｔ０から時刻Ｔ１までの間は、表示領域Ａｄの位置に大きな変化がない。すなわち、ユーザの視点位置がほぼ同じ位置に留まっていることが分かる。このような場合は、視点位置が表示領域Ａｄ以外の周辺の領域に移動する可能性は低いものと考えられる。従って、視点位置に対応する表示領域Ａｄを含む高品質符号化領域Ａｈに高品質なビットストリームを割り当て、伝送領域Ａｔにおけるそれ以外の領域には、低品質なビットストリームを割り当てている。

時刻Ｔ１〜時刻Ｔ３までの間は、表示領域Ａｄの位置が大きく変化しており、その移動速度も速いことが示されている。このような場合には、視点位置が表示領域Ａｄ以外の領域に移動する可能性が高いものと考えられる。このため、表示領域Ａｄに割り当てるビットストリームの品質を、時刻Ｔ０〜時刻Ｔ１において割り当てた品質（高品質）よりも少し落とすことを行っている。また、表示領域Ａｄを含まない伝送領域Ａｔに割り当てるビットストリームの品質は、時刻Ｔ０〜時刻Ｔ１において割り当てた品質（低品質）よりも少し上げることを行っている。なお、視点位置が高速に移動する場合には、人間の視覚能力が低下し、映像の品質の劣化に対しても鈍感になることが想定される。従って、表示領域Ａｄに割り当てるビットストリームの品質を落としても、それがそのまま映像品質の劣化としてユーザに捉えられる可能性は低いものと考えられる。

［サーバの構成例］
次に、図４〜図１０を参照して、サーバ１の構成例について説明する。図４は、サーバ１の内部構成例を示したブロック図である。サーバ１には、映像信号入力部１０が接続されている。また、サーバ１には、映像領域分割処理部２０と、部分領域符号化処理部３０と、映像ビットストリーム群蓄積部４０と、マルチストリーム情報蓄積部５０とが含まれる。

映像信号入力部１０は、前述したような３６００画素×２４００画素等の高精細な映像信号を出力するものであり、例えば放送用のカメラや監視カメラ、テレビ会議等に用いられるカメラ等で構成される。映像領域分割処理部２０は、映像信号入力部１０から入力される映像信号よりなる映像領域を、複数の領域に分割する。ここで行う分割は、図示しない制御部等より入力される解像度レベルを指示するパラメータに従って、高解像度、中解像度、低解像度のそれぞれのレベル毎に行う。そして、高解像度の領域分割映像信号（第１の領域分割映像信号）と、中解像度の領域分割映像信号（第２の（中解像度）領域分割映像信号と、低解像度の領域分割映像信号（第２の（低解像度）領域分割映像信号とが生成される。

部分領域符号化処理部３０は、映像領域分割処理部２０によって生成された各解像度レベルにおける各分割領域の映像信号を符号化して、分割領域映像ビットストリームを生成する。ここで行う符号化は、各分割領域間で、動きベクトルや量子化係数、量子化パラメータ等の予測関係を持たせない形で行う。符号化方式としては、例えば、ＭＰＥＧ−２やＭＰＥＧ−４ ＳＰ，Ｈ．２６３，Ｈ．２６４等を用いるものとする。

映像ビットストリーム群蓄積部４０は、部分領域符号化処理部３０で生成された複数の分割領域映像ビットストリームを、解像度のレベル毎に分類して蓄積する。すなわち、図１に示したように、部分領域符号化処理部３０で生成された各分割領域映像ビットストリームを、低解像度ビットストリーム、中解像度ビットストリーム群、高解像度ビットストリーム群として蓄積する。

マルチストリーム情報蓄積部５０は、部分領域符号化処理部３０で生成された各分割領域映像ビットストリームの符号化品質に関する情報と、各分割領域が全体領域Ａｗの中のどの位置に属しているかを示す位置情報とを管理する。具体的には、映像領域分割処理部２０から供給される解像度レベル毎の符号化ビットレートの情報と、部分領域符号化処理部３０から供給される、各分割領域を構成する各マクロブロック（以下、ＭＢと称する）の位置情報とを、マルチストリーム情報として蓄積する。

ここで、図５を参照して、マルチストリーム情報蓄積部５０で管理されるマルチストリーム情報や、クライアント２から送信される視点情報の詳細について説明する。図５（ａ）は、全体領域Ａｗが、例えば４８個の分割領域Ａｐに分割されている状態を示したものである。各分割領域Ａｐには、例えば、水平方向にＸ個、そして垂直方向にＹ個のＭＢが含まれるものとする。そして、図５（ｂ）に示すように、分割領域Ａｐの１ラインの長さは、符号化単位における１スライス分の長さに対応させている。

このように構成される各分割領域Ａｐ内の映像信号が、部分領域符号化処理部３０（図４参照）によって符号化されることにより、分割領域映像ビットストリームＳが生成される。マルチストリーム情報蓄積部５０では、Ｎ個（Ｎは自然数）の分割領域映像ビットストリームＳからなるマルチストリームに関する情報を、マルチストリーム情報として管理する。（図５（ｄ）参照）

マルチストリーム情報は、以下の情報で構成される。
・分割領域映像ビットストリームＳ_ｋ（０≦ｋ≦Ｎ）
・分割領域映像ビットストリームＳ_ｋに含まれる各ＭＢの座標（ｘ，ｙ）
・符号化ビットレート
すなわち、マルチストリーム情報においては、各分割領域の全体領域Ａｗにおける位置情報が、ＭＢ毎にインデックス化されて管理される。

次に、図５（ｂ）を参照して、クライアント２から送信される視点情報について説明する。視点情報には、以下の情報が含まれる。
・クライアント２の表示部２１３の解像度情報
・要求解像度情報
・表示部２１３の原点座標（ｘ，ｙ＝０，０）に対応する全体領域ＡｗでのＭＢ位置

表示部２１３の原点座標に対応する全体領域ＡｗでのＭＢ位置は、図５（ｂ）に示すように座標位置（ＭＢ＿ｄ（ｘ，ｙ））で管理される。

再び図４に戻って説明を続けると、サーバ１には、視点情報受信部６０と、クライアントステータス管理部７０と、シングルストリーム生成部８０と、シングルストリーム送信部９０とが含まれる。

視点情報受信部６０は、ネットワーク３を介してクライアント２から送信された視点情報を受信して、クライアントステータス管理部７０に供給する。

クライアントステータス管理部７０は、視点情報受信部６０が受信した視点情報の管理や、音声や動画像などをストリーミング配信する際にクライアント２との間でやりとりする制御データ（ストリーミングプロトコル準拠メッセージ）の送受信等を行う。

図６に、クライアントステータス管理部７０の内部構成例を示してある。クライアントステータス管理部７０には、視点領域管理部７１と、視点情報送信部７２と、ストリーミングサーバ処理部７３とが含まれる。

視点領域管理部７１は、視点情報受信部６０が受信した視点情報の蓄積や、視点情報送信部７２の管理を行う。具体的には、視点情報をシングルストリーム生成部８０に出力したり、視点情報受信部６０で受信した視点情報とマルチストリーム情報蓄積部５０から読み出した各ビットストリームのＭＢ位置情報とに基づいて「送信状態情報」を生成し、生成した送信状態情報をクライアント２の送信状態情報受信部２０８に送信する処理を行う。

送信状態情報とは、伝送領域Ａｔの全体領域Ａｗに対する相対位置情報である。伝送領域Ａｔの全体領域Ａｗに対する相対位置情報は、シングルストリーム生成部８０から視点領域管理部７１に供給される「領域情報」に基づいて生成される。全体領域ＡｗのＭＢ位置マップには、全体領域Ａｗのうち、どこが伝送領域Ａｔであるかを示す情報が含まれる。「領域情報」の詳細については後述する。

ストリーミングサーバ処理部７３は、クライアント２のストリーミングクライアント処理部２０３との間で、ストリーミングプロトコルに準拠したメッセージのやりとりを行う。ストリーミングプロトコルに準拠したメッセージとしては、例えば、映像信号の送信や一時停止、停止等を要求する制御メッセージや、セッションの維持を行うためのメッセージ等がやりとりされる。

なお、本例では送信状態情報を送信するための視点情報送信部７２を設けた構成を例に挙げたが、視点情報送信部７２を設けずに、送信状態情報を映像ビットストリームのパケットのヘッダ部分に格納してクライアント２に送信する形態に適用してもよい。

再び図４に戻って説明を続ける。シングルストリーム生成部８０は、視点情報受信部６０が受信した視点情報によって特定される表示領域Ａｄ及び、その周辺領域を構成する複数のビットストリームを、映像ビットストリーム群蓄積部４０から読み出す。そして、読み出した複数のビットストリームをシングルストリームとして再構成して出力する。

また、シングルストリーム化される複数のビットストリームのうち、低品質符号化領域Ａｌ（図２）を構成するビットストリームに対しては、より少ない符号量で再符号化する処理も行う。つまり、シングルストリーム生成部８０は、シングルストリーム化を行うそれぞれのビットストリームを、高品質符号化領域Ａｈに割り当てるのか、低品質符号化領域Ａｌに割り当てるのかの判断も行う。なお、シングルストリーム生成部８０の詳細については、図８〜図１０を参照して後述する。

シングルストリーム送信部９０は、シングルストリーム生成部８０で生成されたシングルストリームをパケット化して、パケット化されたシングルストリームをクライアント２に送信する。

さらに、サーバ１には、音声信号入力部１００−１〜音声信号入力部１００−ｎ（ｎは自然数）と、メタ情報入力部１２０とが接続されている。そしてサーバ１には、これらから入力されるデータを扱う音声符号化処理部１１０と、音声ビットストリーム・メタ情報蓄積部１３０と、音声ビットストリーム抽出・ミキサ処理部１４０と、音声ビットストリーム送信部１５０とが含まれる。

音声信号入力部１００−１〜音声信号入力部１００−ｎは、例えばマイクロホン等で構成される。すなわち周囲の音声を拾って音声信号に変換し、得られた音声信号を音声符号化処理部１１０に出力する。

音声符号化処理部１１０は、音声信号入力部１００−１〜音声信号入力部１００−ｎから出力された複数の音声信号を、例えばＰＣＭ（pulse code modulation）符号化方式やＡＡＣ（Advanced Audio Coding）符号化方式等によって符号化する。そして、符号化して得られた音声ビットストリームを、音声ビットストリーム・メタ情報蓄積部１３０に出力する。

メタ情報入力部１２０は、例えば音声信号入力部１００−１〜音声信号入力部１００−ｎの配置位置情報等の、音声信号に関するメタ（属性）情報を、音声ビットストリーム・メタ情報蓄積部１３０に出力する。

音声ビットストリーム・メタ情報蓄積部１３０は、音声符号化処理部１１０から出力された音声ビットストリームや、メタ情報入力部１２０から出力されたメタ情報を蓄積する。

音声ビットストリーム抽出・ミキサ処理部１４０は、クライアントステータス管理部７０から得られる視点情報に基づいて、音声ビットストリーム・メタ情報蓄積部１３０から適切な音声ビットストリームを抽出する。さらに、抽出した複数の音声ビットストリームを、そのメタ情報等に基づいて混合する処理も行う。

図７は、音声ビットストリーム抽出・ミキサ処理部１４０による処理の例を示した説明図である。図７において、音声信号入力部１００が配置されているポイントを黒い点で示してある。音声ビットストリーム抽出・ミキサ処理部１４０は、各配置ポイント間の距離等を考慮して重み付けを行い、重み付けを行った音声信号同士を混合することを行う。

このような処理を行うことにより、ユーザによって指定された視聴希望領域の映像と対応させて、その領域における音声も大きく出力することができるため、ストリーミングを視聴しているユーザに高い臨場感を与えられるようになる。

次に、図８を参照して、シングルストリーム生成部８０の内部構成例について説明する。シングルストリーム生成部８０には、視聴領域ストリーム決定処理部８１と、符号化ストリーム抽出部８２と、切替部８３と、シングルストリーム構成部８４と、再符号化処理部８６と、シングルストリーム再構成処理制御部８５とが含まれる。

視聴領域ストリーム決定処理部８１は、全体領域ＡｗのどのＭＢ位置のビットストリームを、伝送領域Ａｔに対応するビットストリームとして抽出すべきかを決定し、そのビットストリームをストリームインデックスＳ_ｋとして、符号化ストリーム抽出部８２と、シングルストリーム再構成処理制御部８５に出力する。

表示領域Ａｄに対応するビットストリームの決定は、クライアントステータス管理部７０から送信される表示領域ＡｄのＭＢ位置ＭＢ＿ｄと、マルチストリーム情報蓄積部５０から読み出したマルチストリーム情報とに基づいて行う。

また、視聴領域ストリーム決定処理部８１は、伝送領域Ａｔに対応するビットストリームとして抽出したビットストリームのうち、どのビットストリームを高品質符号化領域Ａｈ又は低品質符号化領域Ａｌに割り当てるかの決定も行う。そして、伝送領域Ａｔや高品質符号化領域Ａｈ、低品質符号化領域Ａｌの全体領域ＡｗにおけるＭＢ位置を、「領域情報」としてクライアントステータス管理部７０とシングルストリーム再構成処理制御部８５に送信する。

さらに、視聴領域ストリーム決定処理部８１は、表示領域ＡｄのＭＢ位置ＭＢ＿ｄと、マルチストリーム情報に基づいて、全体領域Ａｗの画面における各ビットストリームの配置位置情報を示す「全体ストリーム構成マップ」を生成し、シングルストリーム構成部８４に供給する。

符号化ストリーム抽出部８２は、視聴領域ストリーム決定処理部８１から送信されるストリームインデックスＳ_ｋと、クライアントステータス管理部７０から供給される要求解像度情報とに基づいて、映像ビットストリーム群蓄積部４０から適切なビットストリームを抽出する。そして、抽出した複数のビットストリームを、切替部８３に出力する。

切替部８３は、符号化ストリーム抽出部８２から出力された各ビットストリームの出力先を、シングルストリーム構成部８４と逆量子化処理部８６１のいずれかに切り替える。切り替えの制御は、シングルストリーム再構成処理制御部８５から供給されるストリーム抽出制御情報に基づいて行われる。

シングルストリーム構成部８４は、符号化ストリーム抽出部８２で抽出された複数のビットストリームを繋ぎ合わせることで、伝送用のシングルストリームを生成する。図９に、シングルストリーム構成部８４での処理の例を示してある。

図９に示す例では、シングルストリーム構成部８４は、まず、分割領域映像ビットストリーム_Ｓｋから、ＭＢ（０，０）で始まる１ライン分のビットストリームを取り出す。続いて、分割領域映像ビットストリーム_Ｓｋの右側に対応する領域に含まれる分割領域映像ビットストリーム_Ｓｋ＋１の中から、ＭＢ（０，０）で始まる１ライン分のビットストリームを取り出す。そして、分割領域映像ビットストリーム_Ｓｋから取り出した１ライン分のビットストリームの右端に、分割領域映像ビットストリーム_Ｓｋ＋１から取り出した１ライン分のビットストリームの左端を接続させる。

この処理を、伝送領域Ａｔの水平方向の右端に達するまで続け、右端に達した後は１ライン分下に移動して同様の処理を行う。このような処理が繰り返されることで、複数の分割領域映像ビットストリームＳから、伝送用のシングルストリームが構成される。

再び図８に戻って説明を続けると、シングルストリーム再構成処理制御部８５は、再符号化処理部８６で行う再量子化処理時の量子化の荒さを決定する。この決定は、マルチストリーム情報蓄積部５０から供給されるマルチストリーム情報と、視聴領域ストリーム決定処理部８１から供給されるストリームインデックスＳ_ｋと、クライアントステータス管理部７０から供給される表示領域Ａｄの移動速度情報とに基づいて行われる。

再符号化処理部８６は、シングルストリーム再構成処理制御部８５より再符号化が指示されたビットストリームに対して、再符号化処理を行う。再符号化処理部８６には、逆量子化処理部８６１と、量子化処理部８６２と、符号化モード変更部８６３とが含まれる。

逆量子化処理部８６１は、再符号化処理に際して、符号化ストリーム抽出部８２で抽出されたビットストリームを復号（逆量子化）する。このとき、復号する前のビットストリームが有していた符号化パラメータＭＱｏｌｄを抽出し、抽出した符号化パラメータＭＱｏｌｄをシングルストリーム再構成処理制御部８５に供給する。

量子化処理部８６２は、シングルストリーム再構成処理制御部８５から供給される再符号化用の再量子化係数ＭＱｎｅｗを用いて、逆量子化処理部８６１で復号された映像信号を再び量子化する。

符号化モード変更部８６３は、量子化処理部８６２での再量子化処理に伴って生じた変更内容に応じて、量子化後の再符号化ビットストリームにおける符号化モードの変更を行う。例えば、量子化処理部８６２で荒い量子化を行ったことにより、再符号化前のビットストリームが持っていた符号化係数が削除された場合には、量子化後の再符号化ビットストリームにおけるマクロブロックタイプを「スキップトマクロブロック」に変更する処理等を行う。そして、符号化モードの変更を行った再符号化ビットストリームをシングルストリーム構成部８４に供給する。

なお、図８に示した例では、再符号化処理部８６が行う再量子化処理についてのみ言及しているが、処理はこれに限定されるものではない。例えば、マクロブロックの種類によっては、復号を画素のレベルまで行ってから再符号化を行う処理も行うものとする。

図１０に、シングルストリーム再構成処理制御部８５の詳細を示してある。シングルストリーム再構成処理制御部８５には、再量子化判断部８５１と、再量子化係数決定部８５２と、符号化レート制御部８５３と、ストリーム抽出制御情報生成部８５４とが含まれる。

再量子化判断部８５１は、符号化ストリーム抽出部８２（図８参照）で抽出された各ビットストリームに対して再符号化が必要か否かの判断を行い、判断結果を再量子化係数決定部８５２とストリーム抽出制御情報生成部８５４とに出力する。

具体的には、表示領域Ａｄの移動速度が予め設定された閾値より小さく、かつ抽出されたビットストリームが高品質符号化領域Ａｈに属する場合には、再符号化不要の判断結果をストリーム抽出制御情報生成部８５４に出力する。一方、表示領域Ａｄの移動速度が予め設定された閾値以上である場合又は、表示領域Ａｄの移動速度が予め設定された閾値未満であり、かつ抽出されたビットストリームが低品質符号化領域Ａｌに属する場合には、再符号化が必要との判断結果を、再量子化係数決定部８５２とストリーム抽出制御情報生成部８５４に出力する。

抽出されたビットストリームが伝送領域Ａｔ内のどの領域に属するかの判断は、マルチストリーム情報蓄積部５０から送信されるマルチストリーム情報と、視聴領域ストリーム決定処理部８１から送信される領域情報とに基づいて行う。表示領域Ａｄの移動速度の大きさは、クライアントステータス管理部７０から送信される表示領域移動速度情報に基づいて判断する。

再量子化係数決定部８５２は、マルチストリーム情報蓄積部５０から抽出したマルチストリーム情報と、クライアントステータス管理部７０から供給された表示領域移動速度情報と、視聴領域ストリーム決定処理部８１から供給されるストリームインデックスＳ_ｋ及び領域情報に基づいて、再量子化に使用する再量子化係数ＭＱｎｅｗを決定する。

符号化レート制御部８５３は、符号化モード変更部８６３から出力される符号化ビット量の情報に基づいて、次に符号化を行う対象のＭＢの符号化レートを決定する。そして、決定した符号化レートを、再量子化係数決定部８５２に供給する。

ストリーム抽出制御情報生成部８５４は、再量子化判断部８５１から送信された判断結果に基づいて、切替部８３における接続先を制御するためのストリーム抽出制御情報を生成して、生成したストリーム抽出制御情報を切替部８３に供給する。具体的には、再量子化判断部８５１から「再量子化不要」の判断結果が入力された場合には、切替部８３（図８参照）の接続先をシングルストリーム構成部８４側に切り替えるための制御情報を生成する。再量子化判断部８５１から「再量子化必要」の判断結果が入力された場合には、切替部８３（図８参照）の接続先を再符号化処理部８６側に切り替えるための制御情報を生成する。

［クライアントの構成例］
次に、クライアント２の内部構成例について、図１１のブロック図を参照して説明する。クライアント２には、映像ストリーム受信部２０１と、映像復号部２０２と、ストリーミングクライアント処理部２０３と、クライアント管理部２０４と、音声ストリーム受信部２０５と、音声復号部２０６と、音声出力部２０７とが含まれる。

映像ストリーム受信部２０１は、サーバ１から送信されたシングルストリームを受信して、受信したシングルストリームを映像復号部２０２に供給する。映像ストリーム受信部２０１によって受信されるシングルストリームは、伝送領域Ａｔを構成する複数のビットストリームにより構成されたシングルストリームである。

映像復号部２０２は、映像ストリーム受信部２０１から供給されたシングルストリームを復号して、伝送領域復号信号を生成する。そして、生成した伝送領域復号信号を表示制御部２１２に供給する。

ストリーミングクライアント処理部２０３は、サーバ１との間で、ストリーミングプロトコルに準拠したメッセージの送受信を行う。クライアント管理部２０４は、ストリーミングに関するステータスを管理し、映像復号部２０２や音声復号部２０６に対してストリーミング再生の開始等の制御を行う。また、ストリーミングプロトコルに準拠したメッセージを生成して、ストリーミングクライアント処理部２０３に供給する。

音声ストリーム受信部２０５は、サーバ１から送信された音声ビットストリームを受信して、受信した音声ビットストリームを音声復号部２０６に供給する。音声復号部２０６は、音声ストリーム受信部２０５から供給された音声ビットストリームを復号して、復号した音声ビットストリームを音声出力部２０７に供給する。音声出力部２０７は、例えばスピーカ等よりなり、音声復号部２０６から供給された音声ビットストリームを音声として出力する。

また、クライアント２には、送信状態情報受信部２０８と、視点領域管理部２０９と、視点情報送信部２１０と、操作入力部としてのユーザインターフェース部２１１と、表示制御部２１２と、表示部２１３とが含まれる。

送信状態情報受信部２０８は、サーバ１から送信された送信状態情報、すなわち伝送領域Ａｔの表示領域Ａｄに対する相対位置情報を受信して、視点領域管理部２０９に出力する。視点領域管理部２０９は、送信状態情報受信部２０８が受信した送信状態情報と、ユーザインターフェース部２１１から入力されるユーザによる操作情報と、クライアント管理部２０４から供給される制御信号に基づいて、視点情報を生成する。そして、生成した視点情報を視点情報送信部２１０に出力する。

視点情報送信部２１０は、視点領域管理部２０９から出力された視点情報を、サーバ１に送信する。ユーザインターフェース部２１１は、上下左右キーや各種ボタン等で構成され、表示部２１３に表示した視聴希望領域選択のための枠（図１参照）の位置や大きさを変更する制御を行う。

なお、本例では、視聴希望領域を選択させるために、画面上に枠を表示させる形態を例に挙げているが、これに限定されるものではない。例えば、ユーザインターフェース部２１１をタッチパネルや加速度センサで構成し、ユーザによる画面を叩く動作や画面を傾ける動作等に基づいて、視聴希望領域を決定するように構成してもよい。

ユーザインターフェース部２１１は、また、ユーザにより入力された操作の内容を操作情報として、視点領域管理部２０９と、表示制御部２１２と、表示部２１３に供給する。さらに、視点領域管理部２０９から供給される送信状態情報に基づいて、ユーザが現在視聴している画面位置が全体領域Ａｗのどこに相当するか等を示す情報を生成し、その情報を表示部２１３の画面上に表示する処理も行う。

表示制御部２１２は、映像復号部２０２から送信された伝送領域復号信号の中から、実際に表示部２１３に表示する表示領域Ａｄ部分の信号を抽出して表示領域復号信号を生成する。そして、生成した表示領域復号信号を表示部２１３に供給する。

表示部２１３は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）パネル等で構成され、表示制御部２１２から供給された表示領域復号信号を画像として表示画面上に表示する。

［伝送システムによる動作例］
次に、本例の伝送システムのサーバ１とクライアント２とによる処理の例について、図１２のフローチャートを参照して説明する。まず、サーバ１が映像信号入力部１０から出力された高精細映像信号を取得する（ステップＳ１）。続いて、映像領域分割処理部２０が、ステップＳ１で取得した高精細映像を複数の領域に分割する（ステップＳ２）。そして、部分領域符号化処理部３０が、分割された各領域を構成する映像信号から解像度の異なる複数のビットストリームを生成し、映像ビットストリーム群蓄積部４０に蓄積する（ステップＳ３）。本例では、ここで低解像度ストリーム、中解像度ストリーム群、高解像度ストリーム群が生成される。

次に、クライアント２が、映像の全体領域Ａｗに対応するビットストリームを送信するようにサーバ１に対して送信要求を送信する（ステップＳ４）。サーバ１の視点情報受信部６０は、送信要求を受信すると（ステップＳ５）、シングルストリーム生成部８０が映像ビットストリーム群蓄積部４０から低解像度ビットストリームを抽出し、抽出した低解像度ビットストリームを、シングルストリーム送信部９０がクライアント２に送信する（ステップＳ６）。

クライアント２では、映像ストリーム受信部２０１が低解像度ビットストリームを受信し、映像復号部２０２が低解像度ビットストリームを復号して、復号して得られた表示領域復号信号を、表示制御部２１２が画像として表示部２１３に表示する（ステップＳ７）。続いて、ユーザインターフェース部２１１への操作入力によって、視聴希望領域が選択されたか否かが判断され（ステップＳ８）、選択操作を受け付けていない場合には、ステップＳ８の判断が繰り返される。選択操作を受け付けた場合には、視点領域管理部２０９が視点情報を生成し、生成された視点情報を視点情報送信部２１０がサーバ１に送信する（ステップＳ９）。

サーバ１の視点情報受信部６０で視点情報が受信されると、視点情報により特定される複数のビットストリームが、映像ビットストリーム群蓄積部４０からシングルストリーム生成部８０の符号化ストリーム抽出部８２によって抽出される（ステップＳ１０）。そして、視点情報に含まれる視点移動速度の大きさ等に基づいて、シングルストリーム生成部８０のシングルストリーム再構成処理制御部８５が、各分割領域に対応するビットストリームの再符号化が必要であるか否かを判断する（ステップＳ１１）。

再符号化は必要ないと判断した場合（ステップＳ１２）には、映像ビットストリーム群蓄積部４０から抽出した複数のビットストリームを用いて、シングルストリーム生成部８０のシングルストリーム構成部８４がシングルストリームを構成する（ステップＳ１３）。

再符号化が必要であると判断した場合には（ステップＳ１２）、シングルストリーム再構成処理制御部８５が、分割領域を構成する各ビットストリームの再量子化パラメータを決定する（ステップＳ１４）。そして、再符号化処理部８６が、再量子化パラメータを用いて複数のビットストリームを再び符号化する（ステップＳ１５）。

さらに、シングルストリーム再構成処理制御部８５が、再符号化されたビットストリームを用いてシングルストリームを再構成する（ステップＳ１６）。そして、シングルストリーム構成部８４又はシングルストリーム再構成処理制御部８５によって再構成されたシングルストリームを、シングルストリーム送信部９０がクライアント２に送信する（ステップＳ１７）。

クライアント２では、映像ストリーム受信部２０１が受信したシングルストリームを、映像復号部２０２が復号し、復号して得られた表示領域復号信号を、表示制御部２１２が画像として表示部２１３に表示する（ステップＳ１８）。続いて、ユーザの視点位置（視聴希望領域の位置）に変更があったか否かが判断され（ステップＳ１９）、視点位置に変更があった場合には、ステップＳ９に戻って処理が続けられる。視点位置に変化がない場合は、ステップＳ１９の判断が続けられる。この判断は、ユーザによる視聴が終了するまでの間継続して行われる。

［第１の実施の形態による効果］
上述した第１の実施の形態によれば、サーバ１において、予め分割領域映像ビットストリームが生成・蓄積されるため、クライアント２から視点情報が送信される度に映像信号の符号化処理を行わなくてもよくなる。

また、このとき、各分割領域に対応するビットストリームを、領域間で動きベクトルや量子化係数、量子化パラメータ等の予測関係を持たせずに独立して行うため、動きベクトルの検出や動き補償、係数変換等の処理をサーバ１で行う必要がなくなる。

これにより、サーバ１に接続されるクライアント２の数が増加した場合にも、サーバ１における処理量の増大を最小限に抑えることができるようになる。

また、上述した第１の実施の形態によれば、分割領域映像ビットストリームが、異なる解像度に対応して複数種類用意される。これにより、ユーザにおいて、映像の全体像を把握するための視聴と、詳細な部分を確認するための視聴とが繰り返された場合にも、サーバ１からクライアント２に対して、ユーザが希望する解像度の映像が素早く提供されるようになる。

また、オリジナルの高精細映像の解像度品質と同レベルの解像度品質を有する分割領域映像ビットストリームが生成されるため、クライアント２において映像の補間処理を行う必要がなくなる。従って、ユーザは、高精細な映像をそのままの品質で視聴することができるようになる。

また、上述した第１の実施の形態によれば、クライアント２によって視聴希望領域として希望された領域に対応するビットストリームだけでなく、その周辺領域を構成するビットストリームも、サーバ１からクライアント２に送信される。これにより、視聴希望領域（ユーザの視点位置）が移動した場合にも、伝送領域Ａｔとして送信された周辺領域のビットストリームを復号して、クライアント２の表示部２１３に表示させることができる。つまり、サーバ１とクライアント２との間で行われる通信の回数を低減できるため、この通信に起因して発生する遅延を回避することができるようになる。

また、上述した第１の実施の形態によれば、ユーザの視点位置の移動速度の大きさに応じて、視聴希望領域に対応する表示領域Ａｄに割り当てるビットストリームの品質と、その周辺の領域に割り当てるビットストリームの品質とが動的に制御される。これにより、高品質で伝送すべきビットストリームの品質を落とすことなく、限られたネットワーク帯域を有効的に利用して、映像の配信を行うことができる。また、視点位置が大きく移動した場合にも、視聴希望領域に対応する映像を、クライアント２の表示部２１３の画面上に素早く表示させることができる。

また、上述した第１の実施の形態によれば、複数の分割領域映像ビットストリームがシングルストリームとしてクライアント２に伝送される。従ってクライアント２では、ネットワーク３を介して取得したシングルストリームを復号するだけで、視聴希望領域として指定した領域の映像を得ることができる。すなわち、クライアント２での処理の負荷を低減させることができる。

［変形例］
なお、上述した第１の実施の形態において、視点位置の移動速度の大きさに応じて、伝送領域Ａｔのサイズを流動的に変化させる制御を行うようにしてもよい。

また、上述した第１の実施の形態において、映像内の特定のオブジェクトを追従する機能を持たせ、ユーザにより特定されたオブジェクトを自動追尾できるように構成してもよい。

＜２．第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。本実施の形態では、複数の外部の映像配信サーバから配信される複数の映像ビットストリームを、表示画面を複数に分割した各分割領域に映像として表示させ、その表示の中から、視聴したい映像をユーザが選択できるようにした例を説明する。

［サーバの構成例］
図１３は、本例の伝送システムを構成するサーバ１′の内部構成例を示すブロック図である。図１３に示すサーバ１′は、ネットワーク３を介して、クライアント２と接続されている。図１３において、図４と対応する箇所には同一の符号を付してあり、詳細な説明は省略する。

サーバ１′には、映像配信を行う複数の外部映像配信サーバ５−１〜外部映像配信サーバ５−ｍ（ｍは自然数）が接続されている。そして、サーバ１′には、複数映像ビットストリーム取得部３１０と、複数映像ビットストリーム群蓄積部４０′と、複数映像表示位置決定部３２０と、マルチストリーム情報蓄積部５０と、視点情報受信部６０と、クライアントステータス管理部７０と、シングルストリーム生成部８０と、シングルストリーム送信部９０とが含まれる。

複数映像ビットストリーム取得部３１０は、複数の外部映像配信サーバ５−１〜外部映像配信サーバ５−ｍから配信される複数の映像ビットストリームを受信して、受信した各映像ビットストリームを複数映像ビットストリーム群蓄積部４０′に供給する。 複数映像ビットストリーム群蓄積部４０′は、複数映像ビットストリーム取得部３１０から供給された映像ビットストリームを蓄積する。

複数映像表示位置決定部３２０は、複数映像ビットストリーム取得部３１０が取得した各映像ビットストリームを、外部映像配信サーバ５−１から配信される複数の映像を空間的に並べて配置することにより生成される全体映像Ａｗ′の中の、どの位置に配置するかを決定する。ここでいう全体映像Ａｗ′は、外部映像配信サーバ５−１から配信される映像ビットストリームの数によってそのサイズが流動的に変わるものであり、映像ビットストリームの数が多い場合には、その大きさは非常に巨大なものとなる。そして、各映像ビットストリームを構成する各ＭＢの、全体領域Ａｗ′における位置情報と、符号化ビットレートとを、マルチストリーム情報蓄積部５０と、後述する複数音声ビットストリーム取得部３３０とに出力する。

マルチストリーム情報蓄積部５０′は、複数映像表示位置決定部３２０から供給される、各映像ビットストリームの全体領域Ａｗ′におけるＭＢ位置情報を、マルチストリーム情報として管理する。そして、マルチストリーム情報をシングルストリーム生成部８０′とクライアントステータス管理部７０とに送信する。

視点情報受信部６０及びクライアントステータス管理部７０は、第１の実施の形態における処理と同様の処理を行う。

シングルストリーム生成部８０′は、クライアントステータス管理部７０から供給される視点情報に基づいて、視点情報により特定される映像を構成する映像ビットストリームを、複数映像ビットストリーム群蓄積部４０′から抽出する。そして、抽出した複数の映像ビットストリーム群を用いてシングルストリームを構成し、生成したシングルストリームを、シングルストリーム送信部９０に供給する。シングルストリーム送信部９０は、シングルストリーム生成部８０′から供給されたシングルストリームをクライアント２に送信する。

また、サーバ１′には、複数音声ビットストリーム取得部３３０と、音声ビットストリーム蓄積部３４０と、音声ビットストリーム抽出部３５０と、音声ビットストリーム送信部１５０とが含まれる。

複数音声ビットストリーム取得部３３０は、複数の外部映像配信サーバ５−１〜外部映像配信サーバ５−ｍから配信される複数の音声ビットストリームを受信して、受信した各音声ビットストリームを音声ビットストリーム蓄積部３４０に供給する。音声ビットストリーム蓄積部３４０は、複数音声ビットストリーム取得部３３０から供給された音声ビットストリームを蓄積する。

音声ビットストリーム抽出部３５０は、クライアントステータス管理部７０から供給される視点情報に基づいて、視点情報により特定された映像と対応する音声ビットストリームを、音声ビットストリーム蓄積部３４０から抽出する。そして、抽出した音声ビットストリームを、音声ビットストリーム送信部１５０に送信する。音声ビットストリーム送信部１５０は、音声ビットストリーム抽出部３５０から送信された音声ビットストリームを、クライアント２に送信する。

［第２の実施の形態による効果］
上述した第２の実施の形態によれば、複数の映像配信サーバ５から送信される様々なビットストリームによる映像が、クライアント２の表示部２１３の画面上に並んで表示されるようになる。そして、これらの映像の中からクライアント２のユーザによって指定された特定の映像が、サーバ１によって抽出されてクライアント２に送信される。これにより、例えば、多チャンネルを使用して配信されるすべての番組プログラム又は映像コンテンツの中から、ユーザが好みのものを容易に選択して視聴することができるようになる。

この場合も、第１の実施の形態と同様に、複数の映像配信サーバ５から配信されるビットストリームがシングルストリームに再構成されてクライアント２に送信されるため、クライアント２における処理の負担を軽減することができる。

［変形例］
なお、本実施の形態では、サーバ１′とクライアント２とで伝送システムを構成する場合を例に挙げたが、これに限定されるものではない。例えば、クライアント２に、図１３に示したサーバ１′の機能を持たせるように構成してもよい。具体的な例としては、多数のチャンネルを通して配信される番組プログラムを受信するとともに、その表示も行うテレビジョン受像器等の装置において、本実施の形態の伝送システムを構成するようにしてもよい。

１，１′…サーバ、２…クライアント、３…ネットワーク、５…映像配信サーバ、１０…映像信号入力部、２０…映像領域分割処理部、３０…部分領域符号化処理部、４０…映像ビットストリーム群蓄積部、４０′…複数映像ビットストリーム群蓄積部、５０，５０′…マルチストリーム情報蓄積部、６０…視点情報受信部、７０…クライアントステータス管理部、７１…視点領域管理部、７２…視点情報送信部、７３…ストリーミングサーバ処理部、８０，８０′…シングルストリーム生成部、８１…視聴領域ストリーム決定処理部、８２…符号化ストリーム抽出部、８３…切替部、８４…シングルストリーム構成部、８５…シングルストリーム再構成処理制御部、８６…再符号化処理部、９０…シングルストリーム送信部、１００…音声信号入力部、１１０…音声符号化処理部、１２０…メタ情報入力部、１３０…音声ビットストリーム・メタ情報蓄積部、１４０…音声ビットストリーム抽出・ミキサ処理部、１５０…音声ビットストリーム送信部、２０１…映像ストリーム受信部、２０２…映像復号部、２０３…ストリーミングクライアント処理部、２０４…クライアント管理部、２０５…音声ストリーム受信部、２０６…音声復号部、２０７…音声出力部、２０８…送信状態情報受信部、２０９…視点領域管理部、２１０…視点情報送信部、２１１…ユーザインターフェース部、２１２…表示制御部、２１３…表示部、３１０…複数映像ビットストリーム取得部、３２０…複数映像表示位置決定部、３３０…複数音声ビットストリーム取得部、３４０…音声ビットストリーム蓄積部、３５０…音声ビットストリーム抽出部、８５１…再符号化判断部、８５２…再量子化係数決定部、８５３…符号化レート制御部、８５４…ストリーム抽出制御情報生成部、８６１…逆量子化処理部、８６２…量子化処理部、８６３…符号化モード変更部、Ａｄ…表示領域、Ａｈ…高品質符号化領域、Ａｐ…分割領域、Ａｔ…伝送領域、Ａｗ…全体領域

Claims (15)

1. 入力映像信号の映像領域を所定数の領域に分割して、前記分割された各領域に対応する複数の領域分割映像信号を生成する映像領域分割処理部と、
   前記複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成する符号化処理部と、
   前記符号化処理部で生成された複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部と、
   当該送信装置とネットワークで接続された受信装置から送信される、前記映像領域の中から前記受信装置のユーザによって視聴を希望する領域として指定された視聴位置の情報を含む視点情報を受信する視点情報受信部と、
   前記視点情報受信部で受信した前記視点情報に基づいて、前記視聴位置により特定される第１の領域に対応する前記映像ビットストリーム及び、前記第１の領域の周辺領域である第２の領域に対応する前記映像ビットストリームを、前記映像ビットストリーム群蓄積部から抽出して、伝送用の映像ビットストリームを生成する伝送用ビットストリーム生成部と、
   前記伝送用ビットストリーム生成部で生成された前記伝送用の映像ビットストリームを前記受信装置に送信する映像ビットストリーム送信部とを備えた
   送信装置。
2. 前記視点情報には前記視聴位置の移動速度の情報が含まれ、
   前記伝送用ビットストリーム生成部は、
   前記映像ビットストリームを逆量子化してより低い量子化レベルで再符号化する再符号化処理部と、
   前記視聴位置の移動速度の大きさに応じて、前記第１の領域に対応する前記映像ビットストリームと前記第２の領域に対応する前記映像ビットストリームのいずれかを前記再符号化処理部に出力する伝送用ビットストリーム再構成処理部とを備えた
   請求項１記載の送信装置。
3. 前記伝送用ビットストリーム再構成処理部は、前記視聴位置の移動速度が予め設定された所定の閾値を超えない場合で、かつ処理対象の前記映像ビットストリームが前記第１の領域又は、前記第１の領域の周辺の領域でありかつ前記第２の領域より狭い範囲の前記第３の領域以外の領域である、第４の領域に対応している場合には、前記第４の領域に対応する前記映像ビットストリームを前記再符号化処理部に出力し、前記視聴位置の移動速度が予め設定された所定の閾値を超えた場合には、前記第１〜第４の領域に対応する前記映像ビットストリームを前記再符号化処理部に出力する
   請求項２記載の送信装置。
4. 前記映像領域分割処理部は、前記入力映像信号の映像領域を分割した各分割領域に対応する、前記入力映像信号の有する解像度と略同一の解像度を有する第１の領域分割映像信号と、前記入力映像信号の映像領域の映像をより低い解像度に変換した第２の領域分割映像信号とを生成し、
   前記映像ビットストリーム群蓄積部には、前記第１の映像領域分割映像信号から生成された第１の映像ビットストリームと、前記第２の映像領域分割映像信号から生成された第２の映像ビットストリームとが蓄積され、
   前記視点情報には、前記ユーザが要求する視聴領域のサイズを示す要求解像度情報が含まれ、
   前記伝送用ビットストリーム生成部は、前記要求解像度情報によって特定される解像度と対応する解像度を有する映像ビットストリームを、前記映像ビットストリーム群蓄積部から抽出する
   請求項３記載の送信装置。
5. 前記第２の領域分割映像信号には、前記入力映像信号の映像領域の映像を分割せず、低い解像度に変換した低解像度領域分割映像信号と、前記入力映像信号の映像領域の映像を分割して、前記低解像度領域分割映像信号における解像度よりも高い解像度に変換した中解像度領域分割映像信号とが含まれる
   請求項４記載の送信装置。
6. 前記伝送用ビットストリーム生成部は、前記映像ビットストリーム群蓄積部から抽出した複数の映像ビットストリームを読み出した順に繋ぎ合わせて１本のビットストリームであるシングルストリームを生成する
   請求項５記載の送信装置。
7. 前記符号化処理部は、前記複数の領域分割映像信号を、領域間での予測関係を持たせずない方式で独立に符号化する
   請求項１記載の送信装置。
8. 入力音声信号を符号化して音声ビットストリームを生成する音声符号化処理部と、
   前記音声符号化処理部で生成された音声ビットストリームを、前記入力音声信号が生成された位置の情報と対応づけて蓄積する音声ビットストリーム蓄積部と、
   前記視点情報に基づいて、前記視点情報により特定される映像領域と対応する位置で生成された音声信号から生成された複数の音声ビットストリームを前記音声ビットストリーム蓄積部から抽出して、前記抽出した複数の音声ビットストリームを混合する音声ビットストリーム抽出・混合処理部と、
   前記音声ビットストリーム抽出・混合処理部で混合された音声ビットストリームを前記受信装置に送信する音声ビットストリーム送信部とをさらに備えた
   請求項７記載の送信装置。
9. 複数の映像配信サーバから配信される複数の映像ビットストリームを取得する映像ビットストリーム取得部と、
   前記映像ビットストリーム取得部が取得した複数の映像ビットストリームを蓄積する複数映像ビットストリーム蓄積部と、
   前記映像ビットストリーム取得部が取得した複数の映像ビットストリームのそれぞれを、前記複数の映像ビットストリームによる複数の映像を空間的に並べて配置することにより生成される全体領域の中の、どの位置に配置するかを決定する表示位置決定部と、
   前記受信装置から送信される、前記複数の映像ビットストリームによる映像が表示された前記全体領域の中から前記受信装置のユーザによって視聴を希望する領域として指定された視聴位置の情報を含む視点情報を受信する視点情報受信部と、
   前記視点情報受信部が受信した前記視点情報により特定される領域と対応する前記表示領域を構成する前記映像ビットストリームを、前記映像ビットストリーム蓄積部から抽出して伝送用の映像ビットストリームを生成する伝送用ビットストリーム生成部と、
   前記伝送用ビットストリーム生成部で生成された前記伝送用の映像ビットストリームを前記受信装置に送信する映像ビットストリーム送信部とを備えた
   送信装置。
10. ネットワークで接続された送信装置から送信された映像ビットストリームを受信する映像ビットストリーム受信部と、
    前記映像ビットストリーム受信部で受信した前記映像ビットストリームを復号して映像信号を得る復号処理部と、
    前記復号処理部で復号された映像信号による画像が有する領域の中から視聴を希望する位置を特定するための操作を受け付ける操作入力部と、
    前記映像ビットストリーム受信部が受信した前記映像ビットストリームの中に、前記視聴を希望する位置として特定された視聴位置に対応する映像ビットストリームと前記視聴位置の周辺領域に対応する映像ビットストリームが含まれている場合には、前記復号処理部で復号された前記映像信号の中から前記視聴位置に対応する部分の映像信号を抽出して前記表示部に表示させる表示制御部と、
    前記視聴位置の位置情報を含む視点情報を生成する視点情報生成部と、
    前記視点情報を前記送信装置に送信する視点情報送信部とを備えた
    受信装置。
11. 前記復号処理部で復号された映像信号を画像として表示する表示部をさらに備えた
    請求項１０記載の受信装置。
12. ネットワークで接続された送信装置から送信された映像ビットストリームを受信するステップと、
    前記受信した前記映像ビットストリームを復号して映像信号を得るステップと、
    前記映像信号による画像が有する領域の中から視聴を希望する位置を特定するための操作を受け付けるステップと、
    前記視聴を希望する位置として特定された視聴位置の位置情報を含む視点情報を生成するステップと、
    前記視点情報を前記送信装置に送信するステップと
    前記復号して得られた映像信号の中に、前記視聴位置に対応する映像信号と前記視聴位置の周辺領域に対応する映像信号が含まれている場合には、前記復号された前記映像信号の中から前記視聴位置に対応する部分の映像信号を抽出して前記表示部に表示させるステップとを含む
    受信方法。
13. ネットワークで接続された受信装置に対してデータを送信する送信装置で使用される送信方法において、
    入力映像信号の映像領域を所定数の領域に分割して、前記分割された各領域に対応する複数の領域分割映像信号を生成するステップと、
    前記複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成するステップと、
    前記符号化処理部で生成された複数の映像ビットストリームを蓄積するステップと、
    前記受信装置から送信される、前記映像領域の中から前記受信装置のユーザによって視聴を希望する領域として指定された視聴位置の情報を含む視点情報を受信するステップと、
    前記視点情報に基づいて、前記視聴位置により特定される第１の領域に対応する前記映像ビットストリーム及び、前記第１の領域の周辺領域である第２の領域に対応する前記映像ビットストリームを、前記蓄積された映像ビットストリーム群の中から抽出して、伝送用のビットストリームを生成するステップと、
    前記伝送用のビットストリームを前記受信装置に送信するステップとを含む
    送信方法。
14. 入力映像信号の映像領域を所定数の領域に分割して、前記分割された各領域に対応する複数の領域分割映像信号を生成する映像領域分割処理部と、
    前記複数の領域分割映像信号を符号化して複数の映像ビットストリームを生成する符号化処理部と、
    前記符号化処理部で生成された複数の映像ビットストリームを蓄積する映像ビットストリーム群蓄積部と、
    当該送信装置とネットワークで接続された受信装置から送信される、前記映像領域の中から前記受信装置のユーザによって視聴を希望する領域として指定された視聴位置の情報を含む視点情報を受信する視点情報受信部と、
    前記視点情報受信部で受信した前記視点情報に基づいて、前記視聴位置により特定される第１の領域に対応する前記映像ビットストリーム及び、前記第１の領域の周辺領域である第２の領域に対応する前記映像ビットストリームを、前記映像ビットストリーム群蓄積部から抽出して、伝送用の映像ビットストリームを生成する伝送用ビットストリーム生成部と、
    前記伝送用ビットストリーム生成部で生成された前記伝送用の映像ビットストリームを前記受信装置に送信する送信部とを備えた送信装置と、
    前記送信装置から送信された映像ビットストリームを受信する映像ビットストリーム受信部と、
    前記映像ビットストリーム受信部で受信した前記映像ビットストリームを復号して映像信号を得る復号処理部と、
    前記復号処理部で復号された映像信号による画像が有する領域の中から視聴を希望する位置を特定するための操作を受け付ける操作入力部と、
    前記映像復号処理部で復号された前記映像信号の中に、前記視聴を希望する位置として特定された視聴位置に対応する映像信号と前記視聴位置の周辺領域に対応する映像信号が含まれている場合には、前記復号処理部で復号された前記映像信号の中から前記視聴位置に対応する部分の映像信号を抽出して前記表示部に表示させる表示制御部と、
    前記視聴位置の位置情報を含む視点情報を生成する視点情報生成部と、
    前記視点情報を前記送信装置に送信する視点情報送信部とを備えた受信装置とを含む
    伝送システム。
15. 複数の映像配信サーバから配信される複数の映像ビットストリームを取得する映像ビットストリーム取得部と、
    前記映像ビットストリーム取得部が取得した複数の映像ビットストリームを蓄積する複数映像ビットストリーム蓄積部と、
    前記映像ビットストリーム取得部が取得した複数の映像ビットストリームのそれぞれを、当該送信装置とネットワークで接続された受信装置の表示画面上のいずれの分割領域に表示させるかを決定する表示位置決定部と、
    前記複数の映像ビットストリームによる映像が表示された前記複数の分割領域の中からユーザによって視聴を希望する領域として指定された視聴位置の情報を含む視点情報を生成する視点情報生成部と、
    前記視点情報により特定される領域と対応する前記表示領域を構成する前記映像ビットストリームを、前記映像ビットストリーム蓄積部から抽出する映像ビットストリーム抽出部と、
    前記抽出された映像ビットストリームを復号して映像信号を得る復号処理部と、
    前記復号処理部で復号された映像信号を画像として表示する表示部と、
    前記復号処理部で復号された映像信号による画像が有する領域の中から視聴を希望する位置を特定するための操作を受け付ける操作入力部と、
    前記復号して得られた映像信号の中に、前記視聴を希望する位置として特定された視聴位置に対応する映像信号と前記視聴位置の周辺領域に対応する映像信号が含まれている場合には、前記復号処理部で復号された前記映像信号の中から前記視聴位置に対応する部分の映像信号を抽出して前記表示部に表示させる表示制御部とを備えた
    受信装置。

Images