JP6969572B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、広視野角画像の動画像データを符号化して得られたビデオストリームを送信する送信装置等に関する。

広視野角画像は、広視野角に対応するミラーやレンズなどを用いてキャプチャされたものである。例えば、特許文献１には、広視野角画像としての全方位画像などの記載がある。

広視野角画像の動画像データを送信する場合、受信側においては、表示の際に変換の仕方によって表示対象部分が異なってくる。そのため、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させたい場合に、従来は、その方法が存在しないという問題があった。

特開２００９−２００９３９号公報

本技術の目的は、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示可能とすることにある。

本技術の概念は、
広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備える
送信装置にある。

本技術において、送信部により、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナが送信される。情報挿入部により、広視野角画像内に設定されたターゲットポイントの情報がビデオストリームに挿入される。例えば、情報挿入部は、ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する、ようにされてもよい。また、例えば、情報挿入部は、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する、ようにされてもよい。

例えば、ターゲットポイントの情報は、広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む、ようにされてもよい。また、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域を有効画像領域とし、長方形領域内の基準となる点からの２次元相対位置の情報を含む、ようにされてもよい。この場合、例えば、基準となる点は、長方形領域のトップ・レフトの点である、ようにされてもよい。また、この場合、例えば、基準となる点は、長方形領域内に存在する楕円の有効画像領域上に設定された基準点である、ようにされてもよい。

このように本技術においては、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイントの情報を挿入して送信するものである。そのため、ターゲットポイントの情報を用いることで、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることが可能となる。

また、本技術の他の概念は、
広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理部をさらに備える
受信装置にある。

本技術において、受信部により、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナが受信される。ビデオストリームには、広視野角画像内に設定されたターゲットポイントの情報が挿入されている。処理部により、ビデオストリームを復号化して得られた広視野角画像の動画像データがターゲットポイントの情報が用いられて広視野角画像のうちのターゲットポイントに対応した一部領域の画像を表示するように処理される。

このように、本技術においては、ビデオストリームを復号化して得られた広視野角画像の動画像データを、ビデオストリームに挿入されている広視野角画像内に設定されたターゲットポイントの情報を用いて、広視野角画像のうちのターゲットポイントに対応した一部領域の画像を表示するように処理するものである。そのため、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることが可能となる。

なお、本技術において、例えば、複数のターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、処理部は、ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる、ようにされてもよい。これにより、ユーザは、表示される一部領域の画像の選択を容易に行い得る。

本技術によれば、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点（ＲＰ）の情報を説明するための図である。 広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報を説明するための図である。 広視野角画像上に設定されるターゲットポイント（Ｔｐ）の情報（タイプ１）を説明するための図である。 広視野角画像上に設定されるターゲットポイント（Ｔｐ）の情報（タイプ２）を説明するための図である。 広視野角画像内に設定されるターゲットポイント（ＴＰ）の設定例を示す図である。 広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報が挿入される場合における受信側の処理を説明するための図である。 広視野角画像の長方形領域内に楕円の有効画像領域が２個存在し、ターゲットポイント（ＴＰ）がタイプ１で指定される例を説明するための図である。 広視野角画像の長方形領域内に楕円の有効画像領域が２個存在し、ターゲットポイント（ＴＰ）がタイプ２で指定される例を説明するための図である。 広視野角画像内に設定されるターゲットポイント（ＴＰ）の設定例を示す図である。 広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報が挿入される場合における受信側の処理を説明するための図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例を示す図（１/２）である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例を示す図（２/２）である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 受信装置の構成例を示すブロック図である。 ＵＩ画面の一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、全方位画像などの広視野角画像の動画像データを符号化して得られたビデオストリームが含まれている。そして、このビデオストリームには、広視野角画像内に設定されたターゲットポイントの情報が挿入されている。

このターゲットポイントの情報は、全てのピクチャの符号化データに対応して、あるいはＧＯＰ（Group Of Picture）の先頭のピクチャの符号化データのみに対応して挿入される。この実施の形態において、トランスポートストリームＴＳには、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と、この楕円の有効画像領域上に設定された基準点の情報も挿入される。

例えば、ターゲットポイントの情報は、広視野角画像の長方形領域内に存在する楕円（円を含む）の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含むものとされる。また、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域を有効画像領域とし、長方形領域内の基準となる点からの２次元相対位置の情報を含むものとされる。この場合、例えば、基準となる点は、長方形領域のトップ・レフトの点、あるいは長方形領域内に存在する楕円の有効画像領域上に設定された基準点とされる。

受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、広視野角画像の動画像データを符号化して得られたビデオストリームが含まれている。そして、このビデオストリームには、広視野角画像内に設定されたターゲットポイントの情報が挿入されている。

受信装置２００は、ビデオストリームを復号化して得られた広視野角画像の動画像データを、ターゲットポイントの情報を用いて、広視野角画像のうちのターゲットポイントに対応した一部領域の画像を表示するように処理する。この実施の形態において、受信装置２００は、複数のターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示し、このユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる。ユーザは、表示される一部領域の画像の選択を容易に行い得る。

「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、ユーザ操作部１０１ａと、表示部１０１ｂと、広視野角カメラ１０２と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）１０３と、ビデオエンコーダ１０４と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０５と、ＴＳフォーマッタ１０６と、送信部１０７を有している。

制御部１０１は、ＣＰＵ（Central Processing Unit）を備えており、送信装置１００の各部の動作を制御する。この制御部１０１には、ユーザインタフェースを構成するユーザ操作部１０１ａおよび表示部１０１ｂが接続されている。ユーザは、ユーザ操作部１０１ａにより種々の入力操作を行うことができる。例えば、ユーザ操作部１０１ａから、表示部１０１ｂに表示される広視野角画像の内に、ターゲットポイントを設定する操作を行うことができる。

広視野角カメラ１０２は、被写体を撮像して全方位画像などの広視野角画像の動画像データＶＤを得る。上述したように広視野角画像内にターゲットポイントを設定する際には、広視野角カメラ１０２で得られた広視野角画像の動画像データＶＤが制御部１０１を介して表示部１０１ｂに送られて、この表示部１０１ｂに広視野角画像が表示される。ビデオエンコーダ１０４は、非圧縮データバッファ１０３を通じて広視野角画像の動画像データＶＤを入力し、ＡＶＣあるいはＨＥＶＣなどで符号化してビデオストリームを得る。

この際、ビデオエンコーダ１０４は、ビデオストリームに、上述したようにユーザ操作部１０１ａからのユーザ操作で設定されたターゲットポイントの情報を挿入する。ここで、ターゲットポイントの個数は１個、あるいは２個以上である。また、ビデオエンコーダ１０４は、ビデオストリームに、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と、この楕円の有効画像領域上に設定された基準点（RP: Reference Point）の情報も挿入する。ビデオエンコーダ１０４は、これらの情報を、全てのピクチャの符号化データに対応して、あるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する。

各情報について説明する。図３を参照して、基準点（ＲＰ）の情報について説明する。この基準点（ＲＰ）は、広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定され、基準となる位置、例えば楕円の中心を示す。図３において、広視野角画像の長方形領域内に楕円の有効画像領域が存在し、この有効画像領域上に基準点（ＲＰ）が設定される。基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合(ｒｈ％，ｒｖ％)として指定される。

なお、一連の相対位置で示す位置は、精度をよく取っておくことでビデオの解像度に依存せずに的確な位置の指定が行えるメリットがある。ビデオの解像度が予め特定できる場合は、位置の指定をすべて、相対位置でなく画素数で表すこともできる。

次に、図４を参照して、楕円の有効画像領域の情報について説明する。この場合、外側の長方形に対する楕円（円を含む）の外形位置を特定するために、基準点（ＲＰ）から長方形の特定位置へ引いた線分を水平軸からの角度θで表し、基準点ＲＰから、その線分が円または楕円と交わる点への長さの、線分に対する比を角度θにおけるパーセンテージで表す。例えば、図４の線分ＯＰは水平軸より角度θの方向へ向かうものであり、ＯＰの長さを１とするとＯＱは比率ｒとして表される。

図４のような楕円の軌道は、以下のように、Ａ〜Ｄの４点をその角度とパーセンテージ、（θ、r)で表し、それらを通る軌道として求めることができ、楕円の有効画像領域を得ることが可能となる。
Ａ：（０，ＯＡ/ＯＳ）
Ｂ：（９０，１（ＯＢ/ＯＴ＝１）)
Ｃ：（１８０，ＯＣ/ＯＵ）
Ｄ：（２７０，１（ＯＤ/ＯＷ＝１））
なお、ＯＡ，ＯＢ，ＯＣ，ＯＤの角度は必ずしも９０度刻みである必要はなく、水平軸からの角度として任意に指定できる要素である。

次に、ターゲットポイント（ＴＰ）の情報について説明する。最初に、図５を参照して、タイプ１（Type1）を説明する。このタイプ１の場合、ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域に存在する楕円の有効画像領域上に設定された基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで示される（ＴＰ（φ，ｄｒ））。ここで、角度φは、基準点（ＲＰ）における水平線の角度を０として、そこから反時計回りの度数で示される。また、相対半径ｄｒは、角度φにおける有効画素領域の端点までの距離（半径に相当する）を１とした場合の割合で示される。

次に、図６を参照して、タイプ２（Type2）を説明する。このタイプ２の場合、ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域を有効画像領域とし、この長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示される。このタイプ２は、有効画像領域が楕円範囲内に収まらない場合に有効な方法である。

基準となる点が長方形領域のトップ・レフト（top-left）である場合、ターゲットポイント（ＴＰ）は（ｔｘ、ｔｙ）で示される。また、基準となる点が基準点（ＲＰ）である場合、ＲＰ（ｒｈ，ｒｖ）であるとして、ターゲットポイント（ＴＰ）は（ｔｘ−ｒｈ，ｔｙ−ｒｖ）で示される。この場合、ターゲットポイント（ＴＰ）の水平位置に関しては基準となる点から右側方向では正値となると共に左側方向では負値となり、またその垂直位置に関しては基準となる点から下側方向では正値となると共に上側方向では負値となる。

図７は、広視野角画像内に設定されたターゲットポイント（ＴＰ）の設定例を示している。この例は、ターゲットポイント（ＴＰ）が基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで指定された場合の例である。ＴＰ１〜ＴＰ６のターゲットポイントは、基準点（ＲＰ）からの楕円の相対半径ｄｒがｄｒ１で共通となっている。ＴＲ７のターゲットポイントは、基準点（ＲＰ）からの楕円の相対半径ｄｒがｄｒ２で、ＴＰ１〜ＴＰ６のターゲットポイントとは異なっている。

図８（ａ）は、図７に示す広視野角画像をパノラマ展開して得られた画像を示している。図８（ｂ）は、パノラマ展開画像上におけるＴＰ１〜ＴＰ７のターゲットポイントの位置を示している。各ターゲットポイントはターゲットＩＤで識別される。受信側では、図８（ｃ）に示すように、ターゲットＩＤで識別される各ターゲットポイントから所望のターゲットポイントを選択することで、そのターゲットポイントに対応した一部領域の画像表示が可能となる。この場合、ターゲットポイントが表示の中心となるように表示が行われる。なお、表示後に、ユーザ操作で表示領域をずらしていくことは自由に行われる。

上述例では、広視野角画像の長方形領域内に楕円の有効画像領域が１個だけ存在している。しかし、広視野角画像の長方形領域内に楕円の有効画像領域が複数個存在する場合もある。その場合にあっても、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報に関しては、上述例と同様に考えることができる。

図９は、広視野角画像の長方形領域内に楕円の有効画像領域が２個存在する例であって、ターゲットポイント（ＴＰ）がタイプ１で指定される例を示している。基準点（ＲＰ）は、各楕円有効画像領域上にそれぞれ設定されている。各基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合として指定される。図示の例では、左側の楕円有効画像領域上に設定された基準点（ＲＰ１）の位置は(ｒｈ１％，ｒｖ１％)であり、右側の楕円有効画像領域上に設定された基準点（ＲＰ２）の位置は(ｒｈ２％，ｒｖ２％)である。

また、各楕円有効画像領域は、詳細説明は省略するが、上述例と同様に、軌道上の４点における角度とパーセンテージで示される。各ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域に存在し、自身が属する側の楕円の有効画像領域上に設定された基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで示される。図示の例では、ターゲットポイント（ＴＰ１）は左側の楕円有効画像領域上に設定された基準点（ＲＰ１）からの楕円の相対半径ｄｒ１と水平軸からの角度φ１で示され、ターゲットポイント（ＴＰ２）は右側の楕円有効画像領域上に設定された基準点（ＲＰ２）からの楕円の相対半径ｄｒ２と水平軸からの角度φ２で示される。

図１０は、広視野角画像の長方形領域内に楕円の有効画像領域が２個存在する例であって、ターゲットポイント（ＴＰ）がタイプ２で指定される例を示している。基準点（ＲＰ）は、各楕円有効画像領域上にそれぞれ設定されている。各基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合として指定される。図示の例では、左側の楕円有効画像領域上に設定された基準点（ＲＰ１）の位置は(ｒｈ１％，ｒｖ１％)であり、右側の楕円有効画像領域上に設定された基準点（ＲＰ２）の位置は(ｒｈ２％，ｒｖ２％)である。

また、各楕円有効画像領域は、詳細説明は省略するが、上述例と同様に、軌道上の４点における角度とパーセンテージで示される。各ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域を有効画像領域とし、この長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示される。

図示の例では、基準となる点が長方形領域のトップ・レフト（top-left）である場合、ターゲットポイント（ＴＰ１）は（ｔｘ１、ｔｙ１）で示され、ターゲットポイント（ＴＰ２）は（ｔｘ２、ｔｙ２）で示される。また、基準となる点が基準点（ＲＰ）である場合、ターゲットポイント（ＴＰ１）は左側の楕円の有効画像領域に属するものとされて（ｔｘ１−ｒｈ１，ｔｙ１−ｒｖ１）で示され、ターゲットポイント（ＴＰ２）は右側の楕円の有効画像領域に属するものとされて（ｔｘ２−ｒｈ２，ｔｙ２−ｒｖ２）で示される。この場合、ターゲットポイント（ＴＰ）の水平位置に関しては基準となる点から右側方向では正値となると共に左側方向では負値となり、またその垂直位置に関しては基準となる点から下側方向では正値となると共に上側方向では負値となる。

図１１は、広視野角画像内に設定されたターゲットポイント（ＴＰ）の設定例を示している。この例は、ターゲットポイント（ＴＰ）が広視野角画像の長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示された場合の例である。左側の楕円の有効画像領域内にＴＰ１１のターゲットポイントが設定されている。また、右側の楕円の有効画像慮域内にＴＰ１２，ＴＰ１３のターゲットポイントが設定されている。

図１２（ａ）は、図１１に示す広視野角画像をパノラマ展開して得られた画像を示している。図１２（ｂ）は、パノラマ展開画像上におけるＴＰ１１〜ＴＰ１３のターゲットポイントの位置を示している。各ターゲットポイントはターゲットＩＤで識別される。受信側では、図１２（ｃ）に示すように、ターゲットＩＤで識別される各ターゲットポイントから所望のターゲットポイントを選択することで、そのターゲットポイントに対応した一部領域の画像表示が可能となる。この場合、ターゲットポイントが表示の中心となるように表示が行われる。なお、表示後に、ユーザ操作で表示領域をずらしていくことは自由に行われる。

図２に戻って、ビデオエンコーダ１０４は、具体的には、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報などのメタ情報を持つ、新規定義するターゲット・ポイント・インディケーション・ＳＥＩメッセージ（Target_point_indication SEI message）を挿入する。ビデオエンコーダ１０４は、このターゲット・ポイント・インディケーション・ＳＥＩメッセージを、全てのアクセスユニットに挿入するか、あるいは、ＧＯＰの先頭のアクセスユニットのみに挿入する。

図１３は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。ターゲット・ポイント・インディケーション・ＳＥＩメッセージは、例えば、ＳＥＩメッセージ群「Suffix_SEIs」として配置される。

図１４、図１５は、ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例(Syntax)を示している。図１６は、その構造例における主要な情報の内容（Semantics）を示している。「byte_length」の８ビットフィールドは、このＳＥＩメッセージの以降のサイズをバイト数で示す。

「pointing_type」の８ビットフィールドは、ターゲットポイントの座標位置の指定方法の種別を示す。例えば、“０ｘ０１”は極座標による座標（タイプ１）を示し、“０ｘ０２”は直交座標による座標（タイプ２）を示す。「number_of_active_area」の８ビットフィールドは、符号化エリア（広視野角画像の長方形領域）に存在する楕円の有効画像領域の数を示す。この数の分だけ、以下のフィールドが繰り返し存在する。

「area_id」の８ビットフィールドは、楕円の有効画像領域の識別情報を示す。「rp_position_h」の１６ビットフィールドは、基準点（ＲＰ）の水平位置を画像のトップ・レフト（top-left）からの画像内相対距離で示す。「rp_position_v」の１６ビットフィールドは、基準点（ＲＰ）の垂直位置を画像のトップ・レフト（top-left）からの画像内相対距離で示す。「degree_h」の１６ビットフィールドは、楕円の長径の水平軸からの傾きを示す度数を示す。「degree_v」の１６ビットフィールドは、楕円の短径の水平軸からの傾きを示す度数を示す。

「h_boundary_r」の１６ビットフィールドは、基準点（ＲＰ）からの楕円長径（「degree_h」で示される）の右端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。「h_boundary_l」の１６ビットフィールドは、基準点（ＲＰ）からの楕円長径（「degree_h」で示される）の左端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。

「v_boundary_t」の１６ビットフィールドは、基準点（ＲＰ）からの楕円短径（「degree_v」で示される）の上端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。「v_boundary_b」基準点（ＲＰ）からの楕円短径（「degree_v」で示される）の下端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。

「pointing_type」が“０ｘ０１”であるとき、以下のフィールドが存在する。「target_id」の８ビットフィールドは、ターゲットポイントの識別情報を示す。例えば、“０”は広視野角全体を見渡すビューであることを示し、“０”以外は個々のビューであることを示す。「direction_degree」の１６ビットフィールドは、水平軸からの角度φを示す。「distance_ratio」の１６ビットフィールドは、基準点（ＰＲ）からの相対半径ｄｒを示す。

また、「pointing_type」が“０ｘ０１”であるとき、以下のフィールドが存在する。「target_id」の８ビットフィールドは、ターゲットポイントの識別情報を示す。例えば、“０”は広視野角全体を見渡すビューであることを示し、“０”以外は個々のビューであることを示す。「relative_h_position」の１６ビットフィールドは、基準となる点からの水平方向相対位置を示す。「relative_v_position」の１６ビットフィールドは、基準となる点からの垂直方向相対位置を示す。

図２に戻って、圧縮データバッファ(ｃｐｂ)１０５は、ビデオエンコーダ１０４で生成されたビデオストリームを、一時的に蓄積する。ＴＳフォーマッタ１０６は、圧縮データバッファ１０５に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０７は、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。

図２に示す送信装置１００の動作を簡単に説明する。広視野角カメラ１０２で得られた広視野角画像の動画像データＶＤは、非圧縮データバッファ(ｄｐｂ)１０３を介して、ビデオエンコーダ１０４に供給される。ビデオエンコーダ１０４では、動画像データＶＤがＡＶＣあるいはＨＥＶＣなどで符号化されて、ビデオストリーム（符号化ストリーム）が得られる。

また、ビデオエンコーダ１０４では、ビデオストリームに、例えば、ユーザ操作で広視野角画像内に設定されたターゲットポイント、さらには、広視野角画像の長方形領域内に存在する楕円の有効画像領域、この楕円の有効画像領域上に設定された基準点（ＲＰ）などの情報が挿入される。これら情報は、全てのピクチャの符号化データに対応して、あるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入される。

具体的には、ビデオエンコーダ１０４では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報などのメタ情報を持つ、新規定義するターゲット・ポイント・インディケーション・ＳＥＩメッセージが挿入される（図１３、図１４、図１５参照）。

ビデオエンコーダ１０４で生成されたビデオストリームは、圧縮データバッファ(ｃｐｂ)１０５に一時的に蓄積される。ＴＳフォーマッタ１０６では、圧縮データバッファ１０５に蓄積されている符号化ストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳは、送信部１０７に送られる。送信部１０７では、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。

「受信装置の構成」
図１７は、受信装置２００の構成例を示している。この受信装置２００は、制御部（Central Processing Unit）２０１と、ユーザ操作部２０１ａと、受信部２０２と、ＴＳ解析部２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４と、ビデオデコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、コンバータ/セレクタ２０７と、合成部２０８と、表示部２０９を有している。

制御部２０１は、ＣＰＵ（Central Processing Unit）を備えており、受信装置２００の各部の動作を制御する。この制御部２０１には、ユーザインタフェースを構成するユーザ操作部２０１ａが接続されている。ユーザは、ユーザ操作部２０１ａにより種々の入力操作を行うことができる。例えば、ユーザ操作部２０１ａからターゲットＩＤを指定することで、表示画像の選択変更が可能となる。

受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。ＴＳ解析部２０３は、トランスポートストリームＴＳから、それに含まれる広視野角画像の動画像データＶＤに係るビデオストリームを取り出して圧縮データバッファ（ｃｐｂ）２０４に送る。

ビデオデコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードする。デコードして得られた各ピクチャの画像データは非圧縮データバッファ２０６に一時的に蓄積される。そして、この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、広視野角画像の動画像データＶＤが得られ、コンバータ/セレクタ２０７に送られる。

また、ビデオデコーダ２０５は、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、上述したように、全てのアクセスユニットに挿入されている、あるいはＧＯＰの先頭のアクセスユニットのみに挿入されているターゲット・ポイント・インディケーション・ＳＥＩメッセージ（図１４、図１５参照）も含まれる。

このターゲット・ポイント・インディケーション・ＳＥＩメッセージは、広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報などのメタ情報を持っている。制御部２０１は、全てのアクセスユニットに、あるいはＧＯＰの先頭のアクセスユニットに対応して、これらの情報を認識する。

コンバータ/セレクタ２０７は、非圧縮データバッファ２０６で得られた広視野角画像の動画像データＶＤにパノラマ展開の画像処理を施して、パノラマ表示用画像データを得る。このパノラマ展開の画像処理は、制御部２０１からの広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報などに基づいて行われる。

また、コンバータ/セレクタ２０７は、広視野角画像の内容を示すサムネイルのデータを生成すると共に、制御部２０１からのターゲットポイント（ＴＰ）の情報に基づいて広視野角画像のうちの各ターゲットポイント（ＴＰ）に対応した一部領域の画像の内容を示すサムネイルのデータを生成し、それらのサムネイルデータを制御部２０１に送る。

制御部２０１は、ユーザが表示画像を選択する際に、コンバータ/セレクタ２０７から送られてくるサムネイルデータに基づいて、広視野角画像や、各ターゲットポイントに対応した一部領域の画像のサムネイルをターゲットＩＤと関連づけて表示するためのＵＩ表示信号を生成する。図１８は、ＵＩ画面の一例を示している。この例は、図７のターゲットポイント（ＴＰ）の設定例に対応している。ユーザは、このＵＩ画面に基づいて、ユーザ操作部２０１ａからターゲットＩＤを指定することで、所望の画像を表示画像として選択できる。

制御部２０１は、ターゲットＩＤの指定情報をコンバータ/セレクタ２０７に送る。なお、制御部２０１は、ユーザ操作によってターゲットＩＤが指定されていない状態では、予め設定されたターゲットＩＤ、例えば“０”あるいは”０”以外の最も小さい値などのターゲットＩＤの情報をコンバータ/セレクタ２０７に送る。

コンバータ/セレクタ２０７は、指定されたターゲットＩＤに対応した画像を表示する表示用画像データを生成する。例えば、指定されたターゲットＩＤが“０”である場合には、広視野角画像の画像データに必要に応じて画素位置の変換や解像度変換などの処理を行って広視野角画像を表示するための表示用画像データを生成する。また、例えば、指定されたターゲットＩＤが“０”以外である場合には、パノラマ表示用画像データから、ターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データを選択的に取り出して表示用画像データを生成する。

合成部２０８は、コンバータ/セレクタ２０７で生成された表示用ビデオ信号および制御部２０１で発生されるＵＩ表示信号を合成して、表示部２０９に送る。表示部２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０９は、受信装置２００に接続される外部機器であってもよい。

表示部２０９は、制御部２０１でＵＩ表示信号を発生していない状態では、コンバータ/セレクタ２０７で生成された表示用ビデオ信号による画像を表示する。また、表示部２０９は、制御部２０１でＵＩ表示信号を発生している状態では、ＵＩ表示信号によるＵＩ画面を表示するか、あるいは表示用ビデオ信号による画像をＵＩ表示信号によるＵＩ画面が重畳された状態で表示する。

なお、コンバータ/セレクタ２０７でパノラマ表示用画像データからターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データが選択的に取り出され、表示部２０９にその一部領域の画像が表示されている状態で、ユーザ操作部２０１ａからの操作で表示画像を上下左右にスクロールすることが可能とされる。この場合、コンバータ/セレクタ２０７は、パノラマ表示用画像データからの取り出し領域を、ユーザ操作に応じて順次変更していく。

図１７に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ＴＳ解析部２０３に供給される。ＴＳ解析部２０３では、トランスポートストリームＴＳから、それに含まれる広視野角画像の動画像データＶＤに係るビデオストリームが取り出され、圧縮データバッファ２０４に送られる。

ビデオデコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出されてデコードされる。デコードされて得られた各ピクチャの画像データは非圧縮データバッファ２０６に一時的に蓄積される。そして、この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、広視野角画像の動画像データＶＤが得られ、コンバータ/セレクタ２０７に送られる。

また、ビデオデコーダ２０５では、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージが抽出され、制御部２０１に送られる。この抽出情報には、ターゲット・ポイント・インディケーション・ＳＥＩメッセージも含まれる。制御部２０１では、全てのアクセスユニットに、あるいはＧＯＰの先頭のアクセスユニットに対応して、広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報が認識される。

コンバータ/セレクタ２０７では、広視野角画像の動画像データＶＤにパノラマ展開の画像処理が施されて、パノラマ表示用画像データが得られる。

また、コンバータ/セレクタ２０７では、広視野角画像の内容を示すサムネイルのデータが生成されると共に、制御部２０１からのターゲットポイント（ＴＰ）の情報に基づいて、広視野角画像のうちの各ターゲットポイント（ＴＰ）に対応した一部領域の画像の内容を示すサムネイルのデータが生成され、それらのサムネイルデータが制御部２０１に送られる。

制御部２０１では、ユーザが表示画像を選択する際に、コンバータ/セレクタ２０７から送られてくるサムネイルデータに基づいて、広視野角画像や、各ターゲットポイントに対応した一部領域の画像のサムネイルをターゲットＩＤと関連づけて表示するためのＵＩ表示信号が生成される。このＵＩ表示信号は、合成部２０８を介して、表示部２０９に供給される。これにより、表示部２０９に、ＵＩ画面（図１８参照）が表示される。ユーザは、このＵＩ画面に基づいて、ユーザ操作部２０１ａからターゲットＩＤを指定することで、所望の画像を表示画像として選択できる。

制御部２０１からコンバータ/セレクタ２０７にターゲットＩＤの指定情報が送られる。なお、ユーザ操作によってターゲットＩＤが指定されていない状態では、予め設定されたターゲットＩＤ、例えば“０”あるいは”０”以外の最も小さい値などのターゲットＩＤの情報が送られる。

コンバータ/セレクタ２０７では、指定されたターゲットＩＤに対応した画像を表示する表示用画像データが生成される。例えば、指定されたターゲットＩＤが“０”である場合には、広視野角画像の画像データに必要に応じて画素位置の変換や解像度変換などの処理が行われて広視野角画像を表示するための表示用画像データが生成される。また、例えば、指定されたターゲットＩＤが“０”以外である場合には、パノラマ表示用画像データから、ターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データが選択的に取り出されて表示用画像データが生成される。

コンバータ/セレクタ２０７で生成された表示用画像データは、合成部２０８を介して、表示部２０９に供給される。これにより、表示部２０９には、その表示用画像データによる画像（広視野角画像、広視野角画像のうちのターゲットポイントに対応した一部領域の画像）が表示される。なお、この画像表示状態で、表示部２０９にＵＩ画面を表示し、このＵＩ画面に基づいてユーザ操作部２０１ａからターゲットＩＤの変更指定をすることで、表示画像の変更が行われる。

なお、広視野角画像のうちのターゲットポイントに対応した一部領域の画像が表示されている状態で、ユーザ操作部２０１ａからの操作で表示画像は上下左右にスクロールされる。この場合、コンバータ/セレクタ２０７では、パノラマ表示用画像データからの取り出し領域が、ユーザ操作に応じて順次変更されていく。

以上説明したように、図１に示す送受信システム１０において、送信装置１００は、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報を挿入して送信するものである。そのため、ターゲットポイント（ＴＰ）の情報を用いることで、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることが可能となる。

また、図１に示す送受信システム１０において、受信装置２００は、ユーザが表示画像を選択する際に、広視野角画像や、各ターゲットポイントに対応した一部領域の画像のサムネイルをターゲットＩＤと関連づけたＵＩ画面を表示する。そのため、ユーザは、表示画像の選択変更を容易に行い得る。

＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＩＳＯＢＭＦＦ（あるいはＭＰ４）やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＩＳＯＢＭＦＦ（あるいはＭＰ４）などの種々のフォーマットのコンテナが該当する。

また、本技術は、以下のような構成を取ることもできる。
（１）広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備える
送信装置。
（２）上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
前記（１）に記載の送信装置。
（３）上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの２次元相対位置の情報を含む
前記（１）に記載の送信装置。
（４）上記基準となる点は、上記長方形領域のトップ・レフトの点である
前記（３）に記載の送信装置。
（５）上記基準となる点は、上記長方形領域内に存在する楕円の有効画像領域上に設定された基準点である
前記（３）に記載の送信装置。
（６）上記情報挿入部は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記情報挿入部は、上記ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する
前記（１）から（６）のいずれかに記載の送信装置。
（８）送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
情報挿入部が、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入ステップを有する
送信方法。
（９）広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理部をさらに備える
受信装置。
（１０）複数の上記ターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
上記処理部は、上記ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる
前記（９）に記載の受信装置。
（１１）受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
処理部が、上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理ステップをさらに有する
受信方法。

本技術の主な特徴は、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報を挿入して送信することで、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることを可能としたことである（図７、図１３参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０１ａ・・・ユーザ操作部
１０１ｂ・・・表示部
１０２・・・広視野角カメラ
１０３・・・非圧縮データバッファ
１０４・・・ビデオエンコーダ
１０５・・・圧縮データバッファ
１０６・・・ＴＳフォーマッタ
１０７・・・送信部
２００・・・受信装置
２０１・・・制御部
２０１ａ・・・ユーザ操作部
２０２・・・受信部
２０３・・・ＴＳ解析部
２０４・・・圧縮データバッファ
２０５・・・ビデオデコーダ
２０６・・・非圧縮データバッファ
２０７・・・コンバータ/セレクタ
２０８・・・合成部
２０９・・・表示部

Claims (10)

1. 広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
   上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備え、
   上記情報挿入部は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
   送信装置。
2. 上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
   請求項１に記載の送信装置。
3. 上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの２次元相対位置の情報を含む
   請求項１に記載の送信装置。
4. 上記基準となる点は、上記長方形領域のトップ・レフトの点である
   請求項３に記載の送信装置。
5. 上記基準となる点は、上記長方形領域内に存在する楕円の有効画像領域上に設定された基準点である
   請求項３に記載の送信装置。
6. 上記情報挿入部は、上記ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する
   請求項１から５のいずれかに記載の送信装置。
7. 送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
   情報挿入部が、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入ステップを有し、
   上記情報挿入ステップでは、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
   送信方法。
8. 広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
   上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および該楕円の有効画像領域上に設定された基準点の情報が挿入されており、
   上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を得るように処理すると共に、上記広視野角画像の動画像データに上記有効画像領域の情報と上記基準点の情報に基づいてパノラマ展開の画像処理を施してパノラマ表示用画像データを得るように処理する処理部をさらに備える
   受信装置。
9. 複数の上記ターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
   上記処理部は、上記ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる
   請求項８に記載の受信装置。
10. 受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および該楕円の有効画像領域上に設定された基準点の情報が挿入されており、
    処理部が、上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を得るように処理すると共に、上記広視野角画像の動画像データに上記有効画像領域の情報と上記基準点の情報に基づいてパノラマ展開の画像処理を施してパノラマ表示用画像データを得るように処理する処理ステップをさらに有する
    受信方法。

Images