JP2020149635A - 撮像装置、画像通信システム、画像処理方法、プログラム - Google Patents

Abstract

【課題】画像の撮像元がリアルタイムに注目点を指定することができる画像通信システムを提供すること。【解決手段】画像を撮像する撮像装置５と、前記画像を画面に表示する通信端末１〜４とを有する画像通信システム１０であって、前記画像における注目点を定義する注目点定義部１９４と、前記撮像装置の姿勢情報を取得する姿勢情報取得部１５ａと、前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部１９６と、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部２２０と、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部２２４と、を有することを特徴とする。【選択図】図１

Description

本発明は、撮像装置、画像通信システム、画像処理方法、及び、プログラムに関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して周囲３６０度又は全方位（以下、全天球という。）を一度に撮像する撮像装置が知られている。この撮像装置では、各々のレンズからの像を各撮像素子に投影し、得られる各画像を画像処理によってつなぎ合わせることで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球の被写体が撮像された全天球画像を生成することができる。

しかしながら、撮像装置で生成される全天球画像は球面座標系にて表現されているのに対し、ディスプレイなどの通常の表示装置は平面であるため、一度に全体を表示することが困難である。このため、全天球画像を表示する際には、通常、全天球画像の一部の画角を通常の表示装置に適合した画像へ変換する専用ビューアが用いられる。

全天球画像のうち任意の画角を端末側が表示できるように、注目点を決定する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、ユーザが撮像装置を傾けたり回転させたりすることで注目点を変更し、注目点を通常の表示装置に表示する方法が開示されている。

しかしながら、従来の技術では、画像の撮像元がリアルタイムに注目点を指定することが困難であるという問題があった。リアルタイムに注目点を指定したいユースケースの１つとして、不動産の内見を例に説明する。

上記の撮像装置を不動産の内見に利用する場合、撮像装置は物件の部屋の全体を撮像できるので、内見をしたい顧客が物件まで移動しなくても物件の全体的な様子を把握でき、移動する手間を省くことができる。例えば、以下のような仕組みで内見が実現される。
１．不動産業者が物件に赴き、撮像装置で物件を撮像する。
２．内見をしたい顧客が撮像装置の映像を通信端末で受信してリアルタイムに遠隔で閲覧する。
３．映像だけでなく音声もつながっているので顧客は不動産業者と会話しながら内見できる。

しかし、顧客は全天球画像のある画角しか見えないので、不動産業者が説明している箇所を顧客が見ているとは限らないし、その箇所を平面デバイスですぐに表示させることも困難である。つまり、顧客は全天球画像のどこに注目をしたらよいかわからない。例えば、現地の不動産業者が「この部屋には最新のエアコンが備え付けられています! これです!」と言っても、遠隔で内見をしている顧客は全天球画像の中でエアコンの方向を見ているとは限らず、リアルタイムに指定された注目点について意思疎通することが難しい。

このような不都合に対し、不動産業者が携帯する通信端末に全天球画像のプレビューを表示して、注目点を指示する操作を行えば、不動産業者の通信端末が遠隔で内見している顧客の通信端末に注目点を送信でき、不動産業者と顧客が同じ注目点に注目できる。しかし、不動産業者が撮像装置で撮像しながら通信端末を操作するのは困難である。不動産業者が複数人で現地に赴けば可能であるが、人員の確保が困難な場合も多い。

全天球画像を解析して注目点を推定する技術もあるが、あくまでも推定であるため、不動産業者が説明する箇所を、注目点として推定するとは限らない。

本発明は、上記課題に鑑み、画像の撮像元がリアルタイムに注目点を指定することができる画像通信システムを提供することを目的とする。

上記課題に鑑み、本発明は、画像を撮像する撮像装置と、前記画像を画面に表示する通信端末とを有する画像通信システムであって、前記画像における注目点を定義する注目点定義部と、前記撮像装置の姿勢情報を取得する姿勢情報取得部と、前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部と、を有することを特徴とする。

画像の撮像元がリアルタイムに注目点を指定することができる画像通信システムを提供することができる。

任意の方向の注目点が指定された全天球画像を拠点Ａから拠点Ｂの間に送信する画像通信システムの概略的な動作を説明する図である。 （ａ）は撮像装置の左側面図であり、（ｂ）は撮像装置の正面図であり、（ｃ）は撮像装置の平面図である。 撮像装置の使用イメージ図である。 （ａ）は撮像装置で撮像された半球画像（前）、（ｂ）は撮像装置で撮像された半球画像（後）、（ｃ）は正距円筒射影図法により表された画像を示した図である。 （ａ）正距円筒射影画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図６の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 球座標による３次元ユークリッド空間内の点を示した図である。 本実施形態の画像通信システムの構成の概略図である。 撮像装置の一例のハードウェア構成図である。 通信端末３，４の一例のハードウェア構成図である 通信管理システムの一例のハードウェア構成図である。 通信端末１，２の一例のハードウェア構成図である。 画像通信システムの機能をブロック状に示す一例の機能ブロック図である（その１）。 画像通信システムの機能をブロック状に示す一例の機能ブロック図である（その２）。 画像種類管理テーブルを示す概念図である。 撮像装置管理テーブルを示す概念図である。 所定領域情報管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 画像種類管理テーブルを示す概念図である。 所定領域情報管理テーブルを示す概念図である。 特定の通信セッションへの参加処理を示した一例のシーケンス図である。 通信セッション（仮想の会議室）の一例の選択画面を示した図である。 撮像装置の一例の座標軸を説明する図である。 基準となる撮像装置の姿勢の一例を説明する図である。 加速度・方位センサが検出する値の一例を説明する図である。 （ａ）は撮像者が対象を指し示す様子の概念図、（ｂ）は天頂補正なしに全天球画像が正距円筒図法で表された一例の正距円筒画像、（ｃ）は天頂補正ありに全天球画像が正距円筒図法で表された一例の正距円筒画像、である。 撮像装置が有する画像処理部の一例の機能ブロック図である。 一例の変換テーブル及び平面座標系から球面座標系への変換の一例を説明する図である。 姿勢情報に基づく変換テーブルの補正の一例を説明する図である。 画像回転部による一例の画像回転処理を模式的に示す図である。 映像通話における全天球画像及び音データの通信処理を示す一例のシーケンス図である。 撮像装置が全天球画像を生成する一例の処理と、通信端末が全天球画像を表示する処理を示す一例のフローチャート図である。 ディスプレイに表示された一例の映像表示画面を示す図である。

以下、本発明を実施するための形態の一例として、画像処理システムと画像処理システムが行う画像処理方法について図面を参照しながら説明する。

＜画像通信システムの概略＞
まず、図１を用いて、画像通信システム１０の概略的な動作について説明する。図１は、任意の方向の注目点が指定された全天球画像を拠点Ａから拠点Ｂの間に送信する画像通信システム１０の概略的な動作を説明する図である。

（１）本実施形態の撮像装置５ａには注目点座標が予め定義されている。注目点座標は、例えば撮像装置５ａの長手方向（上側）の被写体が写る撮像素子の画素又はある範囲を示すｘ、ｙ座標である。なお、注目点座標は、撮像素子上の座標であり出荷時に予め設定されている。

（２）拠点Ａの撮像者８がエアコン１４０を拠点Ｂのユーザに注目して欲しい場合、撮像者８は撮像装置５ａの長手方向（上側）をエアコン１４０に向ける。撮像装置５ａは後述する天頂補正のために常に姿勢情報を取得している。撮像装置５ａは全天球画像を撮像し、姿勢情報に基づいて天頂補正を行うので、エアコン１４０が傾いて撮像されるようなことはない。また、注目点座標にはエアコン１４０が写っているので、注目点座標の被写体がエアコンである。そして、撮像者８が撮像装置５ａを傾けることで、注目点座標がどこに変化したかは姿勢情報そのものである。従って、天頂補正により、定義されている注目点座標の変換後の注目点座標を特定できる。

（３）撮像装置５ａは通信端末１を介して全天球画像と変換後の注目点座標を拠点Ｂの通信端末２に送信する。

（４）通信端末２はそれまで表示していた所定領域画像に関わりなく、注目点座標を含む所定範囲を切り出して、所定領域画像を生成してディスプレイ等に表示するので、撮像者８は注目して欲しい対象をユーザに注目させることができる。また、撮像者ビュー情報で生成された所定領域画像は、少なくとも一定時間、閲覧者が変更できない。すなわち、強制的に撮像者ビュー情報で生成された所定領域画像が表示される。

このように、本実施形態の画像通信システム１０は、撮像装置５ａに予め注目点座標が定義されており、撮像者がこの注目点座標で見せたい対象を指し示すことで、注目点座標を姿勢情報に応じて変換してユーザに送信するので、撮像者８は拠点Ｂのユーザをリアルタイムに注目点に注目させることができる。

＜用語について＞
定義される注目点とは上記のように撮像素子上の１点又はある範囲である。撮像装置５ａからみて常に同じ方向の被写体が写る。本実施形態では長手方向の上側の被写体が写る撮像素子の画素又はある範囲を定義された注目点とするが、注目点の場所は任意に決定できる。例えば、長手方向の下側が指す方向、レンズの光軸方向、又は、撮像装置５ａの突起部分が指す方向、の被写体が写る撮像素子の画素などでもよい。

撮像装置の姿勢情報は、撮像装置の任意の方向が指し示す方向を特定できる情報であればよい。例えば、正立状態からどの位倒れているかを示す情報や、三次元空間の各軸の回転に関する情報である。

＜全天球画像の生成方法＞
図２乃至図９を用いて、全天球画像の生成方法について説明する。

まず、図２を用いて、撮像装置５ａの外観を説明する。撮像装置５ａは、３次元の全天球（３６０°）画像の元になる撮像画像を得るためのデジタルカメラである。なお、図２（ａ）は撮像装置５ａの左側面図であり、図２（ｂ）は撮像装置５ａの正面図であり、図２（ｃ）は撮像装置５ａの平面図である。

図２（ａ）に示されているように、撮像装置５ａは、人間が片手で持つことができる大きさである。また、図２（ａ），図２（ｂ），図２（ｃ）に示されているように、撮像装置５ａの上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮像が可能な光学部材（例えば、後述する図１１の魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図２（ｂ）に示されているように、撮像装置５ａの正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。

次に、図３を用いて、撮像装置５ａの使用状況を説明する。なお、図３は、撮像装置の使用イメージ図である。撮像装置５ａは、図３に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図２に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図４及び図５を用いて、撮像装置５ａで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像装置で撮像された半球画像（前側）、図４（ｂ）は撮像装置で撮像された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒画像」という）を示した図である。図５（ａ）は正距円筒画像で球を被う状態を示した概念図、図５（ｂ）は全天球画像を示した図である。

図４（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮像装置５ａによって合成され、図４（ｃ）に示されているように、正距円筒画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図５（ａ）に示されているように、正距円筒画像が球面を覆うように貼り付けられ、図５（ｂ）に示されているような全天球画像が作成される。このように、全天球画像は、正距円筒画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2−Dimensions)及び３Ｄ(3−Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像は、静止画であっても動画であってもよい。

以上のように、全天球画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図６及び図７を用いて説明する。

なお、図６は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図７（ａ）は図６の立体斜視図、図７（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図７（ａ）では、図６に示されている全天球画像ＣＥが、三次元の立体球ＣＳで表されている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図６に示されているように、仮想カメラＩＣが全天球画像ＣＥの外部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。

そして、図７（ａ）に示されている所定領域Ｔは、図７（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図７（ｂ）に示されている画像は、例えば初期設定された所定領域情報によって表された所定領域画像である。なお、所定領域情報は、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。以下では、仮想カメラＩＣの撮像方向（ｒＨ，ｒＶ）と画角（α）を用いて説明する。

図８を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図８は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図８に示されているように、ｒＨはHorizontal Radian、ｒＶはVertical Radian、αは画角(Angle)を示す。即ち、撮像方向（ｒＨ，ｒＶ）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図８では、一般的に以下の式（Ａ）で示される三角関数が成り立つ。

Ｌ/ｆ＝ｔａｎ（α／２）・・・（Ａ）
図９は、球座標による３次元ユークリッド空間内の点を示した図である。中心点ＣＰを球面極座標系で表現したときの位置座標を（ｒ、θ、φ）とする。（ｒ、θ、φ）は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図９は、これらの関係を表した図である。以降、位置座標（ｒ，θ、φ）を用いて中心点を説明する。

＜画像通信システムの概略＞
続いて、図１０を用いて、本実施形態の画像通信システム１０の構成の概略について説明する。図１０は、本実施形態の画像通信システム１０の構成の概略図である。

図１０に示されているように、本実施形態の画像通信システム１０は、拠点Ａ〜拠点Ｄに配置された各通信端末１〜４がインターネット等の通信ネットワーク１００を介して通信して、各拠点の通信端末１〜４が映像を共有することができる。拠点Ａには撮像装置５ａと通信端末１が配置されており、拠点Ｂには通信端末２と撮像装置５ｂが配置されており、拠点Ｃには撮像装置５ｃ、通信端末３，及び、ディスプレイ６ｃが配置されており、拠点Ｄには通信端末４とディスプレイ６ｄが配置されている。

撮像装置５ａ，５ｃは、上述のように、被写体や風景等を撮像して全天球画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。一方、撮像装置５ｂは、被写体や風景等を撮像して一般の平面画像を得るための一般のデジタルカメラである。

通信端末３、４はビデオ会議専用のビデオ会議端末であり、ＵＳＢ(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話（ビデオ通話）の画像を、それぞれディスプレイ６ｃ，６ｄに表示する。通信端末３，４は、通常は後述の図１２のカメラ３１２でユーザ等を撮像するが、撮像装置５ｃを取り付けるクレードル７に有線ケーブルで接続されると、撮像装置５ｃが優先され、全天球画像を得ることができる。有線ケーブルを利用する場合、クレードル７は、撮像装置５ｃと通信端末３との間の通信を行うだけでなく、撮像装置５ｃに電源供給及び撮像装置５ｃを支える役割を果たす。

通信端末１，２はビデオ会議用のアプリケーションソフトを動作させることで他の拠点と通信する汎用的な情報処理装置である。通信端末１は例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、カーナビ、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ又はデスクトップＰＣ等である。しかし、これらには限られない。

通信端末１は、自装置に設けられた後述のディスプレイ９１７に映像通話の画像を表示する。通信端末１は、通常は自装置に設けられた後述のＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ９０５等で撮像するが、Wi−Fi(Wireless Fidelity)やBluetooth（登録商標）等の無線通信技術を利用して、撮像装置５ａで得られた全天球画像を取得することができる。

通信端末２は、自装置に設けられた後述のディスプレイ９１７に映像通話の画像を表示する。通信端末２は、外付けされた撮像装置５ｂでユーザ等を撮像する。

また、通信端末１〜４には、OpenGL ESがインストールされており、全天球画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像から所定領域画像を作成したりすることができる。従って、各通信端末１〜４は全天球画像から切り出した所定領域画像を表示できる。

拠点Ａには、少なくとも一人の撮像者８が存在し、撮像装置５ａを手に把持したり棒状部材に取り付けたりして保持している。撮像者８は撮像装置５ａと共に移動することができる。また、通信端末１は、撮像装置５ａ〜５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ９１７に表示する。

拠点Ｂには一人のユーザ９ｂが存在し、通信端末２は撮像装置５ａ〜５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ９１７に表示する。拠点Ｂのユーザ９ｂは、撮像者８により指定された注目点に注目するユーザの一人である。ただし、ユーザの人数は一例である。

拠点Ｃには二人のユーザ９ｃ１，９ｃ２が存在し、通信端末３は撮像装置５ａ〜５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ６ｃに表示する。拠点Ｃのユーザ９ｃ１，９ｃ２は、撮像者８により指定された注目点に注目するユーザの一人である。ただし、ユーザの人数は一例である。

拠点Ｄには一人のユーザ９ｄが存在し、通信端末４は撮像装置５ａ〜５ｃ及び通信端末４のカメラ３１２が撮像する映像をディスプレイ６ｄに表示する。拠点Ｄのユーザ９ｄは、撮像者８により指定された注目点に注目するユーザの一人である。ただし、ユーザの人数は一例である。

通信管理システム５０は、通信端末１〜４の通信を管理及び制御する。よって、通信管理システム５０は通信制御システムでもある。なお、通信管理システム５０は、ビデオ通信のサービスを行うサービス会社等に設置されている。また、通信管理システム５０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

なお、図１０に示した、拠点数、各拠点に配置される通信端末１〜４の種類、撮像装置５ａ〜５ｃの種類、及び、ユーザの人数は一例であり、本実施形態では、拠点Ａと他の１つの拠点があればよい。また、拠点Ｂは撮像装置５ｂを有していなくてもよく、拠点Ａから送信される全天球画像を表示できればよい。

また、拠点Ａの撮像装置５ａと通信端末１は一体でもよい。つまり、撮像装置５ａが通信ネットワーク１００に接続する機能を有していれば、通信端末１はなくてよい。この場合、撮像装置５ａが通信端末１となる。本実施形態では、撮像者８が撮像装置５ａだけで注目点を指定できるためである。しかし、通信端末１があることで、撮像者８は通信端末１を操作して注目点を指定できる。また、通信端末１は拠点Ａの撮像装置５ａと通信せずに記憶媒体を介して全天球画像と注目点座標を受信してもよい。

以降、撮像装置５ａ〜５ｃのうち任意の撮像装置を表す場合には、「撮像装置５」として表す。更に、ディスプレイ６ｃ，６ｄのうち任意のディスプレイを表す場合には、「ディスプレイ６」として表す。

＜＜実施形態のハードウェア構成＞＞
次に、図１１〜図１４を用いて、本実施形態の撮像装置５ａ、５ｃ、通信端末１〜４、通信管理システムのハードウェア構成を詳細に説明する。なお、撮像装置５ｃは、一般のカメラであるため、詳細な説明は省略する。

＜撮像装置５ａ、５ｃのハードウェア構成＞
まず、図１１を用いて、撮像装置５ａ、５ｃのハードウェア構成を説明する。図１１は、撮像装置５ａ、５ｃのハードウェア構成図である。以下では、撮像装置５ａ、５ｃは、２つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置５ａ、５ｃと同じ機能を有するようにしてもよい。

図１１に示されているように、撮像装置５ａ、５ｃは、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、加速度・方位センサ１１８、及び、ジャイロセンサ１１９なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図４（ｃ）に示されているような正距円筒画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置５ａ、５ｃによっては、ディスプレイ（例えば、通信端末１、３が有するディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置５ａ、５ｃには表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮像装置５ａ、５ｃの全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。

通信部１１７は、撮像装置５ａ、５ｃに設けられたアンテナ１１７ａを介して、Wi−FiやNFC（Near Field Communication）等の近距離無線技術によって、通信端末１，３等の外部装置と通信を行う。この通信部１１７によっても、正距円筒画像のデータを通信端末１，３等の外部装置に送信することができる。

加速度・方位センサ１１８は、地球の磁気から撮像装置５ａ、５ｃの方位及び傾き(ロール角、ヨー角、ピッチ角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、Ｘ、Ｙ、Ｚ軸それぞれの回りの回転速度を検出する３軸又は６軸のセンサである。回転速度を蓄積（積分）することで回転角（姿勢情報）が得られる。

＜通信端末３，４（ビデオ会議端末）のハードウェア構成＞
次に、図１２を用いて、通信端末３，４のハードウェア構成を説明する。図１２は、通信端末３，４のハードウェア構成図である。図１２に示されているように、通信端末３，４は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、フラッシュメモリ３０４、ＳＳＤ３０５、メディアＩ／Ｆ３０７、操作ボタン３０８、電源スイッチ３０９、バスライン３１０、ネットワークＩ／Ｆ３１１、カメラ３１２、撮像素子Ｉ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイＩ／Ｆ３１７、外部機器接続Ｉ／Ｆ３１８、近距離通信回路３１９、近距離通信回路３１９のアンテナ３１９ａを備えている。

これらのうち、ＣＰＵ３０１は、通信端末３，４全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。フラッシュメモリ３０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ（Solid State Drive）３０５は、ＣＰＵ３０１の制御に従ってフラッシュメモリ３０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ３０７は、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン３０８は、通信端末３，４の宛先を選択する場合などに操作されるボタンである。電源スイッチ３０９は、通信端末３，４の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

また、ネットワークＩ／Ｆ３１１は、インターネット等の通信ネットワーク１００を利用してデータ通信をするためのインタフェースである。カメラ３１２は、ＣＰＵ３０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ３１３は、カメラ３１２の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ３１７は、ＣＰＵ３０１の制御に従って外付けのディスプレイ６に画像データを送信する回路である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインタフェースである。近距離通信回路３１９は、ＮＦＣ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

また、バスライン３１０は、図１２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ディスプレイ６は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬ（electro luminescence）によって構成された表示手段の一種である。また、ディスプレイ６は、ケーブル６ｙによってディスプレイＩ／Ｆ３１７に接続される。このケーブル６ｙは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High−Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

なお、カメラ３１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳセンサや、ＣＣＤセンサ等が用いられる。外部機器接続Ｉ／Ｆ３１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ３０１の制御に従って、内蔵型のカメラ３１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ３０１の制御に従って、それぞれが内蔵型のマイク３１４や内蔵型のスピーカ３１５に優先して、外付けマイクや外付けスピーカが駆動する。

また、記録メディア３０６は、通信端末３，４に対して着脱自在な構成となっている。また、ＣＰＵ３０１の制御に従ってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ３０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。

＜通信管理システムのハードウェア構成＞
次に、図１３を用いて、通信管理システム５０のハードウェア構成を説明する。図１３は、通信管理システムのハードウェア構成図である。

通信管理システム５０は、通信管理システム５０全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３、通信管理システム５０用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８、通信ネットワーク１００を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc−ReWritable)５１３に対する各種データの読み出しを制御するＣＤ−ＲＷドライブ５１４、及び、上記各構成要素を図１３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。

＜通信端末１，２のハードウェア構成＞
次に、図１４を用いて、通信端末１，２のハードウェアについて説明する。図１４は、通信端末１，２のハードウェア構成図である。図１４に示されているように、通信端末１，２は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。

これらのうち、ＣＰＵ９０１は、通信端末１，２全体の動作を制御する。ＲＯＭ９０２は、ＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御に従って、通信端末１，２用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ９０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０８は、フラッシュメモリ等の記録メディア９０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、通信端末１，２は、遠距離通信回路９１１、カメラ９１２、撮像素子Ｉ／Ｆ９１３、マイク９１４、スピーカ９１５、音入出力Ｉ／Ｆ９１６、ディスプレイ９１７、外部機器接続Ｉ／Ｆ９１８、近距離通信回路９１９、近距離通信回路９１９のアンテナ９１９ａ、及びタッチパネル９２１を備えている。

これらのうち、遠距離通信回路９１１は、通信ネットワーク１００を介して、他の機器と通信する回路である。カメラ９１２は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１３は、カメラ９１２の駆動を制御する回路である。マイク９１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ９１６は、ＣＰＵ９０１の制御に従ってマイク９１４及びスピーカ９１５との間で音信号の入出力を処理する回路である。ディスプレイ９１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ９１８は、各種の外部機器を接続するためのインタフェースである。近距離通信回路９１９は、ＮＦＣやＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル９２１は、利用者がディスプレイ９１７を押下することで、通信端末１，２を操作する入力手段の一種である。

また、通信端末１，２は、バスライン９１０を備えている。バスライン９１０は、ＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜＜実施形態の機能構成＞＞
次に、図１５〜図２２を用いて、本実施形態の機能構成について説明する。図１５及び図１６は、画像通信システム１０の機能をブロック状に示す機能ブロック図である。

＜撮像装置５ａの機能構成＞
図１５に示されているように、撮像装置５ａは、受付部１２ａ、撮像部１３ａ、集音部１４ａ、姿勢情報取得部１５ａ、画像処理部１６ａ、通信部１８ａ、及び記憶・読出部１９ａを有している。これら各部は画像処理部１６ａを除いて、図１１に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。画像処理部１６ａはASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）等の回路モジュールで実現されるとするが、ソフト的に実現されてもよい。

また、撮像装置５ａは、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００ａを有している。記憶部１０００ａには、自装置のＧＵＩＤ(Globally Unique Identifier)が記憶されている。

（撮像装置５ａの各機能構成）
撮像装置５ａの受付部１２ａは、主に、図１１に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、撮像者８からの操作入力を受け付ける。

撮像部１３ａは、主に、図１１に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮像画像データ（全天球画像）を得る。

集音部１４ａは、図１１に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮像装置５ａの周囲の音を集音する。

姿勢情報取得部１５ａは、撮像装置の姿勢（三次元空間の傾き）に関する姿勢情報を取得する。画像処理部１６ａは２つの半球画像を１つの正距円筒画像に合成する処理を行う。この処理の際に、姿勢情報に基づいて天頂補正を行う過程があり、長手方向（上側）が指し示す注目点座標を、撮像者が指し示す方向を表す球面座標系（正距円筒座標）の座標に変換できる。

通信部１８ａは、主に、ＣＰＵ１１１の処理によって実現され、通信端末１の通信部９８と、NFC規格、Bluetooth（登録商標）、WiーFi等による近距離無線通信技術によって通信することができる。

記憶・読出部１９ａは、主に、図１１に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００ａに各種データ（又は情報）を記憶したり、記憶部１０００ａから各種データ（又は情報）を読み出したりする。

なお、撮像装置５ｃは、受付部１２ｃ、撮像部１３ｃ、集音部１４ｃ、姿勢情報取得部１５ｃ、画像処理部１６ｃ、通信部１８ｃ、記憶・読出部１９ｃ、及び記憶部１０００ｃを有しているが、それぞれ、撮像装置５ａにおける受付部１２ａ、撮像部１３ａ、集音部１４ａ、姿勢情報取得部１５ａ、画像処理部１６ａ、通信部１８ａ、記憶・読出部１９ａ及び記憶部１０００ａと同様の機能を実現するため、これらの説明を省略する。

＜通信端末１の機能構成＞
図１５に示されているように、通信端末１は、送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出部９９を有している。これら各部は、図１４に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開された通信端末１用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、通信端末１は、図１４に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部９０００を有している。この記憶部９０００には、画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、及び所定領域管理ＤＢ９００３が構築されている。

これらのうち、画像種類管理ＤＢ９００１は、図１７に示されている画像種類管理テーブルによって構成されている。撮像装置管理ＤＢ９００２は、図１８に示される撮像装置管理テーブルによって構成されている。所定領域管理ＤＢ９００３は、図１９に示されている所定領域情報管理テーブルによって構成されている。

（画像種類管理テーブル）
図１７は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データＩＤ、送信元端末の宛先の一例であるＩＰアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、ビデオ通信を行う際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連付けられている画像データＩＤで示される画像データを送信する通信端末のＩＰアドレスを示す。ソース名は、関連付けられている画像データＩＤで示される画像データを出力する撮像装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、通信端末３等によって作成された名称である。

例えば、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．３．２．３」の４つの通信端末は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」、「ＲＳ００４」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Wide」、「Video_ Wide」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球画像である。

なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。

（撮像装置管理テーブル）
図１８は、撮像装置管理テーブルを示す概念図である。この撮像装置管理テーブルでは、全天球画像の元になる２つの半球画像を得ることができる撮像装置のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、通信端末３、４の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。

（所定領域情報管理テーブル）
図１９は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルでは、撮像画像データの送信元の通信端末のＩＰアドレス、撮像画像データの送信先の通信端末のＩＰアドレス、及び、撮像画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮像画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図６及び図７に示されているように、撮像画像から、この撮像画像における所定領域Ｔの画像（所定領域画像）に変換するための変換テーブルである。なお、ＩＰアドレスは、宛先情報の一例であって、宛先情報には、ＭＡＣ(Media Access Control)アドレス、通信端末を特定するための端末ＩＤ(Identification)等が含まれる。また、ここでは、ＩＰアドレスは、ＩＰｖ４アドレスを簡略化して表されている。ＩＰアドレスは、ＩＰｖ６でもよい。

例えば、図１９の所定領域情報管理テーブルの１行目から３行目までは、通信端末３のＩＰアドレスが「１．２．１．３」の場合、通信端末３から送信された撮像画像データが、通信管理システム５０を介して、ＩＰアドレスが「１．２．２．３」の通信端末４、ＩＰアドレスが「１．３．１．３」の通信端末２、及びＩＰアドレスが「１．３．２．３」の通信端末１に送信された旨が管理されている。更に、通信端末４は、所定領域情報（ｒ＝１０，θ＝２０，φ＝３０）の送信元の通信端末である旨が管理されている。同様に、通信端末２は、所定領域情報（ｒ＝２０，θ＝３０，φ＝４０）の送信元の通信端末である旨が管理されている。また、通信端末１は、所定領域情報（ｒ＝３０，θ＝４０，φ＝５０）の送信元の通信端末である旨が管理されている。つまり、通信端末１，２，４がどのような所定領域情報で全天球画像を見ているか管理されている。

また、送受信部３１ｃによって、既に管理されている撮像画像データの送信元の通信端末のＩＰアドレス及び撮像画像データの送信先の通信端末のＩＰアドレスと同じ組のＩＰアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部３９ｃは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。

（通信端末１の各機能構成）
通信端末１の送受信部９１は、主に、図１４に示されている遠距離通信回路９１１及びＣＰＵ９０１の処理によって実現され、通信ネットワーク１００を介して、通信管理システム５０と各種データ（又は情報）の送受信を行う。

受付部９２は、主にタッチパネル９２１及びＣＰＵ９０１による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、タッチパネル９２１だけでなく、他の入力手段として音声入力等を用いてもよい。

画像・音処理部９３は、図１４に示されているＣＰＵ９０１からの命令によって実現され、カメラ９１２が被写体を撮像して得た画像データに対して画像処理を行う。また、画像・音処理部９３は、マイク９１４によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行う。

更に、画像・音処理部９３は、表示制御部９４がディスプレイ９１７に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行う。また、画像・音処理部９３は、他の通信端末から通信管理システム５０を介して受信された音データに係る音声信号をスピーカ９１５に出力し、スピーカ９１５から音声を出力させる。

表示制御部９４は、主にディスプレイ９１７及びＣＰＵ９０１の処理によって実現され、ディスプレイ９１７に各種画像や文字等を表示させるための制御を行う。

判断部９５は、主にＣＰＵ９０１の処理によって実現され、例えば、撮像装置５ａから受信された画像データに係る画像種類を判断する。

作成部９６は、主にＣＰＵ９０１の処理によって実現され、判断部９５によって、一般画像又は特殊画像（ここでは、全天球画像）と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部９５が、一般画像であると判断した場合には、作成部９６は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部９５が、特殊画像であると判断した場合には、作成部９６は、特殊画像である旨を示すソース名「Video_Wide」を作成する。

算出部９７は、主にＣＰＵ９０１の処理によって実現され、所定領域Ｔを示す所定領域情報、及び送受信部９１によって他の通信端末から受信された所定領域情報に基づき、撮像画像において所定領域Ｔ１の位置（位置情報）を算出する。また、撮像画像の全体が表示された場合の画像は、「全体画像」ともいう。

通信部９８は、主に、近距離通信回路９１９、アンテナ９１９ａ、及びＣＰＵ９０１の処理によって実現され、撮像装置５ａの通信部１８ａと、NFC、Bluetooth（登録商標）、Wi−Fi等による近距離無線技術によって通信することができる。なお、通信部９８と送受信部９１は通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。

記憶・読出部９９は、主に、図１４に示されているＣＰＵ９０１の処理によって実現され、記憶部９０００に各種データ（又は情報）を記憶したり、記憶部９０００から各種データ（又は情報）を読み出したりする。

＜通信端末２の機能構成＞
次に、通信端末２の機能構成について詳細に説明する。通信端末２は、基本的に通信端末１と同じ機能を有している。即ち、図１６に示されているように、通信端末２は、送受信部７１、受付部７２、画像・音処理部７３、表示制御部７４、判断部７５、作成部７６、算出部７７、通信部７８、及び記憶・読出部７９を有している。しかし、各機能はそれぞれ、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出部９９と同様の機能を実現するため、これらの説明を省略する。

また、通信端末２は、図１４に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部７０００を有している。この記憶部７０００には、画像種類管理ＤＢ７００１、撮像装置管理ＤＢ７００２、及び所定領域管理ＤＢ７００３が構築されている。なお、画像種類管理ＤＢ７００１、撮像装置管理ＤＢ７００２、及び所定領域管理ＤＢ７００３は、それぞれ通信端末１における画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、及び所定領域管理ＤＢ９００３と同じデータ構造であるため、これらの説明を省略する。

＜通信端末３の機能構成＞
次に、通信端末３の機能構成について説明する。通信端末３は、基本的に通信端末１と同じ機能を有している。即ち、図１５に示されているように、通信端末３は、送受信部３１ｃ、受付部３２ｃ、画像・音処理部３３ｃ、表示制御部３４ｃ、判断部３５ｃ、作成部３６ｃ、算出部３７ｃ、通信部３８ｃ、記憶・読出部３９ｃを有している。しかし、これらは、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、記憶・読出部９９、及び記憶部９０００と同様の機能を実現するため、これらの説明を省略する。

また、通信端末３は、図１２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＳＳＤ３０５によって構築される記憶部３０００ｃを有している。記憶部３０００ｃには、画像種類管理ＤＢ３００１ｃ、撮像装置管理ＤＢ３００２ｃ、及び所定領域管理ＤＢ３００３ｃが構築されているが、これらは、通信端末１における画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、及び所定領域管理ＤＢ９００３と同様の機能を実現するため、これらの説明を省略する。

＜通信端末４の機能構成＞
次に、通信端末４の機能構成について説明する。通信端末４は、基本的に通信端末１と同じ機能を有している。即ち、図１６に示されているように、通信端末４は、送受信部３１ｄ、受付部３２ｄ、画像・音処理部３３ｄ、表示制御部３４ｄ、判断部３５ｄ、作成部３６ｄ、算出部３７ｄ、通信部３８ｄ、記憶・読出部３９ｄ、及び記憶部３０００ｄを有している。しかし、これらは、通信端末１における送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、記憶・読出部９９、及び記憶部９０００と同様の機能を実現するため、これらの説明を省略する。

また、通信端末４は、図１２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＳＳＤ３０５によって構築される記憶部３０００ｄを有している。記憶部３０００ｄには、画像種類管理ＤＢ３００１ｄ、撮像装置管理ＤＢ３００２ｄ、及び所定領域管理ＤＢ３００３ｄが構築されているが、これらは、通信端末１における画像種類管理ＤＢ９００１、撮像装置管理ＤＢ９００２、及び所定領域管理ＤＢ９００３と同様の機能を実現するため、これらの説明を省略する。

＜通信管理システムの機能構成＞
次に、通信管理システム５０の各機能構成について詳細に説明する。通信管理システム５０は、送受信部５１、判断部５５、生成部５６、及び記憶・読出部５９を有している。これら各部は、図１３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５０用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

また、通信管理システム５０は、図１３に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、セッション管理ＤＢ５００１、画像種類管理ＤＢ５００２、及び所定領域管理ＤＢ５００３が構築されている。このうち、セッション管理ＤＢ５００１は、図２０に示されているセッション管理テーブルによって構成されている。画像種類管理ＤＢ５００２は、図２１に示される画像種類管理テーブルによって構成されている。所定領域管理ＤＢ５００３は、図２２に示される所定領域情報管理テーブルによって構成されている。

（セッション管理テーブル）
図２０は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションＩＤ、及び参加した通信端末のＩＰアドレスが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションＩＤは、通信端末１〜４でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連付けられているセッションＩＤで示される仮想の会議室に参加した通信端末のＩＰアドレスを示している。

（画像種類管理テーブル）
図２１は、画像種類管理テーブルを示す概念図である。図２１に示されている画像種類管理テーブルは、図１７に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤが関連付けて管理されている。ここでは、同じセッションＩＤ「ｓｅ１０１」で示される仮想の会議室には、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」の３つの通信端末が参加していることが示されている。なお、通信管理システム５０において、通信端末１〜４（ビデオ会議端末）等の通信端末で管理される、画像データＩＤ、送信元端末のＩＰアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行う必要がない。

（所定領域情報管理テーブル）
図２２は、所定領域情報管理テーブルを示す概念図である。この所定領域情報管理テーブルは、基本的に図１９に示されている所定領域情報管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部５１は、各通信端末に一定期間（例えば３０秒）毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部５１によって受信された全ての所定領域情報は削除されずに保存されている。図２２では、新しい所定領域情報ほど上位で管理されている。

（通信管理システムの各機能構成）
通信管理システム５０の送受信部５１は、主に、図１３に示されているネットワークＩ／Ｆ５０９及びＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して通信端末１〜４と各種データ（又は情報）の送受信を行う。

判断部５５は、主にＣＰＵ５０１の処理によって実現され、各種判断を行う。

生成部５６は、主にＣＰＵ５０１の処理によって実現され、画像データＩＤを生成する。

記憶・読出部５９は、主に、図１３に示されているＨＤＤ５０５、及びＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（又は情報）を記憶したり、記憶部５０００から各種データ（又は情報）を読み出したりする。

＜参加の処理＞
まず、図２３及び図２４を用いて、特定の通信セッションへの参加処理について説明する。図２３は、特定の通信セッションへの参加処理を示したシーケンス図である。図２４は、通信セッション（仮想の会議室）の選択画面を示した図である。

まず、拠点Ａの撮像者８が、通信端末１において、通信セッション（仮想の会議室）の選択画面の表示を行う操作をすると、受付部９２が選択画面を表示する操作を受け付け、表示制御部９４が通信端末１のディスプレイ９１７に、図２４に示されているような選択画面を表示する（ステップＳ２１）。この選択画面には、選択対象である各仮想の会議室Ｒ１，Ｒ２，Ｒ３等を示す選択ボタンｂ１，ｂ２，ｂ３等が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。

ここで、撮像者８が仮想の会議室の所望の選択ボタン（ここでは選択ボタンｂ１）を選択すると、受付部９２は、通信セッションの選択を受け付ける（ステップＳ２２）。選択される会議室は例えば不動産の内見を行うために予め決まっている会議室である。

そして、送受信部９１は、通信管理システム５０に対して、仮想の会議室への参加要求を送信する（ステップＳ２３）。この参加要求には、ステップＳ２２で選択を受け付けられた通信セッションを示すセッションＩＤ、及び要求元端末である通信端末１のＩＰアドレスが含まれている。これにより、通信管理システム５０の送受信部５１は、参加要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、セッション管理ＤＢ５００１において、ステップＳ２３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ２３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行う（ステップＳ２４）。

そして、送受信部５１は、通信端末１に対して、参加要求応答を送信する（ステップＳ２５）。この参加要求応答には、ステップＳ２３によって受信されたセッションＩＤ、及び参加処理結果が含まれている。これにより、通信端末１の送受信部９１は、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。

なお、同様の参加要求を拠点Ｂ〜Ｄの通信端末２〜４も行い、それぞれが同じ会議室を選択することで、通信端末１〜４が同一のセッションに参加し、互いに映像通話が可能になる。また、図２３、図２４に示したセッションへの参加方法は一例に過ぎず、撮像者８は宛先の通信端末又はユーザの識別情報を指定してセッションを確立してもよい。この場合、宛先に指定された宛先の通信端末又はユーザは呼び出しに応答することでセッションが確立する。

＜姿勢情報について＞
次に、図２５〜図２７を用いて撮像装置５ａの姿勢情報について説明する。図２５は、撮像装置５ａの座標軸を説明する図の一例であり、図２６は基準となる撮像装置５ａの姿勢を説明する図の一例である。基準となる撮像装置５ａの姿勢とは、撮像装置の姿勢の初期状態である。

図２５に示すように、撮像装置５ａの長手方向をＺ軸、シャッターボタンＳＢがある面からない面に向かって２つのレンズを通過する方向をＹ軸、撮像装置５ａの幅方向をＸ軸とする。この軸は撮像装置５ａと共に移動する。撮像装置５ａはＸ軸、Ｙ軸、Ｚ軸のそれぞれを中心に回転することができる。Ｘ軸を中心とする回転角をα、Ｙ軸を中心とする回転角をβ、Ｚ軸を中心とする回転角をγとする。

図２６に示すように、撮像者８が対象１８０を指し示す際は長手方向（上側）を対象１８０に向ける。正立した時を初期状態とすれば、図２６の状態はα=−９０度、β=０度、γ=０度となる。

図２７は加速度・方位センサ１１８が検出する値を説明する図である。加速度・方位センサ１１８が検出する値を(ax, ay, az)とすると、図２７（ａ）のように本体はＸ軸を中心にα回転しており、その角度は
α＝ atan²(ay,−az) ay^2+az^2 ≧ threshR^2
＝ ０ ay^2+az^2 < threshR^2
と表せる。αは−π<α≦πの値をとる。

Ｙ軸に関する回転は，図２７（ｂ）のように表せる。Ｚ軸に関する回転は，図２７（ｃ）のように表せる。しかし、応答性を向上させるためにはジャイロセンサ１１９を使用するとよい。ジャイロセンサ１１９の値(gα,gβ,gγ)は角速度[rad/sec]に相当する値が出力される。撮像装置５ａの回転角（姿勢情報）α,β、γは，ジャイロセンサ１１９の値を用いて，
α(n+1)=α(n)+k*gα*dt
β(n+1)=β(n)+k*gβ*dt
γ(n+1)=γ(n)+k*gγ*dt
として算出できる。

ただし、初期状態の向き(α(0)、β(0)、γ(0))=(α0、0、0)とする。kはジャイロセンサ１１９の感度に関する係数である。初期値を，k=1.0とする。手振れなどの影響を避ける場合はk=0.5とするなどすればローパスフィルタの効果を持たせられる。こうして得られた (α、β、γ) が姿勢情報である。なお、Ｚ軸回りの回転角のγは指し示す方向に影響しないので、γは算出しなくてもよい。

Ｘ軸回りの回転角のαは加速度・方位センサ１１８の信号により、初期値がゼロでなくても正しい値を得られる。また、Ｚ軸回りの回転角のγは指し示す方向に影響しない。これに対し、Ｙ軸回りの回転角のβは単に初期値を０にするだけなので、例えば、電源ＯＮ時の初期状態が傾いていると正しい回転角のβが得られない。そこで、撮像者８が対象を指し示す際は、撮像装置５ａを成立させ、所定のボタンを長押しするなどの回転角のα、β、γの初期化を行うことが好ましい。

あるいは、Ｙ軸回りの回転角のβについてもＸ軸回りの回転角のαと同様に、加速度・方位センサ１１８の出力から初期値を求めるとよい。

＜撮像者が指し示した注目点座標が天頂補正でどのように処理されるか＞
図２８を用いて、撮像者８が指し示した注目点座標が天頂補正でどのように処理されるかのイメージを説明する。図２８（ａ）は撮像者８が対象を指し示す様子を示す。撮像者８は撮像装置５ａで人形１９０を指し示している。

例えば、撮像装置５ａの長手方向（上側）の被写体が写る画素又はある範囲を注目点座標とすると、図２８（ａ）の状態で撮像された画像は図２８（ｂ）のようになる。図２８（ｂ）は全天球画像が正距円筒図法で表された正距円筒画像である。この正距円筒画像は"天頂補正が行われていない"。正距円筒画像を作成する際、長手方向（上側）の被写体は上端部に横方向に拡大して変換される。すなわち、天頂補正しなければ長手方向（上側）の被写体は上端部に配置され、正距円筒画像なので上端部の被写体は横に広がる。天頂補正しない場合、注目点座標は正距円筒画像において常に同じ場所になる。

撮像装置５ａは撮像装置５ａの姿勢に関わらず、実空間の上にあるものは画像の上側、下にあるものは画像の下側に表示するため、姿勢情報に基づいて画像を天頂補正する。図２８（ｃ）は"天頂補正された"正距円筒画像を示す。天頂補正の方向と量は姿勢情報によって決まるので、天頂補正のために画像を回転させる座標変換情報で、定義されている元の注目点座標を回転させれば正距円筒画像における注目点座標になる。図２８（ｃ）では注目点座標を丸１９１で囲んで示すが、丸１９１の中に図２８（ａ）の人形１９０が写っている。つまり、注目点座標で撮像者８が指し示す対象を特定できる。

＜画像処理部１６ａの機能について＞
図２９は、撮像装置５ａが有する画像処理部１６ａの主要な機能ブロックを示す。画像処理部１６ａは、撮像画像取得部２０２と、つなぎ合わせ処理部２０４と、天頂補正部２０６と、全天球画像生成部２０８と、画像圧縮部２１０と、注目点定義部１９４と、注目点変換部１９６と、注目点指定有無判断部１９８と、を有する。

撮像画像取得部２０２は、上述した２つの撮像素子１３０Ａ，１３０Ｂを制御し、それぞれからの撮像画像を取得する。静止画の場合は、シャッターが押されたタイミングで取得された１フレーム分の２つの撮像画像が取得される。動画の場合は、連続したフレームが順次撮像され、各フレーム毎に２つの撮像画像が取得される。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と参照する場合がある。

つなぎ合わせ処理部２０４は、取得された２つの部分画像間のつなぎ位置を検出し、２つの部分画像をつなぎ合わせるための処理を実行する。つなぎ位置検出処理では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われる。

注目点定義部１９４は平面画像の中で注目点座標(x,y)を定義し保持している。注目点座標はユーザ（撮像者８等）が設定するのではなく、製造時、設計時、又は出荷時等に予め定義されている（固定されている）。なお、注目点座標が複数あってもよい。この場合、撮像者８は自分が使いたい注目点座標を撮像装置５ａ又は通信端末１を操作して選択する。

注目点指定有無判断部１９８は、撮像者８が注目点を指定しようとしているか否かを判断する。例えば、撮像装置５ａの本体上のボタンが押下されている間、注目点指定有無判断部１９８は撮像者８が注目点を指定していると判断する。押下されていない間、注目点が指定されていないと判断する。

天頂補正部２０６は、姿勢情報取得部１５ａが取得した姿勢情報に基づいて、生成される全天球画像の天頂方向が所定の基準方向に一致するようにするための補正処理を実行する。具体的には後述する変換テーブルを補正する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。全天球画像の天頂方向が鉛直方向（天方向）に一致するよう補正することにより、特に動画像において、閲覧時に視野の変更を行う場合でもユーザに３次元酔いなどの違和感を与えないようにすることが可能となる。なお、変換テーブルについては図３０にて説明する。

注目点変換部１９６は、注目点定義部１９４と注目点指定有無判断部１９８と、補正された変換テーブルを元に、平面座標上の注目点座標(x,y)を球面座標上の注目点座標(θ,φ)に変換する。つまり、姿勢情報に基づいて天頂補正された後の注目点座標を決定する。注目点変換部１９６は注目点情報に球面座標上の注目点座標(θ,φ)を設定する。

表１は注目点情報の一例を示す。注目点情報は球面座標系の注目点座標(θ,φ)と注目点指定の有無を有する。注目点指定有無判断部１９８は注目点が指定されている場合、注目点指定の有無に「あり」を設定し、指定されてない場合、注目点指定の有無に「なし」を設定する。なお、注目点自体は注目点情報に常に含まれる。

全天球画像生成部２０８は、注目点変換部１９６の処理結果が反映された状態で、撮像された２つの部分画像から全天球画像を生成する処理を実行する。説明する実施形態においては、２つの部分画像から全天球画像を生成するためにも変換テーブルが使用される。全天球画像生成部２０８は、補正された変換テーブルを用いて、２つの部分画像から全天球画像を生成する。このように処理することにより、最終的な全天球画像を得るための処理負荷を軽減することができる。

しかしながら、上述した実施形態に限定されるものではなく、２つの部分画像をつなぎ合わせて全天球画像を生成し、生成された全天球画像に対して天頂補正処理を施して、天頂補正が施された全天球画像を生成するよう構成することもできる。

画像圧縮部２１０は、静止画圧縮ブロックを含み構成され、静止画を撮像する場合、撮像された画像を、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の静止画形式の画像データに圧縮する。画像圧縮部２１０は、動画を撮像する場合、撮像された連続する画像フレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００などの種々の動画圧縮形式を挙げることができる。生成された画像データは、伝送部２１１により他の拠点Ｂ〜Ｄに送信される。伝送部２１１は撮像装置５ａの通信部１８ａと通信端末１の送受信部９１に相当する。

＜各通信端末の表示制御部の機能＞
他の拠点から送信された全天球画像を受信すると、通信端末１〜４は全天球画像を表示する。

図２９に示すように、通信端末２の表示制御部７４は、画像展開部２１２と、注目点決定部２１４と、画像回転部２１６と、切出処理部２２０と、拡大／レターボックス処理部２２２と、出力部２２４とを有する。図２９では表示制御部７４の機能を説明するが、通信端末３の表示制御部３４ｃ、通信端末４の表示制御部３４ｄ、及び、通信端末１の表示制御部９４も同様になる。

画像展開部２１２は、撮像装置５ａから送信された全天球画像を読み出し、全天球画像を取得する。取得された全天球画像は、メモリ上に展開される。

画像回転部２１６は、注目点変換部１９６により決定された注目点に応じて、全天球画像を回転させる。これにより、注目点座標は正距円筒画像の中央に移動する。回転処理については図３２にて説明する。

切出処理部２２０は、回転された全天球画像の一部（中央）を切り出して、切出画像を生成する。切り出すとはある部分を取り出すことをいう。また、トリミングといってもよい。好ましい実施形態では、切出処理部２２０は、変換後全天球画像の中央部分を切り出す処理であり、これにより、全天球画像における注目点を中心とした一定サイズの部分に対応した画像が切り出される。

なお、説明する実施形態では、切出処理部２２０は、画像の一部を切り出して切出画像を生成する機能を有するものとして説明する。しかしながら、他の実施形態では、切出処理部２２０が備える機能としては、画像の一部を切り出して切出画像を生成するという機能のみならず、解像度を低下させる機能であってもよい。

拡大／レターボックス処理部２２２は、切出処理部２２０で切り出された画像に対し、出力先のディスプレイやプロジェクタなどの映像出力装置の解像度及びアスペクト比に応じて拡大処理を実行し、切り出された画像部分の上下に黒帯を追加する処理を行い、表示画像を生成する。出力部２２４は、拡大／レターボックス処理部２２２により処理されて生成された表示画像を、映像出力インタフェース１２９を介して出力する（表示する）。なお、拡大／レターボックス処理部２２２による処理は、切出画像が映像出力装置の解像度及びアスペクト比に対応している場合には省略することができる。

静止画の場合は、少なくとも注目点が変化する毎、典型的には所定インターバル毎に、同一の全天球画像に対し、上記機能部（画像回転部２１６と、切出処理部２２０と、拡大／レターボックス処理部２２２と、出力部２２４）による映像出力処理が繰り返し実行され、その時点の注目点に応じて表示画像が更新される。動画の場合は、典型的にはフレーム毎に、上記機能部による映像出力処理が繰り返し実行され、表示画像が更新される。

撮像者８が、撮像装置５ａを真上方向に向けた状態を基準とし、前後左右に傾けたり、回転させたりすることにより、注目点を変更し、変更された注目点に応じた全天球画像の表示画像をユーザが閲覧することが可能となる。

＜変換テーブルについて＞
図３０は変換テーブル及び平面座標系から球面座標系への変換を説明する図である。図３０（ａ）は、本実施形態による撮像装置５ａが用いる変換テーブルを説明する図である。変換テーブルは、撮像素子の平面座標系（ｘ、ｙ）で表現される部分画像から、球面座標系（θ、φ）の正距円筒画像（以下、補正後画像という）への射影を規定する。変換テーブルは、各魚眼レンズごとに、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図３０の例示では、１画素が担当する角度は、φ方向及びθ方向いずれも１／１０度であり、変換テーブルは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。オリジナルの変換テーブルは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。

図３０（ｂ）に示すように、変換テーブルにより、平面座標系（ｘ、ｙ）で表現される注目点座標１９９Ａが球面座標系（θ、φ）に射影される。平面座標系（ｘ、ｙ）で表現される注目点座標１９９Ａは撮像装置５ａから見て常に一定方向である。従って、変換テーブルが固定なら球面座標系（θ、φ）における注目点座標１９９Ｂも一定になる。

しかし、撮像装置５ａはユーザの持ち方によって姿勢が変わるので、姿勢情報に応じて変換テーブルを補正しないと、実空間の天地方向と補正後画像の天地方向が一致しない。このため、天頂補正では、この変換テーブルが姿勢情報に応じて補正される。

＜変換テーブルの補正＞
図３１は、姿勢情報に基づく変換テーブルの補正を説明する図である。ここで、座標変換前の３次元直交座標を（ｘ１，ｙ１，ｚ１）、（ｘ１，ｙ１，ｚ１）の球面座標を（θ１，φ１）と表記し、座標変換後の３次元直交座標を（ｘ２，ｙ２，ｚ２）、（ｘ２，ｙ２，ｚ２）の球面座標を（θ２，φ２）と表記する。

変換テーブルの補正処理では、式（１）〜（６）を用いて、球面座標（θ１、φ１）から球面座標（θ２、φ２）への変換を行う。

まず、３次元直交座標を用いて回転変換する必要があるため、式（１）〜（３）を用いて、球面座標（θ１，φ１）から３次元直交座標（ｘ１、ｙ１、ｚ１）へ変換する処理が行われる。

次に、対象を指し示す撮像装置５ａの姿勢情報α、β、γを用いて、式（４）により、３次元直交座標系（ｘ１，ｙ１，ｚ１）を、３次元直交座標系（ｘ２，ｙ２，ｚ２）に変換する。式（４）は、元の座標系を、ｘ軸を軸にα回転させ、ｙ軸を軸にβ回転させ、ｚ軸を軸にγ回転させることにより、変換後の座標系になることを意味している。

最後に、式（５）及び式（６）を用いて、変換後の３次元直交座標（ｘ２，ｙ２，ｚ２）を球面座標（θ２，φ２）に戻す変換を行う。（θ１，φ１）を変換テーブルの補正前の球面座標系の座標とすれば、撮像装置５ａの姿勢情報に応じて、変換テーブルの球面座標を（θ２，φ２）に補正できる。

注目点変換部１９６が補正後の変換テーブルで平面座標系の注目点座標を球面座標系の注目点座標に変換すれば、それが天頂補正後の球面座標系の注目点座標になる。

＜画像回転部による画像回転処理＞
続いて、図３２を用いて、画像回転部２１６による回転処理について説明する。図３２は画像回転部２１６の画像回転処理を模式的に示す図である。画像回転とは球面座標上で注目点座標を画像中央に移動させる処理をいう。
・回転後の新しい座標を(θ_N,φ_N)
・注目点座標を(θ₀,φ₀)
・回転の対象となる任意の座標を（θ、φ）
とする。

式（７）（８）により注目点座標を画像中央に移動させることができる。
θ_N=θ−θ₀ + 180° (θ−θ₀ ≦ 180°)
θ−θ₀ − 180° (θ−θ₀ > 180°) … （７）
φ_N=φ−φ₀ + 90° (φ−φ₀ ≦ 90°)
φ−φ₀ − 90° (φ−φ₀ > 90°) … （８）
式（７）（８）は、中央点と注目点座標のθ方向とφ方向の差だけ任意の画素を回転（移動）させている。

＜全天球画像の送信手順＞
続いて、図３３を用い、拠点Ａで得られた全天球画像及び音データが、通信管理システム５０を介して、他の各通信端末２〜４へ送信される処理について説明する。図３３は、映像通話における全天球画像及び音データの通信処理を示すシーケンス図である。

まず、撮像装置５ａの通信部１８ａから通信端末１の通信部９８に対して、被写体や風景等を撮像して得た全天球画像及び集音して得た音データを送信する（ステップＳ１０１）。撮像装置５ａは注目点指定有無判断部１９８の判断結果に関わらず注目点情報を添付する。これにより、通信端末１の通信部９８は、全天球画像及び音データを受信する。

次に、通信端末１の送受信部９１は、通信管理システム５０に対して、撮像装置５ａから送られてきた全天球画像、音データ、及び注目点情報を送信する（ステップＳ１０２）。この送信には、送信対象である撮像画像データを識別するための画像データＩＤが含まれている。これにより、通信管理システム５０の送受信部５１は、全天球画像（画像データＩＤ）、音データ、及び注目点情報を受信する。

次に、通信管理システム５０の送受信部５１は、通信端末１と同じ映像通話に参加している通信端末２〜４に対して、全天球画像（画像データＩＤ）、音データ、及び注目点情報を送信する（ステップＳ１０３，Ｓ１０４，Ｓ１０５）。これら各送信には、送信対象である全天球画像を識別するための画像データＩＤが含まれている。これにより、通信端末２の送受信部７１、通信端末３の送受信部３１ｃ及び通信端末４の送受信部３１ｄは、それぞれ、全天球画像（画像データＩＤ）、音データ、及び注目点情報を受信する。なお、一般には通信端末１も自拠点の全天球画像を通信管理システム５０から受信して表示するが、図３３では省略されている。

次に、図３４を用いて、撮像装置５ａが全天球画像を生成する処理の詳細と、通信端末２〜４が全天球画像を表示する処理の詳細を説明する。図３４は、撮像装置５ａが全天球画像を生成する処理と、通信端末２〜４が全天球画像を表示する処理を示すフローチャート図の一例である。

図３４（ａ）は撮像装置５ａの処理を示す。なお、通信端末１については省略した。

注目点定義部１９４に平面座標系における注目点座標が定義される（Ｓ２００）。定義は図２９で説明したように、予め静的に設定しておく。

撮像時、注目点指定有無判断部１９８は、センサ情報に基づいて撮像者８が注目点を指定しているかを判断する（Ｓ２０１）。センサ情報とは、撮像装置５ａのボタンを押下しているか否かが検出された情報である。押下されている場合、注目点が指定されていると判断する。注目点が指定されている場合、表１の注目点情報の注目点指定をありに設定する。

撮像画像取得部２０２は、撮像素子１３０Ａ，１３０Ｂからの撮像画像を取得する（Ｓ２０２）。

次に、つなぎ合わせ処理部２０４が取得された２つの部分画像間の重複領域におけるつなぎ位置を検出し、変換テーブルに対しつなぎ位置検出の結果を反映する（Ｓ２０３）。つなぎ位置検出の結果の反映により、図３０（ａ）に示す変換テーブルは、補正後画像の座標値（θ，φ）に対し、つなぎ位置の補正を反映した部分画像の座標値（ｘ、ｙ）が対応付けられるように修正される。

天頂補正部２０６は姿勢情報に基づいて変換テーブルを補正する（Ｓ２０４）。すなわち、天頂補正を行う。

次に、注目点変換部１９６は変換テーブルを用いて、注目点定義部１９４が定義する注目点座標を球面座標系の注目点座標に変換する（Ｓ２０５）。また、表１の注目点情報に、変換で得た球面座標系の注目点座標を設定する。なお、ステップＳ２０１で注目点が指定されていないと判断された場合も、注目点座標が設定されるが、注目点が指定されていないと判断された場合、注目点座標は設定されなくてもよい。

以上の処理で生成された全天球画像と注目点情報は図３３で説明したように通信端末２〜４に送信される。

図３４（ｂ）は通信端末２〜４の表示制御部３４の処理を示すフローチャート図である。

まず、画像回転部２１６は全天球画像に添付された注目点情報における注目点指定が"あり"か否かを判断する（Ｓ２１０）。

注目点指定がありの場合、画像回転部２１６は注目点が正距円筒画像の中央に来るように回転させる（Ｓ２１１）。それまで、表示していた所定領域画像に関わりなく、強制的に注目点が表示される。

次に、切出処理部２２０が、全天球画像の中央部分を切り出して、切出画像を生成する（Ｓ２１２）。切り出す広さは予め決まっているものとする。図８を例にすれば、中心点ＣＰが注目点座標であり、画角αと距離ｆが予め決まっている。

注目点指定がなしの場合、ユーザが任意に全天球画像を回転させることができる。静止画の場合は、最後にユーザが全天球画像を回転させた所定領域Ｔが表示され、動画の場合、最後にユーザが回転させた所定領域Ｔの表示を維持する。切出処理部２２０は、ユーザが操作して決定した所定領域Ｔを切り出す（Ｓ２１３）。

拡大／レターボックス処理部２２２は、出力先の解像度及びアスペクト比に応じて、切り出された画像を拡大及び黒帯追加を行い、表示画像を生成する（Ｓ２１４）。

出力部２２４は生成された表示画像を、ディスプレイＩ／Ｆ３１７、ディスプレイ９１７に出力する（Ｓ２１５）。

＜通信端末の表示例＞
図３５は、拠点Ｂにおいて通信端末２のディスプレイ９１７に表示された映像表示画面２５０の一例である。映像表示画面２５０の左側の表示領域（レイアウト番号「１」）には拠点Ａの全天画像が表示され、右側上段の表示領域（レイアウト番号「２」）には拠点Ｃの全天球画像が表示されている。更に、映像表示画面２５０の右側中段の表示領域（レイアウト番号「３」）には拠点Ｄの画像が表示され、右側下段の表示領域（レイアウト番号「４」）には拠点Ｂ（自拠点）の画像が表示されている。レイアウト番号「１」の表示領域は主表示領域であり、レイアウト番号「２」、「３」及び「４」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。

なお、レイアウト番号１とレイアウト番号２の表示領域には、全天球アイコン１９２が表示されている。これにより、表示領域に表示されている映像が全天球画像であることがわかり、ユーザは所定領域Ｔを変更できる。また、レイアウト番号１の表示領域には注目点アイコン１９３が表示されている。注目点アイコン１９３は、注目点情報の注目点指定がありの場合に表示制御部７４が表示させる。注目点アイコン１９３は、注目点が指定されている旨を示す。これにより、ユーザは現在、注目点が表示されており、所定領域Ｔを変更できないことが分かる。

所定領域Ｔを変更できないとは、受付部７２が表示領域の変更を受け付けないか、又は、表示領域の変更を受け付けるが、ユーザ９ｂが表示領域の変更の操作をやめると、注目点変換部１９６が変換した注目点を切出処理部２２０が画像から切り出して再度、表示することをいう。例えば、ユーザ９ｂはドラッグしている間だけ（マウスはクリックしたまま）又はスワイプして指をタッチさせたままの間だけ任意の表示領域を表示できる。

なお、ユーザ９ｂが注目点の表示を停止させることができてもよい。この場合、例えば所定のボタンが用意される。このボタンを１回、押下すると注目点の表示が停止され、ユーザ９ｂは任意の所定領域Ｔを表示できる。更にこのボタンを１回、押下すると、注目点が自動で表示される。

図３５に示すように、多拠点で映像通信できるので、ユーザ９ｂと９ｄが知り合いだが、内見はもちろん一緒に不動産店舗に行けないような場合も、臨場感のある内見が可能になる。例えば、ユーザ９ｂとユーザ９ｄが夫婦であり、一人は店舗に行けるが、他の一人は行けない場合、それぞれの拠点から物件を見て、その場で感想を言い合うような使い方が可能になる。

＜まとめ＞
以上説明したように、本実施形態の画像通信システム１０は、撮像装置５ａに予め注目点座標が定義されており、撮像者がこの注目点座標で見せたい対象を指し示すことで、撮像者８は撮像装置だけでリアルタイムに他の拠点のユーザに注目点を注目点させることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では不動産の内見を例にして説明したが、画像通信システム１０の適用例はこれに限られない。例えば、展示会、展覧会、工場見学、観光、視察、など現地の対象を指し示す場合に適用できる。

また、本実施形態では人間が撮像装置５ａで対象を指し示したが、機械やロボット、動物が指し示してもよい。例えば、移動可能な機械などの進行方向に撮像装置５ａを固定すれば、常に進行方向の対象を表示でき、必要であれば画像を回転させて周囲の状況も確認することができる。この場合、注目点座標を表示するかどうかを、全天球画像を受信する側で切り替えられるとよい。

また、本実施形態では全天球画像を例にしてその一部の注目点を表示させたが、全天球画像は必ずしも周囲３６０度を撮像できなくてもよい。例えば、半球だけを撮像できてもよいし、水平方向にだけ３６０度を撮像できてもよい。また、ディスプレイに収まりきらない画素数が多い平面画像でもよい。

また、図１５、図１６、図２９などの構成例は、画像通信システム１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像通信システム１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

複数の通信管理システム５０が存在してもよいし、通信管理システム５０の機能が複数のサーバに分散していてもよい。画像データと音データを中継する中継装置があってもよい。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１〜４ 通信端末
５ 撮像装置
８ 撮像者
１０ 画像通信システム

特開2016−167739号公報

Claims (11)

1. 画像を撮像する撮像装置であって、
   前記画像における注目点を定義する注目点定義部と、
   前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
   前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
   前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、
   を有することを特徴とする撮像装置。
2. 前記姿勢情報取得部が取得した前記姿勢情報を用いて画像の天頂補正に関する処理を行う天頂補正部を有し、
   前記注目点変換部は、前記天頂補正部による天頂補正の結果を用いて、前記注目点定義部が定義した注目点を変換することを特徴とする請求項１に記載の撮像装置。
3. 前記天頂補正部は、撮像素子の座標値を球面座標系の座標値に変換する変換テーブルに、前記姿勢情報を用いて天頂補正を施し、
   前記注目点変換部は前記注目点定義部が定義した注目点を撮像素子の座標値とし、前記姿勢情報で天頂補正が施された変換テーブルを用いて、前記注目点定義部が定義した注目点を球面座標系の座標値に変換することを特徴とする請求項２に記載の撮像装置。
4. 前記天頂補正は、前記撮像装置の姿勢に関わらず、前記画像の上側に実空間の上側が写るように補正するものであり、
   前記撮像装置の長手方向の上側が指し示す対象が写る撮像素子の座標値を、前記注目点定義部が前記注目点として定義することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記撮像装置が撮像する際、撮像者が注目点を指定しているか否かを判断する注目点指定有無判断部を有し、
   前記注目点指定有無判断部は、撮像者が注目点を指定していると判断した場合、注目点が指定されている旨を前記画像に添付し、
   前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点変換部は前記注目点定義部が定義した注目点を変換することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 撮像装置が撮像した画像を通信端末が画面に表示する画像通信システムであって、
   前記画像における注目点を定義する注目点定義部と、
   前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
   前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
   前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部と、
   前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部と、
   を有することを特徴とする画像通信システム。
7. 前記出力部が表示する前記画像の表示領域の変更を受け付ける受付部を有し、
   前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示している場合、
   前記受付部は、前記表示領域の変更を受け付けないか、又は、
   前記表示領域の変更を受け付けるが、前記表示領域の変更を受け付けなくなると、前記注目点変換部が変換した注目点を前記切出処理部が前記画像から切り出して前記出力部が表示することを特徴とする請求項６に記載の画像通信システム。
8. 前記出力部は、前記注目点が指定されている旨が前記画像に添付されている場合、前記注目点が指定されている旨を表示することを特徴とする請求項６又は７に記載の画像通信システム。
9. 画像を撮像する撮像装置と、前記画像を画面に表示する通信端末とを有する画像通信システムが行う画像処理方法であって、
   姿勢情報取得部が、前記撮像装置の姿勢情報を取得するステップと、
   前記姿勢情報取得部が取得した前記姿勢情報に応じて、注目点定義部が定義している注目点を注目点変換部が変換するステップと、
   切出処理部が、前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出すステップと、
   出力部が、前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示するステップと、
   を有することを特徴とする画像処理方法。
10. 画像を撮像する撮像装置を、
    前記画像における注目点を定義する注目点定義部と、
    前記撮像装置の姿勢情報を取得する姿勢情報取得部と、
    前記姿勢情報取得部が取得した前記姿勢情報に応じて、前記注目点定義部が定義した注目点を変換する注目点変換部と、
    前記注目点変換部が変換した注目点を含む所定領域を前記画像から切り出す切出処理部、
    として機能させるためのプログラム。
11. 画像を撮像する撮像装置から取得した前記画像を画面に表示する通信端末を、
    姿勢情報取得部が取得した前記撮像装置の姿勢情報に応じて変換された、注目点定義部が定義している注目点、及び、前記画像を受信する受信部と、
    前記受信部が受信した前記注目点を含む所定領域を前記画像から切り出す切出処理部と、
    前記切出処理部が切り出した注目点を含む所定領域を前記画面に表示する出力部、
    として機能させるためのプログラム。