JP2022151665A - 画像通信システム、通信管理装置、通信管理方法及びプログラム - Google Patents
画像通信システム、通信管理装置、通信管理方法及びプログラム Download PDFInfo
- Publication number
- JP2022151665A JP2022151665A JP2022030569A JP2022030569A JP2022151665A JP 2022151665 A JP2022151665 A JP 2022151665A JP 2022030569 A JP2022030569 A JP 2022030569A JP 2022030569 A JP2022030569 A JP 2022030569A JP 2022151665 A JP2022151665 A JP 2022151665A
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined area
- communication
- image data
- communication terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】撮影を行いながら撮影された画像を配信するとともに、配信後に時間をおいて撮影された画像を利用者が見返す場合でも、利用者が、撮影された画像を、いつ、どのような視点で見ていたかを把握しやすい画像通信システム、通信管理装置、通信管理方法及びプログラムを提供する。【解決手段】通信管理システムは、送受信部によって撮影装置が送信した画像データID及び集音して得た音データを含む撮影画像データを受信S301した後、画像変換処理部によって撮影画像データ(録画ファイル)と所定領域の時系列情報(タイムスタンプ)とに基づいて透視射影変換を実行しS302、送受信部によって新たに生成された利用者(視聴者)毎の視聴状況を反映した変換後所定領域画像データ(変換後の録画ファイル)を通信端末に対して送信するS303~S305。【選択図】図31
Description
本発明は、画像通信システム、通信管理装置、通信管理方法及びプログラムに関する。
インターネット等の通信ネットワークを介して、遠隔地との間で遠隔会議を行う会議システムが普及している。この会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔会議システムの通信端末を用いて会議の当事者などの会議室の画像及び発言などの音声を撮影及び収集し、これらをデジタルデータに変換して相手方の通信端末に送信している。これにより、相手方の会議室のディスプレイに画像表示及びスピーカにより音声出力して、映像通話(ビデオ通話)を行なうことができるため、実際の会議に近い状態で遠隔地間の会議を行うことができる(例えば、特許文献1参照)。
また、イベント会場に、360度の全方位カメラを使用可能なカメラユニットを含む複数のカメラユニットを設置して映像をリアルタイムで配信し、その配信映像の中からユーザーに選択された映像に係る選択情報をサーバーに送信することで、サーバーが選択情報に基づいて編集した映像をユーザーに販売するカメラシステムが開示されている(例えば、特許文献2参照)。
しかしながら、従来の技術では、撮影を行いながら撮影された画像を配信するシステムにおいて、配信後に時間をおいて撮影された画像を利用者が見返したい場合に、利用者は、撮影された画像を、いつ、どのような視点で見ていたかを把握しづらいという課題があった。
上述した課題を解決するために、請求項1に係る発明は、撮影することにより撮影画像データを得る撮影装置と、前記撮影画像データに係る撮影画像の所定領域の画像である所定領域画像を表示する通信端末と、前記所定領域を表す所定領域情報を管理する通信管理装置と、を含む画像通信システムであって、前記通信管理装置は、前記撮影装置が撮影した前記撮影画像データ、及び前記通信端末が送信した前記所定領域情報に関連付けられた日時を表す時系列情報を受信する受信手段と、前記受信した前記撮影画像データ及び前記時系列情報に基づいて透視射影変換された変換後所定領域画像データを前記通信端末に送信する送信手段と、を有する、ことを特徴とする画像通信システムを提供する。
以上説明したように本発明によれば、撮影を行いながら撮影された画像を配信するシステムにおいて、配信後に時間をおいて撮影された画像を利用者が見返す場合でも、利用者は、撮影された画像を、いつ、どのような視点で見ていたかを把握しやすくなるという効果を奏する。
以下、図面を用いて、発明を実施するための形態について説明する。なお、図面の説明において同一要素には同一符号を付し、重複する部分があれば、その説明を省略する。
〔第1の実施形態〕
図1乃至図29を用いて、第1の実施形態について説明する。
図1乃至図29を用いて、第1の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法>
図1乃至図8を用いて、全天球パノラマ画像の生成方法について説明する。
<全天球パノラマ画像の生成方法>
図1乃至図8を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。また、撮影装置1は、三次元の全天球パノラマ画像(三次元の全天球パノラマ画像の元になる画像)を撮影可能な全天球撮影装置である。この全天球撮影装置には、デジタルカメラも含まれる。さらに、全天球とは、上下左右を含む全方位360°の空間を示す。
図1(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図1(a),図1(b),図1(c)に示されているように、撮影装置1の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する図10の魚眼レンズ102a,102b)と併せて用いられる。また、図1(b)に示されているように、撮影装置1の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、ユーザーが手に持ってユーザーの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザーの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球パノラマ画像が生成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)はメルカトル図法により表された画像(以下、「メルカトル画像」という)を示した図である。図4(a)はメルカトル画像で球を被う状態を示した概念図、図4(b)は全天球パノラマ画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、メルカトル画像が生成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球パノラマ画像が生成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用されるグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザーの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラICの位置座標ではなく、所定領域Tである仮想カメラICの撮影領域(X,Y,Z)によって示してもよい。以下では、仮想カメラICの撮影方向(rH,rV)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、rHはHorizontal Radian、rVはVertical Radian、αは画角(Angle)を示す。即ち、撮影方向(rH,rV)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
L/f=tan(α/2)・・・(式1)
図8は、球座標による三次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標CP(r,θ、φ)を用いて説明する。
図8は、球座標による三次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標CP(r,θ、φ)を用いて説明する。
<画像通信システムの概略>
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、本実施形態の画像通信システムの構成の概略図である。
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、本実施形態の画像通信システムの構成の概略図である。
図9に示されているように、本実施形態の画像通信システムは、撮影装置1a,1b、ビデオ会議端末3a,3d、ディスプレイ4a,4d、通信管理システム5、PC(Personal Computer)7、撮影装置8、及びスマートフォン9によって構成され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでもよい。
これらのうち、撮影装置1a,1bは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置8は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。
ビデオ会議端末3a,3dは、ビデオ会議専用の端末であり、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話(ビデオ通話)の画像を、それぞれディスプレイ4a,4dに表示する。ビデオ会議端末3aは、通常は後述の図11のカメラ312で撮影するが、撮影装置1aを取り付けるクレードル2aに有線ケーブルで接続されると、撮影装置1aが優先され、全天球パノラマ画像の元になる2つの半球画像を得ることができる。有線ケーブルを利用する場合、クレードル2aは、撮影装置1aとビデオ会議端末3aとの間の通信を行なうだけでなく、撮影装置1aに電源供給及び撮影装置1aを支える役割を果たす。なお、ここでは、撮影装置1a、クレードル2a、ビデオ会議端末3a、及びディスプレイ4aは、同じ視聴拠点である視聴拠点Aに置かれている。また、視聴拠点Aには、4人の利用者A1,A2,A3,A4が、映像通話に参加している。一方、ビデオ会議端末3d、及びディスプレイ4dは、同じ視聴拠点である視聴拠点Dに置かれている。また、視聴拠点Dには、3人の利用者D1,D2,D3が、映像通話に参加している。
通信管理システム5は、ビデオ会議端末3a,3d、PC7、及びスマートフォン9の通信を管理及び制御したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。よって、通信管理システム5は、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム5は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。なお、実施形態において、通信管理システム5は、通信管理装置の一例として機能する。
PC7は、撮影装置8が取り付けられることで、映像通話が可能となる。なお、ここでは、PC7、及び撮影装置8は、同じ視聴拠点である視聴拠点Cに置かれている。また、視聴拠点Cには、1人の利用者C1が映像通話に参加している。
スマートフォン9は、自装置に設けられた後述のディスプレイ917に映像通話の画像を表示する。スマートフォン9は、通常は自装置に設けられた後述のCMOS(Complementary Metal Oxide Semiconductor)センサ905等で撮影するが、NFC(登録商標、以下省略)、Bluetooth(登録商標、以下省略)、Wi-Fi(登録商標、以下省略)等の近距離無線通信技術を利用して、撮影装置1bで得られた全天球パノラマ画像の元になる2つの半球画像データを取得することができる。近距離無線通信技術を利用する場合、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支えるだけの役割を果たす。なお、ここでは、撮影装置1b、クレードル2b、及びスマートフォン9は、同じ視聴拠点である視聴拠点Bに置かれている。また、視聴拠点Bには、2人の利用者B1,B2が、映像通話に参加している。
また、ビデオ会議端末3a,3d、PC7、及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の一部の領域を示す所定領域情報を生成したり、他の通信端末から送信された全天球パノラマ画像から所定領域画像を生成したりすることができる。
なお、図9に示す各端末(通信端末)、装置(ディスプレイ、撮影装置)、利用者の配置は一例であり、他の例であってもよい。例えば、視聴拠点Cで、撮影装置8に代えて、全天球パノラマ画像の撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置1a,1bのうち任意の撮影装置を表す場合には、「撮影装置1」として表す。また、ビデオ会議端末3a,3dのうち任意のビデオ会議端末を表す場合には、「ビデオ会議端末3」として表す。更に、ディスプレイ4a,4dのうち任意のディスプレイを表す場合には、「ディスプレイ4」として表す。
更に、撮影装置1が無線通信等により直接通信ネットワーク100に接続可能で他の装置へのデータ(情報)の配信が可能な場合は、画像通信システムは、ビデオ会議端末3、スマートフォン9等の通信端末を含まない構成であってもよい。
<<実施形態のハードウエア構成>>
次に、図10乃至図13を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9のハードウエア構成を詳細に説明する。なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
次に、図10乃至図13を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9のハードウエア構成を詳細に説明する。なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
<撮影装置のハードウエア構成>
まず、図10を用いて、撮影装置1のハードウエア構成を説明する。図10は、撮影装置のハードウエア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
まず、図10を用いて、撮影装置1のハードウエア構成を説明する。図10は、撮影装置のハードウエア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図10に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a及び電子コンパス118によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOSセンサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。更に、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているようなメルカトル画像のデータを生成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、ビデオ会議端末3aのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザーは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェイス回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してビデオ会議端末3a等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth、Wi-Fi(Wireless Fidelity)等の近距離無線通信技術によって、ビデオ会議端末3a等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータをビデオ会議端末3aの外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<ビデオ会議端末のハードウエア構成>
次に、図11を用いて、ビデオ会議端末3のハードウエア構成を説明する。図11は、ビデオ会議端末のハードウエア構成図である。図11に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
次に、図11を用いて、ビデオ会議端末3のハードウエア構成を説明する。図11は、ビデオ会議端末のハードウエア構成図である。図11に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読出し又は書込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読出し又は書込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のオン/オフを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェイスである。カメラ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、カメラ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ4に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェイスである。近距離通信回路319は、NFC、Bluetooth、Wi-Fi等の近距離無線通信回路である。
また、バスライン310は、図11に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ4は、被写体の画像や操作用アイコン等を表示する液晶や有機EL(electro luminescence)によって構成された表示手段の一種である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。このケーブル4cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ312は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOSセンサや、CCDセンサ等が用いられる。外部機器接続I/F318には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のカメラ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読出し又は書込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<通信管理システム、PCのハードウエア構成>
次に、図12を用いて、通信管理システム5及びPC7のハードウエア構成を説明する。図12は、通信管理システム及びPCのハードウエア構成図である。なお、通信管理システム5及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC7の構成の説明を省略する。
次に、図12を用いて、通信管理システム5及びPC7のハードウエア構成を説明する。図12は、通信管理システム及びPCのハードウエア構成図である。なお、通信管理システム5及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC7の構成の説明を省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、通信管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読出し又は書込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読出し又は書込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク100を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD-RW(Compact Disc - ReWritable)513に対する各種データの読出しを制御するCD-RWドライブ514、及び、上述した各構成要素を図12に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<スマートフォンのハードウエア構成>
次に、図13を用いて、スマートフォンのハードウエアについて説明する。図13は、スマートフォンのハードウエア構成図である。図13に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
次に、図13を用いて、スマートフォンのハードウエアについて説明する。図13は、スマートフォンのハードウエア構成図である。図13に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、IPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読出し又は書込みを行う。CMOSセンサ905は、CPU901の制御に従って被写体(主に自画像)を撮像し画像データを得る。加速度・方位センサ906は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読出し又は書込み(記憶)を制御する。GPS受信部909は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、近距離通信回路919のアンテナ919a、及びタッチパネル921を備えている。
これらのうち、遠距離通信回路911は、通信ネットワーク100を介して、他の機器と通信する回路である。カメラ912は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F913は、カメラ912の駆動を制御する回路である。マイク914は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F916は、CPU901の制御に従ってマイク914及びスピーカ915との間で音信号の入出力を処理する回路である。ディスプレイ917は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F918は、各種の外部機器を接続するためのインターフェイスである。近距離通信回路919は、NFC、Bluetooth、Wi-Fi等の近距離無線通信回路である。タッチパネル921は、利用者がディスプレイ917を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上述した各プログラムが記憶されたCD-ROM等の記録媒体、並びに、これらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
更に、上述した各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録、又はネットワークを介してダウンロードを行い流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD、Blu-ray(登録商標) Disc、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信管理システム5は、本発明に係るプログラムが実行されることで本発明に係る通信管理方法を実現する。
<<実施形態の機能構成>>
次に、図10乃至図16を用いて、本実施形態の機能構成について説明する。図14及び図15は、画像通信システムの一部の機能ブロック図である。
次に、図10乃至図16を用いて、本実施形態の機能構成について説明する。図14及び図15は、画像通信システムの一部の機能ブロック図である。
<撮影装置1aの機能構成>
図14に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶読出部19aを有している。これら各部は、図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
図14に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶読出部19aを有している。これら各部は、図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1aは、図10に示されているROM112、SRAM113、及びDRAM114のうち少なくとも一つによって構築される記憶部1000aを有している。記憶部1000aには、自装置のGUID(Globally Unique Identifier)が記憶されている。この記憶部1000aには、図16Aに示された画像種類管理テーブルによって構成された画像種類管理DB1001aが構築されている。
なお、撮影装置1bは、受付部12b、撮像部13b、集音部14b、通信部18b、記憶読出部19b、及び記憶部1000bを有しているが、それぞれ、撮影装置1aにおける受付部12a、撮像部13a、集音部14a、通信部18a、記憶読出部19a及び記憶部1000aと同様の機能を実現するため、これらの説明を省略する。
●画像種類管理テーブル●
図16Aは、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けられて記憶、管理されている。これらのうち、画像データIDは、撮影装置1a(1b)がビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって生成された名称である。
図16Aは、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けられて記憶、管理されている。これらのうち、画像データIDは、撮影装置1a(1b)がビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって生成された名称である。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」、「1.3.2.3」の4つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Omni」、「Video_Omni」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
なお、画像種類管理テーブル(画像種類管理DB1001)は、撮影装置1が通信ネットワーク100を介して直接通信管理システム5と通信が可能な状態において用いられるデータテーブルである。例えば、後述する実施形態1のように、撮影装置1aとビデオ会議端末3aが接続され、ビデオ会議端末3aが通信ネットワーク100を介して通信管理システム5と通信を行う場合は、このデータテーブルは使用されなくてもよい。
(撮影装置1aの各機能構成)
次に、図10及び図14を用いて、撮影装置1aの各機能構成について更に詳細に説明する。撮影装置1aの受付部12aは、主に、図10に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
次に、図10及び図14を用いて、撮影装置1aの各機能構成について更に詳細に説明する。撮影装置1aの受付部12aは、主に、図10に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13aは、主に、図10に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部14aは、主に、図10に示されているマイク108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1aの周囲の音を集音する。
通信部18aは、主に、図10に示されているCPU111の処理によって実現され、ビデオ会議端末3aの通信部38aと、NFC、Bluetooth、Wi-Fi等の近距離無線通信技術によって通信することができる。
記憶読出部19aは、主に、図10に示されているCPU111の処理によって実現され、記憶部1000aに各種データ(又は情報)を記憶したり、記憶部1000aから各種データ(又は情報)を読み出したりする。
<ビデオ会議端末3aの機能構成>
図14に示されているように、ビデオ会議端末3aは、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、生成部36a、算出部37a、通信部38a、及び記憶読出部39aを有している。これら各部は、図11に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3a用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
図14に示されているように、ビデオ会議端末3aは、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、生成部36a、算出部37a、通信部38a、及び記憶読出部39aを有している。これら各部は、図11に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3a用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末3aは、図11に示されているROM302、RAM303、及びフラッシュメモリ304のうち少なくとも一つによって構築される記憶部3000aを有している。この記憶部3000aには、画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aが構築されている。これらのうち、画像種類管理DB3001aは、図16Bに示されている画像種類管理テーブルによって構成されている。撮影装置管理DB3002aは、図16Cに示される撮影装置管理テーブルによって構成されている。所定領域管理DB3003aは、図16Dに示されている所定領域管理テーブルによって構成されている。
なお、ビデオ会議端末3dは、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、生成部36d、算出部37d、通信部38d、記憶読出部39d、及び記憶部3000dを有しているが、それぞれ、ビデオ会議端末3aにおける送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、生成部36a、算出部37a、通信部38a、記憶読出部39a、及び記憶部3000aと同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末3dにおける記憶部3000dには、画像種類管理DB3001d、撮影装置管理DB3002d、及び所定領域管理DB3003dが構築されているが、ビデオ会議端末3aにおける画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aと同様のデータ構造であるため、これらの説明を省略する。
●画像種類管理テーブル●
図16Bは、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けられて記憶、管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって生成された名称である。
図16Bは、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けられて記憶、管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって生成された名称である。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」、「1.3.2.3」の4つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Omni」、「Video_Omni」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
●撮影装置管理テーブル●
図16Cは、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶、管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶されてもよい。
図16Cは、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶、管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶されてもよい。
●所定領域管理テーブル●
図16Dは、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレス、撮影画像データの送信先の通信端末のIPアドレス、及び、撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶、管理されている。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
図16Dは、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレス、撮影画像データの送信先の通信端末のIPアドレス、及び、撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶、管理されている。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
例えば、図16Dの所定領域管理テーブルの1行目から3行目までは、ビデオ会議端末3aのIPアドレスが「1.2.1.3」の場合、ビデオ会議端末3aから送信された撮影画像データが、通信管理システム5を介して、IPアドレスが「1.2.2.3」のビデオ会議端末3d、IPアドレスが「1.3.1.3」のPC7、及びIPアドレスが「1.3.2.3」のスマートフォン9に送信された旨が管理されている。更に、ビデオ会議端末3dは、所定領域情報(r=20,θ=20,φ=30)の送信元の通信端末である旨が管理されている。同様に、PC7は、所定領域情報(r=20,θ=30,φ=40)の送信元の通信端末である旨が管理されている。また、スマートフォン9は、所定領域情報(r=30,θ=40,φ=50)の送信元の通信端末である旨が管理されている。
また、送受信部31aによって、既に管理されている撮影画像データの送信元の通信端末のIPアドレス及び撮影画像データの送信先の通信端末のIPアドレスと同じ組のIPアドレスを含む所定領域情報が新たに受信された場合には、記憶読出部39aは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。
(ビデオ会議端末3aの各機能構成)
次に、図11、図14及び図15を用いて、ビデオ会議端末3a(3d)の各機能構成について更に詳細に説明する。なお、ビデオ会議端末3dの各機能構成は、以下に示すビデオ会議端末3aの各機能構成と同様のため、説明を省略する。
次に、図11、図14及び図15を用いて、ビデオ会議端末3a(3d)の各機能構成について更に詳細に説明する。なお、ビデオ会議端末3dの各機能構成は、以下に示すビデオ会議端末3aの各機能構成と同様のため、説明を省略する。
ビデオ会議端末3aの送受信部31aは、主に、図11に示されているネットワークI/F311及びCPU301の処理によって実現され、通信ネットワーク100を介して、通信管理システム5と各種データ(又は情報)の送受信を行う。
受付部32aは、主に、図11に示されている操作ボタン308及びCPU301による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン308だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部33aは、主に、図11に示されているCPU301からの命令によって実現され、カメラ312が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部33aは、マイク314によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
さらに、画像・音処理部33aは、表示制御部34がディスプレイ4に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部33aは、画像データ(例えば、図3(a),(b)に示されているような各半球画像のデータ)に基づいて、図4(b)に示されているような全天球パノラマ画像データを生成し、更に、図6(b)に示されているような所定領域画像を生成する。また、画像・音処理部33aは、他の通信端末から通信管理システム5を介して受信された音データに係る音声信号をスピーカ315に出力し、スピーカ315から音声を出力させる。
表示制御部34aは、主に、図11に示されているディスプレイI/F317及びCPU301の処理によって実現され、ディスプレイ4に各種画像や文字等を表示させるための制御を行う。
判断部35aは、主に、図11に示されているCPU301の処理によって実現され、例えば、撮影装置1aから受信された画像データに係る画像種類を判断する。
生成部36aは、主に、図11に示されているCPU301の処理によって実現され、判断部35aによって、一般画像又は特殊画像(ここでは、全天球パノラマ画像)と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を生成する。例えば、判断部35aが、一般画像であると判断した場合には、生成部36aは、一般画像である旨を示すソース名「Video」を生成する。一方、判断部35aが、特殊画像であると判断した場合には、生成部36aは、特殊画像である旨を示すソース名「Video_Omni」を生成する。
算出部37aは、主に、図11に示されているCPU301の処理によって実現され、所定領域T2を示す所定領域情報(i2)、及び送受信部31aによって他の通信端末から受信された所定領域情報(i1)に基づき、撮影画像において所定領域T2に対する所定領域T1の位置(位置情報)及び方向を算出する。なお、所定領域情報(i1)は、撮影画像における所定領域T1を示している。また、撮影画像の全体が表示された場合の画像は、「全体画像」ともいう。
通信部38aは、主に、図11に示されている近距離通信回路319、アンテナ318a、及びCPU301の処理によって実現され、撮影装置1aの通信部18aと、NFC、Bluetooth、Wi-Fi等の近距離無線通信技術によって通信することができる。なお、通信部38aと送受信部31aとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶読出部39aは、主に、図11に示されているCPU301の処理によって実現され、記憶部3000aに各種データ(又は情報)を記憶したり、記憶部3000から各種データ(又は情報)を読み出したりする。
<通信管理システムの機能構成>
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、録画処理部53、判断部55、生成部56、画像変換処理部57及び記憶読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、録画処理部53、判断部55、生成部56、画像変換処理部57及び記憶読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム5は、図12に示されているROM502、RAM503、及びHD504のうち少なくとも一つによって構築される記憶部5000を有している。この記憶部5000には、セッション管理DB5001、画像種類管理DB5002、所定領域管理DB5003、所定領域管理DB5003P及び録画ファイル保存DB5004が構築されている。このうち、セッション管理DB5001は、図16Eに示されているセッション管理テーブルによって構成されている。画像種類管理DB5002は、図16Fに示される画像種類管理テーブルによって構成されている。所定領域管理DB5003及び所定領域管理DB5003Pは、図16Gに示される所定領域管理テーブル及び図16Hに示される所定領域管理テーブルPによって構成されている。録画ファイル保存DB5004は、図16Iに示される録画ファイル保存テーブルによって構成されている。なお、実施形態に係る画像通信システムは、録画処理部53、画像変換処理部57、所定領域管理DB5003、所定領域管理DB5003P、録画ファイル保存DB5004等を備える録画サーバーを、通信管理システム5と独立させて有する構成としてもよい。
●セッション管理テーブル●
図16Eは、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けられて記憶、管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3a等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
図16Eは、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けられて記憶、管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3a等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
●画像種類管理テーブル●
図16Fは、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルは、図16Bに示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3a等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
図16Fは、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルは、図16Bに示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3a等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報を同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
●所定領域管理テーブル(ライブ録画)●
図16Gは、ライブ録画の場合の所定領域管理テーブルを示す概念図である。ライブ録画とは、通信管理システム5が、リアルタイム配信(ライブストリーミング配信)とともに、各拠点(視聴拠点ともいう)が表示している全天球画像の所定領域情報を利用して透視射影変換を行い、平面画像をリアルタイムに生成する。その映像フレームを個別に録画することで、通信管理システム5が、各視聴拠点の視聴状況を録画ファイル等に生成する方式である。このライブ録画の場合の所定領域管理テーブルは、基本的に図16Dに示されている所定領域管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図16Gでは、新しい所定領域情報ほど上位で管理されている。
図16Gは、ライブ録画の場合の所定領域管理テーブルを示す概念図である。ライブ録画とは、通信管理システム5が、リアルタイム配信(ライブストリーミング配信)とともに、各拠点(視聴拠点ともいう)が表示している全天球画像の所定領域情報を利用して透視射影変換を行い、平面画像をリアルタイムに生成する。その映像フレームを個別に録画することで、通信管理システム5が、各視聴拠点の視聴状況を録画ファイル等に生成する方式である。このライブ録画の場合の所定領域管理テーブルは、基本的に図16Dに示されている所定領域管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図16Gでは、新しい所定領域情報ほど上位で管理されている。
●所定領域管理テーブルP(ポスト変換録画)●
図16Hは、ポスト変換録画の場合の所定領域管理テーブルを示す概念図である。ポスト変換録画とは、リアルタイム配信時は各映像データのオリジナルと各視聴拠点の所定領域情報の履歴の記録だけを行う。リアルタイム配信終了後、利用者からポスト変換録画を要求するための録画ファイル取得要求があった場合に、その録画ファイル取得要求に応じて各視聴拠点の視聴状況を反映した録画ファイルを生成する方式である。ポスト変換録画の場合の所定領域管理テーブルは、ライブ録画の場合の所定領域管理テーブルに対して最新の所定領域情報だけでなく、タイムスタンプの項目が追加されている。このタイムスタンプは時系列情報ともいい、例えば、UNIX時間で表すことができ、送受信部51で各通信端末から受信した所定領域情報について受信した日時(時刻)が記録されている。このポスト変換録画の場合には、同一の画像送信元及び画像送信先の組であってもタイムスタンプ列によって時系列の履歴が記録される。
図16Hは、ポスト変換録画の場合の所定領域管理テーブルを示す概念図である。ポスト変換録画とは、リアルタイム配信時は各映像データのオリジナルと各視聴拠点の所定領域情報の履歴の記録だけを行う。リアルタイム配信終了後、利用者からポスト変換録画を要求するための録画ファイル取得要求があった場合に、その録画ファイル取得要求に応じて各視聴拠点の視聴状況を反映した録画ファイルを生成する方式である。ポスト変換録画の場合の所定領域管理テーブルは、ライブ録画の場合の所定領域管理テーブルに対して最新の所定領域情報だけでなく、タイムスタンプの項目が追加されている。このタイムスタンプは時系列情報ともいい、例えば、UNIX時間で表すことができ、送受信部51で各通信端末から受信した所定領域情報について受信した日時(時刻)が記録されている。このポスト変換録画の場合には、同一の画像送信元及び画像送信先の組であってもタイムスタンプ列によって時系列の履歴が記録される。
●録画ファイル保存テーブル(ライブ録画/ポスト変換録画)●
図16Iは、録画ファイル保存テーブルを示す概念図である。この録画ファイル保存テーブルでは、画像送信元のIPアドレスごとに、画像送信先のIPアドレス、ライブ/ポストフラグ及び録画ファイル名が関連付けられて記憶、管理されている。これらのうち、ライブ/ポストフラグは、後述する録画ファイル名で示される録画ファイルがライブ録画によって録画されたものであるか、ポスト変換録画によって録画されたものであるかを区別する処理フラグ(情報)である。また、録画ファイル名は、画像通信システムにおける画像送信元となる一以上の撮影装置1が送信した全天球映像(画像)の録画ファイル、及び各画像送信先のIPアドレスで示される装置、通信端末等が配置された視聴拠点で視聴された光景を記録した録画ファイルを表す。
図16Iは、録画ファイル保存テーブルを示す概念図である。この録画ファイル保存テーブルでは、画像送信元のIPアドレスごとに、画像送信先のIPアドレス、ライブ/ポストフラグ及び録画ファイル名が関連付けられて記憶、管理されている。これらのうち、ライブ/ポストフラグは、後述する録画ファイル名で示される録画ファイルがライブ録画によって録画されたものであるか、ポスト変換録画によって録画されたものであるかを区別する処理フラグ(情報)である。また、録画ファイル名は、画像通信システムにおける画像送信元となる一以上の撮影装置1が送信した全天球映像(画像)の録画ファイル、及び各画像送信先のIPアドレスで示される装置、通信端末等が配置された視聴拠点で視聴された光景を記録した録画ファイルを表す。
なお、ライブ録画の場合には、通信管理システム5は、画像送信元のIPアドレスごとにオリジナル映像(リアルタイム配信時の映像、又は画像。以下、単にオリジナル映像という)で示される独立のファイルを記録する。また、通信管理システム5は、撮影装置1で撮影された映像(画像)をリアルタイム配信するとともに、画像送信先の各IPアドレスで示される通信端末(視聴拠点)で視聴される録画ファイルを生成する。具体的には、通信管理システム5は、例えば、画像送信先のIPアドレス(例えば、1.2.2.1)で示される視聴拠点にいる利用者の視点での録画ファイル(1201.mp4)を生成する。さらに通信管理システム5は、例えば、IPアドレス(例えば、1.2.2.2)で示される視聴拠点にいる別の利用者の視点での録画ファイル(1202.mp4)を生成する。このように、通信管理システム5は、画像データの配信とともに各視聴拠点で視聴される録画ファイルを生成するため、ライブ録画方式と呼んでいる。但し、この場合でも、画像送信元のIPアドレス(例えば、1.2.1.3)から送信された全天球映像(画像)を全て残すことも必要である。そのため、通信管理システム5は、画像送信先のIPアドレスを指定せずに(データテーブル中の“-”)、録画ファイル名:10101.mp4ファイル名で示されるオリジナル録画ファイルを生成する。つまり、録画ファイル名:10101.mp4のファイルは、送信元の視聴拠点に配置された撮影装置1がライブ配信時に配信(送信)した全天球映像(画像)がそのまま記録されたファイルとなる。なお、録画ファイル名:10101.mp4、1201.mp4、1202.mp4は、ライブ配信による録画ファイルであるため、それぞれの視聴拠点においてライブ配信されている同じタイミングで視聴される。
上述したように、通信管理システム5は、ライブ録画方式の場合では、各映像送信元(配信元)のIPアドレスと送信先(配信先)のIPアドレスの組合せそれぞれに対して録画ファイルを生成する。すなわち、どの送信先(配信先)拠点が、どの送信元(配信元)拠点からの映像をどのような視点(所定領域画像)で見ていたかといった様子が保存されている。あわせて、送信元(配信元)からの映像データ(例えば、10101.mp4)は、変換せずにそのまま保存される。
他方、ポスト変換録画の場合、通信管理システム5は、ライブ配信後の所定期間後に利用者からポスト変換録画を要求するための録画ファイル取得要求があったときに、ポスト変換録画を実行する。この場合、各視聴拠点における視聴状況を表す映像(動画ファイル)は、リアルタイム配信終了後の利用者からの要求によって後から生成されるため、画像送信元のIPアドレスごとにオリジナル映像を表す録画ファイル名が管理され、後から生成された録画ファイルが追加される。なお、録画ファイル名の項目で()書きされているのは、ポスト変換録画時に生成されたポスト変換録画ファイルとライブ配信時に生成されたライブ録画ファイルとが同じ内容を表すことを示している。例えば、画像送信元のIPアドレスが1.2.1.3で、画像送信先のIPアドレスが1.2.2.1の場合の録画ファイルは、ライブ録画ファイルが1201.mp4であり、ポスト変換録画ファイルが1850.mp4として命名されている。但し、これらはファイル管理上異なるファイル名となっているが、録画ファイルの中身(実体)は、生成された時期が異なるだけであり、ファイルの内容は同じものであるということを示している。このようにライブ録画ファイル名とポスト変換録画ファイル名とを変えて管理する理由のひとつは、例えば、動画配信サービス等のビジネス視点において、配信料金を管理する場合に有用となる。具体的には、画像通信システムは、利用者からどの録画ファイルがポスト変換録画ファイルとして利用されたかなどを、ライブ/ポストフラグとの併用で管理しやすくなるという理由が考えられる。このように、ポスト変換録画ファイルを生成する段階で、通信管理システム5は、画像送信元のIPアドレスと画像送信先のIPアドレスが同じ組合せの場合に、ポスト変換録画ファイル名とライブ録画ファイル名を変えてもよいし、同じにしてもよい。
本実施形態では、これまでに説明した画像送信元のIPアドレスを送信元識別情報又は撮影装置識別情報の一例として扱う。同様に、画像送信先のIPアドレスを送信先識別情報又は通信端末識別情報の一例として扱う。さらに、上述した撮影装置識別情報及び通信端末識別情報は、IPアドレスに加えて、撮影装置1の装置識別情報や通信端末(スマートフォン9)の端末識別情報であってもよい。さらに、撮影装置識別情報及び通信端末識別情報は、装置に限らず、撮影装置1を利用する利用者の利用者識別情報や通信端末(スマートフォン9)を利用する利用者の利用者識別情報等を用いてもよい。
(通信管理システムの各機能構成)
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5の送受信部51は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3a,3d、又はPC7と各種データ(又は情報)の送受信を行う。
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5の送受信部51は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3a,3d、又はPC7と各種データ(又は情報)の送受信を行う。
録画処理部53は、主に、図12に示されているCPU501の処理によって実現され、ライブ録画及びポスト変換録画のいずれの場合でも、各通信端末から受信した映像(画像)データに係るオリジナル映像の録画処理を行い、個別の録画ファイルに保存する。そして、録画処理部53は、録画ファイル保存DB5004(図16I参照)に対して、それぞれの項目(書誌事項)を管理する。なお、実施形態において、映像(画像)データには、その映像に含まれる音声も含まれているものとする。録画処理部53は、ライブ録画方式の場合には、上述したオリジナル映像を録画するとともに、各視聴拠点における利用者(視聴者)ごとの視聴状況を再現した透視射影変換処理画像(画像変換処理部57の出力画像)の記録(録画)も行う。なお、本実施形態において、ライブ録画方式を第1の録画方式という。他方、ポスト変換録画方式の場合には、録画処理部53は、通信端末を使用する利用者からのポスト変換録画を要求するための録画ファイル取得要求があった際に、取得要求に含まれる送信元拠点の識別情報(例えばIPアドレス)と、送信先拠点の識別情報(例えばIPアドレス)の組合せに基づき、画像変換処理部57と協働して、要求された録画ファイルを生成する。さらに、録画処理部53は、ポスト変換録画における他の機能として、Webページ上で所定の映像を閲覧要求する閲覧要求者(以下、閲覧要求者と記す)にUI(User Interface)を提供する機能も担うことができる。なお、閲覧要求者は、ライブ配信時に所定の視聴拠点でライブ配信動画を視聴していた利用者であってもよいし、他の利用者(例えば、配信動画に係る現場監督者、管理者等)であってもよい。
本実施形態において、ポスト変換録画方式を第2の録画方式という。また、本実施形態において、録画処理部53は、録画手段の一例として機能する。
判断部55は、主に、図12に示されているCPU501の処理によって実現され、通信管理システム5における各種判断を行なう。
生成部56は、主に、図12に示されているCPU501の処理によって実現され、画像データIDを生成する。
画像変換処理部57は、主に、図12に示されているCPU501の処理によって実現され、ライブ録画及びポスト変換録画のいずれの場合でも、全天球映像(画像)と所定領域情報から透視射影変換処理を行い、平面画像を生成する。また、画像変換処理部57は、ライブ録画の場合は、各通信端末から受信した全天球映像(画像)に対して、透視射影変換処理を行い、その結果を録画処理部53に渡して録画させる。具体的には、画像変換処理部57は、全天球映像(画像)に基づく映像(画像)を視聴している視聴拠点それぞれの所定領域情報を所定領域管理DB5003(図16G参照)から取り出し、透視射影変換処理を行い、その結果を録画処理部53に渡して録画させる。他方、ポスト変換録画の場合は、画像変換処理部57は、利用者からの要求により特定される録画ファイル保存DB5004(図16I参照)で管理される各オリジナル映像と、所定領域管理DB5003P(図16H参照)から抽出される所定領域情報のタイムスタンプごとの履歴を元に透視射影変換処理を行い、その結果を録画処理部53に渡して録画させる。本実施形態において、画像変換処理部57は、画像変換処理手段の一例として機能する。
さらに、上述した録画処理部53及び画像変換処理部57を合わせて、「録画変換処理部」として機能させてもよい。その場合、録画変換処理部は、録画変換手段の一例として機能する。
記憶読出部59は、主に、図12に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(又は情報)を記憶したり、記憶部5000から各種データ(又は情報)を読み出したりする。本実施形態において、記憶読出部59は、記憶読出手段の一例として機能し、記憶部5000は、記憶手段の一例として機能する。
なお、上述した各機能構成は、通信管理システム5内に録画機能を実現するためのモジュール群を含む構成を示したが、通信管理システム5とは別に、録画サーバーなどを設ける構成でもよい。
<PCの機能構成>
次に、図12及び図15を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図15に示されているように、PC7は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、生成部76、算出部77、通信部78、及び記憶読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。
次に、図12及び図15を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図15に示されているように、PC7は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、生成部76、算出部77、通信部78、及び記憶読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。
また、PC7は、図12に示されているROM702、RAM703、及びHD704のうち少なくとも一つによって構築される記憶部7000を有している。この記憶部7000には、画像種類管理DB7001、撮影装置管理DB7002、及び所定領域管理DB7003が構築されている。なお、画像種類管理DB7001、撮影装置管理DB7002、及び所定領域管理DB7003は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aと同じデータ構造であるため、これらの説明を省略する。
(PCの各機能構成)
次に、図12及び図15を用いて、PC7の機能構成について詳細に説明する。PC7の送受信部71は、主に、図12に示されているネットワークI/F709及びCPU701の処理によって実現され、送受信部31aと同様の機能を実現する。
次に、図12及び図15を用いて、PC7の機能構成について詳細に説明する。PC7の送受信部71は、主に、図12に示されているネットワークI/F709及びCPU701の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部72は、主に、図12に示されているキーボード711、マウス712及びCPU701の処理によって実現され、受付部32aと同様の機能を実現する。
画像・音処理部73は、主に、図12に示されているCPU701からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。
表示制御部74は、主に、図12に示されているCPU701の処理によって実現され、表示制御部34aと同様の機能を実現する。
判断部75は、主に、図12に示されているCPU701の処理によって実現され、判断部35aと同様の機能を実現する。
生成部76は、主に、図12に示されているCPU701の処理によって実現され、生成部36aと同様の機能を実現する。
算出部77は、主に、図12に示されているCPU701の処理によって実現され、算出部37aと同様の機能を実現する。
通信部78は、主に、図12に示されているCPU701の処理によって実現され、通信部38aと同様の機能を実現する。
記憶読出部79aは、主に、図12に示されているCPU701の処理によって実現され、記憶部7000に各種データ(又は情報)を記憶したり、記憶部7000から各種データ(又は情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図13及び図14を用いて、スマートフォン9の機能構成について説明する。スマートフォン9は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図14に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、生成部96、算出部97、通信部98、及び記憶読出部99を有している。これら各部は、図13に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
次に、図13及び図14を用いて、スマートフォン9の機能構成について説明する。スマートフォン9は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図14に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、生成部96、算出部97、通信部98、及び記憶読出部99を有している。これら各部は、図13に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図13に示されているROM902、RAM903、及びEEPROM904のうち少なくとも一つによって構築される記憶部9000を有している。この記憶部9000には、画像種類管理DB9001、撮影装置管理DB9002、及び所定領域管理DB9003が構築されている。なお、画像種類管理DB9001、撮影装置管理DB9002、及び所定領域管理DB9003は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aと同様のデータ構成であるため、これらの説明を省略する。
(スマートフォンの各機能構成)
次に、図13及び図14を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9の送受信部91は、主に、図13に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31aと同様の機能を実現する。
次に、図13及び図14を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9の送受信部91は、主に、図13に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部92は、主に、図13に示されているタッチパネル921及びCPU901の処理によって実現され、受付部32aと同様の機能を実現する。
画像・音処理部93は、主に、図13に示されているCPU901からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。
表示制御部94は、主に、図13に示されているCPU901の処理によって実現され、表示制御部34aと同様の機能を実現する。
判断部95は、主に、図13に示されているCPU901の処理によって実現され、判断部35aと同様の機能を実現する。
生成部96は、主に、図13に示されているCPU901の処理によって実現され、生成部36aと同様の機能を実現する。
算出部97は、主に、図13に示されているCPU901の処理によって実現され、算出部37aと同様の機能を実現する。
通信部98は、主に、図13に示されているCPU901の処理によって実現され、通信部38aと同様の機能を実現する。
記憶読出部99は、主に、図13に示されているCPU901の処理によって実現され、記憶部9000に各種データ(又は情報)を記憶したり、記憶部9000から各種データ(又は情報)を読み出したりする。
<<実施形態の処理又は動作>>
続いて、図17乃至図29を用いて、本実施形態の処理又は動作について説明する。
続いて、図17乃至図29を用いて、本実施形態の処理又は動作について説明する。
<通信セッションへの参加の処理>
まず、図17及び図18を用いて、特定の通信セッションへの参加処理について説明する。図17は、特定の通信セッションへの参加処理を示したシーケンス図である。図18は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、図17及び図18を用いて、特定の通信セッションへの参加処理について説明する。図17は、特定の通信セッションへの参加処理を示したシーケンス図である。図18は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、視聴拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aにおいて、通信セッション(仮想の会議室)の選択画面の表示を行なう操作をすると、受付部32aが選択画面を表示する操作を受け付け、表示制御部34aがディスプレイ4aに、図18に示されているような選択画面を表示する(ステップS21)。この選択画面には、選択対象である各仮想の会議室R1,R2,R3等を示す選択ボタンb1,b2,b3等が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が仮想の会議室の所望の選択ボタン(ここでは選択ボタンb1)を選択すると、受付部32aは、通信セッションの選択を受け付ける(ステップS22)。そして、送受信部31aは、通信管理システム5に対して、仮想の会議室への参加要求を送信する(ステップS23)。この参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末であるビデオ会議端末3aのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、参加要求を受信する。
次に、記憶読出部99は、セッション管理DB5001(図16E参照)において、ステップS23で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS23で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(ステップS24)。そして、送受信部51は、ビデオ会議端末3aに対して、参加要求応答を送信する(ステップS25)。この参加要求応答には、ステップS23によって受信されたセッションID、及び参加処理結果が含まれている。これにより、ビデオ会議端末3aの送受信部31aは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
<画像種類情報の管理処理>
続いて、図19を用いて、画像種類情報の管理処理を説明する。図19は、画像種類情報の管理処理を示すシーケンス図である。
続いて、図19を用いて、画像種類情報の管理処理を説明する。図19は、画像種類情報の管理処理を示すシーケンス図である。
まず、視聴拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aに、撮影装置1aが取り付けられた状態のクレードル2aのUSBケーブルを接続すると、撮影装置1aの記憶読出部19aが記憶部1000aに記憶されている自装置(撮影装置1a)のGUIDを読み出し、通信部18aがビデオ会議端末3aの通信部38aに対して自装置のGUIDを送信する(ステップS51)。これにより、ビデオ会議端末3aの通信部38aは、撮影装置1aのGUIDを受信する。
次に、ビデオ会議端末3aの判断部35aは、撮影装置管理DB3002a(図16C参照)において、ステップS51によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(ステップS52)。具体的には、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されている場合には、判断部35aは、撮影装置1aが特殊画像(ここでは、全天球パノラマ画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35aは、撮影装置1aが一般画像を撮影する撮影装置であると判断する。
次に、記憶読出部39aは、画像種類管理DB3001a(図16B参照)に対して、送信元端末である自端末(ビデオ会議端末3a)のIPアドレスと、ステップS52で判断された判断結果である画像種類情報とを関連付けて記憶する(ステップS53)。この状態では、画像データIDは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類(一般画像、特殊画像)である。
次に、送受信部31aは、通信管理システム5に対して、画像種類情報の追加要求を送信する(ステップS54)。この画像種類情報の追加要求には、ステップS53で記憶した送信元端末である自端末のIPアドレス、及び画像種類情報が含まれている。これにより、通信管理システム5の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理システム5の記憶読出部59は、ステップS54によって受信された送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(図16E参照)を検索することにより、対応するセッションIDを読み出す(ステップS55)。
次に、生成部56は、固有の画像データIDを生成する(ステップS56)。そして、記憶読出部59は、画像種類管理DB5002(図16F参照)に、新たなレコードとして、ステップS55で読み出されたセッションID、ステップS56で生成された画像データID、並びに、ステップS54で受信された送信元端末のIPアドレス及び画像種類情報を関連付けて記憶する(ステップS57)。そして、送受信部51は、ビデオ会議端末3aに対して、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3aの送受信部31aは、画像データIDを受信する(ステップS58)。
次に、ビデオ会議端末3aの記憶読出部39aは、画像種類管理DB3001a(図16B参照)に、上述したステップS53で記憶しておいた送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報に関連付けて、ステップS58で受信された画像データIDを記憶する(ステップS59)。
一方、通信管理システム5の送受信部51は、他の通信端末(ここでは、ビデオ会議端末3d)に対して、画像種類情報の追加通知を送信する(ステップS60)。この画像種類情報の追加通知には、ステップS56で生成された画像データID、並びに、ステップS53で記憶された送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報が含まれている。これにより、ビデオ会議端末3dの送受信部31dは、画像種類情報の追加通知を受信する。なお、送受信部51の送信先は、セッション管理DB5001(図16E参照)で、ビデオ会議端末3aのIPアドレスと同じセッションIDに関連付けられている他のIPアドレスである。即ち、送信先は、ビデオ会議端末3aと同じ仮想の会議室に入っている他の通信端末である。
次に、ビデオ会議端末3dの記憶読出部39dは、画像種類管理DB3001d(図16B参照)に、新たなレコードとして、ステップS60で受信された、画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する(ステップS61)。同様に、他の通信端末であるビデオ会議端末3d及びPC7にも画像種類情報の追加通知が送信され、ビデオ会議端末3d及びPC7でも、それぞれ画像種類管理DB3001d,7001に記憶される。以上より、各通信端末では、各画像種類管理DB3001a,3001d,7001,9001で同じ情報を共有することができる。
<撮影画像データの通信処理>
続いて、図20乃至図29を用いて、映像通話における撮影画像データの通信処理について説明する。図20は、映像通話の状態を示したイメージ図である。このうち、図20(a)は、撮影装置1aを利用しない場合を示し、図20(b)は、撮影装置1aを利用する場合を示している。
続いて、図20乃至図29を用いて、映像通話における撮影画像データの通信処理について説明する。図20は、映像通話の状態を示したイメージ図である。このうち、図20(a)は、撮影装置1aを利用しない場合を示し、図20(b)は、撮影装置1aを利用する場合を示している。
まず、図20(a)に示されているように、撮影装置1aを利用しないで、ビデオ会議端末3aに予め設けられたカメラ312(図11参照)を利用する場合、画角が水平125度で垂直70度であるため、ビデオ会議端末3aを各利用者A1等が映る机の端に置かなければならない。このため、各利用者A1等は、ビデオ会議端末3a側を向いて話さなければならない。また、各利用者A1等がビデオ会議端末3aの方を向くため、ディスプレイ4aもビデオ会議端末3aの側に置くことになる。これにより、ビデオ会議端末3aから離れた利用者A2,A4は、マイク314(図11参照)から離れているため、比較的大きな声で話さなければならず、ディスプレイ4aの表示内容も見えづらい。
これに対して、図20(b)に示されているように、撮影装置1aを利用する場合には、全天球パノラマ画像の元になる2つの半球画像を得ることができるため、ビデオ会議端末3a及びディスプレイ4aは、比較的、机の中央に置くことができる。これにより、各利用者A1等は、マイク314に近いため、比較的小声で話すことができ、ディスプレイ4aの表示内容も見えやすくなる。なお、視聴拠点Aの右側には、利用者A1等が文字や絵等を書き込むことができるホワイトボード6が設置されている。
続いて、図21を用い、図20(b)に示されている視聴拠点Aで得られた撮影画像データ及び音データが、通信管理システム5を介して、他の各通信端末(スマートフォン9,PC7,ビデオ会議端末3d)へ送信される処理について説明する。図21は、映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。
まず、撮影装置1aの通信部18aからビデオ会議端末3aの通信部38aに対して、被写体や風景等を撮影して得た撮影画像データ及び集音して得た音データを送信する(ステップS101)。この場合、撮影装置1aは全天球パノラマ画像の元になる2つの半球画像を得ることができる装置であるため、図3(a)、(b)に示されているように、撮影画像データは、2つの半球画像のデータによって構成されている。これにより、ビデオ会議端末3aの通信部38aは、撮影画像データ及び音データを受信する。
次に、ビデオ会議端末3aの送受信部31aは、通信管理システム5に対して、撮影装置1aから送られてきた撮影画像データ及び音データを送信する(ステップS102)。この送信には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、通信管理システム5の送受信部51は、撮影画像データ及び画像データIDを受信する。
次に、通信管理システム5の送受信部51は、ビデオ会議端末3aと同じ映像通話に参加している通信端末(スマートフォン9,PC7,ビデオ会議端末3d)に対して、撮影画像データ及び音データを送信する(ステップS103,S104,S105)。これら各送信処理には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、スマートフォン9の送受信部91、PC7の送受信部71及びビデオ会議端末3dの送受信部31dは、それぞれ撮影画像データ、画像データID及び音データを受信する。
続いて、図22を用いて、視聴拠点Dにおけるディスプレイ4dの表示例を説明する。図22は、視聴拠点Dにおけるディスプレイの表示例である。このうち、図22(a)は、視聴拠点Aの撮影装置1aからビデオ会議端末3aを介して送信された撮影画像データ、及び視聴拠点Bの撮影装置1bから送信された撮影画像データから、全天球パノラマ画像の生成及び所定領域画像の生成をせずに、そのまま表示する場合を示している。一方、図22(b)は、撮影装置1a,1bから送信された撮影画像データから、全天球パノラマ画像の生成及び所定領域画像の生成をした場合を示している。なお、ディスプレイ4dの左側の表示領域(レイアウト番号「1」)には視聴拠点Aの画像が表示され、右側上段の表示領域(レイアウト番号「2」)には視聴拠点Bの画像が表示されている。更に、ディスプレイ4dの右側中段の表示領域(レイアウト番号「3」)には視聴拠点Cの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には視聴拠点D(自拠点)の画像が表示されている。レイアウト番号「1」の表示領域は主表示領域であり、レイアウト番号「2」、「3」及び「4」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各視聴拠点では、主表示領域に、映像通話の中心人物がいる視聴拠点の画像が表示される。
ここで、全天球パノラマ画像の撮影が可能な撮影装置1a,1bから送信された撮影画像データをそのまま表示すると、図22(a)に示されているように、視聴拠点Aと視聴拠点Bの画像が、それぞれ図3(a),(b)に示されているように、前側の半球画像と後側の半球画像として表示される。
これに対して、画像・音処理部93が、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置1a,1bが出力した撮影画像データから、全天球パノラマ画像を生成し、更に所定領域画像を生成すると、図22(b)に示されているように、平面画像である所定領域画像が表示される。なお、視聴拠点Cでは、一般画像を得る撮影装置8が撮影し、視聴拠点Dでも、一般画像を得るビデオ会議端末3dが撮影しているため、図22(a),(b)のいずれも、一般画像(ここでは、平面画像)が表示されている。
また、各視聴拠点の利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。例えば、利用者B1は、タッチパネル921の操作等により、受付部92が所定領域画像の移動を受け付け、表示制御部94は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図22(b)に示されているように、初期設定(デフォルト)で視聴拠点Aの一部の利用者A1,A2が表示されている所定領域画像から、図22(c)に示されているように、所定領域画像を表示することができる。具体的には、図22(c)は、図20(b)に示されている視聴拠点Aの撮影画像において、利用者A1,A2を含む所定領域画像から、ホワイトボード6を含む所定領域画像に変更した状態を示している。
なお、図22(b)、(c)に示されている全天球アイコン191,192は、全天球パノラマ画像の一部の所定領域Tを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン191,192の表示位置は、右上ではなく、左上、左下、及び右下等、どこでもよい。また、全天球アイコン191,192の種類は図22(b)、(c)に限らない。また、全天球アイコン191,192ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組合せであってもよい。
続いて、図23を用いて、図22(b)のように所定領域画像を表示した場合、及び図22(b)から図22(c)のように所定領域画像を変更した場合の画像通信システムにおける処理について説明する。図23は、所定領域情報を共有する処理を示したシーケンス図である。図23では、視聴拠点Aのビデオ会議端末3aが第3の通信端末であり、視聴拠点Dのビデオ会議端末3dが他の通信端末であり、視聴拠点Bのスマートフォン9が通信端末(自端末)である。
まず、図22(b)に示されているように、視聴拠点Dで利用者D1等がビデオ会議端末3dを利用して視聴拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS111)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の記憶読出部59は、所定領域管理DB5003に、ステップS111で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS112)。なお、ステップS111,112の処理は、図22(b)から図22(c)のように、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、通信管理システム5の記憶読出部59は、所定領域管理DB5003に記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスの組を一定期間(例えば、30秒)毎に読み出す(ステップS113)。そして、送受信部51は、所定領域情報の送信元であるビデオ会議端末3dと同じ映像通話を行なっている他の通信端末(ビデオ会議端末3a、スマートフォン9、PC7)に対して、ステップS113で読み出された各IPアドレスを含む所定領域情報を配信(送信)する(ステップS114,S116,S118)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。そして、記憶読出部39aは、所定領域管理DB3003aに、ステップS114で受信された所定領域情報及び各IPアドレスを関連付けたまま記憶する(ステップS115)。同様に、スマートフォン9においても、送受信部91が所定領域情報を受信した後、記憶読出部99が所定領域管理DB9003に、ステップS116で受信された所定領域情報及び各IPアドレスに関連付けたまま記憶する(ステップS117)。更に、PC7においても、送受信部71が所定領域情報を受信した後、記憶読出部79が所定領域管理DB7003に、ステップS118で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS119)。
以上により、視聴拠点Dで変更された所定領域画像を示す所定領域情報は、同じ映像通話中の他拠点B,C,Aの各通信端末に送信されることで、視聴拠点Dで表示中の所定領域画像を示す所定領域情報が他拠点B,C,Aにおいても共有される。この処理は、拠点B,C,Aにおいて所定領域画像が変更された場合も同様に行なわれ、同じ映像通話中の全拠点で互いに他拠点で表示中の所定領域画像を示す所定領域情報が共有される。
続いて、図24乃至図29を用いて、各拠点で共有された所定領域情報の利用方法について説明する。図24は、所定領域画像の表示処理を示したフローチャートである。なお、各通信端末の処理は同じであるため、ここでは、拠点Bのスマートフォン9の処理について説明する。具体的には、拠点Aのビデオ会議端末3aから送信された撮影画像データが、視聴拠点Dのビデオ会議端末3dによって所定領域画像として表示されている場合に、ビデオ会議端末3dが同じ映像通話中の他の通信端末に所定領域画像を示す所定領域情報を送信することによって、視聴拠点Bのスマートフォン9が実行する処理について説明する。
まず、スマートフォン9では、記憶読出部99が、図21に示されているステップS103によって受信された画像データIDを検索キーとして、画像種類管理DB9001(図16B参照)を検索することにより、対応するソース名(画像種類情報)を読み出す(ステップS131)。
次に、判断部95は、ステップS131によって読み出された画像種類情報が「特殊画像」である旨を示すか否かを判断する(ステップS132)。画像種類情報が「特殊画像」である旨を示す場合には(ステップS132;YES)、更に、記憶読出部99は、所定領域管理DB9003に対して、他拠点の通信端末が表示している所定領域画像を示す所定領域情報を検索する(ステップS133)。そして、判断部95は、所定領域管理DB9003において、他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されているか否かを判断する(ステップS134)。他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されている場合には(ステップS134;YES)、算出部97は、スマートフォン9(自端末)が表示中の所定領域T2の所定領域画像を示す所定領域情報(i2)、及び送受信部91によって他の通信端末から受信されて所定領域管理DB9003に管理されていた所定領域T1の所定領域画像を示す所定領域情報(i1)に基づき、全体画像において所定領域T2に対する所定領域T1の注視点の位置を算出する。同様に、算出部97は、全体画像において所定領域T2に対する所定領域T1の方向を算出する(ステップS135)。なお、この場合の位置は、厳密には、所定領域T2の注視点に対する所定領域T1の注視点を示している。注視点は、上述のように中心点であるが、各所定領域の矩形の左上端(又は、左下端、右上端、若しくは右下端)であってもよい。更に、注視点は、各所定領域内の特定の点であってもよい。
ここで、図25を用いて、全体画像において所定領域T2に対する所定領域T1の注視点を算出する方法について説明する。図25(a)は仮想カメラの角度の定義を示した図であり、図25(b)は上から見た並行投影で自拠点の所定領域画像における他拠点の注視点の位置を算出する方法を示す図である。
図25(a)に示されているように、算出部97は、自端末(スマートフォン9)の表示制御部94が表示中の所定領域画像を示す所定領域情報から、動径r、極角θ、及び方位角φを取得し、これをCP1(r0, θ1, φ1)とする。次に、算出部97は、ステップS133で読み出された他拠点の所定領域情報から、動径r、極角θ、及び方位角φを取得し、これをCP2(r0, θ2, φ2)とする。
自端末(スマートフォン9)の注視点CP1を中心とする所定領域T2を考えた場合、所定領域T2の幅wと高さhは、極方向から並行投影した図25(b)では幅はwとして、高さはh cosθ1の長さに射影される。
また、注視点CP1の動径はr0sinθ1の長さに射影され、注視点CP2の動径はr0sinθ2の長さに射影されるため、注視点CP1は座標(r0sinθ1・r0cosφ1,r0sinθ1・r0sinφ1)、注視点CP2は座標(r0sinθ2・r0cosφ2, r0sinθ2・r0cosφ2)に位置する。
以上により、図25(b)にて、注視点座標CP1と注視点CP2の座標が導出できたことで、幅 ww と高さ hh の所定領域T2の平面上での注視点CP2の位置は、一般的な座標変換を用いて導出することができる。
ここで、図26を用いて、全体画像において所定領域T2に対する所定領域T1の方向を算出する方法について説明する。図26(a)は角度の定義を示した図であり、図26(b)は角度範囲の定義を示した図である。
図26(a)に示されているように、算出部97は、自端末(スマートフォン9)の表示制御部94が表示中の所定領域画像を示す所定領域情報から方位角φを取得し、これを回転角φ1とする。次に、算出部97は、ステップS133で読み出された他拠点の所定領域情報から方位角φを取得し、これを回転角φ2とする。更に、算出部97は、回転角φ2と回転角φ1の差を回転角φ3とする。
また、図26(b)に示されているように、自拠点の回転角φを中心とした角度範囲をα1とし、自拠点の水平角度に180度を加えた角度を中心とした角度範囲をα2とした場合、算出部97は、以下のように、全体画像において所定領域T2に対する所定領域T1の方向を算出する。
(1)回転角φ3が角度範囲α1に含まれる場合は、位置関係を「前方向」と判定。
(2)φ3が角度範囲α2に含まれる場合は、位置関係を「後方向」と判定。
(3)φ3が基準水平角度から固定角度αの半分の値を引いた値が0度より大きく180度未満の角度範囲に含まれる場合は、位置関係を「右方向」と判定。
(4)φ3が基準水平角度から固定角度αを引いた値が0度より大きく180度未満の場合は、位置関係を「右方向」と判定。
(5)φ3が基準水平角度から固定角度αを引いた値が180度より大きく360度未満の場合は、位置関係を「左方向」と判定。
(1)回転角φ3が角度範囲α1に含まれる場合は、位置関係を「前方向」と判定。
(2)φ3が角度範囲α2に含まれる場合は、位置関係を「後方向」と判定。
(3)φ3が基準水平角度から固定角度αの半分の値を引いた値が0度より大きく180度未満の角度範囲に含まれる場合は、位置関係を「右方向」と判定。
(4)φ3が基準水平角度から固定角度αを引いた値が0度より大きく180度未満の場合は、位置関係を「右方向」と判定。
(5)φ3が基準水平角度から固定角度αを引いた値が180度より大きく360度未満の場合は、位置関係を「左方向」と判定。
図24に戻り、画像・音処理部93は、算出部97によって算出された注視点を示す注視点マーク及び方向を示す表示方向マークを含む所定領域画像を生成する(ステップS136)。注視点マークの表示位置は、全体画像において所定領域T2に対する所定領域T1の位置から直接求められる。表示方向マークの表示位置は、全体画像において所定領域T2に対する所定領域T1の位置を利用し、上述の(1)~(5)の各判定の処理によって求められる。
この際、画像・音処理部93は、画像種類情報が「特殊画像」である旨を示すことに基づき、全天球パノラマ画像である旨を示す全天球アイコン191,192を所定領域画像に合成する。そして、表示制御部94は、図27(a)、(b)、(c)、図28(a)、(b)、図29に示されているように、ステップS136によって生成された所定領域画像を表示する(ステップS137)。なお、図27(a)、(b)、(c)は、主表示領域の画像を示しており、表示方向マークを含む所定領域画像の3つの表示例を示した図である。なお、図28(a)、(b)は、主表示領域の画像を示しており、注視点マークを含む所定領域画像の2つの表示例を示した図である。なお、図29は主表示領域の画像を示しており、注視点マーク及び表示方向マークを含む所定領域画像の1つの表示例を示した図である。また、図22に示されているように、映像通話中の全ての視聴拠点の画像は表示されるが、図27、図28及び図29では、図面の面積の関係上、視聴拠点Aの画像のみを表示している。
図27(a)に示されているように、視聴拠点Aの画像の一部である所定領域画像内には、全体画像において、視聴拠点B(自拠点)で表示中の所定領域画像を基準として、他拠点で表示されている所定領域画像の方向を示す表示方向マークm11,m13,m14が表示されている。なお、図27(b)に示されている表示方向マークm21,m23,m24、及び図27(c)に示されている表示方向マークm31,m33,m34は、それぞれ図27(a)に示されている表示方向マークm11,m13,m14に対応する。
なお、上述した各表示方向マークは、方向情報の一例であって、他の形態であってもよい。また、方向情報は矢印で示すのではなく、「右」、「左」、「奥」及び「手前」等の文字で示してもよい。
また、図28(a)に示されているように、視聴拠点Aの画像の一部である所定領域画像内には、全体画像において、視聴拠点B(自拠点)で表示中の所定領域画像を基準として、他拠点で表示されている所定領域画像の注視点を示す注視点マークm41,m42が表示されている。注視点マークは所定領域画像を隠さないように半透明で表示されてもよい。なお、図28(b)に示されている注視点マークm51,m52は、それぞれ図28(a)に示されている注視点マークm41,m42に対応する。
図28(a)では、どの視聴拠点の注視点なのかが識別できるように、視聴拠点名である“C”を示した注視点マークm41、及び視聴拠点名である“D”を示した注視点マークm42のラベルが表示されている。これに対して、図28(b)では、視聴拠点名が表示されずに、異なる模様(格子模様、斜線模様等)の注視点マークによって異なる視聴拠点が示されている。この場合、各視聴拠点で、他拠点の注視点を区別できるように塗りつぶす模様を変えている。模様と視聴拠点名を対応づける表を準備すれば、各視聴拠点の利用者は注視点マークの模様から視聴拠点を識別することできる。この表は、紙に印刷されたものでもよいし、電子データとして各視聴拠点で保管されてもよい。
なお、注視点マークを区別する表示する模様の代わりに、色や線種を変えることで区別できるようにしてもよい。なお、注視点マークは、対応位置情報の一例である。
図29では、他拠点の注視点が所定領域画像の範囲に含まれる場合は注視点を示す注視点マークm41が表示され、所定領域画像の範囲に含まれない場合は表示方向マークm11、m14が表示されている。
再び図24に戻り、上述したステップS134の判断で、所定領域管理DB9003において、他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されていない場合には(ステップS134;NO)、画像・音処理部93は、注視点マーク及び表示方向マークを含めずに、所定領域画像を生成する(ステップS138)。その後は、ステップS137の処理に進む。
また、上述したステップS132の判断で、画像種類情報が「特殊画像」である旨を示さない場合には(ステップS132;NO)、即ち、画像種類情報が「一般画像」である旨を示す場合には、画像・音処理部93は、ステップS103によって受信された撮影画像データから全天球パノラマ画像を生成せず、表示制御部94は一般画像を表示する(ステップS139)。
以上のように、視聴拠点Bの利用者B1,B2は、自拠点で表示している所定領域画像と、他拠点で表示されている所定領域画像との位置関係を把握することができる。これにより、視聴拠点Bの利用者B1,B2が会議等の話題に付いて行けなくなることを防止することができる。
<<本実施形態の主な効果>>
以上説明したように、本実施形態によれば、ビデオ会議端末3a等の通信端末は、画像データとともに送信される画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を生成し、更に所定領域画像を生成することができる。これにより、図22(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
以上説明したように、本実施形態によれば、ビデオ会議端末3a等の通信端末は、画像データとともに送信される画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を生成し、更に所定領域画像を生成することができる。これにより、図22(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
更に、任意の視聴拠点の利用者は、他拠点で全天球パノラマ画像の全体画像のうちのどこの部分の所定領域画像が表示されているかを把握することができるため、従来に比べて会議等の話題に付いて行き易くなるという効果を奏する。
また、図23において、仮に、通信管理システム5が、ビデオ会議端末3dから所定領域情報を受信する度に、他の通信端末へ所定領域情報を転送すると、図29に示されている注視点マーク及び表示方向マークのちらつきによって、利用者B1,B2は映像通話に集中できない。そこで、上述したステップS112~S114に示すように、通信管理システム5は、一定期間毎に、その時点の最新の所定領域画像及び各IPアドレスの組を配信することで、各利用者は映像通話に集中することができる。
〔第2の実施形態〕
続いて、図30を用いて、第2の実施形態について説明する。図30は、図23に示された処理の他の例を示し、所定領域情報を共有する他の処理を示すシーケンス図である。図30では、視聴拠点Aのビデオ会議端末3aが通信端末(自端末)であり、視聴拠点Dのビデオ会議端末3dが他の通信端末である。
続いて、図30を用いて、第2の実施形態について説明する。図30は、図23に示された処理の他の例を示し、所定領域情報を共有する他の処理を示すシーケンス図である。図30では、視聴拠点Aのビデオ会議端末3aが通信端末(自端末)であり、視聴拠点Dのビデオ会議端末3dが他の通信端末である。
上述した第1の実施形態では、図23に示されているように、通信管理システム5が、各通信端末から送信された各所定領域情報を一旦管理して(ステップS112参照)、一定期間毎に送信元以外の各通信端末に各所定領域情報を送信した(ステップS114~S119参照)。これに対して、本実施形態では、図30に示されているように、撮影画像データの送信元の通信端末(ここでは、ビデオ会議端末3a)が、通信管理システム5に替わって、所定領域情報を一旦管理して(ステップS213参照)、一定期間毎に自端末以外の各通信端末に各所定領域情報を送信する(ステップS215~S221参照)。即ち、本実施形態では、撮影画像データの送信元の通信端末は、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのような所定領域T1の所定領域画像として表示されているかを管理している。
なお、本実施形態は、第1の実施形態と同じ構成であり、図23に示されている処理が異なる。そのため、以下では、同じ構成には同一の符号を用いて説明を省略するとともに、図30を用いて、第1の実施形態と異なる処理の部分を説明する。
まず、視聴拠点Dで利用者D1等がビデオ会議端末3dを利用して視聴拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS211)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、撮影画像データの送信元であるビデオ会議端末3aに、ステップS211で受信した各IPアドレスを含む所定領域情報を送信する(ステップS212)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。
次に、ビデオ会議端末3aの記憶読出部39aは、所定領域管理DB3003aに、ステップS212で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS213)。このステップS213の処理が、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのように表示されているかを管理する処理である。なお、ステップS211~S213の処理は、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、ビデオ会議端末3aの記憶読出部39aは、所定領域管理DB3003aに記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスを一定期間(例えば、30秒)毎に読み出す(ステップS214)。そして、送受信部31aは、通信管理システム5に対して、ステップS214で読み出された各IPアドレスを含む所定領域情報を送信する(ステップS215)。これにより、通信管理システム5の送受信部51は、各IPアドレスを含む所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、各通信端末(ビデオ会議端末3d,スマートフォン9,PC7)に、ステップS215で受信した各IPアドレスを含む所定領域情報を送信(配信)する(ステップS216,S218,S220)。これにより、ビデオ会議端末3dの送受信部31dは、所定領域情報を受信する。そして、記憶読出部39dは、所定領域管理DB3003dに、ステップS216で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS217)。同様に、スマートフォン9においても、送受信部91が所定領域情報を受信した後、記憶読出部99が所定領域管理DB9003に、ステップS218で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS219)。更に、PC7においても、送受信部71が所定領域情報を受信した後、記憶読出部79が所定領域管理DB7003に、ステップS220で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS221)。
<<本実施形態の主な効果>>
以上説明したように、本実施形態によれば、撮影画像データの送信元の通信端末が、自端末から送信した撮影画像データに基づいて、各通信端末でどのように表示されているかを示す所定領域情報を収集して、各通信端末に配信する。これにより、第1の実施形態の効果に加え、多数の通信端末で同じ会議等を行なう場合に、通信管理システム5への負担が集中することを回避することができるという効果を奏する。
以上説明したように、本実施形態によれば、撮影画像データの送信元の通信端末が、自端末から送信した撮影画像データに基づいて、各通信端末でどのように表示されているかを示す所定領域情報を収集して、各通信端末に配信する。これにより、第1の実施形態の効果に加え、多数の通信端末で同じ会議等を行なう場合に、通信管理システム5への負担が集中することを回避することができるという効果を奏する。
〔第3の実施形態〕
続いて、第3の実施形態について説明する。
続いて、第3の実施形態について説明する。
図10において、撮影装置1aは1つのマイク108を備えているが、本実施形態では、撮影装置1aは、複数の指向性マイクを備えている。撮影装置1aが複数の指向性マイクを用いることで、撮影装置1aからビデオ会議端末3aに各指向性マイクの音声データが送信される。これにより、ビデオ会議端末3aの算出部37aが、各マイクの音声データから音源の方向(マイク角度)を算出し、算出した方向は(撮影画像の送信元の)発話者の位置を特定するために利用される。撮影装置1bについても同様であり、複数の指向性マイクを備えた撮影装置1bからスマートフォン9に各マイクの音声データを送信し、スマートフォン9の算出部97が、各マイクの音声データから音源の方向(マイク角度)を算出し、算出した角度は(撮影画像の送信元の)発話者の位置を特定するために利用される。
<<本実施形態の主な効果>>
以上説明したように、本実施形態によれば、他拠点で全天球パノラマ画像の全体画像のうちのどこの部分の所定領域画像が表示されているかをより精度良く表示させることができるという効果を奏する。
以上説明したように、本実施形態によれば、他拠点で全天球パノラマ画像の全体画像のうちのどこの部分の所定領域画像が表示されているかをより精度良く表示させることができるという効果を奏する。
〔第4の実施形態〕
続いて、図31乃至図35を用いて、第4の実施形態について説明する。図31は、映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。なお、本実施形態は、第1の実施形態で示した図21の処理のうち、ビデオ会議端末3aの処理を不要とする点で異なる。但し、第1の実施形態~第3の実施形態で用いられた所定領域管理DB5003(図16G参照)には、本実施形態においても図23等に示された各処理によって所定の値が与えられているものとする。このように、本実施形態では、他の実施形態と同様の部分の説明を省略するとともに、新たに例示される図31以降の処理について説明する。また、第4の実施形態では、上述した画像通信システムを構成する各ハードウエア資産、及び各機能構成を利用することを前提に、工事現場、建設現場等の屋外でのイベントをライブ配信し、遠隔地に配置された一以上の通信端末を利用してライブ配信された映像(画像)を視聴する場合を例に説明する。
続いて、図31乃至図35を用いて、第4の実施形態について説明する。図31は、映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。なお、本実施形態は、第1の実施形態で示した図21の処理のうち、ビデオ会議端末3aの処理を不要とする点で異なる。但し、第1の実施形態~第3の実施形態で用いられた所定領域管理DB5003(図16G参照)には、本実施形態においても図23等に示された各処理によって所定の値が与えられているものとする。このように、本実施形態では、他の実施形態と同様の部分の説明を省略するとともに、新たに例示される図31以降の処理について説明する。また、第4の実施形態では、上述した画像通信システムを構成する各ハードウエア資産、及び各機能構成を利用することを前提に、工事現場、建設現場等の屋外でのイベントをライブ配信し、遠隔地に配置された一以上の通信端末を利用してライブ配信された映像(画像)を視聴する場合を例に説明する。
図9に示した視聴拠点Aにおいて、撮影装置1aは、撮影した撮影画像を表す撮影画像データを通信管理システム5に送信するとともに、他の通信端末に対して撮影画像のリアルタイム配信(ライブストリーミング配信)が可能な撮影装置であることを前提とする。つまり、第1の実施形態では、撮影装置1aで撮影した全天球パノラマ画像を表す撮影画像データを、ビデオ会議端末3a(通信端末)を介して送信(配信)する構成であった。これに代えて、第4の実施形態では、全天球画像を撮影した撮影装置1aが、そのまま視聴拠点Aを含めた他拠点(視聴拠点B,C,D,・・・)に配置された他の通信端末に対して、撮影した全天球パノラマ画像を表す撮影画像データを送信(ライブストリーミング配信)することが可能な構成となっている。
図31では、まず、撮影装置1aの通信部18aから通信管理システム5の送受信部51に対して、被写体や風景等を撮影して得た撮影画像(映像)データ及び集音して得た音データを送信する(ステップS301)。これにより、通信管理システム5の送受信部51は、撮影装置1aが送信した撮影画像データ及び集音して得た音データを受信する。このとき、撮影画像(映像)データには、画像データIDが含まれる。なお、撮影装置1aは全天球パノラマ画像の元になる2つの半球画像を得ることができるため、図3(a)、(b)に示されているように、撮影画像(映像)データは、2つの半球画像のデータによって構成されている。なお、本実施形態では、説明の便宜上、撮影画像(映像)データには、上述した音データが含まれているものとし、「撮影画像(映像)データ」と記載した場合には、音データが含まれているものとする。さらに、撮影画像(映像)データを、単に撮影画像データと記載する場合もある。
続いて、通信管理システム5は、受信した撮影画像データに対する録画処理を実行する(ステップS302)。なお、ステップS302の詳細について、以下の録画処理フローで詳細に説明する。
<録画処理フロー>
<<ライブ録画時の録画処理フロー>>
次に、通信管理システム5において実行されるライブ録画の処理について説明する。図32は、ライブ録画又はポスト変換録画選択及びライブ録画の録画処理を示したフローチャートである。なお、図32に示された各処理は、各通信端末からメディアデータを受信する毎に実行される。まず、判断部55は、受信したデータが映像データであるかどうかを判断する(ステップS302-1)。
<<ライブ録画時の録画処理フロー>>
次に、通信管理システム5において実行されるライブ録画の処理について説明する。図32は、ライブ録画又はポスト変換録画選択及びライブ録画の録画処理を示したフローチャートである。なお、図32に示された各処理は、各通信端末からメディアデータを受信する毎に実行される。まず、判断部55は、受信したデータが映像データであるかどうかを判断する(ステップS302-1)。
受信したデータが映像データでないと判断した場合(ステップS302-1;NO)、判断部55は、このフローを抜ける。他方、受信したデータが映像データであると判断した場合(ステップS302-1;YES)、録画処理部53は、記憶読出部59と協働して、受信された映像データの映像フレームをオリジナル録画ファイルとして、録画ファイル保存DB5004(図16I参照)に保存する(ステップS302-2)。この処理ステップでは、録画ファイルは、全天球パノラマ映像の場合であっても全天球全てが含まれる映像フォーマット(例えば、EQUIRECTANGULAR形式)で記録される。
続いて、判断部55は、受信した映像フレームの録画がライブ録画により録画されたかポスト変換録画により録画されたかを判断する(ステップS302-3)。受信した映像フレームの録画がポスト変換録画により録画された場合(ステップS302-3;ポスト)、判断部55は、以降の処理として図33の丸Aで示される処理に遷移するためにこのフローを抜ける。
他方、受信した映像フレームの録画がライブ録画により録画された場合(ステップS302-3;ライブ)、判断部55は、更に、受信したデータに含まれる画像データIDを検索キーとして画像種類管理DB5002(図16F参照)を検索することにより、対応する画像種類を読み出し、受信したデータに係る映像が全天球映像であるか否かを判断する(ステップS302-4)。受信したデータに係る映像が全天球映像ではなく平面映像の場合(ステップS302-4;NO)、判断部55は、特に処理を行わずにこのフローを抜ける。
他方、受信したデータに係る映像が全天球映像である場合(ステップS302-4;YES)、記憶読出部59は、各視聴拠点を表す画像送信先の各IPアドレスを検索キーとして所定領域管理DB5003(図16G参照)を検索することにより、受信したデータに関する各IPアドレスに対応する最新の所定領域情報を読み出す(ステップS302-5)。
続いて、画像変換処理部57は、読み出された最新の所定領域情報ごとに透視射影変換を行い、所定領域画像(平面画像)を生成する(ステップS302-6)。
所定領域画像(平面画像)が生成された後、記憶読出部59は、生成された各所定領域画像(平面画像)を映像フレームとした録画ファイルとして、録画ファイル保存DB5004(図16I参照)に保存してこのフローを抜ける(ステップS302-7)。
上述したステップS302-5~S302-07の各処理は、受信した映像データを視聴している各視聴拠点のデータごとに行われ、視聴拠点ごとにその視聴状況を反映した映像ファイルが、録画ファイル名を付与されて生成され、管理される。これにより、ライブ録画による録画方式では、通信管理システム5は、撮影画像のリアルタイム配信とともに全ての視聴クライアント(視聴拠点)ごとの視聴状況を反映した録画ファイルを生成することができる。その際、各視聴クライアント(各通信端末)における画面キャプチャなどを行う必要がなくなり、視聴クライアント側での処理負荷や視聴クライアントから通信管理システム5に対するデータの発生等も抑止することができる。また、撮影されたオリジナル映像も録画ファイル保存DB5004(図16I参照)に所定の録画ファイル名で保存される。そのため、全天球映像についてはどの視聴拠点も注目していなかった領域に対しても記録が残り、利用者は、必要に応じて所定時間経過後に、残された記録を参照することも可能になる。
<<ポスト変換録画時の録画処理フロー>>
次に、通信管理システム5において実行されるポスト変換録画の処理について説明する。図33は、ポスト変換録画の場合の録画処理を示したフローチャートである。この図33の処理は、上述した図32のステップS302-3の処理において、判断部55によってポスト変換録画が実行されると判断された場合(丸Aの処理に遷移する場合)のフローである。ポスト変換録画では、撮影画像に対するリアルタイム配信時には、各画像(映像)データのオリジナル、及び各視聴拠点の所定領域情報の履歴が記録される。そして、リアルタイム配信終了後に要求された利用者からの録画ファイル取得要求に応じて、指定された視聴拠点の視聴状況を反映した録画ファイルが生成される。なお、丸Aの処理に遷移する時期は、図32のステップS302-3の処理が終了してから所定の期間空いてもよい。この所定の期間とは、例えば、10分間、3時間、10日間などである。
次に、通信管理システム5において実行されるポスト変換録画の処理について説明する。図33は、ポスト変換録画の場合の録画処理を示したフローチャートである。この図33の処理は、上述した図32のステップS302-3の処理において、判断部55によってポスト変換録画が実行されると判断された場合(丸Aの処理に遷移する場合)のフローである。ポスト変換録画では、撮影画像に対するリアルタイム配信時には、各画像(映像)データのオリジナル、及び各視聴拠点の所定領域情報の履歴が記録される。そして、リアルタイム配信終了後に要求された利用者からの録画ファイル取得要求に応じて、指定された視聴拠点の視聴状況を反映した録画ファイルが生成される。なお、丸Aの処理に遷移する時期は、図32のステップS302-3の処理が終了してから所定の期間空いてもよい。この所定の期間とは、例えば、10分間、3時間、10日間などである。
まず、判断部55は、ポスト変換録画が要求されたか否か(ポスト変換録画要求の有無)を判断する(ステップS401)。このポスト変換録画の要求とは、後述する画像変換処理部57で変換される変換後所定領域画像データの取得要求をいう。ポスト変換録画が要求されない場合(ステップS401;NO)、判断部55は、ステップS401の処理に留まる。
他方、ポスト変換録画が要求された場合(ステップS401;YES)、記憶読出部59は、指定された画像送信元(視聴拠点)である撮影装置1の識別情報(IPアドレス。送信元識別情報又は撮影装置識別情報の一例)を検索キーとして録画ファイル保存DB5004(図16I参照)を検索することで、対応するオリジナル録画ファイルを読み出す(ステップS402)。
なお、録画ファイル取得要求は、例えば、リアルタイム配信が行われた工事現場、建設現場等における現場作業履歴ページに閲覧要求者が通信端末等を用いてアクセスをすることで実現される。具体的には、閲覧要求者は、その現場の一週間前の現場作業記録を入手したい場合などに、日時を指定してWebページ等にアクセスする。つまり、閲覧要求者は、指定した日時のある場所における現場作業履歴の詳細を知りたいときに、指定した日時及び場所で発生したイベントの詳細を確認することができる。その方法は、例えば、閲覧要求者が所定のWebページにアクセスして必要なイベント履歴を指定することで、録画処理部53は、Webページ上で閲覧要求者にUI(User Interface)を提供するようにしてもよい。このとき、要求には、送信元視聴拠点の識別情報(例えば、IPアドレス)と送信先視聴拠点の識別情報(例えば、IPアドレス)の組合せが含まれ、どの視聴拠点がどの視聴拠点をどのように見ていたか等の視聴状況に対する必要性が指定されている。この処理では、記憶読出部59は、要求に含まれる送信元視聴拠点の識別情報(IPアドレス)を検索キーとして録画ファイル保存DB5004(図16I参照)を検索することにより、対応する録画ファイルを読み出す。上述したとおり、読み出された録画ファイルには全天球画像であっても全天球映像全てが含まれている。これにより、閲覧要求者によってリクエストされたときに初めて、オリジナルの全天球映像から得られる録画ファイルを取得することができるようになる。
続いて、記憶読出部59は、利用者の要求に含まれる画像送信元(送信元視聴拠点)の識別情報(IPアドレス。送信元識別情報又は撮影装置識別情報の一例)と画像送信先(送信先視聴拠点)の識別情報(IPアドレス。送信先識別情報又は通信端末識別情報の一例)を検索キーとして、所定領域管理DB5003P(図16H参照)を検索することにより、対応する時系列情報(タイムスタンプ)を読み出す(ステップS403)。なお、閲覧要求者の通信端末には、図23又は図30で行われたような所定領域画像を示す所定領域情報の共有がされていることを前提としている。そのため、記憶読出部59は、ステップS403の処理において閲覧要求者の通信端末が指定した送信元識別情報(画像送信元のIPアドレス。撮影装置識別情報の一例でもある)と送信先識別情報(画像送信先のIPアドレス。通信端末識別情報の一例でもある)を検索キーとすることができる。
続いて、画像変換処理部57は、ステップS402で読み出された撮影画像データ(録画ファイル)とステップS403で読み出された所定領域の時系列情報(タイムスタンプ)を組み合わせて、映像フレーム毎に対応したタイムスタンプの所定領域情報を用いて透視射影変換を行う。透視射影変換を行った後、画像変換処理部57は、平面画像データを取得する。その後、録画処理部53は、各視聴拠点における利用者(視聴者)ごとの視聴状況を反映した新たな録画ファイルを生成して録画ファイル保存DB5004(図16I参照)に追加保存する(ステップS404)。このとき、録画処理部53は、記憶読出部59と協働して、新たな録画ファイルのファイル名に対応するライブ/ポストフラグの項目に「ポスト」の処理フラグ(情報)を対応付けて記録してもよい。これにより、記憶読出部59は、保存された録画ファイル名が、ライブ録画時に録画保存された録画ファイルであるか、ポスト変換録画時に録画保存された録画ファイルであるかを管理することが可能になる。なお、ステップS404で生成された新たな録画ファイルは変換後所定領域画像データの一例として扱われ、新たな録画ファイルに含まれる画像(映像)は、変換後所定領域画像の一例として扱われる。
ステップS402で読み出された録画ファイルの全ての映像フレームに対してステップS403及びS404の処理を実行後、送受信部51は、閲覧要求者に対して、新たに生成された利用者(視聴者)ごとに視聴状況を反映した変換後の録画ファイル(変換後所定領域画像データ)を送信する(ステップS405)。利用者への録画ファイルの送信方法は、例えば、期間限定で利用できるダウンロードURLを生成して登録されているemail等で通知するなどの方法が考えられるが、これに限らない。
なお、図32で説明したステップS302-1及びS302-2の処理は、リアルタイム配信中に、各通信端末から送信されたメディアデータを受信するごとに実行される。
以上説明したように、ポスト変換録画による録画方式では、リアルタイム配信中はそれぞれの送信映像を記録するだけなので、録画する撮影画像データに重複がなく効率的な処理が行える。また、所定領域の時系列情報は一般的に映像データよりはデータ量が少ないため、視聴拠点が多数であったとしても記録に必要なメモリ容量を抑えることが可能になる。
<ライブ録画及びポスト変換録画の選択>
ここで、ライブ録画とポスト変換録画をいつ、どのように切り替えるかについて一例を挙げて説明する。まず、実施形態で説明した画像通信システムにおいて、ライブ録画とポスト変換録画の両方が実行可能な場合を考える。このとき、利用者が所定の会議によって選択が可能な場合であれば、ライブ録画モードが必要か否かをシステムの設定とした上で、事前に設定しておくことが可能である。このようなシステムの設定において、ライブ録画設定がされていたら、通信管理システム5は、図32のステップS302-5からS302-7までのライブ録画モードの処理を実行することになる。
ここで、ライブ録画とポスト変換録画をいつ、どのように切り替えるかについて一例を挙げて説明する。まず、実施形態で説明した画像通信システムにおいて、ライブ録画とポスト変換録画の両方が実行可能な場合を考える。このとき、利用者が所定の会議によって選択が可能な場合であれば、ライブ録画モードが必要か否かをシステムの設定とした上で、事前に設定しておくことが可能である。このようなシステムの設定において、ライブ録画設定がされていたら、通信管理システム5は、図32のステップS302-5からS302-7までのライブ録画モードの処理を実行することになる。
他方、ポスト変換録画モードの場合は、画像通信システムにおいて、後から製品としてサポートするのであれば、必要なら取り寄せるイメージ(ライブ録画の設定でなければ、ポスト変換録画の設定が可)としてもよい。
また、コストを考慮した場合は、ライブ録画に係るライブ録画モード、ポスト変換録画に係るポスト変換録画モードのいずれも実行しないという選択モードもあってもよい。
図31に戻り、通信管理システム5の送受信部51は、それぞれ同じ映像通話に参加している通信端末(スマートフォン9,PC7,ビデオ会議端末3d)に対して、撮影画像データ及び音データを送信する(ステップS303,S304,S305)。これら各送信処理には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、スマートフォン9の送受信部91、PC7の送受信部71及びビデオ会議端末3dの送受信部31dは、それぞれ撮影画像データ、画像データID及び音データを受信する。
●画面表示例●
続いて、ポスト変換録画を行った際に利用者が視聴可能なUI画面例について説明する。図34は、ポスト変換録画を視聴するためのアプリ上のファイル選択画面例である。図34では、閲覧要求者が、Webアプリ上で指定された現場作業履歴ページにアクセスをすると、リアルタイム配信が行われた工事現場、建設現場等におけるライブ配信映像を再送するためのライブ配信映像再送サービス画面10001が表示される。なお、閲覧要求者がアクセスするための通信端末等は、例えば、スマートフォン9であってもよい。その場合は、スマートフォン9の表示制御部94が、ディスプレイ917に対してライブ配信映像再送サービス画面10001の表示制御を行う。このライブ配信映像再送サービス画面10001には、例えば、日時、場所、イベント、動画ファイル及び選択用のチェックボックスの各項目が一覧となった映像(動画)ファイルリスト10002が表示される。映像(動画)ファイルの項目には、閲覧要求者がどの映像(動画)を再度確認したいかがわかるように、映像(動画)の一部を表すサムネイル画像が添付されていてもよい。ここでは、閲覧要求者によって送信元識別情報(IPアドレス)が1.2.1.3で示される動画ファイル名:10101.mp4のオリジナル動画ファイルが選択され、チェックボックスにレ点チェックが入れられた状態が例示されている。この状態で「閲覧」ボタン10003を操作(押下、タップ等)することにより、後述する図35の動画再生画面10011に遷移することができる。また、閲覧要求者は、「閉じる」ボタン1004を操作することにより、この画面から他の画面に遷移することができる。なお、映像(動画)ファイルリスト10002で管理、表示される項目は、上記の内容に限らない。
続いて、ポスト変換録画を行った際に利用者が視聴可能なUI画面例について説明する。図34は、ポスト変換録画を視聴するためのアプリ上のファイル選択画面例である。図34では、閲覧要求者が、Webアプリ上で指定された現場作業履歴ページにアクセスをすると、リアルタイム配信が行われた工事現場、建設現場等におけるライブ配信映像を再送するためのライブ配信映像再送サービス画面10001が表示される。なお、閲覧要求者がアクセスするための通信端末等は、例えば、スマートフォン9であってもよい。その場合は、スマートフォン9の表示制御部94が、ディスプレイ917に対してライブ配信映像再送サービス画面10001の表示制御を行う。このライブ配信映像再送サービス画面10001には、例えば、日時、場所、イベント、動画ファイル及び選択用のチェックボックスの各項目が一覧となった映像(動画)ファイルリスト10002が表示される。映像(動画)ファイルの項目には、閲覧要求者がどの映像(動画)を再度確認したいかがわかるように、映像(動画)の一部を表すサムネイル画像が添付されていてもよい。ここでは、閲覧要求者によって送信元識別情報(IPアドレス)が1.2.1.3で示される動画ファイル名:10101.mp4のオリジナル動画ファイルが選択され、チェックボックスにレ点チェックが入れられた状態が例示されている。この状態で「閲覧」ボタン10003を操作(押下、タップ等)することにより、後述する図35の動画再生画面10011に遷移することができる。また、閲覧要求者は、「閉じる」ボタン1004を操作することにより、この画面から他の画面に遷移することができる。なお、映像(動画)ファイルリスト10002で管理、表示される項目は、上記の内容に限らない。
●画面表示例●
図35は、アプリで選択されたポスト変換録画の動画再生画面例である。図35に示されているように、閲覧要求者によって選択された動画ファイル(1850.mp4)は、動画再生画面10011の動画再生領域10012にて再生される。また、動画再生画面10011には、再生される動画ファイルに係るファイル情報表示欄10013、「ダウンロード」ボタン10014、「閉じる」ボタン10015及び送信先拠点選択部10016が表示される。ポスト変換録画の場合では、図35において所定のイベントに参加していた(又は、所定の現場にいた)各視聴拠点の一覧が必要となる。そこで、所定のイベント(又は、所定の現場)で撮影された映像(動画)そのものの選択とあわせて、送信先拠点選択部10016を表示させて閲覧者による送信先拠点の選択を促す。これは、撮影された映像(動画)に対して、その映像(動画)を誰が見ていたかを示す視点情報を元に透視射影変換を行い、その映像(動画)の再生を行うか否かを閲覧者に選択させるためである。つまり、送信先拠点情報は、図33のステップS403で説明した「送信先拠点」の情報(例えば、送信先識別情報を表すIPアドレス)に相当する。図35に示した例では、閲覧要求者が送信先拠点選択部10016のIPアドレス:1.2.2.1の送信先をレ点チェックにより送信先拠点情報として選択することにより、その送信先の視聴拠点(視点)における動画ファイル:1850.mp4(録画ファイル保存DB5004、図16I参照)が先頭から再生可能となる状態(動画再生時間目盛の先頭位置に〇のマークが来る状態)を示している。なお、送信先拠点選択部10016は、動画再生画面10011に限らず、図34に示したライブ配信映像再送サービス画面10001の中に設けられてもよい。これにより、閲覧要求者は、動画再生領域10012にて、動画ファイル(1850.mp4)を再生させ、その動画ファイルで記録されたタイムスタンプと関連付けられている所望の日時における画面、音声、及び画面中の視点の方向を確認することができる。なお、送信先拠点情報の一例としては、上述したようにIPアドレスを挙げたが、他にも送信先拠点の利用者の使用者ID(利用者識別情報)であってもよい。
図35は、アプリで選択されたポスト変換録画の動画再生画面例である。図35に示されているように、閲覧要求者によって選択された動画ファイル(1850.mp4)は、動画再生画面10011の動画再生領域10012にて再生される。また、動画再生画面10011には、再生される動画ファイルに係るファイル情報表示欄10013、「ダウンロード」ボタン10014、「閉じる」ボタン10015及び送信先拠点選択部10016が表示される。ポスト変換録画の場合では、図35において所定のイベントに参加していた(又は、所定の現場にいた)各視聴拠点の一覧が必要となる。そこで、所定のイベント(又は、所定の現場)で撮影された映像(動画)そのものの選択とあわせて、送信先拠点選択部10016を表示させて閲覧者による送信先拠点の選択を促す。これは、撮影された映像(動画)に対して、その映像(動画)を誰が見ていたかを示す視点情報を元に透視射影変換を行い、その映像(動画)の再生を行うか否かを閲覧者に選択させるためである。つまり、送信先拠点情報は、図33のステップS403で説明した「送信先拠点」の情報(例えば、送信先識別情報を表すIPアドレス)に相当する。図35に示した例では、閲覧要求者が送信先拠点選択部10016のIPアドレス:1.2.2.1の送信先をレ点チェックにより送信先拠点情報として選択することにより、その送信先の視聴拠点(視点)における動画ファイル:1850.mp4(録画ファイル保存DB5004、図16I参照)が先頭から再生可能となる状態(動画再生時間目盛の先頭位置に〇のマークが来る状態)を示している。なお、送信先拠点選択部10016は、動画再生画面10011に限らず、図34に示したライブ配信映像再送サービス画面10001の中に設けられてもよい。これにより、閲覧要求者は、動画再生領域10012にて、動画ファイル(1850.mp4)を再生させ、その動画ファイルで記録されたタイムスタンプと関連付けられている所望の日時における画面、音声、及び画面中の視点の方向を確認することができる。なお、送信先拠点情報の一例としては、上述したようにIPアドレスを挙げたが、他にも送信先拠点の利用者の使用者ID(利用者識別情報)であってもよい。
なお、スマートフォン9の表示制御部94は、図34に示した映像(動画)ファイルリスト10002中に、タイムスタンプの項目を追加してもよい。具体的には、スマートフォン9の表示制御部94、及び通信管理システム5の録画変換処理部は、所定領域管理DB5003P(図16H参照)で管理されているタイムスタンプの項目と同じ項目を設けて表示させる。これにより、表示されたタイムスタンプの項目のうち、閲覧要求者が確認したいタイムスタンプの日時を選択すると、選択されたタイムスタンプ付近の動画(例えば、タイムスタンプで示された日時を中心とした前後5分間など)が再生されるようにしてもよい。このような機能をポスト変換録画の実行時に組み込むことで、閲覧要求者が所望する時間帯付近の動画だけを保存することが可能になり、通信管理システム5のメモリ容量の節約が期待できる。さらに、閲覧要求者が一定の権限を有していれば、ファイル情報表示欄10013に表記されたファイル名を選択して「ダウンロード」ボタン10014を操作することで、選択した動画ファイル(再生中の動画ファイル)を通信端末にダウンロードし、ローカルな環境で繰り返し再生することも可能になる。他方、「閉じる」ボタン10015を操作することで、ライブ配信映像再送サービス画面10001に戻ることができる。
<<本実施形態の主な効果>>
以上説明したように、本実施形態によれば、通信管理システム5は、送受信部51によって撮影装置1aが送信した画像データID及び集音して得た音データを含む撮影画像データを受信した後(ステップS301)、画像変換処理部57によって撮影画像データを録画した録画ファイルと所定領域の時系列情報とに基づいて透視射影変換を実行し(ステップS404)、送受信部51によって新たに生成した通信端末ごとの視聴状況を反映した変換後所定領域画像データ(変換後の録画ファイル)を通信端末に対して送信する(ステップS405)。これにより、配信後に時間をおいて撮影された画像を利用者が見返す場合でも、利用者は、撮影された画像を、いつ、どのような視点で見ていたかを把握しやすくなるという効果を奏する。
以上説明したように、本実施形態によれば、通信管理システム5は、送受信部51によって撮影装置1aが送信した画像データID及び集音して得た音データを含む撮影画像データを受信した後(ステップS301)、画像変換処理部57によって撮影画像データを録画した録画ファイルと所定領域の時系列情報とに基づいて透視射影変換を実行し(ステップS404)、送受信部51によって新たに生成した通信端末ごとの視聴状況を反映した変換後所定領域画像データ(変換後の録画ファイル)を通信端末に対して送信する(ステップS405)。これにより、配信後に時間をおいて撮影された画像を利用者が見返す場合でも、利用者は、撮影された画像を、いつ、どのような視点で見ていたかを把握しやすくなるという効果を奏する。
〔補足〕
上述した各実施形態では、所定領域Tは、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定されるが、これに限るものではない。例えば、画角を一定にして利用する場合等には、所定領域Tは、図7において、中心点CP又は矩形の所定領域Tの四隅の任意の点を示す所定点情報によって特定されるようにしてもよい。なお、「所定点情報」には、所定領域情報が含まれる。
上述した各実施形態では、所定領域Tは、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定されるが、これに限るものではない。例えば、画角を一定にして利用する場合等には、所定領域Tは、図7において、中心点CP又は矩形の所定領域Tの四隅の任意の点を示す所定点情報によって特定されるようにしてもよい。なお、「所定点情報」には、所定領域情報が含まれる。
また、上述した各実施形態では、パノラマ画像の一例として、撮影画像(全体画像)が三次元の全天球パノラマ画像について説明したが、二次元のパノラマ画像であってもよい。
更に、上述した各実施形態では、通信管理システム5が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。
なお、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、各実施形態の機能を実行するためのプログラムは、電気通信回線を通じて頒布することができる。
また、各実施形態の機能を実行するためのプログラムは、ROM、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、フラッシュメモリ、フレキシブルディスク、CD(Compact Disc)-ROM、CD-RW(Re-Writable)、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク、SDカード、MO(Magneto-Optical disc)等の記録媒体に格納して頒布することもできる。
また、上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
これまで本発明の一実施形態に係る画像通信システム、通信管理装置、通信管理方法及びプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更又は削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
1a 撮影装置
1b 撮影装置
3a ビデオ会議端末(第3の通信端末の一例/通信端末(自端末)の一例)
3d ビデオ会議端末(他の通信端末の一例)
4a ディスプレイ
4d ディスプレイ(表示手段の一例)
5 通信管理システム(通信管理装置の一例)
7 PC
8 撮影装置
9 スマートフォン(通信端末(自端末)の一例)
31d 送受信部(送信手段の一例、受信手段の一例)
3001d 画像種類管理DB(画像種類管理手段の一例)
3002d 撮影装置管理DB(撮影装置管理手段の一例)
3003d 所定領域管理DB(所定領域管理手段の一例)
3004d 要求解像度管理DB(要求解像度管理手段の一例)
m11 表示方向マーク(方向情報の一例)
m14 表示方向マーク(方向情報の一例)
m41 注視点マーク(対応位置情報の一例)
51 送受信部(受信手段の一例、送信手段の一例)
53 録画処理部(録画手段の一例)
57 画像変換処理部(画像変換手段の一例)
59 記憶読出部(記憶読出手段の一例)
1b 撮影装置
3a ビデオ会議端末(第3の通信端末の一例/通信端末(自端末)の一例)
3d ビデオ会議端末(他の通信端末の一例)
4a ディスプレイ
4d ディスプレイ(表示手段の一例)
5 通信管理システム(通信管理装置の一例)
7 PC
8 撮影装置
9 スマートフォン(通信端末(自端末)の一例)
31d 送受信部(送信手段の一例、受信手段の一例)
3001d 画像種類管理DB(画像種類管理手段の一例)
3002d 撮影装置管理DB(撮影装置管理手段の一例)
3003d 所定領域管理DB(所定領域管理手段の一例)
3004d 要求解像度管理DB(要求解像度管理手段の一例)
m11 表示方向マーク(方向情報の一例)
m14 表示方向マーク(方向情報の一例)
m41 注視点マーク(対応位置情報の一例)
51 送受信部(受信手段の一例、送信手段の一例)
53 録画処理部(録画手段の一例)
57 画像変換処理部(画像変換手段の一例)
59 記憶読出部(記憶読出手段の一例)
Claims (10)
- 撮影することにより撮影画像データを得る撮影装置と、前記撮影画像データに係る撮影画像の所定領域の画像である所定領域画像を表示する通信端末と、前記所定領域を表す所定領域情報を管理する通信管理装置と、を含む画像通信システムであって、
前記通信管理装置は、
前記撮影装置が撮影した前記撮影画像データ、及び前記通信端末が送信した前記所定領域情報に関連付けられた日時を表す時系列情報を受信する受信手段と、
前記受信した前記撮影画像データ及び前記時系列情報に基づいて透視射影変換された変換後所定領域画像データを前記通信端末に送信する送信手段と、
を有する、
ことを特徴とする画像通信システム。 - 前記受信手段は、更に、
前記撮影装置を識別するための撮影装置識別情報、及び前記通信端末を識別するための通信端末識別情報を受信し、
前記送信手段は、
前記撮影装置識別情報と前記通信端末識別情報とに関連付けられた前記時系列情報、及び前記撮影画像データに基づいて透視射影変換された前記変換後所定領域画像データを前記通信端末に送信する、
ことを特徴とする請求項1に記載の画像通信システム。 - 前記送信手段は、
前記受信手段が前記通信端末から前記変換後所定領域画像データに係る取得要求を受信した場合に、前記変換後所定領域画像を前記通信端末に送信する、
ことを特徴とする請求項1又は2に記載の画像通信システム。 - 前記時系列情報は、
前記撮影装置識別情報、及び前記通信端末識別情報に関連付けられた日時を表す、
ことを特徴とする請求項1乃至3のいずれか一項に記載の画像通信システム。 - 請求項1乃至4のいずれか一項に記載の画像通信システムであって、
前記通信管理装置は、更に、
前記時系列情報に基づいて、前記撮影画像データを前記変換後所定領域画像データに変換する画像変換手段を有する、
ことを特徴とする画像通信システム。 - 前記画像変換手段は、
前記時系列情報のうち最新の時系列情報における所定領域情報を用いて、前記撮影画像データを前記変換後所定領域画像データに変換する、
ことを特徴とする請求項5に記載の画像通信システム。 - 前記撮影装置は、三次元の全天球パノラマ画像を撮影可能な全天球撮影装置である、
ことを特徴とする請求項1乃至6のいずれか一項に記載の画像通信システム。 - 撮影装置が撮影した撮影画像の所定領域の画像である所定領域画像を表示する通信端末が送信した前記所定領域を表す所定領域情報を管理する通信管理装置であって、
前記撮影装置が撮影した前記撮影画像データ、及び前記通信端末が送信した前記所定領域情報に関連付けられた日時を表す時系列情報を受信する受信手段と、
前記受信した前記撮影画像データ及び前記時系列情報に基づいて透視射影変換された変換後所定領域画像データを前記通信端末に送信する送信手段と、
を有する、
ことを特徴とする通信管理装置。 - 撮影装置が撮影した撮影画像の所定領域の画像である所定領域画像を表示する通信端末が送信した前記所定領域を表す所定領域情報を管理する通信管理装置が実行する通信管理方法であって、
前記撮影装置が撮影した前記撮影画像データ、及び前記通信端末が送信した前記所定領域情報に関連付けられた日時を表す時系列情報を受信する受信ステップと、
前記受信した前記撮影画像データ及び前記時系列情報に基づいて透視射影変換された変換後所定領域画像データを前記通信端末に送信する送信ステップと、
を含む処理を実行する、
ことを特徴とする通信管理方法。 - 撮影装置が撮影した撮影画像の所定領域の画像である所定領域画像を表示する通信端末が送信した前記所定領域を表す所定領域情報を管理する通信管理装置に、
前記撮影装置が撮影した前記撮影画像データ、及び前記通信端末が送信した前記所定領域情報に関連付けられた日時を表す時系列情報を受信する受信ステップと、
前記受信した前記撮影画像データ及び前記時系列情報に基づいて透視射影変換された変換後所定領域画像データを前記通信端末に送信する送信ステップと、
を含むステップを実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22161369.8A EP4064691A1 (en) | 2021-03-23 | 2022-03-10 | Communication management device, image communication system, communication management method, and carrier means |
US17/692,210 US11877092B2 (en) | 2021-03-23 | 2022-03-11 | Communication management device, image communication system, communication management method, and recording medium |
US18/530,261 US20240137463A1 (en) | 2021-03-22 | 2023-12-06 | Communication management device, image communication system, communication management method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021048088 | 2021-03-23 | ||
JP2021048088 | 2021-03-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022151665A true JP2022151665A (ja) | 2022-10-07 |
Family
ID=83465278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022030569A Pending JP2022151665A (ja) | 2021-03-22 | 2022-03-01 | 画像通信システム、通信管理装置、通信管理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022151665A (ja) |
-
2022
- 2022-03-01 JP JP2022030569A patent/JP2022151665A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7452596B2 (ja) | 通信端末、表示方法、プログラム及び画像通信システム | |
JP7322940B2 (ja) | 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体 | |
JP6756269B2 (ja) | 通信端末、画像通信システム、通信方法、及びプログラム | |
JP7095361B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
US10944798B2 (en) | Communication terminal, image communication system, and display control method | |
JP6907861B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7164831B2 (ja) | 通信管理システム、通信システム、通信方法、及びプログラム | |
JP7346975B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2018129716A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2019054322A (ja) | 通信端末、画像通信システム、通信方法、及びプログラム | |
JP7192592B2 (ja) | 撮像装置、画像通信システム、画像処理方法、プログラム | |
US20200186407A1 (en) | Communication terminal, image network system, display method, and program | |
US20240137463A1 (en) | Communication management device, image communication system, communication management method, and recording medium | |
JP7151316B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2018061243A (ja) | 通信端末、表示方法、及びプログラム | |
JP2022151665A (ja) | 画像通信システム、通信管理装置、通信管理方法及びプログラム | |
JP7006356B2 (ja) | 通信端末、通信システム、通信方法、及びプログラム | |
JP7326789B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7210892B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7371369B2 (ja) | 通信端末および画像通信システム | |
JP7354733B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7279825B2 (ja) | 通信端末、通信システム、通信方法、表示制御方法及びプログラム | |
JP2023109839A (ja) | 通信端末、通信方法及びプログラム | |
JP2022186117A (ja) | 通信端末、画像通信システム、画像表示方法およびプログラム | |
JP2021176221A (ja) | 通信端末、通信システム、通信方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231023 |