JP6407461B1 - 信号処理装置、通信システム、信号処理装置で実施される方法、及び信号処理装置で実行されるプログラム - Google Patents

Abstract

【課題】 １対多のグループ一斉データ通信において、映像を交えたスムーズな情報交換を実現する。【解決手段】 信号処理装置１０は、送信権付与部１１２及び通信制御部１１３を備える。送信権付与部１１２は、複数の通信端末２０を対応付けて群とし、前記群に属する複数の通信端末２０のいずれか１つに、映像データを送信する権利である第１送信権を与え、前記群に属する複数の通信端末２０のいずれか１つに、音声データを送信する権利である第２送信権を与える。通信制御部１１３は、前記第１送信権を有する通信端末２０から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末２０へ送信し、前記第２送信権を有する通信端末２０から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末２０へ送信する。【選択図】図４

Description

この発明は、信号処理装置、通信システム、信号処理装置で実施される方法、及び信号処理装置で実行されるプログラムに関する。

半二重の音声通信方式であるＰＴＴ（Push To Talk）通信が、１対多のグループ一斉音声通信を実現する技術として知られている。ＰＴＴ通信では、例えば、トランシーバ、及び無線機等が端末として用いられる。ＰＴＴ通信では、端末に設けられている通話用のボタンをユーザが押している間、ユーザは、グループを構成する相手へ音声を送ることが可能となる。

そして、近年、スマートフォン等の、複数の用途に対応可能な通信端末の普及に伴い、音声データを含むパケットを同報的に複数の装置へ送信するＰｏＣ（Push-to-Talk over Cellular）が注目を集めている。ＰｏＣでは、音声データを送信する送信権を、グループを構成する複数台の通信端末のうちの１台の通信端末が取得する。そして、送信権を取得した通信端末が他の通信端末へ同報的に音声データを送信する。

特開２００８−２１９２９７号公報

実際にＰｏＣを利用して状況を報告し合う現場では、音声に加え、映像も複数台の通信端末で共有したいという要望がある。現状のＰｏＣを利用することで、送信権を取得した通信端末で撮影された動画を、他の通信端末へ同報的に送信することは可能である。しかしながら、送信された動画に対し、他の通信端末から意見を述べようとすると、データの送信権をその通信端末へ移さなければならない。すなわち、動画の同報的な送信を一旦停止しなくてはならない。そのため、映像を共有しながら複数台の通信端末間で意見を交換し合うには、使い勝手が悪いという問題があった。

そこで目的は、１対多のグループ一斉データ通信を実現する通信システムであって、映像を交えたスムーズな情報交換を実現可能な通信システム、この通信システムで用いられる信号処理装置、この信号処理装置で実施される方法、及びこの信号処理装置で実行されるプログラムを提供することである。

本発明に係る信号処理装置は、送信権付与部及び通信制御部を備える。送信権付与部は、複数の通信端末を対応付けて群とし、前記群に属する複数の通信端末のいずれか１つに、映像データを送信する権利である第１送信権を与え、前記群に属する複数の通信端末のいずれか１つに、音声データを送信する権利である第２送信権を与える。通信制御部は、前記第１送信権を有する通信端末から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末へ送信し、前記第２送信権を有する通信端末から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末へ送信する。

また、本発明に係る通信システムは、複数の通信端末及び信号処理装置を備える。前記信号処理装置は、送信権付与部及び通信制御部を備える。送信権付与部は、前記複数の通信端末を対応付けて群とし、前記群に属する複数の通信端末のいずれか１つに、映像データを送信する権利である第１送信権を与え、前記群に属する複数の通信端末のいずれか１つに、音声データを送信する権利である第２送信権を与える。通信制御部は、前記第１送信権を有する通信端末から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末へ送信し、前記第２送信権を有する通信端末から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末へ送信する。

また、本発明に係る通信方法は、複数の通信端末を対応付けて群とし、前記群に属する複数の通信端末のいずれか１つに、映像データを送信する権利である第１送信権を与え、前記第１送信権を有する通信端末から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末へ送信し、前記群に属する複数の通信端末のいずれか１つに、音声データを送信する権利である第２送信権を与え、前記第２送信権を有する通信端末から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末へ送信する。

本発明に係る信号処理装置、通信システム、及び信号処理装置で実施される方法、信号処理装置で実行されるプログラムによれば、１対多のグループ一斉データ通信において、映像を交えたスムーズな情報交換を実現できる。

図１は、本実施形態に係る通信システムの機能構成を示すブロック図である。 図２は、図１に示される処理サーバの機能構成を示すブロック図である。 図３は、図１に示される通信端末の機能構成を示すブロック図である。 図４は、図１に示される通信システムにおいてデータ通信が実施される際の、処理サーバ、及び通信端末の動作を説明する図である。 図５は、図１に示される記憶部に記憶される管理テーブルを表す図である。 図６は、図１に示される処理部のメモリに記憶される利用者管理テーブルを表す図である。 図７は、図３に示される通信端末のディスプレイの表示を表す模式図である。 図８は、図１に示される通信システムにおいて音声通信が実施される際の、処理サーバ、及び通信端末の動作を説明する図である。 図９は、図３に示される通信端末のディスプレイの表示を表す模式図である。 図１０は、図２に示される処理部における記憶制御部が音声データ及び映像データを記憶する際の動作を表すフローチャートである。 図１１は、映像データに対して作成されるリストデータの例を表す概念図である。 図１２は、図１及び図３に示される通信端末が過去の映像データを確認する際の処理サーバ、及び通信端末の動作を説明する図である。 図１３は、図３に示される通信端末のディスプレイの表示を表す模式図である。

以下、実施の形態について、図面を参照して説明する。

図１は、本実施形態に係る通信システム１の機能構成の例を示すブロック図である。図１に示される通信システム１は、例えば、ＰｏＣ（Push-to-Talk over Cellular）を利用し、グループ単位での１対多のデータ通信を実現する。図１に示される通信システム１は、例えば、処理サーバ１０、通信端末２０−１〜２０−ｍ、及び基地局３０−１〜３０−ｎを具備している。

処理サーバ１０、及び基地局３０−１〜３０−ｎは、インターネット、及び通信事業者が提供する通信網等のネットワークを介して接続している。通信端末２０−１〜２０−ｍは、基地局３０−１〜３０−ｎのうち、現在存在している位置を含んで無線エリアを形成している基地局と無線接続する。

処理サーバ１０は、例えば、通信端末２０−１〜２０−ｍのうち、送信権を有する通信端末から送信された音声データ及び映像データを、送信元の利用者と同一のトークグループに参加する複数の利用者が所持する通信端末へ同報的に送信するための制御を実施する信号処理装置である。本実施形態において、送信権とは、ＰｏＣにおいて、データを送信できる権利を意味する。

図２は、図１に示される処理サーバ１０の機能構成の例を示すブロック図である。図２に示される処理サーバ１０は、例えば、処理部１１、記憶部１２、及び通信インタフェース１３を備える。処理部１１、記憶部１２、及び通信インタフェース１３は、例えば、バスを介して互いに通信可能に接続されている。

処理部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＣＰＵが処理を実行する際に用いるメモリを備える。メモリは、いわゆる主記憶装置であり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成される。

ＣＰＵは、例えば、記憶部１２に記憶されているアプリケーションプログラムをメモリに読み込む。ＣＰＵは、メモリに読み込まれたアプリケーションプログラムを実行する。これにより、処理部１１は、アプリケーションプログラムに対応する種々の機能を実現する。

記憶部１２は、種々の情報を記憶するＨＤＤ（hard disk drive）、及びＳＳＤ（solid state drive）等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部１２は、ＣＤ−ＲＯＭ、ＤＶＤ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。記憶部１２は、本実施形態に係るアプリケーションプログラムを記憶している。

また、記憶部１２は、処理部１１からの制御に従い、トークグループに参加する利用者に関する利用者情報を記憶する。また、記憶部１２は、処理部１１からの制御に従い、音声データの送信権を有する通信端末から送信される音声データを記憶する。また、記憶部１２は、処理部１１からの制御に従い、映像データの送信権を有する通信端末から送信される映像データを記憶する。

通信インタフェース１３は、ネットワークと接続する回路である。通信インタフェース１３は、ネットワークを介し、基地局３０−１〜３０−ｎと無線接続している通信端末２０−１〜２０−ｍのうち少なくともいずれかへデータを送信する。また、通信インタフェース１３は、ネットワークを介し、基地局３０−１〜３０−ｎと無線接続している通信端末２０−１〜２０−ｍのうち少なくともいずれかから送信されるデータを受信する。

また、通信インタフェース１３は、インターネット等のネットワークを介し、外部のパーソナルコンピュータと接続しても構わない。このとき、処理サーバ１０の処理部１１は、例えば、ウェブブラウザを実行し、通信インタフェース１３を介し、パーソナルコンピュータから入力された操作を受け付ける。また、処理部１１は、通信インタフェース１３を介し、パーソナルコンピュータへ信号を送信する。

図２に示される処理部１１は、記憶部１２に記憶されているアプリケーションプログラムを実行することで、当該アプリケーションプログラムに対応する機能を実現する。例えば、処理部１１は、アプリケーションプログラムを実行することで、登録処理部１１１、送信権付与部１１２、通信制御部１１３、及び記憶制御部１１４の機能を実現する。

なお、処理部１１は、複数のＣＰＵが組み合わされて形成されていても構わない。すなわち、図２に示される登録処理部１１１、送信権付与部１１２、通信制御部１１３、及び記憶制御部１１４は、例えば、各ＣＰＵがアプリケーションプログラムを実行することで実現されても構わない。

また、処理部１１は、登録処理部１１１、送信権付与部１１２、通信制御部１１３、及び記憶制御部１１４の機能をそれぞれ有する専用のハードウェア構成により形成されていても構わない。また、処理部１１は、登録処理部１１１、送信権付与部１１２、通信制御部１１３、及び記憶制御部１１４の機能をそれぞれ有する専用のハードウェア回路を組み込んだ特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Gate Array：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、又は単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により形成されていても構わない。

登録処理部１１１は、１対多のデータ通信を実施するトークグループに参加する利用者を登録する。具体的には、例えば、登録処理部１１１は、通信端末２０−１〜２０−ｍから送信される情報に基づき、所定のトークグループへ参加する利用者についての情報である利用者情報を取得する。登録処理部１１１は、取得した利用者情報を、参加するトークグループと関連付けて記憶部１２、及びメモリに記憶する。

利用者情報には、例えば、トークグループのＩＤ、トークグループに参加する利用者のＩＤ、利用者が所持する通信端末のＩＰアドレス、利用者のログイン状態、及び利用者が所持する通信端末の位置情報等が含まれる。登録処理部１１１は、どのトークグループにどのユーザが参加するかの定義情報、すなわち、例えば、トークグループのＩＤ、及びトークグループに参加する利用者のＩＤを、記憶部１２に記憶する。また、登録処理部１１１は、通信端末２０の状態によって動的に変化する情報、すなわち、例えば、ＩＰアドレス、ログイン状態、及び位置情報等を、メモリへ記憶する。

送信権付与部１１２は、所定のトークグループに参加している利用者が所持する通信端末のうちいずれかへ、音声データの送信権、及び映像データの送信権をそれぞれ独立して与える。

通信制御部１１３は、トークグループに参加する利用者が所持する通信端末間で、１対多のデータ通信が実現されるように通信を制御する。具体的には、例えば、通信制御部１１３は、音声データと映像データとがそれぞれ異なる通信チャンネルで送信されるように、通信を制御する。より具体的には、例えば、通信制御部１１３は、送信権が与えられた通信端末から送信される音声データを、同一のトークグループに参加している利用者が所持する通信端末へ送信する。また、例えば、通信制御部１１３は、送信権が与えられた通信端末から送信される映像データを、同一のトークグループに参加している利用者が所持する通信端末へ送信する。このとき、音声データの通信に用いられるプロトコルと、映像データの通信に用いられるプロトコルとは、同一であってもよいし、異なっていてもよい。

また、通信制御部１１３は、動画の再生を要求する通信端末へ、映像データ、及び音声データを送信するように通信を制御する。具体的には、例えば、通信制御部１１３は、トークグループに参加している利用者から映像の再生が要求されると、記憶部１２に記憶される映像データ、及び音声データを、要求元の通信端末へ送信する。

記憶制御部１１４は、受信した音声データ、及び映像データの記憶処理を制御する。具体的には、例えば、記憶制御部１１４は、送信権を有する通信端末から送信されてきた音声データをメモリに保持する。記憶制御部１１４は、メモリに保持されている音声データを、記憶部１２に記憶する。

また、例えば、記憶制御部１１４は、送信権を有する通信端末から送信されてきた映像データをメモリに保持する。記憶制御部１１４は、メモリに保持されている映像データを記憶部１２に記憶する。このとき、記憶制御部１１４は、映像データと音声データとを関連付けて記憶する。具体的には、例えば、記憶制御部１１４は、トークグループ毎に、タイムスタンプを利用して映像データと音声データとを関連付ける。

また、例えば、記憶制御部１１４は、記憶部１２に記憶されている音声データ、及び映像データを、要求に応じて読み出し、要求元へ送信する。

なお、処理サーバ１０は、入力インタフェースを有していてもよい。入力インタフェースは、例えば、マウス、キーボード、及び、操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インタフェースは、操作者からの入力指示を電気信号へ変換し、電気信号を処理部１１へ出力する。なお、入力インタフェースは、マウス、及びキーボード等の物理的な操作デバイスに限定されない。入力インタフェースには、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

また、処理サーバ１０は、出力インタフェースを有していてもよい。出力インタフェースは、例えば、表示機器、及び印刷機器等により実現される。表示機器としては、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、及びプラズマディスプレイ等、任意のディスプレイが利用可能である。表示機器は、映像データに基づく映像等を表示する。印刷機器は、例えば、プリンタである。印刷機器は、通信に関する所定の情報を所定用紙に印刷する。なお、出力インタフェースは、表示機器、及び印刷機器等の物理的な出力装置に限定されない。出力インタフェースには、例えば、外部の出力装置へ画像データを送信する送信ポートが含まれてもよい。

図１に示される基地局３０−１〜３０−ｎは、所定サイズのエリア毎に設けられ、所定の無線エリアを形成する。基地局３０−１〜３０−ｎは、自装置が形成する無線エリア内に存在する通信端末２０−１〜２０−ｍと無線接続する。

通信端末２０−１〜２０−ｍは、利用者が所持する端末であり、例えば、携帯電話、スマートフォン、タブレットＰＣ、及び所定の専用端末等である。通信端末２０−１〜２０−ｍは、処理サーバ１０を介し、ＰｏＣを利用した１対多のデータ通信を実施する。

例えば、通信端末２０−１〜２０−ｍは、利用者からの操作に従い、グループトークに参加する。通信端末２０−１〜２０−ｍのいずれかは、利用者からの操作に従って音声データの送信権を取得する。音声データの送信権を取得した通信端末は、利用者から入力される音声を受け付け、受け付けた音声に基づく音声データを、処理サーバ１０を介して同一のグループトークに参加する他の通信端末へ送信する。

また、通信端末２０−１〜２０−ｍのいずれかは、利用者からの操作に従って映像データの送信権を取得する。映像データの送信権を取得した通信端末は、例えば、内部に設けられているカメラ等の撮像部により実空間を撮像する。通信端末は、撮像により取得した映像データを、処理サーバ１０を介して同一のグループトークに参加する他の通信端末へ送信する。

また、通信端末２０−１〜２０−ｍは、処理サーバ１０から送信される音声データ及び映像データを受信し、音声データに基づく音声を再生し、かつ、映像データに基づく映像を自装置のディスプレイに表示する。

図３は、図１に示される通信端末２０の機能構成の例を示すブロック図である。図３に示される通信端末２０は、例えば、処理部２１、記憶部２２、入力インタフェース２３、出力インタフェース２４、通信インタフェース２５、ＧＰＳ受信器２６、及び撮像部２７を備える。なお、通信端末２０−１〜２０−ｍの構成はそれぞれ同様であるため、図３の説明では、通信端末２０として説明をする。

処理部２１は、例えば、ＣＰＵ、及びＣＰＵが処理を実行する際に用いる主記憶装置である、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリを備える。ＣＰＵは、例えば、記憶部２２に記憶されているアプリケーションプログラムをＲＡＭに読み込む。ＣＰＵは、ＲＡＭに読み込まれたアプリケーションプログラムを実行する。これにより、処理部２１は、アプリケーションプログラムに対応する種々の機能を実現する。

記憶部２２は、ＮＡＮＤ型、又はＮＯＲ型フラッシュメモリ等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部２２は、ＳＤカード、及びマイクロＳＤカード等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。記憶部２２は、本実施形態に係るアプリケーションプログラムを記憶している。また、記憶部２２には、自端末が参加可能なグループトークについての情報が記憶されている。

撮像部２７は、実空間を撮像するデバイスであり、例えば、カメラ等により実現される。撮像部２７は、例えば、レンズ及び撮像センサを有し、実空間を撮像することで、映像データを生成する。

入力インタフェース２３は、例えば、ボタン、操作面へ触れることで指示が入力されるタッチパネル、及び音声を入力するマイク等により実現される。入力インタフェース２３は、操作者からの入力指示を電気信号へ変換し、電気信号を処理部２１へ出力する。

出力インタフェース２４は、例えば、表示機器、及びスピーカにより実現される。表示機器としては、例えば、液晶ディスプレイ、及び有機ＥＬディスプレイ等である。表示機器は、データ通信により受信した映像データに基づく映像等を表示する。スピーカは、データ通信により受信した音声データに基づく音声を再生する。

通信インタフェース２５は、基地局３０−１〜３０−ｎと無線接続する回路である。通信インタフェース２５は、例えば、アンテナ、及び無線部により実現される。アンテナは、到来してきた無線信号を受信する。また、無線部から出力される無線信号を送信する。無線部は、アンテナにより受信された無線信号を、予め設定される復調方式に則って変換し、変換したデータを処理部２１へ出力する。また、無線部は、処理部２１で作成されたデータを、予め設定される変調方式に則って無線信号へ変換し、変換した無線信号をアンテナへ出力する。

ＧＰＳ受信器２６は、ＧＰＳ衛星から送信される信号を受信し、受信した信号に基づいて位置情報を作成する。

図３に示される処理部２１は、記憶部２２に記憶されているアプリケーションプログラムを実行することで、当該アプリケーションプログラムに対応する機能を実現する。例えば、処理部２１は、アプリケーションプログラムを実行することで、通信制御部２１１、記憶制御部２１２、表示制御部２１３、再生制御部２１４、撮像制御部２１５、及び集音制御部２１６の機能を実現する。

通信制御部２１１は、処理サーバ１０との通信を制御する。具体的には、例えば、音声データの送信権を有する通信端末２０の通信制御部２１１は、マイクから入力された音声を、ＴＣＰ／ＩＰベースの独自プロトコルに則って変換する。通信制御部２１１は、変換後の音声データを、ネットワーク及び基地局３０を介して処理サーバ１０へ送信する。

また、例えば、映像データの送信権を有する通信端末２０の通信制御部２１１は、撮像部２７により生成された映像データを、所定の通信プロトコル、例えば、ＲＴＭＰ（Real Time Messaging Protocol）に則って変換する。通信制御部２１１は、変換後の映像データを、ネットワーク及び基地局３０を介して処理サーバ１０へ送信する。なお、通信制御部２１１は、ＴＣＰ／ＩＰベースの独自プロトコルに則り、撮像部２７により生成された映像データを変換しても構わない。

また、例えば、送信権を有していない通信端末２０の通信制御部２１１は、処理サーバ１０から送信される音声データ、及び映像データを受信する。

記憶制御部２１２は、受信した種々の通知の記憶処理を制御する。具体的には、例えば、記憶制御部２１２は、種々の通知が受信されると、種々の通知をＲＡＭ等の揮発性メモリに記憶させる。揮発性メモリに記憶された種々の通知は、ＰｏＣを利用した１対多の音声通信を実行するアプリケーションプログラムの実行を終了した際、及び通信端末２０の電源をオフにした際等に、揮発性メモリから消去される。これにより、情報漏洩等の危険を回避することが可能となる。

表示制御部２１３は、出力インタフェース２４であるディスプレイへの表示処理を制御する。具体的には、例えば、表示制御部２１３は、受信した種々の通知、及び受信した映像データに基づく映像を表示するように、ディスプレイを制御する。

再生制御部２１４は、出力インタフェース２４であるスピーカの再生処理を制御する。具体的には、例えば、再生制御部２１４は、受信した音声データに基づく音声を再生するように、スピーカを制御する。

撮像制御部２１５は、撮像部２７による撮像処理を制御する。具体的には、例えば、撮像制御部２１５は、映像データの送信権を取得すると、撮像部２７に撮像を開始させる。

集音制御部２１６は、マイクによる集音処理を制御する。具体的には、例えば、集音制御部２１６は、音声データの送信権を取得すると、マイクを駆動させる。

次に、以上のように構成された通信システム１における処理サーバ１０、及び通信端末２０−１〜２０−ｍの動作を説明する。なお、以下では、通信端末２０−１〜２０−３がトークグループＧ１に参加し、データ通信を実施する場合を例に説明を進める。
（ＰｏＣ通信）
図４は、図１に示される通信システム１においてデータ通信が実施される際の、処理サーバ１０、及び通信端末２０−１〜２０−３の動作の例を説明する図である。なお、図４の説明において、通信端末２０−１〜２０−３の記憶部２２には、トークグループＧ１についての情報が記憶されている。すなわち、通信端末２０−１〜２０−３がトークグループＧ１に参加可能な状態となっている。

まず、通信端末２０−１〜２０−３の利用者は、通信端末２０−１〜２０−３を操作し、ＰｏＣを利用した１対多の音声通信を実行するアプリケーションプログラムを立ち上げる（ステップＳ４１）。通信端末２０−１〜２０−３の表示制御部２１３は、出力インタフェース２４であるディスプレイに、選択可能なトークグループとして、例えば、トークグループＧ１を表示する（ステップＳ４２）。なお、ディスプレイには、参加可能な複数のトークグループが表示されていても構わない。

通信端末２０−１〜２０−３の利用者は、ディスプレイに表示されるトークグループＧ１を選択する（ステップＳ４３）。なお、参加頻度、及び利用者の設定等に基づき、通信端末２０−１〜２０−３の処理部２１が、参加するトークグループＧ１を自動的に選択しても構わない。トークグループＧ１が選択されると、通信端末２０−１〜２０−３の処理部２１は、トークグループが選択された際の位置情報を、ＧＰＳ受信器２６に作成させる。

通信端末２０−１〜２０−３の通信制御部２１１は、トークグループが選択されると、選択されたトークグループのＩＤ（以下、トークグループＩＤと称する）、自端末に設定されているＩＤ（以下、ユーザＩＤと称する）、及び取得した位置情報等を含む情報データを作成する。情報データは、例えば、パケット構造を有する。通信端末２０−１，２０−２は、作成した情報データを、基地局３０−１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ４４）。また、通信端末２０−３は、作成した情報データを、基地局３０−２、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ４４）。なお、位置情報が処理サーバ１０へ送信されるのは、トークグループが選択されたときに限られない。通信端末２０−１〜２０−３は、設定に応じ、予め設定された周期、例えば、５秒〜６０秒で位置情報を取得し、種臆した位置情報を処理サーバ１０へ送信してもよい。

処理サーバ１０の登録処理部１１１は、通信端末２０−１〜２０−３から送信されてきた情報データに基づき、トークグループに参加する利用者を、参加するトークグループと関連付けて記憶部１２、及び処理部１１のメモリに記憶する（ステップＳ４５）。具体的には、例えば、登録処理部１１１は、情報データに基づき、記憶部１２に記憶する、トークグループに参加する利用者を管理するための管理テーブルを更新する。

図５は、図１に示される記憶部１２に記憶される管理テーブルの例を表す図である。図５に示される管理テーブルでは、３つのトークグループが管理されている。例えば、トークグループＩＤ：Ｇｒｏｕｐ０１のトークグループＧ１には、通信端末２０−１〜２０−３の利用者である、ユーザＩＤ：Ｕｓｅｒ０１〜０３が参加していることが記憶されている。

また、登録処理部１１１は、通信端末２０−１〜２０−３から送信されてきた情報データに基づき、トークグループに参加する利用者に関する情報を処理部１１のメモリに記憶する。具体的には、例えば、登録処理部１１１は、情報データに基づき、メモリに記憶する、動的に変化する利用者の情報を管理するための利用者管理テーブルを更新する。

図６は、図１に示される処理部１１のメモリに記憶される利用者管理テーブルの例を表す図である。図６に示される利用者管理テーブルでは、トークグループに参加している利用者に関する情報が管理されている。例えば、Ｕｓｅｒ０１には、通信端末２０−１のＩＰアドレス０１、及び位置情報０１が関連付けられている。また、Ｕｓｅｒ０２には、通信端末２０−２のＩＰアドレス０２、及び位置情報０２が関連付けられている。また、Ｕｓｅｒ０３には、通信端末２０−３のＩＰアドレス０３、及び位置情報０３が関連付けられている。

なお、処理サーバ１０は、通信端末２０−１〜２０−３の位置情報は必ずしも取得する必要はない。このとき、通信端末２０−１〜２０−３は、位置情報を作成しなくても構わない。また、通信端末２０−１〜２０−３から処理サーバ１０へ送信される情報データに、位置情報が含まれなくても構わない。

通信端末２０−１〜２０−３の表示制御部２１３は、トークグループが選択されると、ディスプレイにＰＴＴ通話開始要求ボタンＢ１、及びＰＴＴストリーミング開始要求ボタンＢ２を表示する（ステップＳ４６）。図７は、図４に示される通信端末２０−１〜２０−３のディスプレイの表示例を表す模式図である。図７において、ＰＴＴ通話開始要求ボタンＢ１はディスプレイの右下に表示され、ＰＴＴストリーミング開始要求ボタンＢ２はディスプレイの中央下に表示されている。図７では、それぞれのボタンを識別可能な様に、ＰＴＴ通話開始要求ボタンＢ１には通話を表すマークを付し、ＰＴＴストリーミング開始要求ボタンＢ２には撮像を表すマークを付している。

なお、図７では、ＰＴＴ通話開始要求ボタンＢ１、及びＰＴＴストリーミング開始要求ボタンＢ２の表示位置はこれに限定されない。利用者が容易にタップ可能な位置ならば制限はない。また、ＰＴＴ通話開始要求ボタンＢ１、及びＰＴＴストリーミング開始要求ボタンＢ２は、ディスプレイに表示されるものに限定されない。ボタンＢ１，Ｂ２は、例えば、通信端末２０−１の入力インタフェース２３をコネクタとして接続する操作デバイスに設けられる物理ボタンであっても構わない。

通信端末２０−１の利用者は、例えば、通信端末２０−１のディスプレイに表示されているＰＴＴストリーミング開始要求ボタンＢ２を押す（ステップＳ４７）。利用者がボタンＢ２を押すと、通信端末２０−１の通信制御部２１１は、映像データの送信権の取得を要求する第１送信権取得要求通知を、例えば、トークグループＩＤ及びユーザＩＤを付し、基地局３０−１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ４８）。

処理サーバ１０の送信権付与部１１２は、通信端末２０−１から送信される第１送信権取得要求通知を受信すると、第１送信権を付与している通信端末が同一トークグループ内に存在しないことを確認する。第１送信権を付与している通信端末が同一トークグループ内に存在しない場合、送信権付与部１１２は、第１チャンネルを用いてデータを送信できる権利である第１送信権を通信端末２０−１へ付与する（ステップＳ４９）。このとき、送信権付与部１１２は、例えば、第１送信権を付与した通信端末２０−１が属するトークグループＧ１のトークグループＩＤ：Ｇｒｏｕｐ０１、通信端末２０−１のユーザＩＤ：Ｕｓｅｒ０１、及び第１送信権で使用を許諾した第１チャンネルのチャンネルＩＤ：Ｃｈａｎｎｅｌ０１を登録する。

通信端末２０−１の撮像制御部２１５は、第１送信権を取得すると、撮像部２７に実空間の撮像を開始させる（ステップＳ４１０）。通信端末２０−１の通信制御部２１１は、撮像部２７で生成された映像データを、所定の通信プロトコル、例えば、ＲＴＭＰに則った形式に符号化する（ステップＳ４１１）。

ステップＳ４１１で符号化された映像データは、例えば、ヘッダ領域、及び実データを格納する領域を有する。ヘッダ領域には、例えば、チャンネルＩＤを格納する領域、発信者ＩＤを格納する領域、タイムスタンプを格納する領域、及びデータ長を格納する領域が含まれる。通信端末２０−１の通信制御部２１１は、例えば、チャンネルＩＤを格納する領域にＣｈａｎｎｅｌ０１を格納し、発信者ＩＤを格納する領域にＵｓｅｒ０１を格納し、タイムスタンプを格納する領域に撮像開始時刻を格納し、実データを格納する領域に、所定のフレーム数分の映像のデジタルデータを格納し、データ長を格納する領域に、映像のデジタルデータのデータ長を格納する。撮像開始時刻は、撮像部２７で撮像が開始された時刻を表す。具体的には、通信制御部２１１は、例えば、利用者がボタンＢ２を押した時刻を、撮像開始時刻として設定する。

なお、ステップＳ４１１で変換された映像データには、音声データは含まれていない。映像データに音声データを含ませないようにするため、例えば、処理部２１は、ステップＳ４１０において撮像部２７が映像データを生成する際に、マイクを停止させてもよい。また、例えば、処理部２１は、ステップＳ４１０において撮像部２７が映像データを生成する際にマイクを停止させず、ステップＳ４１１において音声データを符号化しないようにしてもよい。

通信端末２０−１は、作成した映像データを、第１チャンネルを用い、基地局３０−１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ４１２）。

処理サーバ１０の通信制御部１１３は、第１送信権を有する通信端末２０−１から送信された映像データを受信すると、映像データを、トークグループＧ１に参加する通信端末２０−２，２０−３へ転送するための制御を実施する（ステップＳ４１３）。具体的には、例えば、通信端末２０−１から送信された映像データを受信すると、通信制御部１１３は、映像データに格納されている発信者ＩＤ：Ｕｓｅｒ０１と、第１送信権を付与したユーザＩＤ：Ｕｓｅｒ０１とを照合し、両端末が一致するか否かを判断する。通信制御部１１３は、映像データに格納されているチャンネルＩＤ：Ｃｈａｎｎｅｌ０１と、第１送信権で許諾したチャンネルＩＤ：Ｃｈａｎｎｅｌ０１とを照合し、通信端末２０−１が属するトークグループＧ１を認識する。通信制御部１１３は、映像データを、トークグループＧ１に参加する利用者の人数に応じた数だけ複製する。通信制御部１１３は、複製した映像データを、通信端末２０−２，２０−３のＩＰアドレスを参照して送信する（ステップＳ４１４）。

通信端末２０−２，２０−３の通信制御部２１１は、処理サーバ１０から送信される映像データを受信すると、受信した映像データを復号する。通信端末２０−２，２０−３の表示制御部２１３は、復号した映像データをディスプレイに表示する（ステップＳ４１５）。

第１送信権は、解放されるまで通信端末２０−１により所有される。そのため、通信端末２０−１は、第１送信権が解放されるまで映像データを送信することが可能である。第１送信権の解放は、第１送信権を有している通信端末２０−１において、利用者が、例えば、ＰＴＴストリーミング開始要求ボタンＢ２を再度押すことで実現される。例えば、ステップＳ４７において、撮像開始を表す、例えば、「丸」が表示されているボタンＢ２を利用者が押すと、ボタンＢ２には撮像中を表す、例えば、「四角」が表示される。利用者は、例えば、撮像する必要性がなくなったと判断した場合、「四角」が表示されているボタンＢ２を再度押す。すると、通信端末２０−１から処理サーバ１０へ、第１送信権解放要求通知が送信される。処理サーバ１０の送信権付与部１１２は、第１送信権解放要求通知を受信すると、通信端末２０−１が有する第１送信権を解放する。なお、第１送信権を取得し、解放するための動作は、ボタンＢ２を押し、ボタンＢ２を再度押すことに限定されない。

押下状態となったＰＴＴストリーミング開始要求ボタンＢ２が通信端末２０−１の利用者により再度押下されると、通信端末２０−１の撮像制御部２１５は、撮像部２７による撮像を停止させる。撮像を停止させると、通信端末２０−１の通信制御部２１１は、撮像部２７で生成された映像データを、所定の通信プロトコルに則った形式に符号化する。このとき符号化される映像データのタイムスタンプには、例えば、撮像開始時刻、及び撮像終了時刻が格納される。撮像終了時刻は、例えば、ＰＴＴストリーミング開始要求ボタンＢ２が再度押下された時刻である。

図８は、図１に示される通信システム１において音声通信が実施される際の、処理サーバ１０、及び通信端末２０−１〜２０−３の動作の例を説明する図である。

通信端末２０−１の利用者は、例えば、通信端末２０−１のディスプレイに表示されているＰＴＴ通話開始要求ボタンＢ１を押す（ステップＳ８１）。利用者がボタンＢ１を押すと、通信端末２０−１の通信制御部２１１は、音声データの送信権の取得を要求する第２送信権取得要求通知を、例えば、ユーザＩＤを付し、基地局３０−１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ８２）。

処理サーバ１０の送信権付与部１１２は、通信端末２０−１から送信される第２送信権取得要求通知を受信すると、第２送信権を付与している通信端末が同一トークグループ内に存在しないことを確認する。第２送信権を付与している通信端末が同一トークグループ内に存在しない場合、送信権付与部１１２は、第２チャンネルを用いてデータを送信できる権利である第２送信権を通信端末２０−１へ付与する（ステップＳ８３）。このとき、送信権付与部１１２は、例えば、第２送信権を付与した通信端末２０−１が属するトークグループＧ１のトークグループＩＤ：Ｇｒｏｕｐ０１、通信端末２０−１のユーザＩＤ：Ｕｓｅｒ０１、及び第２送信権で使用を許諾した第２チャンネルのチャンネルＩＤ：Ｃｈａｎｎｅｌ０２を登録する。

通信端末２０−１の集音制御部２１６は、第２送信権を取得すると、通信端末２０−１のマイクを駆動させる。通信端末２０−１の利用者はマイクから音声を入力する（ステップＳ８４）。通信端末２０−１の通信制御部２１１は、マイクから入力された音声に基づいて音声データを作成する（ステップＳ８５）。音声データは、例えば、ＴＣＰ／ＩＰベースの独自プロトコルに則ったパケット構造を有する。

ステップＳ８５で生成される音声データは、トークグループＩＤを格納する領域、発話者ＩＤを格納する領域、タイムスタンプを格納する領域、データ長を格納する領域、及び実データを格納する領域を有する。通信端末２０−１の通信制御部２１１は、例えば、トークグループＩＤを格納する領域にＧｒｏｕｐ０１を格納し、発話者ＩＤを格納する領域にＵｓｅｒ０１を格納し、タイムスタンプを格納する領域に発話開始時刻を格納し、実データを格納する領域に、所定のフレーム数分の音声のデジタルデータを格納し、データ長を格納する領域に、音声のデジタルデータのデータ長を格納する。発話開始時刻は、通話が開始された時刻を表す。具体的には、通信制御部２１１は、例えば、利用者がＰＴＴ通話開始要求ボタンＢ１を押した時刻を、通話開始時刻として設定する。

通信端末２０−１は、作成した音声データを、第２チャンネルを用い、基地局３０−１、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ８６）。

処理サーバ１０の通信制御部１１３は、送信権を有する通信端末２０−１から送信された音声データを受信すると、音声データを、グループトークＧ１に参加する通信端末２０−２，２０−３へ転送するための制御を実施する（ステップＳ８７）。具体的には、例えば、通信端末２０−１から送信された音声データを受信すると、通信制御部１１３は、音声データに格納されている発話者ＩＤ：Ｕｓｅｒ０１と、第２送信権を付与したユーザＩＤ：Ｕｓｅｒ０１とが一致するか否かを判断する。音声データに格納されている発話者ＩＤと、第２送信権を付与したユーザＩＤとはＵｓｅｒ０１で一致するため、通信制御部１１３は、音声データを、グループトークＧ１に参加する利用者の人数に応じた数だけ複製する。通信制御部１１３は、複製した音声データを、通信端末２０−２，２０−３のＩＰアドレスを参照して送信する（ステップＳ８８）。

通信端末２０−２，２０−３の再生制御部２１４は、処理サーバ１０から送信される音声データを受信すると、受信した音声データを再生し、スピーカから音声として出力する（ステップＳ８９）。

第２送信権は、解放されるまで通信端末２０−１により所有される。そのため、通信端末２０−１は、第２送信権が解放されるまで作成した音声データを送信することが可能である。第２送信権の解放は、第２送信権を有している通信端末２０−１において、利用者が、例えば、ＰＴＴ通話開始要求ボタンＢ１から指を離すことで実現される。例えば、自身のコメント開始からボタンＢ１を押下し続け、終了したと判断した場合、利用者はボタンＢ１から指を離す。すると、通信端末２０−１から処理サーバ１０へ、第２送信権解放要求通知が送信される。処理サーバ１０の送信権付与部１１２は、第２送信権解放要求通知を受信すると、通信端末２０−１が有する第２送信権を解放する。なお、第２送信権を取得し、解放するための動作は、ボタンＢ１を押し、ボタンＢ１を離すことに限定されない。

通信端末２０−１の利用者の指がＰＴＴ通話開始要求ボタンＢ１から離れると、通信端末２０−１の集音制御部２１６は、マイクの駆動を停止させる。マイクを停止させると、通信端末２０−１の通信制御部２１１は、マイクから入力された音声に基づいて音声データを作成する。このとき作成される音声データのタイムスタンプには、例えば、発話開始時刻及び発話終了時刻が格納される。発話終了時刻は、例えば、通信端末２０−１の利用者の指がＰＴＴ通話開始要求ボタンＢ１から離れた時刻である。

図４で示されるステップＳ４７〜ステップＳ４１５の処理と、図８で示されるステップＳ８１〜ステップＳ８９の処理とは、並列して実施され得る。すなわち、例えば、通信端末２０−１が映像データについての第１送信権を保持したまま、音声データについての第２送信権を他の端末へ移すことが可能である。これにより、通信端末２０−１〜２０−３では、図９に示されるような映像が共有された状態で、相互に音声通信を実施することが可能となる。

（音声データ及び映像データの記憶処理）
次に、処理サーバ１０における音声データ及び映像データの記憶処理について詳細に説明する。
図１０は、図２に示される処理部１１における記憶制御部１１４が音声データ及び映像データを記憶する際の動作の例を表すフローチャートである。

記憶制御部１１４は、第１送信権を有する通信端末から送信されてきた映像データ、及び第２送信権を有する通信端末から送信されてきた音声データを記憶部１２に記憶する（ステップＳ１０１）。

具体的には、例えば、記憶制御部１１４は、第１送信権を有する通信端末から送信されてきた映像データを受信すると、受信した映像データをメモリに保持する。記憶制御部１１４は、例えば、第１送信権が解放されると、すなわち、撮像終了時刻を含む映像データが受信されると、メモリに保持している映像データを復号する。記憶制御部１１４は、復号した映像データを所定の形式のデータに変換し、記憶部１２に記憶する。このとき、記憶制御部１１４は、記憶する映像データに、例えば、トークグループＩＤ、撮像開始時刻及び撮像終了時刻を含むタイムスタンプ、並びに、映像データを識別するための映像ＩＤを付加する。

このとき、記憶制御部１１４は、記憶した映像データを縮小させた縮小画像、例えば、サムネイル画像を作成し、映像データと共に記憶部１２に記憶してもよい。縮小画像は、例えば、映像に含まれるいずれか１つの代表フレームに基づいて作成される。代表フレームとしては、例えば、先頭フレームが選定される。縮小画像についての縮小画像データは、例えば、トークグループＩＤ、及び映像ＩＤが付加されて記憶部１２に記憶される。

また、記憶制御部１１４は、第２送信権を有する通信端末から送信されてきた音声データを受信すると、受信した音声データをメモリに保持する。記憶制御部１１４は、例えば、第２送信権が解放されると、すなわち、発話終了時刻を含む音声データが受信されると、メモリに保持している音声データを復号する。記憶制御部１１４は、復号した映像データを所定の形式のデータに変換し、記憶部１２に記憶する。このとき、記憶制御部１１４は、記憶する音声データに、例えば、トークグループＩＤ、発話開始時刻及び発話終了時刻を含むタイムスタンプ、並びに、音声データを識別するための音声ＩＤを付加する。

続いて、記憶制御部１１４は、記憶部１２に記憶した映像データ及び音声データに基づき、映像データについてのリストデータを作成する。リストデータは、例えば、映像データ毎に作成され、個々の映像データの送信中に送信された音声データを表す関連データである。リストデータでは、映像データの送信中に送信された音声データが、例えば、リスト化されている。

具体的には、記憶制御部１１４は、例えば、映像データが記憶部１２に記憶されると、記憶部１２から、この映像データと同一のトークグループＩＤが付された音声データを選択する（ステップＳ１０２）。記憶制御部１１４は、選択した音声データから、発話開始時刻と発話終了時刻とが、映像データの撮像開始時刻から撮像終了時刻に含まれる音声データを抽出する（ステップＳ１０３）。

記憶制御部１１４は、抽出した音声データの音声ＩＤ、発話開始時刻、及び発話終了時刻を配列させることで、リストデータを作成する（ステップＳ１０４）。記憶制御部１１４は、作成したリストデータに、例えば、映像ＩＤを付加して記憶部１２に記憶し（ステップＳ１０５）、処理を終了させる。

図１１は、映像データＶ１に対して作成されるリストデータの例を表す概念図である。図１１は、トークグループＩＤ：Ｇｒｏｕｐ０１、映像ＩＤ：Ｖｉｄｅｏ０１、撮像開始時刻：１２時３０分００秒、及び撮像終了時刻：１２時３５分２０秒が付された映像データＶ１について作成されたリストデータを表している。記憶制御部１１４は、映像データＶ１についてのリストデータを作成する場合、記憶部１２に記憶されている音声データから、トークグループＩＤ：Ｇｒｏｕｐ０１が付され、かつ、１２時３０分００秒から１２時３５分２０秒の間に発話された音声データＴ１〜Ｔ４を抽出する。

そして、記憶制御部１１４は、抽出した音声データＴ１〜Ｔ４に基づき、例えば、発話開始時刻：１２時３０分３０秒、発話終了時刻：１２時３０分４０秒、音声ＩＤ：Ｔａｌｋ０１、発話開始時刻：１２時３１分３０秒、発話終了時刻：１２時３１分４０秒、音声ＩＤ：Ｔａｌｋ０２、発話開始時刻：１２時３２分３０秒、発話終了時刻：１２時３２分４０秒、音声ＩＤ：Ｔａｌｋ０３、発話開始時刻：１２時３４分３０秒、発話終了時刻：１２時３４分４０秒、音声ＩＤ：Ｔａｌｋ０４を含むリストデータを作成する。記憶制御部１１４は、作成したリストデータに映像データＶ１の映像ＩＤ：Ｖｉｄｅｏ０１を付加して記憶部１２に記憶する。

（映像データの履歴確認）
次に、通信端末２０における映像データの履歴確認処理について詳細に説明する。
図１２は、図１及び図３に示される通信端末２０が過去の映像を確認する際の処理サーバ１０、及び通信端末２０の動作の例を説明する図である。なお、図１２において、通信端末２０の利用者は、トークグループＧ１に参加しているものとする。

図１２において、通信端末２０の利用者は、過去の映像を確認したい場合、履歴一覧の表示要求を入力インタフェース２３から入力する（ステップＳ１２１）。例えば、利用者は、ディスプレイに表示される「履歴一覧」と表示された領域をタップする。

利用者から履歴一覧の表示要求が入力されると、通信端末２０の通信制御部２１１は、通信端末２０が属するトークグループ（トークグループＩＤ：ＧｒｏｕｐＸＸ）についての履歴一覧の表示を要求する旨の表示要求通知を、基地局３０、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ１２２）。このとき、表示要求通知には、要求元である通信端末２０のユーザＩＤ：ＵｓｅｒＸＸ、及びこの通信端末２０が属するトークグループのトークグループＩＤ：ＧｒｏｕｐＸＸが付されている。

表示要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、トークグループＩＤ：ＧｒｏｕｐＸＸが含まれている縮小画像データを記憶部１２から読み出す（ステップＳ１２３）。

処理サーバ１０の通信制御部１１３は、記憶部１２から読み出された縮小画像データを、パケット形式のデータに順次変換する（ステップＳ１２４）。通信制御部１１３は、パケット形式に変換した縮小画像データを、表示要求通知に付されているユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１２５）。

処理サーバ１０から送信される縮小画像データを受信すると、通信端末２０の記憶制御部２１２は、受信した縮小画像データをＲＡＭに順次記憶する。通信端末２０の表示制御部２１３は、ＲＡＭに記憶されている縮小画像データを読み出し、読み出した縮小画像データに基づく縮小画像を、トークグループＸＸについての表示画面に表示する（ステップＳ１２６）。ここで、通信端末２０が複数の縮小画像データを受信した場合には、複数の縮小画像が一覧としてディスプレイに表示される。

通信端末２０の利用者は、ディスプレイに表示される縮小画像を視認すると、再生したい映像があるか否かを判断する。再生したい映像がある場合、利用者は、表示されている縮小画像のいずれかを選択することで、映像の再生要求を入力インタフェース２３から入力する（ステップＳ１２７）。

利用者から映像の再生要求が入力されると、通信端末２０の通信制御部２１１は、選択された縮小画像に付加されている映像ＩＤ、例えば、Ｖｉｄｅｏ０１が含まれている映像データＶ１の再生を要求する旨の再生要求通知を、基地局３０、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ１２８）。このとき、再生要求通知には、要求元である通信端末２０のユーザＩＤ：ＵｓｅｒＸＸ、及び再生を要求する映像データＶ１の映像ＩＤ：Ｖｉｄｅｏ０１が付されている。

再生要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、映像ＩＤ：Ｖｉｄｅｏ０１が含まれている映像データＶ１及びリストデータを記憶部１２から読み出す（ステップＳ１２９）。

処理サーバ１０の通信制御部１１３は、記憶部１２から読み出された映像データＶ１及びリストデータを、パケット形式のデータに順次変換する（ステップＳ１２１０）。通信制御部１１３は、パケット形式に変換した映像データ及びリストデータを、再生要求通知に付されているユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１２１１）。このとき、通信制御部１１３は、リストデータを映像データよりも先に通信端末２０へ送信してもよい。

処理サーバ１０から送信されるリストデータを受信すると、通信端末２０の記憶制御部２１２は、受信したリストデータをＲＡＭに記憶する。これにより、これから再生する映像データと対応付けられている音声データが把握されることになる。

また、処理サーバ１０から送信される映像データを受信すると、記憶制御部２１２は、受信した映像データをＲＡＭに順次記憶する。通信端末２０の表示制御部２１３は、ＲＡＭに記憶されている映像データを読み出し、読み出した映像データに基づく映像をディスプレイに表示する（ステップＳ１２１２）。通信端末２０の通信制御部２１１は、映像のストリーミング再生が進み、映像データ内の時刻が、リストデータで管理されている所定の発話開始時刻、例えば、図１１で示される「１２時３０分３０秒」に到達すると（ステップＳ１２１３）、音声データＴ１の再生を要求する旨の再生要求通知を、基地局３０、及びネットワークＮＷを介して処理サーバ１０へ送信する（ステップＳ１２１４）。このとき、再生要求通知には、要求元である通信端末２０のユーザＩＤ：ＵｓｅｒＸＸ、及び再生を要求する音声データＴ１の音声ＩＤ：Ｔａｌｋ０１が付されている。

なお、表示制御部２１３は、映像を通常のレートで再生してもよいし、通常のレートよりも高いレートで再生してもよいし、通常のレートよりも低いレートで再生してもよい。また、表示制御部２１３は、入力インタフェース２３から入力される、飛ばし再生指示に応じ、音声データの発話開始時刻まで、映像のフレームを飛ばして再生することも可能である。これにより、コメントが存在する時点まで映像を一気に進めることが可能となるため、履歴を効率的に確認することが可能となる。

再生要求通知を受信すると、処理サーバ１０の記憶制御部１１４は、音声ＩＤ：Ｔａｌｋ０１が含まれている音声データＴ１を記憶部１２から読み出す（ステップＳ１２１５）。

処理サーバ１０の通信制御部１１３は、記憶部１２から読み出された音声データＴ１を、パケット形式のデータに順次変換する（ステップＳ１２１６）。通信制御部１１３は、パケット形式に変換した音声データを、再生要求通知に付されているユーザＩＤを用いて特定されるＩＰアドレスへ向けて送信する（ステップＳ１２１７）。

処理サーバ１０から送信される音声データを受信すると、記憶制御部２１２は、受信した音声データをＲＡＭに順次記憶する。通信端末２０の再生制御部２１４は、ＲＡＭに記憶されている音声データを読み出し、読み出した音声データに基づく音声をスピーカから再生する（ステップＳ１２１８）。通信端末２０の通信制御部２１１は、映像のストリーミング再生が進み、映像データ内の時刻が、リストデータで管理されている次の発話開始時刻、例えば、図１１で示される「１２時３１分３０秒」に到達すると、音声データＴ２の再生を要求する旨の再生要求通知を、基地局３０、及びネットワークＮＷを介して処理サーバ１０へ送信する。

処理サーバ１０、及び通信端末２０は、映像データに基づく映像の再生が終了するまで、ステップＳ１２１３〜ステップＳ１２１８の処理を繰り返す。通信端末２０は、ＲＡＭに記憶されている映像データの再生が終了すると、映像の再生を終了させる（ステップＳ１２１９）。

なお、通信端末２０が過去の映像及び音声を視聴している最中に、第１送信権を有する通信端末２０から新たな映像データが送信された場合、通信端末２０の利用者は、新たな映像データを再生するか否かを選択することが可能である。

具体的には、例えば、処理サーバ１０の通信制御部１１３は、通信端末２０へ過去の映像データを送信している最中に、第１送信権を有する通信端末２０から新たに送信された映像データを受信した場合、過去の映像及び音声を視聴している通信端末２０へ、新たな映像データを再生するか否かを問い合わせる。

通信端末２０の表示制御部２１３は、処理サーバ１０からの問合せをディスプレイに表示する。通信端末２０の利用者により、再生が選択された場合、通信端末２０の通信制御部２１１は、新たな映像データの再生要求を処理サーバ１０へ送信する。一方、通信端末２０の利用者により、再生は不要とされた場合、処理サーバ１０からは過去の映像データが継続して通信端末２０へ送信される。処理サーバ１０の通信制御部２１１は、新たな映像データの再生要求を受信すると、過去の映像データの送信を停止し、新たな映像データの送信を開始する。

以上のように、本実施形態では、処理サーバ１０の送信権付与部１１２は、映像データを送信できる権利である第１送信権を、トークグループＧ１に属する通信端末２０−１〜２０−３のうち１つの通信端末に付与し、音声データを送信できる権利である第２送信権を、トークグループＧ１に属する通信端末２０−１〜２０−３のうち１つの通信端末に付与する。そして、通信制御部２１１は、第１送信権を有する通信端末から送信された映像データを第１チャンネルを用いてその他の通信端末へ送信し、第２送信権を有する通信端末から送信された音声データを第２チャンネルを用いてその他の通信端末へ送信するようにしている。これにより、トークグループに参加する通信端末２０−１〜２０−ｍの利用者は、通信端末２０−１〜２０−ｍ間で映像を共有させたまま、音声データを相互に送信し合うことが可能となる。

したがって、本実施形態に係る通信システム１、及び処理サーバ１０によれば、１対多のグループ一斉データ通信において、映像を交えたスムーズな情報交換を実現できる。

また、本実施形態では、処理サーバ１０の記憶制御部１１４は、通信端末２０から送信されてきた映像データ及び音声データを記憶部１２に記憶する。そして、記憶制御部１１４は、記憶部１２に記憶した映像データ及び音声データに基づき、映像データの送信中に送信された音声データをリスト化したリストデータを作成し、記憶部１２に記憶するようにしている。これにより、映像データの再生の際に同時に再生されるべき音声データを簡単に把握することが可能となる。

また、本実施形態では、通信端末２０の記憶制御部２１２は、映像データ及び音声データを、記憶部２２に記憶しない。通信端末２０の利用者が過去の映像の確認を必要とする場合には、通信端末２０の通信制御部２１１は、処理サーバ１０に過去の映像データ及び音声データを要求するようにしている。これにより、通信端末２０では映像データ及び音声データが記憶されないため、情報の漏洩を防ぐことが可能となる。

また、本実施形態では、通信端末２０は、過去の映像データ及び音声データを確認する際、処理サーバ１０から、過去の映像データ共に、この映像データについてのリストデータを受信する。そして、通信端末２０の再生制御部２１４は、このリストデータに基づき、処理サーバ１０から映像データに関連する音声データを要求するようにしている。これにより、過去の映像と共に、この映像に関係する音声を再生することが可能となる。

また、本実施形態では、通信端末２０が過去の映像及び音声を視聴している最中に、第１送信権を有する通信端末２０から新たな映像データが送信された場合、処理サーバ１０の通信制御部１１３は、過去の映像及び音声を視聴している通信端末２０へ、新たな映像データを再生するか否かを問い合わせるようにしている。これにより、通信端末２０が過去の映像及び音声を視聴している間であっても、新たに送信された映像データをうっかり見逃すことを防止することが可能となる。

なお、上記実施形態では、処理サーバ１０は、通信端末２０から履歴一覧の表示を要求されると、縮小画像データを通信端末２０へ送信する場合を例に説明した。しかしながら、これに限定されない。処理サーバ１０は、履歴一覧の表示要求に応じ、通信端末２０に例えば映像データの撮像開始時刻を一覧表示させてもよい。具体的には、処理サーバ１０は、通信端末２０から履歴一覧の表示を要求されると、例えば、映像データに付加されているタイムスタンプ、及び映像ＩＤを読み出す。処理サーバ１０は、読み出したデータを通信端末２０へ送信する。通信端末２０は、受信したデータのうち撮像開始時刻を一覧表示する。

通信端末２０の利用者は、ディスプレイに表示される撮像開始時刻から、再生したい映像についての撮像開始時刻を選択する。これにより、撮像開始時刻と関連付けられている映像ＩＤの再生を要求する再生要求通知が通信端末２０から処理サーバ１０へ送信される。

また、上記実施形態では、映像データに音声データが含まれない場合を例に説明した。しかしながら、これに限定されない。通信端末２０は、利用者の指示により、映像データに音声データが含まれるように変換処理を切り換えるようにしてもよい。このとき、通信端末２０の通信制御部２１１は、撮像部２７により生成された映像データと、マイクから入力された音声とを、ＲＴＭＰ等の所定の通信プロトコル、又は独自プロトコルに則って変換する。通信制御部２１１は、変換後のデータを、例えば、第１チャンネルを用い、ネットワーク及び基地局３０を介して処理サーバ１０へ送信する。これにより、映像と音声との同時送信にも対応することが可能となる。

また、上記実施形態では、音声データ及び映像データが処理サーバ１０から通信端末２０−１〜２０−３へ送信される場合を例に説明した。しかしながら、処理サーバ１０から通信端末２０−１〜２０−３へ送信されるデータはこれらに限定されない。処理サーバ１０から通信端末２０−１〜２０−３へ、例えば、テキストデータが送信されてもよい。

この場合、処理サーバ１０の処理部１１は、例えば、テキスト化処理部の機能を有する。テキスト化処理部は、第２送信権を有する通信端末から送信されてきた音声データを、テキストデータへ変換する。具体的には、例えば、テキスト化処理部は、メモリに保持されている所定容量の音声データを、文法に関する情報、言語構造に関する情報、音声データの組成に関する情報、及び記憶している単語情報等に基づいてテキストデータへ変換する。なお、テキスト化処理部により採用される音声−テキスト変換処理は、既存の技術を利用しても構わない。

テキストデータは、対応する音声データと共に通信端末２０−１〜２０−３へ送信される。なお、テキストデータは、対応する音声データの後に通信端末２０−１〜２０−３へ送信されてもよい。また、テキストデータは、音声データのテキスト化が終了したことを通知した通信端末２０−１〜２０−３のうち応答があった通信端末へ送信されるようにしてもよい。

通信端末２０−１〜２０−３の表示制御部２１３は、受信したテキストデータに基づく文字をディスプレイに表示する。このとき、表示制御部２１３は、テキストデータに基づく文字を、ディスプレイに表示される映像の妨げになりにくい位置に表示する。例えば、テキストデータに基づく文字は、図１３に示されるように、ディスプレイの下方、かつ、ＰＴＴ通話開始要求ボタンＢ１及びＰＴＴストリーミング開始要求ボタンＢ２の上方に表示される。なお、この表示は、ディスプレイに対して固定されていてもよいし、横方向にスライドしてよい。

また、処理サーバ１０から通信端末２０−１〜２０−３へ、例えば、翻訳テキストデータが送信されてもよい。この場合、処理サーバ１０の処理部１１は、例えば、翻訳処理部の機能を有する。翻訳処理部は、テキスト化処理部で変換されたテキストデータに対して翻訳処理を実施することで、翻訳テキストデータを作成する。具体的には、例えば、翻訳処理部は、テキスト化処理部により変換されたテキストデータを、トークグループに参加している利用者と関連付けられている言語コードに対応する言語のテキストデータへ翻訳する。なお、翻訳処理部により採用される翻訳処理は、統計的機械翻訳、及びニューラル機械翻訳等、既存の技術を利用しても構わない。

翻訳テキストデータは、対応するテキストデータと共に通信端末２０−１〜２０−３へ送信される。なお、翻訳テキストデータは、対応するテキストデータの後に通信端末２０−１〜２０−３へ送信されてもよい。また、翻訳テキストデータは、対応する音声データの後に通信端末２０−１〜２０−３へ送信されてもよい。また、翻訳テキストデータは、テキストデータの翻訳が終了したことを通知した通信端末２０−１〜２０−３のうち応答があった通信端末へ送信されるようにしてもよい。

通信端末２０−１〜２０−３の表示制御部２１３は、受信した翻訳テキストデータに基づく文字をディスプレイに表示する。このとき、表示制御部２１３は、翻訳テキストデータに基づく文字を、ディスプレイに表示される映像の妨げになりにくい位置に表示する。例えば、翻訳テキストデータに基づく文字は、図１３に示されるように、ディスプレイの下方、かつ、ＰＴＴ通話開始要求ボタンＢ１及びＰＴＴストリーミング開始要求ボタンＢ２の上方に表示される。

なお、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

１…通信システム、１０…処理サーバ、１１…処理部、１２…記憶部、１３…通信インタフェース、２０，２０−１，２０−２，２０−３，２０−ｍ…通信端末、２１…処理部、２２…記憶部、２３…入力インタフェース、２４…出力インタフェース、２５…通信インタフェース、２６…ＧＰＳ受信器、２７…撮像部、３０，３０−１，３０−２，３０−ｎ…基地局、１１１…登録処理部、１１２…送信権付与部、１１３…通信制御部、１１４…記憶制御部、２１１…通信制御部、２１２…記憶制御部、２１３…表示制御部、２１４…再生制御部、２１５…撮像制御部、２１６…集音制御部

Claims (11)

1. 複数の通信端末を対応付けて群とし、前記群に属する複数の通信端末のいずれか１つに、映像データを送信する権利である第１送信権を与え、前記群に属する複数の通信端末のいずれか１つに、音声データを送信する権利である第２送信権を与える送信権付与部と、
   前記第１送信権を有する通信端末から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末へ送信し、前記第２送信権を有する通信端末から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末へ送信する通信制御部と
   を具備し、
   前記送信権付与部は、前記第１送信権を与える通信端末と、前記第２送信権を与える通信端末とが同一となることを許容する信号処理装置。
2. 複数の通信端末を対応付けて群とし、前記群に属する複数の通信端末のいずれか１つに、映像データを送信する権利である第１送信権を与え、前記群に属する複数の通信端末のいずれか１つに、音声データを送信する権利である第２送信権を与える送信権付与部と、
   前記第１送信権を有する通信端末から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末へ送信し、前記第２送信権を有する通信端末から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末へ送信する通信制御部と
   前記第１送信権を有する通信端末から送信された映像データと、前記第２送信権を有する通信端末から送信された音声データとを記憶し、前記記憶した映像データ及び音声データに基づき、映像データの送信中に送信された音声データを表す関連データを作成する記憶制御部と
   を具備する信号処理装置。
3. 前記第１送信権を有する通信端末から送信された映像データと、前記第２送信権を有する通信端末から送信された音声データとを記憶し、前記記憶した映像データ及び音声データに基づき、映像データの送信中に送信された音声データを表す関連データを作成する記憶制御部をさらに具備する請求項１記載の信号処理装置。
4. 前記通信制御部は、前記群に属する複数の通信端末のいずれかから映像データの再生が要求された場合、再生が要求された映像データと、当該映像データについての関連データとを、要求元の通信端末へ送信する請求項２又は３に記載の信号処理装置。
5. 前記通信制御部は、前記関連データに含まれる音声データの再生が前記通信端末から要求された場合、再生が要求された音声データを、要求元の通信端末へ送信する請求項４記載の信号処理装置。
6. 前記通信制御部は、前記再生が要求された映像データを前記要求元の通信端末へ送信している際に、前記第１送信権を有する通信端末から送信された新たな映像データを受信した場合、前記要求元の通信端末へ前記新たな映像データの再生をするか否かを問い合わせる請求項４記載の信号処理装置。
7. 前記第２送信権を有する通信端末から送信される音声データに基づいてテキストデータを作成するテキスト化処理部をさらに具備し、
   前記通信制御部は、前記作成されたテキストデータを前記群に属する複数の通信端末の少なくともいずれかへ送信する請求項１乃至６のいずれかに記載の信号処理装置。
8. 前記テキスト化処理部により作成されたテキストデータに対して翻訳処理を実施することで翻訳テキストデータを作成する翻訳処理部をさらに具備し、
   前記通信制御部は、前記作成された翻訳テキストデータを前記群に属する複数の通信端末の少なくともいずれかへ送信する請求項７記載の信号処理装置。
9. 複数の通信端末を対応付けて群とし、前記群に属する複数の通信端末のいずれか１つに、映像データを送信する権利である第１送信権を与え、
   前記第１送信権を有する通信端末から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末へ送信し、
   前記群に属する複数の通信端末のいずれか１つに、音声データを送信する権利である第２送信権を、前記第１送信権を与える通信端末と、前記第２送信権を与える通信端末とが同一となることを許容して与え、
   前記第２送信権を有する通信端末から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末へ送信する通信方法。
10. 請求項１乃至請求項８のいずれかに記載の信号処理装置が備える前記各部としてコンピュータを機能させるプログラム。
11. 複数の通信端末と、
    信号処理装置と
    を具備し、
    前記信号処理装置は、
    前記複数の通信端末を対応付けて群とし、前記群に属する複数の通信端末のいずれか１つに、映像データを送信する権利である第１送信権を与え、前記群に属する複数の通信端末のいずれか１つに、音声データを送信する権利である第２送信権を与える送信権付与部と、
    前記第１送信権を有する通信端末から送信された映像データを、第１チャンネルを用いて前記群に属するその他の通信端末へ送信し、前記第２送信権を有する通信端末から送信された音声データを、第２チャンネルを用いて前記群に属するその他の通信端末へ送信する通信制御部と
    を備え、
    前記送信権付与部は、前記第１送信権を与える通信端末と、前記第２送信権を与える通信端末とが同一となることを許容する通信システム。