JP2017059902A - 情報処理装置、プログラム、画像処理システム - Google Patents

Abstract

【課題】頻繁な画面の変化が抑制された情報処理装置を提供する。【解決手段】ネットワークを介して通信可能な他の伝送端末に画像データを送信する伝送端末１０であって、撮像手段１７が撮像した画像データから人を認識する認識手段と、画像データに撮像されている人のうち話者を推定する話者推定手段１４と、話者推定手段が推定した話者の発言時間を測定する測定手段と、測定手段が測定した発言時間に基づいて、継続して発言する話者を含む話者画像を画像データから取得する取得手段と、取得手段が取得した話者画像を情報端末に送信する送信手段１１と、を有する。【選択図】図７

Description

本発明は、情報処理装置、プログラム及び画像処理システムに関する。

インターネット等の通信ネットワークを介して複数の端末装置間でテレビ会議等を行う伝送システムが知られている。このような伝送システムでは、一方の伝送端末でテレビ会議中に収集された画像データ及び音声データを他方の伝送端末に送信する。他方の伝送端末はこの画像データ及び音声データを受信し、ディスプレイ等に画像を表示したり、スピーカから音声を出力したりすることで、これらの伝送端末間でテレビ会議を行うことができる。

伝送端末が画像データを取得するためにはカメラが用いられるが、このカメラに周囲３６０度を撮像可能なカメラ（以下、全天球カメラという）を用いることが検討されている。従来のカメラでは画角が狭いため、複数の話者を正面から撮像することは困難であったが、全天球カメラでは全天球カメラを囲むように存在する複数の話者をそれぞれ正面から撮像することが可能になる。

しかし、全天球カメラが撮像する画像には複数の話者が含まれているため、他方の伝送端末のユーザが話者を特定することが困難になる傾向がある。このような不都合に対し、広角画像から話者を取り出して他方の伝送端末に送信する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、音声入力手段から入力した音声の時間差又は強度に基づいて音源方向を特定し、音源方向の領域を画像から抽出して表示する画像出力装置が開示されている。

しかしながら、特許文献１に記載された画像出力装置のように、話者が変わるたびに伝送端末が送信する画像を切り替えると、他方の伝送端末のディスプレイで頻繁な画面の変化が生じ、ユーザにとって好ましくない画面遷移となるおそれがあるという問題があった。

本発明は、上記課題に鑑み、頻繁な画面の変化が抑制された情報処理装置を提供することを目的とする。

上記課題に鑑み、本発明は、ネットワークを介して通信可能な情報端末に画像データを送信する情報処理装置であって、撮像手段が撮像した画像データから人を認識する認識手段と、前記画像データに撮像されている人のうち話者を推定する話者推定手段と、前記話者推定手段が推定した前記話者の発言時間を測定する測定手段と、前記測定手段が測定した前記発言時間に基づいて、継続して発言する前記話者を含む話者画像を画像データから取得する取得手段と、前記取得手段が取得した前記話者画像を前記情報端末に送信する送信手段と、を有する情報処理装置を提供する。

頻繁な画面の変化が抑制された情報処理装置を提供することができる。

伝送システムの概略的な構成を説明する図の一例である。 伝送端末１０ａａによるトリミングと拠点IIのディスプレイ１２０ａｂに表示される画面を説明する図の一例である。 伝送端末１０ａａが複数の話者を同時にトリミングするトリミング画像と拠点IIのディスプレイ１２０ａｂに表示される画面を説明する図の一例である。 伝送システムの一例の概略図である。 伝送端末のハードウェア構成図の一例である。 伝送管理システムのハードウェア構成図の一例である。 伝送システムに含まれる伝送管理システム及び伝送端末の機能ブロック図の一例である。 トリミング部の機能ブロック図の一例である。 複数の伝送端末の間で通信を開始する準備段階の処理を示したシーケンス図の一例である。 複数の伝送端末の間でセッションを確立する処理の一例のシーケンス図である。 全天球の画像データと平面画像を模式的に示す図の一例である。 全天球の画像データから変換された平面の画像データ又は全天球の画像データの一部を模式的に示す図である。 話者方向推定部による音源方向の検出原理を説明する図の一例である。 話者方向の一例を示す図である。 伝送端末のディスプレイに表示される表示モード選択画面の一例を示す図である。 複数表示モードオプション選択画面の一例を示す図である。 ３６０度表示モードオプション選択画面の一例を示す図である。 伝送端末の全体的な動作の流れを説明するフローチャート図の一例である。 単一表示モードにおける伝送端末の処理手順を示すフローチャート図の一例である。 単一表示モードの画面遷移例を表すタイムチャート図の一例である。 複数表示モードにおける伝送端末の処理手順を示すフローチャート図の一例である。 発言時間測定部が発言時間を測定する手順を示すフローチャート図の一例である。 参加端末の累積の発言時間を模式的に示す図の一例である。 トリミング画像の切り替えを説明する図の一例である。 ズームアウト処理によるトリミング画像の切り替えを説明する図の一例である。 ９０度画面切替オプションが選択された場合のトリミング画像を説明する図の一例である。 二画面オプションを説明する図の一例である。 速度変化オプションを説明する図の一例である。 司会者オプションを説明する図の一例である。 ３６０度表示モードにて表示された画像データを示す図の一例である。 参加者固定オプションを説明する図の一例である。 話者強調オプションを説明する図の一例である。 単一表示モードにおけるトリミング部の動作手順を示すフローチャート図の一例である。 単一表示モードにおけるトリミング部の動作手順を示すフローチャート図の一例である。 複数表示モードにおけるトリミング部の動作手順を示すフローチャート図の一例である。 複数表示モードにおいて緯度方向の画角を決定する手順を示すフローチャート図の一例である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

図１は、本実施形態の伝送システム１の概略的な構成を説明する図の一例である。図１では拠点Ｉと拠点IIの２拠点間でテレビ会議が行われている。拠点Iには、６人の参加者Ａ〜Ｆがテーブルを囲むように着席しており、拠点IIには一人の参加者ａが存在する。

拠点Iのテーブルには、周囲３６０を撮像可能な全天球カメラ１１２ａとマイク１１４が配置されている。全天球カメラ１１２ａとマイク１１４は伝送端末１０ａａと接続されている。また、伝送端末１０ａａにはディスプレイ１２０ａａが接続されている。拠点IIにはカメラ及びマイクを内蔵した伝送端末１０ａｂが配置されており、伝送端末１０ａｂにはディスプレイ１２０ａｂが接続されている。

このような構成において、伝送端末１０ａａは、全天球カメラ１１２ａが撮像した画像データを後述するように加工して拠点IIに送信する。また、伝送端末１０ａｂは、内蔵のカメラが撮像した画像データを拠点Ｉに送信する。従って、ディスプレイ１２０ａａは参加者ａを含む画像データを表示し、ディスプレイ１２０ａｂは参加者Ａ〜Ｆの一人以上（図１の例では六人全て）を含む画像データを表示する。

このように全天球カメラ１１２ａが参加者Ａ〜Ｆを撮像することで、参加者ａは拠点Ｉの全ての参加者Ａ〜Ｆを目視することが可能となり、臨場感のあるテレビ会議が可能になる。

そして、本実施形態の伝送端末１０ａａは、参加者Ａ〜Ｆのうちの話者の検出結果に基づいて、全天球カメラ１１２ａが撮像した画像データから一部をトリミングし、トリミングした画像データ（以下、トリミング画像という）を拠点IIに送信する。

図２を用いて、伝送端末１０ａａのトリミングについて説明する。図２は、伝送端末１０ａａによるトリミングと拠点IIのディスプレイ１２０ａｂに表示される画面を説明する図の一例である。

図２（ａ）はディスプレイ１２０ａｂに表示されるトリミング画像と伝送端末１０ａａが行う処理を説明している。参加者Ｂが発言しているため、伝送端末１０ａａは画像データから参加者Ｂが撮像されている範囲をトリミングする。従って、ディスプレイ１２０ａｂには参加者Ｂが含まれるトリミング画像９が表示される。

図２（ｂ）は参加者Ｅが発言を開始した状態のディスプレイ１２０ａｂに表示されるトリミング画像と伝送端末１０ａａが行う処理を説明している。伝送端末１０ａａは参加者Ｅが発言を開始したことを検出する。しかしながら、本実施形態の伝送端末１０ａａは切替時間が経過するまでトリミング画像９を変更しない。従って、ディスプレイ１２０ａｂには参加者Ｂが含まれるトリミング画像９が継続して表示される。

図２（ｃ）は参加者Ｅが発言を開始してから切替時間が経過した場合にディスプレイ１２０ａｂに表示されるトリミング画像と伝送端末１０ａａが行う処理を説明している。伝送端末１０ａａは参加者Ｅが切替時間以上、継続して発言していることを検出する。伝送端末１０ａａは画像データから参加者Ｅが撮像されている範囲をトリミングする。従って、ディスプレイ１２０ａｂには参加者Ｅが含まれるトリミング画像９が表示される。

このように、話者が切替時間以上、継続して話さないとトリミング画像９が切り替わらないので、ディスプレイ１２０ａｂの画面が頻繁に変更することを軽減できる。すなわち、トリミング画像９は最低でも切替時間が経過しないと切り替わらないので、トリミング画像９の取得頻度又は切り替え頻度（更新頻度）は所定以下に制限され、ディスプレイ１２０ａｂの画面が頻繁に変更されることを軽減できる。

続いて、複数の話者を同時に伝送端末１０ａａがトリミングする場合のトリミング画像９について説明する。

図３は、伝送端末１０ａａが複数の話者を同時にトリミングするトリミング画像９と拠点IIのディスプレイ１２０ａｂに表示される画面を説明する図の一例である。図３では複数の話者として２人（伝送端末１０ａａのユーザ）が選択されているものとする。

図３（ａ）では、参加者Ｃ，Ｄの発言時間が他の参加者よりも長いため、伝送端末１０ａａは画像データから参加者Ｃ，Ｄが撮像されている範囲をトリミングする。従って、ディスプレイ１２０ａｂには参加者Ｃ，Ｄが含まれるトリミング画像９が表示される。

図３（ｂ）に示すように、伝送端末１０ａａは一定時間ごとに各参加者の発言時間を集計する。この一定時間（所定時間）を集計時間と称する。すなわち、伝送端末１０ａａは集計時間の間に発言した時間が長い順に二人を特定する。集計時間の間、トリミング画像９は切り替わらない。

図３（ｃ）は集計時間が経過した際のトリミング画像９と拠点IIのディスプレイ１２０ａｂに表示される画面を示す。集計時間の間に、発言時間が長い上位の二人が参加者Ｅ，Ｆであったとする。この場合、伝送端末１０ａａは画像データから参加者Ｅ，Ｆが撮像されている範囲をトリミングする。従って、ディスプレイ１２０ａｂには参加者Ｅ，Ｆが含まれるトリミング画像が表示される。

このように、集計時間ごとにトリミング画像９を切り替えることで、トリミング画像９は集計時間が経過しないと切り替わらないので、ディスプレイ１２０ａｂの画面が頻繁に変更されることを軽減できる。

また、集計時間の間に、発言時間が長い上位の二人が参加者Ａ，Ｄであったとする。図３（ｄ）を用いてこの場合を説明する。伝送端末１０ａａは画像データから参加者Ａ〜Ｄが撮像されている範囲をトリミングする。従って、ディスプレイ１２０ａｂには参加者Ａ，Ｂ，Ｃ，Ｄが含まれるトリミング画像９が表示される。このように、複数の話者が離れていても発言時間が長い上位の二人をトリミングして表示することができる。

＜システム構成例＞
図４は、本実施例に係る伝送システム１の一例の概略図である。伝送システム１（通信システムの一例）は、伝送管理システム５０を介して複数の伝送端末間で情報や感情等を相互に伝達するためのコミュニケーションシステムである。伝送システム１には、テレビ会議システム、テレビ電話システム、音声会議システム、音声電話システム、ＰＣ（Personal Computer）画面共有システム、テキストチャットシステム等が例として挙げられる。また、伝送システム１には、伝送管理システム５０を介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。

本実施例では、コミュニケーションシステムの一例としてのテレビ会議を行うことができるシステムを想定して説明する。

図４に示されている伝送システム１は、複数の伝送端末（１０ａａ，１０ａｂ，・・・）、複数の携帯端末（２０ａａ，２０ａｂ，・・・）、各伝送端末（１０ａａ，１０ａｂ，・・・）用のディスプレイ（１２０ａａ，１２０ａｂ，・・・）、複数の中継装置（３０ａ，３０ｂ，・・・）、伝送管理システム５０、及び、プログラム提供システム９０によって構築されている。

複数の伝送端末１０は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。すなわち、複数の伝送端末１０は、テレビ会議サービスを利用することができるテレビ会議端末である。本実施例では、伝送端末１０はテレビ会議に専用の端末であるとする。

他方、複数の携帯端末２０は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。携帯端末２０はテキストデータを送受信可能であってもよい。すなわち、複数の携帯端末２０は、テレビ会議だけでなく、テキストチャットを利用できてもよい。本実施例では、携帯端末２０は、特に断らない限り、タブレット型端末、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、ゲーム機器、汎用ＰＣ端末、カーナビゲーション端末、電子ホワイトボード、プロジェクタ、監視カメラ、通信機能を備えた産業用機器などであってもよい。また、産業用機器には、ＭＦＰ（Multifunction Peripheral/Printer/Product）等のオフィス機器、内視鏡等の医療用機器、耕耘機等の農業用機器などが含まれる。ウェアラブルＰＣには腕時計やヘッドマウントディスプレイ等が含まれる。なお、携帯端末２０は、例えば携帯電話通信網やＷｉＦｉ（Wireless Fidelity）などを介して通信ネットワーク２に無線で接続されている。

後述するハードウェア構成から明らかなように伝送端末１０及び携帯端末２０は情報処理装置と称される。

伝送端末１０及び携帯端末２０は、伝送システム１の呼制御を管理する伝送管理システム５０により管理される。

なお、以下では、複数の伝送端末（１０ａａ，１０ａｂ，・・・）のうちの任意の伝送端末は「伝送端末１０」と表され、複数の携帯端末（２０ａａ，２０ａｂ，・・・）のうちの任意の携帯端末は「携帯端末２０」と表されている。ディスプレイ１２０、中継装置３０、ルータ７０についても同様とする。

また、一方の伝送端末１０又は携帯端末２０から他方の伝送端末１０又は携帯端末２０へテレビ会議の開始を要求する伝送端末は「要求元端末」と表され、要求先である宛先としての端末は「宛先端末」と表されている。

また、伝送システム１において、要求元端末と宛先端末との間では、伝送管理システム５０を介して、各種の管理情報を送受信するための管理情報用セッションが確立される。また、要求元端末と宛先端末との間では、中継装置３０を介して、コンテンツデータを送受信するためのセッションが確立される。なお、コンテンツデータのセッションでは、必ず中継装置３０を介する必要はなく、伝送管理システム５０を介して通信してもよいし、要求元端末と宛先端末とが直接、通信してもよい。

中継装置３０は、上記のように、複数の伝送端末１０と携帯端末２０との間で、コンテンツデータの中継を行う。

伝送管理システム５０は、伝送端末１０又は携帯端末２０の間で呼制御を行う。その他、伝送端末１０及び携帯端末２０のログイン認証、通話状況の管理、宛先リストの管理、及び、中継装置３０に対しコンテンツデータの送信先を通知したり通話状況を管理させる等を行う。

伝送管理システム５０は情報処理装置であるが、又は、監視カメラ、通信機能を備えた産業用機器、ウェアラブルＰＣ等であってもよい。また、産業用機器には、ＭＦＰ等のオフィス機器、内視鏡等の医療用機器、耕耘機等の農業用機器などが含まれる。ウェアラブルＰＣには腕時計やヘッドマウントディスプレイ等が含まれる。

プログラム提供システム９０は、後述のＨＤ（Hard Disk）３０４に、伝送端末１０や携帯端末２０に各種機能を実現させるための端末用プログラムを記憶しており、伝送端末１０や携帯端末２０に端末用プログラムを送信することができる。プログラム提供システム９０は後述するＨＤ３０４に、伝送管理システム５０に各種機能を実現させるための管理装置用プログラムをも記憶しており、伝送管理システム５０に管理装置用プログラムを送信することができる。

伝送端末（１０ａａ，１０ａｂ，１０ａｃ，・・・）、中継装置３０ａ、及びルータ７０ａは、ＬＡＮ２ａによって通信可能に接続されている。伝送端末（１０ａｄ，１０ｂｂ，１０ｂｃ，・・・）、携帯端末（２０ａａ、２０ａｂ、…）、中継装置３０ｂ、及びルータ７０ｂは、ＬＡＮ２ｂによって通信可能に接続されている。また、ＬＡＮ２ａ及びＬＡＮ２ｂは、ルータ７０ａｂが含まれた専用線２ａｂによって通信可能に接続されており、所定の地域Ａ内で構築されている。例えば、地域Ａは日本であり、ＬＡＮ２ａは東京の事業所内で構築されており、ＬＡＮ２ｂは大阪の事業所内で構築されている。また、携帯端末（２０ａａ，２０ａｂ，・・・）は、地域Ａで利用されている。

一方、伝送端末（１０ｃａ，１０ｃｂ，１０ｃｃ，・・・）、中継装置３０ｃ、及びルータ７０ｃは、ＬＡＮ２ｃによって通信可能に接続されている。伝送端末（１０ｄａ，１０ｄｂ，１０ｄｃ，・・・）、携帯端末（２０ａｃ、２０ａｄ、…）、中継装置３０ｄ、及びルータ７０ｄは、ＬＡＮ２ｄによって通信可能に接続されている。また、ＬＡＮ２ｃ及びＬＡＮ２ｄは、ルータ７０ｃｄが含まれた専用線２ｃｄによって通信可能に接続されており、所定の地域Ｂ内で構築されている。例えば、地域Ｂはアメリカ合衆国であり、ＬＡＮ２ｃはニューヨークの事業所内で構築されており、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。また、携帯端末（２０ａｃ，２０ａｄ，・・・）は、地域Ｂで利用されている。

また、伝送管理システム５０及びプログラム提供システム９０は、インターネット２ｉを介して、伝送端末１０、携帯端末２０及び中継装置３０と通信可能に接続されている。伝送管理システム５０又はプログラム提供システム９０は、地域Ａ又は地域Ｂに設置されていてもよいし、これら以外の地域に設置されていてもよい。

また、図４において、各伝送端末１０、各携帯端末２０、各中継装置３０、伝送管理システム５０、各ルータ７０、及び、プログラム提供システム９０の下に示されている４組の数字は、一般的なＩＰｖ４におけるＩＰアドレスを簡易的に示している。

＜ハードウェア構成＞
＜＜伝送端末＞＞
次に、図５を用いて、伝送端末１０のハードウェア構成について説明する。図５は、本実施例に係る伝送端末１０のハードウェア構成図の一例である。図５に示されているように、本実施例の伝送端末１０は、伝送端末１０全体の動作を制御するＣＰＵ（Central Processing Unit）１０１を有する。また、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Read Only Memory）１０２、及び、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１０３を有する。また、端末用プログラム１０１０、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４を有する。また、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５を有する。また、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、及び、伝送端末１０の宛先を選択する場合などに操作される操作ボタン１０８を有する。また、伝送端末１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、ＳＩＭカードが脱着されるＳＩＭスロット１２１、及び、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Interface）１１１を備えている。

また、伝送端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、及び、音声を入力する内蔵型のマイク１１４を有する。カメラ１１２は周囲３６０度（経度方向と緯度方向のそれぞれ３６０度）を撮像可能な全天球カメラである。ただし、必ずしも周囲３６０度を全て撮像可能である必要はなく、経度方向にだけ３６０度の範囲で撮像可能でもよい。また、経度方向に１８０度だけの広角な範囲で撮像可能でもよい。撮像範囲の下限としては複数の参加者を一度に撮像可能である程度の広角な画角があればよい。

マイク１１４は指向性マイクであることが好ましい。また、音声を出力する内蔵型のスピーカ１１５、及び、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６を有する。また、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、及び、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８を有する。また、認証受付Ｉ／Ｆ１１９、及び、上記各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示装置である。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。伝送端末１０のディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続されているが、これに限られず、ディスプレイ１２０は、伝送端末１０に内蔵されていてもよい。

外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ（Universal Serial Bus）ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが全天球カメラ１１２ａであってもよく、外付けマイクが指向性のマイクであってもよい。全天球カメラ１１２ａが外付けの場合、伝送端末１０と全天球カメラ１１２ａは画像処理システムとして動作する。

認証受付Ｉ／Ｆ１１９は、ユーザから認証情報の入力を受け付けるインタフェースであり、具体的には、ＩＣカードリーダや（例えばＮＦＣ（Near field communication））、ＳＤカードやＳＩＭカード等の読み取り器が該当する。

さらに、端末用プログラム１０１０は、インストール可能な形式又は実行可能な形式のファイルで、記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、端末用プログラム１０１０は、フラッシュメモリ１０４ではなくＲＯＭ１０２に記憶させるようにしてもよい。

携帯端末２０のハードウェア構成については伝送端末１０のハードウェア構成と重複している部分が多く、また、その相違があるとしても伝送システム１を構築する上で支障がないものとする。

<<伝送管理システム、中継装置、プログラム提供システム≫
次に、図６を用いて、伝送管理システム５０のハードウェア構成について説明する。図６は、本実施例に係る伝送管理システム５０のハードウェア構成図の一例である。

なお、図示する伝送管理システム５０等のハードウェア構成は、１つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、伝送管理システム５０等が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施例の伝送管理システム５０等の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。

伝送管理システム５０は、伝送管理システム５０全体の動作を制御するＣＰＵ３０１、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶したＲＯＭ３０２、及び、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３を有する。また、管理装置用プログラム等の各種データを記憶するＨＤ３０４、及び、ＣＰＵ３０１の制御に従ってＨＤ３０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)３０５を有する。また、フラッシュメモリ等の記録メディア３０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ３０７、及び、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ３０８を有する。また、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ３０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード３１１、及び、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス３１２を有する。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)３１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ３１４を有する。さらに、上記各構成要素を図６に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

なお、管理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、記録メディア３０６やＣＤ−ＲＯＭ３１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、管理装置用プログラムは、ＨＤ３０４ではなくＲＯＭ３０２に記憶されるようにしてもよい。

また、中継装置３０及びプログラム提供システム９０は、上記の伝送管理システム５０と同様のハードウェア構成を有しているため、その説明を省略する。

＜伝送システムの機能構成＞
次に、図７を用いて本実施形態の伝送システム１の機能構成について説明する。図７は、本実施形態の伝送システム１に含まれる伝送管理システム５０、及び、伝送端末１０、の機能ブロック図の一例である。図７では、伝送端末１０、及び伝送管理システム５０が通信ネットワーク２を介してデータ通信することができるように接続されている。また、図４に示されている中継装置３０とプログラム提供システム９０は、トリミングに関しては直接関係ないため図７では省略されている。

<<伝送端末の各機能構成>>
伝送端末１０は、送受信部１１、ログイン要求部１２、音声入力部１３、話者方向推定部１４、音声出力部１５、操作入力受付部１６、撮像部１７、トリミング部１８、表示制御部１９、宛先リスト作成部２１、及び、記憶・読出処理部２９を有している。これら各部は、図５に示されている各構成要素のいずれかが、フラッシュメモリ１０４からＲＡＭ１０３上に展開された端末用プログラム１０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される機能、又は提供される手段である。

また、伝送端末１０は、図５に示されているＲＡＭ１０３、ＲＯＭ１０２及びフラッシュメモリ１０４によって構築される記憶部１０００を有している。記憶部１０００には、端末用プログラム１０１０が記憶されている。

（伝送端末の各機能構成）
次に、図５及び図７を用いて、伝送端末１０の各機能構成について詳細に説明する。伝送端末１０の送受信部１１は、図５に示されているＣＰＵ１０１からの命令、及び図５に示されているネットワークＩ／Ｆ１１１等によって実現され、通信ネットワーク２を介して中継装置３０及び伝送管理システム５０と各種データの送受信を行う。送受信部１１は、所望の宛先端末と通信を開始する前から、伝送管理システム５０と宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各伝送端末１０の稼動状態（ＯＮラインかＯＦＦラインかの状態）だけでなく、ＯＮラインであってもさらに通信中であるか、離籍中であるか等の詳細な状態を示す。

ログイン要求部１２は、図５に示されているＣＰＵ１０１からの命令等によって実現され、電源ＯＮの受け付けを契機として、送受信部１１から通信ネットワーク２を介して伝送管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のＩＰアドレスを自動的に送信する。また、ユーザが電源スイッチ１０９をＯＮの状態からＯＦＦにすると、送受信部１１が伝送管理システム５０へ電源をＯＦＦする旨の状態情報を送信した後に、操作入力受付部１６が電源を完全にＯＦＦにする。これにより、伝送管理システム５０側では、伝送端末１０が電源ＯＮから電源ＯＦＦになったことを把握することができる。

音声入力部１３は、図５に示されているＣＰＵ１０１からの命令、及び図５に示されている音声入出力Ｉ／Ｆ１１６等によって実現され、マイク１１４によってユーザの音声が音声信号に変換された後、この音声信号に係る音声データを入力する。

話者方向推定部１４は、図５に示されているＣＰＵ１０１からの命令、及び図５に示されている音声入出力Ｉ／Ｆ１１６等によって実現され、話者の方向を特定する。詳細は図１３にて説明される。

音声出力部１５は、図５に示されているＣＰＵ１０１からの命令、及び図５に示されている音声入出力Ｉ／Ｆ１１６等によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ１１５から音声を出力させる。

操作入力受付部１６は、図５に示されているＣＰＵ１０１からの命令、並びに図５に示されている操作ボタン１０８及び電源スイッチ１０９等によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、図５に示されている電源スイッチ１０９をＯＮにすると、図５に示されている操作入力受付部１６が電源ＯＮを受け付けて、電源をＯＮにする。

撮像部１７は、図５に示されているＣＰＵ１０１からの命令、並びに図５に示されているカメラ１１２及び撮像素子Ｉ／Ｆ１１３等によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。

トリミング部１８は、図５に示されているＣＰＵ１０１からの命令等によって実現され、撮像部が撮像した周囲３６０度の画像データから一部をトリミングする。トリミング部１８の詳細は図８にて説明される。

表示制御部１９は、図５に示されているＣＰＵ１０１からの命令、及び図５に示されているディスプレイＩ／Ｆ１１７等によって実現され、会議中に表示される画面を生成しディスプレイ１２０に対してこの画面を送信するための制御を行う。

宛先リスト作成部２１は、図５に示されているＣＰＵ１０１からの命令等により実現され、伝送管理システム５０から受信した、各宛先候補としての伝送端末１０の状態情報に基づいて、宛先候補の伝送端末１０の状態がアイコンで示された宛先リストの作成及び更新を行う。

また、記憶・読出処理部２９は、図５に示されているＣＰＵ１０１からの命令、及び図４に示すＳＳＤ１０５によって実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。なお、記憶部１０００には、図示されるものの他、宛先端末との通話を行う際に受信される画像データ、音声データ及び表示データが受信される度に上書き記憶される。

<<伝送管理システムの機能構成>>
伝送管理システム５０は、送受信部５１、端末認証部５２、状態管理部５３、端末状態取得部５４、セッション管理部５５、端末抽出部５６、及び、記憶・読出処理部５９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開された管理装置用プログラム５０１０に従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は提供される手段である。

また、伝送管理システム５０は、図６に示されているＨＤＤ３０５、ＲＡＭ３０３、ＲＯＭ３０２等により構築される記憶部５０００を有している。以下、記憶部５０００に記憶されている各種データベースについて説明する。

記憶部５０００には、中継装置管理テーブルによって構成されている中継装置管理ＤＢ５００１が構築されている。この中継装置管理テーブルでは、各中継装置３０の中継装置ＩＤ毎に、各中継装置３０の稼動状態、稼動状態が示される状態情報が伝送管理システム５０で受信された受信日時、中継装置３０のＩＰアドレス、及び中継装置３０における最大データ伝送速度（Ｍｂｐｓ）が関連付けられて管理される。

また、記憶部５０００には、端末認証管理テーブルによって構成されている端末認証管理ＤＢ５００２が構築されている。この端末認証管理テーブルでは、伝送管理システム５０によって管理される全ての伝送端末１０の通信ＩＤに対して、各パスワードが関連付けられて管理される。

また、記憶部５０００には、端末管理テーブルによって構成されている端末管理ＤＢ５００３が構築されている。この端末管理テーブルでは、各伝送端末１０の通信ＩＤ毎に、各伝送端末１０を宛先とした場合の名称（宛先名）、各伝送端末１０の稼動状態、後述のログイン要求情報が伝送管理システム５０で受信された受信日時、及び伝送端末１０のＩＰアドレスが関連付けられて管理される。

また、記憶部５０００には、宛先リスト管理テーブルによって構成されている宛先リスト管理ＤＢ５００４が構築されている。この宛先リスト管理テーブルでは、テレビ会議における通話の開始を要求する要求元端末の通信ＩＤに対して、宛先端末の候補として登録されている宛先端末の通信ＩＤが全て関連付けられて管理される。例えば、表４に示されている宛先リスト管理テーブルにおいて、通信ＩＤが「０１ａａ」である要求元端末（伝送端末１０ａａ）からテレビ会議における通話の開始を要求することができる宛先端末の候補は、通信ＩＤが「０１ａｂ」の伝送端末１０ａｂ、通信ＩＤが「０１ａｃ」の伝送端末１０ａｃ、通信ＩＤが「０１ａｄ」の伝送端末１０ａｄ、及び通信ＩＤが「０１ｂｂ」の伝送端末１０ｂｂ等であることが示されている。

また、記憶部５０００には、セッション管理テーブルによって構成されているセッション管理ＤＢ５００５が構築されている。このセッション管理テーブルでは、中継装置３０を選択するためのセッションの実行に用いられるセッションＩＤ毎に、画像データ及び音声データの中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の通信ＩＤ、宛先端末の通信ＩＤ、及び、会議ＩＤ、が関連付けられて管理される。セッションＩＤはセッションを識別するためのＩＤであり同じ会議に参加する伝送端末１０が同じセッションに含まれるとは限らない。これに対し会議ＩＤは同じ会議に参加する伝送端末１０に同じものが付与される。

（伝送管理システムの各機能構成）
次に、伝送管理システム５０の各機能構成について詳細に説明する。送受信部５１は、図６に示されているＣＰＵ３０１からの命令及びネットワークＩ／Ｆ３０９等によって実現され、通信ネットワーク２を介して伝送端末１０又は中継装置３０と各種データの送受信を行う。

端末認証部５２は、図６に示されているＣＰＵ３０１からの命令等によって実現され、送受信部５１を介して受信されたログイン要求情報に含まれている通信ＩＤ及びパスワードを検索キーとし伝送端末１０を認証する。すなわち、端末認証管理ＤＢ５００２を検索し、端末認証管理ＤＢ５００２に同一の通信ＩＤ及びパスワードが管理されているかを判定することによって端末認証を行う。なお、認証方法はこれに限られず、クライアント証明書（公開鍵と秘密鍵を用いた認証方法）を用いてもよい。

状態管理部５３は、図６に示されているＣＰＵ３０１からの命令等によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理ＤＢ５００３にこの要求元端末の通信ＩＤ、要求元端末の稼動状態、伝送管理システム５０でログイン要求情報が受信された受信日時、及び要求元端末のＩＰアドレスを関連付けて記憶して管理する。

また、状態管理部５３は、図６に示されているＣＰＵ３０１からの命令等によって実現され、ユーザが伝送端末１０の電源スイッチ１０９をＯＮの状態からＯＦＦにすることで、伝送端末１０から送られてきた、電源をＯＦＦする旨の状態情報に基づいて、端末管理ＤＢ５００３のＯＮラインを示す稼動状態をＯＦＦラインに変更する。

端末抽出部５６は、図６に示されているＣＰＵ３０１からの命令によって実現され、ログイン要求した要求元端末の通信ＩＤをキーとして宛先リスト管理ＤＢ５００４を検索し、要求元端末と通話することができる宛先端末の候補の通信ＩＤを読み出す。また、端末抽出部５６は、ログイン要求してきた要求元端末の通信ＩＤをキーとして、宛先リスト管理ＤＢ５００４を検索し、要求元端末の通信ＩＤを宛先端末の候補として登録している他の要求元端末の通信ＩＤも抽出する。

端末状態取得部５４は、図６に示されているＣＰＵ３０１からの命令によって実現され、端末抽出部５６によって抽出された宛先端末の候補の通信ＩＤを検索キーとして、端末管理ＤＢ５００３を検索し、端末抽出部５６によって抽出された通信ＩＤ毎に稼動状態を読み出す。これにより、端末状態取得部５４は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。

セッション管理部５５は、図６に示されているＣＰＵ３０１からの命令によって実現され、セッション管理ＤＢ５００５に、セッションＩＤ、要求元端末の通信ＩＤ、宛先端末の通信ＩＤ、及び、会議ＩＤを関連付けて記憶して管理する。

記憶・読出処理部５９は、図６に示されているＣＰＵ３０１からの命令及びＨＤＤ３０５等によって実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出す処理を行う。

＜トリミング部１８＞
図８は、トリミング部１８の機能ブロック図の一例を示す。トリミング部１８は参加者検出部６１、発言時間測定部６２、切取領域決定部６３、及び、画面切替部６４を有している。

参加者検出部６１は、画像データを解析して参加者を検出する。すなわち、画像データに顔認識などの画像処理を施して、人が撮像されていればその場所を特定する。この場所は例えば顔の重心などが画素の座標又は緯度・経度などで表されたものである。

発言時間測定部６２は、参加者ごとに発言時間を測定する。例えば、継続して発言している時間を発言時間として測定したり、ある一定時間の間に発言している時間を測定したりする。具体的には、話者方向推定部１４から話者の方向を取得して、参加者の場所と照らし合わせて話者を特定する。そして、話者の発言時間を測定する。なお、継続とは、一般の会話で生じ得る１秒未満〜数秒未満の沈黙であれば、継続していると見なされる場合を含む。

切取領域決定部６３は、各参加者の発言時間に基づいて画像データから切取領域を決定する。切取領域には一人以上の話者が含まれる。図２、３にて説明したように話者は一人の場合と複数の場合がある。切取領域決定部６３は画像データの対角頂点の座標などで切取領域を決定する。

画面切替部６４は指示された切取領域を画像データから切り取ることでトリミング画像９を作成する。なお、切取領域を切り取る際には、現在の切取領域から新しい切取領域まで少しずつ切取領域を移動させる処理を行う（後述するスライド処理、ズーム処理）。従って、トリミング画像９が切り替えられる際、多くのトリミング画像９が作成される。これにより、トリミング画像９がスライドしているように見える。あるいは、ズームアウトしたりズームインするように見える。さらに、画面切替部６４は司会者や話者が北方向に配置されるように全天球の画像の配置方向を決定する。

＜通信の開始からセッションの確立まで＞
図９は、複数の伝送端末１０の間で通信を開始する準備段階の処理を示したシーケンス図の一例である。図９では伝送端末１０ａａが伝送端末１０ａｃ、１０ａｂ，１０ａｄと通信を開始する準備の処理を説明する。

まず、ユーザが電源スイッチ１０９をＯＮにすると伝送端末１０ａａの操作入力受付部１６が電源ＯＮを受け付けて、電源をＯＮにする（ステップＳ２１）。そして、伝送端末１０ａａのログイン要求部１２は電源ＯＮの受信を契機とし、送受信部１１から通信ネットワーク２を介して伝送管理システム５０に、ログイン要求を示すログイン要求情報を自動的に送信する（ステップＳ２２）。ログイン要求は電源ＯＮ時だけでなくユーザ操作によって任意のタイミングで送信されることができる。このログイン要求情報には、要求元である伝送端末１０ａａを識別するための通信ＩＤ、及びパスワードが含まれている。なお、伝送端末１０ａａから伝送管理システム５０へログイン要求情報が送信される際は、受信側である伝送管理システム５０は、伝送端末１０ａａの「ＩＰアドレス」を把握することができる。なお、携帯端末２０が要求元端末の場合、操作入力受付部１６がユーザのログイン操作を受け付けて、通信ＩＤ及びパスワードを伝送管理システム５０に送信する。

次に、伝送管理システム５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている通信ＩＤ及びパスワードと同一の通信ＩＤ及びパスワードが管理されているかを判定することによって端末認証を行う（ステップＳ２３）。本実施形態では、認証が成立したものとして説明する。

端末認証部５２によって、伝送端末１０の認証が成立した場合、状態管理部５３は端末管理テーブルに、伝送端末１０ａａの通信ＩＤ、「稼動状態」、「通信状態」、上記ログイン要求情報が受信された「受信時間」、及び伝送端末１０ａａの「ＩＰアドレス」を関連付けて記憶する（ステップＳ２４）。なお、この時の「稼動状態」は"ＯＮライン"である。

伝送管理システム５０の送受信部５１は、端末認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介してログイン要求してきた伝送端末１０ａａに送信する（ステップＳ２５）。

伝送管理システム５０の端末抽出部５６は、ログイン要求した伝送端末１０ａａの通信ＩＤである"０１ａａ"を検索キーとして、宛先リスト管理テーブルを検索し、伝送端末１０ａａと通信することができる伝送端末の候補の通信ＩＤを読み出すことによって抽出する（ステップＳ２６）。ここでは、伝送端末１０ａａの通信ＩＤである"０１ａａ"に対応する宛先端末（１０ａｂ，１０ａｃ、１０ａｄ、１０ｂｂ）のそれぞれの通信ＩＤである"０１ａｂ"、"０１ａｃ"、"０１ａｄ"、"０１ｂｂ"が抽出されることになる。

次に、端末状態取得部５４は、端末抽出部５６によって抽出された伝送端末１０ａｂ、１０ａｃ、１０ａｄ、１０ｂｂの通信ＩＤ（"０１ａｂ"、"０１ａｃ"、"０１ａｄ"、"０１ｂｂ"）を検索キーとして端末管理テーブルを検索し、通信ＩＤ毎に「稼動状態」を読み出す（Ｓ２７）。ここでは説明のため、伝送端末１０ａｂ、１０ａｃ、１０ａｄが"ＯＮライン"、伝送端末１０ｂｂが"ＯＦＦライン"であるとする。

次に、送受信部５１は、端末抽出部５６が抽出した通信ＩＤ（"０１ａｂ"、"０１ａｃ"、"０１ａｄ"、"０１ｂｂ"）と「稼動状態」とが含まれた宛先状態情報を、通信ネットワーク２を介して伝送端末１０ａａに送信する（ステップＳ２８）。これにより、伝送端末１０ａａは、伝送端末１０ａａと通信することができる伝送端末（１０ａｂ，１０ａｃ、１０ａｄ、１０ｂｂ）の現時点のそれぞれの「稼動状態」を把握することができる。

さらに、伝送管理システム５０の端末抽出部５６は、ログイン要求してきた伝送端末１０ａａの通信ＩＤである"０１ａａ"を検索キーとして、宛先リスト管理テーブルを検索し、通信ＩＤである"０１ａａ"を宛先端末の候補として登録している伝送端末１０の通信ＩＤを抽出する（ステップＳ２９）。上記の宛先リスト管理テーブルでは、抽出される他の伝送端末１０の通信ＩＤは"０１ａｂ""０１ａｃ""０１ａｄ""０１ｂｂ"である。

次に、伝送管理システム５０の端末状態取得部５４は、ログイン要求して来た伝送端末１０ａａの通信ＩＤである"０１ａａ"を検索キーとして、端末管理テーブルを検索し伝送端末１０ａａの「稼動状態」を取得する（ステップＳ３０）。

そして、送受信部５１は、上記ステップＳ２９で抽出された通信ＩＤ（"０１ａｂ"、"０１ａｃ""０１ａｄ""０１ｂｂ"）に係る伝送端末１０のうち、端末管理テーブルで「稼動状態」が"ＯＮライン"となっている伝送端末１０に、上記ステップＳ３０で取得された伝送端末１０ａａの通信ＩＤである"０１ａａ"と「稼動状態」として"ＯＮライン"が含まれる宛先状態情報を送信する（ステップＳ３１、Ｓ３２、Ｓ３３）。従って、伝送端末１０ａｂ、１０ａｃ、１０ａｄに宛先状態情報が送信される。なお、送受信部５１が伝送端末１０ａｂ、１０ａｃ、１０ａｄに宛先状態情報を送信する際に、通信ＩＤ（"０１ａｂ"、"０１ａｃ"、"０１ａｄ"）に基づいて、端末管理テーブルで管理されている伝送端末１０の「ＩＰアドレス」を参照する。

伝送端末１０ａａの宛先リスト作成部２１は、宛先リストの情報と宛先端末の候補の「稼動状態」とを受け取ると、宛先リスト画面を作成し、表示装置２０３に表示させる（ステップＳ３４）。この場合の宛先リスト画面には、伝送端末１０ａｂ、１０ａｃ、１０ａｄの名称と「稼動状態」として"ＯＮライン"が表示され、伝送端末１０ｂｂの名称と「稼動状態」として"ＯＦＦライン"が表示される。

一方、他の伝送端末１０ａｂ、１０ａｃ、１０ａｄでも、図９と同様の処理を行うことで、各伝送端末１０ａｂ、１０ａｃ、１０ａｄが宛先候補の伝送端末１０のディスプレイ１２０に宛先リスト画面が表示される。

図１０は、本実施形態に係る複数の伝送端末１０の間でセッションを確立する処理の一例のシーケンス図である。

ユーザが伝送端末１０ａａの操作ボタン１０８から宛先リスト画面に表示された通信ＩＤとして例えば"０１ａｃ"の宛先端末を選択すると、操作入力受付部１６は、接続を開始する要求を受け付ける（ステップＳ４１）。

伝送端末１０ａａの送受信部１１は、伝送端末１０ａａの通信ＩＤである"０１ａａ"と、「宛先端末の通信ＩＤ」である"０１ａｃ"とが含まれ、接続を開始したい旨を示す開始要求情報を伝送管理システム５０に送信する（ステップＳ４２）。これにより、伝送管理システム５０は要求元端末（伝送端末１０ａａ）の「ＩＰアドレス」を把握する。

次に、伝送管理システム５０のセッション管理部５５は「セッションＩＤ」を生成する（ステップＳ４３）。「セッションＩＤ」としては重複しないＩＤが生成される。

そして、この生成した「セッションＩＤ」と、要求元端末（伝送端末１０ａａ）の通信ＩＤである"０１ａａ"と、宛先端末（伝送端末１０ａｃ）の通信ＩＤである"０１ａｃ"とをセッション管理ＤＢ５００５に関連付けて記憶して管理する（ステップＳ４４）。また、会議ＩＤを付与する。

さらに、伝送管理システム５０のセッション管理部５５は、要求元端末と宛先端末とが通信するのに適切な中継装置３０を決定する（ステップＳ４５）。中継装置３０を決定するための方法は、例えば受信と送信の帯域が最も広いネットワーク上にある中継装置３０を選択する等の方法が考えられる。

なお、中継装置３０を選択せずに、要求元端末及び宛先端末間で直接セッションを確立してもよいし、伝送管理システム５０を介したセッションを確立してもよい。

そして、伝送管理システム５０の送受信部５１は、ステップＳ４３で生成した「セッションＩＤ」と、ステップＳ４５で決定した中継装置３０の「ＩＰアドレス」とを要求元端末（伝送端末１０ａａ）及び宛先端末（伝送端末１０ａｃ）に送信する（ステップＳ４６，４７）。

伝送端末１０ａｃの表示制御部１９は要求元端末（伝送端末１０ａａ）の通信ＩＤをディスプレイ１２０（携帯端末２０の場合は表示装置２０３）に表示するなどして、操作入力受付部１６がユーザによるテレビ会議の許可を受け付ける。そして、伝送端末１０ａｃの送受信部１１は開始許可を伝送管理システム５０に送信する（ステップＳ４７−１）。

次に、伝送管理システム５０の状態管理部５３は、中継開始要求情報として、要求元端末（伝送端末１０ａａ）の「ＩＰアドレス」と通信ＩＤ、宛先端末（伝送端末１０ａｃ）の「ＩＰアドレス」と通信ＩＤ、及び、会議ＩＤを中継装置３０に送信する（ステップＳ４８）。中継装置３０は中継管理テーブルにおいて会議ＩＤに通信ＩＤを対応づけて管理する。また、中継装置３０は通信ＩＤに重複しないデータＩＤを付与する。データＩＤは各伝送端末１０に通知されてもよいし、されなくてもよい。通知される場合、伝送端末１０はコンテンツデータにデータＩＤを付与して中継装置３０に送信する。通知されない場合、中継装置３０がＩＰアドレス等に基づき伝送端末１０を識別しコンテンツデータにデータＩＤを付与して伝送端末１０に送信する。

中継装置３０は伝送管理システム５０から通信ＩＤを受信すると、伝送端末１０ａａと１０ａｃが送信する通信ＩＤを元にこれらがコンテンツデータの送信先であることを検出する。これにより、要求元端末（伝送端末１０ａａ）と宛先端末（伝送端末１０ａｃ）との間でセッションが確立される（ステップＳ４９）。セッションが確立することで、伝送端末１０ａａは中継装置３０を介してコンテンツデータを伝送端末１０ａｃに送信し、伝送端末１０ａｃは中継装置３０を介してコンテンツデータを伝送端末１０ａａに送信する。

次に、伝送端末１０ａａのユーザが招待通知を伝送管理システム５０に送信する（ステップＳ５０）。招待通知とは、すでにセッションが確立されているテレビ会議に別の伝送端末１０を参加させるための通知である。招待通知には招待通知を送信した伝送端末１０ａａの通信ＩＤである"０１ａａ"、招待される伝送端末１０ａｂ、１０ａｄの通信ＩＤである"０１ａｂ" "０１ａｄ"が含まれる。また、伝送管理システム５０は招待通知を送信した伝送端末１０ａａの「ＩＰアドレス」を取得する。

伝送管理システム５０の送受信部５１が招待通知を受信すると、伝送管理システム５０の端末状態取得部５４は端末管理テーブルから招待される伝送端末１０ａｂ、１０ａｄの「ＩＰアドレス」を取得する。これにより、伝送管理システム５０の送受信部５１は伝送端末１０ａｂ、１０ａｄに招待通知を送信する（ステップＳ５１）。

伝送端末１０ａｂ、１０ａｄの表示制御部１９は要求元端末（伝送端末１０ａａ）の通信ＩＤをディスプレイ１２０（携帯端末２０の場合は表示装置２０３）に表示するなどして、操作入力受付部１６がユーザによるテレビ会議への招待に対する応答を受け付ける。ここではユーザは招待を受諾したものとする。そして、伝送端末１０ａｂ、１０ａｄの送受信部１１は招待受諾を伝送管理システム５０に送信する（ステップＳ５２）。

伝送管理システム５０のセッション管理部５５は伝送端末１０ａｂ、１０ａｄに伝送端末１０ａａ、１０ａｃと同じ会議ＩＤを付与する。

伝送管理システム５０の送受信部５１は招待通知を送信した伝送端末１０ａａに招待受諾を送信する（ステップＳ５３）。

この後、伝送管理システム５０の送受信部５１は招待された伝送端末１０ａｂ、１０ａｄに関し、ステップＳ４７、Ｓ４８の処理を行うことで、伝送端末１０ａａと１０ａｃのセッションに伝送端末１０ａｂ、１０ａｄが参加することができる。すなわち、中継装置３０は同じ会議ＩＤの伝送端末１０ａａ、１０ａｃ、１０ａｂ、１０ａｄの間でコンテンツデータを送信（転送）する。

以降は、要求元端末（伝送端末１０ａａ）、宛先端末（伝送端末１０ａｃ）、及び、招待された伝送端末１０ａｂ、１０ａｄとの間で、中継装置３０を介してコンテンツデータが送受信される。

＜周囲３６０度の画像データの平面の画像データへの変換＞
全天球カメラ１１２ａにより撮像される画像は、例えば、図１１（ａ）に示すような形式で表現される。図１１（ａ）は全天球の画像データを模式的に示す図の一例である。全天球の画像データは、水平方向に３６０度、垂直方向に１８０度の画角を有するため、周囲の全方位が撮像されている。

図１１（ａ）に示した全天球の画像データの座標系(θ, φ)と、平面画像の座標系(x, y)には、式（１）の関係がある。

これらの関係を用いて、全天球の画像データを図１１（ｂ）の平面の画像データに変換できる。なお、式（１）は、地面と垂直な方向に全天球の画像データの天頂方向が一致することを仮定している。

また、平面画像の半画角（被写体の端がレンズの光軸となす角）は、参加者の撮像範囲に合わせて設定される。平面画像の半画角は９０度が最大となる（９０度で発散してしまう）ため、半画角は最大で７５度程度にしておくことが望ましい。従って、参加者の撮像範囲は水平方向から上下（緯度方向に）７５度の範囲として決定してよい。あるいは、全天球の画像データのまま顔認識を行い、全ての参加者の緯度方向の顔の位置の最大値と最小値を求め、少なくとも最大値と最小値が含まれるように半画角を決定してもよい。

以下では、説明の便宜上、ｘとθ、ｙとφを区別せず、水平方向をθ、垂直方向をφとして説明する。

＜画像データからの参加者の検出＞
図１２は、全天球の画像データから変換された平面の画像データ又は全天球の画像データの一部を模式的に示す図である。参加者検出部６１はこのような画像データに対し顔認識処理を施す。なお、顔認識は平面画像に行われても全天球の画像データのまま行われてもよい。

参加者検出部６１は、予め大量の学習データを用いてBoostingにより識別器の学習を行っておく。Boostingでは、認識率は決して高くない複数の弱識別器ｈ_T（Tは弱識別器の数）の重みα_Tを決定することで学習データを正しく識別するように識別器を学習させていく。

式（２）において、ｈt(x)は識別用の特徴量を、α_Tは識別用の特徴量の重みづけを、Ｔは識別用の特徴量の数をそれぞれ意味する。式（２）の算出結果Ｈ（ｘ）が閾値を超えた場合、顔が含まれると判定される。参加者検出部６１は画像データを矩形領域に区切って、各矩形領域で式（２）の算出を行うが、重みα_Tが大きい上位の数十個の弱識別器のみを用いて式（２）を算出することで高速に顔認識を行う。

なお、弱識別器としてはHaar-like型弱識別器や参照ベクトル型弱識別器が知られているがこれらには限られない。

図１２では、このようにして認識された参加者の顔が矩形枠３１で示されている。矩形枠３１の位置は緯度φと経度θにて特定される。例えば、参加者Ａの顔は（θ_A１,φ_A1）（θ_A2,φ_A2）を対角の頂点とする矩形枠３１に含まれている。同様に、参加者Ｂ〜Ｆの矩形枠３１は、（θ_B１,φ_B1）（θ_B2,φ_B2）、（θ_C１,φ_C1）（θ_C2,φ_C2）、（θ_D１,φ_D1）（θ_D2,φ_D2）、（θ_E１,φ_E1）（θ_E2,φ_E2）、（θ_F１,φ_F1）（θ_F2,φ_F2）となる。これらが参加者位置の一例となる。

画像データは周期的に更新される（カメラ１１２は所定のフレームレートで撮像を繰り返す）ため、参加者検出部６１は、過去に認識した参加者の位置を利用して、画像データから顔認識できる。すなわち、参加者Ａであれば、（θ_A１、φ_A1）（θ_A2、φ_A2）の矩形枠３１の周囲だけ顔認識を行えばよく、常に参加者位置を監視できる。

単一表示モードにおいて、切取領域決定部６３は、参加者検出部６１が検出した参加者位置にマージンを考慮して切取領域を決定する。例えば、矩形枠３１の辺の長さを１０〜２０％大きくするなどして切取領域を決定する。複数表示モードの切取領域については図３６にて説明する。

＜話者方向の特定＞
話者方向推定部１４は、音声入力部１３が入力した音声データから音源方向を検出する。本実施形態では、話者方向推定部１４が、マイクロフォンアレイに入力される音声の到達時間差により音源方向を検出する方法について説明する。

図１３は、話者方向推定部１４による音源方向の検出原理を説明する図の一例である。マイク１とマイク２が水平方向に間隔Ｌだけ離れて配置されている。音声がδ方向から到達する場合、マイク１が検出する音声データは時間ｔだけ遅れてマイク２により検出される。この時間tは以下のように表すことができる。なお、ｖは音速である。
時間ｔ＝（Ｌ・ｃｏｓδ）／ｖ …（３）
従って、Ｌ、ｖを一定として、時間ｔが分かればδを求めることができる。時間ｔは、たとえばマイク１の音声データｓ１（ｔ）とマイク２の音声データｓ２（ｔ＋ｄｔ）との相互相関値により計算する。相互相関値Ｃ（ｔ，ｄｔ）は、式（４）により算出される。

式（４）は時刻ｔ以前のＮ個のサンプルを用いて積和演算をおこなうことを示している。なお、Ｎは相関窓の大きさを示す正の整数である。詳細な説明は省略するが、Ｃ（ｔ，ｄｔ）を最大化するｄｔが上記の遅れた時間ｔである。

なお、図１３では、マイク１１４が２つしかないため、０〜１８０度の範囲のθしか検出できない。そこで、別にもう１組のマイク３，４をマイク１，２の配置方向と直行するように配置する。これにより、水平方向の３６０度の範囲で音源方向を特定できる。

カメラ１１２とマイク１１４が一体型であり、一方の配置を決定すると自動的に他方の配置も決定される場合、ユーザは特に意識せずにカメラ１１２とマイク１１４を机の上などに配置すればよい。これに対し、カメラ１１２とマイク１１４が別体の場合（別々に配置可能な場合）、ユーザはカメラ１１２とマイク１１４の向きを揃えて机の上などに配置する。これにより、話者の水平方向の基準と画像データの経度方向の基準とを一致させることができる。

なお、話者の特定にマイク１１４を使用しなくてもよい。例えば、話者方向推定部１４は画像データを解析して、口を開閉したり動かしている参加者を話者に特定できる。

＜参加者位置と話者方向の紐付け＞
発言時間測定部６２は、以上のようにして得られた参加者位置と話者方向を以下のように紐づける。まず、参加者位置として経度方向の矩形枠３１の中心を用いる。これは、話者方向が経度方向にのみ分布しているためであるが、話者が緯度方向にも分布している場合には、経度方向及び緯度方向の矩形枠３１の中心を用いればよい。

図１４は、話者方向の一例を示す図である。経度方向に参加者Ａ〜Ｆが存在するが、例えば、経度θa度という話者方向が話者方向推定部１４により得られたものとする。この場合、発言時間測定部６２は、経度θa度と最も近い参加者位置の参加者と紐づける。各参加者の参加者位置は（θ_X1＋θ_X2）／２なので（X：A〜F）、これらと経度θa度の差の絶対値が最も小さくなる参加者位置を特定する。経度θｂ度〜経度θf度という話者方向が検出された場合も同様に参加者位置と紐づけることができる。

以上のようにして、話者と参加者を特定することができる。発言時間測定部６２は、話者方向と参加者位置により特定した参加者ごとに発言時間を測定する。

＜表示モード及びオプション＞
続いて、伝送端末１０ａａのユーザが選択する表示モードとオプションについて説明する。伝送端末１０は３つの表示モードとそれぞれの表示モードでユーザが設定可能なオプションを有する。
表示モード…単一表示モード、複数表示モード、３６０度表示モード
単一表示モードは、画面切替部６４が１名の話者のみをトリミングするモードである。

複数表示モードは、予め決められた人数の話者が含まれる範囲を画面切替部６４が画像データからトリミングするモードである。一度に表示される人数が多い分、単一表示モードに比べて画面が切り替わる頻度が少なく、伝送端末１０ａｂのディスプレイ１２０ａｂを見ているユーザにとって好ましい画面遷移が得られやすい。一方、参加者の顔のサイズが小さくなるというデメリットがある。

３６０度表示モードは、全方位分の画像データを常に表示させておくモードである。全天球の画像データには３６０度の範囲が撮像されているので、全天球の画像データのまま表示される。なお、伝送端末１０ａａが横長のパノラマ画像に変換してもよい。常に、全体が表示されているので画面遷移がなくなり、ユーザは常に一つの画面を見ていれば会議の参加者全員を一望できる。一方、全天球の画像は円形になるため、ユーザによっては慣れない画像となる場合がある。また、パノラマ画像に変換した場合、歪み補正の影響で本来直線の部分が歪んで見える場合があるため、ユーザのストレスにつながるおそれがある。

図１５（ａ）は、伝送端末１０ａａのディスプレイ１２０ａａに表示される表示モード選択画面５０１の一例を示す図である。表示モード選択画面５０１では上記の３つの表示モードと共にラジオボタン５０２が表示される。伝送端末１０ａａのユーザはラジオボタン５０２から表示モードを選択してＯＫボタン５０３を押下する。伝送端末１０ａａの操作入力受付部１６はユーザの選択を受け付け、トリミング部１８が選択された表示モードに応じた画面に遷移させる。なお、キャンセルボタン５０４が押下された場合、操作入力受付部１６は表示モードの設定を受け付けない。この場合、最後に設定されている表示モードが有効になる。

図１５（ｂ）は、単一表示モードオプション選択画面５１０の一例を示す図である。単一表示モードオプション選択画面５１０は切替時間設定欄５１１を有している。切替時間設定欄５１１は、話者がどのくらい継続して発言した場合にトリミング画像９を切り替えるかをユーザが設定する欄である。図では２０秒となっている。ユーザは予め定められた下限や上限の範囲で所望の切替時間を設定できる。

また、単一表示モードオプション選択画面５１０は、「９０度画面切替オプション」、「二画面オプション」、及び、「速度変化オプション」とそれぞれのラジオボタン５１２を有する。ユーザは所望のオプションを選択して、ＯＫボタン５０３を押下する。伝送端末１０ａａの操作入力受付部１６はユーザによるオプションの設定を受け付ける。なお、キャンセルボタン５０４が押下された場合、操作入力受付部１６はオプションの設定を受け付けない。なお、オプションを設定するかどうかはユーザの任意である。

「９０度画面切替オプション」、「二画面オプション」、及び、「速度変化オプション」の内容は後に説明される。

図１６（ａ）は、複数表示モードオプション選択画面５２０の一例を示す図である。複数表示モードオプション選択画面５２０は集計時間設定欄５２１を有している。集計時間設定欄５２１は、複数の話者が含まれるトリミング画像９がどのくらいの頻度で切り替えられるかをユーザが設定する欄である。図では３分となっている。ユーザは予め定められた下限や上限の範囲で所望の集計時間を設定できる。

また、複数表示モードオプション選択画面５２０は話者人数設定欄５２２を有している。話者人数設定欄５２２は、何人の話者をトリミング画像９に含めるかをユーザが設定する欄である。図では２人となっている。ユーザは予め定められた下限や上限の範囲で所望の話者人数を設定できる。

また、複数表示モードオプション選択画面５２０は、「司会者オプション」「９０度画面切替オプション」、「二画面オプション」、及び、「速度変化オプション」とそれぞれのラジオボタン５２３を有する。ユーザは所望のオプションを選択して、ＯＫボタン５０３を押下する。伝送端末１０ａａの操作入力受付部１６はユーザによるオプションの設定を受け付ける。なお、キャンセルボタン５０４が押下された場合、操作入力受付部１６はオプションの設定を受け付けない。なお、オプションを設定するかどうかはユーザの任意である。

なお、「９０度画面切替オプション」、「二画面オプション」、及び、「速度変化オプション」は単一表示モードオプション選択画面５１０と同じものである。「司会者オプション」の内容は後に説明される。

また、「司会者オプション」のラジオボタン５２３が選択された場合、表示制御部１９は図１６（ｂ）の司会者オプション画面５３０をポップアップ表示する。司会者オプション画面５３０は、「司会者設定」及び「発言時間利用」とそれぞれのラジオボタン５３１を有する。「司会者設定」はユーザが司会者を選択するための設定であり、「発言時間利用」は発言時間の最も長い参加者が司会者として選択される設定である。

また、「司会者設定」が選択されると、表示制御部１９は図１６（ｃ）の画像データを表示する。この画像データはカメラ１１２がリアルタイムに撮像した全天球の画像データでもよいし、平面画像に変換されたものでもよい。ユーザは参加者をマウスや指で押下する。操作入力受付部１６は画像データのうち押下された位置（座標など）をトリミング部１８に通知する。トリミング部１８は顔認識により参加者位置を特定しているので、押下された位置に最も近い参加者を司会者に決定する。

図１７は、３６０度表示モードオプション選択画面５４０の一例を示す図である。３６０度表示モードオプション選択画面５４０は、「司会者固定」「参加者固定」「話者強調」とそれぞれのラジオボタン５４１を有する。ユーザは所望のオプションを選択して、ＯＫボタン５０３を押下する。伝送端末１０ａａの操作入力受付部１６はユーザによるオプションの設定を受け付ける。なお、キャンセルボタン５０４が押下された場合、操作入力受付部１６はオプションの設定を受け付けない。なお、オプションを設定するかどうかはユーザの任意である。

また、３６０度表示モードオプション選択画面５４０は「話者強調」が選択された場合にのみ有効な切替時間設定欄５４２を有している。切替時間設定欄５４２には話者を切り替える時間が設定される。

なお、「司会者固定」「参加者固定」及び「話者強調」の内容については後に説明される。

＜伝送端末の動作手順＞
図１８は、伝送端末１０の全体的な動作の流れを説明するフローチャート図の一例である。

伝送端末１０の操作入力受付部１６は表示モード選択画面にて単一表示モード、複数表示モード、又は、３６０度表示モードのいずれかの選択を受け付ける（Ｓ１０）。

そして、単一表示モードが選択された場合、伝送端末１０のトリミング部１８は単一表示モードで動作する（Ｓ２０）。

複数表示モードが選択された場合、伝送端末１０のトリミング部１８は複数表示モードで動作する（Ｓ３０）。

３６０度表示モードが選択された場合、伝送端末１０のトリミング部１８は３６０度表示モードで動作する（Ｓ４０）。

<<単一表示モード>>
図１９は、単一表示モードにおける伝送端末１０の処理手順を示すフローチャート図の一例である。図１９の処理手順は単一表示モードが選択されテレビ会議が開始されるとスタートする。

テレビ会議が開始されると、伝送端末１０の話者方向推定部１４は発言開始待ちの状態になる（Ｓ１０）。

話者方向推定部１４は、音声入力部１３などを監視して発言が開始されたか否かを判定する（Ｓ２０）。なお、発言されるまでの間、参加者検出部６１は発言を待つ。

発言が開始された場合（Ｓ２０のＹｅｓ）、発言時間測定部６２は話者の発言時間を測定する単一話者時間タイマーをスタートする（Ｓ３０）。単一話者時間タイマーは、話者の継続発言時間を測定するためのタイマーである。

伝送端末１０の発言時間測定部６２は、単一話者時間タイマーを監視し（Ｓ４０）、切替時間を超えたか否かを判定する（Ｓ５０）。図１９では切替時間は２０秒となっているが、頻繁に画面が変わることを抑制できる程度の時間でよい。

ステップＳ５０の判定がＮｏの場合、発言時間測定部６２は発言が終了したか否かを判定する（Ｓ６０）。

発言が終了していない場合（Ｓ６０のＮｏ）、処理はステップＳ４０に戻り、引き続き単一話者時間タイマーが監視される。

発言が終了した場合（Ｓ６０のＹｅｓ）、処理はステップＳ１０に戻り、伝送端末１０は発言開始待ちの状態に戻る。従って、単一話者時間タイマーが切替時間に到達する前に発言が終了した場合、トリミング部１８はトリミング画像９を切り替えない。

なお、発言が終了したかどうかは、話者の発言が継続して例えば１０秒以上、検出されないかどうかにより判定される。つまり、予め設定した時間以上に発言が無いことを条件としてよい。

ステップＳ５０の判定がＹｅｓの場合、発言時間測定部６２は単一話者時間タイマーをクリアする（Ｓ７０）。

そして、トリミング部１８は話者を含む範囲を画像データからトリミングする（Ｓ８０）。すなわち、切取領域決定部６３が切取領域を決定し、画面切替部６４が切取領域を切り取ることでトリミング画像９を作成する。

発言時間測定部６２は発言が終了したか否かを判定し（Ｓ９０）、発言が終了するまで継続して発言する話者が含まれるトリミング画像９が作成される。

発言が終了した場合（Ｓ９０のＹｅｓ）、処理はステップＳ１０に戻り、伝送端末１０は発言開始待ちの状態に戻る。従って、発言終了後に切替時間以上に継続して発言する参加者が現れると、トリミング画像９が変更される。以上のような処理により図２に示したような画面遷移が得られる。

（単一表示モードの画面遷移例）
図２０は、単一表示モードの画面遷移例を表すタイムチャート図の一例である。図２０では、３名（Ａ，Ｂ，Ｃ）の参加者が参加している。横軸は時間であり、縦軸は上部から順番に、トリミング画像９に含まれる参加者（伝送端末１０ａｂのディスプレイ１２０ａｂに表示される参加者）、参加者Ｃの発言状況、参加者Ｂの発言状況、参加者Ａの発言状況、である。

時刻t1：まず、参加者Ａが発言を開始する。この時点でトリミング画像９にどの参加者が写っているかはだれでもよい。

時刻t2：参加者Ａが発言を開始してから２０秒が経過した。このため、画面切替部６４は参加者Ａが含まれる範囲をトリミングする。従って、伝送端末１０ａｂのディスプレイ１２０ａｂには参加者Ａが表示される。

時刻t3：参加者Ａが発言を終了し、参加者Ｂが発言を開始する。この時点では参加者Ｂが発言を開始してから２０秒経過していないので、トリミング画像９に変更はない。

時刻t4：参加者Ｂが発言を開始してから２０秒が経過した。このため、画面切替部６４は参加者Ｂが含まれる範囲をトリミングする。従って、伝送端末１０ａｂのディスプレイ１２０ａｂには参加者Ｂが表示される。

時刻t5：参加者Ａが発言を開始する。

時刻t6：参加者Ａが２０秒経過する前に発言を終了する。従って、トリミング画像９には参加者Ｂが含まれたままである。

時刻t7：参加者Ｃが発言を開始するが、発言時間は２０秒に達していないためトリミング画像９には参加者Ｂが含まれたままである。

時刻t8：参加者Ｂが発言を再開する。

時刻t9：参加者Ｂが発言を再開し２０秒以上が経過するが、トリミング画像９には参加者Ｂが含まれたままである。

時刻t10：参加者Ｂが発言を終了し、参加者Ａが発言を開始する。

時刻t11：参加者Ａが発言を開始してから２０秒が経過したので、画面切替部６４は参加者Ａが含まれる範囲をトリミングする。従って、伝送端末１０ａｂのディスプレイ１２０ａｂには参加者Ａが表示される。

以上のように、トリミング画像９が切り替わるには、最低でも２０秒が必要なので、全天球の画像に複数の参加者が撮像されており、次々に発言しても伝送端末１０ａｂのディスプレイ１２０ａｂに表示される画面が頻繁に変わることを抑制できる。

<<複数表示モード>>
図２１は、複数表示モードにおける伝送端末１０の処理手順を示すフローチャート図の一例である。図２１の処理手順は複数表示モードが選択されテレビ会議が始まるとスタートする。

テレビ会議が開始されると、発言時間測定部６２は複数話者時間タイマーをスタートさせる（Ｓ１０）。複数話者時間タイマーとは、上記の集計時間を測定するためのタイマーである。発言時間測定部６２は複数話者時間タイマーをスタートさせると、各参加者の累積の発言時間の測定を開始する。

次に、トリミング部１８は、事前に司会者が設定されているか否かを判定する（Ｓ２０）。すなわち複数表示モードオプション選択画面５２０で司会者オプションが選択されたか否かを判定する。

ステップＳ２０の判定がＹｅｓの場合、トリミング部１８は参加者のうちユーザが選択した参加者を司会者として決定する（Ｓ３０）。

次に、発言時間測定部６２は複数話者時間タイマーが集計時間のカウントを終えるまで待機する（Ｓ４０）。これは、２番目以降の話者を特定するためである。

ステップＳ２０の判定がＮｏの場合、発言時間測定部６２は複数話者時間タイマーが集計時間のカウントを終えるまで待機する（Ｓ５０）。

複数話者時間タイマーが集計時間のカウントを終えると（Ｓ５０のＹｅｓ）、発言時間測定部６２は集計時間内に発言時間が一番長い参加者を司会者として決定する（Ｓ６０）。

次に、発言時間測定部６２は二番目以降に発言時間が長い参加者を決定する（Ｓ７０）。何人まで参加者を決定するかは、複数表示モードオプション選択画面５２０の話者人数設定欄５２２により決定される。

次に、切取領域決定部６３は発言時間が長い複数の話者を含む切取領域を決定し、画面切替部６４は画像データから決定された切取領域を切り取ることでトリミング画像９を作成する（Ｓ８０）。

発言時間測定部６２は複数話者時間タイマーをクリアする（Ｓ９０）。

そして、発言時間測定部６２は複数話者時間タイマーが集計時間のカウントを終えるまで待機する（Ｓ１００）。この後、処理はステップＳ７０に進み、集計時間がカウントされるごとに切取領域を決定する。

以上のような処理によれば、伝送端末１０ａａは集計時間の間で発言量の多い順に話者を特定し、上位の複数名をトリミング画像９に含めることができる。トリミング画像９は集計時間の間はそのまま維持され、集計時間が経過するごとに、発言時間がゼロから測定し直される。従って、トリミング画像９が切り替わるには集計時間が必要なので、伝送端末１０ａｂのディスプレイ１２０ａｂに表示される画面が頻繁に変わることを抑制できる。

（発言時間の測定）
図２２は、発言時間測定部６２が発言時間を測定する手順を示すフローチャート図の一例であり、図２３は参加端末の累積の発言時間を模式的に示す図の一例である。

図２２の処理は図２１において複数話者時間タイマーの測定がスタートするとスタートする。

発言時間測定部６２が複数話者時間タイマーをスタートさせると（Ｓ１０のＹｅｓ）、発言時間測定部６２は参加者ごとに発言時間の累積を開始する（Ｓ２０）。

次に、発言時間測定部６２は複数話者時間タイマーがタイムアウトしたか否かを判定する（Ｓ３０）。

複数話者時間タイマーがタイムアウトされると、発言時間測定部６２は参加者の全員の発言時間をクリアする（Ｓ４０）。

この後、処理はステップＳ２０に戻り、発言時間測定部６２は参加者ごとに発言時間の累積を開始する。

このような処理により、図２３に示すように参加者の発言時間が得られる。図２３は、複数話者時間タイマーが５分を測定するごとにクリアされる場合の累積された発言時間を示している。図２３（ａ）は０〜５分の累積の発言時間であり、図２３（ｂ）は５〜１０分の累積の発言時間である。

図２３（ａ）に示すように、テレビ会議の開始当初である５分間では、累積の発言時間が上位２名となるのは参加者Ａ，Ｂである。従って、切取領域決定部６３は参加者Ａ，Ｂが含まれる範囲を切取領域に決定する。

図２３（ｂ）に示すように、次の５分間では、累積の発言時間が上位２名となるのは参加者Ａ，Ｄである。従って、切取領域決定部６３は参加者Ａ，Ｄが含まれる範囲を切取領域に決定する。参加者ＡとＤが隣り合っていない場合、トリミング画像９には参加者ＡとＤの間の参加者も含まれる。以上のような処理により図３に示したような画面遷移が得られる。

＜単一表示モード、複数表示モードにおけるトリミング画像＞
<<トリミング画像の切り替え時の制御>>
本実施形態では全天球の画像データが得られているので、撮像される参加者を選択するためにカメラ１１２が向きを変えるような制御は不要である。しかし、トリミング画像９が瞬間的に切り替わるとユーザが参加者の配置を把握しにくくなるおそれがある。そこで、本実施形態ではカメラ１１２が徐々に向きを変えているかのようにトリミング画像９の切り替えを行う。

図２４は、トリミング画像９の切り替えを説明する図の一例である。トリミング画像９の切替制御は単一表示モードと複数表示モードに共通に行われるため、図２４（ａ）は単一表示モードを例にして説明する。まず、トリミング画像９に参加者Ａが含まれている。発言時間に基づき次に参加者Ｄがトリミング画像９に含まれる場合、画面切替部６４は、参加者Ａから参加者Ｄまで徐々にトリミング画像９を移動させる。

図２４（ｂ）はトリミング画像９の切替途中の中間画像８を示す。図２４（ｂ）に示すようにトリミング画像９ａがトリミング画像９ｄに至る過程の中間画像８がトリミングされる。このような処理をトリミング画像９のスライド処理と称する。中間画像８は以下のようにして決定される。
(i)トリミング画像９ａとトリミング画像９ｄ（すなわち、切取領域決定部６３が決定した切取領域）の４つの頂点をそれぞれ取得する。切り替え前のトリミング画像９ａの頂点をＫ１、Ｋ２，Ｋ３，Ｋ４，切り替え後のトリミング画像９ｄの頂点をＭ１、Ｍ２，Ｍ３，Ｍ４とする。
(ii)スライド処理の過程で使用する中間画像の数をｎとして、Ｋ１とＭ１、Ｋ２とＭ２、Ｋ３とＭ３、Ｋ４とＭ４を結ぶ直線をｎ等分する点を求める。ｎはスライド量に応じて決定される変数である。
(iii)ｎ等分する点を結ぶ四角形をスライド処理の過程で使用する中間画像８に決定する。

従って、伝送端末１０ａｂのディスプレイ１２０ａｂには、カメラ１１２が徐々に向きを変えたかのようにトリミング画像９が表示される。参加者Ｄから参加者Ａにトリミング画像９が切り替わる際も同様にスライド処理される。

なお、スライドする方向は、経度θが大きくなる方向と小さくなる方向のうちスライド量が少ない方向でよい。従って、最大でもスライド量は１８０度である。複数表示モードの場合も同様にスライド処理されるが、図３５において補足される。

続いて、ズームアウト処理について説明する。スライド処理が、元サイズのまま、元のトリミング画像９からトリミング画像９に切り替わるのに対し、ズームアウト処理ではトリミング画像９のサイズが大きくなる。しかしながら、処理の内容は同じである。

図２５は、ズームアウト処理によるトリミング画像９の切り替えを説明する図の一例である。図２５（ａ）は複数表示モードの場合を示し、トリミング画像９ａｂに参加者Ａ、Ｂが含まれている。発言時間に基づき次に参加者Ａ，Ｄがトリミング画像９ａｄに含まれる場合、画面切替部６４は、現在のトリミング画像９ａｂから参加者Ａと参加者Ｄが含まれるトリミング画像９ａｄまで徐々にトリミング画像９ａｂを大きくする。

画面切替部６４は、例えば以下のようにしてズームアウト処理を行う。
(i)切り替え前のトリミング画像９と切り替え後のトリミング画像９の４つの頂点をそれぞれ取得する。切り替え前のトリミング画像９の頂点をＫ１、Ｋ２，Ｋ３，Ｋ４，切り替え後のトリミング画像９の頂点をＭ１、Ｍ２，Ｍ３，Ｍ４とする。
(ii)ズームアウト処理の過程で使用する画像の数をｎとして、Ｋ１とＭ１、Ｋ２とＭ２、Ｋ３とＭ３、Ｋ４とＭ４を結ぶ直線をｎ等分する点を求める。
(iii) 直線をｎ等分する点を結ぶ四角形をズームアウト処理の過程で使用する中間画像８決定する。

図２５（ｂ）はトリミング画像９の切替途中のトリミング画像９を示す。図２５（ｂ）ではトリミング画像９ａｂがトリミング画像９ａｄに至る過程の領域が中間画像８としてトリミングされる。このような処理をトリミング画像９のズームアウトと称する。従って、伝送端末１０ａｂのディスプレイ１２０ａｂには、カメラ１１２が徐々にズームアウトしたかのようにトリミング画像９が表示される。

なお、アスペクト比を維持するため、元の画像データにない範囲がトリミングされる場合がある。この場合、元の画像データにない範囲に黒画素、白画素、模様、幾何学パターン等が配置される。

逆に、トリミング画像９ａｄからトリミング画像９ａｂに切り替わる場合、ズームイン処理が行われる。すなわち、トリミング画像９ａｄがトリミング画像９ａｂに至る過程の領域がトリミングされる。

なお、例えば、参加者ＡとＦがトリミングされる場合、切取領域決定部６３は参加者Ａ〜Ｆの全てを切取領域に決定する必要はない。これは、画像データは０〜３６０度の範囲を含むため、参加者Ｆと参加者Ａは実際には隣り合っているためである。従って、切取領域決定部６３は参加者ＦとＡを含むように切取領域に決定すればよい。すなわち、切取領域決定部６３は、複数の参加者を含むように切取領域を決定する場合、切取領域の経度方向の画角が少なくなるように切取領域を決定する。

<<９０度画面切替オプション>>
図２４でスライド処理について説明したが、スライド処理においてスライド量があまりに多いと却ってユーザにとって好ましくない画面遷移となる可能性がある。このような場合にスライド量を制限するのが９０度画面切替オプションである。

図２６は９０度画面切替オプションが選択された場合のトリミング画像９を説明する図の一例である。図２６（ａ）ではトリミング画像９ａに参加者Ａが含まれている。発言時間に基づき次に参加者Ｅがトリミング画像９ｅに含まれる場合、画面切替部６４は、トリミング画像９ａの経度方向の移動量６０１を算出する。画面切替部６４は、移動量６０１が±９０度を超える場合、トリミング画像９のスライド処理を行うことなく、参加者Ｅが含まれる領域を切取領域に決定する。

従って、図２６（ｂ）に示すように、トリミング画像９ａの後、トリミング画像９ｅがトリミングされる。スライド量が多い場合にはスライド処理を行わないことで、ユーザにとって好ましい画面遷移にすることができる。

なお、図２６は単一表示モードの例であるが、複数表示モードの場合も同様に判定される。また、ズームアウト処理／ズームイン処理についてもトリミング画像９の大きさの変化量が９０度を超える場合、ズームアウト処理／ズームイン処理が行われない。あるいは、ユーザの設定などでズームアウト処理／ズームイン処理が行われてもよい。

±９０度としたのは一例であって、例えば９０〜１８０度の範囲でスライド量が閾値より大きい場合、スライド処理を行わないとしてもよい（移動量６０１の最大が１８０度）。この閾値をユーザが設定可能であってもよい。

<<二画面オプション>>
二画面オプションは、画面切替部６４が３６０度の画像を１８０度ずつ二つに分けてそれぞれからトリミング画像９を作成し、２つの画像データを会議に参加している伝送端末１０に送信するオプションである。

図２７は二画面オプションを説明する図の一例である。切取領域決定部６３は０〜１７９度の領域Ｉと１８０〜３６０度の領域IIのそれぞれで最も発言時間が長い参加者を含むように切取領域を決定する。

従って、伝送端末１０ａｂには２つのトリミング画像９が送信される。伝送端末１０ａｂのユーザはいずれか一方のみを選択して表示させたり、一度に２つのトリミング画像９を表示させることができる。参加者が表示される機会が２倍になるので、トリミング画像９が切り替わる頻度が低減される。また、臨場感のあるテレビ会議が可能になる。

なお、図２７は単一表示モードの例であるが、複数表示モードの場合も同様に処理される。また、領域ＩとIIの境界に参加者が存在する場合、領域Ｉを前方に短縮するか又は後方に延長する。短縮するか延長するかは、参加者の人数が均等に近づくように判定される。

<<速度変化オプション>>
速度変化オプションは、スライド処理におけるトリミング画像９のスライド速度が制御されるオプションである。

図２８（ａ）は速度変化オプションを説明する図の一例である。速度変化オプションが選択された場合、画面切替部６４は、移動開始直後６１１と移動終了直前６１３（所定範囲）は遅い速度でスライドさせ、中間部分６１２（所定範囲外）は高速でスライドさせる。

具体的には、画面切替部６４は移動元のトリミング画像９ａ及び移動先のトリミング画像９ｅから所定内ではトリミング間隔Δ１ごとにトリミング画像９を取り込むと決定する。それ以外では、トリミング間隔Δ２ごとにトリミング画像９を取り込むと決定する。Δ１＜Δ２なので、移動開始直後６１１と移動終了直前６１３は遅い速度でトリミング画像９がスライドし、中間部分６１２はトリミング画像９が高速でスライドする。Δ１とΔ２は上記のｎ等分のｎにより決定されるため、移動開始直後６１１（移動終了直前６１３）と中間部分６１２でｎを変更すればよい。

あるいは、トリミング画像９の間隔が連続的に変化されてもよい。図２８（ｂ）はスライド量に対するトリミング間隔Δを示す。トリミング間隔Δは、スライド量の中点で折り返すように決定される。初期値Δsから徐々に大きくなり、中点を超えたと判定されると、初期値Δsに向けて徐々に小さくなる。移動元と移動先の中点で最大値Δmaxとなるが、最大値Δmaxはスライド量によって変わる。従って、移動開始直後と移動終了直前は遅い速度でトリミング画像９がスライドし、さらに、スライド量が多いほど中間部分を高速でスライドさせることができる。

なお、図２８は単一表示モードの例であるが、複数表示モードの場合も同様に処理される。また、スライド量が所定以下の場合には画面切替部６４は速度変化させなくてもよい。スライド量が少ないと速度変化がユーザに違和感を与えるおそれがあるためである。

<<司会者オプション>>
司会者オプションは、画面切替部６４が司会者を常にトリミング画像９に含めるオプションである。なお、司会者オプションは複数表示モードのみのオプションである。

図２９は、司会者オプションを説明する図の一例である。図２９では司会者が参加者Ｃであるとする。司会者は、ユーザが選択するか又は発言時間が最も長い参加者が決定される。また、図２９では話者人数として２人が選択されているものとする。従って、司会者とは別に、最も発言時間が長い参加者が話者として特定される。

図２９（ａ）では、参加者Ｄの発言時間が最も長いと判定され、司会者Ｃと参加者Ｄが含まれるトリミング画像９ｃｄが作成されている。

次の集計時間で参加者Ｅの発言時間が最も長いと判定されたものとする。図２９（ｂ）に示すように、切取領域決定部６３は司会者Ｃから参加者Ｅまでが含まれる切取領域を決定する。これによりトリミング画像９ｃｄｅが作成される。

次の集計時間で参加者Ａの発言時間が最も長いと判定されたものとする。図２９（ｃ）に示すように、画面切替部６４は司会者Ｃから参加者Ａまでが含まれる切取領域を決定する。これによりトリミング画像９ａｃが作成される。

従って、司会者オプションが設定されることで、常に司会者が表示される。司会者は重要発言をすることが多いと想定されるので、重要な発言を行う参加者を常に表示させることができる。

＜３６０度表示モード＞
図３０は３６０度表示モードにて表示された画像データを示す。３６０度表示モードでは全天球の画像を天頂部から見下した方向の全天球の画像データが表示される。このような画像により、全ての参加者を一度に表示させることができる。なお、次述するオプションが設定されない場合、経度ゼロの方向が例えば北方向になるように画像データが配置される。

<<司会者固定オプション>>
司会者固定オプションは司会者が常に北方向に配置されるオプションである。伝送端末１０の画面切替部６４は全天球の画像データから司会者を特定し、司会者を北方向に配置する。図３０を例にすると、参加者Ｂが司会者である。なお、司会者の向きは西、東、南でもよくこれら以外でもよい。

<<参加者固定オプション>>
参加者固定オプションは参加者が固定して配置されるオプションである。つまり、図３０のように表示されるとすると、参加者の表示位置が変わることはない。司会者固定オプションと異なるのは、発言者が強調して表示される点である。

図３１は参加者固定オプションを説明する図の一例である。図３１（ａ）では話者方向により参加者Ａが話者であることが検出されている。画面切替部６４は参加者Ａを強調する処理を画像データに行う。図３１（ａ）では参加者Ａが強調枠６０２で囲まれている。強調する方法は、参加者Ｂを含む画素の輝度を上げたりコントラストを上げるなどどのような方法でもよい。

次に、話者方向により参加者Ｃが話者であることが検出されたものとする。画面切替部６４は参加者Ｃを強調する処理を画像データに行う。図３１（ｂ）では参加者Ｃが強調枠６０２で囲まれている。

参加者固定オプションによれば、全ての参加者を一度に表示させた状態で、ユーザが話者を特定することができる。また、画面遷移が生じないのでユーザにとって好ましい画像となる。なお、画面切替部６４は、同時に複数の参加者を強調することができる。

<<話者強調オプション>>
話者強調オプションは話者が常に北方向に配置されるオプションである。伝送端末１０の画面切替部６４は話者方向により話者を特定し、話者を北方向に配置する（西、東、南でもよくこれら以外でもよい。）。そして、単一表示モードと同様に話者が切替時間、継続して発言すると北方向に配置される参加者が切り替えられる。

図３２は話者強調オプションを説明する図の一例である。図３２（ａ）では話者方向により参加者Ｃが話者であることが検出されている。画面切替部６４は参加者Ｃが北方向に配置されるように画像データを回転させる。図３２（ａ）では参加者Ｃが北方向に配置されている。

次に、参加者Ｆが切替時間、継続して発言したものとする。画面切替部６４は参加者Ｆが北方向に配置されるように画像データを回転させる。図３２（ｂ）では参加者Ｆが北方向に配置されている。

話者強調オプションによれば、話者を北方向に配置できるためユーザが話者を特定しやすい。また、切替時間が経過しないと参加者の配置が変わらないので、頻繁な画面遷移も抑制できる。

＜処理手順＞
続いて、トリミング部１８がトリミング画像９を決定する手順を説明する。まず、単一表示モードの場合を説明する。

<<単一表示モードの９０度画面切替オプション>>
図３３は、単一表示モードにおけるトリミング部１８の動作手順を示すフローチャート図の一例である。図３３の処理は切取領域を決定するタイミングになるとスタートする。

画面切替部６４は９０度画面切替オプションが有効か否かを判定する（Ｓ１０）。

９０度画面切替オプションが有効でない場合（Ｓ１０のＮｏ）、トリミング画像９の切り替え時に９０度を超えてスライドしてよいため、画面切替部６４はスライド処理を行って切り替え先の話者を含むトリミング画像９を作成する（Ｓ２０）。

９０度画面切替オプションが有効である場合（Ｓ１０のＹｅｓ）、トリミング画像９の切り替え時に９０度を超えてスライドできないため、画面切替部６４は切り替え先の話者が切り替え元の話者を中心に±９０度以内の位置に存在するか否かを判定する（Ｓ３０）。

ステップＳ３０の判定がＹｅｓの場合、画面切替部６４はスライド処理を行って切り替え先の話者を含むトリミング画像９を作成する（Ｓ５０）。

ステップＳ３０の判定がＮｏの場合、画面切替部６４はスライド処理を行うことなく切り替え先の話者を含むトリミング画像９を作成する（Ｓ４０）。

このような手順により、９０度画面切替オプションが有効である場合にトリミング画像９を作成できる。

<<単一表示モードの二画面オプション、９０度画面切替オプション、速度変化オプション>>
図３４は、単一表示モードにおけるトリミング部１８の動作手順を示すフローチャート図の一例である。図３４の処理は切取領域を決定するタイミングになるとスタートする。

画面切替部６４は二画面オプションが有効か否かを判定する（Ｓ１０）。

二画面オプションが有効である場合（Ｓ１０のＹｅｓ）、トリミング部１８は画像データを水平方向に半分に分割する（Ｓ２０）。従って、水平方向に１８０度の画角を有する２つの画像が作成される。

次に、画面切替部６４は、切り替え先の話者が切り替え元の話者の画面に存在するか否かを判定する（Ｓ３０）。ステップＳ３０の判定がＮｏの場合、処理はステップＳ９０に進む。

ステップＳ３０の判定がＹｅｓの場合、画面切替部６４は速度変化オプションが有効か否かを判定する（Ｓ４０）。

ステップＳ４０の判定がＮｏの場合、画面切替部６４は切り替え先の話者まで一定速度のスライド処理を行いトリミング画像９を作成する（Ｓ５０）。

ステップＳ４０の判定がＹｅｓの場合、画面切替部６４は切り替え先の話者まで速度変化させたスライド処理を行いトリミング画像９を作成する（Ｓ６０）。移動開始時：低速、移動中：高速、移動終了時：低速である。

ステップＳ１０に戻って説明する。二画面オプションが無効である場合（Ｓ１０のＮｏ）、画面切替部６４は９０度画面切替オプションが有効か否かを判定する（Ｓ７０）。

ステップＳ７０の判定がＮｏの場合、処理はステップＳ４０に進む。すなわち、速度変化オプションの有無が判定される。

ステップＳ７０の判定がＹｅｓの場合、トリミング画像９の切り替え時に９０度を超えてスライドできないため、画面切替部６４は切り替え先の話者が切り替え元の話者を中心に±９０度以内の位置に存在するか否かを判定する（Ｓ８０）。

ステップＳ８０の判定がＹｅｓの場合、スライド処理させてよいので処理はステップＳ５０に進む。ステップＳ８０の判定がＮｏの場合、スライド処理できないので、画面切替部６４は切り替え先の話者を含むトリミング画像９を作成する（Ｓ９０）。

<<複数表示モード>>
図３５（ａ）は、複数表示モードにおけるトリミング部１８の動作手順を示すフローチャート図の一例である。図３５の処理は切取領域を決定するタイミングになるとスタートする。

まず、切取領域決定部６３は二者の距離が所定方向に１８０度以上あるか否かを判定する（Ｓ１０）。二者とは、１つのトリミング画像９に含めるべき最左と最右の話者をいう。また、所定方向とは、経度が大きくなる方向又は小さくなる方向のどちらでもよいが予め定められている。

ステップＳ１０の判定がＮｏの場合、図３５（ｂ）（ｃ）に示すように切取領域決定部６３は所定方向にズームアウトする（Ｓ２０）。参加者Ａを残して参加者Ｂを含んだまま参加者Ｃに切り替わる。

ステップＳ１０の判定がＹｅｓの場合、図３５（ｄ）（ｅ）に示すように切取領域決定部６３は所定方向とは逆方向にズームアウトし、両者が画面に入るように切取領域を決定する（Ｓ３０）。参加者Ａを残して参加者Ｄに切り替わる。

このような処理により、複数表示モードでも画角が１８０度以下になるように切取領域を決定できる。

<<複数表示モード 切取領域の決定>>
単一表示モードの場合、一人の話者の顔などを含むように切取領域を決定すればよい。これに対し、複数表示モードの場合、参加者の顔が同じ高さにあるとは限らないので、緯度方向の適切な画角を決定することが好ましい。

図３６（ａ）は、複数表示モードにおいて緯度方向の画角を決定する手順を示すフローチャート図の一例である。

切取領域決定部６３は、画像データに写っている全ての顔を認識し、緯度方向の顔の平均値を中心線６２１に設定する（Ｓ１０）。図３６（ｂ）は中心線６２１の一例を示す。
緯度方向の顔の位置は例えば、眼、鼻、口など検出が容易な顔の部品の位置とする。

次に、切取領域決定部６３は中心線６２１を中心に、縦横比が１６：９になるように緯度方向の画角を決定する（Ｓ２０）。例えば、二人の話者の距離が１６０度の場合、緯度方向の画角は中心線６２１を中心に上下それぞれ４５度である。図３６（ｃ）は複数表示モードにおけるトリミング画像９の一例を示す。

このような処理により、複数表示モードにおいて話者の顔を含むようにトリミング画像９を作成できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、伝送端末１０ａａのユーザが表示モードとオプションを選択するのでなく、会議に参加している他の伝送端末１０ａｂのユーザが表示モードとオプションを選択可能でもよい。伝送端末１０ａａのユーザ以外に複数の参加者がいる場合は、伝送端末１０ａａのユーザが任意の伝送端末１０に決定権を与える。

まあ、画像データの送信元の伝送端末１０ａａがトリミング画像を作成するのでなく、受信元の伝送端末が行ってもよいし、伝送管理システム５０や中継装置３０などのネットワーク上の装置が行ってもよい。

また、図７などの構成例は、伝送管理システム５０及び伝送端末１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。伝送管理システム５０及び伝送端末１０の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。

また、本実施形態では説明の都合上、伝送管理システム５０と中継装置３０を別々の装置として説明したが、両者の機能が統合された装置が伝送管理システム５０と中継装置３０の機能を提供してもよい。

また、本実施形態では、中継装置３０を介して伝送端末１０が通信しているが、伝送端末１０は中継装置を介さずに通信してもよい。このような通信の通信プロトコルとして例えばＷｅｂＲＴＣ（Web Real-Time Communication）が知られている。

また、伝送システム１が複数の伝送管理システム５０を有していてもよく、伝送管理システム５０の機能が複数のサーバに分散して配置されていてもよい。

また、伝送管理システム５０が記憶部５０００に有する各データベースの１つ以上は通信ネットワーク２上に存在していてもよい。

また、表示装置としてディスプレイ１２０を例にしたが、プロジェクタ、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）、テレビ受像器、カーナビゲーション端末、など画像を表示できるものであればよい。

なお、撮像部１７は撮像手段の一例であり、参加者検出部６１は認識手段の一例であり、話者方向推定部１４は話者推定手段の一例であり、発言時間測定部６２は測定手段の一例であり、切取領域決定部６３と画面切替部６４は取得手段の一例である。全天球カメラ１１２ａは撮像装置の一例である。トリミング画像９は話者画像の一例であり、切り替え前のトリミング画像９は第一話者画像、切り替え後のトリミング画像９は第二話者画像のそれぞれ一例である。操作入力受付部１６は選択受付手段の一例であり、切替時間は第一閾値の一例であり、９０度は第二閾値の一例である。送受信部１１は送信手段の一例である。伝送端末１０ａｂは情報端末の一例である。

１ 伝送システム
８ 中間画像
９ トリミング画像
１０ 伝送端末
１４ 話者方向推定部
１７ 撮像部
１８ トリミング部
５０ 伝送管理システム
６１ 参加者検出部
６１ 認識手段
６２ 発言時間測定部
６３ 切取領域決定部
６４ 画面切替部

特開２０１０−８１６４４号公報

Claims (15)

1. ネットワークを介して通信可能な情報端末に画像データを送信する情報処理装置であって、
   撮像手段が撮像した画像データから人を認識する認識手段と、
   前記画像データに撮像されている人のうち話者を推定する話者推定手段と、
   前記話者推定手段が推定した前記話者の発言時間を測定する測定手段と、
   前記測定手段が測定した前記発言時間に基づいて、継続して発言する前記話者を含む話者画像を画像データから取得する取得手段と、
   前記取得手段が取得した前記話者画像を前記情報端末に送信する送信手段と、
   を有する情報処理装置。
2. 前記測定手段が第一閾値より長い前記発言時間を継続して測定した場合、前記取得手段は、前記発言時間が前記第一閾値より長い前記話者の前記話者画像を前記画像データから取得する請求項１に記載の情報処理装置。
3. 前記取得手段は、所定時間における累積の前記発言時間が長い順に予め定められた数の前記話者が含まれる前記話者画像を前記画像データから取得する請求項１に記載の情報処理装置。
4. 第一話者画像を取得した後に第二話者画像を取得する際、前記取得手段は、前記第一話者画像と前記第二話者画像の間の前記画像データから１つ以上の中間画像を取得し、
   前記送信手段は前記中間画像を前記情報端末に送信する請求項１〜３いずれか１項に記載の情報処理装置。
5. 第一話者画像を取得した後に、前記第一話者画像の少なくとも一部を含み前記第一話者画像よりも大きい第二話者画像を取得する際、前記取得手段は前記第一話者画像よりも大きく前記第二話者画像よりも小さい１つ以上の中間画像を前記画像データから取得し、
   前記送信手段は前記中間画像を前記情報端末に送信する請求項１〜３いずれか１項に記載の情報処理装置。
6. 第一話者画像を取得した後に、前記第一話者画像の少なくとも一部を含み前記第一話者画像よりも小さい第二話者画像を取得する際、前記取得手段は前記第一話者画像よりも小さく前記第二話者画像よりも大きい１つ以上の中間画像を前記画像データから取得し、
   前記送信手段は前記中間画像を前記情報端末に送信する請求項１〜３いずれか１項に記載の情報処理装置。
7. 前記取得手段が、前記第一話者画像と前記第二話者画像の間の前記画像データから複数の前記中間画像を取得する際、
   前記第一話者画像及び前記第二話者画像から所定範囲内では、所定範囲外よりも短い間隔で前記中間画像を前記画像データから取得する請求項４に記載の情報処理装置。
8. 前記取得手段は、前記第一話者画像と前記第二話者画像が第二閾値よりも離れている場合、前記中間画像を取得することなく前記第一話者画像の次に、前記画像データから前記第二話者画像を取得する請求項４に記載の情報処理装置。
9. 前記取得手段は、前記画像データが複数に分割されたそれぞれの領域から、前記発言時間に基づいて、継続して発言する前記話者を含む前記話者画像を取得する請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記画像データに撮像されている人のうち一人の選択を受け付ける選択受付手段を有するか、又は、前記測定手段が測定した前記発言時間が最も長い人を前記取得手段が特定し、
    前記取得手段は、前記選択受付手段が受け付けた前記人又は前記発言時間が最も長い人を含むと共に、前記発言時間に基づいて特定された前記話者の前記話者画像を前記画像データから取得する請求項１〜９いずれか１項に記載の情報処理装置。
11. 前記画像データに撮像されている人のうち一人の選択を受け付ける選択受付手段を有するか、又は、前記測定手段が測定した前記発言時間が最も長い人を前記取得手段が特定し、
    前記画像データが前記撮像手段の周囲３６０度が撮像された広角の画像データの場合、
    前記取得手段は、前記選択受付手段が受け付けた前記人又は前記発言時間が最も長い人が所定方向に配置されるように前記広角の画像データを配置する請求項１〜９いずれか１項に記載の情報処理装置。
12. 前記画像データが前記撮像手段の周囲３６０度が撮像された広角の画像データの場合、
    前記取得手段は、前記第一閾値より長い前記発言時間が測定された前記話者が所定方向に配置されるように前記広角の画像データを配置する請求項２〜９いずれか１項に記載の情報処理装置。
13. 前記画像データが前記撮像手段の周囲３６０度が撮像された広角の画像データの場合、
    前記取得手段は、前記話者推定手段が推定した前記話者を強調する処理を前記広角の画像データに施す請求項１〜９いずれか１項に記載の情報処理装置。
14. ネットワークを介して通信可能な情報端末に画像データを送信する情報処理装置を、
    撮像手段が撮像した画像データから人を認識する認識手段と、
    前記画像データに撮像されている人のうち話者を推定する話者推定手段と、
    前記話者推定手段が推定した前記話者の発言時間を測定する測定手段と、
    前記測定手段が測定した前記発言時間に基づいて、継続して発言する前記話者を含む話者画像を画像データから取得する取得手段と、
    前記取得手段が取得した前記話者画像を前記情報端末に送信する送信手段と、
    として機能させるためのプログラム。
15. ネットワークを介して通信可能な情報端末に画像データを送信する情報処理装置と、撮像装置とが通信する画像処理システムであって、
    前記撮像装置は、周囲３６０度を撮像する撮像手段を有し、
    前記情報処理装置は、
    前記撮像手段が撮像した画像データから人を認識する認識手段と、
    前記画像データに撮像されている人のうち話者を推定する話者推定手段と、
    前記話者推定手段が推定した前記話者の発言時間を測定する測定手段と、
    前記測定手段が測定した前記発言時間に基づいて、継続して発言する前記話者を含む話者画像を画像データから取得する取得手段と、
    前記取得手段が取得した前記話者画像を前記情報端末に送信する送信手段と、
    を有する画像処理システム。

Images