JP6787078B2 - 通信装置、方法およびプログラム - Google Patents

Description

本発明は、通信装置、方法およびプログラムに関する。

近年、ネットワークおよびマルチメディア伝送技術の発達により、遠隔地のサテライトオフィス同士、または地方のサテライトオフィスと本社を結ぶテレワークの導入が容易となっている。このため、経営改革の一環として、テレワークの導入を推進している企業が増加している。

オフィスでは業務中のコミュニケーションが重要視されることから、互いに離れたオフィスにいるメンバーが、同一空間で一緒に作業を行っているかのような感覚を得るための試みがなされている。例えば、テレワークのシステムにおいては、オフィスの俯瞰画像を相互に配信すること、メンバー同士がＴＶ電話のような対話を行うこと、が可能である。特許文献１には、メンバー間の対話に関し、呼び出しのための電話機の着信音を次第に大きくする方法が開示されている。

特開平１１−６８８９０号公報

同一空間でのコミュニケーションでは、メンバーは、電話を使うことなく相手の様子を伺って相手に直接話しかける。同一空間のコミュニケーションを模するという観点では、テレワークにおける対話を実現する際にも、話しかけられた側による着信への応答操作無しに、各メンバーの端末の対話状態が作られることが望ましい。しかし、応答操作無しに対話状態が作られた場合、対話を要求されたメンバーが対話状態に気付いていないことが起こり得る。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、通信装置間の対話状態の確立を通信装置のユーザに気付かせることが可能な、新規かつ改良された通信装置、方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、通信装置であって、他の通信装置から対話要求を受信する受信部と、前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、を備え、前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御する、通信装置が提供される。制御部は、前記他の通信装置から受信される映像および音声の出力制御の開始と併せて、前記通信装置への入力画像および入力音声の前記他の通信装置への送信制御を開始してもよい。制御部は、前記対話要求の受信の前においては、前記他の通信装置のユーザを含む俯瞰映像の出力を制御し、前記対話要求の受信に基づき、前記俯瞰映像の出力の制御を停止してもよい。制御部は、前記対話要求の受信の前においては、前記他の通信装置の側の環境音の出力を制御し、前記対話要求の受信に基づき、前記環境音の出力の制御を停止してもよい。

前記制御部は、前記呼びかけの音による通知を、前記他の通信装置からの指示に従って制御してもよい。

前記通信装置は、前記通信装置のユーザが対話を開始したか否かを判定する対話判定部をさらに備え、前記制御部は、前記対話判定部により前記通信装置のユーザが前記対話を開始したと判定されるまでの間に、前記呼びかけの音による通知を繰り返し制御してもよい。

前記制御部は、前記受信部による前記対話要求の受信の後に、前記対話要求の音による通知を行うことなく、前記出力制御を開始してもよい。

前記通信装置は、第１の音出力部と、第２の音出力部と、前記通信装置のユーザが対話を開始したか否かを判定する対話判定部と、を備え、前記制御部は、前記出力制御において、前記他の通信装置から受信される音声を前記第１の音出力部に出力させ、前記対話判定部により前記通信装置のユーザが前記対話を開始したと判定された後、前記他の通信装置から受信される音声を前記第２の音出力部に出力させてもよい。

前記第２の音出力部はハンドセットに設けられてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、通信装置により実行される方法であって、他の通信装置から対話要求を受信することと、前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始することと、前記出力制御の開始後に、呼びかけの音による通知を制御することと、を含む、方法が提供される。また、上記課題を解決するために、本発明の別の観点によればコンピュータを、通信装置であって、他の通信装置から対話要求を受信する受信部と、前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、を備え、前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御する、通信装置として機能させるための、プログラムが提供される。上記方法およびプログラムにおいて、前記他の通信装置から受信される映像および音声の出力制御の開始と併せて、前記通信装置への入力画像および入力音声の前記他の通信装置への送信制御を開始してもよい。前記対話要求の受信の前においては、前記他の通信装置のユーザを含む俯瞰映像の出力を制御し、前記対話要求の受信に基づき、前記俯瞰映像の出力の制御を停止してもよい。前記対話要求の受信の前においては、前記他の通信装置の側の環境音の出力を制御し、前記対話要求の受信に基づき、前記環境音の出力の制御を停止してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、通信装置であって、他の通信装置から対話要求を受信する受信部と、前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される音声の出力制御を開始する制御部と、を備え、前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御する、通信装置が提供される。制御部は、前記他の通信装置から受信される音声の出力制御の開始と併せて、前記通信装置への入力音声の前記他の通信装置への送信制御を開始してもよい。制御部は、前記対話要求の受信の前においては、前記他の通信装置の側の環境音の出力を制御し、前記対話要求の受信に基づき、前記環境音の出力の制御を停止してもよい。

以上説明したように本発明によれば、通信装置間の対話状態の確立を通信装置のユーザに気付かせることが可能である。

本発明の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。 通信装置の構成を示す説明図である。 俯瞰映像の具体例を示す説明図である。 対話を要求されたメンバーの映像例を示す説明図である。 対話を要求されたメンバーの映像例を示す説明図である。 対話を要求されたメンバーの映像例を示す説明図である。 本発明の第１の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。 通信装置と対話状態が確立された通信装置の動作例を示す説明図である。 本発明の第１の実施形態の動作を示すフローチャートである。 本発明の第２の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。 音量による対話の判定例を示す説明図である。 第２の実施形態による呼びかけを示す説明図である。 本発明の第２の実施形態の動作を示すフローチャートである。 通信装置のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて通信装置２０Ａおよび２０Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、通信装置２０Ａおよび２０Ｂを特に区別する必要が無い場合には、各クライアントを単に通信装置２０と称する。

＜０．遠隔コミュニケーションシステムの概要＞
本発明の実施形態は、遠隔する拠点間でのコミュニケーションを実現する遠隔コミュニケーションシステムに関する。以下、図１〜図３を参照し、遠隔コミュニケーションシステムの概要を説明する。

図１は、本発明の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。図１に示したように、本発明の実施形態による遠隔コミュニケーションシステムは、拠点Ａに設けられる撮像装置１０Ａ、通信装置２０Ａ、および作業用端末３０Ａと、拠点Ｂに設けられる撮像装置１０Ｂ、通信装置２０Ｂ、および作業用端末３０Ｂと、を備える。拠点Ａと拠点Ｂは、ネットワーク１２により接続されている。

撮像装置１０は、拠点の俯瞰映像を撮像する機能、および拠点の環境音を収音する機能を有する。拠点Ａに設けられる撮像装置１０Ａは、拠点Ａの俯瞰映像および環境音を、ネットワーク１２を介して拠点Ｂに送信する。同様に、拠点Ｂに設けられる撮像装置１０Ｂは、拠点Ｂの俯瞰映像および環境音を、ネットワーク１２を介して拠点Ａに送信する。撮像装置１０は撮像する機能と収音する機能の双方を有する必要はなく、集音する機能はオフィスの中央に設置できるよう撮像装置１０から分離されてもよい。

作業用端末３０は、各メンバー（ユーザ）が作業のために利用する端末である。当該作業用端末３０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよい。

通信装置２０は、拠点Ａのメンバーと拠点Ｂのメンバーとのコミュニケーションを支援するための装置である。例えば、拠点Ａに設けられる通信装置２０Ａは、拠点Ｂの撮像装置１０Ｂから送信される拠点Ｂの俯瞰映像を表示し、拠点Ｂの環境音を出力する。同様に、拠点Ｂに設けられる通信装置２０Ｂは、拠点Ａの撮像装置１０Ａから送信される拠点Ａの俯瞰映像を表示し、拠点Ａの環境音を出力する。このように、各拠点の俯瞰映像および環境音が恒常的に交換されることにより、各メンバーは、異なる拠点の雰囲気、状況を、異なる拠点が同一空間に存在するかのように感じることが可能である。

また、通信装置２０は、複数のメンバー間での対話を支援する機能を有する。例えば、通信装置２０は、通信装置２０に表示されている他の拠点の俯瞰映像に含まれるメンバーが選択されると、通信装置２０を利用するメンバーと選択されたメンバーとが対話できるように、双方のメンバーの映像および音声が交換される対話状態を確立する。

ここで、図２を参照し、通信装置２０の構成をより具体的に説明する。図２は、通信装置２０の構成を示す説明図である。図２に示したように、通信装置２０は、操作表示部２２０と、音出力部２２４と、映像入力部２２８と、音声入出力部２３２と、を備える。

操作表示部２２０は、メンバーによる操作を検出する操作部、および映像を表示する映像出力部としての機能を包含する。例えば、拠点Ａに位置する通信装置２０Ａの操作表示部２２０は、図３に示したように、拠点Ｂの撮像装置１０Ｂから送信された拠点Ｂの俯瞰映像を表示する。

なお、図２においては操作表示部２２０に操作部と映像出力部の機能が一体的に実装される例を示したが、操作部と映像出力部の機能は分離して構成されてもよい。また、操作部としての機能は、タッチパネルで実現されてもよいし、物理的なボタンで構成されてもよいし、赤外線や超音波などによる非接触センサーで実現されてもよい。

音出力部２２４（第１の音出力部）は、音を出力する機能を有し、スピーカで構成され得る。例えば、拠点Ａに位置する通信装置２０Ａの音出力部２２４は、拠点Ｂの撮像装置１０Ｂから送信された拠点Ｂの環境音を出力する。

映像入力部２２８は、通信装置２０を利用するメンバーを撮像する機能を有する。例えば、拠点Ａに位置する通信装置２０Ａの映像入力部２２８は、通信装置２０Ａを利用するメンバーの映像を撮像により取得する。通信装置２０Ａと拠点Ｂの通信装置２０Ｂとの対話状態が確立された場合、通信装置２０Ａの映像入力部２２８により取得された映像は、ネットワーク１２を介して拠点Ｂの通信装置２０Ｂに送信される。同様に、通信装置２０Ａと拠点Ｂの通信装置２０Ｂとの対話状態が確立された場合、通信装置２０Ｂの映像入力部２２８により取得された映像は、ネットワーク１２を介して拠点Ａの通信装置２０Ａに送信される。

音声入出力部２３２は、音声の入力機能および出力機能（第２の音出力部）を有し、メンバー間の対話の際に用いられる。音声入出力部２３２は、図２に示したように、ハンドセットで構成される。ハンドセットは把持する型である必要はなく、指向性マイクと指向性スピーカによる据え置き型でハンズフリーを行う構成でもよい。メンバー間の対話を音出力部２２４および通信装置２０に備えられたマイク（図示していない）を用いてハンズフリーで実現することも可能であるが、ハンドセットで構成される音声入出力部２３２を用いることにより、周囲に漏れる音が小さくなり、周囲への迷惑がかかり難くなる。なお、音声入出力部２３２と通信装置２０の本体とは、無線で接続されてもよいし、有線で接続されてもよいし、音声入出力部２３２は通信装置２０の本体に設けられてもよい。

例えば、拠点Ａに位置する通信装置２０Ａの音声入出力部２３２は、対話相手のメンバーが利用する通信装置２０Ｂから送信された対話相手のメンバーの音声を出力し、通信装置２０Ａを利用するメンバーの音声を収音する。通信装置２０Ａの音声入出力部２３２の収音により得られた音声は、ネットワーク１２を介して、対話相手のメンバーが利用する通信装置２０Ｂに送信される。同様に、拠点Ｂに位置する通信装置２０Ｂの音声入出力部２３２は、対話相手のメンバーが利用する通信装置２０Ａから送信された対話相手のメンバーの音声を出力し、通信装置２０Ｂを利用するメンバーの音声を収音する。通信装置２０Ｂの音声入出力部２３２の収音により得られた音声は、ネットワーク１２を介して、対話相手のメンバーが利用する通信装置２０Ａに送信される。

なお、拠点Ａと拠点Ｂの間には、各撮像装置１０から俯瞰映像および環境音を収集し、各通信装置２０への俯瞰映像および環境音の配信を集中管理する管理サーバが設けられてもよい。当該管理サーバは、通信装置２０から撮像装置１０への俯瞰映像および環境音の送信要求や、通信装置２０から他の通信装置２０への対話要求などを受信し、これら要求に応じた処理を行ってもよい。

（背景）
異なる拠点に位置するメンバー間での対話を実現するためには、一般的に、一方のメンバーが他方のメンバーを呼び出すための発呼操作を行い、他方のメンバーが利用する通信装置が着信音を出力し、他方のメンバーが着信音に応じて応答操作を行う。しかし、対話の度に着信音が発生すると、周囲のメンバーの集中力が着信音により削がれ、作用に支障をきたすことが懸念される。

この点に関し、一方のメンバーによる発呼操作に基づき、他方のメンバーが利用する通信装置による着信音の出力および他方のメンバーの応答操作無しに、双方のメンバーが利用する通信装置間で対話状態を確立する方法では、着信音が発生しないので、周囲のメンバーの集中力が阻害されない。

しかし、他方のメンバーの応答操作無しに対話状態を確立する方法では、他方のメンバーが、対話を要求されたこと、および対話状態が確立されていることに気付かないことが起こり得る。

図４は、対話を要求されたメンバーの映像例を示す説明図である。対話を要求されたメンバーは、対話要求に気付いて図４Ａに示したように映像入力部２２８を向いてくれることもあるが、図４Ｂに示すように作業に集中していて対話要求に気付かないことや、図４Ｃに示すように別のメンバーと対話をしていて対話要求に気付かないことがある。

本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の各実施形態によれば、通信装置間の対話状態の確立を通信装置のユーザに気付かせることが可能である。以下、このような本発明の各実施形態について順次詳細に説明する。

＜１．第１の実施形態＞
（構成）
図５は、本発明の第１の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。

／／撮像装置／／
図５に示したように、撮像装置１０は、俯瞰映像入力部１２０と、環境音入力部１３０と、通信部１４０と、を備える。俯瞰映像入力部１２０は、撮像装置１０が設けられる拠点の俯瞰映像を撮像により取得する。環境音入力部１３０は、撮像装置１０が設けられる拠点の環境音を収音により取得する。通信部１４０は、撮像装置１０が設けられる拠点と異なる拠点に、俯瞰映像入力部１２０により取得された俯瞰映像および環境音入力部１３０により取得された環境音を送信する。

／／通信装置／／
図５に示したように、通信装置２０は、映像出力部２２１、操作部２２２、音出力部２２４、映像入力部２２８、音声入出力部２３２、通信部２４０、制御部２５０および通知音生成部２６０を備える。映像出力部２２１および操作部２２２は、図２を参照して説明した操作表示部２２０に対応する。音出力部２２４、映像入力部２２８および音声入出力部２３２の構成は図２を参照して説明した通りであるので、ここでの詳細な説明を省略する。

通信部２４０は、ネットワーク１２を介して映像および音声を通信する。例えば、通信部２４０は、他の拠点に設けられた撮像装置１０から他の拠点の俯瞰映像および環境音を受信する受信部としての機能を有する。また、通信部２４０は、対話状態において、他の拠点に設けられた通信装置２０から対話相手の映像および音声を受信する。また、通信部２４０は、対話状態において、映像入力部２２８により取得された通信装置２０を利用するメンバーの映像、および音声入出力部２３２により取得された通信装置２０を利用するメンバーの音声を、対話相手が利用する通信装置２０に送信する送信部として機能する。さらに、通信部２４０は、他の拠点の通信装置２０から対話要求を受信すること、および他の拠点の通信装置２０に対話要求を送信することも可能である。

制御部２５０は、通信装置２０の動作全般を制御する。例えば、制御部２５０は、通信部２４０により受信された他の拠点の俯瞰映像を映像出力部２２１に表示させ、通信部２４０により受信された他の拠点の環境音を音出力部２２４に出力させる。また、制御部２５０は、他の通信装置２０との対話状態においては、他の通信装置２０から受信された映像を映像出力部２２１に表示させ、他の通信装置２０から受信された音声を音声入出力部２３２に出力させる。また、制御部２５０は、他の通信装置２０との対話状態においては、映像入力部２２８により取得された映像、および音声入出力部２３２により取得された音声を、他の通信装置２０へ通信部２４０に送信させる。本明細書において、このように通信装置２０間でメンバーの映像および音声が送受信され得る状態を、対話状態と呼んでいる。

本実施形態による制御部２５０は、他の通信装置２０からの対話要求に基づき、着信音の出力およびメンバーによる応答操作無しに、他の通信装置２０と上記の対話状態を確立する。このため、通信装置２０を利用するメンバーが対話状態の確立に気付いていないことがある。そこで、制御部２５０は、対話状態において、他の通信装置２０からの呼びかけ要求（指示）に応じて、通知音生成部２６０に呼びかけのための通知音を生成させる。通知音生成部２６０により生成された通知音は音出力部２２４から出力される。当該通知音の出力について、図６を参照してより具体的に説明する。

図６は、通信装置２０Ａと対話状態が確立された通信装置２０Ｂの動作例を示す説明図である。図６に示したように、通信装置２０Ｂの映像出力部２２１には、通信装置２０Ａを利用するメンバーの映像Ｖ１が表示されている。また、通信装置２０Ｂの音声入出力部２３２は、通信装置２０Ａを利用するメンバーからの「○○さん」という呼びかけ声Ｘ１が出力されている。しかし、通信装置２０Ｂを利用するメンバーＭ１は、作業用端末３０を用いた作業に集中しており、通信装置２０Ａと通信装置２０Ｂとの対話状態の確立に気付いていない。

この時、通信装置２０Ａを利用するメンバーが所定の呼びかけ操作を行うと、通信装置２０Ｂの制御部２５０が通知音生成部２６０に通知音を生成させ、音出力部２２４が例えば図６に示したように「コンコン」という通知音Ｘ２を出力する。音出力部２２４の出力音量は音声入出力部２３２の出力音量よりも大きいので、メンバーＭ１は、音声入出力部２３２からの「○○さん」という呼びかけ声Ｘ１に気付かなくても、音出力部２２４から出力される通知音Ｘ２には気付き易い。メンバーＭ１は、通知音Ｘ２により通信装置２０間の対話状態に気付けば、映像入力部２２８を向き、音声入出力部２３２を把持して、対話を開始することが可能である。

なお、呼びかけ操作は、俯瞰映像に含まれるメンバーをタップする操作であってもよい。当該呼びかけ操作は、対話状態が終了するまでの間に、何度も繰り返し行われ得る。制御部２５０は、呼びかけ操作の繰り返し回数に応じて、通知音生成部２６０に次第に大きい音量で通知音を生成させてもよい。

（動作）
以上、本発明の第１の実施形態の構成を説明した。続いて、図７を参照し、本発明の第１の実施形態の動作を整理する。

図７は、本発明の第１の実施形態の動作を示すフローチャートである。図７に示したように、通信装置２０Ａおよび通信装置２０Ｂは、他方の拠点の俯瞰映像および環境音を出力している（Ｓ１０１）。そして、通信装置２０Ａを利用するメンバーにより、拠点Ｂの俯瞰映像から対話相手が選択されると（Ｓ１０２）、選択された対話相手が利用する通信装置２０Ｂに対話要求が送信され（Ｓ１０３）、通信装置２０Ｂが対話要求を受理する（Ｓ１０４）。ここで、管理サーバが、拠点Ｂの俯瞰映像にクリッカブルマップを設定しておき、通信装置２０Ａを利用するメンバーによりタップされた位置に対応するメンバーを特定し、特定されたメンバーが利用する通信装置２０Ｂに対話要求を送信してもよい。

その後、通信装置２０Ａおよび通信装置２０Ｂは、映像出力部２２１による俯瞰映像の出力を停止する（Ｓ１０５）。そして、通信装置２０Ａおよび通信装置２０Ｂは、メンバーの映像の送受信を開始し、他方から受信したメンバーの映像の出力を開始する（Ｓ１０６）。なお、俯瞰映像の出力は完全に停止されなくてもよく、例えば、通信装置２０は、俯瞰映像およびメンバーの映像の双方を含む画面を出力してもよい。この時、俯瞰映像よりメンバーの映像が大きく表示されてもよい。

また、通信装置２０Ａおよび通信装置２０Ｂは、音出力部２２４による環境音の出力を停止する（Ｓ１０７）。そして、通信装置２０Ａおよび通信装置２０Ｂは、メンバーの音声の送受信を開始し、他方から受信したメンバーの音声の出力を開始する（Ｓ１０８）。これにより、通信装置２０Ａと通信装置２０Ｂの間で対話状態が確立する。

対話状態において通信装置２０Ａを利用するメンバーが操作部２２２に対して呼びかけ操作を行うと（Ｓ１０９）、通信装置２０Ｂの通知音生成部２６０が予め設定済みの通知音を生成し（Ｓ１１０）、音出力部２２４が当該通知音を出力する（Ｓ１１１）。通信装置２０Ａを利用するメンバーは、通信装置２０Ｂを利用するメンバーが通知音により対話状態に気付くまで呼びかけ操作を繰り返すことが可能であり、通信装置２０Ｂを利用するメンバーが対話状態に気付いた後、対話が開始する。

その後、通信装置２０Ａの操作部２２２に対話を終了するための操作が行われると（Ｓ１１３）、対話終了通知が通信装置２０Ｂに送信され、通信装置２０Ｂにより対話終了通知が受理される（Ｓ１１４）。対話を終了するための操作は、所定のボタンの選択であってもよいし、所定のジェスチャであってもよい。

そして、通信装置２０Ａおよび通信装置２０Ｂは、メンバーの映像および音声の送受信および出力を停止し（Ｓ１１５）、俯瞰映像および環境音の出力を再開する（Ｓ１１６、Ｓ１１７）。結果、通信装置２０Ａおよび通信装置２０Ｂの状態は、Ｓ１０１における通信装置２０Ａおよび通信装置２０Ｂの状態と等しくなる。

（効果）
以上説明したように、本発明の第１の実施形態によれば、着信音の出力および対話相手による応答操作無しに通信装置２０間での対話状態が確立される。このため、着信音により周囲のメンバーの集中を阻害することなく、対話状態を確立することが可能である。さらに、対話状態の確立後に、対話状態に気付かない対話相手に通知音により呼びかけを行うことができる。このため、対話相手が通知音により対話状態に気付き、円滑に対話を開始することが可能である。

＜２．第２の実施形態＞
以上、本発明の第１の実施形態を説明した。続いて、本発明の第２の実施形態を説明する。本発明の第２の実施形態は、対話状態においてメンバーの音声による呼びかけを実現するための提案に関する。

（構成）
図８は、本発明の第２の実施形態による遠隔コミュニケーションシステムの構成を示す説明図である。図８に示したように、第２の実施形態による遠隔コミュニケーションシステムは、拠点Ａに設けられる撮像装置１０Ａおよび通信装置２２Ａと、拠点Ｂに設けられる撮像装置１０Ｂおよび通信装置２２Ｂと、を備える。撮像装置１０の構成は第１の実施形態で説明した通りであるので、ここでの詳細な説明は省略する。

通信装置２２は、図８に示したように、映像出力部２２１、操作部２２２、音出力部２２４、映像入力部２２８、音声入出力部２３２、通信部２４０、制御部２５２および対話判定部２７０を備える。映像出力部２２１、操作部２２２、音出力部２２４、映像入力部２２８、音声入出力部２３２および通信部２４０の構成は第１の実施形態で説明した通りであるので、ここでの詳細な説明は省略する。

対話要求の受理側の通信装置２２の対話判定部２７０は、通信装置２２を利用するメンバーが対話状態に気付き、対話を開始したか否かを判定する。例えば、対話判定部２７０は、音声入出力部２３２により収音された音声の音量が閾値を上回った場合に、通信装置２２を利用するメンバーが対話状態に気付き、対話を開始したと判定してもよい。対話状態に気付いたメンバーは音声入出力部２３２を利用して発話を開始すると考えられ、音声入出力部２３２を利用して発話が開始されると、音声入出力部２３２により収音される音声の音量が大きくなると考えられるからである。例えば、対話判定部２７０は、図９に示した例では、音声入出力部２３２により収音された音声の音量が閾値を上回った時点ｔ１において、通信装置２２を利用するメンバーが対話状態に気付き、対話を開始したと判定してもよい。

また、対話判定部２７０は、通信装置２２を利用するメンバーの映像に基づいて対話の開始を判定することも可能である。例えば、対話判定部２７０は、映像入力部２２８により取得されたメンバーの映像において、メンバーが正面を向いた場合に、通信装置２２を利用するメンバーが対話状態に気付き、対話を開始したと判定してもよい。

制御部２５２は、通信装置２２の動作全般を制御する。例えば、制御部２５２は、通信部２４０により受信された他の拠点の俯瞰映像を映像出力部２２１に表示させ、通信部２４０により受信された他の拠点の環境音を音出力部２２４に出力させる。また、制御部２５２は、他の通信装置２２との対話状態においては、他の通信装置２２から受信された映像を映像出力部２２１に表示させ、他の通信装置２２から受信された音声を音声入出力部２３２に出力させる。また、制御部２５２は、他の通信装置２２との対話状態においては、映像入力部２２８により取得された映像、および音声入出力部２３２により取得された音声を、他の通信装置２２へ通信部２４０に送信させる。

本実施形態による制御部２５２は、通信装置２２が対話要求の受理側である場合、他の通信装置２２から受信された他の通信装置２２を利用するメンバーの音声を、音出力部２２４に出力させる。そして、制御部２５２は、通信装置２２を利用するメンバーが対話を開始したことが対話判定部２７０により判定されると、他の通信装置２２を利用するメンバーの音声の出力先を音声入出力部２３２に切り替える。以下、図１０を参照してより具体的に説明する。

図１０は、第２の実施形態による呼びかけを示す説明図である。図１０に示したように、対話要求の受理側であるである通信装置２２Ｂの映像出力部２２１には、通信装置２２Ａを利用するメンバーの映像Ｖ２が表示されている。しかし、通信装置２２Ｂを利用するメンバーＭ１は、作業用端末３０を用いた作業に集中しており、通信装置２２Ａと通信装置２２Ｂとの対話状態の確立に気付いていない。

この時、通信装置２２Ａを利用するメンバーが通信装置２２Ａの音声入出力部２３２を通じてメンバーＭ１に話しかけると、図１０に示すように、通信装置２２Ａを利用するメンバーの音声Ｘ３が通信装置２２Ａの音出力部２２４から出力される。メンバーＭ１は、音声Ｘ３により通信装置２２間の対話状態に気付き、映像入力部２２８を向く、もしくは音声入出力部２３２を利用して発話を行うと、他の通信装置２２を利用するメンバーの音声の出力先が音声入出力部２３２に切り替える。このため、メンバーＭ１は、音声入出力部２３２を利用して対話を行うことが可能である。

（動作）
以上、本発明の第２の実施形態の構成を説明した。続いて、図１１を参照し、本発明の第２の実施形態の動作を整理する。

図１１は、本発明の第２の実施形態の動作を示すフローチャートである。図１１に示したＳ１０１〜Ｓ１０７の処理は、図７を参照して説明したＳ１０１〜Ｓ１０７の処理と実質的に同一である。

通信装置２２Ａおよび通信装置２２Ｂが音出力部２２４による環境音の出力を停止すると（Ｓ１０７）、通信装置２２Ａの音声入出力部２３２により収音された音声が通信装置２２Ｂに送信され（Ｓ２０８）、通信装置２２Ｂの音出力部２２４が当該音声を出力する（Ｓ２０９）。一方、通信装置２２Ｂの音声入出力部２３２により収音された音声が通信装置２２Ａに送信され（Ｓ２１０）、通信装置２２Ａの音声入出力部２３２が当該音声を出力する（Ｓ２１１）。

その後、通信装置２２Ｂを利用するメンバーが対話を開始したことが通信装置２２Ｂの対話判定部２７０により判定されると（Ｓ２１２）、制御部２５２は、通信装置２２Ａから受信される音声の出力先を、音出力部２２４から音声入出力部２３２に切り替える（Ｓ２１３）。その後、通信装置２２Ａの音声入出力部２３２と通信装置２２Ｂの音声入出力部２３２を介した対話が行われる（Ｓ２１４）。

その後、図７を参照して説明したＳ１１３〜Ｓ１１７の処理が行われ、通信装置２２Ａおよび通信装置２２Ｂの状態は、Ｓ１０１における通信装置２２Ａおよび通信装置２２Ｂの状態と等しくなる。

（効果）
以上説明したように、本発明の第２の実施形態によれば、対話状態の確立後に、対話状態に気付かない対話相手に、対話要求元のメンバーの音声により呼びかけを行うことができる。すなわち、無機質な通知音での呼びかけでなく、対話要求元のメンバーの音声での呼びかけを行うことが可能である。このため、対話相手は、対話要求元のメンバーの映像を見る前に、対話要求元のメンバーを認識することも可能である。

また、対話判定部２７０により判定に基づいて対話要求元のメンバーの音声の出力先が自動的に音声入出力部２３２に切り替わるので、対話相手が応答ボタンなどを操作する必要が無く、操作性が良い。

＜３．変形例＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

（第１の変形例）
第１の実施形態では、対話要求元のメンバーによる呼びかけ操作に基づいて通知音が出力される例を説明したが、通知音の出力のトリガは呼びかけ操作に限られない。例えば、着信側の通信装置２０は、第２の実施形態で説明した対話判定部２７０を備え、対話の開始が判定されるまで、間欠的に通知音を出力してもよい。

（第２の変形例）
本発明の実施形態では相手からの応答の有無によらず対話状態が確立されるので、本来的には着信音は必須でないが、対話要求の受理側の通信装置２０は、対話要求の受理時に短時間（例えば、２秒以内）または小音量（例えば、通知音よりも小さい音量）の着信音を出力してもよい。かかる構成によれば、対話要求の受理時に対話要求の受理側のメンバーが対話状態に気付き得るし、短時間または小音量の着信音であれば周囲への悪影響を抑制することが可能である。

（第３の変形例）
上述した第１の実施形態と第２の実施形態の双方の機能が組み合わせられた通信装置も実現可能である。当該通信装置は、対話の開始前に、通知音による呼びかけ、および音声による呼びかけのいずれも出力可能である。または、当該通信装置は、当該通信装置の利用者の好み、対話相手または拠点の状況などにより、第１の実施形態の機能または第２の実施形態の機能のいずれかを有効化してもよい。

（第４の変形例）
第２の実施形態では、対話要求の受理側の通信装置２２の対話判定部２７０が、対話要求の受理側のメンバーの映像または音声から対話の開始を判定する例を説明したが、対話判定部２７０は他の方法で判定を行ってもよい。例えば、対話判定部２７０は、対話要求元の通信装置２２から受信されるメンバーの音声の音量に基づいて対話の開始を判定してもよい。具体的には、メンバーの音声の音量が閾値を一定時間にわたって下回った場合、呼びかけが終わったと考えられるので、対話要求の受理側メンバーが対話を開始したと判定してもよい。ここで、一定時間は、対話要求の受理側のメンバーが呼びかけに気付いてから対話を開始するまでに発生するタイムラグである。また、制御部２５２は、対話状態の確立から一定時間が経過した場合、対話要求元のメンバーの音声の出力先を音声入出力部２３２に切り替えてもよい。

＜４．ハードウェア構成＞
以上、本発明の各実施形態を説明した。上述した映像処理および音声処理などの情報処理は、ソフトウェアと、以下に説明する通信装置２０のハードウェアとの協働により実現される。

図１２は、通信装置２０のハードウェア構成を示したブロック図である。通信装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、通信装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って通信装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、制御部２５０（２５２）、通知音生成部２６０および対話判定部２７０などの機能が実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなどメンバーが情報を入力するための入力手段と、メンバーによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。通信装置２０を利用するメンバーは、該入力装置２０８を操作することにより、通信装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。当該入力装置２０８は、例えば操作部２２２に対応する。

表示装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。表示装置２０９は、例えば映像出力部２２１に対応する。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。音声出力装置２１０は、例えば、音出力部２２４および音声入出力部２３２に対応する。

ストレージ装置２１１は、本実施形態にかかる通信装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、通信装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜５．むすび＞
以上説明したように、本発明の実施形態によれば、着信音により周囲のメンバーの集中を阻害することなく、対話状態を確立することが可能である。さらに、対話状態の確立後に、対話状態に気付かない対話相手に通知音または音声により呼びかけを行うことができる。このため、対話相手が通知音または音声により対話状態に気付き、円滑に対話を開始することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本発明の実施形態は、オフィス間におけるテレワークシステムだけでなく、在宅勤務をするメンバーの自宅とオフィス、在宅勤務をするメンバーの自宅同士などの、多様な形態のテレワークにも適用可能である。

また、上記の実施形態では、通信装置２０と作業用端末３０が別々に構成される例を説明したが、通信装置２０の機能は、作業用端末３０などの他の情報処理装置に実装されてもよい。

また、上記の実施形態では、俯瞰映像および環境音の双方が拠点間で共有される例を説明したが、拠点間で俯瞰映像は共有されず、環境音が共有されてもよい。同様に、対話状態においては、メンバーの映像は通信されず、メンバーの音声が通信されてもよい。

また、本明細書の遠隔コミュニケーションシステムの処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、遠隔コミュニケーションシステムの処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、通信装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアに、上述した通信装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０ 撮像装置
１２ ネットワーク
２０、２２ 通信装置
３０ 作業用端末
１２０ 俯瞰映像入力部
１３０ 環境音入力部
１４０ 通信部
２２０ 操作表示部
２２１ 映像出力部
２２２ 操作部
２２４ 音出力部
２２８ 映像入力部
２３２ 音声入出力部
２４０ 通信部
２５０、２５２ 制御部
２６０ 通知音生成部
２７０ 対話判定部

Claims (16)

1. 通信装置であって、
   他の通信装置から対話要求を受信する受信部と、
   前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、
   を備え、
   前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記他の通信装置から受信される映像および音声の出力制御の開始と併せて、前記通信装置への入力画像および入力音声の前記他の通信装置への送信制御を開始する、通信装置。
2. 通信装置であって、
   他の通信装置から対話要求を受信する受信部と、
   前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、
   を備え、
   前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記対話要求の受信の前においては、前記他の通信装置のユーザを含む俯瞰映像の出力を制御し、前記対話要求の受信に基づき、前記俯瞰映像の出力の制御を停止する、通信装置。
3. 通信装置であって、
   他の通信装置から対話要求を受信する受信部と、
   前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、
   を備え、
   前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記対話要求の受信の前においては、前記他の通信装置の側の環境音の出力を制御し、前記対話要求の受信に基づき、前記環境音の出力の制御を停止する、通信装置。
4. 前記制御部は、前記呼びかけの音による通知を、前記他の通信装置からの指示に従って制御する、請求項１〜３のいずれか一項に記載の通信装置。
5. 前記通信装置は、
   前記通信装置のユーザが対話を開始したか否かを判定する対話判定部をさらに備え、
   前記制御部は、前記対話判定部により前記通信装置のユーザが前記対話を開始したと判定されるまでの間に、前記呼びかけの音による通知を繰り返し制御する、請求項１〜３のいずれか一項に記載の通信装置。
6. 前記制御部は、前記受信部による前記対話要求の受信の後に、前記対話要求の音による通知を行うことなく、前記出力制御を開始する、請求項１〜５のいずれか一項に記載の通信装置。
7. 前記通信装置は、
   第１の音出力部と、
   第２の音出力部と、
   前記通信装置のユーザが対話を開始したか否かを判定する対話判定部と、
   を備え、
   前記制御部は、前記出力制御において、前記他の通信装置から受信される音声を前記第１の音出力部に出力させ、前記対話判定部により前記通信装置のユーザが前記対話を開始したと判定された後、前記他の通信装置から受信される音声を前記第２の音出力部に出力させる、請求項１〜４のいずれか一項に記載の通信装置。
8. 前記第２の音出力部はハンドセットに設けられる、請求項７に記載の通信装置。
9. 通信装置により実行される方法であって、
   他の通信装置から対話要求を受信することと、
   前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始することと、
   前記出力制御の開始後に、呼びかけの音による通知を制御することと、
   前記他の通信装置から受信される映像および音声の出力制御の開始と併せて、前記通信装置への入力画像および入力音声の前記他の通信装置への送信制御を開始することと、
   を含む、方法。
10. 通信装置により実行される方法であって、
    他の通信装置から対話要求を受信することと、
    前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始することと、
    前記出力制御の開始後に、呼びかけの音による通知を制御することと、
    前記対話要求の受信の前においては、前記他の通信装置のユーザを含む俯瞰映像の出力を制御し、前記対話要求の受信に基づき、前記俯瞰映像の出力の制御を停止することと、
    を含む、方法。
11. 通信装置により実行される方法であって、
    他の通信装置から対話要求を受信することと、
    前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始することと、
    前記出力制御の開始後に、呼びかけの音による通知を制御することと、
    前記対話要求の受信の前においては、前記他の通信装置の側の環境音の出力を制御し、前記対話要求の受信に基づき、前記環境音の出力の制御を停止することと、
    を含む、方法。
12. コンピュータを、
    通信装置であって、
    他の通信装置から対話要求を受信する受信部と、
    前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、
    を備え、
    前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記他の通信装置から受信される映像および音声の出力制御の開始と併せて、前記通信装置への入力画像および入力音声の前記他の通信装置への送信制御を開始する、通信装置として機能させるための、プログラム。
13. コンピュータを、
    通信装置であって、
    他の通信装置から対話要求を受信する受信部と、
    前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、
    を備え、
    前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記対話要求の受信の前においては、前記他の通信装置のユーザを含む俯瞰映像の出力を制御し、前記対話要求の受信に基づき、前記俯瞰映像の出力の制御を停止する、通信装置として機能させるための、プログラム。
14. コンピュータを、
    通信装置であって、
    他の通信装置から対話要求を受信する受信部と、
    前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される映像および音声の出力制御を開始する制御部と、
    を備え、
    前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記対話要求の受信の前においては、前記他の通信装置の側の環境音の出力を制御し、前記対話要求の受信に基づき、前記環境音の出力の制御を停止する、通信装置として機能させるための、プログラム。
15. 通信装置であって、
    他の通信装置から対話要求を受信する受信部と、
    前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される音声の出力制御を開始する制御部と、
    を備え、
    前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記他の通信装置から受信される音声の出力制御の開始と併せて、前記通信装置への入力音声の前記他の通信装置への送信制御を開始する、通信装置。
16. 通信装置であって、
    他の通信装置から対話要求を受信する受信部と、
    前記受信部による前記対話要求の受信の後に、前記通信装置のユーザによる前記対話要求への応答の有無によらず、前記他の通信装置から受信される音声の出力制御を開始する制御部と、
    を備え、
    前記制御部は、前記出力制御の開始後に、呼びかけの音による通知を制御し、前記対話要求の受信の前においては、前記他の通信装置の側の環境音の出力を制御し、前記対話要求の受信に基づき、前記環境音の出力の制御を停止する、通信装置。
    

Images