JP4531013B2

JP4531013B2 - 映像音声会議システムおよび端末装置

Info

Publication number: JP4531013B2
Application number: JP2006170167A
Authority: JP
Inventors: 武井上; 鑑豊島; 仁上松
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-06-20
Filing date: 2006-06-20
Publication date: 2010-08-25
Anticipated expiration: 2026-06-20
Also published as: JP2008005028A

Description

本発明は、ネットワークを介して会議を行うシステムに関する。特に、話頭切断の回避技術に関する。

例えば、特許文献１に開示されている映像音声会議方法では、各参加者の発話状態に基づいて話者を選択し、その話者の映像ストリームを受信する。

このような映像音声会議方法では、音声ストリームは常時配信されており、映像ストリームのみを選択的に受信する。これにより、参加者の発話に伴って、表示される参加者映像をリアルタイムに変更することができる。また、実際には、トラフィックや復号処理を軽減するために、音声ストリームを選択的に受信することも考えられる。

さらに、従来技術を図１および図２を参照して説明する。図１はシステム構成例を示す図である。図２は従来技術の説明に用いるシーケンス図である。図１のように、端末１〜３がネットワーク４に接続されている。説明を分かりやすくするために、同時にストリームを受信する参加者（話者）の数は１とする。

この会議システムでは、各端末装置がマイク音量などを基に発話中かどうかを判断し、発話状態が変化したら他の端末装置に通知する。通知を受信した端末装置は、発話中の端末装置に対してストリームを要求して受信する。ここでは、端末装置１に注目して説明を行うが、実際には全ての端末装置が同様に動作する。

図２のシーケンス図を用いて説明を行う。まず、端末装置２が発言を開始したとする。すると、端末装置２は発話状態の変化を端末装置１および３に通知する（図には端末装置１への通知のみを示す）。通知を受信した端末装置１は、端末装置２に「音声・映像要求」を送信する。端末装置２は、端末装置１に音声ストリームと映像ストリームとを送信する。

しばらくして、端末装置３が発言を開始し、発話状態の変化を通知したとする。このとき、端末装置１は、端末装置２に「音声・映像停止」を要求する。同時に、端末装置１は端末装置３に「音声・映像要求」を送信する。端末装置３は、端末装置１に音声ストリームと映像ストリームとを送信する。

しばらくして、端末装置２が発言を再開し、発話状態の変化を通知したとする。このとき、端末装置１は「音声・映像要求」を送信するが、端末装置２からの音声ストリームが届くまで再生することができない。このようにして、話頭切断が発生する。

特開２００５−３１１９１６号公報

発話状態によってストリームを選択的に受信する会議システムでは、発話を開始した直後に音声の先頭部分を配信できないことがある。この現象を「話頭切断」という。話頭切断が発生すると、発話者の説明の冒頭部分を聞き漏らすなど、会議参加者にとってストレスとなる。

このような話頭切断は、音声ストリームのみならず、映像ストリームについても同様に発生する。映像ストリームにおける話頭切断の場合でも、例えば、発話者が図面を指し示して説明を行っているような場合には、冒頭の説明を見逃すなど、会議参加者にとってストレスとなる。

本発明は、このような背景の下に行われたものであって、話頭切断を回避し、会議参加者はストレス無く会議を行うことができる映像音声会議システムを提供することを目的とする。

会議では多くの参加者が順番に発言することは少なく、少数の参加者が交互に発言することが多い。本発明は、この点に注目した発明であり、直近に発話していた参加者は、すぐに再び発話する可能性が高いと予想し、しばらく継続してストリームを受信しておくことを特徴とする。

すなわち、本発明は、複数の端末装置が相互に通信可能なネットワークに接続され、発話中の端末装置からの音声または映像ストリームをその他の端末装置が受信する映像音声会議システムであって、本発明の特徴とするところは、これまで発話中の端末装置における発話が終了した時点から所定時間は、その他の端末装置は、当該端末装置からの音声または映像ストリームを継続して受信するところにある。

これによれば、少数の参加者が交互に発言を繰り返した場合でも、話頭切断を回避することができる。

また、本発明を端末装置の観点から観ることができる。すなわち、本発明は、複数の端末装置が相互に通信可能なネットワークに接続され、発話中の端末装置からの音声または映像ストリームをその他の端末装置が受信する映像音声会議システムに適用される前記端末装置であって、本発明の特徴とするところは、これまで発話中の端末装置における発話が終了した時点から所定時間は、当該端末装置からの音声または映像ストリームを継続して受信する手段を備えたところにある。

また、本発明をプログラムの観点から観ることができる。すなわち、本発明は、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本発明の端末装置の機能に相応する機能を実現させるプログラムである。本発明のプログラムは記録媒体に記録されることにより、前記汎用の情報処理装置は、この記録媒体を用いて本発明のプログラムをインストールすることができる。あるいは、本発明のプログラムを保持するサーバからネットワークを介して直接前記汎用の情報処理装置に本発明のプログラムをインストールすることもできる。

これにより、汎用の情報処理装置を用いて、本発明の端末装置を実現することができる。

本発明によれば、話頭切断を回避し、会議参加者はストレス無く会議を行うことができる。

本発明の実施例を図３および図４を参照して説明する。図４に、端末装置の構成を示す。発話判定手段１０は、マイク音量などを基に発話中かどうかを判断し、発話状態が変化したら他の端末に通知する機能である。ストリーム要求手段１１は、他端末の発話状態変化通知を受信すると、その端末に対してストリーム受信開始または停止要求を送信する。ストリーム生成手段１２は、マイクやカメラの信号からストリームデータを生成し、要求されている端末に対して送受信手段１３を介して送信する機能である。送受信手段１３は、ネットワークを介して音声ストリームおよび映像ストリームを送受信する機能である。図には省略したが、端末は映像や音声を再生する装置（ディスプレイやスピーカなど）を備える。

図３のシーケンス図を用いて説明を行う。端末装置３が発言を開始したところまでは、従来技術と同じである。端末装置３が発言を開始し、発話状態の変化を通知したところから説明する。このとき、端末装置１は、端末装置２に「映像のみ停止」を要求し、音声は継続して受信することにする。同時に、端末装置１は端末装置３に「音声・映像要求」を送信する。端末装置３は、端末装置１に音声ストリームと映像ストリームとを送信する。端末装置１は、端末装置２および３の音声ストリームを受信するが、端末装置３のみを再生する。

しばらくして、端末装置２が発言を再開し、発話状態の変化を通知したとする。このとき、端末装置１は「通知を受信した直後から」端末装置２の音声を再生することができる。これによって話頭切断を回避することができる。この後、端末装置３が発言を開始したときも同様である。

この例では、音声ストリームのみを継続して受信したが、映像の話頭切断も避けたい場合には、映像ストリームも継続して受信すればよい。また、この例では、継続して受信する「非発話端末装置」の数を１としているが、参加者が多いときには増やしてもよい。また、非発話状態になってから継続して受信する条件を「時間」によって決定する（非発話状態になっても、例えば１０秒間は継続して受信する）。

また、本実施例は、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本実施例の端末装置の機能に相応する機能を実現させるプログラムとして実施することができる。このプログラムは、記録媒体に記録されて汎用の情報処理装置にインストールされ、あるいは通信回線を介して汎用の情報処理装置にインストールされることにより当該汎用の情報処理装置に、発話判定手段１０、ストリーム要求手段１１、ストリーム生成手段１２、送受信手段１３の機能にそれぞれ相応する機能を実現させることができる。汎用の情報処理装置は、例えば、汎用のパーソナル・コンピュータである。

本発明によれば、話頭切断を回避し、会議参加者はストレス無く会議を行うことができるので、ネットワークユーザの利便性を向上させることができる。また、ネットワーク運営者は、ネットワークを介して行われる会議を利用する多くのユーザを獲得することができる。

従来技術と本実施例の説明に用いるシステム構成図。従来技術の説明に用いるシーケンス図。本実施例の説明に用いるシーケンス図。本実施例の端末装置の構成図。

符号の説明

１〜３端末装置
４ネットワーク
１０発話判定手段
１１ストリーム要求手段
１２ストリーム生成手段
１３送受信手段

Claims

複数の端末装置が相互に通信可能なネットワークに接続され、発言を開始した端末装置が発話状態変化通知を他の全ての端末装置に送信し、該通知を受信したその他の端末装置が該通知の送信元の端末装置に音声・映像要求を送信し、前記発言を開始した端末装置が前記その他の端末装置に音声ストリームと映像ストリームとを送信することにより、前記発言を開始した端末装置からの音声ストリームと映像ストリームとを前記その他の端末装置が受信する映像音声会議システムにおいて、
前記端末装置は、
これまで受信していた音声ストリームおよび映像ストリームの送信元である第１の端末装置と別の第２の端末装置から前記発話状態変化通知を受信すると、
前記第１の端末装置に対しては映像のみ停止要求を送信し、前記第２の端末装置に対しては音声・映像要求を送信し、
前記第１の端末装置および前記第２の端末装置の双方からの音声ストリームと前記第２の端末装置からの映像ストリームとを受信し、
前記第２の端末装置からの音声ストリームと前記第２の端末装置からの映像ストリームのみを再生し、
前記発話状態変化通知を受信した時点から所定時間は、前記第１の端末装置からの音声ストリームを継続して受信する手段を備えた
ことを特徴とする映像音声会議システム。
複数の端末装置が相互に通信可能なネットワークに接続され、発言を開始した端末装置が発話状態の変化を他の全ての端末装置に通知し、該通知を受信したその他の端末装置が該通知の送信元の端末装置に音声・映像要求を送信し、前記発言を開始した端末装置が前記その他の端末装置に音声ストリームと映像ストリームとを送信することにより、前記発言を開始した端末装置からの音声ストリームと映像ストリームとを前記その他の端末装置が受信する映像音声会議システムに適用される前記端末装置において、
これまで受信していた音声ストリームおよび映像ストリームの送信元である第１の端末装置と別の第２の端末装置から前記発話状態変化通知を受信すると、
前記第１の端末装置に対しては映像のみ停止要求を送信し、前記第２の端末装置に対しては音声・映像要求を送信し、
前記第１の端末装置および前記第２の端末装置の双方からの音声ストリームと前記第２の端末装置からの映像ストリームとを受信し、
前記第２の端末装置からの音声ストリームと前記第２の端末装置からの映像ストリームのみを再生し、
前記発話状態変化通知を受信した時点から所定時間は、前記第１の端末装置からの音声ストリームを継続して受信する手段を備えた
ことを特徴とする端末装置。
汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、請求項２記載の端末装置の機能に相応する機能を実現させるプログラム。