JPH11136369A

JPH11136369A - 多地点間接続音声制御装置

Info

Publication number: JPH11136369A
Application number: JP9296832A
Authority: JP
Inventors: Hajime Suzuki; 鈴木　　元; Hiroya Tanigawa; 博哉谷川; Tokuo Seta; 徳雄瀬田; Ko Morita; 皇守田; Sumihiro Tanaka; 純裕田中
Original assignee: NTT Software Corp
Current assignee: NTT Software Corp
Priority date: 1997-10-29
Filing date: 1997-10-29
Publication date: 1999-05-21

Abstract

(57)【要約】【課題】本発明は複数の同時利用者の中から話者を判
定し判定結果を利用した音声サービスを行う多地点間接
続音声制御装置及び方法の提供を目的とする。【解決手段】複数の利用者が同一の音声空間を共有し
会話できる本発明の多地点間接続音声制御装置は、通信
網を介して複数台の利用者端末を接続し、音声入出力機
能を実現するインタフェース手段と、受信された利用者
端末からの音声を加算する手段と、加算された音声を他
の利用者端末に分配する手段と、接続されている利用者
の識別子を視覚的に画面に表示する手段と、利用者から
の音声レベルが所定の時間間隔に亘って所定の閾値を上
回る場合に利用者が話者であると判定する手段と、話者
であると判定されている期間中、話者標識を利用者の識
別子に付加する手段とにより構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声会議サービス
のように、多地点の利用者端末を通信網を介して接続
し、利用者の識別子情報及び利用者の音声情報を利用す
る多人数参加型の音声サービスに関する。

【０００２】

【従来の技術】従来の多人数参加型の音声サービスとし
て、多人数同時参加機能と、単純なミキサ機能とを有
し、同報性を実現する所謂“パーティライン”と称され
る電話サービスが公知である。このような電話サービス
の場合、多人数の参加者の中で誰が発言しているかを判
断する方法は参加者の運用に任されている。従って、所
謂“パーティライン”のような電話サービスの利用者
は、誰が発言したのかを明確に判断しにくい場合があ
り、多数の参加者間でコミュニケーションを行う際に不
便が生じる。

【０００３】また、音声チャットシステムの一例として
OnLive Technologies 社により提供される仮想空間音声
チャットシステムOnLiveが公知である。仮想空間音声チ
ャットシステムOnLiveでは、ある利用者が音声を発して
いる場合に、利用者からのパケット受信により空間内の
アバタ（仮想空間内の利用者の分身像）の口を開閉させ
て話者を識別する。従って、ある特定の利用者が単独で
音声を発している場合、利用者は話者を特定することが
可能である。しかし、上記仮想空間音声チャットシステ
ムでは、多数の利用者が同時に音声を発した場合に仮想
空間内の複数のアバタの口が開閉されるので、実際上、
利用者は話者を特定することが困難である。

【０００４】他の多人数参加型の音声サービスを提供し
得るシステムとして、テレビ会議システムが公知であ
る。テレビ会議システムの場合、利用者は、音声情報だ
けではなく、画像情報を使用することが可能である。こ
の場合、利用者は画面に表示された参加者の映像を観る
ことにより複数の参加者の中から話者を特定することが
できる。しかし、上記テレビ会議システムでは、音声情
報と共に画像情報を用いることができるとしても、多数
の利用者が同時に音声を発している場合、利用者は画面
に表示された複数の利用者の映像から話者を特定するこ
とが必要であるため、多数の参加者間でのコミュニケー
ションの利便性に欠ける。

【０００５】

【発明が解決しようとする課題】上記の如く、従来の多
人数参加型の音声サービスシステムでは、利用者は容易
に話者を特定することができないため、音声サービスシ
ステムに付加価値を提供することが困難であり、音声サ
ービスシステムの応用が制限されている。従って、本発
明の目的は、複数の同時利用者の中から話者を判定し得
る多地点間接続音声制御装置及び方法、並びに、多地点
間音声制御プログラムを記録した記録媒体を提供するこ
とである。

【０００６】本発明の更なる目的は、複数の同時利用者
の中から話者を判定し、その話者の判定結果を用いて話
者に対するサービスを提供することである。

【０００７】

【課題を解決するための手段】上記本発明の目的は、複
数の同時利用者のいる音声サービスにおいて利用者の音
声レベルを実時間で測定することにより実現される。図
１は本発明の原理構成図である。同図に示された複数の
利用者が同一の音声空間を共有し会話できる本発明の多
地点間接続音声制御装置１は、通信網３を介して複数台
の利用者端末２₁，．．．，２_nを接続し、接続された
利用者端末との間で音声入出力機能を実現するインタフ
ェース手段１０と、上記インタフェース手段１０を介し
て受信された利用者端末からの音声を加算する音声加算
手段１２と、加算された音声を上記インタフェース手段
１０を介して他の利用者端末に分配する音声分配手段１
４と、上記インタフェース手段１０を介して接続されて
いる利用者を識別する識別子として視覚的に表示可能な
利用者識別子を画面に表示する利用者識別子表示手段１
６とにより構成され、上記インタフェース手段１０の後
段に接続され、利用者からの音声レベルを測定し、測定
された音声レベルが所定の時間間隔に亘って所定の閾値
を上回る場合に該利用者が話者であると判定し、それ以
外の場合には該利用者が話者ではないと判定する話者判
定手段１８と、上記話者判定手段１８において該利用者
が話者であると判定されている期間中、話者であること
を表わす標識を該利用者に対応する利用者識別子に付加
する話者識別手段２０とを更に有することにより複数の
同時利用者の中から話者を判定することを特徴とする。

【０００８】本発明の多地点間接続音声制御装置は、音
声レベルを感知し、音声レベルの大きさに応じて話者で
あるか否かを判定するので、音声レベルの所定の閾値に
達しないノイズ等を除去することが可能である。また、
本発明は、通信網３を介して接続された複数台の利用者
端末２₁，．．．，２_nとの間で音声入出力機能を実現
し、複数の利用者が同一の音声空間を共有し会話できる
多地点間接続音声制御方法である。本発明の多地点間接
続音声制御方法は、図２の本発明の原理説明図に示され
る如く、利用者端末から利用者の接続要求を受け、回線
を接続する段階（ステップ１）と、該利用者からの認証
情報を受け、該認証情報が正しいか否かを判定する段階
（ステップ２）と、該認証情報が正しくない場合、該利
用者端末との回線を切断する段階（ステップ４）と、該
認証情報が正しい場合、上記利用者端末からの利用者の
音声レベルを測定し、測定された音声レベルが所定の時
間間隔に亘って所定の閾値を上回る場合に該利用者が話
者であると判定し、それ以外の場合には該利用者が話者
ではないと判定する段階（ステップ５）と、利用者が話
者であると判定された場合、利用者端末から利用者の音
声を受信し、受信された音声を加算する段階（ステップ
７）と、上記加算された音声を接続されている利用者端
末に分配する段階（ステップ８）と、該利用者が話者で
あると判定されている期間中、話者であることを表わす
標識を該利用者に対応する利用者識別子に付加する段階
（ステップ９）と、接続されている利用者を識別する識
別子として上記利用者識別子を視覚的に表示する段階
（ステップ１０）とからなることを特徴とする。

【０００９】さらに、本発明は、複数の利用者が同一の
音声空間を共有し会話できる多地点間接続音声制御プロ
グラムを記録した記録媒体であって、上記多地点間接続
音声制御プログラムは、通信網３を介して複数台の利用
者端末２₁，．．．，２_nを接続し、接続された利用者
端末との間で音声入出力機能を実現させるプロセスと、
利用者端末から受信された利用者の音声を加算させるプ
ロセスと、加算された音声を他の利用者端末に分配させ
るプロセスと、接続されている利用者を識別する識別子
として視覚的に表示可能な利用者識別子を画面に表示さ
せるプロセスと、利用者からの音声レベルを測定し、測
定された音声レベルが所定の時間間隔に亘って所定の閾
値を上回る場合に該利用者が話者であると判定し、それ
以外の場合には該利用者が話者ではないと判定させるプ
ロセスと、該利用者が話者であると判定されている期間
中、話者であることを表わす標識を該利用者に対応する
利用者識別子に付加させるプロセスとにより構成され、
複数の同時利用者の中から話者を判定することを特徴と
する。

【００１０】

【発明の実施の形態】本発明の一実施例において、上記
閾値及び上記時間間隔は、利用者の回線状態に応じて選
択可能である。或いは、上記閾値は２乃至８ｄｂｐの範
囲から選択され、上記時間間隔として５ｍｓが選択され
る。上記話者識別手段は上記話者判定手段において利用
者が話者であると判定されている期間を蓄積する手段を
有し、上記利用者識別子表示手段は上記蓄積された期間
を上記話者であると判定された利用者に対応する利用者
識別子と共に表示するよう構成されてもよい。

【００１１】本発明に従って複数の同時利用者の中から
話者を判定し、その話者の判定結果を用いることにより
提供される話者に対するサービスの一例は、多人数の参
加者のグルーピングである。従来のパーティラインのよ
うな音声サービスでは、参加者のグルーピングは交換機
側で行われている。従って、利用者（例えば、語学サー
ビスの場合の講師）は参加者のグルーピングを行うこと
ができない。

【００１２】図３は参加者のグルーピングを行う多地点
接続音声制御装置の構成図である。多地点接続音声制御
装置１は、通信網３を介して複数台の利用者端末
２₁，．．．，２_nを接続し、接続された利用者端末と
の間で音声入出力機能を実現するインタフェース部１０
と、上記インタフェース部１０を介して受信された利用
者端末からの音声を加算する音声加算部１２と、加算さ
れた音声を上記インタフェース手段１０を介して他の利
用者端末に分配する音声分配部１４と、上記インタフェ
ース部１０を介して接続されている利用者を識別する識
別子として視覚的に表示可能な利用者識別子を画面に表
示する利用者識別子表示部１６とにより構成され、上記
インタフェース部１０の後段に接続され、利用者からの
音声レベルを測定し、測定された音声レベルが所定の時
間間隔に亘って所定の閾値を上回る場合に該利用者が話
者であると判定し、それ以外の場合には該利用者が話者
ではないと判定する話者判定部１８と、上記話者判定部
１８の前段に接続され、上記複数の利用者から選択され
た各グループ毎に個別の音声空間を共有し、会話できる
ようにするため、利用者のグループを形成するグルーピ
ング部２２を更に有することを特徴とする。

【００１３】かかるグルーピング機能は、本発明の語学
学習サービスに適用される。通常の語学学習サービス、
例えば、英会話のサービスでは、一人の講師がある程度
の人数の生徒に対し講義形式のレッスンを実施する。こ
のような形態のレッスンは、従来の英会話学校における
レッスンと略同等である。しかし、講義の進捗と共に講
師が生徒を適宜グループ分けしながらレッスンを進める
ことにより学習効果が高まる。本発明により提供される
グルーピング機能によれば、利用者が自由に参加者をグ
ルーピングすることができるので、かかるグルーピング
機能を語学学習サービスに適用することにより講師は必
要に応じて生徒をグループ分けできるようになる。

【００１４】図４は本発明の語学学習システムにおける
多地点間接続音声制御装置１の効製図である。同図に示
す音声制御装置１は、通信網３からの接続に関し、回線
から音声制御装置１に入力された情報を音声制御装置１
での処理に適応した形式に変換する回線インタフェース
５０と、各利用者の音声を必要に応じて共有、分離する
音声加算部６２と、音声加算部から得られた情報に基づ
いて、各利用者に送信されるべき音声を送出する音声分
配部６８と、利用者を識別する視覚的な情報を提供する
コントロール部５８とにより構成される。

【００１５】音声制御装置１は、回線インタフェース５
０と音声加算部６２との間に接続され、回線インタフェ
ース５０に接続された回線を指定された音声加算部６２
に接続し、音声送信部６８より送られた音声情報を各回
線インタフェース５０に分配する回線制御処理部５２
と、回線制御処理部５２と音声加算部６２との間に接続
され、各回線から得られた音声情報に基づいて発話状況
を取得する話者検出部５４と、話者検出部６４とコント
ロール部５８との間に接続され、話者検出部６４から得
られた情報をコントロール部５８等の外部に出力するた
めの信号に変換する話者情報処理部６６と、回線制御処
理部５２、話者情報処理部６６及び音声加算部６２と、
コントロール部５８との間に接続され、回線制御処理部
５２、話者情報処理部６６及び音声加算部６２から得ら
れた音声関連情報をコントロール部５８に供給し、コン
トロール部５８から受けた情報を音声制御のための制御
情報に変換して回線制御処理部５２、話者情報処理部６
６及び音声加算部６２に供給し、音声関連情報と、コン
トロール部５８からの情報とを比較し、比較結果に基づ
いて回線制御処理部５２、話者情報処理部６６及び音声
加算部６２を制御する信号、並びに、コントロール部５
８を制御する情報を生成、送出する命令処理部５６と、
回線制御処理部５２、話者情報処理部６６及び音声加算
部６２と、命令処理部５６との間に接続され、回線制御
処理部５２、話者情報処理部６６及び音声加算部６２に
付随する情報と、命令処理部５６から制御される情報を
授受する媒体としての外部入出力インタフェース５４
と、利用者とのユーザインタフェースを実現するコント
ロール用端末４４とを更に有し、コントロール部５８
は、コントロール部５８で使用される利用者情報等を提
供するデータベース部６０を含み、命令処理部５６から
要求されたデータベース情報を命令処理部５６に提供
し、回線制御処理部５２、話者情報処理部６６及び音声
加算部６２から得られた情報に基づいて命令処理部５６
が処理した情報を取得し、命令処理部５６が処理した情
報に基づいて話者識別子として視覚情報を利用者に対し
提供することを特徴とする。

【００１６】

【実施例】以下、本発明による多地点間接続音声制御装
置を用いた音声サービスシステムの実施例について説明
する。以下の実施例で使用する多地点間接続音声制御装
置は、交換回線機能を実現する回線制御処理部と、ミキ
サ機能を実現する音声加算部とを有する。音声サービス
システムの各利用者は、多地点間接続音声制御装置に対
し普通の電話サービスと同じ手続（回線接続）を加え、
ＤＴＭＦ音若しくは発信者番号通知機能を用いた認証を
経ることにより、サービスを受けることが可能になる。

【００１７】図５は本発明による一般的な多地点間接続
音声制御システムの構成図である。多地点間音声接続制
御装置は、回線インタフェース及び回線制御処理機能を
実現する交換回線部１０、ミキサ部１２及び電源部３０
を含む本体部と、ＲＳ−２３２Ｃのようなラインを介し
て交換回線部１０に接続された制御用サーバ４０（例え
ば、ワークステーション）と、ＬＡＮを介して制御用サ
ーバ４０に接続されたデータベースサーバ４２とにより
構成される。利用者はＬＡＮを介して制御用サーバに接
続されたパーソナルコンピュータのような装置のコント
ロール用端末４４を介してシステムを管理する。

【００１８】多地点間接続制御装置１は、例えば、ＩＮ
Ｓネット１５００等に対応したＤＳＵ（ディジタルサー
ビスユニット）５を介して公衆網３に接続され、公衆網
３には多数の利用者端末２₁，２₂，．．．，２_nが接
続されている。また、システムの管理者用の音声端末４
６は公衆網３を介して多地点間接続音声制御装置１に接
続されている。

【００１９】本発明の音声サービスシステムの実施例で
行われる回線接続は、利用者が音声端末（一般家庭の電
話や携帯電話等）を用いて自分の接続したい相手先にダ
イアルし、公衆回線を通じて相手の音声端末に接続する
通常の電話サービスと同じ手続を介して実現することが
可能である。また、利用者の認証は、例えば次の手順に
従って行われる。最初に、利用者の認証情報が、例え
ば、プッシュ回線、ＩＮＳ回線を用いて、回線接続をし
た後、利用者から相手先の端末に対してプッシュボタン
を用いて入力される。交換回線部１０は、必要に応じた
認証情報をキャッチし、受信した情報を制御用サーバ４
０に通知する。制御用サーバ４０はデータベースサーバ
４２から情報を取得し、利用者から入力された認証情報
が正しいか否かを比較する。

【００２０】或いは、認証情報の入力の代わりに、例え
ば、日本電信電話株式会社により提供される発信者番号
サービスを利用してもよい。この場合、ＤＴＭＦ音によ
るプッシュボタンを用いた認証情報の入力は省略され
る。次に、本発明による音声サービスシステムの第１の
実施例として、例えば、電話英会話サービスのような語
学学習サービスシステムについて説明する。

【００２１】図６は、本発明の第１の実施例の語学学習
サービスシステムの概略図を示す。図４に示されたシス
テムとの相違点は、図４では１台の端末だけが接続され
ている構成を示しているのに対し、図６は複数台の端末
が接続されている構成を示している点である。以下、図
６を参照して語学学習サービスシステムの動作を説明す
る。

【００２２】本サービスは受講者及び講師の両方の立場
でサービスを形成する。受講者（利用者）は、音声端末
（電話機）２を用い、サービスの提供される時間にあわ
せ、通信網３を通じて音声制御装置１に接続する。音声
制御装置１内では、音声端末２から接続されると同時に
回線インタフェース５０を通じ、回線制御処理部５２に
接続信号を渡す。回線インタフェース５０は、通信網３
に接続され、回線から入力された情報を音声制御装置１
に適応した形式に変換する。

【００２３】回線制御処理部５２は、回線インタフェー
ス５０からの接続信号に基づいて外部入出力インタフェ
ース５４を介して命令処理部５６に接続情報を渡す。接
続情報を受け取った命令処理部５６は、コントロール部
５８内のデータベース６０に登録された情報との比較を
行い、接続の可否を判定する。接続情報が正しい場合
は、コントロール部５８は、命令処理部５６及び外部入
出力インタフェース５４を介して、接続されている回線
の音声加算を開始する情報を音声加算部６２へ伝える。
このコントロール部５８から音声加算部６２への情報
は、コントロール部５８側で指定された（若しくは事前
に設定された）話者グループ情報を含むことが可能であ
り、話者グループ情報は音声加算部６２の選択情報とし
ても利用され得る。これにより話者のグルーピングを行
うこと可能になる。

【００２４】図７を参照して本システムにより提供され
るグルーピングについて説明する。以下の説明では、例
えば、音声加算部は複数台のミキサにより構成され、各
ミキサは、夫々、４つの回線情報を加算する機能を持っ
ている場合を考える。また、同図の例では、上記回線制
御処理部はミキサ選択スイッチにより実現されている。
尚、ミキサの４回線分の入力の中の１回線分は、ミキサ
を連結するため使用されるミキサ選択スイッチのため確
保されているので、実際には１個のミキサは３回線分の
情報を加算する。従って、４回線以上の情報を同時に加
算する場合に図７に示すような方法で制御を行なう。

【００２５】図７の例では、４回線の複数の話者が端末
１、端末２、端末３及び端末４が、４回線を同時にミキ
シング可能な二つのミキサＡ及びミキサＢを用いて装置
に接続されている。最初に、各端末からの信号入力は、
別個のミキサ選択スイッチに入力される。各ミキサ選択
スイッチは、夫々に選択されたミキサＡ又はＢのうちの
一方に接続されている。端末１、２及び３に接続された
ミキサ選択スイッチ１１０、１１１及び１１２はミキサ
Ａに接続され、端末４に接続されたミキサ選択スイッチ
１１５はミキサＢに接続される。ここで、ミキサ選択ス
イッチ１１０からの出力はミキサＡの入力部に接続さ
れ、これに対応して、ミキサＡの音声送信部からの出力
はミキサ選択スイッチ１１０に接続されることに注意す
る必要がある。このように、各端末は特定のミキサ選択
スイッチに対応し、さらに、各ミキサ選択スイッチは必
ず単一のミキサと対応する。これにより、本システムは
利用者と回線の関係を一定に保持することが可能であ
る。

【００２６】実際には、ミキサ選択スイッチとミキサと
の間には、各ミキサ選択スイッチに対応した話者検出部
が設けられ、ミキサ選択スイッチを介して端末から入力
された音声情報を受けて話者検出を行う。図面の簡単化
のため、図７において音声検出部は、●で表わされてい
る。直結されていないミキサＡとミキサＢとを用いて４
回線以上の回線の情報を同時に加算するため、ミキサＡ
に接続されたミキサ選択スイッチ１１３と、ミキサＢに
接続されたミキサ選択スイッチ１１４とが設けられ、ミ
キサ選択スイッチ１１３及び１１４の音声回線選択側の
入力ポートと出力ポートが相互に接続されている。これ
により、端末１、２及び３の３回線分の加算結果をミキ
サＡの音声送信部からミキサ選択スイッチ１１３に入力
し、次に、ミキサ選択スイッチ１１３の音声回線選択側
の出力ポートからミキサ選択スイッチ１１４の音声回線
選択側の入力ポートに上記ミキサＡ側の加算結果を送
る。続いて、この加算結果は、ミキサ選択スイッチ１１
４のミキサ選択側の出力ポートからミキサＢの入力部に
送られる。ミキサＢは、ミキサ選択スイッチ１１４から
受けた加算結果と、ミキサ選択スイッチ１１５から受け
た端末４からの信号入力とを加算する。その結果とし
て、端末１、２、３及び４からの信号入力の累積が得ら
れる。このようにして、４回線からの情報を同時に加算
することが可能である。尚、ミキサ選択スイッチ１１３
及び１１４からミキサＡ及びＢへの接続線上にも話者検
出器が設けられているが、これらの話者検出器は、シス
テムの柔軟性等を考慮して設けられているが通常の話者
検出を行わないことは明らかである。

【００２７】ミキサとミキサ選択スイッチを同様の形態
で配置・接続することにより、必要に応じた数のミキシ
ング機能が実現され得る。また、回線の数を増加させる
方法として、加算部だけでなく、音声制御装置を複数個
連続させてもよい。即ち、一方の音声制御装置の音声出
力をもう一方の音声制御装置に入力することで、収容可
能な回線の数を更に増やすことも可能である。

【００２８】本発明の実施例によれば、１装置につき６
４個のミキサを内蔵し、２つの音声制御装置間で連携す
ることも可能である。接続後は話者のグループ情報を必
要に応じてコントロール部５８で制御し、音声加算部６
２を切り替えることでグループの変更を行うことも可能
である。上記のグルーピングが必要に応じて実行され、
音声加算部６２において加算が開始された時点で、話者
検出部６４は、回線制御処理部５２から渡される音声情
報をもとに、音声レベルチェックを開始し、実時間で話
者情報処理部６６に情報を提供する。音声レベルチェッ
クでは、例えば、利用者からの音声情報の音声レベルを
測定し、測定された音声レベルが所定の時間間隔に亘っ
て所定の閾値を上回る場合にその利用者が話者であると
判定し、それ以外の場合にはその利用者が話者ではない
と判定することが可能である。上記閾値及び上記時間間
隔は、利用者の回線状態に応じて選択可能である。或い
は、好ましくは、上記閾値は２乃至８ｄｂｐの範囲から
選択され、上記時間間隔として５ｍｓが選択される。

【００２９】話者情報処理部６６は、話者検出部６４か
ら得られた発話情報を音声制御装置本体部から外部に出
力するための信号に変換し、変換された情報は外部イン
タフェース５４を介して、命令処理部５６、コントロー
ル部５８へと伝達される。これによって、コントロール
部５８は、各音声端末からの接続情報と、発話情報を実
時間で取得することができる。

【００３０】音声加算部６２の下流に接続された音声送
信部６８は、音声加算部６２から得られた情報に基づい
て、回線制御処理部５２に渡す音声を送る。回線制御処
理部５２は、回線インタフェース５０に接続された情報
を指定された音声加算部６２に接続する機能と、音声送
信部６８から送られた音声情報を各回線インタフェース
に分配する機能とを備えている。

【００３１】一方、接続情報を受け取った命令処理部５
６がコントロール部５８内のデータベース６０に登録さ
れた情報との比較を行った結果、接続情報が不正である
場合に、命令処理部５６は、外部入出力インタフェース
５４を介して回線制御処理部５２に回線切断信号を送
る。回線切断信号を受け取った回線制御処理部５２は即
座に回線の切断処理を行い、回線を解放する。

【００３２】複数の受講者が参加した場合は、各受講者
を示す情報と回線インタフェース情報とが組み合わさ
れ、各受講者に対応した回線が予め一意に示されるよう
にさせた後に、コントロール部による制御が行われる。
図４に示したように、音声制御装置１は複数の回線（Ｉ
ＮＳ１５００の場合には最大６９回線）を収容するため
に、収容可能な回線分の回線インタフェース５０が設け
られる。

【００３３】図６には収容可能な回線分の回線インタフ
ェース５０を有するシステムが示されている。受講者
（利用者）が本システムに対し接続を要求した場合、各
受講者に対しランダム的に回線インタフェース５０が割
り当てられる。各回線インタフェース５０にはシーケン
シャルな番号が付けられているが、接続してきた受講者
との関係を示す情報は保持されない。この場合、コント
ロール部５８では、どの回線から発生した情報であるか
に関する情報しか得られないことになる。そのため、上
記認証の実行時に、コントロール部５８において回線と
受講者（利用者）との関係が認識できるように、認証情
報としてＩＤ若しくはパスワードの入力、又は、発信者
番号サービスが利用される。これにより、正常な接続が
行われたとき、コントロール部５８は、各受講者と回線
との一意の対応関係を得る。即ち、接続時の認証の際
に、回線インタフェース部のシーケンシャルな番号と受
講者との対応関係が作成される。

【００３４】また、図６における音声加算部６２の出力
の個数は利用者端末の台数と一致し、音声加算部６２の
出力の種類の個数はグルーピングにより生成されたグル
ープの個数と一致する。一方、講師側は、パソコン等で
操作可能なコントロール用端末４４で、受講者の接続状
況と会話状況をモニタすることが可能である。図８に画
面のイメージ図を示す。同図に示された画面はコントロ
ール用端末４４の表示部であり、コントロール部５８の
機能の一部として実現される。

【００３５】講義は回線制御処理部５２と音声加算部６
２とを利用して提供される。提供される講義形式には、
参加者のRoomNoを自由に指定することで参加者全員に対
するレクチャー形式で行われるレッスン（従来の単純な
加算による複数人同時参加型の音声制御装置と同様のレ
ッスン）と、（参加者毎に異なるRoomNoを指示される場
合などのように）ペアワークまたは複数人のグループレ
ッスンによる対話形式のレッスンとがを含まれる。ここ
で、RoomNoとは上記話者グループ情報に対応し、グルー
ピングに関する情報を表わす番号であり、グループを特
定するための手段として利用される。より厳密に言う
と、グルーピングを行う際にどの音声加算装置にどの回
線を接続するかを選択するためにRoomNoが使用される。

【００３６】講師は図８に示されたコントロール用端末
４４を介してグルーピングの設定変更を行い得る。図８
に示された回線コントロール部はクリックボタンにより
構成され、同図の例では、１から４までのボタンをマウ
スで押すことにより、対応する利用者の属するグループ
を自由に選択することができる。変更された利用者のグ
ループの情報は、コントロール部５８、命令処理部５
６、及び外部入出力インタフェース５４を介して音声加
算部６２に供給される。音声加算部６２では、入力され
た利用者のグループの情報に応じて、音声加算部６２内
のミキサ選択スイッチを切り替える。この結果として、
グループの設定変更がなされた利用者は、変更前に入力
されていた情報とは切り離されて、新たにミキサ選択ス
イッチにより選択されたミキサからの情報を受けること
になる。かくして、グルーピングが変更される。

【００３７】また、本システムによれば、装置に接続し
ている全ての利用者の情報がコントロール用端末４４を
介して認識できる点に特徴がある。そのために、図１の
話者検出部６４において、測定された音声が手動、若し
くは、フィードバック機能をもった回路を用いて自動的
に設定可能な所定の閾値を所定の時間に亘り超えたこと
を検知した場合に、その音声を発した受講者（利用者）
が話者であることを判定する。コントロール部５８は、
外部入出力インタフェース５４を介して話者の判定結果
の情報を実時間で検知すると共に、その情報をコントロ
ール用端末４４に連続的に送る。この結果として、図７
に示されるように、利用者と対応させた領域の色情報を
白から灰色に変更・点滅するなどによって画面の表示を
実時間で変更させる手段を用いることにより、利用者の
情報を視覚的な情報（図８の話者情報表示部）として表
示させることができる。

【００３８】コントロールソフトをモニタする講師は、
この機能によって利用者の発話状況を実時間で確認でき
る。また、コントロール部５８は、例えば、１秒単位で
発話しているか否かをサンプリングし、発話しているな
らば発話時間の総量を＋１ずつすることにより発話状況
を加算し、その蓄積情報をグラフ表示することで（図８
の発話量表示部を参照のこと）、発話の量を定量的に測
定することが可能である。

【００３９】このため、レッスンに参加している受講者
が、積極的に会話を行っているかどうかを講師が視覚的
に判断することができ、発話が行われていない利用者に
対し、講師が確認することで、不明な点などのアドバイ
スが可能になる。さらに、従来の英会話サービスにはな
かった発話量の定量的な測定によって多くの発言を促す
ような指示を出すことが可能になる。

【００４０】上記話者検出機能を実現するために本シス
テムでは、音圧レベルの検出方式として、我が国（アメ
リカなどの北米を含む）で一般的な信号圧縮方式である
ミュー則PCM 符号の絶対値を用いている。これは、音声
レベルの閾値が低すぎたり、測定間隔が短すぎると、利
用者の発生する音声以外の雑音に対して誤認を行う可能
性があるためである。また、話者検出は最小5ms 間隔で
実施可能であるが、会話としての意図が明確に示しやす
いようなレベルとして１秒間隔程度の表示間隔を設定し
た。また閾値レベルは、個々の回線に対し聞こえにくい
などの状態が発生した場合、手動によりコントロール部
側から0dB-32dBの範囲で設定変更可能とし、個々の雑音
レベルに対する処置も同様の処理で対処可能とした。

【００４１】上記の機能を利用することで従来にはな
い、高機能の複数人同時参加型の英会話サービスを提供
できるようになった。次に、本発明による音声サービス
システムの第２の実施例として、電話会議サービスへの
適用例について図６を参照して説明する。本サービスで
はネットワーク上にあるデータベースと連携し、事前に
予約された利用者情報をもとに、複数地点の利用者の音
声制御装置への接続を行う。本サービスは議長、および
会議参加者の立場でサービスを形成する。参加者は、音
声端末（電話機）を用い、サービスの提供される時間に
あわせ、通信網３を通じて音声制御装置に接続する。

【００４２】音声制御装置内では、接続されると同時に
回線インタフェース５０を通じ、回線制御処理部５２に
接続信号を渡す。回線制御処理部５２はこの接続情報を
基に、外部入出力インタフェース５４を介し、命令処理
部５６へと情報を渡す。接続情報を受け取った命令処理
部５６ではコントロール部５８に登録されたデータベー
ス情報との比較を行い、接続の可否を下す。

【００４３】正しい場合は、コントロール部５８から命
令処理部５６及び外部入出力インタフェース５４を通
じ、接続されている回線の音声情報を音声加算部６２へ
伝え、加算開始信号を渡す。コントロール部５８側で指
定された（もしくは事前に設定された）話者グループ情
報も音声加算部６２の選択情報として利用される。これ
によって話者のグルーピングが実行（選択）される。

【００４４】接続後は話者のグループ情報を必要に応じ
てコントロール部５８で制御し、音声加算部６２への入
力を切り替えることでグループの変更を行うことが可能
である。グルーピングが実行され加算が開始された時点
で、話者検出部６４では回線制御処理部５２から渡され
る音声情報をもとに、音声レベルチェックを開始し、実
時間で話者情報処理部６６へと情報を提供する。ここで
得られた情報は、外部インタフェース５４を通じ、命令
処理部５６、コントロール部５８へと渡されて行く。こ
れによって、コントロール部５８では、各音声端末から
の接続情報と、発話情報を実時間で取得することができ
る。

【００４５】不正な場合は、命令処理部５６から外部入
出力インタフェース５４を通じ、回線制御処理部５２に
回線切断信号を送る。回線切断信号を受け取った回線制
御処理部５２は即座に回線の切断処理を行い、回線を解
放する。複数の参加者がいた場合は、それぞれの参加者
を区別する情報と回線インタフェース情報を組み合わ
せ、その回線が一意に示せるようにしたうえで、コント
ロール部で制御を行う。

【００４６】一方、議長側は、パソコン等で操作可能な
コントロール用端末４４で、参加者の接続状況と会話状
況をモニタすることが可能である。会議は回線制御処理
部５２と音声加算部６２を利用して、（参加者全員が同
じRoomNoを指示された場合など）参加者全員に対する講
演形式の会議（従来の単純な加算による複数人同時参加
型の会議）と、（複数の講演に参加者が分かれる場合の
ように）グループ別会議を提供できる。

【００４７】また、本装置の特徴として、回線制御処理
装置による加算装置だけではなく、装置に接続している
全ての利用者の情報を提供する。そのため、図１の話者
検出部６４で測定された音声に対し、（手動若しくはフ
ィードバック機能をもった回路を設置することで自動で
設定可能な）所定の閾値を所定の時間超えた音声を検知
した場合に、その利用者が話者であることを特定し、コ
ントロール部５８は、外部入出力インタフェース５４を
通じて実時間で検知するとともに利用者に関する情報を
連続的にコントロール用端末４４に送る。その結果とし
て、図８に示されるように、利用者と対応させた領域の
色情報を白から灰色に変更・点滅するなどし、実時間で
変更させる手段によって、視覚的な情報（話者情報表示
部）として表示させることができる。コントロールソフ
トをモニタする議長は、この機能によって利用者の発話
状況を実時間で確認できる。また、コントロール部側で
発話の総量を＋１するなどしてその発話状況を秒単位で
加算し、その蓄積情報をグラフ表示（発話量表示部）す
ることで、発話の量を定量的に測定することが可能であ
る。

【００４８】ただし、会議システムの場合、利用者の多
くが話者情報を知る必要があるため、希望者がネットワ
ークを通じてその情報を確認できるようにしている。た
だし、全ユーザのグループをコントロールする機能は議
長となる利用者のみに提供し、コントロールの制御を集
中させている。もっとも、コントロール部側の設定によ
り、全員がコントロールする機能を有する事も可能であ
る。

【００４９】また、本システムでは、コントロール用端
末としてパソコンを利用することで、簡単なビデオ画像
などの同時配信も可能であり、従来のテレビ会議システ
ムと同様の機能も付加することができる。本システムを
利用することで、複数名の参加するテレビ会議システム
では確認することの難しかった、話者の特定を行い、視
覚的に表現することができるようになり、コミュニケー
ションを行う上での不便さを解消することができるよう
になった。

【００５０】さらに、本発明による音声サービスシステ
ムの第３の実施例として、仮想空間システムサービスへ
の適用例について図９を参照して説明する。本システム
では、コンピュータ上で仮想空間を実現するシステムに
も応用が可能である。仮想空間を実現した本システム
は、ネットワーク上で構成され、仮想空間を共有するた
めに、同一の仮想空間モデルを有し、利用者は自分の意
志で自由に空間内を移動することが可能である。ただ
し、他の利用者も同じ仮想空間を移動できるので、それ
を認知するために、自分の仮想空間内に他の利用者の分
身を用意する。このとき、各利用者は他の利用者に分身
の位置を認知させるために、位置情報と視線の向きを、
仮想空間制御装置８０を介して常時、他の利用者端末８
２に送信する。各端末は受信した他の利用者の位置情報
と視線の向き情報から、仮想空間内の該当位置に当該利
用者の分身を、向きを考慮して再配置する。

【００５１】このような仮想空間内において、コミュニ
ケーションの手段として、本音声制御装置を導入した。
本システムの音声制御装置には、仮想空間制御装置８０
に接続されている利用者でかつ、音声利用の登録情報が
あれば誰でも接続が可能である。本システムのように音
声のコミュニケーション手段を提供することで、より現
実に近い形の仮想空間が提供されるようになった。しか
し、本システムではさらに、仮想空間内の分身を操るあ
る利用者が、音声を発生したとすると、図９で示した話
者検出部６４が発せられた音声を測定し、一定の閾値を
一定時間超えると、話者と判断し、その情報を話者情報
処理部６６を通じて空間を管理するシステム８０へと情
報を提供することができる。空間を管理するシステムは
その情報を利用して、実時間で利用者の分身に対し、話
者の情報を明確にするために３次元のモデルを用いて、
口からものを吹き出し発しているように表示し、動的に
出力させるような制御機能を付与することができるよう
になった。

【００５２】また、本システムの音声加算部６２では仮
想空間制御装置８０から得られた空間内での位置情報を
基に音声加算時の増減を調整可能で、距離の離れた状態
では音声の加算レベルを低くすることで聞こえにくく
し、距離が接近した場合は加算レベルを高くすること
で、聞き易い音声を提供し、より現実に近い形で音声を
提供できるようになっている。

【００５３】これらの機能を利用することで、視覚的な
情報で話者を特定したり、音量の強弱で発話者との距離
を確認するなどのより現実に近い形での仮想空間が実現
できるようになった。また、上記の実施例では、多地点
間接続音声制御システムの構成要件に基づいて説明して
いるが、この例に限定されることなく、音声制御システ
ムの各々の構成要件をソフトウェア（プログラム）で構
築し、ディスク装置等に格納しておき、必要に応じて仮
想空間共有システムのコンピュータにインストールして
音声サービスを行うことも可能である。さらに、構築さ
れたプログラムをフロッピーディスクやＣＤ−ＲＯＭ等
の可搬記録媒体に格納し、このようなシステムを用いる
場面で汎用的に使用することも可能である。

【００５４】本発明は、上記の実施例に限定されること
なく、特許請求の範囲内で種々変更・応用が可能であ
る。

【００５５】

【発明の効果】上記の通り本発明によれば、複数の同時
利用者のいる音声サービスにおいて利用者の音声レベル
を実時間で測定することによって、話者を判定するの
で、利用者が発話しているか否かを自分で明示的に表示
しなくても、どの利用者が発話しているかを特定し表示
することが可能である。また、その判定結果を用いて、
話者に対するサービスが提供されるので、たとえば、電
話によるグループ会議での発言者特定などが実現され、
さらに、管理者によるミキサへの自由な制御が可能にな
るので、音声を用いた多人数参加型のコミュニケーショ
ンがより効果的に実現される。

【００５６】また、本発明によるグルーピング機能を語
学学習サービスに適用することにより、受講者を数名ず
つのグループに分けて受講者に話をする機会をより多く
提供し、かつ、他の受講者の声を聞くことなくレッスン
に集中できるという利点が得られる。また、自由なグル
ーピングができるため、レベルの近い受講者同士を組み
合わせることにより、効率的な指導を提供することが可
能になる。更に、このようなグルーピング機能を採用す
ることにより講師の人数を削減し、サービスの運営を効
率化される利点が得られる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の原理説明図である。

【図３】参加者のグルーピングを行う多地点接続音声制
御装置の構成図である。

【図４】本発明による語学学習システム（単独接続）の
音声制御装置の構成図である。

【図５】本発明による多地点間接続音声制御システムの
構成図である。

【図６】本発明の第１の実施例による語学学習システム
（複数端末接続）の構成図である。

【図７】本発明の第１の実施例による音声加算処理の説
明図である。

【図８】本発明の第１の実施例によるコントローラ画面
のイメージ図である。

【図９】本発明の第３の実施例による仮想空間システム
の構成図である。

【符号の説明】

１多地点間接続音声制御装置２₁，．．．，２_n 利用者端末３通信網１０インタフェース手段１２音声加算手段１４音声分配手段１６利用者識別手段１８話者判定手段２０話者識別手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者守田皇神奈川県横浜市中区山下町223番１エヌ・ティ・ティ・ソフトウェア株式会社内 (72)発明者田中純裕神奈川県横浜市中区山下町223番１エヌ・ティ・ティ・ソフトウェア株式会社内

Claims

【特許請求の範囲】

【請求項１】通信網を介して複数台の利用者端末を接
続し、接続された利用者端末との間で音声入出力機能を
実現するインタフェース手段と、上記インタフェース手段を介して受信された利用者端末
からの音声を加算する音声加算手段と、加算された音声を上記インタフェース手段を介して他の
利用者端末に分配する音声分配手段と、接続されている利用者を識別する識別子として視覚的に
表示可能な利用者識別子を画面に表示する利用者識別子
表示手段とにより構成され、複数の利用者が同一の音声空間を共有し会話できる多地
点間接続音声制御装置において、利用者からの音声レベルを測定し、測定された音声レベ
ルが所定の時間間隔に亘って所定の閾値を上回る場合に
該利用者が話者であると判定し、それ以外の場合には該
利用者が話者ではないと判定する話者判定手段と、上記話者判定手段において該利用者が話者であると判定
されている期間中、話者であることを表わす標識を該利
用者に対応する利用者識別子に付加する話者識別手段と
を更に有することを特徴とする多地点間接続音声制御装
置。