JPH11136369A - 多地点間接続音声制御装置 - Google Patents
多地点間接続音声制御装置Info
- Publication number
- JPH11136369A JPH11136369A JP9296832A JP29683297A JPH11136369A JP H11136369 A JPH11136369 A JP H11136369A JP 9296832 A JP9296832 A JP 9296832A JP 29683297 A JP29683297 A JP 29683297A JP H11136369 A JPH11136369 A JP H11136369A
- Authority
- JP
- Japan
- Prior art keywords
- user
- voice
- speaker
- information
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Telephonic Communication Services (AREA)
Abstract
定し判定結果を利用した音声サービスを行う多地点間接
続音声制御装置及び方法の提供を目的とする。 【解決手段】 複数の利用者が同一の音声空間を共有し
会話できる本発明の多地点間接続音声制御装置は、通信
網を介して複数台の利用者端末を接続し、音声入出力機
能を実現するインタフェース手段と、受信された利用者
端末からの音声を加算する手段と、加算された音声を他
の利用者端末に分配する手段と、接続されている利用者
の識別子を視覚的に画面に表示する手段と、利用者から
の音声レベルが所定の時間間隔に亘って所定の閾値を上
回る場合に利用者が話者であると判定する手段と、話者
であると判定されている期間中、話者標識を利用者の識
別子に付加する手段とにより構成される。
Description
のように、多地点の利用者端末を通信網を介して接続
し、利用者の識別子情報及び利用者の音声情報を利用す
る多人数参加型の音声サービスに関する。
て、多人数同時参加機能と、単純なミキサ機能とを有
し、同報性を実現する所謂“パーティライン”と称され
る電話サービスが公知である。このような電話サービス
の場合、多人数の参加者の中で誰が発言しているかを判
断する方法は参加者の運用に任されている。従って、所
謂“パーティライン”のような電話サービスの利用者
は、誰が発言したのかを明確に判断しにくい場合があ
り、多数の参加者間でコミュニケーションを行う際に不
便が生じる。
OnLive Technologies 社により提供される仮想空間音声
チャットシステムOnLiveが公知である。仮想空間音声チ
ャットシステムOnLiveでは、ある利用者が音声を発して
いる場合に、利用者からのパケット受信により空間内の
アバタ(仮想空間内の利用者の分身像)の口を開閉させ
て話者を識別する。従って、ある特定の利用者が単独で
音声を発している場合、利用者は話者を特定することが
可能である。しかし、上記仮想空間音声チャットシステ
ムでは、多数の利用者が同時に音声を発した場合に仮想
空間内の複数のアバタの口が開閉されるので、実際上、
利用者は話者を特定することが困難である。
得るシステムとして、テレビ会議システムが公知であ
る。テレビ会議システムの場合、利用者は、音声情報だ
けではなく、画像情報を使用することが可能である。こ
の場合、利用者は画面に表示された参加者の映像を観る
ことにより複数の参加者の中から話者を特定することが
できる。しかし、上記テレビ会議システムでは、音声情
報と共に画像情報を用いることができるとしても、多数
の利用者が同時に音声を発している場合、利用者は画面
に表示された複数の利用者の映像から話者を特定するこ
とが必要であるため、多数の参加者間でのコミュニケー
ションの利便性に欠ける。
人数参加型の音声サービスシステムでは、利用者は容易
に話者を特定することができないため、音声サービスシ
ステムに付加価値を提供することが困難であり、音声サ
ービスシステムの応用が制限されている。従って、本発
明の目的は、複数の同時利用者の中から話者を判定し得
る多地点間接続音声制御装置及び方法、並びに、多地点
間音声制御プログラムを記録した記録媒体を提供するこ
とである。
の中から話者を判定し、その話者の判定結果を用いて話
者に対するサービスを提供することである。
数の同時利用者のいる音声サービスにおいて利用者の音
声レベルを実時間で測定することにより実現される。図
1は本発明の原理構成図である。同図に示された複数の
利用者が同一の音声空間を共有し会話できる本発明の多
地点間接続音声制御装置1は、通信網3を介して複数台
の利用者端末21 ,...,2n を接続し、接続された
利用者端末との間で音声入出力機能を実現するインタフ
ェース手段10と、上記インタフェース手段10を介し
て受信された利用者端末からの音声を加算する音声加算
手段12と、加算された音声を上記インタフェース手段
10を介して他の利用者端末に分配する音声分配手段1
4と、上記インタフェース手段10を介して接続されて
いる利用者を識別する識別子として視覚的に表示可能な
利用者識別子を画面に表示する利用者識別子表示手段1
6とにより構成され、上記インタフェース手段10の後
段に接続され、利用者からの音声レベルを測定し、測定
された音声レベルが所定の時間間隔に亘って所定の閾値
を上回る場合に該利用者が話者であると判定し、それ以
外の場合には該利用者が話者ではないと判定する話者判
定手段18と、上記話者判定手段18において該利用者
が話者であると判定されている期間中、話者であること
を表わす標識を該利用者に対応する利用者識別子に付加
する話者識別手段20とを更に有することにより複数の
同時利用者の中から話者を判定することを特徴とする。
声レベルを感知し、音声レベルの大きさに応じて話者で
あるか否かを判定するので、音声レベルの所定の閾値に
達しないノイズ等を除去することが可能である。また、
本発明は、通信網3を介して接続された複数台の利用者
端末21 ,...,2n との間で音声入出力機能を実現
し、複数の利用者が同一の音声空間を共有し会話できる
多地点間接続音声制御方法である。本発明の多地点間接
続音声制御方法は、図2の本発明の原理説明図に示され
る如く、利用者端末から利用者の接続要求を受け、回線
を接続する段階(ステップ1)と、該利用者からの認証
情報を受け、該認証情報が正しいか否かを判定する段階
(ステップ2)と、該認証情報が正しくない場合、該利
用者端末との回線を切断する段階(ステップ4)と、該
認証情報が正しい場合、上記利用者端末からの利用者の
音声レベルを測定し、測定された音声レベルが所定の時
間間隔に亘って所定の閾値を上回る場合に該利用者が話
者であると判定し、それ以外の場合には該利用者が話者
ではないと判定する段階(ステップ5)と、利用者が話
者であると判定された場合、利用者端末から利用者の音
声を受信し、受信された音声を加算する段階(ステップ
7)と、上記加算された音声を接続されている利用者端
末に分配する段階(ステップ8)と、該利用者が話者で
あると判定されている期間中、話者であることを表わす
標識を該利用者に対応する利用者識別子に付加する段階
(ステップ9)と、接続されている利用者を識別する識
別子として上記利用者識別子を視覚的に表示する段階
(ステップ10)とからなることを特徴とする。
音声空間を共有し会話できる多地点間接続音声制御プロ
グラムを記録した記録媒体であって、上記多地点間接続
音声制御プログラムは、通信網3を介して複数台の利用
者端末21 ,...,2n を接続し、接続された利用者
端末との間で音声入出力機能を実現させるプロセスと、
利用者端末から受信された利用者の音声を加算させるプ
ロセスと、加算された音声を他の利用者端末に分配させ
るプロセスと、接続されている利用者を識別する識別子
として視覚的に表示可能な利用者識別子を画面に表示さ
せるプロセスと、利用者からの音声レベルを測定し、測
定された音声レベルが所定の時間間隔に亘って所定の閾
値を上回る場合に該利用者が話者であると判定し、それ
以外の場合には該利用者が話者ではないと判定させるプ
ロセスと、該利用者が話者であると判定されている期間
中、話者であることを表わす標識を該利用者に対応する
利用者識別子に付加させるプロセスとにより構成され、
複数の同時利用者の中から話者を判定することを特徴と
する。
閾値及び上記時間間隔は、利用者の回線状態に応じて選
択可能である。或いは、上記閾値は2乃至8dbpの範
囲から選択され、上記時間間隔として5msが選択され
る。上記話者識別手段は上記話者判定手段において利用
者が話者であると判定されている期間を蓄積する手段を
有し、上記利用者識別子表示手段は上記蓄積された期間
を上記話者であると判定された利用者に対応する利用者
識別子と共に表示するよう構成されてもよい。
話者を判定し、その話者の判定結果を用いることにより
提供される話者に対するサービスの一例は、多人数の参
加者のグルーピングである。従来のパーティラインのよ
うな音声サービスでは、参加者のグルーピングは交換機
側で行われている。従って、利用者(例えば、語学サー
ビスの場合の講師)は参加者のグルーピングを行うこと
ができない。
接続音声制御装置の構成図である。多地点接続音声制御
装置1は、通信網3を介して複数台の利用者端末
21 ,...,2n を接続し、接続された利用者端末と
の間で音声入出力機能を実現するインタフェース部10
と、上記インタフェース部10を介して受信された利用
者端末からの音声を加算する音声加算部12と、加算さ
れた音声を上記インタフェース手段10を介して他の利
用者端末に分配する音声分配部14と、上記インタフェ
ース部10を介して接続されている利用者を識別する識
別子として視覚的に表示可能な利用者識別子を画面に表
示する利用者識別子表示部16とにより構成され、上記
インタフェース部10の後段に接続され、利用者からの
音声レベルを測定し、測定された音声レベルが所定の時
間間隔に亘って所定の閾値を上回る場合に該利用者が話
者であると判定し、それ以外の場合には該利用者が話者
ではないと判定する話者判定部18と、上記話者判定部
18の前段に接続され、上記複数の利用者から選択され
た各グループ毎に個別の音声空間を共有し、会話できる
ようにするため、利用者のグループを形成するグルーピ
ング部22を更に有することを特徴とする。
学習サービスに適用される。通常の語学学習サービス、
例えば、英会話のサービスでは、一人の講師がある程度
の人数の生徒に対し講義形式のレッスンを実施する。こ
のような形態のレッスンは、従来の英会話学校における
レッスンと略同等である。しかし、講義の進捗と共に講
師が生徒を適宜グループ分けしながらレッスンを進める
ことにより学習効果が高まる。本発明により提供される
グルーピング機能によれば、利用者が自由に参加者をグ
ルーピングすることができるので、かかるグルーピング
機能を語学学習サービスに適用することにより講師は必
要に応じて生徒をグループ分けできるようになる。
多地点間接続音声制御装置1の効製図である。同図に示
す音声制御装置1は、通信網3からの接続に関し、回線
から音声制御装置1に入力された情報を音声制御装置1
での処理に適応した形式に変換する回線インタフェース
50と、各利用者の音声を必要に応じて共有、分離する
音声加算部62と、音声加算部から得られた情報に基づ
いて、各利用者に送信されるべき音声を送出する音声分
配部68と、利用者を識別する視覚的な情報を提供する
コントロール部58とにより構成される。
0と音声加算部62との間に接続され、回線インタフェ
ース50に接続された回線を指定された音声加算部62
に接続し、音声送信部68より送られた音声情報を各回
線インタフェース50に分配する回線制御処理部52
と、回線制御処理部52と音声加算部62との間に接続
され、各回線から得られた音声情報に基づいて発話状況
を取得する話者検出部54と、話者検出部64とコント
ロール部58との間に接続され、話者検出部64から得
られた情報をコントロール部58等の外部に出力するた
めの信号に変換する話者情報処理部66と、回線制御処
理部52、話者情報処理部66及び音声加算部62と、
コントロール部58との間に接続され、回線制御処理部
52、話者情報処理部66及び音声加算部62から得ら
れた音声関連情報をコントロール部58に供給し、コン
トロール部58から受けた情報を音声制御のための制御
情報に変換して回線制御処理部52、話者情報処理部6
6及び音声加算部62に供給し、音声関連情報と、コン
トロール部58からの情報とを比較し、比較結果に基づ
いて回線制御処理部52、話者情報処理部66及び音声
加算部62を制御する信号、並びに、コントロール部5
8を制御する情報を生成、送出する命令処理部56と、
回線制御処理部52、話者情報処理部66及び音声加算
部62と、命令処理部56との間に接続され、回線制御
処理部52、話者情報処理部66及び音声加算部62に
付随する情報と、命令処理部56から制御される情報を
授受する媒体としての外部入出力インタフェース54
と、利用者とのユーザインタフェースを実現するコント
ロール用端末44とを更に有し、コントロール部58
は、コントロール部58で使用される利用者情報等を提
供するデータベース部60を含み、命令処理部56から
要求されたデータベース情報を命令処理部56に提供
し、回線制御処理部52、話者情報処理部66及び音声
加算部62から得られた情報に基づいて命令処理部56
が処理した情報を取得し、命令処理部56が処理した情
報に基づいて話者識別子として視覚情報を利用者に対し
提供することを特徴とする。
置を用いた音声サービスシステムの実施例について説明
する。以下の実施例で使用する多地点間接続音声制御装
置は、交換回線機能を実現する回線制御処理部と、ミキ
サ機能を実現する音声加算部とを有する。音声サービス
システムの各利用者は、多地点間接続音声制御装置に対
し普通の電話サービスと同じ手続(回線接続)を加え、
DTMF音若しくは発信者番号通知機能を用いた認証を
経ることにより、サービスを受けることが可能になる。
音声制御システムの構成図である。多地点間音声接続制
御装置は、回線インタフェース及び回線制御処理機能を
実現する交換回線部10、ミキサ部12及び電源部30
を含む本体部と、RS−232Cのようなラインを介し
て交換回線部10に接続された制御用サーバ40(例え
ば、ワークステーション)と、LANを介して制御用サ
ーバ40に接続されたデータベースサーバ42とにより
構成される。利用者はLANを介して制御用サーバに接
続されたパーソナルコンピュータのような装置のコント
ロール用端末44を介してシステムを管理する。
Sネット1500等に対応したDSU(ディジタルサー
ビスユニット)5を介して公衆網3に接続され、公衆網
3には多数の利用者端末21 ,22 ,...,2n が接
続されている。また、システムの管理者用の音声端末4
6は公衆網3を介して多地点間接続音声制御装置1に接
続されている。
行われる回線接続は、利用者が音声端末(一般家庭の電
話や携帯電話等)を用いて自分の接続したい相手先にダ
イアルし、公衆回線を通じて相手の音声端末に接続する
通常の電話サービスと同じ手続を介して実現することが
可能である。また、利用者の認証は、例えば次の手順に
従って行われる。最初に、利用者の認証情報が、例え
ば、プッシュ回線、INS回線を用いて、回線接続をし
た後、利用者から相手先の端末に対してプッシュボタン
を用いて入力される。交換回線部10は、必要に応じた
認証情報をキャッチし、受信した情報を制御用サーバ4
0に通知する。制御用サーバ40はデータベースサーバ
42から情報を取得し、利用者から入力された認証情報
が正しいか否かを比較する。
ば、日本電信電話株式会社により提供される発信者番号
サービスを利用してもよい。この場合、DTMF音によ
るプッシュボタンを用いた認証情報の入力は省略され
る。次に、本発明による音声サービスシステムの第1の
実施例として、例えば、電話英会話サービスのような語
学学習サービスシステムについて説明する。
サービスシステムの概略図を示す。図4に示されたシス
テムとの相違点は、図4では1台の端末だけが接続され
ている構成を示しているのに対し、図6は複数台の端末
が接続されている構成を示している点である。以下、図
6を参照して語学学習サービスシステムの動作を説明す
る。
でサービスを形成する。受講者(利用者)は、音声端末
(電話機)2を用い、サービスの提供される時間にあわ
せ、通信網3を通じて音声制御装置1に接続する。音声
制御装置1内では、音声端末2から接続されると同時に
回線インタフェース50を通じ、回線制御処理部52に
接続信号を渡す。回線インタフェース50は、通信網3
に接続され、回線から入力された情報を音声制御装置1
に適応した形式に変換する。
ス50からの接続信号に基づいて外部入出力インタフェ
ース54を介して命令処理部56に接続情報を渡す。接
続情報を受け取った命令処理部56は、コントロール部
58内のデータベース60に登録された情報との比較を
行い、接続の可否を判定する。接続情報が正しい場合
は、コントロール部58は、命令処理部56及び外部入
出力インタフェース54を介して、接続されている回線
の音声加算を開始する情報を音声加算部62へ伝える。
このコントロール部58から音声加算部62への情報
は、コントロール部58側で指定された(若しくは事前
に設定された)話者グループ情報を含むことが可能であ
り、話者グループ情報は音声加算部62の選択情報とし
ても利用され得る。これにより話者のグルーピングを行
うこと可能になる。
るグルーピングについて説明する。以下の説明では、例
えば、音声加算部は複数台のミキサにより構成され、各
ミキサは、夫々、4つの回線情報を加算する機能を持っ
ている場合を考える。また、同図の例では、上記回線制
御処理部はミキサ選択スイッチにより実現されている。
尚、ミキサの4回線分の入力の中の1回線分は、ミキサ
を連結するため使用されるミキサ選択スイッチのため確
保されているので、実際には1個のミキサは3回線分の
情報を加算する。従って、4回線以上の情報を同時に加
算する場合に図7に示すような方法で制御を行なう。
1、端末2、端末3及び端末4が、4回線を同時にミキ
シング可能な二つのミキサA及びミキサBを用いて装置
に接続されている。最初に、各端末からの信号入力は、
別個のミキサ選択スイッチに入力される。各ミキサ選択
スイッチは、夫々に選択されたミキサA又はBのうちの
一方に接続されている。端末1、2及び3に接続された
ミキサ選択スイッチ110、111及び112はミキサ
Aに接続され、端末4に接続されたミキサ選択スイッチ
115はミキサBに接続される。ここで、ミキサ選択ス
イッチ110からの出力はミキサAの入力部に接続さ
れ、これに対応して、ミキサAの音声送信部からの出力
はミキサ選択スイッチ110に接続されることに注意す
る必要がある。このように、各端末は特定のミキサ選択
スイッチに対応し、さらに、各ミキサ選択スイッチは必
ず単一のミキサと対応する。これにより、本システムは
利用者と回線の関係を一定に保持することが可能であ
る。
の間には、各ミキサ選択スイッチに対応した話者検出部
が設けられ、ミキサ選択スイッチを介して端末から入力
された音声情報を受けて話者検出を行う。図面の簡単化
のため、図7において音声検出部は、●で表わされてい
る。直結されていないミキサAとミキサBとを用いて4
回線以上の回線の情報を同時に加算するため、ミキサA
に接続されたミキサ選択スイッチ113と、ミキサBに
接続されたミキサ選択スイッチ114とが設けられ、ミ
キサ選択スイッチ113及び114の音声回線選択側の
入力ポートと出力ポートが相互に接続されている。これ
により、端末1、2及び3の3回線分の加算結果をミキ
サAの音声送信部からミキサ選択スイッチ113に入力
し、次に、ミキサ選択スイッチ113の音声回線選択側
の出力ポートからミキサ選択スイッチ114の音声回線
選択側の入力ポートに上記ミキサA側の加算結果を送
る。続いて、この加算結果は、ミキサ選択スイッチ11
4のミキサ選択側の出力ポートからミキサBの入力部に
送られる。ミキサBは、ミキサ選択スイッチ114から
受けた加算結果と、ミキサ選択スイッチ115から受け
た端末4からの信号入力とを加算する。その結果とし
て、端末1、2、3及び4からの信号入力の累積が得ら
れる。このようにして、4回線からの情報を同時に加算
することが可能である。尚、ミキサ選択スイッチ113
及び114からミキサA及びBへの接続線上にも話者検
出器が設けられているが、これらの話者検出器は、シス
テムの柔軟性等を考慮して設けられているが通常の話者
検出を行わないことは明らかである。
で配置・接続することにより、必要に応じた数のミキシ
ング機能が実現され得る。また、回線の数を増加させる
方法として、加算部だけでなく、音声制御装置を複数個
連続させてもよい。即ち、一方の音声制御装置の音声出
力をもう一方の音声制御装置に入力することで、収容可
能な回線の数を更に増やすことも可能である。
4個のミキサを内蔵し、2つの音声制御装置間で連携す
ることも可能である。接続後は話者のグループ情報を必
要に応じてコントロール部58で制御し、音声加算部6
2を切り替えることでグループの変更を行うことも可能
である。上記のグルーピングが必要に応じて実行され、
音声加算部62において加算が開始された時点で、話者
検出部64は、回線制御処理部52から渡される音声情
報をもとに、音声レベルチェックを開始し、実時間で話
者情報処理部66に情報を提供する。音声レベルチェッ
クでは、例えば、利用者からの音声情報の音声レベルを
測定し、測定された音声レベルが所定の時間間隔に亘っ
て所定の閾値を上回る場合にその利用者が話者であると
判定し、それ以外の場合にはその利用者が話者ではない
と判定することが可能である。上記閾値及び上記時間間
隔は、利用者の回線状態に応じて選択可能である。或い
は、好ましくは、上記閾値は2乃至8dbpの範囲から
選択され、上記時間間隔として5msが選択される。
ら得られた発話情報を音声制御装置本体部から外部に出
力するための信号に変換し、変換された情報は外部イン
タフェース54を介して、命令処理部56、コントロー
ル部58へと伝達される。これによって、コントロール
部58は、各音声端末からの接続情報と、発話情報を実
時間で取得することができる。
信部68は、音声加算部62から得られた情報に基づい
て、回線制御処理部52に渡す音声を送る。回線制御処
理部52は、回線インタフェース50に接続された情報
を指定された音声加算部62に接続する機能と、音声送
信部68から送られた音声情報を各回線インタフェース
に分配する機能とを備えている。
6がコントロール部58内のデータベース60に登録さ
れた情報との比較を行った結果、接続情報が不正である
場合に、命令処理部56は、外部入出力インタフェース
54を介して回線制御処理部52に回線切断信号を送
る。回線切断信号を受け取った回線制御処理部52は即
座に回線の切断処理を行い、回線を解放する。
を示す情報と回線インタフェース情報とが組み合わさ
れ、各受講者に対応した回線が予め一意に示されるよう
にさせた後に、コントロール部による制御が行われる。
図4に示したように、音声制御装置1は複数の回線(I
NS1500の場合には最大69回線)を収容するため
に、収容可能な回線分の回線インタフェース50が設け
られる。
ェース50を有するシステムが示されている。受講者
(利用者)が本システムに対し接続を要求した場合、各
受講者に対しランダム的に回線インタフェース50が割
り当てられる。各回線インタフェース50にはシーケン
シャルな番号が付けられているが、接続してきた受講者
との関係を示す情報は保持されない。この場合、コント
ロール部58では、どの回線から発生した情報であるか
に関する情報しか得られないことになる。そのため、上
記認証の実行時に、コントロール部58において回線と
受講者(利用者)との関係が認識できるように、認証情
報としてID若しくはパスワードの入力、又は、発信者
番号サービスが利用される。これにより、正常な接続が
行われたとき、コントロール部58は、各受講者と回線
との一意の対応関係を得る。即ち、接続時の認証の際
に、回線インタフェース部のシーケンシャルな番号と受
講者との対応関係が作成される。
の個数は利用者端末の台数と一致し、音声加算部62の
出力の種類の個数はグルーピングにより生成されたグル
ープの個数と一致する。一方、講師側は、パソコン等で
操作可能なコントロール用端末44で、受講者の接続状
況と会話状況をモニタすることが可能である。図8に画
面のイメージ図を示す。同図に示された画面はコントロ
ール用端末44の表示部であり、コントロール部58の
機能の一部として実現される。
2とを利用して提供される。提供される講義形式には、
参加者のRoomNoを自由に指定することで参加者全員に対
するレクチャー形式で行われるレッスン(従来の単純な
加算による複数人同時参加型の音声制御装置と同様のレ
ッスン)と、(参加者毎に異なるRoomNoを指示される場
合などのように)ペアワークまたは複数人のグループレ
ッスンによる対話形式のレッスンとがを含まれる。ここ
で、RoomNoとは上記話者グループ情報に対応し、グルー
ピングに関する情報を表わす番号であり、グループを特
定するための手段として利用される。より厳密に言う
と、グルーピングを行う際にどの音声加算装置にどの回
線を接続するかを選択するためにRoomNoが使用される。
44を介してグルーピングの設定変更を行い得る。図8
に示された回線コントロール部はクリックボタンにより
構成され、同図の例では、1から4までのボタンをマウ
スで押すことにより、対応する利用者の属するグループ
を自由に選択することができる。変更された利用者のグ
ループの情報は、コントロール部58、命令処理部5
6、及び外部入出力インタフェース54を介して音声加
算部62に供給される。音声加算部62では、入力され
た利用者のグループの情報に応じて、音声加算部62内
のミキサ選択スイッチを切り替える。この結果として、
グループの設定変更がなされた利用者は、変更前に入力
されていた情報とは切り離されて、新たにミキサ選択ス
イッチにより選択されたミキサからの情報を受けること
になる。かくして、グルーピングが変更される。
ている全ての利用者の情報がコントロール用端末44を
介して認識できる点に特徴がある。そのために、図1の
話者検出部64において、測定された音声が手動、若し
くは、フィードバック機能をもった回路を用いて自動的
に設定可能な所定の閾値を所定の時間に亘り超えたこと
を検知した場合に、その音声を発した受講者(利用者)
が話者であることを判定する。コントロール部58は、
外部入出力インタフェース54を介して話者の判定結果
の情報を実時間で検知すると共に、その情報をコントロ
ール用端末44に連続的に送る。この結果として、図7
に示されるように、利用者と対応させた領域の色情報を
白から灰色に変更・点滅するなどによって画面の表示を
実時間で変更させる手段を用いることにより、利用者の
情報を視覚的な情報(図8の話者情報表示部)として表
示させることができる。
この機能によって利用者の発話状況を実時間で確認でき
る。また、コントロール部58は、例えば、1秒単位で
発話しているか否かをサンプリングし、発話しているな
らば発話時間の総量を+1ずつすることにより発話状況
を加算し、その蓄積情報をグラフ表示することで(図8
の発話量表示部を参照のこと)、発話の量を定量的に測
定することが可能である。
が、積極的に会話を行っているかどうかを講師が視覚的
に判断することができ、発話が行われていない利用者に
対し、講師が確認することで、不明な点などのアドバイ
スが可能になる。さらに、従来の英会話サービスにはな
かった発話量の定量的な測定によって多くの発言を促す
ような指示を出すことが可能になる。
テムでは、音圧レベルの検出方式として、我が国(アメ
リカなどの北米を含む)で一般的な信号圧縮方式である
ミュー則PCM 符号の絶対値を用いている。これは、音声
レベルの閾値が低すぎたり、測定間隔が短すぎると、利
用者の発生する音声以外の雑音に対して誤認を行う可能
性があるためである。また、話者検出は最小5ms 間隔で
実施可能であるが、会話としての意図が明確に示しやす
いようなレベルとして1秒間隔程度の表示間隔を設定し
た。また閾値レベルは、個々の回線に対し聞こえにくい
などの状態が発生した場合、手動によりコントロール部
側から0dB-32dBの範囲で設定変更可能とし、個々の雑音
レベルに対する処置も同様の処理で対処可能とした。
い、高機能の複数人同時参加型の英会話サービスを提供
できるようになった。次に、本発明による音声サービス
システムの第2の実施例として、電話会議サービスへの
適用例について図6を参照して説明する。本サービスで
はネットワーク上にあるデータベースと連携し、事前に
予約された利用者情報をもとに、複数地点の利用者の音
声制御装置への接続を行う。本サービスは議長、および
会議参加者の立場でサービスを形成する。参加者は、音
声端末(電話機)を用い、サービスの提供される時間に
あわせ、通信網3を通じて音声制御装置に接続する。
回線インタフェース50を通じ、回線制御処理部52に
接続信号を渡す。回線制御処理部52はこの接続情報を
基に、外部入出力インタフェース54を介し、命令処理
部56へと情報を渡す。接続情報を受け取った命令処理
部56ではコントロール部58に登録されたデータベー
ス情報との比較を行い、接続の可否を下す。
令処理部56及び外部入出力インタフェース54を通
じ、接続されている回線の音声情報を音声加算部62へ
伝え、加算開始信号を渡す。コントロール部58側で指
定された(もしくは事前に設定された)話者グループ情
報も音声加算部62の選択情報として利用される。これ
によって話者のグルーピングが実行(選択)される。
てコントロール部58で制御し、音声加算部62への入
力を切り替えることでグループの変更を行うことが可能
である。グルーピングが実行され加算が開始された時点
で、話者検出部64では回線制御処理部52から渡され
る音声情報をもとに、音声レベルチェックを開始し、実
時間で話者情報処理部66へと情報を提供する。ここで
得られた情報は、外部インタフェース54を通じ、命令
処理部56、コントロール部58へと渡されて行く。こ
れによって、コントロール部58では、各音声端末から
の接続情報と、発話情報を実時間で取得することができ
る。
出力インタフェース54を通じ、回線制御処理部52に
回線切断信号を送る。回線切断信号を受け取った回線制
御処理部52は即座に回線の切断処理を行い、回線を解
放する。複数の参加者がいた場合は、それぞれの参加者
を区別する情報と回線インタフェース情報を組み合わ
せ、その回線が一意に示せるようにしたうえで、コント
ロール部で制御を行う。
コントロール用端末44で、参加者の接続状況と会話状
況をモニタすることが可能である。会議は回線制御処理
部52と音声加算部62を利用して、(参加者全員が同
じRoomNoを指示された場合など)参加者全員に対する講
演形式の会議(従来の単純な加算による複数人同時参加
型の会議)と、(複数の講演に参加者が分かれる場合の
ように)グループ別会議を提供できる。
装置による加算装置だけではなく、装置に接続している
全ての利用者の情報を提供する。そのため、図1の話者
検出部64で測定された音声に対し、(手動若しくはフ
ィードバック機能をもった回路を設置することで自動で
設定可能な)所定の閾値を所定の時間超えた音声を検知
した場合に、その利用者が話者であることを特定し、コ
ントロール部58は、外部入出力インタフェース54を
通じて実時間で検知するとともに利用者に関する情報を
連続的にコントロール用端末44に送る。その結果とし
て、図8に示されるように、利用者と対応させた領域の
色情報を白から灰色に変更・点滅するなどし、実時間で
変更させる手段によって、視覚的な情報(話者情報表示
部)として表示させることができる。コントロールソフ
トをモニタする議長は、この機能によって利用者の発話
状況を実時間で確認できる。また、コントロール部側で
発話の総量を+1するなどしてその発話状況を秒単位で
加算し、その蓄積情報をグラフ表示(発話量表示部)す
ることで、発話の量を定量的に測定することが可能であ
る。
くが話者情報を知る必要があるため、希望者がネットワ
ークを通じてその情報を確認できるようにしている。た
だし、全ユーザのグループをコントロールする機能は議
長となる利用者のみに提供し、コントロールの制御を集
中させている。もっとも、コントロール部側の設定によ
り、全員がコントロールする機能を有する事も可能であ
る。
末としてパソコンを利用することで、簡単なビデオ画像
などの同時配信も可能であり、従来のテレビ会議システ
ムと同様の機能も付加することができる。本システムを
利用することで、複数名の参加するテレビ会議システム
では確認することの難しかった、話者の特定を行い、視
覚的に表現することができるようになり、コミュニケー
ションを行う上での不便さを解消することができるよう
になった。
ムの第3の実施例として、仮想空間システムサービスへ
の適用例について図9を参照して説明する。本システム
では、コンピュータ上で仮想空間を実現するシステムに
も応用が可能である。仮想空間を実現した本システム
は、ネットワーク上で構成され、仮想空間を共有するた
めに、同一の仮想空間モデルを有し、利用者は自分の意
志で自由に空間内を移動することが可能である。ただ
し、他の利用者も同じ仮想空間を移動できるので、それ
を認知するために、自分の仮想空間内に他の利用者の分
身を用意する。このとき、各利用者は他の利用者に分身
の位置を認知させるために、位置情報と視線の向きを、
仮想空間制御装置80を介して常時、他の利用者端末8
2に送信する。各端末は受信した他の利用者の位置情報
と視線の向き情報から、仮想空間内の該当位置に当該利
用者の分身を、向きを考慮して再配置する。
ケーションの手段として、本音声制御装置を導入した。
本システムの音声制御装置には、仮想空間制御装置80
に接続されている利用者でかつ、音声利用の登録情報が
あれば誰でも接続が可能である。本システムのように音
声のコミュニケーション手段を提供することで、より現
実に近い形の仮想空間が提供されるようになった。しか
し、本システムではさらに、仮想空間内の分身を操るあ
る利用者が、音声を発生したとすると、図9で示した話
者検出部64が発せられた音声を測定し、一定の閾値を
一定時間超えると、話者と判断し、その情報を話者情報
処理部66を通じて空間を管理するシステム80へと情
報を提供することができる。空間を管理するシステムは
その情報を利用して、実時間で利用者の分身に対し、話
者の情報を明確にするために3次元のモデルを用いて、
口からものを吹き出し発しているように表示し、動的に
出力させるような制御機能を付与することができるよう
になった。
想空間制御装置80から得られた空間内での位置情報を
基に音声加算時の増減を調整可能で、距離の離れた状態
では音声の加算レベルを低くすることで聞こえにくく
し、距離が接近した場合は加算レベルを高くすること
で、聞き易い音声を提供し、より現実に近い形で音声を
提供できるようになっている。
情報で話者を特定したり、音量の強弱で発話者との距離
を確認するなどのより現実に近い形での仮想空間が実現
できるようになった。また、上記の実施例では、多地点
間接続音声制御システムの構成要件に基づいて説明して
いるが、この例に限定されることなく、音声制御システ
ムの各々の構成要件をソフトウェア(プログラム)で構
築し、ディスク装置等に格納しておき、必要に応じて仮
想空間共有システムのコンピュータにインストールして
音声サービスを行うことも可能である。さらに、構築さ
れたプログラムをフロッピーディスクやCD−ROM等
の可搬記録媒体に格納し、このようなシステムを用いる
場面で汎用的に使用することも可能である。
なく、特許請求の範囲内で種々変更・応用が可能であ
る。
利用者のいる音声サービスにおいて利用者の音声レベル
を実時間で測定することによって、話者を判定するの
で、利用者が発話しているか否かを自分で明示的に表示
しなくても、どの利用者が発話しているかを特定し表示
することが可能である。また、その判定結果を用いて、
話者に対するサービスが提供されるので、たとえば、電
話によるグループ会議での発言者特定などが実現され、
さらに、管理者によるミキサへの自由な制御が可能にな
るので、音声を用いた多人数参加型のコミュニケーショ
ンがより効果的に実現される。
学学習サービスに適用することにより、受講者を数名ず
つのグループに分けて受講者に話をする機会をより多く
提供し、かつ、他の受講者の声を聞くことなくレッスン
に集中できるという利点が得られる。また、自由なグル
ーピングができるため、レベルの近い受講者同士を組み
合わせることにより、効率的な指導を提供することが可
能になる。更に、このようなグルーピング機能を採用す
ることにより講師の人数を削減し、サービスの運営を効
率化される利点が得られる。
御装置の構成図である。
音声制御装置の構成図である。
構成図である。
(複数端末接続)の構成図である。
明図である。
のイメージ図である。
の構成図である。
Claims (1)
- 【請求項1】 通信網を介して複数台の利用者端末を接
続し、接続された利用者端末との間で音声入出力機能を
実現するインタフェース手段と、 上記インタフェース手段を介して受信された利用者端末
からの音声を加算する音声加算手段と、 加算された音声を上記インタフェース手段を介して他の
利用者端末に分配する音声分配手段と、 接続されている利用者を識別する識別子として視覚的に
表示可能な利用者識別子を画面に表示する利用者識別子
表示手段とにより構成され、 複数の利用者が同一の音声空間を共有し会話できる多地
点間接続音声制御装置において、 利用者からの音声レベルを測定し、測定された音声レベ
ルが所定の時間間隔に亘って所定の閾値を上回る場合に
該利用者が話者であると判定し、それ以外の場合には該
利用者が話者ではないと判定する話者判定手段と、 上記話者判定手段において該利用者が話者であると判定
されている期間中、話者であることを表わす標識を該利
用者に対応する利用者識別子に付加する話者識別手段と
を更に有することを特徴とする多地点間接続音声制御装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9296832A JPH11136369A (ja) | 1997-10-29 | 1997-10-29 | 多地点間接続音声制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9296832A JPH11136369A (ja) | 1997-10-29 | 1997-10-29 | 多地点間接続音声制御装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11136369A true JPH11136369A (ja) | 1999-05-21 |
Family
ID=17838743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9296832A Pending JPH11136369A (ja) | 1997-10-29 | 1997-10-29 | 多地点間接続音声制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11136369A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030074021A (ko) * | 2002-03-15 | 2003-09-19 | 주식회사 아카더스 | 네트웍(인터넷)상의 s/w를 이용한 다자간 비대칭 음성분활송/수신 방법 |
WO2009104332A1 (ja) * | 2008-02-19 | 2009-08-27 | 日本電気株式会社 | 発話分割システム、発話分割方法および発話分割プログラム |
JP2017187995A (ja) * | 2016-04-07 | 2017-10-12 | 国立大学法人 鹿児島大学 | ソーシャルメディアシステム及びプログラム |
CN108920127A (zh) * | 2018-06-26 | 2018-11-30 | 广州视源电子科技股份有限公司 | 目标音量阈值确定方法、装置、设备和存储介质 |
WO2020116280A1 (ja) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | 学習支援装置、学習支援方法および記録媒体 |
JP2022141401A (ja) * | 2021-03-15 | 2022-09-29 | 株式会社エヌ・ティ・ティ・データ | 配信サーバ、配信方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4924021A (ja) * | 1972-06-23 | 1974-03-04 | ||
JPH04323689A (ja) * | 1991-04-24 | 1992-11-12 | Toshiba Corp | 会議進行支援装置 |
JPH06141311A (ja) * | 1992-10-23 | 1994-05-20 | Arumetsukusu:Kk | テレビ会議電話システム |
JPH08130723A (ja) * | 1994-10-28 | 1996-05-21 | Nec Corp | テレビ会議システム話者判別装置 |
JPH09247640A (ja) * | 1996-03-07 | 1997-09-19 | Matsushita Electric Ind Co Ltd | 多地点電子会議方法および多地点電子会議装置 |
-
1997
- 1997-10-29 JP JP9296832A patent/JPH11136369A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS4924021A (ja) * | 1972-06-23 | 1974-03-04 | ||
JPH04323689A (ja) * | 1991-04-24 | 1992-11-12 | Toshiba Corp | 会議進行支援装置 |
JPH06141311A (ja) * | 1992-10-23 | 1994-05-20 | Arumetsukusu:Kk | テレビ会議電話システム |
JPH08130723A (ja) * | 1994-10-28 | 1996-05-21 | Nec Corp | テレビ会議システム話者判別装置 |
JPH09247640A (ja) * | 1996-03-07 | 1997-09-19 | Matsushita Electric Ind Co Ltd | 多地点電子会議方法および多地点電子会議装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030074021A (ko) * | 2002-03-15 | 2003-09-19 | 주식회사 아카더스 | 네트웍(인터넷)상의 s/w를 이용한 다자간 비대칭 음성분활송/수신 방법 |
WO2009104332A1 (ja) * | 2008-02-19 | 2009-08-27 | 日本電気株式会社 | 発話分割システム、発話分割方法および発話分割プログラム |
JP5387416B2 (ja) * | 2008-02-19 | 2014-01-15 | 日本電気株式会社 | 発話分割システム、発話分割方法および発話分割プログラム |
JP2017187995A (ja) * | 2016-04-07 | 2017-10-12 | 国立大学法人 鹿児島大学 | ソーシャルメディアシステム及びプログラム |
CN108920127A (zh) * | 2018-06-26 | 2018-11-30 | 广州视源电子科技股份有限公司 | 目标音量阈值确定方法、装置、设备和存储介质 |
WO2020116280A1 (ja) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | 学習支援装置、学習支援方法および記録媒体 |
JP2020091609A (ja) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | 学習支援装置、学習支援方法およびプログラム |
JP2022141401A (ja) * | 2021-03-15 | 2022-09-29 | 株式会社エヌ・ティ・ティ・データ | 配信サーバ、配信方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9325940B2 (en) | Video class room | |
US6304648B1 (en) | Multimedia conference call participant identification system and method | |
JP2003506906A (ja) | 会議通話のための話者識別 | |
US20030112947A1 (en) | Telecommunications and conference calling device, system and method | |
US5272526A (en) | Television conference system | |
US7433716B2 (en) | Communication apparatus | |
JPWO2004030328A1 (ja) | テレビ電話通訳システムおよびテレビ電話通訳方法 | |
JP2010506444A (ja) | 多言語会議を実現するシステム、方法、及び多地点制御装置 | |
US7949116B2 (en) | Primary data stream communication | |
JP2006254064A (ja) | 遠隔会議システム、音像位置割当方法および音質設定方法 | |
KR20130089979A (ko) | 미디어 스트림 스위칭 기반의 양방향 강의 서비스 제공 방법 및 장치, 그리고 수신 방법 및 그 장치 | |
KR102506293B1 (ko) | 가상 현실에서의 모임 시스템 | |
JPH11136369A (ja) | 多地点間接続音声制御装置 | |
JP2000231644A (ja) | 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体 | |
JP3070497B2 (ja) | テレビ会議システム | |
JP2001268078A (ja) | 通信制御装置、その方法およびその提供媒体と通信装置 | |
JP2001224000A (ja) | 多地点テレビ会議システム | |
JP2000217091A (ja) | テレビ会議システム | |
JP2001036881A (ja) | 音声伝送システム及び音声再生装置 | |
JPH1141578A (ja) | 電子会議システム | |
JP2006060421A (ja) | 多地点会議システムおよび会議参加者確認方法 | |
JP2004007482A (ja) | 電話会議サーバおよび電話会議システム | |
KR20180105594A (ko) | 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법 | |
US11764984B2 (en) | Teleconference method and teleconference system | |
KR100439698B1 (ko) | 프리젠테이션 시스템에서의 화자 인식 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061212 |