JPH09204200A - 会議システム - Google Patents
会議システムInfo
- Publication number
- JPH09204200A JPH09204200A JP8331313A JP33131396A JPH09204200A JP H09204200 A JPH09204200 A JP H09204200A JP 8331313 A JP8331313 A JP 8331313A JP 33131396 A JP33131396 A JP 33131396A JP H09204200 A JPH09204200 A JP H09204200A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- voice
- speech
- equation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M7/00—Arrangements for interconnection between switching centres
- H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
(57)【要約】
【課題】 遠隔地にいる複数の参加者間における、音声
およびその関連情報の通信のためのインタラクティブな
ネットワークシステムに用いる音響的特徴決定方法を提
供する。 【解決手段】 ネットワークに接続するため、各参加者
はマルチメディアコンピュータおよびモデムを用いる。
音声及び音声に関係して唇に同期するイメージの信号等
の関連情報は圧縮される。ネットワークシステムのスピ
ーチサーバは、少なくとも２人の参加者からのデータス
トリームを受け取る。これらのビットレートの和は第３
の参加者のモデムにより扱えるビットレートより高い場
合があるので、スピーチサーバは、これらのデータスト
リームを、第３の参加者のモデムにより扱えるビットレ
ートを有する単一のデータストリームに結合する。
およびその関連情報の通信のためのインタラクティブな
ネットワークシステムに用いる音響的特徴決定方法を提
供する。 【解決手段】 ネットワークに接続するため、各参加者
はマルチメディアコンピュータおよびモデムを用いる。
音声及び音声に関係して唇に同期するイメージの信号等
の関連情報は圧縮される。ネットワークシステムのスピ
ーチサーバは、少なくとも２人の参加者からのデータス
トリームを受け取る。これらのビットレートの和は第３
の参加者のモデムにより扱えるビットレートより高い場
合があるので、スピーチサーバは、これらのデータスト
リームを、第３の参加者のモデムにより扱えるビットレ
ートを有する単一のデータストリームに結合する。
Description
【０００１】
【発明の属する技術分野】この発明は、ワイドエリアネ
ットワーク通信、特にワイドエリアネットワークを介し
た音声およびその関連情報のインタラクティブな通信に
関する。
ットワーク通信、特にワイドエリアネットワークを介し
た音声およびその関連情報のインタラクティブな通信に
関する。
【０００２】
【従来の技術】この数年の間に、コンピュータ技術はい
くつかの大きな発展を遂げてきた。その第一は、低価格
且つ強力なパーソナルコンピュータの実現である。コス
トの削減により、多くの人々がコンピュータを購入でき
るようになった。そしてその結果として、コンピュータ
の数も急激に増加してきた。これらのコンピュータの処
理速度は、１０年前に存在したメインフレームコンピュ
ータの処理速度以上である。その上これらのコンピュー
タは、モデム、サウンドカード、高解像度ビデオボード
等と共に用いられるのが一般的であり、これらにより音
声や画像といったマルチメディア情報の処理が可能とな
っている。
くつかの大きな発展を遂げてきた。その第一は、低価格
且つ強力なパーソナルコンピュータの実現である。コス
トの削減により、多くの人々がコンピュータを購入でき
るようになった。そしてその結果として、コンピュータ
の数も急激に増加してきた。これらのコンピュータの処
理速度は、１０年前に存在したメインフレームコンピュ
ータの処理速度以上である。その上これらのコンピュー
タは、モデム、サウンドカード、高解像度ビデオボード
等と共に用いられるのが一般的であり、これらにより音
声や画像といったマルチメディア情報の処理が可能とな
っている。
【０００３】第二の発展は、インターネットを呼ばれる
ワイドエリアネットワークが一般的となったことであ
る。インターネットは、現存する最大のコンピュータネ
ットワークである。これは、ローエンドのパーソナルコ
ンピュータからハイエンドのメインフレームまで数百万
のコンピュータのワールドワイドな相互接続である。
ワイドエリアネットワークが一般的となったことであ
る。インターネットは、現存する最大のコンピュータネ
ットワークである。これは、ローエンドのパーソナルコ
ンピュータからハイエンドのメインフレームまで数百万
のコンピュータのワールドワイドな相互接続である。
【０００４】インターネットは、１９６０年代に米国国
防総省の先行研究計画庁による資金提供を受けた研究か
ら発展したものである。長年の間、インターネットは大
学と国立研究所の研究者によって、情報を共有するため
に用いられてきた。インターネットの存在がより多くの
人々に知られるようになるにつれ、学術／研究界の外の
多くのユーザ（例えば、大企業の従業員）が、電子メー
ルを運ぶためにインターネットを使い始めた。
防総省の先行研究計画庁による資金提供を受けた研究か
ら発展したものである。長年の間、インターネットは大
学と国立研究所の研究者によって、情報を共有するため
に用いられてきた。インターネットの存在がより多くの
人々に知られるようになるにつれ、学術／研究界の外の
多くのユーザ（例えば、大企業の従業員）が、電子メー
ルを運ぶためにインターネットを使い始めた。
【０００５】１９８９年、ワールドワイドウェブ（「ウ
ェブ」）として知られるワイドエリア情報システムが開
発された。ウェブは、ドキュメントの広大な世界にアク
セスする汎用的な手段を提供することを目的とするワイ
ドエリアハイパーメディア情報取得システムである。ユ
ーザはソフトウェア（ブラウザと呼ばれる）を用いてウ
ェブ文書（一般的にはグラフィックの形で表示される）
を取得でき、また簡単なコマンドやポイントアンドクリ
ックといった一般的なツールを用いてウェブを操作でき
る。
ェブ」）として知られるワイドエリア情報システムが開
発された。ウェブは、ドキュメントの広大な世界にアク
セスする汎用的な手段を提供することを目的とするワイ
ドエリアハイパーメディア情報取得システムである。ユ
ーザはソフトウェア（ブラウザと呼ばれる）を用いてウ
ェブ文書（一般的にはグラフィックの形で表示される）
を取得でき、また簡単なコマンドやポイントアンドクリ
ックといった一般的なツールを用いてウェブを操作でき
る。
【０００６】ユーザは技術的な訓練を受けている必要が
なく、またブラウザは使用が快適であるため、ウェブ
は、インターネットを大衆に開放する潜在力を備えてい
るといえる。そのため、多くの通信企業は、人々が自ら
のコンピュータを用いてインターネットにアクセスでき
るようなハードウェアおよびソフトウェア製品を開発し
てきた。
なく、またブラウザは使用が快適であるため、ウェブ
は、インターネットを大衆に開放する潜在力を備えてい
るといえる。そのため、多くの通信企業は、人々が自ら
のコンピュータを用いてインターネットにアクセスでき
るようなハードウェアおよびソフトウェア製品を開発し
てきた。
【０００７】
【発明が解決しようとする課題】これらの開発により多
くの人々が、インターネットを介して他者と電子的に通
信を行う手段を手に入れている。現在、通信の多くはテ
キスト（例えば、電子メール）とグラフィック（例え
ば、ウェブ文書）を含んでいる。その上、通信の態様は
受動的なものである。すなわち、情報は、それが作成さ
れてから長い時間（例えば、数時間、また数日）が経過
した後に受け手によって読まれたり表示されたりする、
ということがあり得る。
くの人々が、インターネットを介して他者と電子的に通
信を行う手段を手に入れている。現在、通信の多くはテ
キスト（例えば、電子メール）とグラフィック（例え
ば、ウェブ文書）を含んでいる。その上、通信の態様は
受動的なものである。すなわち、情報は、それが作成さ
れてから長い時間（例えば、数時間、また数日）が経過
した後に受け手によって読まれたり表示されたりする、
ということがあり得る。
【０００８】人間は他の人々と相互に作用し合うことを
楽しむものであるということが知られている。また、声
や、声に伴った表情による表現が強力なコミュニケーシ
ョンの道具であることも知られている。従って声や声に
伴った表情による表現のインタラクティブな通信を行う
ために、インターネットを用いることが望ましい。現
在、この態様の通信を効率的に実現する製品は存在しな
い。
楽しむものであるということが知られている。また、声
や、声に伴った表情による表現が強力なコミュニケーシ
ョンの道具であることも知られている。従って声や声に
伴った表情による表現のインタラクティブな通信を行う
ために、インターネットを用いることが望ましい。現
在、この態様の通信を効率的に実現する製品は存在しな
い。
【０００９】
【課題を解決するための手段】この発明は、遠隔地にい
る複数の参加者間における、音声およびその関連情報の
通信のためのインタラクティブなネットワークシステム
に用いることができる。各参加者は、ネットワークに接
続するためマルチメディアコンピュータを用いる。
る複数の参加者間における、音声およびその関連情報の
通信のためのインタラクティブなネットワークシステム
に用いることができる。各参加者は、ネットワークに接
続するためマルチメディアコンピュータを用いる。
【００１０】マルチメディアコンピュータには、マイク
ロフォン、１個以上のラウドスピーカ、表示装置および
ネットワークアクセス装置（モデム等）が含まれる。音
声によるインタラクティブな会話が行われる間は、コン
ピュータ内で音声処理ソフトウェアが実行される。参加
者はマイクロフォンに向かって話すことができる。
ロフォン、１個以上のラウドスピーカ、表示装置および
ネットワークアクセス装置（モデム等）が含まれる。音
声によるインタラクティブな会話が行われる間は、コン
ピュータ内で音声処理ソフトウェアが実行される。参加
者はマイクロフォンに向かって話すことができる。
【００１１】ソフトウェアは音声および付随するデータ
をコード化し、ネットワークアクセス装置を用いてデー
タをスピーチサーバに送る。スピーチサーバは、遠隔地
にいる１名又はそれ以上の参加者からの音声データを集
積し、結合された音声データを指定の場所に送る。マル
チメディアパーソナルコンピュータのソフトウェアは、
サーバから受け取ったデータをデコードし、ラウドスピ
ーカを介して音声を再生させることができる。
をコード化し、ネットワークアクセス装置を用いてデー
タをスピーチサーバに送る。スピーチサーバは、遠隔地
にいる１名又はそれ以上の参加者からの音声データを集
積し、結合された音声データを指定の場所に送る。マル
チメディアパーソナルコンピュータのソフトウェアは、
サーバから受け取ったデータをデコードし、ラウドスピ
ーカを介して音声を再生させることができる。
【００１２】多くのモデムの通信レート（ビット毎秒）
は低いので、音声と、それに付随するデータをモデムで
取り扱えるよう、これらを圧縮することが重要である。
この発明にかかる圧縮方法は、音声の特徴を考慮に入
れ、モデムの通信レート内で音声を通信できるようにし
ているものである。
は低いので、音声と、それに付随するデータをモデムで
取り扱えるよう、これらを圧縮することが重要である。
この発明にかかる圧縮方法は、音声の特徴を考慮に入
れ、モデムの通信レート内で音声を通信できるようにし
ているものである。
【００１３】この圧縮方法のひとつの観点は、エコー経
路の音響的な特徴を得てエコーを消去する新規な方法に
ある。このシステムでは、沈黙を検出することもでき
る。沈黙の間は、音声情報を送信する必要がない。従っ
て、沈黙を正確に検出できれば、圧縮率を向上させるこ
とができる。この方法は残留エコーのエネルギーの判別
と、そのエネルギーによる沈黙の有無の判別を含むもの
である。
路の音響的な特徴を得てエコーを消去する新規な方法に
ある。このシステムでは、沈黙を検出することもでき
る。沈黙の間は、音声情報を送信する必要がない。従っ
て、沈黙を正確に検出できれば、圧縮率を向上させるこ
とができる。この方法は残留エコーのエネルギーの判別
と、そのエネルギーによる沈黙の有無の判別を含むもの
である。
【００１４】エコーのエネルギーはユーザサイトにおけ
る音響的特徴である。この発明ではまた、ユーザサイト
における音響的な特徴を測定、校正する新規な方法を含
む。
る音響的特徴である。この発明ではまた、ユーザサイト
における音響的な特徴を測定、校正する新規な方法を含
む。
【００１５】この発明はまた、線形予測コーディングパ
ラメータ、マルチパルス励起パラメータ、パルス位置コ
ーディング、パルス振幅コーディングのそれぞれをベク
トル量子化ないしスカラ量子化したものの組み合わせ
を、個々にあるいは組み合わせて用いることにより音声
データを圧縮する新規な方法を用いる。さらに、これら
の方法により圧縮された音声データを復元して、元の音
声を取得することができる。
ラメータ、マルチパルス励起パラメータ、パルス位置コ
ーディング、パルス振幅コーディングのそれぞれをベク
トル量子化ないしスカラ量子化したものの組み合わせ
を、個々にあるいは組み合わせて用いることにより音声
データを圧縮する新規な方法を用いる。さらに、これら
の方法により圧縮された音声データを復元して、元の音
声を取得することができる。
【００１６】またこの発明は、唇に同期する新規で且つ
計算上効率的な方法を含む。人間の唇の位置は、フォル
マント周波数として知られる短時間の音声スペクトルの
うちの周波数の低い方から２個のピーク、および音声信
号の短期間のエネルギーにより、かなりの程度決定でき
ることが明らかとなっている。さらに、唇の位置に関す
る変数の間には強い相関関係がある。この発明は、これ
らの関係を利用して、唇の位置を非常に少ないビット数
にコード化する。これらのビットは、（サーバを介し）
目的サイトに送られる。目的サイトのコンピュータは、
表示装置上に、唇が適切な位置にあるようにして顔を描
画することができる。
計算上効率的な方法を含む。人間の唇の位置は、フォル
マント周波数として知られる短時間の音声スペクトルの
うちの周波数の低い方から２個のピーク、および音声信
号の短期間のエネルギーにより、かなりの程度決定でき
ることが明らかとなっている。さらに、唇の位置に関す
る変数の間には強い相関関係がある。この発明は、これ
らの関係を利用して、唇の位置を非常に少ないビット数
にコード化する。これらのビットは、（サーバを介し）
目的サイトに送られる。目的サイトのコンピュータは、
表示装置上に、唇が適切な位置にあるようにして顔を描
画することができる。
【００１７】
【発明の実施の形態】この発明は、新規な音声会議シス
テムと、これに付随する方法とより構成される。以下の
記述は、当業者ならばこの発明を作成して使用すること
が可能なようになされている。具体的な応用についての
記述は単に例として挙げられているものである。好適実
施の形態に対する種々の変更が考えられることは当業者
には明らかであり、ここに定義されている一般的な原理
は、この発明の範囲から逸脱することなく、他の実施の
形態や応用に対して適用できる。従って、この発明は明
示された実施の形態に限定されるものではなく、ここに
開示された原理と特徴に整合する最も広い範囲に一致す
るものである。
テムと、これに付随する方法とより構成される。以下の
記述は、当業者ならばこの発明を作成して使用すること
が可能なようになされている。具体的な応用についての
記述は単に例として挙げられているものである。好適実
施の形態に対する種々の変更が考えられることは当業者
には明らかであり、ここに定義されている一般的な原理
は、この発明の範囲から逸脱することなく、他の実施の
形態や応用に対して適用できる。従って、この発明は明
示された実施の形態に限定されるものではなく、ここに
開示された原理と特徴に整合する最も広い範囲に一致す
るものである。
【００１８】図１は、この発明の実施の形態にかかる多
点間音声会議システム１００を示す図である。多点間音
声会議システム１００は、ユーザステーション１０４〜
１０６等の複数のユーザステーションと、スピーチサー
バ１１０とより構成される。ユーザステーション１０４
〜１０６とスピーチサーバ１１０は、インターネット１
１２等のデータネットワークに接続される。
点間音声会議システム１００を示す図である。多点間音
声会議システム１００は、ユーザステーション１０４〜
１０６等の複数のユーザステーションと、スピーチサー
バ１１０とより構成される。ユーザステーション１０４
〜１０６とスピーチサーバ１１０は、インターネット１
１２等のデータネットワークに接続される。
【００１９】ユーザステーションの構成は互いに同じも
のである。従って、このステーションの１個（例とし
て、ユーザステーション１０４）のみを詳細に記す。ユ
ーザステーション１０４は、デスクトップコンピュータ
１１４と、表示装置１１６と、マイクロフォン１１８
と、２個のラウドスピーカ１１９および１２０と、モデ
ム１２２とより構成される。
のである。従って、このステーションの１個（例とし
て、ユーザステーション１０４）のみを詳細に記す。ユ
ーザステーション１０４は、デスクトップコンピュータ
１１４と、表示装置１１６と、マイクロフォン１１８
と、２個のラウドスピーカ１１９および１２０と、モデ
ム１２２とより構成される。
【００２０】デスクトップコンピュータ１１４は、モデ
ム１２２を用いてインターネット１１２への接続を行う
ソフトウェア（図示せず）を含む。ユーザステーション
１０４にいる者は、マイクロフォン１１８に向かって話
すことができる。
ム１２２を用いてインターネット１１２への接続を行う
ソフトウェア（図示せず）を含む。ユーザステーション
１０４にいる者は、マイクロフォン１１８に向かって話
すことができる。
【００２１】その後この音声は、デスクトップコンピュ
ータ１１４で実行される、この発明にかかるソフトウェ
ア１２６によって処理される。処理された音声は、イン
ターネット１１２を介し、サーバ１１０に送られる。
ータ１１４で実行される、この発明にかかるソフトウェ
ア１２６によって処理される。処理された音声は、イン
ターネット１１２を介し、サーバ１１０に送られる。
【００２２】ソフトウェア１２６はまた、サーバ１１０
から受け取った音声情報を処理して、その出力をラウド
スピーカ１１９および１２０に送ることができる。この
発明の実施の形態において、この２個のラウドスピーカ
はステレオ効果を生成している。ステレオ効果が不要の
場合は、１個ラウドスピーカを用いることが望ましい。
から受け取った音声情報を処理して、その出力をラウド
スピーカ１１９および１２０に送ることができる。この
発明の実施の形態において、この２個のラウドスピーカ
はステレオ効果を生成している。ステレオ効果が不要の
場合は、１個ラウドスピーカを用いることが望ましい。
【００２３】この実施の形態では、すべての音声はユー
ザステーションによりスピーチサーバ１１０に送られ、
スピーチサーバ１１０はこの音声を目的サイトに発す
る。音声に加え、唇に同期した情報も送られ、ユーザス
テーションに（再びサーバ１１０を経由して）受信され
る。
ザステーションによりスピーチサーバ１１０に送られ、
スピーチサーバ１１０はこの音声を目的サイトに発す
る。音声に加え、唇に同期した情報も送られ、ユーザス
テーションに（再びサーバ１１０を経由して）受信され
る。
【００２４】この発明のひとつの観点は、音声および唇
に同期した信号の送信に要する帯域を削減する方法であ
る。多点間音声会議システム１００の性能に影響を及ぼ
す重要な要素の一つは、ユーザステーションとサーバの
間のデータ送信の速度である。
に同期した信号の送信に要する帯域を削減する方法であ
る。多点間音声会議システム１００の性能に影響を及ぼ
す重要な要素の一つは、ユーザステーションとサーバの
間のデータ送信の速度である。
【００２５】現在、ダイヤルアップ回線におけるモデム
の送信速度は３０キロビット毎秒（ｋｂｐｓ）である。
ＩＳＤＮ（統合サービスデジタルネットワーク）回線で
あっても、１２８ｋｂｐｓ程度である。一方、圧縮され
ていない音声の送信では、音声のみであっても現在の電
話回線によりサポートされ得る帯域より高い帯域を要す
る。その他の情報（制御データおよび唇に同期した情
報）も必要なときは、必要な帯域はさらにより高くな
る。従って、送信に要する帯域を削減する必要がある。
の送信速度は３０キロビット毎秒（ｋｂｐｓ）である。
ＩＳＤＮ（統合サービスデジタルネットワーク）回線で
あっても、１２８ｋｂｐｓ程度である。一方、圧縮され
ていない音声の送信では、音声のみであっても現在の電
話回線によりサポートされ得る帯域より高い帯域を要す
る。その他の情報（制御データおよび唇に同期した情
報）も必要なときは、必要な帯域はさらにより高くな
る。従って、送信に要する帯域を削減する必要がある。
【００２６】ソフトウェア１２６は、エンコーダとデコ
ーダを備える。図２は本発明にかかるエンコーダ２００
のブロック図である。本明細書では、エンコーダ２００
の種々のブロックについて述べる。
ーダを備える。図２は本発明にかかるエンコーダ２００
のブロック図である。本明細書では、エンコーダ２００
の種々のブロックについて述べる。
【００２７】エンコーダ２００は、１サンプル１６ビッ
ト、８ｋＨｚでデジタル化された音声入力を受け付け
る。デジタル化された音声のＤＣ成分はＤＣ除去ブロッ
ク２０４で除去される。
ト、８ｋＨｚでデジタル化された音声入力を受け付け
る。デジタル化された音声のＤＣ成分はＤＣ除去ブロッ
ク２０４で除去される。
【００２８】エンコーダ２００はまた、サイレンスディ
テクタ２０６を備える。ある期間の沈黙が検出される
と、音声情報を送信する必要がなくなる。
テクタ２０６を備える。ある期間の沈黙が検出される
と、音声情報を送信する必要がなくなる。
【００２９】エンコーダ２００は、大きなダイナミック
レンジを持つ音声がシステムによって適切に処理される
ようにするための自動ゲイン制御手段２１０を備える。
レンジを持つ音声がシステムによって適切に処理される
ようにするための自動ゲイン制御手段２１０を備える。
【００３０】エンコーダ２００は、音声の特徴を変化さ
せることを可能にするボイスモーファ２１４を備える。
せることを可能にするボイスモーファ２１４を備える。
【００３１】音声データはその後、線形予測コーディン
グ（ＬＰＣ）解析ブロック２２２へ入力され、複数のＬ
ＰＣパラメータが生成される。
グ（ＬＰＣ）解析ブロック２２２へ入力され、複数のＬ
ＰＣパラメータが生成される。
【００３２】このパラメータは２段からなるベクトル量
子化ブロック（ベクトル量子化器）２２４を通る。その
出力はスカラ量子化ブロック（スカラ量子化器）２２６
および唇情報抽出器（唇瞬時位置抽出器）２５０へ入力
される。
子化ブロック（ベクトル量子化器）２２４を通る。その
出力はスカラ量子化ブロック（スカラ量子化器）２２６
および唇情報抽出器（唇瞬時位置抽出器）２５０へ入力
される。
【００３３】スカラ量子化ブロック２２６の出力は、マ
ルチパルス励起パラメータゼネレータ（マルチパルスパ
ラメータ推計）２２８、ロボット音声／囁き音声励起ゼ
ネレータ２３０、ビットストリームエンコーダ２３２へ
入力される。ビットストリームエンコーダ２３２には、
ロボット音声／囁き音声励起ゼネレータ２３０の出力も
入力される。マルチパルス励起パラメータゼネレータ２
２８の出力は、パルス位置コーダ２３６とパルス振幅コ
ーダ２３８に入力される。パルス位置コーダ２３６とパ
ルス振幅コーダ２３８の出力は、ビットストリームコー
ダ２３２に送られる。
ルチパルス励起パラメータゼネレータ（マルチパルスパ
ラメータ推計）２２８、ロボット音声／囁き音声励起ゼ
ネレータ２３０、ビットストリームエンコーダ２３２へ
入力される。ビットストリームエンコーダ２３２には、
ロボット音声／囁き音声励起ゼネレータ２３０の出力も
入力される。マルチパルス励起パラメータゼネレータ２
２８の出力は、パルス位置コーダ２３６とパルス振幅コ
ーダ２３８に入力される。パルス位置コーダ２３６とパ
ルス振幅コーダ２３８の出力は、ビットストリームコー
ダ２３２に送られる。
【００３４】唇情報抽出器２５０の出力は、唇フィルタ
２５２に送られ、唇フィルタ２５２の出力は、唇情報コ
ーダ２５６につながっている。唇情報コーダ２５６の出
力は、ビットストリームエンコーダ２３２に送られる。
２５２に送られ、唇フィルタ２５２の出力は、唇情報コ
ーダ２５６につながっている。唇情報コーダ２５６の出
力は、ビットストリームエンコーダ２３２に送られる。
【００３５】以下さらに詳細を述べるように、音声入力
（１サンプル１６ビット、８ｋＨｚでデジタル化）は、
ビットストリームエンコーダ２３２の出力が約１２８０
０ビット毎秒となるように圧縮することができる。この
データストリームは、インターネットを介してスピーチ
サーバ１１０に送られる。
（１サンプル１６ビット、８ｋＨｚでデジタル化）は、
ビットストリームエンコーダ２３２の出力が約１２８０
０ビット毎秒となるように圧縮することができる。この
データストリームは、インターネットを介してスピーチ
サーバ１１０に送られる。
【００３６】図３は、スピーチサーバ１１０から受信さ
れたビットストリームをデコードできるデコーダ３００
のブロック図である。
れたビットストリームをデコードできるデコーダ３００
のブロック図である。
【００３７】デコーダ３００は、スピーチサーバ１１０
によって送られた情報を復元できるビットストリームデ
コーダ３０４を備える。
によって送られた情報を復元できるビットストリームデ
コーダ３０４を備える。
【００３８】この情報は、唇情報デコーダ３０６に送ら
れ、唇情報デコーダ３０６は、唇のグラフィックを生成
する唇同期プログラムのための唇位置情報を生成する。
れ、唇情報デコーダ３０６は、唇のグラフィックを生成
する唇同期プログラムのための唇位置情報を生成する。
【００３９】またビットストリームデコーダ３０４の出
力は、ＬＰＣパラメータデコーダ３０８、パルス振幅デ
コーダ３１０、パルス位置デコーダ３１２、囁き音声／
ロボット音声励起デコーダ３１４にも送られる。これら
のデコーダの出力は、デジタル音声信号を生成するＬＰ
Ｃ合成器３２０に送られる。
力は、ＬＰＣパラメータデコーダ３０８、パルス振幅デ
コーダ３１０、パルス位置デコーダ３１２、囁き音声／
ロボット音声励起デコーダ３１４にも送られる。これら
のデコーダの出力は、デジタル音声信号を生成するＬＰ
Ｃ合成器３２０に送られる。
【００４０】デジタル音声信号はアダプティブポストフ
ィルタ３２２に送られ、アダプティブポストフィルタ３
２２はまたＬＰＣパラメータデコーダ３０８からの情報
も受け付ける。
ィルタ３２２に送られ、アダプティブポストフィルタ３
２２はまたＬＰＣパラメータデコーダ３０８からの情報
も受け付ける。
【００４１】アダプティブポストフィルタ３２２の出力
は、エコーフィルタ（距離及びエコーフィルタ）３２
４、次いで帯域フィルタ３２６へ送られる。その出力は
復元済みのステレオ音声となり、ラウドスピーカ１１９
および１２０により音響に変換される。
は、エコーフィルタ（距離及びエコーフィルタ）３２
４、次いで帯域フィルタ３２６へ送られる。その出力は
復元済みのステレオ音声となり、ラウドスピーカ１１９
および１２０により音響に変換される。
【００４２】図４は、本発明における参加者のサイト３
５０の略図である。参加者３５２はマイクロフォン３５
４に向かって話し、マイクロフォン３５４は音声信号を
電気信号に変換する。
５０の略図である。参加者３５２はマイクロフォン３５
４に向かって話し、マイクロフォン３５４は音声信号を
電気信号に変換する。
【００４３】典型的には、このサイトにはバックグラウ
ンドノイズ（例えば、ラジオからの）が含まれる。この
電気信号は、マルチメディアパーソナルコンピュータ３
６０で、アダプティブエコーキャンセラ３６２からの信
号と結合される。その出力は、エコーがほぼ消去された
ものとなる。
ンドノイズ（例えば、ラジオからの）が含まれる。この
電気信号は、マルチメディアパーソナルコンピュータ３
６０で、アダプティブエコーキャンセラ３６２からの信
号と結合される。その出力は、エコーがほぼ消去された
ものとなる。
【００４４】この信号は、アダプティブサイレンスディ
テクタおよびソフトウェア自動ゲイン制御（ＡＧＣ）モ
ジュール３６４に送られる。このモジュールの出力は、
唇同期および音声コーダデコーダ（および音声変形器）
３６６に送られる。
テクタおよびソフトウェア自動ゲイン制御（ＡＧＣ）モ
ジュール３６４に送られる。このモジュールの出力は、
唇同期および音声コーダデコーダ（および音声変形器）
３６６に送られる。
【００４５】コーダデコーダ３６６は音声を変形させる
（例えば、ボイスモーフィング）能力を備える。コーダ
デコーダ３６６は、音声データを圧縮、コード化し、双
方向通信リンク３６８を介してデータをスピーチサーバ
１１０に送る。
（例えば、ボイスモーフィング）能力を備える。コーダ
デコーダ３６６は、音声データを圧縮、コード化し、双
方向通信リンク３６８を介してデータをスピーチサーバ
１１０に送る。
【００４６】コーダデコーダ３６６はまた、スピーチサ
ーバ１１０から受信した音声データをデコードないし復
元するソフトウェアを備える。デコードないし復元の
後、データはウェーブミキサ３７０に送られる。ウェー
ブミキサ３７０はまた、環境音ゼネレータ３７２からの
データも受け付ける。
ーバ１１０から受信した音声データをデコードないし復
元するソフトウェアを備える。デコードないし復元の
後、データはウェーブミキサ３７０に送られる。ウェー
ブミキサ３７０はまた、環境音ゼネレータ３７２からの
データも受け付ける。
【００４７】ウェーブミキサ３７０で生成された信号
は、アダプティブエコーキャンセラ３６２と、ラウドス
ピーカ３７６、３７７に送られる。
は、アダプティブエコーキャンセラ３６２と、ラウドス
ピーカ３７６、３７７に送られる。
【００４８】（ユーザステーションの音響的特徴の決
定）ユーザステーション１０４のデスクトップコンピュ
ータ１１４がオン状態のときは、ユーザステーション１
０４の音響的特徴が決定されている必要がある。この決
定には、ユーザステーション１０４のバルク遅延と音響
の伝達関数が関係する。
定）ユーザステーション１０４のデスクトップコンピュ
ータ１１４がオン状態のときは、ユーザステーション１
０４の音響的特徴が決定されている必要がある。この決
定には、ユーザステーション１０４のバルク遅延と音響
の伝達関数が関係する。
【００４９】図５は、ユーザステーション１０４の音響
的特徴を測定する能力を有する装置構成のブロック図で
ある。図１と図５において、同じ構成要素には同じ参照
番号を付してある。この装置構成は、オーディオ送信ブ
ロック１３０と、オーディオ受信ブロック１４０とより
構成される。
的特徴を測定する能力を有する装置構成のブロック図で
ある。図１と図５において、同じ構成要素には同じ参照
番号を付してある。この装置構成は、オーディオ送信ブ
ロック１３０と、オーディオ受信ブロック１４０とより
構成される。
【００５０】オーディオ送信ブロック１３０は、印加さ
れたアナログ電気信号の大きさに応答してオーディオ信
号を生成するラウドスピーカ１１９を含む。
れたアナログ電気信号の大きさに応答してオーディオ信
号を生成するラウドスピーカ１１９を含む。
【００５１】このアナログ信号は、バッファ１３４の内
容に従っている。バッファ１３４のビットは、あらかじ
め定まったレートでデジタル−アナログ変換器（図示せ
ず）にシフトされる。このように、ラウドスピーカ１１
９によって生成されたオーディオ信号は、バッファ１３
４のビットにより決定される。
容に従っている。バッファ１３４のビットは、あらかじ
め定まったレートでデジタル−アナログ変換器（図示せ
ず）にシフトされる。このように、ラウドスピーカ１１
９によって生成されたオーディオ信号は、バッファ１３
４のビットにより決定される。
【００５２】オーディオ送信ブロック１３０はまた信号
生成ブロック１３２を含み、これにより生成されたビッ
トはバッファ１３４にストアされ、ラウドスピーカ１１
９から、振幅と時間との間に特定の関係があるオーディ
オ信号を発生させる。
生成ブロック１３２を含み、これにより生成されたビッ
トはバッファ１３４にストアされ、ラウドスピーカ１１
９から、振幅と時間との間に特定の関係があるオーディ
オ信号を発生させる。
【００５３】オーディオ受信ブロック１４０は、ラウド
スピーカ１１９によって生成されたオーディオ信号を受
信するマイクロフォン１１８を含む。
スピーカ１１９によって生成されたオーディオ信号を受
信するマイクロフォン１１８を含む。
【００５４】受信されたオーディオ信号は、アナログ−
デジタル変換器（図示せず）によってデジタルに変換さ
れる。このデジタル情報は、あらかじめ定められたレー
トでレコードバッファ１４２にシフトされる。
デジタル変換器（図示せず）によってデジタルに変換さ
れる。このデジタル情報は、あらかじめ定められたレー
トでレコードバッファ１４２にシフトされる。
【００５５】信号解析ブロック１４４は、レコードバッ
ファ１４２のデジタル情報を解析し、受信したオーディ
オ信号の振幅と時間との関係を生成する。
ファ１４２のデジタル情報を解析し、受信したオーディ
オ信号の振幅と時間との関係を生成する。
【００５６】本発明のひとつの観点は、ユーザステーシ
ョン１０４の音響的特徴を簡単に決定する方法にある。
この方法は、以下の段階よりなる。 （１）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１１９を通したバルク遅延を測定す
る （２）ラウドスピーカ１１９とマイクロフォン１１８の
間の伝達関数を測定する （３）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１２０を通したバルク遅延を測定す
る （４）ラウドスピーカ１２０とマイクロフォン１１８の
間の伝達関数を測定する
ョン１０４の音響的特徴を簡単に決定する方法にある。
この方法は、以下の段階よりなる。 （１）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１１９を通したバルク遅延を測定す
る （２）ラウドスピーカ１１９とマイクロフォン１１８の
間の伝達関数を測定する （３）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１２０を通したバルク遅延を測定す
る （４）ラウドスピーカ１２０とマイクロフォン１１８の
間の伝達関数を測定する
【００５７】仮想的世界でのセッション中、ユーザステ
ーション１０４の音響的特徴は経時変化しうる。従って
音響システムは、あらかじめ定められた時間毎に「再ト
レーニング」される必要がある。本発明の一つの観点
は、構成要素を変化させずに音響システムを再トレーニ
ングする方法にある。
ーション１０４の音響的特徴は経時変化しうる。従って
音響システムは、あらかじめ定められた時間毎に「再ト
レーニング」される必要がある。本発明の一つの観点
は、構成要素を変化させずに音響システムを再トレーニ
ングする方法にある。
【００５８】（バルク遅延の測定）バルク遅延の測定に
は、（ｉ）信号生成ブロック１３２による囀り音の生
成、（ｉｉ）この囀り音に対応するビットのバッファ１
３４への充填、（ｉｉｉ）ラウドスピーカ１１９による
囀り音の音響信号の送信、が含まれる。
は、（ｉ）信号生成ブロック１３２による囀り音の生
成、（ｉｉ）この囀り音に対応するビットのバッファ１
３４への充填、（ｉｉｉ）ラウドスピーカ１１９による
囀り音の音響信号の送信、が含まれる。
【００５９】マイクロフォン１１８により受信された信
号は、信号解析ブロック１４４によって解析される。
号は、信号解析ブロック１４４によって解析される。
【００６０】囀り音は、数２で定義される。（以下、
「＊」は乗算を表す演算子である。）
「＊」は乗算を表す演算子である。）
【数２】 ここでＮは囀り音の長さであり、ｎが前記範囲の外の値
のとき、ｃ（ｎ）は零である。
のとき、ｃ（ｎ）は零である。
【００６１】マイクロフォンにより受信された信号は、
整合したフィルタにより処理される。このフィルタは、
デジタル有限インパルス応答（ＦＩＲ）フィルタで、イ
ンパルス応答は、数３で表される。
整合したフィルタにより処理される。このフィルタは、
デジタル有限インパルス応答（ＦＩＲ）フィルタで、イ
ンパルス応答は、数３で表される。
【数３】 （ただし、Ｎは前記囀り音の長さであり、ｎが前記範囲
の外の値のときｈ（ｎ）は零である。）
の外の値のときｈ（ｎ）は零である。）
【００６２】整合フィルタの出力は、数４で表される。
【数４】 ここで、ｋ（ｎ）はレコードバッファ１４２に記録され
た信号である。
た信号である。
【００６３】整合フィルタの出力が最大の振幅になる時
点をＴとすると、そのチャンネルのバルク遅延は（Ｔ−
Ｎ）と推計される。本例では、Ｎを５１２としている。
バルク遅延は、１０００〜３０００サンプルと予想され
る。同様の方法により、ラウドスピーカ１２０とマイク
ロフォン１１８の組のバルク遅延の値も得られる。
点をＴとすると、そのチャンネルのバルク遅延は（Ｔ−
Ｎ）と推計される。本例では、Ｎを５１２としている。
バルク遅延は、１０００〜３０００サンプルと予想され
る。同様の方法により、ラウドスピーカ１２０とマイク
ロフォン１１８の組のバルク遅延の値も得られる。
【００６４】（伝達関数の測定）伝達関数の測定には、
信号生成ブロック１３２による白色雑音の生成と、これ
に対応する音響のラウドスピーカ１１９による送信が含
まれる。その後、マイクロフォン１１８により受信され
た信号と送信された白色雑音を使って、エコーの経路
（ラウドスピーカ１１９からマイクロフォン１１８ま
で）のインパルス応答を以下のようにして決定する。
信号生成ブロック１３２による白色雑音の生成と、これ
に対応する音響のラウドスピーカ１１９による送信が含
まれる。その後、マイクロフォン１１８により受信され
た信号と送信された白色雑音を使って、エコーの経路
（ラウドスピーカ１１９からマイクロフォン１１８ま
で）のインパルス応答を以下のようにして決定する。
【００６５】白色雑音の連続をｘ（ｎ）（ただし、ｎ＝
０，１，・・・，（Ｌ−１））、マイクロフォンにより
受信された信号をｙ（ｎ）、エコーの経路のインパルス
応答をｈ（ｎ）（ただし、ｎ＝０，１，・・・，（Ｍ−
１））、該経路のバルク遅延をＢとすると、数５の関係
が成り立つ。
０，１，・・・，（Ｌ−１））、マイクロフォンにより
受信された信号をｙ（ｎ）、エコーの経路のインパルス
応答をｈ（ｎ）（ただし、ｎ＝０，１，・・・，（Ｍ−
１））、該経路のバルク遅延をＢとすると、数５の関係
が成り立つ。
【数５】 ここでｗnはシステムのバックグラウンドノイズであ
る。良好なエコー消去を得るには、Ｍ＝３８０で十分で
ある。
る。良好なエコー消去を得るには、Ｍ＝３８０で十分で
ある。
【００６６】最小二乗法を用いると、該経路のインパル
ス応答は、数６の行列方程式を解くことにより推計され
る。
ス応答は、数６の行列方程式を解くことにより推計され
る。
【数６】ＲxxＨ ＝ Ｒxy ここで、Ｒxxは、白色雑音の（Ｍ行Ｍ列の）自己相関行
列、Ｒxyは（Ｍ行１列の）相互相関ベクトル、Ｈ＝［ｈ
（０）ｈ（１）．．．ｈ（Ｍ−１）］Tはエコーフィル
タのインパルス応答ベクトルである。
列、Ｒxyは（Ｍ行１列の）相互相関ベクトル、Ｈ＝［ｈ
（０）ｈ（１）．．．ｈ（Ｍ−１）］Tはエコーフィル
タのインパルス応答ベクトルである。
【００６７】Ｒxxは、数７のように計算される。
【数７】 Ｒxyは、数８のように計算される。
【数８】
【００６８】同様の計算により、ラウドスピーカ１２０
とマイクロフォン１１８の組のエコーの経路の特性も得
られる。エコーの経路のフィルタ特性を正確に推定する
ためには、Ｌ＝１０＊Ｍであることが望ましい。
とマイクロフォン１１８の組のエコーの経路の特性も得
られる。エコーの経路のフィルタ特性を正確に推定する
ためには、Ｌ＝１０＊Ｍであることが望ましい。
【００６９】（クイックトレーニング）クイックトレー
ニングは、エコー消去が十分な効率で行われていないと
ユーザが感じたとき、または、システムが同様のことを
検知したときに行われる。クイックトレーニングは、ユ
ーザステーション１０４のバルク遅延とエコーチャンネ
ルゲインのいずれか又は両方を調整するため、スピーカ
の音量を連続的に変えることにより行われる。クイック
トレーニングでは、フルトレーニングが必要な場合その
旨を検知することもできる。
ニングは、エコー消去が十分な効率で行われていないと
ユーザが感じたとき、または、システムが同様のことを
検知したときに行われる。クイックトレーニングは、ユ
ーザステーション１０４のバルク遅延とエコーチャンネ
ルゲインのいずれか又は両方を調整するため、スピーカ
の音量を連続的に変えることにより行われる。クイック
トレーニングでは、フルトレーニングが必要な場合その
旨を検知することもできる。
【００７０】クイックトレーニングは、（ｉ）ラウドス
ピーカ１１９からの、数９で表される音響信号の送信、
（ｉｉ）該音響信号ｙ（ｎ）のマイクロフォン１１８に
よる受信、を含む。
ピーカ１１９からの、数９で表される音響信号の送信、
（ｉｉ）該音響信号ｙ（ｎ）のマイクロフォン１１８に
よる受信、を含む。
【数９】ｎ＝０，１，．．．，（Ｍ−１）のとき ｘ
（ｎ）＝Ｇ＊ｈ（Ｍ−１−ｎ） その他のとき ｘ（ｎ）＝０ Ｇの値は、数１０の通りとする。
（ｎ）＝Ｇ＊ｈ（Ｍ−１−ｎ） その他のとき ｘ（ｎ）＝０ Ｇの値は、数１０の通りとする。
【数１０】 記号Ｔは、信号（すなわちｙ（ｎ））が極大となる時点
を示す。
を示す。
【００７１】まず始めに、フルトレーニングが必要か否
かを判別する。エコーの経路の特性が以前の計算結果か
ら大きく離れていない場合、受信した信号（すなわちｙ
（ｎ））の、ピーク付近（すなわちｎ＝Ｔである辺り）
における波形は、数１１を用いて得られるエコーの経路
の自己相関関数の波形と同じになる。
かを判別する。エコーの経路の特性が以前の計算結果か
ら大きく離れていない場合、受信した信号（すなわちｙ
（ｎ））の、ピーク付近（すなわちｎ＝Ｔである辺り）
における波形は、数１１を用いて得られるエコーの経路
の自己相関関数の波形と同じになる。
【数１１】
【００７２】従って、数１２があるしきい値より大きい
場合、エコーの経路のインパルス応答が大きく変化して
いてフルトレーニングが必要であると判別される。
場合、エコーの経路のインパルス応答が大きく変化して
いてフルトレーニングが必要であると判別される。
【数１２】 ｇの値は、数１３の方程式を解くことにより得られる。
【数１３】
【００７３】フルトレーニングが必要でない場合、バル
ク遅延の値とエコーフィルタのゲインの値は、数１４の
通り、新しい値に更新される。
ク遅延の値とエコーフィルタのゲインの値は、数１４の
通り、新しい値に更新される。
【数１４】バルク遅延 （Ｔ−Ｍ） エコ−フィルタのゲイン ｈnew（ｎ）＝ｇ＊ｈ（ｎ）
（０≦ｎ＜（Ｍ−１））
（０≦ｎ＜（Ｍ−１））
【００７４】再トレーニングに使われる信号は、フルト
レーニングの際に使われる信号より短く、弱い。従っ
て、一般的にクイックトレーニングはユーザステーショ
ン１０４にいる人に感知されることがない。クイックト
レーニングは両方のエコーの経路について行われる。
レーニングの際に使われる信号より短く、弱い。従っ
て、一般的にクイックトレーニングはユーザステーショ
ン１０４にいる人に感知されることがない。クイックト
レーニングは両方のエコーの経路について行われる。
【００７５】（アダプティブエコー消去）左のスピーカ
からマイクロフォンへのエコー経路のインパルス応答を
ｈl（ｎ）（ただし、０≦ｎ＜Ｍ）、右のスピーカから
マイクロフォンへのエコーの経路のインパルス応答をｈ
r（ｎ）（ただし、０≦ｎ＜Ｍ）とする。また、それぞ
れのバルク遅延をＢlおよびＢrとする。このとき、左お
よび右のスピーカに供給される音声サンプルをそれぞれ
ｘl（ｎ）およびｘr（ｎ）とすると、エコー消去は、マ
イクロフォンにより記録された信号ｙ（ｎ）から、数１
５の値を差し引くことにより行われる。
からマイクロフォンへのエコー経路のインパルス応答を
ｈl（ｎ）（ただし、０≦ｎ＜Ｍ）、右のスピーカから
マイクロフォンへのエコーの経路のインパルス応答をｈ
r（ｎ）（ただし、０≦ｎ＜Ｍ）とする。また、それぞ
れのバルク遅延をＢlおよびＢrとする。このとき、左お
よび右のスピーカに供給される音声サンプルをそれぞれ
ｘl（ｎ）およびｘr（ｎ）とすると、エコー消去は、マ
イクロフォンにより記録された信号ｙ（ｎ）から、数１
５の値を差し引くことにより行われる。
【数１５】 この計算は、直接行うこともできるし、また高速フーリ
エ変換を用いて行ってもよい。
エ変換を用いて行ってもよい。
【００７６】（アダプティブサイレンスディテクショ
ン）変換装置（スピーカおよびマイクロフォン）には非
直線性があるため、完全なエコー消去を得ることは不可
能である。話し手が話していないとき、この残留エコー
は、聞き取る者には感じられる。従って、送話する側の
発話がないときのエコーを消去するために沈黙の検知が
行われ、沈黙している期間（すなわち、話し手が話して
いない時）音声パケットが送信されないようにする。
ン）変換装置（スピーカおよびマイクロフォン）には非
直線性があるため、完全なエコー消去を得ることは不可
能である。話し手が話していないとき、この残留エコー
は、聞き取る者には感じられる。従って、送話する側の
発話がないときのエコーを消去するために沈黙の検知が
行われ、沈黙している期間（すなわち、話し手が話して
いない時）音声パケットが送信されないようにする。
【００７７】この期間音声情報を送信しないことによ
り、システムが必要とする帯域はされに削減される。追
加された帯域は、他の情報（グラフィック、制御情報）
を送信するために使うことができる。
り、システムが必要とする帯域はされに削減される。追
加された帯域は、他の情報（グラフィック、制御情報）
を送信するために使うことができる。
【００７８】一般的な環境では、測定不能なオーディオ
信号と沈黙とは同一のものではない。これは、常にバッ
クグラウンドノイズがあり、（時として）残留エコーが
あるからである。従って、一般的にマイクロフォン１１
８は、音声がない場合であっても幾分かのオーディオ信
号を受信する。
信号と沈黙とは同一のものではない。これは、常にバッ
クグラウンドノイズがあり、（時として）残留エコーが
あるからである。従って、一般的にマイクロフォン１１
８は、音声がない場合であっても幾分かのオーディオ信
号を受信する。
【００７９】マイクロフォン１１８へのオーディオ入力
は、数１６により与えられる。
は、数１６により与えられる。
【数１６】Ａn＝Ｓn＋Ｅn＋Ｂn ここでＡnはマイクロフォン１１８により受信された音
の振幅、Ｓnは音声の寄与分、Ｅnは残留エコーの寄与
分、Ｂnはバックグラウンドノイズの寄与分である。
の振幅、Ｓnは音声の寄与分、Ｅnは残留エコーの寄与
分、Ｂnはバックグラウンドノイズの寄与分である。
【００８０】本発明では、人の発話には沈黙の期間が含
まれるという事実を利用している。この沈黙の期間にお
けるオーディオ信号は、バックグラウンドノイズとエコ
ーに相当するものである。
まれるという事実を利用している。この沈黙の期間にお
けるオーディオ信号は、バックグラウンドノイズとエコ
ーに相当するものである。
【００８１】本発明の一つの実施の形態では、マイクロ
フォン１１８は短期間の信号エネルギー（２０ミリ秒の
信号のブロックを用いて２０ミリ秒ごとに計算される）
を、１秒間に渡りモニタする。そして最も低いエネルギ
ーを持つセグメントが、沈黙の期間にある（すなわち、
Ｓn＝Ｅn＝０である）ものと推定される。
フォン１１８は短期間の信号エネルギー（２０ミリ秒の
信号のブロックを用いて２０ミリ秒ごとに計算される）
を、１秒間に渡りモニタする。そして最も低いエネルギ
ーを持つセグメントが、沈黙の期間にある（すなわち、
Ｓn＝Ｅn＝０である）ものと推定される。
【００８２】一定の時間間隔において予想されるエコー
のエネルギーは、先に計算されたエコー信号を用いて容
易に計算される。一定の期間の残留エコーエネルギー
は、予想されるエコーのエネルギーの０．１倍と推定さ
れる。このときは、エコーキャンセルは控えめにみて１
０ｄＢであるということになる。
のエネルギーは、先に計算されたエコー信号を用いて容
易に計算される。一定の期間の残留エコーエネルギー
は、予想されるエコーのエネルギーの０．１倍と推定さ
れる。このときは、エコーキャンセルは控えめにみて１
０ｄＢであるということになる。
【００８３】Ｓn，Ｅn，Ｂnは互いに独立に生成される
ので、信号Ａnのエネルギーはこの３個の要素の信号の
エネルギーの和に等しいと推定し得る。言い換えれば、
音声のエネルギーをＥS、記録された音声のエネルギー
をＥA、残留エコーのエネルギーをＥE、バックグラウン
ドノイズのエネルギーをＥBとしたとき、数１７の関係
が成り立つ。
ので、信号Ａnのエネルギーはこの３個の要素の信号の
エネルギーの和に等しいと推定し得る。言い換えれば、
音声のエネルギーをＥS、記録された音声のエネルギー
をＥA、残留エコーのエネルギーをＥE、バックグラウン
ドノイズのエネルギーをＥBとしたとき、数１７の関係
が成り立つ。
【数１７】ＥS＝ＥA−ＥE−ＥB
【００８４】１個のセグメントに記録されたデータは、
ＥSがあるしきい値を下回るとき、沈黙であると分類さ
れる。そうでない場合、記録された音声は圧縮され、圧
縮された情報はサーバに送信される。
ＥSがあるしきい値を下回るとき、沈黙であると分類さ
れる。そうでない場合、記録された音声は圧縮され、圧
縮された情報はサーバに送信される。
【００８５】（ソフトウェア自動ゲイン制御手段）ＰＣ
のマイクロフォンは、話し手の口とマイクロフォンの距
離に非常に敏感である。自動ゲイン制御（ＡＧＣ）モジ
ュールは、この敏感さを軽減するために使われる。
のマイクロフォンは、話し手の口とマイクロフォンの距
離に非常に敏感である。自動ゲイン制御（ＡＧＣ）モジ
ュールは、この敏感さを軽減するために使われる。
【００８６】多くのマルチメディアＰＣは、ハードウェ
アによりこの問題を解決している。ハードウェアＡＧＣ
はデータに非直線性をもたらし、この非直線性はエコー
とその消去の挙動に影響を及ぼすので、ソフトウェアＡ
ＧＣの必要性が出てくる。
アによりこの問題を解決している。ハードウェアＡＧＣ
はデータに非直線性をもたらし、この非直線性はエコー
とその消去の挙動に影響を及ぼすので、ソフトウェアＡ
ＧＣの必要性が出てくる。
【００８７】ソフトウェアＡＧＣは、以下のように導入
されている。 １．初期状態では、currentGain = 1.0 ２．６０ミリ秒に１回、数１８の関係を用いて実効値を
計算する。
されている。 １．初期状態では、currentGain = 1.0 ２．６０ミリ秒に１回、数１８の関係を用いて実効値を
計算する。
【数１８】 ここで、ｘnはエコーのない（すなわちエコーが消去さ
れた）、沈黙でない入力音声データである。 ３．目標となるＡＧＣゲインtargetGainを、数１９の関
係を用いて計算する。
れた）、沈黙でない入力音声データである。 ３．目標となるＡＧＣゲインtargetGainを、数１９の関
係を用いて計算する。
【数１９】 ４．ｎ＝０に値をセットした後、数２０、数２１および
数２２を順次各Ｎ回実行する。
数２２を順次各Ｎ回実行する。
【数２０】
【数２１】
【数２２】
【００８８】（ボイスブリッジングアプリケーションの
ための効率的な音声コーディング手順） 多点間音声会議（すなわち、ボイスブリッジング）シス
テムでは、各参加者は各自のマルチメディアコンピュー
タやワークステーションに接続されたマイクロフォンに
向かって話す。モデムによってサーバに効率的にデータ
転送を行うことを可能とするため、コンピュータはデー
タ圧縮を行う。
ための効率的な音声コーディング手順） 多点間音声会議（すなわち、ボイスブリッジング）シス
テムでは、各参加者は各自のマルチメディアコンピュー
タやワークステーションに接続されたマイクロフォンに
向かって話す。モデムによってサーバに効率的にデータ
転送を行うことを可能とするため、コンピュータはデー
タ圧縮を行う。
【００８９】サーバは、各参加者から音声パケットを収
集する。サーバは、参加者の位置と顔の方向についての
既知の情報を用いて、どの話し手の声（最大２人）が聞
き手に聞こえるようにするかを決定する。
集する。サーバは、参加者の位置と顔の方向についての
既知の情報を用いて、どの話し手の声（最大２人）が聞
き手に聞こえるようにするかを決定する。
【００９０】そのようにする場合、サーバは２人の話し
手からのビットストリームを１個のビットストリームに
結合し、該１個のビットストリームをモデムで送信し得
るようにできなければならない。クライアント側のマル
チメディアシステムは、２名の参加者の声を合成し、こ
れらを結合して、スピーカを通し環境音とともに再生さ
れる混合信号を生成するため、このビットストリームを
用いる。
手からのビットストリームを１個のビットストリームに
結合し、該１個のビットストリームをモデムで送信し得
るようにできなければならない。クライアント側のマル
チメディアシステムは、２名の参加者の声を合成し、こ
れらを結合して、スピーカを通し環境音とともに再生さ
れる混合信号を生成するため、このビットストリームを
用いる。
【００９１】本例における音声コーディングの独自の特
徴は、デュアルレートコーダとして動作するよう設計さ
れているという点にある。音声コーダ出力の最も重要な
パラメータは６４００ビット毎秒でコード化される。合
成された音声の品質を向上させるため、付加的情報を用
いる場合があるが、これはさらに６４００ビット毎秒加
えてコード化される。
徴は、デュアルレートコーダとして動作するよう設計さ
れているという点にある。音声コーダ出力の最も重要な
パラメータは６４００ビット毎秒でコード化される。合
成された音声の品質を向上させるため、付加的情報を用
いる場合があるが、これはさらに６４００ビット毎秒加
えてコード化される。
【００９２】この方法では、コーダは、１２８００ビッ
ト毎秒で動作する高品質の音声圧縮システム、または６
４００ビットで動作する通信品質の音声圧縮システムと
して機能し得る。
ト毎秒で動作する高品質の音声圧縮システム、または６
４００ビットで動作する通信品質の音声圧縮システムと
して機能し得る。
【００９３】２人の話し手の声のデータを送信する必要
がある場合、サーバは各人の声に６４００ビット毎秒
（すなわち、半分のレート）を割り当てる。しかし、ク
ライアントに対し１人の声のみを送信すればよい場合、
１人の声のデータに全帯域が割り当てられ、従ってより
品質の高い音声合成が可能となる。
がある場合、サーバは各人の声に６４００ビット毎秒
（すなわち、半分のレート）を割り当てる。しかし、ク
ライアントに対し１人の声のみを送信すればよい場合、
１人の声のデータに全帯域が割り当てられ、従ってより
品質の高い音声合成が可能となる。
【００９４】１２８００ビット毎秒のビットストリーム
が得られ、容易にその半分のレートのビットストリーム
（すなわち、６４００ビット毎秒のビットストリーム）
に転換できるというこの能力は、クライアントからサー
バに向けて、音声データと共に制御情報やグラフィック
情報をより多く送信する必要がある場合にも容易に利用
できる。
が得られ、容易にその半分のレートのビットストリーム
（すなわち、６４００ビット毎秒のビットストリーム）
に転換できるというこの能力は、クライアントからサー
バに向けて、音声データと共に制御情報やグラフィック
情報をより多く送信する必要がある場合にも容易に利用
できる。
【００９５】このアルゴリズムは、クライアントに送り
得る任意の数の声のストリームのうちサーバがどれを実
際に選択するかについて、クライアントがこれを決定す
ることを可能にする。クライアントは各話し手の位置を
知っているので、クライアントは、話し手と聞き手の距
離の他、そのシンボルの外見の向く方向、「音の経路」
の上にある障害物を考慮に入れた上で選択でき、さらに
異なった音声伝搬の媒体（水中、風の強い丘陵）さえも
考慮に入れることができる。
得る任意の数の声のストリームのうちサーバがどれを実
際に選択するかについて、クライアントがこれを決定す
ることを可能にする。クライアントは各話し手の位置を
知っているので、クライアントは、話し手と聞き手の距
離の他、そのシンボルの外見の向く方向、「音の経路」
の上にある障害物を考慮に入れた上で選択でき、さらに
異なった音声伝搬の媒体（水中、風の強い丘陵）さえも
考慮に入れることができる。
【００９６】優先順位決定処理は常に再評価され、この
再評価が十分速い場合、サーバとクライアントの間に
は、実在する以上に多くのストリームが共存している状
態が等価的に実現されているものとみることができる。
再評価が十分速い場合、サーバとクライアントの間に
は、実在する以上に多くのストリームが共存している状
態が等価的に実現されているものとみることができる。
【００９７】このアルゴリズムは、各クライアントが互
いに独立してこのような決定をすることを可能としてい
るので、各クライアントは、個々が有する機器上の、ま
た帯域上の制限を考慮に入れた上で、ユーザに対し最高
の内容のオーディオを提供することができる。
いに独立してこのような決定をすることを可能としてい
るので、各クライアントは、個々が有する機器上の、ま
た帯域上の制限を考慮に入れた上で、ユーザに対し最高
の内容のオーディオを提供することができる。
【００９８】（ＬＰＣ解析）本例で導入されている音声
圧縮システムは、マルチパルス励起信号を用いた音声の
線形予測コーディング（ＬＰＣ）の原理に基づいてお
り、これは、B. S. Atal J. R. Remde "A new model fo
r LPC excitation for producing natural sounding sp
eech at low bit-rates" Proc. Int. Conf. On Acousti
cs Speech andSignal Processing, Paris, France, 198
2, pp.614-617 に示されている。
圧縮システムは、マルチパルス励起信号を用いた音声の
線形予測コーディング（ＬＰＣ）の原理に基づいてお
り、これは、B. S. Atal J. R. Remde "A new model fo
r LPC excitation for producing natural sounding sp
eech at low bit-rates" Proc. Int. Conf. On Acousti
cs Speech andSignal Processing, Paris, France, 198
2, pp.614-617 に示されている。
【００９９】音声信号Ｓnは、数２３のように、不均等
な間隔を持つ異なった振幅のパルスの列により励起され
た、経時的に変化する無限インパルス応答デジタルフィ
ルタの出力、というモデルで示される。
な間隔を持つ異なった振幅のパルスの列により励起され
た、経時的に変化する無限インパルス応答デジタルフィ
ルタの出力、というモデルで示される。
【数２３】 ここで、ａk（ただし、０＜ｋ≦Ｍ）はＭ次のＬＰＣフ
ィルタ係数である。典型的には、フィルタの次数は１０
程度である。ｐnはマルチパルスの列を表し、ｗnはラン
ダム雑音の列を表す。
ィルタ係数である。典型的には、フィルタの次数は１０
程度である。ｐnはマルチパルスの列を表し、ｗnはラン
ダム雑音の列を表す。
【０１００】S. Shankar Narayan and J. P. Burg, "Sp
ectral Estimation of quasi-periodic data", IEEE Tr
ansactions on Acoustics Speech and Signal Processi
ng,march 1990, pp. 512-518. -554-II-557 に示されて
いるように、経時変化するフィルタ係数は、ＬＰＣ解析
を用いて得られる。
ectral Estimation of quasi-periodic data", IEEE Tr
ansactions on Acoustics Speech and Signal Processi
ng,march 1990, pp. 512-518. -554-II-557 に示されて
いるように、経時変化するフィルタ係数は、ＬＰＣ解析
を用いて得られる。
【０１０１】ＬＰＣ解析に先立って、Ｐ（ｚ）＝（１−
０．８７５ｚ-1）の特性を持つ１次フィルタを用いて音
声データにプリエンファシスが加えられる。
０．８７５ｚ-1）の特性を持つ１次フィルタを用いて音
声データにプリエンファシスが加えられる。
【０１０２】係数の推計は、５ミリ秒ごとに行われる。
しかし、音声のコード化という目的では４個おきのパラ
メータの組だけが用いられる。さらに高いレートでの計
算は、後述するように唇に同期したパラメータの推計の
目的で行われる。
しかし、音声のコード化という目的では４個おきのパラ
メータの組だけが用いられる。さらに高いレートでの計
算は、後述するように唇に同期したパラメータの推計の
目的で行われる。
【０１０３】典型的には、マルチパルス励起関数として
１０〜３２個のパルスが用いられる。合成された音声の
品質は、用いられたパルスの数に依存する（多い程良く
なる）。しかし、データが圧縮される量もまた、励起関
数を表すために用いられたパルスの数に依存する（少な
いほど良くなる）。
１０〜３２個のパルスが用いられる。合成された音声の
品質は、用いられたパルスの数に依存する（多い程良く
なる）。しかし、データが圧縮される量もまた、励起関
数を表すために用いられたパルスの数に依存する（少な
いほど良くなる）。
【０１０４】モデムを介してこの情報を送信するため
に、２段からなるベクトル量子化器と、それに続いてい
て３８ビットのＬＰＣフィルタ表現を生成するスカラ量
子化器により、ＬＰＣパラメータが量子化される。この
手順を以下述べる。
に、２段からなるベクトル量子化器と、それに続いてい
て３８ビットのＬＰＣフィルタ表現を生成するスカラ量
子化器により、ＬＰＣパラメータが量子化される。この
手順を以下述べる。
【０１０５】（ベクトルおよびスカラ量子化） １．ＬＰＣフィルタ係数を、J. Markel and A. Gray, L
inear Prediction ofSpeech, Springer-Verlag, 1976
に示されている手法で反射係数に変換する。反射係数
は、ＬＰＣフィルタ係数の別の表現である。一方のパラ
メータの組から他方への変換は無損失であり、また逆変
換が可能である。ＬＰＣフィルタ係数の計算値に対応す
るＭ個の反射係数をｋi（ただし、０＜ｉ≦Ｍ）とす
る。
inear Prediction ofSpeech, Springer-Verlag, 1976
に示されている手法で反射係数に変換する。反射係数
は、ＬＰＣフィルタ係数の別の表現である。一方のパラ
メータの組から他方への変換は無損失であり、また逆変
換が可能である。ＬＰＣフィルタ係数の計算値に対応す
るＭ個の反射係数をｋi（ただし、０＜ｉ≦Ｍ）とす
る。
【０１０６】２．最初の４個の反射係数を、J.Markel a
nd A.Gray,Linear Prediction of Speech,Springer-Ver
lag,1976 に示されている手法でログエリア関数（ｌａ
ｒ）に変換する。ｌｎ［．］を自然対数として、数２４
の関係を用いる。
nd A.Gray,Linear Prediction of Speech,Springer-Ver
lag,1976 に示されている手法でログエリア関数（ｌａ
ｒ）に変換する。ｌｎ［．］を自然対数として、数２４
の関係を用いる。
【数２４】
【０１０７】３．１０個のパラメータｌａｒ1，・・
・，ｌａｒ4，ｋ5，・・・，ｋ10を、６４−コードブッ
クベクトル量子化器を用いて量子化する。コードブック
の生成およびベクトル量子化器への導入の手順は、Y.Li
nde,A.Buzo and R.M.Gray,"AnAlgorithm for Vector Qu
antizer Design",IEEE Trans.On Communications,Jan19
80,pp.84-95 および R.M.Gray,"Vector Quantization,"
IEEE ASSP Magazine,April 1984,pp.4-29 に示されて
いる。ベクトル量子化器は、数２５のＸベクトルを受け
付け、６４個のコードの候補が入ったコードブックを検
索して、出力の数列として実効値が最も入力ベクトルに
適合するものを探し出し、６ビットからなるコードワー
ドのインデックスｉ１optを出力する。
・，ｌａｒ4，ｋ5，・・・，ｋ10を、６４−コードブッ
クベクトル量子化器を用いて量子化する。コードブック
の生成およびベクトル量子化器への導入の手順は、Y.Li
nde,A.Buzo and R.M.Gray,"AnAlgorithm for Vector Qu
antizer Design",IEEE Trans.On Communications,Jan19
80,pp.84-95 および R.M.Gray,"Vector Quantization,"
IEEE ASSP Magazine,April 1984,pp.4-29 に示されて
いる。ベクトル量子化器は、数２５のＸベクトルを受け
付け、６４個のコードの候補が入ったコードブックを検
索して、出力の数列として実効値が最も入力ベクトルに
適合するものを探し出し、６ビットからなるコードワー
ドのインデックスｉ１optを出力する。
【数２５】 デコーダは自らが持つコードブックから対応するコード
を検索し、与えられた入力ベクトルを６ビットに近似し
たものとして、数２６に示す数列ｑＸ1を得ることがで
きる。
を検索し、与えられた入力ベクトルを６ビットに近似し
たものとして、数２６に示す数列ｑＸ1を得ることがで
きる。
【数２６】
【０１０８】４．差分ベクトルｄＸ1＝Ｘ−ｑＸ1を生成
し、６４−コードブックベクトル量子化器で再度量子化
し、コードワードのインデックスｉ２optおよび数２７
に示す数列ｑＸ2を得る。
し、６４−コードブックベクトル量子化器で再度量子化
し、コードワードのインデックスｉ２optおよび数２７
に示す数列ｑＸ2を得る。
【数２７】
【０１０９】５．次に差分ベクトルｄＸ2＝ｄＸ1−ｑＸ
2を生成する。ここで、このベクトルの各要素を個々に
量子化する（すなわち、スカラ量子化器を用いる）。各
要素を量子化するビット数は、［４，３，３，３，３，
２，２，２，２，２］である。この２６ビットの情報、
および２個の６ビットＶＱコードｉ１optとｉ２optが共
になってＬＰＣフィルタの３８ビット表現が生成され、
この情報は、情報パケットの一部をなし、コード化音声
情報として送信される。ベクトルｄＸ2の量子化された
各値を数２８に示す値ｑＸ3とすると、デコードされた
ベクトルＸの値は数２９の通りとなる。
2を生成する。ここで、このベクトルの各要素を個々に
量子化する（すなわち、スカラ量子化器を用いる）。各
要素を量子化するビット数は、［４，３，３，３，３，
２，２，２，２，２］である。この２６ビットの情報、
および２個の６ビットＶＱコードｉ１optとｉ２optが共
になってＬＰＣフィルタの３８ビット表現が生成され、
この情報は、情報パケットの一部をなし、コード化音声
情報として送信される。ベクトルｄＸ2の量子化された
各値を数２８に示す値ｑＸ3とすると、デコードされた
ベクトルＸの値は数２９の通りとなる。
【数２８】
【数２９】Ｘ＝ｑＸ1＋ｑＸ2＋
【０１１０】６．このＸベクトルに対し必要な変換（す
なわち、ログエリアから反射係数への変換、および反射
係数からＬＰＣフィルタ係数への変換）を行うことによ
り量子化されたＬＰＣフィルタ係数が得られる。結果と
して得られるフィルタ係数を、ａk（０＜ｋ≦Ｍ）で示
す。
なわち、ログエリアから反射係数への変換、および反射
係数からＬＰＣフィルタ係数への変換）を行うことによ
り量子化されたＬＰＣフィルタ係数が得られる。結果と
して得られるフィルタ係数を、ａk（０＜ｋ≦Ｍ）で示
す。
【０１１１】（マルチパルス励起パラメータの生成）合
成のアプローチによる分析を用い、マルチパルス励起パ
ラメータ（すなわちパルスの位置および振幅）を以下の
ようにして得ることができる。Ｓnは２０ミリ秒のフレ
ーム中の音声データを表し、ａn（０＜ｎ≦Ｍ）はこの
音声のフレームについて得られたＬＰＣフィルタ係数と
する。
成のアプローチによる分析を用い、マルチパルス励起パ
ラメータ（すなわちパルスの位置および振幅）を以下の
ようにして得ることができる。Ｓnは２０ミリ秒のフレ
ーム中の音声データを表し、ａn（０＜ｎ≦Ｍ）はこの
音声のフレームについて得られたＬＰＣフィルタ係数と
する。
【０１１２】残留信号ｒnは、数３０の関係により計算
される。
される。
【数３０】
【０１１３】知覚的重み付けフィルタのインパルス応答
は、数３１〜数３３の関係により計算される。
は、数３１〜数３３の関係により計算される。
【数３１】
【数３２】
【数３３】 ここでλ＝０．８５であり、またＬは４０としている。
【０１１４】次に数３４に示す数列および数３５〜数３
７に示す数列の２個の数列が生成される。
７に示す数列の２個の数列が生成される。
【数３４】
【数３５】
【数３６】
【数３７】 言い換えれば、数列ｐnは数列ｈnについてそれ自身との
畳み込みによって得られ、数列ｑnは、残留信号の数列
ｒnとｐnとの畳み込みによって得られる。
畳み込みによって得られ、数列ｑnは、残留信号の数列
ｒnとｐnとの畳み込みによって得られる。
【０１１５】励起パルスの位置は、ｑ'n＝ｑnとして、
ｑ'nが極大となるようなｎの位置に選ぶ。この位置をｌ
iとすると、パルスの高さｈiは、数３８の関係から得ら
れる。
ｑ'nが極大となるようなｎの位置に選ぶ。この位置をｌ
iとすると、パルスの高さｈiは、数３８の関係から得ら
れる。
【数３８】
【０１１６】各パルスの情報（すなわち位置と高さ）が
得られた後、数列ｑ'nは、数３９の関係を用いて変更さ
れる。
得られた後、数列ｑ'nは、数３９の関係を用いて変更さ
れる。
【数３９】
【０１１７】この手順は、必要な数の励起パルスが決定
されるまで順次続けられる。このようにして得られたパ
ルス位置の情報を用いて、数４０に示す行列方程式を解
くことにより、最適な高さの情報が得られる。
されるまで順次続けられる。このようにして得られたパ
ルス位置の情報を用いて、数４０に示す行列方程式を解
くことにより、最適な高さの情報が得られる。
【数４０】Ｓxxｈ＝Ｓxy ここでＳxxは、その（ｉ，ｊ）番目の要素がＬ−１＋｜
ｌi−ｌj｜に等しい（Ｍ行Ｍ列の）行列であり、Ｓ
xyは、そのｉ番目の要素がｑliに等しい（Ｍ行１列の）
ベクトルであり、またｈは励起パルスの高さを表す（Ｍ
行１列の）ベクトルである。
ｌi−ｌj｜に等しい（Ｍ行Ｍ列の）行列であり、Ｓ
xyは、そのｉ番目の要素がｑliに等しい（Ｍ行１列の）
ベクトルであり、またｈは励起パルスの高さを表す（Ｍ
行１列の）ベクトルである。
【０１１８】本システムの実施の形態では、２０ミリ秒
ごとの音声データにつきまず１２個の励起パルスが順次
決定され、次いでパルスの高さが最適化される。
ごとの音声データにつきまず１２個の励起パルスが順次
決定され、次いでパルスの高さが最適化される。
【０１１９】ビットレートが６４００ビット毎秒の音声
コード化システムの送信パラメータとしては、３８ビッ
トのＬＰＣ係数の情報と１２個の励起パルスに関する情
報（すなわち高さと振幅）を用いることができる。数列
ｑnからはこれら１２個のパルスの寄与分が差し引か
れ、同様の手法で追加の１４個の励起パルスが得られ
る。結局、２６個のマルチパルス励起パルスが２段階に
決定される。
コード化システムの送信パラメータとしては、３８ビッ
トのＬＰＣ係数の情報と１２個の励起パルスに関する情
報（すなわち高さと振幅）を用いることができる。数列
ｑnからはこれら１２個のパルスの寄与分が差し引か
れ、同様の手法で追加の１４個の励起パルスが得られ
る。結局、２６個のマルチパルス励起パルスが２段階に
決定される。
【０１２０】ビットレートが１１６００ビット毎秒の音
声コード化システムの送信パラメータとしては、３８ビ
ットのＬＰＣ係数情報と２６個の励起パルスに関する情
報（すなわち高さと振幅）を用いることができる。
声コード化システムの送信パラメータとしては、３８ビ
ットのＬＰＣ係数情報と２６個の励起パルスに関する情
報（すなわち高さと振幅）を用いることができる。
【０１２１】ボイスブリッジングアプリケーションで
は、サーバが６４００ビット毎秒のビットストリームデ
ータを生成したいとき、クライアントシステム（すなわ
ちマルチメディアコンピュータステーション）がこの１
１６００ビット毎秒のストリームを送るのに加えて、２
６個のパルスのうちどの１２個が選択されるべきかにつ
いての付加的な情報（１２００ビット毎秒のストリーム
である）も送られる。
は、サーバが６４００ビット毎秒のビットストリームデ
ータを生成したいとき、クライアントシステム（すなわ
ちマルチメディアコンピュータステーション）がこの１
１６００ビット毎秒のストリームを送るのに加えて、２
６個のパルスのうちどの１２個が選択されるべきかにつ
いての付加的な情報（１２００ビット毎秒のストリーム
である）も送られる。
【０１２２】従って、音声情報をサーバに送るために要
する帯域は１２８００ビット毎秒であり、一方サーバは
クライアントに対し、１１６００ビット毎秒（話し手１
人の場合）または１２８００（２ｘ６４００）ビット毎
秒（話し手２人の場合）で、圧縮された音声データを送
る。以下からは、励起パルスの情報のコード化を説明す
る。
する帯域は１２８００ビット毎秒であり、一方サーバは
クライアントに対し、１１６００ビット毎秒（話し手１
人の場合）または１２８００（２ｘ６４００）ビット毎
秒（話し手２人の場合）で、圧縮された音声データを送
る。以下からは、励起パルスの情報のコード化を説明す
る。
【０１２３】（パルス位置コーダ）低いビットレートで
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの位置は、効率的にコード化される必要がある。２０
ミリ秒の音声は１６０サンプルの音声に相当する。各パ
ルスは１６０箇所のいずれかに位置し得るが、どの２個
のパルスも同一の位置にいることはできない。
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの位置は、効率的にコード化される必要がある。２０
ミリ秒の音声は１６０サンプルの音声に相当する。各パ
ルスは１６０箇所のいずれかに位置し得るが、どの２個
のパルスも同一の位置にいることはできない。
【０１２４】１０２ビットを用いてこの情報をコード化
するために、 M. Berouti, et. al."Efficient Computa
tional and Encoding of the multi-pulse excitation
forLPC," proc. Int. Conf. On Acoustics Speech and
Signal Processing, San Diego, CA, 1984, pp. 10.1.1
-10.1.4. に示されている組み合わせコーディング手順
が用いられている。エンコーダは、サーバがハーフレー
トのビットストリームを生成するため２６個のパルスか
ら１２個を選択するのに必要な情報（26Ｃ12すなわち２
４ビット）をコード化するために、組み合わせコーディ
ング手順を用いている。
するために、 M. Berouti, et. al."Efficient Computa
tional and Encoding of the multi-pulse excitation
forLPC," proc. Int. Conf. On Acoustics Speech and
Signal Processing, San Diego, CA, 1984, pp. 10.1.1
-10.1.4. に示されている組み合わせコーディング手順
が用いられている。エンコーダは、サーバがハーフレー
トのビットストリームを生成するため２６個のパルスか
ら１２個を選択するのに必要な情報（26Ｃ12すなわち２
４ビット）をコード化するために、組み合わせコーディ
ング手順を用いている。
【０１２５】ハーフレートのコーダの場合において１２
個のパルスの位置をコード化するときにも、同様の手順
が用いられる。従って、２０ミリ秒ごとのパルス位置情
報をコード化するには、全体で１１４ビットが必要であ
る。
個のパルスの位置をコード化するときにも、同様の手順
が用いられる。従って、２０ミリ秒ごとのパルス位置情
報をコード化するには、全体で１１４ビットが必要であ
る。
【０１２６】（パルス振幅コーダ）低いビットレートで
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの振幅は、効率的にコード化される必要がある。パル
スの振幅は、これをパルス振幅の実効値（ｒｍｓ）で規
格化することにより効率的にコード化される。
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの振幅は、効率的にコード化される必要がある。パル
スの振幅は、これをパルス振幅の実効値（ｒｍｓ）で規
格化することにより効率的にコード化される。
【０１２７】規格化を行った後、パルス振幅は、T. Ma
x, "Quantizing for minimum distortion, "IRE Trans.
On Information Theory, Vol. 16, 1970, pp. 7-12.
に示されている８段階のガウシアン量子化器で量子化さ
れる。
x, "Quantizing for minimum distortion, "IRE Trans.
On Information Theory, Vol. 16, 1970, pp. 7-12.
に示されている８段階のガウシアン量子化器で量子化さ
れる。
【０１２８】量子化雑音を最小化するために最適化され
たパルス振幅実効値は、６ビットの送信パラメータとし
てコード化される。従って、２０ミリ秒ごとのパルス振
幅情報をコード化するには、全体で８４ビットが必要で
ある。
たパルス振幅実効値は、６ビットの送信パラメータとし
てコード化される。従って、２０ミリ秒ごとのパルス振
幅情報をコード化するには、全体で８４ビットが必要で
ある。
【０１２９】（効率的な唇の同期方法）人間の唇の位置
は、フォルマント周波数として知られる、短時間の音声
スペクトルの周波数の低い方から二つのピークと、音声
信号の短期間のエネルギーによりかなりの程度決定でき
る、ということが知られている。
は、フォルマント周波数として知られる、短時間の音声
スペクトルの周波数の低い方から二つのピークと、音声
信号の短期間のエネルギーによりかなりの程度決定でき
る、ということが知られている。
【０１３０】具体的には、周波数の低い方から２個のフ
ォルマント周波数の間隔は、唇の幅に比例する。下唇の
高さは、周波数が低い方のフォルマント周波数に比例す
る傾向がある。最後に上唇の高さと唇の丸まり現象（す
なわち、唇が閉じた位置から離れる両唇）は、周波数の
低い方から２個のフォルマント周波数の和に反比例す
る。言い換えれば、第１と第２のフォルマント周波数は
共に、唇が丸くなるにつれ低くなっていなければならな
いことになる。
ォルマント周波数の間隔は、唇の幅に比例する。下唇の
高さは、周波数が低い方のフォルマント周波数に比例す
る傾向がある。最後に上唇の高さと唇の丸まり現象（す
なわち、唇が閉じた位置から離れる両唇）は、周波数の
低い方から２個のフォルマント周波数の和に反比例す
る。言い換えれば、第１と第２のフォルマント周波数は
共に、唇が丸くなるにつれ低くなっていなければならな
いことになる。
【０１３１】これらの推計は話し手の実際の唇の位置と
は同じでない場合があるが、顔のアニメーションにこれ
らを用いた場合、極めて真に迫った効果をもたらすと考
えられる。唇の位置を計算する方法は、以下の段階より
構成される。
は同じでない場合があるが、顔のアニメーションにこれ
らを用いた場合、極めて真に迫った効果をもたらすと考
えられる。唇の位置を計算する方法は、以下の段階より
構成される。
【０１３２】（唇の情報の抽出） １．音声のエンコードの目的で推計されたＬＰＣパラメ
ータ（前述）は、音声データ中の短時間のスペクトル情
報を得るために用いることができる。しかし、ＬＰＣフ
ィルタ情報についての既知の情報からフォルマント周波
数を推計する上では、計算上の要求が厳しいものと考え
られる。本発明の実施の形態では、６４−コードワード
ＶＱコードブックにある各候補に対応するフォルマント
周波数がリアルタイムでなく前もって計算され、保存さ
れる。そのため、ＬＰＣパラメータにつき１段目のベク
トル量子化が行われるとき、フォルマント周波数の推計
も同時に得られる。所与の音声のセグメントの周波数の
低い方から２個のフォルマント周波数として、シンボル
ｆ1とｆ2を用いる。また、そのフレームの信号のエネル
ギーのデシベル値（ｄＢ）として、シンボルＥを用い
る。２個のフォルマント周波数と信号のエネルギーを既
定とし、唇の幅の中間値を１として、以下の発見法を用
いて唇の位置の予備的な推計を行う。
ータ（前述）は、音声データ中の短時間のスペクトル情
報を得るために用いることができる。しかし、ＬＰＣフ
ィルタ情報についての既知の情報からフォルマント周波
数を推計する上では、計算上の要求が厳しいものと考え
られる。本発明の実施の形態では、６４−コードワード
ＶＱコードブックにある各候補に対応するフォルマント
周波数がリアルタイムでなく前もって計算され、保存さ
れる。そのため、ＬＰＣパラメータにつき１段目のベク
トル量子化が行われるとき、フォルマント周波数の推計
も同時に得られる。所与の音声のセグメントの周波数の
低い方から２個のフォルマント周波数として、シンボル
ｆ1とｆ2を用いる。また、そのフレームの信号のエネル
ギーのデシベル値（ｄＢ）として、シンボルＥを用い
る。２個のフォルマント周波数と信号のエネルギーを既
定とし、唇の幅の中間値を１として、以下の発見法を用
いて唇の位置の予備的な推計を行う。
【０１３３】２．信号エネルギー情報のフィルタリン
グ： １フレームの音声について計算された信号エネル
ギーＥにはバックグラウンドノイズのエネルギーも含ま
れている。このバックグラウンドノイズのレベルの効果
は、この情報を唇の位置の計算に用いる前に除去される
べきである。計算された信号エネルギーを変更するた
め、以下のアルゴリズムが用いられる。まず、初期状態
で数４１のように値がセットされる。
グ： １フレームの音声について計算された信号エネル
ギーＥにはバックグラウンドノイズのエネルギーも含ま
れている。このバックグラウンドノイズのレベルの効果
は、この情報を唇の位置の計算に用いる前に除去される
べきである。計算された信号エネルギーを変更するた
め、以下のアルゴリズムが用いられる。まず、初期状態
で数４１のように値がセットされる。
【数４１】 ５ミリ秒ごとに、数４２の関係を用いてこれが更新され
る。
る。
【数４２】 信号エネルギーＥは、数４３のように更新される。
【数４３】 ０より小さい場合はＥの値が０にセットされ、４０より
大きい場合は４０ｄＢにセットされる。
大きい場合は４０ｄＢにセットされる。
【０１３４】３．下唇の高さの計算： ｆ1が範囲内
（３００〜８００Ｈｚ）にある場合、数４４の関係を用
いて下唇の高さが計算される。
（３００〜８００Ｈｚ）にある場合、数４４の関係を用
いて下唇の高さが計算される。
【数４４】 そうでない場合、下唇の高さは、数４５の関係を用いて
計算される。
計算される。
【数４５】
【０１３５】４．唇の幅の計算： 以下の方法では、ｆ
2が１０００〜１８００Ｈｚの領域にある場合唇の幅を
変えない。ｆ2が７００〜１０００Ｈｚの範囲にある場
合、数４６の関係を用いて唇の幅は減少される。
2が１０００〜１８００Ｈｚの領域にある場合唇の幅を
変えない。ｆ2が７００〜１０００Ｈｚの範囲にある場
合、数４６の関係を用いて唇の幅は減少される。
【数４６】 ｆ2が１８００〜２５００Ｈｚの範囲にある場合、数４
７の関係を用いて唇の幅は増加される。
７の関係を用いて唇の幅は増加される。
【数４７】
【０１３６】５．唇の丸まり： ｆ1＋ｆ2＜１６００
且つ ２５０＜ｆ1＜８００ 且つ７００＜ｆ2＜２５０
０のとき、数４８の関係が成り立つことが明らかとなっ
ている。
且つ ２５０＜ｆ1＜８００ 且つ７００＜ｆ2＜２５０
０のとき、数４８の関係が成り立つことが明らかとなっ
ている。
【数４８】 また下唇の高さは、数４９の関係を用いて変更される。
【数４９】 唇の丸まりが生じない場合、上唇の高さは信号エネルギ
ーに緩やかに依存し、その値は、数５０の通り計算され
る。
ーに緩やかに依存し、その値は、数５０の通り計算され
る。
【数５０】
【０１３７】（唇のフィルタリング）本実施の形態で
は、唇位置のスムーシングフィルタを用いている。唇の
瞬時位置は５ミリ秒ごとに（すなわち１秒間に２００
回）得られるが、これには雑音が入る傾向がある。その
上、多くのビジュアルディスプレイはずっと低いレート
（典型的には、毎秒６〜３０回）でリフレッシュされ
る。
は、唇位置のスムーシングフィルタを用いている。唇の
瞬時位置は５ミリ秒ごとに（すなわち１秒間に２００
回）得られるが、これには雑音が入る傾向がある。その
上、多くのビジュアルディスプレイはずっと低いレート
（典型的には、毎秒６〜３０回）でリフレッシュされ
る。
【０１３８】必要なレートで雑音のないパラメータの推
計値を得るため、唇のパラメータに対し、カットオフ周
波数が６．２５Ｈｚの、３１点の有限インパルス応答
（ＦＩＲ）ローパスフィルタが用いられる。ここでの応
用では、スムーシングされた唇のパラメータが、毎秒１
６．６７回計算される。
計値を得るため、唇のパラメータに対し、カットオフ周
波数が６．２５Ｈｚの、３１点の有限インパルス応答
（ＦＩＲ）ローパスフィルタが用いられる。ここでの応
用では、スムーシングされた唇のパラメータが、毎秒１
６．６７回計算される。
【０１３９】（唇の情報のエンコード）唇位置の変数は
強い相関を持っている。例えば、口の幅が広がれば、唇
の高さの値は小さくなると考えられる。一方で、口が丸
くなれば、唇の幅は小さくなり、唇の高さの値は大きく
なる。この情報は、唇の位置を非常に少ないビット数に
コード化する際に利用される。本発明では、唇のすべて
の変数をコード化するため、６０ミリ秒ごとに８ビット
を用いている。
強い相関を持っている。例えば、口の幅が広がれば、唇
の高さの値は小さくなると考えられる。一方で、口が丸
くなれば、唇の幅は小さくなり、唇の高さの値は大きく
なる。この情報は、唇の位置を非常に少ないビット数に
コード化する際に利用される。本発明では、唇のすべて
の変数をコード化するため、６０ミリ秒ごとに８ビット
を用いている。
【０１４０】下唇の高さの情報は、１６段階の量子化器
を用いてコード化され、そのとり得る値は、表１の通り
である。
を用いてコード化され、そのとり得る値は、表１の通り
である。
【表１】
【０１４１】上唇の高さの情報と唇の幅は強く相関して
いるので、これらは１６段階の量子化器を用いて共に量
子化され、そのとり得る値は表２の通りである。
いるので、これらは１６段階の量子化器を用いて共に量
子化され、そのとり得る値は表２の通りである。
【表２】 このようにして唇の位置は８ビットのみにコード化され
る。
る。
【０１４２】（ロボット音声／囁き音声励起ゼネレー
タ）前述のように、音声信号は、ランダム雑音の連続ま
たはインパルス列により励起された、経時変化するデジ
タルフィルタ（すなわちＬＰＣフィルタ）の出力にモデ
ル化され得る。
タ）前述のように、音声信号は、ランダム雑音の連続ま
たはインパルス列により励起された、経時変化するデジ
タルフィルタ（すなわちＬＰＣフィルタ）の出力にモデ
ル化され得る。
【０１４３】典型的には、発せられている音が摩擦
音（"ｓ"，"ＳＨ"，"ｆ"のような音）のとき、フィルタ
はランダム雑音により励起される。一方で、母音が発せ
られているとき、フィルタは、周期が話し手のピッチに
対応するような準周期的信号により励起される。
音（"ｓ"，"ＳＨ"，"ｆ"のような音）のとき、フィルタ
はランダム雑音により励起される。一方で、母音が発せ
られているとき、フィルタは、周期が話し手のピッチに
対応するような準周期的信号により励起される。
【０１４４】ボイスモーフィングを実行するためには、
フィルタ励起信号を変更してもよい。本発明におけるモ
ーフィングには、特定の形の音声の歪化ないし変更を行
うための励起関数のパラメータの変更が関わっている。
フィルタ励起信号を変更してもよい。本発明におけるモ
ーフィングには、特定の形の音声の歪化ないし変更を行
うための励起関数のパラメータの変更が関わっている。
【０１４５】囁きの音声は、有声の弦振動がないとき、
ＬＰＣ合成器の場合でいえば周期的パルス励起に変換さ
れないとき（すなわち、ＬＰＣフィルタがランダム雑音
のみにより励起されているとき）、に生成される。囁き
音を生成したいとき、励起信号はランダム雑音に換えら
れる。ランダム雑音のエネルギーは、実際の音声のエネ
ルギーに比例して調整される。
ＬＰＣ合成器の場合でいえば周期的パルス励起に変換さ
れないとき（すなわち、ＬＰＣフィルタがランダム雑音
のみにより励起されているとき）、に生成される。囁き
音を生成したいとき、励起信号はランダム雑音に換えら
れる。ランダム雑音のエネルギーは、実際の音声のエネ
ルギーに比例して調整される。
【０１４６】ロボット音声は、人間である話し手のピッ
チが単調であるとき（すなわち、発話の間ピッチの変化
がほとんどない）ときに生成される。ＬＰＣ合成の場面
でいえば、周期的パルスによる励起に変換され、その周
期がほとんど変化しないときである。これらのインパル
スのエネルギーは、合成された音声のエネルギーが元の
音声のそれと等しくなるように調整する。ロボット音声
の周期性は、ユーザ毎に特定される。ロボット音声の場
合に合成された音声のバズ音を軽減するには、周期性の
情報に低い周波数のジッタが加えられる。
チが単調であるとき（すなわち、発話の間ピッチの変化
がほとんどない）ときに生成される。ＬＰＣ合成の場面
でいえば、周期的パルスによる励起に変換され、その周
期がほとんど変化しないときである。これらのインパル
スのエネルギーは、合成された音声のエネルギーが元の
音声のそれと等しくなるように調整する。ロボット音声
の周期性は、ユーザ毎に特定される。ロボット音声の場
合に合成された音声のバズ音を軽減するには、周期性の
情報に低い周波数のジッタが加えられる。
【０１４７】（ボイスモーファ）本システムに導入され
ているもう一つの型のボイスモーフィングは、話し手の
ピッチを変更するものである。この方法では、男性の声
をより女性の声のようにすることができ、またその逆も
できる。
ているもう一つの型のボイスモーフィングは、話し手の
ピッチを変更するものである。この方法では、男性の声
をより女性の声のようにすることができ、またその逆も
できる。
【０１４８】ボイスモーフィングは２段階で行われる。
ピッチ周波数は因数ｒにより増加されるとして、まず、
そのピッチ変化の因数ｒにより、音声補間／間引きの技
術を用いて、音声データのサンプリング周波数が減少さ
れる。これにより音声サンプルの長さも変わる（すなわ
ち、因数ｒにより音声の長さが減少する）。
ピッチ周波数は因数ｒにより増加されるとして、まず、
そのピッチ変化の因数ｒにより、音声補間／間引きの技
術を用いて、音声データのサンプリング周波数が減少さ
れる。これにより音声サンプルの長さも変わる（すなわ
ち、因数ｒにより音声の長さが減少する）。
【０１４９】ピッチが変わった音声の長さを元の音声の
長さと同じに保つために、Werner Verhelst, and Marc
Roelands, "An overlap-add technique based on wavef
ormsimilarity (WSOLA) for high quality timescale m
odification speech" Proc.Int. Conf. On Acoustics S
peech and Signal Processing, Mineapolis, 1993,pp.
II-554-II-557. により示された技術を用いて、音声の
時間スケールの変更が行なわれる。
長さと同じに保つために、Werner Verhelst, and Marc
Roelands, "An overlap-add technique based on wavef
ormsimilarity (WSOLA) for high quality timescale m
odification speech" Proc.Int. Conf. On Acoustics S
peech and Signal Processing, Mineapolis, 1993,pp.
II-554-II-557. により示された技術を用いて、音声の
時間スケールの変更が行なわれる。
【０１５０】この型のボイスモーフィングは、エンコー
ダでの音声の解析が行われる前の音声データについて行
われる。
ダでの音声の解析が行われる前の音声データについて行
われる。
【０１５１】（ビットストリームエンコーダ）ビットス
トリームエンコーダは、解析器で生成された多様なエン
コード情報を入力として受け付け、これらを９６バイト
のパケットにパックし、６０ミリ秒ごとにサーバに送
る。しかし、音声解析は２０ミリ秒ごとに行われる点に
注意すべきである。従って、ビットストリームエンコー
ダは、１個のボイスパケットを作るために３組の解析デ
ータを用いる。
トリームエンコーダは、解析器で生成された多様なエン
コード情報を入力として受け付け、これらを９６バイト
のパケットにパックし、６０ミリ秒ごとにサーバに送
る。しかし、音声解析は２０ミリ秒ごとに行われる点に
注意すべきである。従って、ビットストリームエンコー
ダは、１個のボイスパケットを作るために３組の解析デ
ータを用いる。
【０１５２】２０ミリ秒ごとに計算されて各ボイスパケ
ットに含まれることになるのは、以下のパラメータの組
である。 １．ＶＱコードワードｉ１opt（６ビット） ２．ＶＱコードワードｉ２opt（６ビット） ３．残留ｌｐｃフィルタ係数１０個（２６ビット） ４．ｒｍｓパルス振幅コード（６ビット） ５．２６個のパルス振幅コード（７８ビット） ６．パルス位置コード（１１４ビット） ７．唇位置情報（６０ミリ秒ごとに８ビット） ８．音声タイプコード（囁きか、通常か、ロボットかの
区別）
ットに含まれることになるのは、以下のパラメータの組
である。 １．ＶＱコードワードｉ１opt（６ビット） ２．ＶＱコードワードｉ２opt（６ビット） ３．残留ｌｐｃフィルタ係数１０個（２６ビット） ４．ｒｍｓパルス振幅コード（６ビット） ５．２６個のパルス振幅コード（７８ビット） ６．パルス位置コード（１１４ビット） ７．唇位置情報（６０ミリ秒ごとに８ビット） ８．音声タイプコード（囁きか、通常か、ロボットかの
区別）
【０１５３】（デコーダの動作）ビットストリームデコ
ーダは、サーバからのボイスパケットの組を入力として
受け付けて多様なパラメータにデコードし、パラメータ
は、合成音声を得る目的で、デコーダに用いられたり、
ＬＰＣ合成機能を動作させたりする。
ーダは、サーバからのボイスパケットの組を入力として
受け付けて多様なパラメータにデコードし、パラメータ
は、合成音声を得る目的で、デコーダに用いられたり、
ＬＰＣ合成機能を動作させたりする。
【０１５４】合成器は、数５１に示す差分関数を用いて
導入される。
導入される。
【数５１】 ここでａkはデコードされたＭ次のＬＰＣフィルタ係
数、Ｓnは合成された音声サンプル、Ｐnはデコードされ
た励起パルスである。
数、Ｓnは合成された音声サンプル、Ｐnはデコードされ
た励起パルスである。
【０１５５】（アダプティブポストフィルタ、距離およ
びエコーフィルタ、帯域フィルタ）アダプティブポスト
フィルタリングは、J. H. Chen and A. Gersho, "Real-
Time Vector APC Speech Coding at 4800 bps with ada
ptive post-filtering, "Proc. Int. Conf. On Acousti
cs Speech and Signal Processing, Dallas, 1987, pp.
2185-2188. に示されている。フィルタリングは、合成
された音声に対し、さらに音声の品質を向上させるため
に施される。このシステムは、仮想空間の設定をシミュ
レートするための特殊音声効果を創り出すことができ
る。この目的のため、エコー又は反響のフィルタリング
を施すことができる。
びエコーフィルタ、帯域フィルタ）アダプティブポスト
フィルタリングは、J. H. Chen and A. Gersho, "Real-
Time Vector APC Speech Coding at 4800 bps with ada
ptive post-filtering, "Proc. Int. Conf. On Acousti
cs Speech and Signal Processing, Dallas, 1987, pp.
2185-2188. に示されている。フィルタリングは、合成
された音声に対し、さらに音声の品質を向上させるため
に施される。このシステムは、仮想空間の設定をシミュ
レートするための特殊音声効果を創り出すことができ
る。この目的のため、エコー又は反響のフィルタリング
を施すことができる。
【０１５６】エコーフィルタは、数５２に示すシステム
関数を持つ１次の無限インパルスフィルタである。
関数を持つ１次の無限インパルスフィルタである。
【数５２】 ここで、Ｄは、必要な特殊効果を創り出すのに要する反
響による遅延、Ｇは、必要な特殊効果を創り出すのに要
する反響係数（絶対値は１未満）である。
響による遅延、Ｇは、必要な特殊効果を創り出すのに要
する反響係数（絶対値は１未満）である。
【０１５７】帯域フィルタリングはエコーフィルタの出
力に施され、ＤＣおよび低周波オフセット雑音を除去
し、ディエンファシスフィルタリングの効果を及ぼす。
フィルタの伝達関数は、数５３の通りである。
力に施され、ＤＣおよび低周波オフセット雑音を除去
し、ディエンファシスフィルタリングの効果を及ぼす。
フィルタの伝達関数は、数５３の通りである。
【数５３】
【０１５８】話し手と聞き手の仮想の世界での空間的位
置についての既知の情報を用いて、モノラル音声サンプ
ルをステレオ音声サンプルに変換するため、以下のアル
ゴリズムを用いる距離フィルタが導入される。 １．聞き手および話し手の仮想空間での角度をΘlおよ
びΘｓ とし、両者間の距離をｄ（メートル）とする。 ２．距離ゲインＧdは、数５４の通り求められる。
置についての既知の情報を用いて、モノラル音声サンプ
ルをステレオ音声サンプルに変換するため、以下のアル
ゴリズムを用いる距離フィルタが導入される。 １．聞き手および話し手の仮想空間での角度をΘlおよ
びΘｓ とし、両者間の距離をｄ（メートル）とする。 ２．距離ゲインＧdは、数５４の通り求められる。
【数５４】 ３．左および右の距離フィルタ係数は、数５５〜数５８
の通り計算される。
の通り計算される。
【数５５】
【数５６】
【数５７】
【数５８】 ４．最後に、左および右のチャンネルの音声サンプル
は、数５９および数６０に示すフィルタリング操作によ
り計算される。
は、数５９および数６０に示すフィルタリング操作によ
り計算される。
【数５９】
【数６０】 ここでｘnは音声合成器の出力（モノラル音響）、ｌnお
よびｒnは結果として得られる左および右のチャンネル
の音の連続である。
よびｒnは結果として得られる左および右のチャンネル
の音の連続である。
【０１５９】（環境音生成）仮想の社会生活上の環境で
は、特殊効果を創り出すためバックグラウンド音響が生
成される。例としては、参加者が会議のグループから離
脱／グループに参加するときに、グループの残りの者に
は扉が開く／閉じる音が聞こえる、といったものであ
る。また仮想空間でのバックグラウンドミュージックで
もよい。このような音響はこのモジュールで生成され
る。
は、特殊効果を創り出すためバックグラウンド音響が生
成される。例としては、参加者が会議のグループから離
脱／グループに参加するときに、グループの残りの者に
は扉が開く／閉じる音が聞こえる、といったものであ
る。また仮想空間でのバックグラウンドミュージックで
もよい。このような音響はこのモジュールで生成され
る。
【０１６０】（ウェーブミキサ）スピーカから出力され
る音響は、以下のいずれかである。 １．１人の音声のみ ２．１人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ３．２人の音声のみ ４．２人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ウェーブミキサは、異なる音響データストリームを入力
として取り込み、ユーザが指定するゲインにして、これ
らを足し合わせ、最後に音声を高品質なものとするた
め、データに対しソフトクリッピングを行う。
る音響は、以下のいずれかである。 １．１人の音声のみ ２．１人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ３．２人の音声のみ ４．２人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ウェーブミキサは、異なる音響データストリームを入力
として取り込み、ユーザが指定するゲインにして、これ
らを足し合わせ、最後に音声を高品質なものとするた
め、データに対しソフトクリッピングを行う。
【０１６１】以上でこの発明をすべて説明したが、これ
に対し、ここに開示された発明の範囲から逸脱すること
なく変化・変更を加えることができることは、当業者に
は明らかである。従って、本発明は専ら付属の請求項の
範囲にのみ限定されるものである。
に対し、ここに開示された発明の範囲から逸脱すること
なく変化・変更を加えることができることは、当業者に
は明らかである。従って、本発明は専ら付属の請求項の
範囲にのみ限定されるものである。
【０１６２】
【発明の効果】以上説明したように、この発明は、遠隔
地にいる複数の参加者間における、音声およびその関連
情報の通信のためのインタラクティブなネットワークシ
ステムに用いることができる。
地にいる複数の参加者間における、音声およびその関連
情報の通信のためのインタラクティブなネットワークシ
ステムに用いることができる。
【図１】この発明の実施の形態にかかる多点間音声会議
システムを示す図である。
システムを示す図である。
【図２】この発明の実施の形態にかかる多点間音声会議
システムのエンコーダを示すブロック図である。
システムのエンコーダを示すブロック図である。
【図３】この発明の実施の形態にかかる多点間音声会議
システムのデコーダを示すブロック図である。
システムのデコーダを示すブロック図である。
【図４】参加者のサイトのブロック図である。
【図５】この発明の実施の形態における音響的特徴測定
の装置構成のブロック図である。
の装置構成のブロック図である。
１００ 多点間音声会議システム １０４ ユーザステーション １１０ スピーチサーバ １１２ インターネット １１４ デスクトップコンピュータ １１６ 表示装置 １１８ マイクロフォン １１９、１２０ ラウドスピーカ １２２ モデム １２６ ソフトウェア １３０ オーディオ送信ブロック １３２ 信号生成ブロック １３４ バッファ １４０ オーディオ受信ブロック １４２ レコードバッファ １４４ 信号解析ブロック ２００ エンコーダ ２０４ ＤＣ除去ブロック ２０６ サイレンスディテクタ ２１０ 自動ゲイン制御手段 ２１４ ボイスモーファ ２２２ ＬＰＣ解析ブロック ２２４ ベクトル量子化ブロック（ベクトル量子化器） ２２６ スカラ量子化ブロック（スカラ量子化器） ２２８ マルチパルス励起パラメータゼネレータ（マル
チパルスパラメータ推計） ２３０ ロボット音声／囁き音声励起ゼネレータ ２３２ ビットストリームエンコーダ ２３６ パルス位置コーダ ２３８ パルス振幅コーダ ２５０ 唇情報抽出器（唇瞬時位置抽出器） ２５２ 唇フィルタ ２５６ 唇情報コーダ ３００ デコーダ ３０４ ビットストリームデコーダ ３０６ 唇情報デコーダ ３０８ ＬＰＣパラメータデコーダ ３１０ パルス振幅デコーダ ３１２ パルス位置デコーダ ３１４ 囁き音声／ロボット音声励起デコーダ ３２０ ＬＰＣ合成器 ３２２ アダプティブポストフィルタ ３２４ エコーフィルタ（距離およびエコーフィルタ） ３２６ 帯域フィルタ ３５０ 参加者のサイト ３５４ マイクロフォン ３６０ マルチメディアパーソナルコンピュータ ３６２ アダプティブエコーキャンセラ ３６４ サイレンスディテクタ及びソフトウェア自動ゲ
イン制御モジュール（ＡＧＣ） ３６６ 唇同期音声コーダデコーダおよび音声変形器 ３６８ 双方向通信リンク ３７０ ウェーブミキサ ３７２ 環境音ゼネレータ ３７６ 左ラウドスピーカ ３７７ 右ラウドスピーカ
チパルスパラメータ推計） ２３０ ロボット音声／囁き音声励起ゼネレータ ２３２ ビットストリームエンコーダ ２３６ パルス位置コーダ ２３８ パルス振幅コーダ ２５０ 唇情報抽出器（唇瞬時位置抽出器） ２５２ 唇フィルタ ２５６ 唇情報コーダ ３００ デコーダ ３０４ ビットストリームデコーダ ３０６ 唇情報デコーダ ３０８ ＬＰＣパラメータデコーダ ３１０ パルス振幅デコーダ ３１２ パルス位置デコーダ ３１４ 囁き音声／ロボット音声励起デコーダ ３２０ ＬＰＣ合成器 ３２２ アダプティブポストフィルタ ３２４ エコーフィルタ（距離およびエコーフィルタ） ３２６ 帯域フィルタ ３５０ 参加者のサイト ３５４ マイクロフォン ３６０ マルチメディアパーソナルコンピュータ ３６２ アダプティブエコーキャンセラ ３６４ サイレンスディテクタ及びソフトウェア自動ゲ
イン制御モジュール（ＡＧＣ） ３６６ 唇同期音声コーダデコーダおよび音声変形器 ３６８ 双方向通信リンク ３７０ ウェーブミキサ ３７２ 環境音ゼネレータ ３７６ 左ラウドスピーカ ３７７ 右ラウドスピーカ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成８年１２月２６日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 会議システム
【特許請求の範囲】
【数１】
lowerLipHeight = 1.5 - cos(π(ｆ1 - 250) /
500) * (Ｅ / 80) により計算され、前記第１のフォルマント周波数が前記
範囲にないときは、数２に示す関係、
500) * (Ｅ / 80) により計算され、前記第１のフォルマント周波数が前記
範囲にないときは、数２に示す関係、
【数２】lowerLipHeight = Ｅ / 200
により計算される、ことを特徴とする請求項９に記載の
システム。
システム。
【数３】lipWidth = 1 - [1 + cos(π * (ｆ2 - 700) /
300)] * Ｅ / 133 に従って減少され、前記第２のフォルマント周波数が１
８００Ｈｚ乃至２５００Ｈｚの範囲にある ときは、数４に示す関係、
300)] * Ｅ / 133 に従って減少され、前記第２のフォルマント周波数が１
８００Ｈｚ乃至２５００Ｈｚの範囲にある ときは、数４に示す関係、
【数４】lipWidth = 1 + [1 + cos(π * (ｆ2 - 1800)
/ 700)] * Ｅ / 200 に従って増加される、 ことを特徴とする請求項９に記載のシステム。
/ 700)] * Ｅ / 200 に従って増加される、 ことを特徴とする請求項９に記載のシステム。
【数５】ＥA−ＥE−ＥB
が予め定められた値以下のとき、前記沈黙状態にあるも
のと分類される、 ことを特徴とする請求項１に記載のシステム。
のと分類される、 ことを特徴とする請求項１に記載のシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、ワイドエリアネ
ットワーク通信、特にワイドエリアネットワークを介し
た音声およびその関連情報のインタラクティブな通信に
関する。
ットワーク通信、特にワイドエリアネットワークを介し
た音声およびその関連情報のインタラクティブな通信に
関する。
【０００２】
【従来の技術】この数年の間に、コンピュータ技術はい
くつかの大きな発展を遂げてきた。その第一は、低価格
且つ強力なパーソナルコンピュータの実現である。コス
トの削減により、多くの人々がコンピュータを購入でき
るようになった。そしてその結果として、コンピュータ
の数も急激に増加してきた。これらのコンピュータの処
理速度は、１０年前に存在したメインフレームコンピュ
ータの処理速度以上である。その上これらのコンピュー
タは、モデム、サウンドカード、高解像度ビデオボード
等と共に用いられるのが一般的であり、これらにより音
声や画像といったマルチメディア情報の処理が可能とな
っている。
くつかの大きな発展を遂げてきた。その第一は、低価格
且つ強力なパーソナルコンピュータの実現である。コス
トの削減により、多くの人々がコンピュータを購入でき
るようになった。そしてその結果として、コンピュータ
の数も急激に増加してきた。これらのコンピュータの処
理速度は、１０年前に存在したメインフレームコンピュ
ータの処理速度以上である。その上これらのコンピュー
タは、モデム、サウンドカード、高解像度ビデオボード
等と共に用いられるのが一般的であり、これらにより音
声や画像といったマルチメディア情報の処理が可能とな
っている。
【０００３】第二の発展は、インターネットを呼ばれる
ワイドエリアネットワークが一般的となったことであ
る。インターネットは、現存する最大のコンピュータネ
ットワークである。これは、ローエンドのパーソナルコ
ンピュータからハイエンドのメインフレームまで数百万
のコンピュータのワールドワイドな相互接続である。
ワイドエリアネットワークが一般的となったことであ
る。インターネットは、現存する最大のコンピュータネ
ットワークである。これは、ローエンドのパーソナルコ
ンピュータからハイエンドのメインフレームまで数百万
のコンピュータのワールドワイドな相互接続である。
【０００４】インターネットは、１９６０年代に米国国
防総省の先行研究計画庁による資金提供を受けた研究か
ら発展したものである。長年の間、インターネットは大
学と国立研究所の研究者によって、情報を共有するため
に用いられてきた。インターネットの存在がより多くの
人々に知られるようになるにつれ、学術／研究界の外の
多くのユーザ（例えば、大企業の従業員）が、電子メー
ルを運ぶためにインターネットを使い始めた。
防総省の先行研究計画庁による資金提供を受けた研究か
ら発展したものである。長年の間、インターネットは大
学と国立研究所の研究者によって、情報を共有するため
に用いられてきた。インターネットの存在がより多くの
人々に知られるようになるにつれ、学術／研究界の外の
多くのユーザ（例えば、大企業の従業員）が、電子メー
ルを運ぶためにインターネットを使い始めた。
【０００５】１９８９年、ワールドワイドウェブ（「ウ
ェブ」）として知られるワイドエリア情報システムが開
発された。ウェブは、ドキュメントの広大な世界にアク
セスする汎用的な手段を提供することを目的とするワイ
ドエリアハイパーメディア情報取得システムである。ユ
ーザはソフトウェア（ブラウザと呼ばれる）を用いてウ
ェブ文書（一般的にはグラフィックの形で表示される）
を取得でき、また簡単なコマンドやポイントアンドクリ
ックといった一般的なツールを用いてウェブを操作でき
る。
ェブ」）として知られるワイドエリア情報システムが開
発された。ウェブは、ドキュメントの広大な世界にアク
セスする汎用的な手段を提供することを目的とするワイ
ドエリアハイパーメディア情報取得システムである。ユ
ーザはソフトウェア（ブラウザと呼ばれる）を用いてウ
ェブ文書（一般的にはグラフィックの形で表示される）
を取得でき、また簡単なコマンドやポイントアンドクリ
ックといった一般的なツールを用いてウェブを操作でき
る。
【０００６】ユーザは技術的な訓練を受けている必要が
なく、またブラウザは使用が快適であるため、ウェブ
は、インターネットを大衆に開放する潜在力を備えてい
るといえる。そのため、多くの通信企業は、人々が自ら
のコンピュータを用いてインターネットにアクセスでき
るようなハードウェアおよびソフトウェア製品を開発し
てきた。
なく、またブラウザは使用が快適であるため、ウェブ
は、インターネットを大衆に開放する潜在力を備えてい
るといえる。そのため、多くの通信企業は、人々が自ら
のコンピュータを用いてインターネットにアクセスでき
るようなハードウェアおよびソフトウェア製品を開発し
てきた。
【０００７】
【発明が解決しようとする課題】これらの開発により多
くの人々が、インターネットを介して他者と電子的に通
信を行う手段を手に入れている。現在、通信の多くはテ
キスト（例えば、電子メール）とグラフィック（例え
ば、ウェブ文書）を含んでいる。その上、通信の態様は
受動的なものである。すなわち、情報は、それが作成さ
れてから長い時間（例えば、数時間、また数日）が経過
した後に受け手によって読まれたり表示されたりする、
ということがあり得る。
くの人々が、インターネットを介して他者と電子的に通
信を行う手段を手に入れている。現在、通信の多くはテ
キスト（例えば、電子メール）とグラフィック（例え
ば、ウェブ文書）を含んでいる。その上、通信の態様は
受動的なものである。すなわち、情報は、それが作成さ
れてから長い時間（例えば、数時間、また数日）が経過
した後に受け手によって読まれたり表示されたりする、
ということがあり得る。
【０００８】人間は他の人々と相互に作用し合うことを
楽しむものであるということが知られている。また、声
や、声に伴った表情による表現が強力なコミュニケーシ
ョンの道具であることも知られている。従って声や声に
伴った表情による表現のインタラクティブな通信を行う
ために、インターネットを用いることが望ましい。現
在、この態様の通信を効率的に実現する製品は存在しな
い。
楽しむものであるということが知られている。また、声
や、声に伴った表情による表現が強力なコミュニケーシ
ョンの道具であることも知られている。従って声や声に
伴った表情による表現のインタラクティブな通信を行う
ために、インターネットを用いることが望ましい。現
在、この態様の通信を効率的に実現する製品は存在しな
い。
【０００９】
【課題を解決するための手段】上記目的を達成するた
め、本発明にかかる会議システムは、複数のユーザによ
るワイドエリアネットワーク上での音声および画像の通
信を実行するシステムであって、各ユーザはコンピュー
タと、前記コンピュータを前記ネットワークに接続し、
最大データ通信速度があるネットワークアクセス装置
と、マイクロフォンおよびラウドスピーカとに関係づけ
られ、前記マイクロフォンは音響信号に応答して音声信
号を生成し、前記システムは前記音声信号をデジタル音
声データに変換し、前記システムは、前記ネットワーク
に接続され、前記ユーザに関係づけられたユーザコンピ
ュータによって送られたデータストリームを管理するス
ピーチサーバと、前記ユーザコンピュータの各々の上で
動作するエンコーダプログラムとより構成され、前記エ
ンコーダプログラムは、前記エンコーダプログラムによ
って受信された前記音声データを圧縮データに圧縮する
圧縮器であって、複数の線形予測コーディング（ＬＰ
Ｃ）パラメータを生成する手段を含む圧縮器と、前記圧
縮データを、前記最大データ通信速度以下のデータレー
トを有するエンコードデータへとエンコードするビット
ストリームエンコーダとより構成され、前記エンコーダ
プログラムは、第１のデータレートを有する、第１のユ
ーザコンピュータの音声データからの第１のエンコード
データストリームを生成し、且つ、第２のデータレート
を有する、第２のユーザコンピュータの音声データから
の第２のエンコードデータストリームを生成し、前記ス
ピーチサーバは、データレートの和が前記最大データ通
信速度以上である前記第１および第２のエンコードデー
タストリームを結合して、前記最大データ通信速度以下
のデータレートを有する結合データストリームをなす手
段を含み、前記システムはさらに、第３のユーザコンピ
ュータ上で動作するデコーダプログラムより構成され、
前記デコーダプログラムは、前記結合データストリーム
を受信する手段と、前記第１および第２のユーザコンピ
ュータに結びつけられた前記マイクロフォンにより受信
された前記音響信号を、前記結合データストリームから
の情報を用いて再構築する手段とより構成される、こと
を特徴とする。
め、本発明にかかる会議システムは、複数のユーザによ
るワイドエリアネットワーク上での音声および画像の通
信を実行するシステムであって、各ユーザはコンピュー
タと、前記コンピュータを前記ネットワークに接続し、
最大データ通信速度があるネットワークアクセス装置
と、マイクロフォンおよびラウドスピーカとに関係づけ
られ、前記マイクロフォンは音響信号に応答して音声信
号を生成し、前記システムは前記音声信号をデジタル音
声データに変換し、前記システムは、前記ネットワーク
に接続され、前記ユーザに関係づけられたユーザコンピ
ュータによって送られたデータストリームを管理するス
ピーチサーバと、前記ユーザコンピュータの各々の上で
動作するエンコーダプログラムとより構成され、前記エ
ンコーダプログラムは、前記エンコーダプログラムによ
って受信された前記音声データを圧縮データに圧縮する
圧縮器であって、複数の線形予測コーディング（ＬＰ
Ｃ）パラメータを生成する手段を含む圧縮器と、前記圧
縮データを、前記最大データ通信速度以下のデータレー
トを有するエンコードデータへとエンコードするビット
ストリームエンコーダとより構成され、前記エンコーダ
プログラムは、第１のデータレートを有する、第１のユ
ーザコンピュータの音声データからの第１のエンコード
データストリームを生成し、且つ、第２のデータレート
を有する、第２のユーザコンピュータの音声データから
の第２のエンコードデータストリームを生成し、前記ス
ピーチサーバは、データレートの和が前記最大データ通
信速度以上である前記第１および第２のエンコードデー
タストリームを結合して、前記最大データ通信速度以下
のデータレートを有する結合データストリームをなす手
段を含み、前記システムはさらに、第３のユーザコンピ
ュータ上で動作するデコーダプログラムより構成され、
前記デコーダプログラムは、前記結合データストリーム
を受信する手段と、前記第１および第２のユーザコンピ
ュータに結びつけられた前記マイクロフォンにより受信
された前記音響信号を、前記結合データストリームから
の情報を用いて再構築する手段とより構成される、こと
を特徴とする。
【００１０】このようなシステムによれば、音声情報の
特徴を考慮に入れた効率的な音声情報の圧縮がなされ、
コード化されたデータストリームの結合も行われる。こ
のため、ネットワークアクセス装置の限られた通信速度
の範囲内で、ワイドエリアネットワーク上での音声及び
画像の通信が効率的に行われる。
特徴を考慮に入れた効率的な音声情報の圧縮がなされ、
コード化されたデータストリームの結合も行われる。こ
のため、ネットワークアクセス装置の限られた通信速度
の範囲内で、ワイドエリアネットワーク上での音声及び
画像の通信が効率的に行われる。
【００１１】前記デコーダプログラムはさらに、前記第
１および前記第３のユーザコンピュータの間の音響的距
離、および、前記第２および前記第３のユーザコンピュ
ータの間の音響的距離のシミュレーションを行う手段よ
り構成される、ものであってもよく、また、前記デコー
ダプログラムはさらに、前記第１および前記第３のユー
ザコンピュータの間の音響的角度、および、前記第２お
よび前記第３のユーザコンピュータの間の音響的角度の
シミュレーションを行う手段より構成される、ものであ
ってもよい。このようなシステムによれば、各ユーザに
は音響の授受のための仮想空間が提供され、インタラク
ティブな通信に好適な環境が生成される。
１および前記第３のユーザコンピュータの間の音響的距
離、および、前記第２および前記第３のユーザコンピュ
ータの間の音響的距離のシミュレーションを行う手段よ
り構成される、ものであってもよく、また、前記デコー
ダプログラムはさらに、前記第１および前記第３のユー
ザコンピュータの間の音響的角度、および、前記第２お
よび前記第３のユーザコンピュータの間の音響的角度の
シミュレーションを行う手段より構成される、ものであ
ってもよい。このようなシステムによれば、各ユーザに
は音響の授受のための仮想空間が提供され、インタラク
ティブな通信に好適な環境が生成される。
【００１２】前記エンコーダプログラムはさらに、前記
音声信号を変更するボイスモーフィング手段より構成さ
れ、前記ボイスモーフィング手段は、前記第１および前
記第２のユーザコンピュータの少なくとも一方の前記音
声信号のピッチをシフトさせるシフト手段より構成され
る、ものであってもよく、この場合、例えば、前記シフ
ト手段は、前記ピッチを一定値にシフトする手段より構
成される、ものであってもよい。
音声信号を変更するボイスモーフィング手段より構成さ
れ、前記ボイスモーフィング手段は、前記第１および前
記第２のユーザコンピュータの少なくとも一方の前記音
声信号のピッチをシフトさせるシフト手段より構成され
る、ものであってもよく、この場合、例えば、前記シフ
ト手段は、前記ピッチを一定値にシフトする手段より構
成される、ものであってもよい。
【００１３】また、前記エンコーダプログラムはさら
に、前記音声信号を変更するボイスモーフィング手段よ
り構成され、前記ボイスモーフィング手段は、前記第１
および前記第２のユーザコンピュータの少なくとも一つ
の前記音声信号の周期的成分を除去する手段より構成さ
れる、ものであってもよい。
に、前記音声信号を変更するボイスモーフィング手段よ
り構成され、前記ボイスモーフィング手段は、前記第１
および前記第２のユーザコンピュータの少なくとも一つ
の前記音声信号の周期的成分を除去する手段より構成さ
れる、ものであってもよい。
【００１４】また、前記エンコーダプログラムはさら
に、前記音声信号のサンプリング周波数を変更する手段
と、前記サンプリング周波数の変化の関数に従って、前
記音声信号の時間スケールを変更する手段とより構成さ
れるボイスモーフィング手段とより構成される、もので
あってもよい。
に、前記音声信号のサンプリング周波数を変更する手段
と、前記サンプリング周波数の変化の関数に従って、前
記音声信号の時間スケールを変更する手段とより構成さ
れるボイスモーフィング手段とより構成される、もので
あってもよい。
【００１５】また、本発明の第２の観点にかかる会議シ
ステムは、前記エンコーダプログラムはさらに、前記Ｌ
ＰＣパラメータを用いて前記音声信号の第１のフォルマ
ント周波数を決定する手段と、前記ＬＰＣパラメータを
用いて前記音声信号の第２のフォルマント周波数を決定
する手段とより構成され、且つ、前記ユーザコンピュー
タの各々はさらに、前記第１および第２のフォルマント
周波数を用いて上唇の位置および下唇の位置を表示する
表示手段より構成される、ことを特徴とする。
ステムは、前記エンコーダプログラムはさらに、前記Ｌ
ＰＣパラメータを用いて前記音声信号の第１のフォルマ
ント周波数を決定する手段と、前記ＬＰＣパラメータを
用いて前記音声信号の第２のフォルマント周波数を決定
する手段とより構成され、且つ、前記ユーザコンピュー
タの各々はさらに、前記第１および第２のフォルマント
周波数を用いて上唇の位置および下唇の位置を表示する
表示手段より構成される、ことを特徴とする。
【００１６】このようなシステムによれば、フォルマン
ト周波数がＬＰＣパラメータから計算されることによ
り、唇の位置の情報を計算上効率的にコード化すること
が可能となる。また唇の位置が該情報に対応する画像を
表示装置により表示する等を行うことにより、インタラ
クティブな通信環境を提供することもできる。
ト周波数がＬＰＣパラメータから計算されることによ
り、唇の位置の情報を計算上効率的にコード化すること
が可能となる。また唇の位置が該情報に対応する画像を
表示装置により表示する等を行うことにより、インタラ
クティブな通信環境を提供することもできる。
【００１７】前記ユーザコンピュータの各々はさらに、
前記音声信号のエネルギーを測定する手段より構成さ
れ、前記表示手段はさらに、前記唇の幅を前記第２のフ
ォルマント周波数に比例するようにして表示し、且つ、
前記下唇の高さを前記第１のフォルマント周波数および
前記エネルギーに関係付けて表示する、ものであっても
よい。
前記音声信号のエネルギーを測定する手段より構成さ
れ、前記表示手段はさらに、前記唇の幅を前記第２のフ
ォルマント周波数に比例するようにして表示し、且つ、
前記下唇の高さを前記第１のフォルマント周波数および
前記エネルギーに関係付けて表示する、ものであっても
よい。
【００１８】前記表示手段はさらに、唇の丸まりを、前
記第１および第２のフォルマント周波数の和に反比例す
るようにして表示する手段より構成される、ものであっ
てもよい。
記第１および第２のフォルマント周波数の和に反比例す
るようにして表示する手段より構成される、ものであっ
てもよい。
【００１９】前記表示手段はさらに、フィルタを用い
て、唇の幅、唇の高さおよび唇の丸まりをスムーシング
する手段より構成される、ものであってもよく、前記フ
ィルタは、例えば、有限インパルス応答ローパスフィル
タであってよい。
て、唇の幅、唇の高さおよび唇の丸まりをスムーシング
する手段より構成される、ものであってもよく、前記フ
ィルタは、例えば、有限インパルス応答ローパスフィル
タであってよい。
【００２０】唇の情報は、例えば、前記下唇の位置すな
わちlowerLipHeightは、前記第１のフォルマント周波数
をｆ1とし、且つ前記エネルギーをＥとして、前記第１
のフォルマント周波数が３００Ｈｚ乃至８００Ｈｚの範
囲にあるときは、数６に示す関係、
わちlowerLipHeightは、前記第１のフォルマント周波数
をｆ1とし、且つ前記エネルギーをＥとして、前記第１
のフォルマント周波数が３００Ｈｚ乃至８００Ｈｚの範
囲にあるときは、数６に示す関係、
【数６】lowerLipHeight = 1.5 - cos(π(f1 - 250) /
500) * (Ｅ / 80) により計算され、前記第１のフォルマント周波数が前記
範囲にないときは、数７に示す関係、
500) * (Ｅ / 80) により計算され、前記第１のフォルマント周波数が前記
範囲にないときは、数７に示す関係、
【数７】lowerLipHeight = Ｅ / 200
により計算される。
【００２１】また、例えば、前記唇の幅すなわちlipWid
thは、前記第２のフォルマント周波数をｆ2、且つ前記
エネルギーをＥとして、前記第２のフォルマント周波数
が７００Ｈｚ乃至１０００Ｈｚの範囲にあるときは、数
８に示す関係、
thは、前記第２のフォルマント周波数をｆ2、且つ前記
エネルギーをＥとして、前記第２のフォルマント周波数
が７００Ｈｚ乃至１０００Ｈｚの範囲にあるときは、数
８に示す関係、
【数８】lipWidth = 1 - [1 + cos(π * (ｆ2 - 700) /
300)] * Ｅ / 133 に従って減少され、前記第２のフォルマント周波数が１
８００Ｈｚ乃至２５００Ｈｚの範囲にあるときは、数９
に示す関係、
300)] * Ｅ / 133 に従って減少され、前記第２のフォルマント周波数が１
８００Ｈｚ乃至２５００Ｈｚの範囲にあるときは、数９
に示す関係、
【数９】lipWidth = 1 + [1 + cos(π * (ｆ2 - 1800)
/ 700)] * Ｅ / 200 に従って増加される。
/ 700)] * Ｅ / 200 に従って増加される。
【００２２】また、前記唇の幅は、前記上唇の位置、前
記下唇の位置および前記丸まりとの間に相関関係を有す
るものとしてもよい。
記下唇の位置および前記丸まりとの間に相関関係を有す
るものとしてもよい。
【００２３】また、本発明の第３の観点にかかる会議シ
ステムは、前記システムはさらに、前記ユーザコンピュ
ータのうちの１個の周囲環境における沈黙状態を判別す
る手段より構成され、前記沈黙状態は、前記音声データ
を圧縮するための入力として前記圧縮器により用いら
れ、前記沈黙状態を判別する手段は、実質的に囀り音信
号である第１のソース信号を生成し、前記第１のソース
信号を、第１のオーディオ信号として前記マイクロフォ
ンに再生させる手段と、前記ラウドスピーカにより受け
られた前記第１のオーディオ信号を基に、第１のデジタ
ル信号を生成する手段と、前記囀り音信号に整合する前
記第１のデジタル信号を処理するフィルタと、処理され
た前記第１のデジタル信号が最大値となる時点として、
バルク遅延を決定する手段と、実質的に白色雑音である
第２のソース信号を生成し、前記第２のソース信号を、
第２のオーディオ信号として前記マイクロフォンに再生
させる手段と、前記ラウドスピーカにより受けられた前
記第１のオーディオ信号を基に、第１のデジタル信号を
生成する手段と、前記第２のソース信号と前記第２のデ
ジタル信号の相互相関関数を決定する手段と、前記第２
のソース信号の自己相関関数を生成する手段と、前記相
互相関関数および前記自己相関関数の関数として有限イ
ンパルス応答を決定する手段と、前記有限インパルス応
答および前記バルク遅延を用いてエコー消去エネルギー
を決定する手段と、前記マイクロフォンによって受信さ
れた音響エネルギーを測定する手段と、バックグラウン
ドノイズのエネルギーを測定する手段と、より構成さ
れ、前記周囲環境は、前記マイクロフォンにより測定さ
れた前記音響エネルギーをＥAとし、前記エコー消去エ
ネルギーをＥEとし、前記バックグラウンドノイズのエ
ネルギーをＥBとして、数１０に示す式の値、
ステムは、前記システムはさらに、前記ユーザコンピュ
ータのうちの１個の周囲環境における沈黙状態を判別す
る手段より構成され、前記沈黙状態は、前記音声データ
を圧縮するための入力として前記圧縮器により用いら
れ、前記沈黙状態を判別する手段は、実質的に囀り音信
号である第１のソース信号を生成し、前記第１のソース
信号を、第１のオーディオ信号として前記マイクロフォ
ンに再生させる手段と、前記ラウドスピーカにより受け
られた前記第１のオーディオ信号を基に、第１のデジタ
ル信号を生成する手段と、前記囀り音信号に整合する前
記第１のデジタル信号を処理するフィルタと、処理され
た前記第１のデジタル信号が最大値となる時点として、
バルク遅延を決定する手段と、実質的に白色雑音である
第２のソース信号を生成し、前記第２のソース信号を、
第２のオーディオ信号として前記マイクロフォンに再生
させる手段と、前記ラウドスピーカにより受けられた前
記第１のオーディオ信号を基に、第１のデジタル信号を
生成する手段と、前記第２のソース信号と前記第２のデ
ジタル信号の相互相関関数を決定する手段と、前記第２
のソース信号の自己相関関数を生成する手段と、前記相
互相関関数および前記自己相関関数の関数として有限イ
ンパルス応答を決定する手段と、前記有限インパルス応
答および前記バルク遅延を用いてエコー消去エネルギー
を決定する手段と、前記マイクロフォンによって受信さ
れた音響エネルギーを測定する手段と、バックグラウン
ドノイズのエネルギーを測定する手段と、より構成さ
れ、前記周囲環境は、前記マイクロフォンにより測定さ
れた前記音響エネルギーをＥAとし、前記エコー消去エ
ネルギーをＥEとし、前記バックグラウンドノイズのエ
ネルギーをＥBとして、数１０に示す式の値、
【数１０】ＥA−ＥE−ＥB
が予め定められた値以下のとき、前記沈黙状態にあるも
のと分類される、ことを特徴とする。
のと分類される、ことを特徴とする。
【００２４】このようなシステムによれば、エコー経路
の音響的特徴を測定して、該音響的特徴を利用したエコ
ー消去がなされ、通信環境が向上する。さらに、エコー
のエネルギーから沈黙が検出され、その結果は音声情報
の送信省略等通信の効率化に利用されるので、ネットワ
ークアクセス装置の限られた通信速度の範囲内で、ワイ
ドエリアネットワーク上での音声及び画像の通信が効率
的に行われる。
の音響的特徴を測定して、該音響的特徴を利用したエコ
ー消去がなされ、通信環境が向上する。さらに、エコー
のエネルギーから沈黙が検出され、その結果は音声情報
の送信省略等通信の効率化に利用されるので、ネットワ
ークアクセス装置の限られた通信速度の範囲内で、ワイ
ドエリアネットワーク上での音声及び画像の通信が効率
的に行われる。
【００２５】前記システムはさらに、選択された一つの
前記ユーザコンピュータと前記ユーザコンピュータのセ
ットとの間の音響的距離および音響的角度を決定する手
段と、前記音響的距離および前記音響的角度を基に、前
記ユーザコンピュータのセットの中からサブセットを選
択する手段と、前記ユーザコンピュータのサブセットか
ら発せられたデータストリームのみが前記選択された一
つのユーザコンピュータによって受信されるようにする
手段とより構成される、ものであってもよい。
前記ユーザコンピュータと前記ユーザコンピュータのセ
ットとの間の音響的距離および音響的角度を決定する手
段と、前記音響的距離および前記音響的角度を基に、前
記ユーザコンピュータのセットの中からサブセットを選
択する手段と、前記ユーザコンピュータのサブセットか
ら発せられたデータストリームのみが前記選択された一
つのユーザコンピュータによって受信されるようにする
手段とより構成される、ものであってもよい。
【００２６】
【発明の実施の形態】この発明は、新規な音声会議シス
テムと、これに付随する方法とより構成される。以下の
記述は、当業者ならばこの発明を作成して使用すること
が可能なようになされている。具体的な応用についての
記述は単に例として挙げられているものである。好適実
施の形態に対する種々の変更が考えられることは当業者
には明らかであり、ここに定義されている一般的な原理
は、この発明の範囲から逸脱することなく、他の実施の
形態や応用に対して適用できる。従って、この発明は明
示された実施の形態に限定されるものではなく、ここに
開示された原理と特徴に整合する最も広い範囲に一致す
るものである。
テムと、これに付随する方法とより構成される。以下の
記述は、当業者ならばこの発明を作成して使用すること
が可能なようになされている。具体的な応用についての
記述は単に例として挙げられているものである。好適実
施の形態に対する種々の変更が考えられることは当業者
には明らかであり、ここに定義されている一般的な原理
は、この発明の範囲から逸脱することなく、他の実施の
形態や応用に対して適用できる。従って、この発明は明
示された実施の形態に限定されるものではなく、ここに
開示された原理と特徴に整合する最も広い範囲に一致す
るものである。
【００２７】 図１は、この発明の実施の形態にかかる多
点間音声会議システム１００を示す図である。多点間音
声会議システム１００は、ユーザステーション１０４〜
１０６等の複数のユーザステーションと、スピーチサー
バ１１０とより構成される。ユーザステーション１０４
〜１０６とスピーチサーバ１１０は、インターネット１
１２等のデータネットワークに接続される。
点間音声会議システム１００を示す図である。多点間音
声会議システム１００は、ユーザステーション１０４〜
１０６等の複数のユーザステーションと、スピーチサー
バ１１０とより構成される。ユーザステーション１０４
〜１０６とスピーチサーバ１１０は、インターネット１
１２等のデータネットワークに接続される。
【００２８】 ユーザステーションの構成は互いに同じも
のである。従って、このステーションの１個（例とし
て、ユーザステーション１０４）のみを詳細に記す。ユ
ーザステーション１０４は、デスクトップコンピュータ
１１４と、表示装置１１６と、マイクロフォン１１８
と、２個のラウドスピーカ１１９および１２０と、モデ
ム１２２とより構成される。
のである。従って、このステーションの１個（例とし
て、ユーザステーション１０４）のみを詳細に記す。ユ
ーザステーション１０４は、デスクトップコンピュータ
１１４と、表示装置１１６と、マイクロフォン１１８
と、２個のラウドスピーカ１１９および１２０と、モデ
ム１２２とより構成される。
【００２９】 デスクトップコンピュータ１１４は、モデ
ム１２２を用いてインターネット１１２への接続を行う
ソフトウェア（図示せず）を含む。ユーザステーション
１０４にいる者は、マイクロフォン１１８に向かって話
すことができる。
ム１２２を用いてインターネット１１２への接続を行う
ソフトウェア（図示せず）を含む。ユーザステーション
１０４にいる者は、マイクロフォン１１８に向かって話
すことができる。
【００３０】 その後この音声は、デスクトップコンピュ
ータ１１４で実行される、この発明にかかるソフトウェ
ア１２６によって処理される。処理された音声は、イン
ターネット１１２を介し、サーバ１１０に送られる。
ータ１１４で実行される、この発明にかかるソフトウェ
ア１２６によって処理される。処理された音声は、イン
ターネット１１２を介し、サーバ１１０に送られる。
【００３１】 ソフトウェア１２６はまた、サーバ１１０
から受け取った音声情報を処理して、その出力をラウド
スピーカ１１９および１２０に送ることができる。この
発明の実施の形態において、この２個のラウドスピーカ
はステレオ効果を生成している。ステレオ効果が不要の
場合は、１個ラウドスピーカを用いることが望ましい。
から受け取った音声情報を処理して、その出力をラウド
スピーカ１１９および１２０に送ることができる。この
発明の実施の形態において、この２個のラウドスピーカ
はステレオ効果を生成している。ステレオ効果が不要の
場合は、１個ラウドスピーカを用いることが望ましい。
【００３２】 この実施の形態では、すべての音声はユー
ザステーションによりスピーチサーバ１１０に送られ、
スピーチサーバ１１０はこの音声を目的サイトに発す
る。音声に加え、唇に同期した情報も送られ、ユーザス
テーションに（再びサーバ１１０を経由して）受信され
る。
ザステーションによりスピーチサーバ１１０に送られ、
スピーチサーバ１１０はこの音声を目的サイトに発す
る。音声に加え、唇に同期した情報も送られ、ユーザス
テーションに（再びサーバ１１０を経由して）受信され
る。
【００３３】 この発明のひとつの観点は、音声および唇
に同期した信号の送信に要する帯域を削減する方法であ
る。多点間音声会議システム１００の性能に影響を及ぼ
す重要な要素の一つは、ユーザステーションとサーバの
間のデータ送信の速度である。
に同期した信号の送信に要する帯域を削減する方法であ
る。多点間音声会議システム１００の性能に影響を及ぼ
す重要な要素の一つは、ユーザステーションとサーバの
間のデータ送信の速度である。
【００３４】 現在、ダイヤルアップ回線におけるモデム
の送信速度は３０キロビット毎秒（ｋｂｐｓ）である。
ＩＳＤＮ（統合サービスデジタルネットワーク）回線で
あっても、１２８ｋｂｐｓ程度である。一方、圧縮され
ていない音声の送信では、音声のみであっても現在の電
話回線によりサポートされ得る帯域より高い帯域を要す
る。その他の情報（制御データおよび唇に同期した情
報）も必要なときは、必要な帯域はさらにより高くな
る。従って、送信に要する帯域を削減する必要がある。
の送信速度は３０キロビット毎秒（ｋｂｐｓ）である。
ＩＳＤＮ（統合サービスデジタルネットワーク）回線で
あっても、１２８ｋｂｐｓ程度である。一方、圧縮され
ていない音声の送信では、音声のみであっても現在の電
話回線によりサポートされ得る帯域より高い帯域を要す
る。その他の情報（制御データおよび唇に同期した情
報）も必要なときは、必要な帯域はさらにより高くな
る。従って、送信に要する帯域を削減する必要がある。
【００３５】 ソフトウェア１２６は、エンコーダとデコ
ーダを備える。図２は本発明にかかるエンコーダ２００
のブロック図である。本明細書では、エンコーダ２００
の種々のブロックについて述べる。
ーダを備える。図２は本発明にかかるエンコーダ２００
のブロック図である。本明細書では、エンコーダ２００
の種々のブロックについて述べる。
【００３６】 エンコーダ２００は、１サンプル１６ビッ
ト、８ｋＨｚでデジタル化された音声入力を受け付け
る。デジタル化された音声のＤＣ成分はＤＣ除去ブロッ
ク２０４で除去される。
ト、８ｋＨｚでデジタル化された音声入力を受け付け
る。デジタル化された音声のＤＣ成分はＤＣ除去ブロッ
ク２０４で除去される。
【００３７】 エンコーダ２００はまた、サイレンスディ
テクタ２０６を備える。ある期間の沈黙が検出される
と、音声情報を送信する必要がなくなる。
テクタ２０６を備える。ある期間の沈黙が検出される
と、音声情報を送信する必要がなくなる。
【００３８】 エンコーダ２００は、大きなダイナミック
レンジを持つ音声がシステムによって適切に処理される
ようにするための自動ゲイン制御手段２１０を備える。
レンジを持つ音声がシステムによって適切に処理される
ようにするための自動ゲイン制御手段２１０を備える。
【００３９】 エンコーダ２００は、音声の特徴を変化さ
せることを可能にするボイスモーファ２１４を備える。
せることを可能にするボイスモーファ２１４を備える。
【００４０】 音声データはその後、線形予測コーディン
グ（ＬＰＣ）解析ブロック２２２へ入力され、複数のＬ
ＰＣパラメータが生成される。
グ（ＬＰＣ）解析ブロック２２２へ入力され、複数のＬ
ＰＣパラメータが生成される。
【００４１】 このパラメータは２段からなるベクトル量
子化ブロック（ベクトル量子化器）２２４を通る。その
出力はスカラ量子化ブロック（スカラ量子化器）２２６
および唇情報抽出器（唇瞬時位置抽出器）２５０へ入力
される。
子化ブロック（ベクトル量子化器）２２４を通る。その
出力はスカラ量子化ブロック（スカラ量子化器）２２６
および唇情報抽出器（唇瞬時位置抽出器）２５０へ入力
される。
【００４２】 スカラ量子化ブロック２２６の出力は、マ
ルチパルス励起パラメータゼネレータ（マルチパルスパ
ラメータ推計）２２８、ロボット音声／囁き音声励起ゼ
ネレータ２３０、ビットストリームエンコーダ２３２へ
入力される。ビットストリームエンコーダ２３２には、
ロボット音声／囁き音声励起ゼネレータ２３０の出力も
入力される。マルチパルス励起パラメータゼネレータ２
２８の出力は、パルス位置コーダ２３６とパルス振幅コ
ーダ２３８に入力される。パルス位置コーダ２３６とパ
ルス振幅コーダ２３８の出力は、ビットストリームコー
ダ２３２に送られる。
ルチパルス励起パラメータゼネレータ（マルチパルスパ
ラメータ推計）２２８、ロボット音声／囁き音声励起ゼ
ネレータ２３０、ビットストリームエンコーダ２３２へ
入力される。ビットストリームエンコーダ２３２には、
ロボット音声／囁き音声励起ゼネレータ２３０の出力も
入力される。マルチパルス励起パラメータゼネレータ２
２８の出力は、パルス位置コーダ２３６とパルス振幅コ
ーダ２３８に入力される。パルス位置コーダ２３６とパ
ルス振幅コーダ２３８の出力は、ビットストリームコー
ダ２３２に送られる。
【００４３】 唇情報抽出器２５０の出力は、唇フィルタ
２５２に送られ、唇フィルタ２５２の出力は、唇情報コ
ーダ２５６につながっている。唇情報コーダ２５６の出
力は、ビットストリームエンコーダ２３２に送られる。
２５２に送られ、唇フィルタ２５２の出力は、唇情報コ
ーダ２５６につながっている。唇情報コーダ２５６の出
力は、ビットストリームエンコーダ２３２に送られる。
【００４４】 以下さらに詳細を述べるように、音声入力
（１サンプル１６ビット、８ｋＨｚでデジタル化）は、
ビットストリームエンコーダ２３２の出力が約１２８０
０ビット毎秒となるように圧縮することができる。この
データストリームは、インターネットを介してスピーチ
サーバ１１０に送られる。
（１サンプル１６ビット、８ｋＨｚでデジタル化）は、
ビットストリームエンコーダ２３２の出力が約１２８０
０ビット毎秒となるように圧縮することができる。この
データストリームは、インターネットを介してスピーチ
サーバ１１０に送られる。
【００４５】 図３は、スピーチサーバ１１０から受信さ
れたビットストリームをデコードできるデコーダ３００
のブロック図である。
れたビットストリームをデコードできるデコーダ３００
のブロック図である。
【００４６】 デコーダ３００は、スピーチサーバ１１０
によって送られた情報を復元できるビットストリームデ
コーダ３０４を備える。
によって送られた情報を復元できるビットストリームデ
コーダ３０４を備える。
【００４７】 この情報は、唇情報デコーダ３０６に送ら
れ、唇情報デコーダ３０６は、唇のグラフィックを生成
する唇同期プログラムのための唇位置情報を生成する。
れ、唇情報デコーダ３０６は、唇のグラフィックを生成
する唇同期プログラムのための唇位置情報を生成する。
【００４８】 またビットストリームデコーダ３０４の出
力は、ＬＰＣパラメータデコーダ３０８、パルス振幅デ
コーダ３１０、パルス位置デコーダ３１２、囁き音声／
ロボット音声励起デコーダ３１４にも送られる。これら
のデコーダの出力は、デジタル音声信号を生成するＬＰ
Ｃ合成器３２０に送られる。
力は、ＬＰＣパラメータデコーダ３０８、パルス振幅デ
コーダ３１０、パルス位置デコーダ３１２、囁き音声／
ロボット音声励起デコーダ３１４にも送られる。これら
のデコーダの出力は、デジタル音声信号を生成するＬＰ
Ｃ合成器３２０に送られる。
【００４９】 デジタル音声信号はアダプティブポストフ
ィルタ３２２に送られ、アダプティブポストフィルタ３
２２はまたＬＰＣパラメータデコーダ３０８からの情報
も受け付ける。
ィルタ３２２に送られ、アダプティブポストフィルタ３
２２はまたＬＰＣパラメータデコーダ３０８からの情報
も受け付ける。
【００５０】 アダプティブポストフィルタ３２２の出力
は、エコーフィルタ（距離及びエコーフィルタ）３２
４、次いで帯域フィルタ３２６へ送られる。その出力は
復元済みのステレオ音声となり、ラウドスピーカ１１９
および１２０により音響に変換される。
は、エコーフィルタ（距離及びエコーフィルタ）３２
４、次いで帯域フィルタ３２６へ送られる。その出力は
復元済みのステレオ音声となり、ラウドスピーカ１１９
および１２０により音響に変換される。
【００５１】 図４は、本発明における参加者のサイト３
５０の略図である。参加者３５２はマイクロフォン３５
４に向かって話し、マイクロフォン３５４は音声信号を
電気信号に変換する。
５０の略図である。参加者３５２はマイクロフォン３５
４に向かって話し、マイクロフォン３５４は音声信号を
電気信号に変換する。
【００５２】 典型的には、このサイトにはバックグラウ
ンドノイズ（例えば、ラジオからの）が含まれる。この
電気信号は、マルチメディアパーソナルコンピュータ３
６０で、アダプティブエコーキャンセラ３６２からの信
号と結合される。その出力は、エコーがほぼ消去された
ものとなる。
ンドノイズ（例えば、ラジオからの）が含まれる。この
電気信号は、マルチメディアパーソナルコンピュータ３
６０で、アダプティブエコーキャンセラ３６２からの信
号と結合される。その出力は、エコーがほぼ消去された
ものとなる。
【００５３】 この信号は、アダプティブサイレンスディ
テクタおよびソフトウェア自動ゲイン制御（ＡＧＣ）モ
ジュール３６４に送られる。このモジュールの出力は、
唇同期および音声コーダデコーダ（および音声変形器）
３６６に送られる。
テクタおよびソフトウェア自動ゲイン制御（ＡＧＣ）モ
ジュール３６４に送られる。このモジュールの出力は、
唇同期および音声コーダデコーダ（および音声変形器）
３６６に送られる。
【００５４】 コーダデコーダ３６６は音声を変形させる
（例えば、ボイスモーフィング）能力を備える。コーダ
デコーダ３６６は、音声データを圧縮、コード化し、双
方向通信リンク３６８を介してデータをスピーチサーバ
１１０に送る。
（例えば、ボイスモーフィング）能力を備える。コーダ
デコーダ３６６は、音声データを圧縮、コード化し、双
方向通信リンク３６８を介してデータをスピーチサーバ
１１０に送る。
【００５５】 コーダデコーダ３６６はまた、スピーチサ
ーバ１１０から受信した音声データをデコードないし復
元するソフトウェアを備える。デコードないし復元の
後、データはウェーブミキサ３７０に送られる。ウェー
ブミキサ３７０はまた、環境音ゼネレータ３７２からの
データも受け付ける。
ーバ１１０から受信した音声データをデコードないし復
元するソフトウェアを備える。デコードないし復元の
後、データはウェーブミキサ３７０に送られる。ウェー
ブミキサ３７０はまた、環境音ゼネレータ３７２からの
データも受け付ける。
【００５６】 ウェーブミキサ３７０で生成された信号
は、アダプティブエコーキャンセラ３６２と、ラウドス
ピーカ３７６、３７７に送られる。
は、アダプティブエコーキャンセラ３６２と、ラウドス
ピーカ３７６、３７７に送られる。
【００５７】 （ユーザステーションの音響的特徴の決
定）ユーザステーション１０４のデスクトップコンピュ
ータ１１４がオン状態のときは、ユーザステーション１
０４の音響的特徴が決定されている必要がある。この決
定には、ユーザステーション１０４のバルク遅延と音響
の伝達関数が関係する。
定）ユーザステーション１０４のデスクトップコンピュ
ータ１１４がオン状態のときは、ユーザステーション１
０４の音響的特徴が決定されている必要がある。この決
定には、ユーザステーション１０４のバルク遅延と音響
の伝達関数が関係する。
【００５８】 図５は、ユーザステーション１０４の音響
的特徴を測定する能力を有する装置構成のブロック図で
ある。図１と図５において、同じ構成要素には同じ参照
番号を付してある。この装置構成は、オーディオ送信ブ
ロック１３０と、オーディオ受信ブロック１４０とより
構成される。
的特徴を測定する能力を有する装置構成のブロック図で
ある。図１と図５において、同じ構成要素には同じ参照
番号を付してある。この装置構成は、オーディオ送信ブ
ロック１３０と、オーディオ受信ブロック１４０とより
構成される。
【００５９】 オーディオ送信ブロック１３０は、印加さ
れたアナログ電気信号の大きさに応答してオーディオ信
号を生成するラウドスピーカ１１９を含む。
れたアナログ電気信号の大きさに応答してオーディオ信
号を生成するラウドスピーカ１１９を含む。
【００６０】 このアナログ信号は、バッファ１３４の内
容に従っている。バッファ１３４のビットは、あらかじ
め定まったレートでデジタル−アナログ変換器（図示せ
ず）にシフトされる。このように、ラウドスピーカ１１
９によって生成されたオーディオ信号は、バッファ１３
４のビットにより決定される。
容に従っている。バッファ１３４のビットは、あらかじ
め定まったレートでデジタル−アナログ変換器（図示せ
ず）にシフトされる。このように、ラウドスピーカ１１
９によって生成されたオーディオ信号は、バッファ１３
４のビットにより決定される。
【００６１】 オーディオ送信ブロック１３０はまた信号
生成ブロック１３２を含み、これにより生成されたビッ
トはバッファ１３４にストアされ、ラウドスピーカ１１
９から、振幅と時間との間に特定の関係があるオーディ
オ信号を発生させる。
生成ブロック１３２を含み、これにより生成されたビッ
トはバッファ１３４にストアされ、ラウドスピーカ１１
９から、振幅と時間との間に特定の関係があるオーディ
オ信号を発生させる。
【００６２】 オーディオ受信ブロック１４０は、ラウド
スピーカ１１９によって生成されたオーディオ信号を受
信するマイクロフォン１１８を含む。
スピーカ１１９によって生成されたオーディオ信号を受
信するマイクロフォン１１８を含む。
【００６３】 受信されたオーディオ信号は、アナログ−
デジタル変換器（図示せず）によってデジタルに変換さ
れる。このデジタル情報は、あらかじめ定められたレー
トでレコードバッファ１４２にシフトされる。
デジタル変換器（図示せず）によってデジタルに変換さ
れる。このデジタル情報は、あらかじめ定められたレー
トでレコードバッファ１４２にシフトされる。
【００６４】 信号解析ブロック１４４は、レコードバッ
ファ１４２のデジタル情報を解析し、受信したオーディ
オ信号の振幅と時間との関係を生成する。
ファ１４２のデジタル情報を解析し、受信したオーディ
オ信号の振幅と時間との関係を生成する。
【００６５】 本発明のひとつの観点は、ユーザステーシ
ョン１０４の音響的特徴を簡単に決定する方法にある。
この方法は、以下の段階よりなる。 （１）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１１９を通したバルク遅延を測定す
る （２）ラウドスピーカ１１９とマイクロフォン１１８の
間の伝達関数を測定する （３）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１２０を通したバルク遅延を測定す
る （４）ラウドスピーカ１２０とマイクロフォン１１８の
間の伝達関数を測定する
ョン１０４の音響的特徴を簡単に決定する方法にある。
この方法は、以下の段階よりなる。 （１）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１１９を通したバルク遅延を測定す
る （２）ラウドスピーカ１１９とマイクロフォン１１８の
間の伝達関数を測定する （３）バッファ１３４とレコードバッファ１４２の間
の、ラウドスピーカ１２０を通したバルク遅延を測定す
る （４）ラウドスピーカ１２０とマイクロフォン１１８の
間の伝達関数を測定する
【００６６】 仮想的世界でのセッション中、ユーザステ
ーション１０４の音響的特徴は経時変化しうる。従って
音響システムは、あらかじめ定められた時間毎に「再ト
レーニング」される必要がある。本発明の一つの観点
は、構成要素を変化させずに音響システムを再トレーニ
ングする方法にある。
ーション１０４の音響的特徴は経時変化しうる。従って
音響システムは、あらかじめ定められた時間毎に「再ト
レーニング」される必要がある。本発明の一つの観点
は、構成要素を変化させずに音響システムを再トレーニ
ングする方法にある。
【００６７】 （バルク遅延の測定）バルク遅延の測定に
は、（ｉ）信号生成ブロック１３２による囀り音の生
成、（ｉｉ）この囀り音に対応するビットのバッファ１
３４への充填、（ｉｉｉ）ラウドスピーカ１１９による
囀り音の音響信号の送信、が含まれる。
は、（ｉ）信号生成ブロック１３２による囀り音の生
成、（ｉｉ）この囀り音に対応するビットのバッファ１
３４への充填、（ｉｉｉ）ラウドスピーカ１１９による
囀り音の音響信号の送信、が含まれる。
【００６８】 マイクロフォン１１８により受信された信
号は、信号解析ブロック１４４によって解析される。
号は、信号解析ブロック１４４によって解析される。
【００６９】 囀り音は、数１１で定義される。（以下、
「＊」は乗算を表す演算子である。）
「＊」は乗算を表す演算子である。）
【数１１】 ここでＮは囀り音の長さであり、ｎが前記範囲の外の値
のとき、ｃ（ｎ）は零である。
のとき、ｃ（ｎ）は零である。
【００７０】 マイクロフォンにより受信された信号は、
整合したフィルタにより処理される。このフィルタは、
デジタル有限インパルス応答（ＦＩＲ）フィルタで、イ
ンパルス応答は、数１２で表される。
整合したフィルタにより処理される。このフィルタは、
デジタル有限インパルス応答（ＦＩＲ）フィルタで、イ
ンパルス応答は、数１２で表される。
【数１２】 （ただし、Ｎは前記囀り音の長さであり、ｎが前記範囲
の外の値のときｈ（ｎ）は零である。）
の外の値のときｈ（ｎ）は零である。）
【００７１】 整合フィルタの出力は、数１３で表され
る。
る。
【数１３】 ここで、ｋ（ｎ）はレコードバッファ１４２に記録され
た信号である。
た信号である。
【００７２】 整合フィルタの出力が最大の振幅になる時
点をＴとすると、そのチャンネルのバルク遅延は（Ｔ−
Ｎ）と推計される。本例では、Ｎを５１２としている。
バルク遅延は、１０００〜３０００サンプルと予想され
る。同様の方法により、ラウドスピーカ１２０とマイク
ロフォン１１８の組のバルク遅延の値も得られる。
点をＴとすると、そのチャンネルのバルク遅延は（Ｔ−
Ｎ）と推計される。本例では、Ｎを５１２としている。
バルク遅延は、１０００〜３０００サンプルと予想され
る。同様の方法により、ラウドスピーカ１２０とマイク
ロフォン１１８の組のバルク遅延の値も得られる。
【００７３】 （伝達関数の測定）伝達関数の測定には、
信号生成ブロック１３２による白色雑音の生成と、これ
に対応する音響のラウドスピーカ１１９による送信が含
まれる。その後、マイクロフォン１１８により受信され
た信号と送信された白色雑音を使って、エコーの経路
（ラウドスピーカ１１９からマイクロフォン１１８ま
で）のインパルス応答を以下のようにして決定する。
信号生成ブロック１３２による白色雑音の生成と、これ
に対応する音響のラウドスピーカ１１９による送信が含
まれる。その後、マイクロフォン１１８により受信され
た信号と送信された白色雑音を使って、エコーの経路
（ラウドスピーカ１１９からマイクロフォン１１８ま
で）のインパルス応答を以下のようにして決定する。
【００７４】 白色雑音の連続をｘ（ｎ）（ただし、ｎ＝
０，１，・・・，（Ｌ−１））、マイクロフォンにより
受信された信号をｙ（ｎ）、エコーの経路のインパルス
応答をｈ（ｎ）（ただし、ｎ＝０，１，・・・，（Ｍ−
１））、該経路のバルク遅延をＢとすると、数１４の関
係が成り立つ。
０，１，・・・，（Ｌ−１））、マイクロフォンにより
受信された信号をｙ（ｎ）、エコーの経路のインパルス
応答をｈ（ｎ）（ただし、ｎ＝０，１，・・・，（Ｍ−
１））、該経路のバルク遅延をＢとすると、数１４の関
係が成り立つ。
【数１４】 ここでｗnはシステムのバックグラウンドノイズであ
る。良好なエコー消去を得るには、Ｍ＝３８０で十分で
ある。
る。良好なエコー消去を得るには、Ｍ＝３８０で十分で
ある。
【００７５】 最小二乗法を用いると、該経路のインパル
ス応答は、数１５の行列方程式を解くことにより推計さ
れる。
ス応答は、数１５の行列方程式を解くことにより推計さ
れる。
【数１５】 ＲxxＨ ＝ Ｒxy ここで、Ｒxxは、白色雑音の（Ｍ行Ｍ列の）自己相関行
列、Ｒxyは（Ｍ行１列の）相互相関ベクトル、Ｈ＝［ｈ
（０）ｈ（１）．．．ｈ（Ｍ−１）］Tはエコーフィル
タのインパルス応答ベクトルである。
列、Ｒxyは（Ｍ行１列の）相互相関ベクトル、Ｈ＝［ｈ
（０）ｈ（１）．．．ｈ（Ｍ−１）］Tはエコーフィル
タのインパルス応答ベクトルである。
【００７６】 Ｒxxは、数１６のように計算される。
【数１６】 Ｒxyは、数１７のように計算される。
【数１７】
【００７７】同様の計算により、ラウドスピーカ１２０
とマイクロフォン１１８の組のエコーの経路の特性も得
られる。エコーの経路のフィルタ特性を正確に推定する
ためには、Ｌ＝１０＊Ｍであることが望ましい。
とマイクロフォン１１８の組のエコーの経路の特性も得
られる。エコーの経路のフィルタ特性を正確に推定する
ためには、Ｌ＝１０＊Ｍであることが望ましい。
【００７８】 （クイックトレーニング）クイックトレー
ニングは、エコー消去が十分な効率で行われていないと
ユーザが感じたとき、または、システムが同様のことを
検知したときに行われる。クイックトレーニングは、ユ
ーザステーション１０４のバルク遅延とエコーチャンネ
ルゲインのいずれか又は両方を調整するため、スピーカ
の音量を連続的に変えることにより行われる。クイック
トレーニングでは、フルトレーニングが必要な場合その
旨を検知することもできる。
ニングは、エコー消去が十分な効率で行われていないと
ユーザが感じたとき、または、システムが同様のことを
検知したときに行われる。クイックトレーニングは、ユ
ーザステーション１０４のバルク遅延とエコーチャンネ
ルゲインのいずれか又は両方を調整するため、スピーカ
の音量を連続的に変えることにより行われる。クイック
トレーニングでは、フルトレーニングが必要な場合その
旨を検知することもできる。
【００７９】 クイックトレーニングは、（ｉ）ラウドス
ピーカ１１９からの、数１８で表される音響信号の送
信、（ｉｉ）該音響信号ｙ（ｎ）のマイクロフォン１１
８による受信、を含む。
ピーカ１１９からの、数１８で表される音響信号の送
信、（ｉｉ）該音響信号ｙ（ｎ）のマイクロフォン１１
８による受信、を含む。
【数１８】 ｎ＝０，１，．．．，（Ｍ−１）のとき ｘ
（ｎ）＝Ｇ＊ｈ（Ｍ−１−ｎ） その他のとき ｘ（ｎ）＝０ Ｇの値は、数１９の通りとする。
（ｎ）＝Ｇ＊ｈ（Ｍ−１−ｎ） その他のとき ｘ（ｎ）＝０ Ｇの値は、数１９の通りとする。
【数１９】 記号Ｔは、信号（すなわちｙ（ｎ））が極大となる時点
を示す。
を示す。
【００８０】 まず始めに、フルトレーニングが必要か否
かを判別する。エコーの経路の特性が以前の計算結果か
ら大きく離れていない場合、受信した信号（すなわちｙ
（ｎ））の、ピーク付近（すなわちｎ＝Ｔである辺り）
における波形は、数２０を用いて得られるエコーの経路
の自己相関関数の波形と同じになる。
かを判別する。エコーの経路の特性が以前の計算結果か
ら大きく離れていない場合、受信した信号（すなわちｙ
（ｎ））の、ピーク付近（すなわちｎ＝Ｔである辺り）
における波形は、数２０を用いて得られるエコーの経路
の自己相関関数の波形と同じになる。
【数２０】
【００８１】従って、数２１があるしきい値より大きい
場合、エコーの経路のインパルス応答が大きく変化して
いてフルトレーニングが必要であると判別される。
場合、エコーの経路のインパルス応答が大きく変化して
いてフルトレーニングが必要であると判別される。
【数２１】 ｇの値は、数２２の方程式を解くことにより得られる。
【数２２】
【００８２】フルトレーニングが必要でない場合、バル
ク遅延の値とエコーフィルタのゲインの値は、数２３の
通り、新しい値に更新される。
ク遅延の値とエコーフィルタのゲインの値は、数２３の
通り、新しい値に更新される。
【数２３】 バルク遅延 （Ｔ−Ｍ） エコ−フィルタのゲイン ｈnew（ｎ）＝ｇ＊ｈ（ｎ）
（０≦ｎ＜（Ｍ−１））
（０≦ｎ＜（Ｍ−１））
【００８３】 再トレーニングに使われる信号は、フルト
レーニングの際に使われる信号より短く、弱い。従っ
て、一般的にクイックトレーニングはユーザステーショ
ン１０４にいる人に感知されることがない。クイックト
レーニングは両方のエコーの経路について行われる。
レーニングの際に使われる信号より短く、弱い。従っ
て、一般的にクイックトレーニングはユーザステーショ
ン１０４にいる人に感知されることがない。クイックト
レーニングは両方のエコーの経路について行われる。
【００８４】 （アダプティブエコー消去）左のスピーカ
からマイクロフォンへのエコー経路のインパルス応答を
ｈl（ｎ）（ただし、０≦ｎ＜Ｍ）、右のスピーカから
マイクロフォンへのエコーの経路のインパルス応答をｈ
r（ｎ）（ただし、０≦ｎ＜Ｍ）とする。また、それぞ
れのバルク遅延をＢlおよびＢrとする。このとき、左お
よび右のスピーカに供給される音声サンプルをそれぞれ
ｘl（ｎ）およびｘr（ｎ）とすると、エコー消去は、マ
イクロフォンにより記録された信号ｙ（ｎ）から、数２
４の値を差し引くことにより行われる。
からマイクロフォンへのエコー経路のインパルス応答を
ｈl（ｎ）（ただし、０≦ｎ＜Ｍ）、右のスピーカから
マイクロフォンへのエコーの経路のインパルス応答をｈ
r（ｎ）（ただし、０≦ｎ＜Ｍ）とする。また、それぞ
れのバルク遅延をＢlおよびＢrとする。このとき、左お
よび右のスピーカに供給される音声サンプルをそれぞれ
ｘl（ｎ）およびｘr（ｎ）とすると、エコー消去は、マ
イクロフォンにより記録された信号ｙ（ｎ）から、数２
４の値を差し引くことにより行われる。
【数２４】 この計算は、直接行うこともできるし、また高速フーリ
エ変換を用いて行ってもよい。
エ変換を用いて行ってもよい。
【００８５】 （アダプティブサイレンスディテクショ
ン）変換装置（スピーカおよびマイクロフォン）には非
直線性があるため、完全なエコー消去を得ることは不可
能である。話し手が話していないとき、この残留エコー
は、聞き取る者には感じられる。従って、送話する側の
発話がないときのエコーを消去するために沈黙の検知が
行われ、沈黙している期間（すなわち、話し手が話して
いない時）音声パケットが送信されないようにする。
ン）変換装置（スピーカおよびマイクロフォン）には非
直線性があるため、完全なエコー消去を得ることは不可
能である。話し手が話していないとき、この残留エコー
は、聞き取る者には感じられる。従って、送話する側の
発話がないときのエコーを消去するために沈黙の検知が
行われ、沈黙している期間（すなわち、話し手が話して
いない時）音声パケットが送信されないようにする。
【００８６】 この期間音声情報を送信しないことによ
り、システムが必要とする帯域はさらに削減される。追
加された帯域は、他の情報（グラフィック、制御情報）
を送信するために使うことができる。
り、システムが必要とする帯域はさらに削減される。追
加された帯域は、他の情報（グラフィック、制御情報）
を送信するために使うことができる。
【００８７】 一般的な環境では、測定不能なオーディオ
信号と沈黙とは同一のものではない。これは、常にバッ
クグラウンドノイズがあり、（時として）残留エコーが
あるからである。従って、一般的にマイクロフォン１１
８は、音声がない場合であっても幾分かのオーディオ信
号を受信する。
信号と沈黙とは同一のものではない。これは、常にバッ
クグラウンドノイズがあり、（時として）残留エコーが
あるからである。従って、一般的にマイクロフォン１１
８は、音声がない場合であっても幾分かのオーディオ信
号を受信する。
【００８８】 マイクロフォン１１８へのオーディオ入力
は、数２５により与えられる。
は、数２５により与えられる。
【数２５】 Ａn＝Ｓn＋Ｅn＋Ｂn ここでＡnはマイクロフォン１１８により受信された音
の振幅、Ｓnは音声の寄与分、Ｅnは残留エコーの寄与
分、Ｂnはバックグラウンドノイズの寄与分である。
の振幅、Ｓnは音声の寄与分、Ｅnは残留エコーの寄与
分、Ｂnはバックグラウンドノイズの寄与分である。
【００８９】 本発明では、人の発話には沈黙の期間が含
まれるという事実を利用している。この沈黙の期間にお
けるオーディオ信号は、バックグラウンドノイズとエコ
ーに相当するものである。
まれるという事実を利用している。この沈黙の期間にお
けるオーディオ信号は、バックグラウンドノイズとエコ
ーに相当するものである。
【００９０】 本発明の一つの実施の形態では、マイクロ
フォン１１８は短期間の信号エネルギー（２０ミリ秒の
信号のブロックを用いて２０ミリ秒ごとに計算される）
を、１秒間に渡りモニタする。そして最も低いエネルギ
ーを持つセグメントが、沈黙の期間にある（すなわち、
Ｓn＝Ｅn＝０である）ものと推定される。
フォン１１８は短期間の信号エネルギー（２０ミリ秒の
信号のブロックを用いて２０ミリ秒ごとに計算される）
を、１秒間に渡りモニタする。そして最も低いエネルギ
ーを持つセグメントが、沈黙の期間にある（すなわち、
Ｓn＝Ｅn＝０である）ものと推定される。
【００９１】 一定の時間間隔において予想されるエコー
のエネルギーは、先に計算されたエコー信号を用いて容
易に計算される。一定の期間の残留エコーエネルギー
は、予想されるエコーのエネルギーの０．１倍と推定さ
れる。このときは、エコーキャンセルは控えめにみて１
０ｄＢであるということになる。
のエネルギーは、先に計算されたエコー信号を用いて容
易に計算される。一定の期間の残留エコーエネルギー
は、予想されるエコーのエネルギーの０．１倍と推定さ
れる。このときは、エコーキャンセルは控えめにみて１
０ｄＢであるということになる。
【００９２】 Ｓn，Ｅn，Ｂnは互いに独立に生成される
ので、信号Ａnのエネルギーはこの３個の要素の信号の
エネルギーの和に等しいと推定し得る。言い換えれば、
音声のエネルギーをＥS、記録された音声のエネルギー
をＥA、残留エコーのエネルギーをＥE、バックグラウン
ドノイズのエネルギーをＥBとしたとき、数２６の関係
が成り立つ。
ので、信号Ａnのエネルギーはこの３個の要素の信号の
エネルギーの和に等しいと推定し得る。言い換えれば、
音声のエネルギーをＥS、記録された音声のエネルギー
をＥA、残留エコーのエネルギーをＥE、バックグラウン
ドノイズのエネルギーをＥBとしたとき、数２６の関係
が成り立つ。
【数２６】 ＥS＝ＥA−ＥE−ＥB
【００９３】 １個のセグメントに記録されたデータは、
ＥSがあるしきい値を下回るとき、沈黙であると分類さ
れる。そうでない場合、記録された音声は圧縮され、圧
縮された情報はサーバに送信される。
ＥSがあるしきい値を下回るとき、沈黙であると分類さ
れる。そうでない場合、記録された音声は圧縮され、圧
縮された情報はサーバに送信される。
【００９４】 （ソフトウェア自動ゲイン制御手段）ＰＣ
のマイクロフォンは、話し手の口とマイクロフォンの距
離に非常に敏感である。自動ゲイン制御（ＡＧＣ）モジ
ュールは、この敏感さを軽減するために使われる。
のマイクロフォンは、話し手の口とマイクロフォンの距
離に非常に敏感である。自動ゲイン制御（ＡＧＣ）モジ
ュールは、この敏感さを軽減するために使われる。
【００９５】 多くのマルチメディアＰＣは、ハードウェ
アによりこの問題を解決している。ハードウェアＡＧＣ
はデータに非直線性をもたらし、この非直線性はエコー
とその消去の挙動に影響を及ぼすので、ソフトウェアＡ
ＧＣの必要性が出てくる。
アによりこの問題を解決している。ハードウェアＡＧＣ
はデータに非直線性をもたらし、この非直線性はエコー
とその消去の挙動に影響を及ぼすので、ソフトウェアＡ
ＧＣの必要性が出てくる。
【００９６】 ソフトウェアＡＧＣは、以下のように導入
されている。 １．初期状態では、currentGain = 1.0 ２．６０ミリ秒に１回、数２７の関係を用いて実効値を
計算する。
されている。 １．初期状態では、currentGain = 1.0 ２．６０ミリ秒に１回、数２７の関係を用いて実効値を
計算する。
【数２７】 ここで、ｘnはエコーのない（すなわちエコーが消去さ
れた）、沈黙でない入力音声データである。 ３．目標となるＡＧＣゲインtargetGainを、数２８の関
係を用いて計算する。
れた）、沈黙でない入力音声データである。 ３．目標となるＡＧＣゲインtargetGainを、数２８の関
係を用いて計算する。
【数２８】 ４．ｎ＝０に値をセットした後、数２９、数３０および
数３１を順次実行する処理をＮ回行う。
数３１を順次実行する処理をＮ回行う。
【数２９】
【数３０】
【数３１】
【００９７】（ボイスブリッジングアプリケーションの
ための効率的な音声コーディング手順） 多点間音声会議（すなわち、ボイスブリッジング）シス
テムでは、各参加者は各自のマルチメディアコンピュー
タやワークステーションに接続されたマイクロフォンに
向かって話す。モデムによってサーバに効率的にデータ
転送を行うことを可能とするため、コンピュータはデー
タ圧縮を行う。
ための効率的な音声コーディング手順） 多点間音声会議（すなわち、ボイスブリッジング）シス
テムでは、各参加者は各自のマルチメディアコンピュー
タやワークステーションに接続されたマイクロフォンに
向かって話す。モデムによってサーバに効率的にデータ
転送を行うことを可能とするため、コンピュータはデー
タ圧縮を行う。
【００９８】 サーバは、各参加者から音声パケットを収
集する。サーバは、参加者の位置と顔の方向についての
既知の情報を用いて、どの話し手の声（最大２人）が聞
き手に聞こえるようにするかを決定する。
集する。サーバは、参加者の位置と顔の方向についての
既知の情報を用いて、どの話し手の声（最大２人）が聞
き手に聞こえるようにするかを決定する。
【００９９】 そのようにする場合、サーバは２人の話し
手からのビットストリームを１個のビットストリームに
結合し、該１個のビットストリームをモデムで送信し得
るようにできなければならない。クライアント側のマル
チメディアシステムは、２名の参加者の声を合成し、こ
れらを結合して、スピーカを通し環境音とともに再生さ
れる混合信号を生成するため、このビットストリームを
用いる。
手からのビットストリームを１個のビットストリームに
結合し、該１個のビットストリームをモデムで送信し得
るようにできなければならない。クライアント側のマル
チメディアシステムは、２名の参加者の声を合成し、こ
れらを結合して、スピーカを通し環境音とともに再生さ
れる混合信号を生成するため、このビットストリームを
用いる。
【０１００】 本例における音声コーディングの独自の特
徴は、デュアルレートコーダとして動作するよう設計さ
れているという点にある。音声コーダ出力の最も重要な
パラメータは６４００ビット毎秒でコード化される。合
成された音声の品質を向上させるため、付加的情報を用
いる場合があるが、これはさらに６４００ビット毎秒加
えてコード化される。
徴は、デュアルレートコーダとして動作するよう設計さ
れているという点にある。音声コーダ出力の最も重要な
パラメータは６４００ビット毎秒でコード化される。合
成された音声の品質を向上させるため、付加的情報を用
いる場合があるが、これはさらに６４００ビット毎秒加
えてコード化される。
【０１０１】 この方法では、コーダは、１２８００ビッ
ト毎秒で動作する高品質の音声圧縮システム、または６
４００ビットで動作する通信品質の音声圧縮システムと
して機能し得る。
ト毎秒で動作する高品質の音声圧縮システム、または６
４００ビットで動作する通信品質の音声圧縮システムと
して機能し得る。
【０１０２】 ２人の話し手の声のデータを送信する必要
がある場合、サーバは各人の声に６４００ビット毎秒
（すなわち、半分のレート）を割り当てる。しかし、ク
ライアントに対し１人の声のみを送信すればよい場合、
１人の声のデータに全帯域が割り当てられ、従ってより
品質の高い音声合成が可能となる。
がある場合、サーバは各人の声に６４００ビット毎秒
（すなわち、半分のレート）を割り当てる。しかし、ク
ライアントに対し１人の声のみを送信すればよい場合、
１人の声のデータに全帯域が割り当てられ、従ってより
品質の高い音声合成が可能となる。
【０１０３】 １２８００ビット毎秒のビットストリーム
が得られ、容易にその半分のレートのビットストリーム
（すなわち、６４００ビット毎秒のビットストリーム）
に転換できるというこの能力は、クライアントからサー
バに向けて、音声データと共に制御情報やグラフィック
情報をより多く送信する必要がある場合にも容易に利用
できる。
が得られ、容易にその半分のレートのビットストリーム
（すなわち、６４００ビット毎秒のビットストリーム）
に転換できるというこの能力は、クライアントからサー
バに向けて、音声データと共に制御情報やグラフィック
情報をより多く送信する必要がある場合にも容易に利用
できる。
【０１０４】 このアルゴリズムは、クライアントに送り
得る任意の数の声のストリームのうちサーバがどれを実
際に選択するかについて、クライアントがこれを決定す
ることを可能にする。クライアントは各話し手の位置を
知っているので、クライアントは、話し手と聞き手の距
離の他、そのシンボルの外見の向く方向、「音の経路」
の上にある障害物を考慮に入れた上で選択でき、さらに
異なった音声伝搬の媒体（水中、風の強い丘陵）さえも
考慮に入れることができる。
得る任意の数の声のストリームのうちサーバがどれを実
際に選択するかについて、クライアントがこれを決定す
ることを可能にする。クライアントは各話し手の位置を
知っているので、クライアントは、話し手と聞き手の距
離の他、そのシンボルの外見の向く方向、「音の経路」
の上にある障害物を考慮に入れた上で選択でき、さらに
異なった音声伝搬の媒体（水中、風の強い丘陵）さえも
考慮に入れることができる。
【０１０５】 優先順位決定処理は常に再評価され、この
再評価が十分速い場合、サーバとクライアントの間に
は、実在する以上に多くのストリームが共存している状
態が等価的に実現されているものとみることができる。
再評価が十分速い場合、サーバとクライアントの間に
は、実在する以上に多くのストリームが共存している状
態が等価的に実現されているものとみることができる。
【０１０６】 このアルゴリズムは、各クライアントが互
いに独立してこのような決定をすることを可能としてい
るので、各クライアントは、個々が有する機器上の、ま
た帯域上の制限を考慮に入れた上で、ユーザに対し最高
の内容のオーディオを提供することができる。
いに独立してこのような決定をすることを可能としてい
るので、各クライアントは、個々が有する機器上の、ま
た帯域上の制限を考慮に入れた上で、ユーザに対し最高
の内容のオーディオを提供することができる。
【０１０７】 （ＬＰＣ解析）本例で導入されている音声
圧縮システムは、マルチパルス励起信号を用いた音声の
線形予測コーディング（ＬＰＣ）の原理に基づいてお
り、これは、B. S. Atal J. R. Remde "A new model fo
r LPC excitation for producing natural sounding sp
eech at low bit-rates" Proc. Int. Conf. On Acousti
cs Speech andSignal Processing, Paris, France, 198
2, pp.614-617 に示されている。
圧縮システムは、マルチパルス励起信号を用いた音声の
線形予測コーディング（ＬＰＣ）の原理に基づいてお
り、これは、B. S. Atal J. R. Remde "A new model fo
r LPC excitation for producing natural sounding sp
eech at low bit-rates" Proc. Int. Conf. On Acousti
cs Speech andSignal Processing, Paris, France, 198
2, pp.614-617 に示されている。
【０１０８】 音声信号Ｓnは、数３２のように、不均等
な間隔を持つ異なった振幅のパルスの列により励起され
た、経時的に変化する無限インパルス応答デジタルフィ
ルタの出力、というモデルで示される。
な間隔を持つ異なった振幅のパルスの列により励起され
た、経時的に変化する無限インパルス応答デジタルフィ
ルタの出力、というモデルで示される。
【数３２】 ここで、ａk（ただし、０＜ｋ≦Ｍ）はＭ次のＬＰＣフ
ィルタ係数である。典型的には、フィルタの次数は１０
程度である。ｐnはマルチパルスの列を表し、ｗnはラン
ダム雑音の列を表す。
ィルタ係数である。典型的には、フィルタの次数は１０
程度である。ｐnはマルチパルスの列を表し、ｗnはラン
ダム雑音の列を表す。
【０１０９】 S. Shankar Narayan and J. P. Burg, "Sp
ectral Estimation of quasi-periodic data", IEEE Tr
ansactions on Acoustics Speech and Signal Processi
ng,march 1990, pp. 512-518. -554-II-557 に示されて
いるように、経時変化するフィルタ係数は、ＬＰＣ解析
を用いて得られる。
ectral Estimation of quasi-periodic data", IEEE Tr
ansactions on Acoustics Speech and Signal Processi
ng,march 1990, pp. 512-518. -554-II-557 に示されて
いるように、経時変化するフィルタ係数は、ＬＰＣ解析
を用いて得られる。
【０１１０】 ＬＰＣ解析に先立って、Ｐ（ｚ）＝（１−
０．８７５ｚ-1）の特性を持つ１次フィルタを用いて音
声データにプリエンファシスが加えられる。
０．８７５ｚ-1）の特性を持つ１次フィルタを用いて音
声データにプリエンファシスが加えられる。
【０１１１】 係数の推計は、５ミリ秒ごとに行われる。
しかし、音声のコード化という目的では４個おきのパラ
メータの組だけが用いられる。さらに高いレートでの計
算は、後述するように唇に同期したパラメータの推計の
目的で行われる。
しかし、音声のコード化という目的では４個おきのパラ
メータの組だけが用いられる。さらに高いレートでの計
算は、後述するように唇に同期したパラメータの推計の
目的で行われる。
【０１１２】 典型的には、マルチパルス励起関数として
１０〜３２個のパルスが用いられる。合成された音声の
品質は、用いられたパルスの数に依存する（多い程良く
なる）。しかし、データが圧縮される量もまた、励起関
数を表すために用いられたパルスの数に依存する（少な
いほど良くなる）。
１０〜３２個のパルスが用いられる。合成された音声の
品質は、用いられたパルスの数に依存する（多い程良く
なる）。しかし、データが圧縮される量もまた、励起関
数を表すために用いられたパルスの数に依存する（少な
いほど良くなる）。
【０１１３】 モデムを介してこの情報を送信するため
に、２段からなるベクトル量子化器と、それに続いてい
て３８ビットのＬＰＣフィルタ表現を生成するスカラ量
子化器により、ＬＰＣパラメータが量子化される。この
手順を以下述べる。
に、２段からなるベクトル量子化器と、それに続いてい
て３８ビットのＬＰＣフィルタ表現を生成するスカラ量
子化器により、ＬＰＣパラメータが量子化される。この
手順を以下述べる。
【０１１４】 （ベクトルおよびスカラ量子化） １．ＬＰＣフィルタ係数を、J. Markel and A. Gray, L
inear Prediction ofSpeech, Springer-Verlag, 1976
に示されている手法で反射係数に変換する。反射係数
は、ＬＰＣフィルタ係数の別の表現である。一方のパラ
メータの組から他方への変換は無損失であり、また逆変
換が可能である。ＬＰＣフィルタ係数の計算値に対応す
るＭ個の反射係数をｋi（ただし、０＜ｉ≦Ｍ）とす
る。
inear Prediction ofSpeech, Springer-Verlag, 1976
に示されている手法で反射係数に変換する。反射係数
は、ＬＰＣフィルタ係数の別の表現である。一方のパラ
メータの組から他方への変換は無損失であり、また逆変
換が可能である。ＬＰＣフィルタ係数の計算値に対応す
るＭ個の反射係数をｋi（ただし、０＜ｉ≦Ｍ）とす
る。
【０１１５】 ２．最初の４個の反射係数を、J.Markel a
nd A.Gray,Linear Prediction of Speech,Springer-Ver
lag,1976 に示されている手法でログエリア関数（ｌａ
ｒ）に変換する。ｌｎ［．］を自然対数として、数３３
の関係を用いる。
nd A.Gray,Linear Prediction of Speech,Springer-Ver
lag,1976 に示されている手法でログエリア関数（ｌａ
ｒ）に変換する。ｌｎ［．］を自然対数として、数３３
の関係を用いる。
【数３３】
【０１１６】３．１０個のパラメータｌａｒ1，・・
・，ｌａｒ4，ｋ5，・・・，ｋ10を、６４−コードブッ
クベクトル量子化器を用いて量子化する。コードブック
の生成およびベクトル量子化器への導入の手順は、Y.Li
nde,A.Buzo and R.M.Gray,"AnAlgorithm for Vector Qu
antizer Design",IEEE Trans.On Communications,Jan19
80,pp.84-95 および R.M.Gray,"Vector Quantization,"
IEEE ASSP Magazine,April 1984,pp.4-29 に示されて
いる。ベクトル量子化器は、数３４のＸベクトルを受け
付け、６４個のコードの候補が入ったコードブックを検
索して、出力の数列として実効値が最も入力ベクトルに
適合するものを探し出し、６ビットからなるコードワー
ドのインデックスｉ１optを出力する。
・，ｌａｒ4，ｋ5，・・・，ｋ10を、６４−コードブッ
クベクトル量子化器を用いて量子化する。コードブック
の生成およびベクトル量子化器への導入の手順は、Y.Li
nde,A.Buzo and R.M.Gray,"AnAlgorithm for Vector Qu
antizer Design",IEEE Trans.On Communications,Jan19
80,pp.84-95 および R.M.Gray,"Vector Quantization,"
IEEE ASSP Magazine,April 1984,pp.4-29 に示されて
いる。ベクトル量子化器は、数３４のＸベクトルを受け
付け、６４個のコードの候補が入ったコードブックを検
索して、出力の数列として実効値が最も入力ベクトルに
適合するものを探し出し、６ビットからなるコードワー
ドのインデックスｉ１optを出力する。
【数３４】 デコーダは自らが持つコードブックから対応するコード
を検索し、与えられた入力ベクトルを６ビットに近似し
たものとして、数３５に示す数列ｑＸ1を得ることがで
きる。
を検索し、与えられた入力ベクトルを６ビットに近似し
たものとして、数３５に示す数列ｑＸ1を得ることがで
きる。
【数３５】
【０１１７】４．差分ベクトルｄＸ1＝Ｘ−ｑＸ1を生成
し、６４−コードブックベクトル量子化器で再度量子化
し、コードワードのインデックスｉ２optおよび数３６
に示す数列ｑＸ2を得る。
し、６４−コードブックベクトル量子化器で再度量子化
し、コードワードのインデックスｉ２optおよび数３６
に示す数列ｑＸ2を得る。
【数３６】
【０１１８】５．次に差分ベクトルｄＸ2＝ｄＸ1−ｑＸ
2を生成する。ここで、このベクトルの各要素を個々に
量子化する（すなわち、スカラ量子化器を用いる）。各
要素を量子化するビット数は、［４，３，３，３，３，
２，２，２，２，２］である。この２６ビットの情報、
および２個の６ビットＶＱコードｉ１optとｉ２optが共
になってＬＰＣフィルタの３８ビット表現が生成され、
この情報は、情報パケットの一部をなし、コード化音声
情報として送信される。ベクトルｄＸ2の量子化された
各値を数３７に示す値ｑＸ3とすると、デコードされた
ベクトルＸの値は数３８の通りとなる。
2を生成する。ここで、このベクトルの各要素を個々に
量子化する（すなわち、スカラ量子化器を用いる）。各
要素を量子化するビット数は、［４，３，３，３，３，
２，２，２，２，２］である。この２６ビットの情報、
および２個の６ビットＶＱコードｉ１optとｉ２optが共
になってＬＰＣフィルタの３８ビット表現が生成され、
この情報は、情報パケットの一部をなし、コード化音声
情報として送信される。ベクトルｄＸ2の量子化された
各値を数３７に示す値ｑＸ3とすると、デコードされた
ベクトルＸの値は数３８の通りとなる。
【数３７】
【数３８】Ｘ＝ｑＸ1＋ｑＸ2＋
【０１１９】 ６．このＸベクトルに対し必要な変換（す
なわち、ログエリアから反射係数への変換、および反射
係数からＬＰＣフィルタ係数への変換）を行うことによ
り量子化されたＬＰＣフィルタ係数が得られる。結果と
して得られるフィルタ係数を、ａk（０＜ｋ≦Ｍ）で示
す。
なわち、ログエリアから反射係数への変換、および反射
係数からＬＰＣフィルタ係数への変換）を行うことによ
り量子化されたＬＰＣフィルタ係数が得られる。結果と
して得られるフィルタ係数を、ａk（０＜ｋ≦Ｍ）で示
す。
【０１２０】 （マルチパルス励起パラメータの生成）合
成のアプローチによる分析を用い、マルチパルス励起パ
ラメータ（すなわちパルスの位置および振幅）を以下の
ようにして得ることができる。Ｓnは２０ミリ秒のフレ
ーム中の音声データを表し、ａn（０＜ｎ≦Ｍ）はこの
音声のフレームについて得られたＬＰＣフィルタ係数と
する。
成のアプローチによる分析を用い、マルチパルス励起パ
ラメータ（すなわちパルスの位置および振幅）を以下の
ようにして得ることができる。Ｓnは２０ミリ秒のフレ
ーム中の音声データを表し、ａn（０＜ｎ≦Ｍ）はこの
音声のフレームについて得られたＬＰＣフィルタ係数と
する。
【０１２１】 残留信号ｒnは、数３９の関係により計算
される。
される。
【数３９】
【０１２２】知覚的重み付けフィルタのインパルス応答
は、数４０〜数４２の関係により計算される。
は、数４０〜数４２の関係により計算される。
【数４０】
【数４１】
【数４２】 ここでλ＝０．８５であり、またＬは４０としている。
【０１２３】 次に数４３に示す数列および数４４〜数４
６に示す数列の２個の数列が生成される。
６に示す数列の２個の数列が生成される。
【数４３】
【数４４】
【数４５】
【数４６】 言い換えれば、数列ｐnは数列ｈnについてそれ自身との
畳み込みによって得られ、数列ｑnは、残留信号の数列
ｒnとｐnとの畳み込みによって得られる。
畳み込みによって得られ、数列ｑnは、残留信号の数列
ｒnとｐnとの畳み込みによって得られる。
【０１２４】 励起パルスの位置は、ｑ'n＝ｑnとして、
ｑ'nが極大となるようなｎの位置に選ぶ。この位置をｌ
iとすると、パルスの高さｈiは、数４７の関係から得ら
れる。
ｑ'nが極大となるようなｎの位置に選ぶ。この位置をｌ
iとすると、パルスの高さｈiは、数４７の関係から得ら
れる。
【数４７】
【０１２５】各パルスの情報（すなわち位置と高さ）が
得られた後、数列ｑ'nは、数４８の関係を用いて変更さ
れる。
得られた後、数列ｑ'nは、数４８の関係を用いて変更さ
れる。
【数４８】
【０１２６】この手順は、必要な数の励起パルスが決定
されるまで順次続けられる。このようにして得られたパ
ルス位置の情報を用いて、数４９に示す行列方程式を解
くことにより、最適な高さの情報が得られる。
されるまで順次続けられる。このようにして得られたパ
ルス位置の情報を用いて、数４９に示す行列方程式を解
くことにより、最適な高さの情報が得られる。
【数４９】 Ｓxxｈ＝Ｓxy ここでＳxxは、その（ｉ，ｊ）番目の要素がＬ−１＋｜
ｌi−ｌj｜に等しい（Ｍ行Ｍ列の）行列であり、Ｓ
xyは、そのｉ番目の要素がｑliに等しい（Ｍ行１列の）
ベクトルであり、またｈは励起パルスの高さを表す（Ｍ
行１列の）ベクトルである。
ｌi−ｌj｜に等しい（Ｍ行Ｍ列の）行列であり、Ｓ
xyは、そのｉ番目の要素がｑliに等しい（Ｍ行１列の）
ベクトルであり、またｈは励起パルスの高さを表す（Ｍ
行１列の）ベクトルである。
【０１２７】本システムの実施の形態では、２０ミリ秒
ごとの音声データにつきまず１２個の励起パルスが順次
決定され、次いでパルスの高さが最適化される。ビット
レートが６４００ビット毎秒の音声コード化システムの
送信パラメータとしては、３８ビットのＬＰＣ係数の情
報と１２個の励起パルスに関する情報（すなわち高さと
振幅）を用いることができる。
ごとの音声データにつきまず１２個の励起パルスが順次
決定され、次いでパルスの高さが最適化される。ビット
レートが６４００ビット毎秒の音声コード化システムの
送信パラメータとしては、３８ビットのＬＰＣ係数の情
報と１２個の励起パルスに関する情報（すなわち高さと
振幅）を用いることができる。
【０１２８】数列ｑnからはこれら１２個のパルスの寄
与分が差し引かれ、同様の手法で追加の１４個の励起パ
ルスが得られる。結局、２６個のマルチパルス励起パル
スが２段階に決定される。
与分が差し引かれ、同様の手法で追加の１４個の励起パ
ルスが得られる。結局、２６個のマルチパルス励起パル
スが２段階に決定される。
【０１２９】 ビットレートが１１６００ビット毎秒の音
声コード化システムの送信パラメータとしては、３８ビ
ットのＬＰＣ係数情報と２６個の励起パルスに関する情
報（すなわち高さと振幅）を用いることができる。
声コード化システムの送信パラメータとしては、３８ビ
ットのＬＰＣ係数情報と２６個の励起パルスに関する情
報（すなわち高さと振幅）を用いることができる。
【０１３０】 ボイスブリッジングアプリケーションで
は、サーバが６４００ビット毎秒のビットストリームデ
ータを生成したいとき、クライアントシステム（すなわ
ちマルチメディアコンピュータステーション）がこの１
１６００ビット毎秒のストリームを送るのに加えて、２
６個のパルスのうちどの１２個が選択されるべきかにつ
いての付加的な情報（１２００ビット毎秒のストリーム
である）も送られる。
は、サーバが６４００ビット毎秒のビットストリームデ
ータを生成したいとき、クライアントシステム（すなわ
ちマルチメディアコンピュータステーション）がこの１
１６００ビット毎秒のストリームを送るのに加えて、２
６個のパルスのうちどの１２個が選択されるべきかにつ
いての付加的な情報（１２００ビット毎秒のストリーム
である）も送られる。
【０１３１】 従って、音声情報をサーバに送るために要
する帯域は１２８００ビット毎秒であり、一方サーバは
クライアントに対し、１１６００ビット毎秒（話し手１
人の場合）または１２８００（２×６４００）ビット毎
秒（話し手２人の場合）で、圧縮された音声データを送
る。以下からは、励起パルスの情報のコード化を説明す
る。
する帯域は１２８００ビット毎秒であり、一方サーバは
クライアントに対し、１１６００ビット毎秒（話し手１
人の場合）または１２８００（２×６４００）ビット毎
秒（話し手２人の場合）で、圧縮された音声データを送
る。以下からは、励起パルスの情報のコード化を説明す
る。
【０１３２】 （パルス位置コーダ）低いビットレートで
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの位置は、効率的にコード化される必要がある。２０
ミリ秒の音声は１６０サンプルの音声に相当する。各パ
ルスは１６０箇所のいずれかに位置し得るが、どの２個
のパルスも同一の位置にいることはできない。
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの位置は、効率的にコード化される必要がある。２０
ミリ秒の音声は１６０サンプルの音声に相当する。各パ
ルスは１６０箇所のいずれかに位置し得るが、どの２個
のパルスも同一の位置にいることはできない。
【０１３３】 １０２ビットを用いてこの情報をコード化
するために、 M. Berouti, et. al."Efficient Computa
tional and Encoding of the multi-pulse excitation
forLPC," proc. Int. Conf. On Acoustics Speech and
Signal Processing, San Diego, CA, 1984, pp. 10.1.1
-10.1.4. に示されている組み合わせコーディング手順
が用いられている。エンコーダは、サーバがハーフレー
トのビットストリームを生成するため２６個のパルスか
ら１２個を選択するのに必要な情報（26Ｃ12すなわち２
４ビット）をコード化するために、組み合わせコーディ
ング手順を用いている。
するために、 M. Berouti, et. al."Efficient Computa
tional and Encoding of the multi-pulse excitation
forLPC," proc. Int. Conf. On Acoustics Speech and
Signal Processing, San Diego, CA, 1984, pp. 10.1.1
-10.1.4. に示されている組み合わせコーディング手順
が用いられている。エンコーダは、サーバがハーフレー
トのビットストリームを生成するため２６個のパルスか
ら１２個を選択するのに必要な情報（26Ｃ12すなわち２
４ビット）をコード化するために、組み合わせコーディ
ング手順を用いている。
【０１３４】 ハーフレートのコーダの場合において１２
個のパルスの位置をコード化するときにも、同様の手順
が用いられる。従って、２０ミリ秒ごとのパルス位置情
報をコード化するには、全体で１１４ビットが必要であ
る。
個のパルスの位置をコード化するときにも、同様の手順
が用いられる。従って、２０ミリ秒ごとのパルス位置情
報をコード化するには、全体で１１４ビットが必要であ
る。
【０１３５】 （パルス振幅コーダ）低いビットレートで
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの振幅は、効率的にコード化される必要がある。パル
スの振幅は、これをパルス振幅の実効値（ｒｍｓ）で規
格化することにより効率的にコード化される。
の音声のコード化を実現するためには、２０ミリ秒の音
声の各セグメントについて計算された２６個の励起パル
スの振幅は、効率的にコード化される必要がある。パル
スの振幅は、これをパルス振幅の実効値（ｒｍｓ）で規
格化することにより効率的にコード化される。
【０１３６】 規格化を行った後、パルス振幅は、T. Ma
x, "Quantizing for minimum distortion, "IRE Trans.
On Information Theory, Vol. 16, 1970, pp. 7-12.
に示されている８段階のガウシアン量子化器で量子化さ
れる。
x, "Quantizing for minimum distortion, "IRE Trans.
On Information Theory, Vol. 16, 1970, pp. 7-12.
に示されている８段階のガウシアン量子化器で量子化さ
れる。
【０１３７】 量子化雑音を最小化するために最適化され
たパルス振幅実効値は、６ビットの送信パラメータとし
てコード化される。従って、２０ミリ秒ごとのパルス振
幅情報をコード化するには、全体で８４ビットが必要で
ある。
たパルス振幅実効値は、６ビットの送信パラメータとし
てコード化される。従って、２０ミリ秒ごとのパルス振
幅情報をコード化するには、全体で８４ビットが必要で
ある。
【０１３８】 （効率的な唇の同期方法）人間の唇の位置
は、フォルマント周波数として知られる、短時間の音声
スペクトルの周波数の低い方から二つのピークと、音声
信号の短期間のエネルギーによりかなりの程度決定でき
る、ということが知られている。
は、フォルマント周波数として知られる、短時間の音声
スペクトルの周波数の低い方から二つのピークと、音声
信号の短期間のエネルギーによりかなりの程度決定でき
る、ということが知られている。
【０１３９】 具体的には、周波数の低い方から２個のフ
ォルマント周波数の間隔は、唇の幅に比例する。下唇の
高さは、周波数が低い方のフォルマント周波数に比例す
る傾向がある。最後に上唇の高さと唇の丸まり現象（す
なわち、唇が閉じた位置から離れる両唇）は、周波数の
低い方から２個のフォルマント周波数の和に反比例す
る。言い換えれば、第１と第２のフォルマント周波数は
共に、唇が丸くなるにつれ低くなっていなければならな
いことになる。
ォルマント周波数の間隔は、唇の幅に比例する。下唇の
高さは、周波数が低い方のフォルマント周波数に比例す
る傾向がある。最後に上唇の高さと唇の丸まり現象（す
なわち、唇が閉じた位置から離れる両唇）は、周波数の
低い方から２個のフォルマント周波数の和に反比例す
る。言い換えれば、第１と第２のフォルマント周波数は
共に、唇が丸くなるにつれ低くなっていなければならな
いことになる。
【０１４０】 これらの推計は話し手の実際の唇の位置と
は同じでない場合があるが、顔のアニメーションにこれ
らを用いた場合、極めて真に迫った効果をもたらすと考
えられる。唇の位置を計算する方法は、以下の段階より
構成される。
は同じでない場合があるが、顔のアニメーションにこれ
らを用いた場合、極めて真に迫った効果をもたらすと考
えられる。唇の位置を計算する方法は、以下の段階より
構成される。
【０１４１】 （唇の情報の抽出） １．音声のエンコードの目的で推計されたＬＰＣパラメ
ータ（前述）は、音声データ中の短時間のスペクトル情
報を得るために用いることができる。しかし、ＬＰＣフ
ィルタ情報についての既知の情報からフォルマント周波
数を推計する上では、計算上の要求が厳しいものと考え
られる。本発明の実施の形態では、６４−コードワード
ＶＱコードブックにある各候補に対応するフォルマント
周波数がリアルタイムでなく前もって計算され、保存さ
れる。そのため、ＬＰＣパラメータにつき１段目のベク
トル量子化が行われるとき、フォルマント周波数の推計
も同時に得られる。所与の音声のセグメントの周波数の
低い方から２個のフォルマント周波数として、シンボル
ｆ1とｆ2を用いる。また、そのフレームの信号のエネル
ギーのデシベル値（ｄＢ）として、シンボルＥを用い
る。２個のフォルマント周波数と信号のエネルギーを既
定とし、唇の幅の中間値を１として、以下の発見法を用
いて唇の位置の予備的な推計を行う。
ータ（前述）は、音声データ中の短時間のスペクトル情
報を得るために用いることができる。しかし、ＬＰＣフ
ィルタ情報についての既知の情報からフォルマント周波
数を推計する上では、計算上の要求が厳しいものと考え
られる。本発明の実施の形態では、６４−コードワード
ＶＱコードブックにある各候補に対応するフォルマント
周波数がリアルタイムでなく前もって計算され、保存さ
れる。そのため、ＬＰＣパラメータにつき１段目のベク
トル量子化が行われるとき、フォルマント周波数の推計
も同時に得られる。所与の音声のセグメントの周波数の
低い方から２個のフォルマント周波数として、シンボル
ｆ1とｆ2を用いる。また、そのフレームの信号のエネル
ギーのデシベル値（ｄＢ）として、シンボルＥを用い
る。２個のフォルマント周波数と信号のエネルギーを既
定とし、唇の幅の中間値を１として、以下の発見法を用
いて唇の位置の予備的な推計を行う。
【０１４２】 ２．信号エネルギー情報のフィルタリン
グ： １フレームの音声について計算された信号エネル
ギーＥにはバックグラウンドノイズのエネルギーも含ま
れている。このバックグラウンドノイズのレベルの効果
は、この情報を唇の位置の計算に用いる前に除去される
べきである。計算された信号エネルギーを変更するた
め、以下のアルゴリズムが用いられる。まず、初期状態
で数５０のように値がセットされる。
グ： １フレームの音声について計算された信号エネル
ギーＥにはバックグラウンドノイズのエネルギーも含ま
れている。このバックグラウンドノイズのレベルの効果
は、この情報を唇の位置の計算に用いる前に除去される
べきである。計算された信号エネルギーを変更するた
め、以下のアルゴリズムが用いられる。まず、初期状態
で数５０のように値がセットされる。
【数５０】 ５ミリ秒ごとに、数５１の関係を用いてこれが更新され
る。
る。
【数５１】 信号エネルギーＥは、数５２のように更新される。
【数５２】 ０より小さい場合はＥの値が０にセットされ、４０より
大きい場合は４０ｄＢにセットされる。
大きい場合は４０ｄＢにセットされる。
【０１４３】 ３．下唇の高さの計算： ｆ1が範囲内
（３００〜８００Ｈｚ）にある場合、数５３の関係を用
いて下唇の高さが計算される。
（３００〜８００Ｈｚ）にある場合、数５３の関係を用
いて下唇の高さが計算される。
【数５３】 そうでない場合、下唇の高さは、数５４の関係を用いて
計算される。
計算される。
【数５４】
【０１４４】４．唇の幅の計算： 以下の方法では、ｆ
2が１０００〜１８００Ｈｚの領域にある場合唇の幅を
変えない。ｆ2が７００〜１０００Ｈｚの範囲にある場
合、数５５の関係を用いて唇の幅は減少される。
2が１０００〜１８００Ｈｚの領域にある場合唇の幅を
変えない。ｆ2が７００〜１０００Ｈｚの範囲にある場
合、数５５の関係を用いて唇の幅は減少される。
【数５５】 ｆ2が１８００〜２５００Ｈｚの範囲にある場合、数５
６の関係を用いて唇の幅は増加される。
６の関係を用いて唇の幅は増加される。
【数５６】
【０１４５】５．唇の丸まり： ｆ1＋ｆ2＜１６００
且つ ２５０＜ｆ1＜８００ 且つ７００＜ｆ2＜２５０
０のとき、数５７の関係が成り立つことが明らかとなっ
ている。
且つ ２５０＜ｆ1＜８００ 且つ７００＜ｆ2＜２５０
０のとき、数５７の関係が成り立つことが明らかとなっ
ている。
【数５７】 また下唇の高さは、数５８の関係を用いて変更される。
【数５８】 唇の丸まりが生じない場合、上唇の高さは信号エネルギ
ーに緩やかに依存し、その値は、数５９の通り計算され
る。
ーに緩やかに依存し、その値は、数５９の通り計算され
る。
【数５９】
【０１４６】（唇のフィルタリング）本実施の形態で
は、唇位置のスムーシングフィルタを用いている。唇の
瞬時位置は５ミリ秒ごとに（すなわち１秒間に２００
回）得られるが、これには雑音が入る傾向がある。その
上、多くのビジュアルディスプレイはずっと低いレート
（典型的には、毎秒６〜３０回）でリフレッシュされ
る。
は、唇位置のスムーシングフィルタを用いている。唇の
瞬時位置は５ミリ秒ごとに（すなわち１秒間に２００
回）得られるが、これには雑音が入る傾向がある。その
上、多くのビジュアルディスプレイはずっと低いレート
（典型的には、毎秒６〜３０回）でリフレッシュされ
る。
【０１４７】 必要なレートで雑音のないパラメータの推
計値を得るため、唇のパラメータに対し、カットオフ周
波数が６．２５Ｈｚの、３１点の有限インパルス応答
（ＦＩＲ）ローパスフィルタが用いられる。ここでの応
用では、スムーシングされた唇のパラメータが、毎秒１
６．６７回計算される。
計値を得るため、唇のパラメータに対し、カットオフ周
波数が６．２５Ｈｚの、３１点の有限インパルス応答
（ＦＩＲ）ローパスフィルタが用いられる。ここでの応
用では、スムーシングされた唇のパラメータが、毎秒１
６．６７回計算される。
【０１４８】 （唇の情報のエンコード）唇位置の変数は
強い相関を持っている。例えば、口の幅が広がれば、唇
の高さの値は小さくなると考えられる。一方で、口が丸
くなれば、唇の幅は小さくなり、唇の高さの値は大きく
なる。この情報は、唇の位置を非常に少ないビット数に
コード化する際に利用される。本発明では、唇のすべて
の変数をコード化するため、６０ミリ秒ごとに８ビット
を用いている。
強い相関を持っている。例えば、口の幅が広がれば、唇
の高さの値は小さくなると考えられる。一方で、口が丸
くなれば、唇の幅は小さくなり、唇の高さの値は大きく
なる。この情報は、唇の位置を非常に少ないビット数に
コード化する際に利用される。本発明では、唇のすべて
の変数をコード化するため、６０ミリ秒ごとに８ビット
を用いている。
【０１４９】 下唇の高さの情報は、１６段階の量子化器
を用いてコード化され、そのとり得る値は、表１の通り
である。
を用いてコード化され、そのとり得る値は、表１の通り
である。
【表１】
【０１５０】上唇の高さの情報と唇の幅は強く相関して
いるので、これらは１６段階の量子化器を用いて共に量
子化され、そのとり得る値は表２の通りである。
いるので、これらは１６段階の量子化器を用いて共に量
子化され、そのとり得る値は表２の通りである。
【表２】 このようにして唇の位置は８ビットのみにコード化され
る。
る。
【０１５１】 （ロボット音声／囁き音声励起ゼネレー
タ）前述のように、音声信号は、ランダム雑音の連続ま
たはインパルス列により励起された、経時変化するデジ
タルフィルタ（すなわちＬＰＣフィルタ）の出力にモデ
ル化され得る。
タ）前述のように、音声信号は、ランダム雑音の連続ま
たはインパルス列により励起された、経時変化するデジ
タルフィルタ（すなわちＬＰＣフィルタ）の出力にモデ
ル化され得る。
【０１５２】 典型的には、発せられている音が摩擦
音（"ｓ"，"ＳＨ"，"ｆ"のような音）のとき、フィルタ
はランダム雑音により励起される。一方で、母音が発せ
られているとき、フィルタは、周期が話し手のピッチに
対応するような準周期的信号により励起される。
音（"ｓ"，"ＳＨ"，"ｆ"のような音）のとき、フィルタ
はランダム雑音により励起される。一方で、母音が発せ
られているとき、フィルタは、周期が話し手のピッチに
対応するような準周期的信号により励起される。
【０１５３】 ボイスモーフィングを実行するためには、
フィルタ励起信号を変更してもよい。本発明におけるモ
ーフィングには、特定の形の音声の歪化ないし変更を行
うための励起関数のパラメータの変更が関わっている。
フィルタ励起信号を変更してもよい。本発明におけるモ
ーフィングには、特定の形の音声の歪化ないし変更を行
うための励起関数のパラメータの変更が関わっている。
【０１５４】 囁きの音声は、有声の弦振動がないとき、
ＬＰＣ合成器の場合でいえば周期的パルス励起に変換さ
れないとき（すなわち、ＬＰＣフィルタがランダム雑音
のみにより励起されているとき）、に生成される。囁き
音を生成したいとき、励起信号はランダム雑音に換えら
れる。ランダム雑音のエネルギーは、実際の音声のエネ
ルギーに比例して調整される。
ＬＰＣ合成器の場合でいえば周期的パルス励起に変換さ
れないとき（すなわち、ＬＰＣフィルタがランダム雑音
のみにより励起されているとき）、に生成される。囁き
音を生成したいとき、励起信号はランダム雑音に換えら
れる。ランダム雑音のエネルギーは、実際の音声のエネ
ルギーに比例して調整される。
【０１５５】 ロボット音声は、人間である話し手のピッ
チが単調であるとき（すなわち、発話の間ピッチの変化
がほとんどない）ときに生成される。ＬＰＣ合成の場面
でいえば、周期的パルスによる励起に変換され、その周
期がほとんど変化しないときである。これらのインパル
スのエネルギーは、合成された音声のエネルギーが元の
音声のそれと等しくなるように調整する。ロボット音声
の周期性は、ユーザ毎に特定される。ロボット音声の場
合に合成された音声のバズ音を軽減するには、周期性の
情報に低い周波数のジッタが加えられる。
チが単調であるとき（すなわち、発話の間ピッチの変化
がほとんどない）ときに生成される。ＬＰＣ合成の場面
でいえば、周期的パルスによる励起に変換され、その周
期がほとんど変化しないときである。これらのインパル
スのエネルギーは、合成された音声のエネルギーが元の
音声のそれと等しくなるように調整する。ロボット音声
の周期性は、ユーザ毎に特定される。ロボット音声の場
合に合成された音声のバズ音を軽減するには、周期性の
情報に低い周波数のジッタが加えられる。
【０１５６】 （ボイスモーファ）本システムに導入され
ているもう一つの型のボイスモーフィングは、話し手の
ピッチを変更するものである。この方法では、男性の声
をより女性の声のようにすることができ、またその逆も
できる。
ているもう一つの型のボイスモーフィングは、話し手の
ピッチを変更するものである。この方法では、男性の声
をより女性の声のようにすることができ、またその逆も
できる。
【０１５７】 ボイスモーフィングは２段階で行われる。
ピッチ周波数は因数ｒにより増加されるとして、まず、
そのピッチ変化の因数ｒにより、音声補間／間引きの技
術を用いて、音声データのサンプリング周波数が減少さ
れる。これにより音声サンプルの長さも変わる（すなわ
ち、因数ｒにより音声の長さが減少する）。
ピッチ周波数は因数ｒにより増加されるとして、まず、
そのピッチ変化の因数ｒにより、音声補間／間引きの技
術を用いて、音声データのサンプリング周波数が減少さ
れる。これにより音声サンプルの長さも変わる（すなわ
ち、因数ｒにより音声の長さが減少する）。
【０１５８】 ピッチが変わった音声の長さを元の音声の
長さと同じに保つために、Werner Verhelst, and Marc
Roelands, "An overlap-add technique based on wavef
ormsimilarity (WSOLA) for high quality timescale m
odification speech" Proc.Int. Conf. On Acoustics S
peech and Signal Processing, Mineapolis, 1993,pp.
II-554-II-557. により示された技術を用いて、音声の
時間スケールの変更が行なわれる。
長さと同じに保つために、Werner Verhelst, and Marc
Roelands, "An overlap-add technique based on wavef
ormsimilarity (WSOLA) for high quality timescale m
odification speech" Proc.Int. Conf. On Acoustics S
peech and Signal Processing, Mineapolis, 1993,pp.
II-554-II-557. により示された技術を用いて、音声の
時間スケールの変更が行なわれる。
【０１５９】 この型のボイスモーフィングは、エンコー
ダでの音声の解析が行われる前の音声データについて行
われる。
ダでの音声の解析が行われる前の音声データについて行
われる。
【０１６０】 （ビットストリームエンコーダ）ビットス
トリームエンコーダは、解析器で生成された多様なエン
コード情報を入力として受け付け、これらを９６バイト
のパケットにパックし、６０ミリ秒ごとにサーバに送
る。しかし、音声解析は２０ミリ秒ごとに行われる点に
注意すべきである。従って、ビットストリームエンコー
ダは、１個のボイスパケットを作るために３組の解析デ
ータを用いる。
トリームエンコーダは、解析器で生成された多様なエン
コード情報を入力として受け付け、これらを９６バイト
のパケットにパックし、６０ミリ秒ごとにサーバに送
る。しかし、音声解析は２０ミリ秒ごとに行われる点に
注意すべきである。従って、ビットストリームエンコー
ダは、１個のボイスパケットを作るために３組の解析デ
ータを用いる。
【０１６１】 ２０ミリ秒ごとに計算されて各ボイスパケ
ットに含まれることになるのは、以下のパラメータの組
である。 １．ＶＱコードワードｉ１opt（６ビット） ２．ＶＱコードワードｉ２opt（６ビット） ３．残留ｌｐｃフィルタ係数１０個（２６ビット） ４．ｒｍｓパルス振幅コード（６ビット） ５．２６個のパルス振幅コード（７８ビット） ６．パルス位置コード（１１４ビット） ７．唇位置情報（６０ミリ秒ごとに８ビット） ８．音声タイプコード（囁きか、通常か、ロボットかの
区別）
ットに含まれることになるのは、以下のパラメータの組
である。 １．ＶＱコードワードｉ１opt（６ビット） ２．ＶＱコードワードｉ２opt（６ビット） ３．残留ｌｐｃフィルタ係数１０個（２６ビット） ４．ｒｍｓパルス振幅コード（６ビット） ５．２６個のパルス振幅コード（７８ビット） ６．パルス位置コード（１１４ビット） ７．唇位置情報（６０ミリ秒ごとに８ビット） ８．音声タイプコード（囁きか、通常か、ロボットかの
区別）
【０１６２】 （デコーダの動作）ビットストリームデコ
ーダは、サーバからのボイスパケットの組を入力として
受け付けて多様なパラメータにデコードし、パラメータ
は、合成音声を得る目的で、デコーダに用いられたり、
ＬＰＣ合成機能を動作させたりする。
ーダは、サーバからのボイスパケットの組を入力として
受け付けて多様なパラメータにデコードし、パラメータ
は、合成音声を得る目的で、デコーダに用いられたり、
ＬＰＣ合成機能を動作させたりする。
【０１６３】 合成器は、数６０に示す差分関数を用いて
導入される。
導入される。
【数６０】 ここでａkはデコードされたＭ次のＬＰＣフィルタ係
数、Ｓnは合成された音声サンプル、Ｐnはデコードされ
た励起パルスである。
数、Ｓnは合成された音声サンプル、Ｐnはデコードされ
た励起パルスである。
【０１６４】 （アダプティブポストフィルタ、距離およ
びエコーフィルタ、帯域フィルタ）アダプティブポスト
フィルタリングは、J. H. Chen and A. Gersho, "Real-
Time Vector APC Speech Coding at 4800 bps with ada
ptive post-filtering, "Proc. Int. Conf. On Acousti
cs Speech and Signal Processing, Dallas, 1987, pp.
2185-2188. に示されている。フィルタリングは、合成
された音声に対し、さらに音声の品質を向上させるため
に施される。このシステムは、仮想空間の設定をシミュ
レートするための特殊音声効果を創り出すことができ
る。この目的のため、エコー又は反響のフィルタリング
を施すことができる。
びエコーフィルタ、帯域フィルタ）アダプティブポスト
フィルタリングは、J. H. Chen and A. Gersho, "Real-
Time Vector APC Speech Coding at 4800 bps with ada
ptive post-filtering, "Proc. Int. Conf. On Acousti
cs Speech and Signal Processing, Dallas, 1987, pp.
2185-2188. に示されている。フィルタリングは、合成
された音声に対し、さらに音声の品質を向上させるため
に施される。このシステムは、仮想空間の設定をシミュ
レートするための特殊音声効果を創り出すことができ
る。この目的のため、エコー又は反響のフィルタリング
を施すことができる。
【０１６５】 エコーフィルタは、数６１に示すシステム
関数を持つ１次の無限インパルスフィルタである。
関数を持つ１次の無限インパルスフィルタである。
【数６１】 ここで、Ｄは、必要な特殊効果を創り出すのに要する反
響による遅延、Ｇは、必要な特殊効果を創り出すのに要
する反響係数（絶対値は１未満）である。
響による遅延、Ｇは、必要な特殊効果を創り出すのに要
する反響係数（絶対値は１未満）である。
【０１６６】 帯域フィルタリングはエコーフィルタの出
力に施され、ＤＣおよび低周波オフセット雑音を除去
し、ディエンファシスフィルタリングの効果を及ぼす。
フィルタの伝達関数は、数６２の通りである。
力に施され、ＤＣおよび低周波オフセット雑音を除去
し、ディエンファシスフィルタリングの効果を及ぼす。
フィルタの伝達関数は、数６２の通りである。
【数６２】
【０１６７】話し手と聞き手の仮想の世界での空間的位
置についての既知の情報を用いて、モノラル音声サンプ
ルをステレオ音声サンプルに変換するため、以下のアル
ゴリズムを用いる距離フィルタが導入される。１．聞き
手および話し手の仮想空間での角度をΘlおよびΘｓ と
し、両者間の距離をｄ（メートル）とする。２．距離ゲ
インＧdは、数６３の通り求められる。
置についての既知の情報を用いて、モノラル音声サンプ
ルをステレオ音声サンプルに変換するため、以下のアル
ゴリズムを用いる距離フィルタが導入される。１．聞き
手および話し手の仮想空間での角度をΘlおよびΘｓ と
し、両者間の距離をｄ（メートル）とする。２．距離ゲ
インＧdは、数６３の通り求められる。
【数６３】 ３．左および右の距離フィルタ係数は、数６４〜数６７
の通り計算される。
の通り計算される。
【数６４】
【数６５】
【数６６】
【数６７】 ４．最後に、左および右のチャンネルの音声サンプル
は、数６８および数６９に示すフィルタリング操作によ
り計算される。
は、数６８および数６９に示すフィルタリング操作によ
り計算される。
【数６８】
【数６９】 ここでｘnは音声合成器の出力（モノラル音響）、ｌnお
よびｒnは結果として得られる左および右のチャンネル
の音の連続である。
よびｒnは結果として得られる左および右のチャンネル
の音の連続である。
【０１６８】 （環境音生成）仮想の社会生活上の環境で
は、特殊効果を創り出すためバックグラウンド音響が生
成される。例としては、参加者が会議のグループから離
脱／グループに参加するときに、グループの残りの者に
は扉が開く／閉じる音が聞こえる、といったものであ
る。また仮想空間でのバックグラウンドミュージックで
もよい。このような音響はこのモジュールで生成され
る。
は、特殊効果を創り出すためバックグラウンド音響が生
成される。例としては、参加者が会議のグループから離
脱／グループに参加するときに、グループの残りの者に
は扉が開く／閉じる音が聞こえる、といったものであ
る。また仮想空間でのバックグラウンドミュージックで
もよい。このような音響はこのモジュールで生成され
る。
【０１６９】 （ウェーブミキサ）スピーカから出力され
る音響は、以下のいずれかである。 １．１人の音声のみ ２．１人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ３．２人の音声のみ ４．２人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ウェーブミキサは、異なる音響データストリームを入力
として取り込み、ユーザが指定するゲインにして、これ
らを足し合わせ、最後に音声を高品質なものとするた
め、データに対しソフトクリッピングを行う。
る音響は、以下のいずれかである。 １．１人の音声のみ ２．１人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ３．２人の音声のみ ４．２人の音声とバックグラウンド音（音楽または仮想
空間をシミュレートするための環境音） ウェーブミキサは、異なる音響データストリームを入力
として取り込み、ユーザが指定するゲインにして、これ
らを足し合わせ、最後に音声を高品質なものとするた
め、データに対しソフトクリッピングを行う。
【０１７０】 以上でこの発明をすべて説明したが、これ
に対し、ここに開示された発明の範囲から逸脱すること
なく変化・変更を加えることができることは、当業者に
は明らかである。従って、本発明は専ら付属の請求項の
範囲にのみ限定されるものである。
に対し、ここに開示された発明の範囲から逸脱すること
なく変化・変更を加えることができることは、当業者に
は明らかである。従って、本発明は専ら付属の請求項の
範囲にのみ限定されるものである。
【０１７１】
【発明の効果】以上説明したように、この発明は、遠隔
地にいる複数の参加者間における、音声およびその関連
情報の通信のためのインタラクティブなネットワークシ
ステムに用いることができる。
地にいる複数の参加者間における、音声およびその関連
情報の通信のためのインタラクティブなネットワークシ
ステムに用いることができる。
【図面の簡単な説明】
【図１】この発明の実施の形態にかかる多点間音声会議
システムを示す図である。
システムを示す図である。
【図２】この発明の実施の形態にかかる多点間音声会議
システムのエンコーダを示すブロック図である。
システムのエンコーダを示すブロック図である。
【図３】この発明の実施の形態にかかる多点間音声会議
システムのデコーダを示すブロック図である。
システムのデコーダを示すブロック図である。
【図４】参加者のサイトのブロック図である。
【図５】この発明の実施の形態における音響的特徴測定
の装置構成のブロック図である。
の装置構成のブロック図である。
【符号の説明】 １００ 多点間音声会議システム １０４ ユーザステーション １１０ スピーチサーバ １１２ インターネット １１４ デスクトップコンピュータ １１６ 表示装置 １１８ マイクロフォン １１９、１２０ ラウドスピーカ １２２ モデム １２６ ソフトウェア １３０ オーディオ送信ブロック １３２ 信号生成ブロック １３４ バッファ １４０ オーディオ受信ブロック １４２ レコードバッファ １４４ 信号解析ブロック ２００ エンコーダ ２０４ ＤＣ除去ブロック ２０６ サイレンスディテクタ ２１０ 自動ゲイン制御手段 ２１４ ボイスモーファ ２２２ ＬＰＣ解析ブロック ２２４ ベクトル量子化ブロック（ベクトル量子化器） ２２６ スカラ量子化ブロック（スカラ量子化器） ２２８ マルチパルス励起パラメータゼネレータ（マル
チパルスパラメータ推計） ２３０ ロボット音声／囁き音声励起ゼネレータ ２３２ ビットストリームエンコーダ ２３６ パルス位置コーダ ２３８ パルス振幅コーダ ２５０ 唇情報抽出器（唇瞬時位置抽出器） ２５２ 唇フィルタ ２５６ 唇情報コーダ ３００ デコーダ ３０４ ビットストリームデコーダ ３０６ 唇情報デコーダ ３０８ ＬＰＣパラメータデコーダ ３１０ パルス振幅デコーダ ３１２ パルス位置デコーダ ３１４ 囁き音声／ロボット音声励起デコーダ ３２０ ＬＰＣ合成器 ３２２ アダプティブポストフィルタ ３２４ エコーフィルタ（距離およびエコーフィルタ） ３２６ 帯域フィルタ ３５０ 参加者のサイト ３５４ マイクロフォン ３６０ マルチメディアパーソナルコンピュータ ３６２ アダプティブエコーキャンセラ ３６４ サイレンスディテクタ及びソフトウェア自動ゲ
イン制御モジュール（ＡＧＣ） ３６６ 唇同期音声コーダデコーダおよび音声変形器 ３６８ 双方向通信リンク ３７０ ウェーブミキサ ３７２ 環境音ゼネレータ ３７６ 左ラウドスピーカ ３７７ 右ラウドスピーカ
チパルスパラメータ推計） ２３０ ロボット音声／囁き音声励起ゼネレータ ２３２ ビットストリームエンコーダ ２３６ パルス位置コーダ ２３８ パルス振幅コーダ ２５０ 唇情報抽出器（唇瞬時位置抽出器） ２５２ 唇フィルタ ２５６ 唇情報コーダ ３００ デコーダ ３０４ ビットストリームデコーダ ３０６ 唇情報デコーダ ３０８ ＬＰＣパラメータデコーダ ３１０ パルス振幅デコーダ ３１２ パルス位置デコーダ ３１４ 囁き音声／ロボット音声励起デコーダ ３２０ ＬＰＣ合成器 ３２２ アダプティブポストフィルタ ３２４ エコーフィルタ（距離およびエコーフィルタ） ３２６ 帯域フィルタ ３５０ 参加者のサイト ３５４ マイクロフォン ３６０ マルチメディアパーソナルコンピュータ ３６２ アダプティブエコーキャンセラ ３６４ サイレンスディテクタ及びソフトウェア自動ゲ
イン制御モジュール（ＡＧＣ） ３６６ 唇同期音声コーダデコーダおよび音声変形器 ３６８ 双方向通信リンク ３７０ ウェーブミキサ ３７２ 環境音ゼネレータ ３７６ 左ラウドスピーカ ３７７ 右ラウドスピーカ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０３Ｍ 7/30 9382−5Ｋ Ｈ０３Ｍ 7/30 Ｈ０４Ｂ 3/23 Ｈ０４Ｂ 3/23 Ｈ０４Ｌ 12/18 Ｈ０４Ｍ 3/56 Ｃ Ｈ０４Ｍ 3/56 9/00 Ｋ 9/00 Ｈ０４Ｎ 7/15 Ｈ０４Ｎ 7/15 Ｈ０４Ｒ 3/02 Ｈ０４Ｒ 3/02 9466−5Ｋ Ｈ０４Ｌ 11/18
Claims (3)
- 【請求項１】マイクロフォンおよびラウドスピーカを備
える空間の音響的特徴決定方法であって、前記マイクロ
フォンはアナログ−デジタル変換器を介してコンピュー
タに接続され、前記ラウドスピーカはデジタル−アナロ
グ変換器を介して前記コンピュータに接続され、前記音
響的特徴決定方法は、 前記コンピュータにより、ほぼ囀り音信号と見なし得る
第１のソース信号を生成する工程と、 前記デジタル−アナログ変換器および前記マイクロフォ
ンにより、前記第１のソース信号を第１のオーディオ信
号に変換する工程と、 前記第１のオーディオ信号を前記ラウドスピーカにより
受ける工程と、 第１のデジタル信号を生成するため、受信された前記第
１のオーディオ信号を、前記アナログ−デジタル変換器
により変換する工程と、 前記囀り音信号に整合したフィルタにより、前記第１の
デジタル信号を処理する工程と、 バルク遅延を、前記処理工程により処理された前記信号
が最大値を持つ時点として決定する工程とより構成され
る、 ことを特徴とする音響的特徴決定方法。 - 【請求項２】前記音響的特徴決定方法は、さらに、 前記コンピュータにより、ほぼ白色雑音と見なし得る第
２のソース信号を生成する工程と、 前記デジタル−アナログ変換器および前記マイクロフォ
ンにより、前記第２のソース信号を第２のオーディオ信
号に変換する工程と、 前記第２のオーディオ信号を前記ラウドスピーカにより
受ける工程と、 第２のデジタル信号を生成するため、受信された前記第
２のオーディオ信号を、前記アナログ−デジタル変換器
により変換する工程と、 前記第２のソース信号および前記第２のデジタル信号の
相互相関関数を決定する工程と、 前記相互相関関数および前記第２のソース信号の自己相
関関数の関数として、有限インパルス応答を決定する工
程とより構成される、 ことを特徴とする請求項１に記載の音響的特徴決定方
法。 - 【請求項３】前記音響的特徴決定方法は、さらに、 ｈ（ｋ）を有限インパルス応答とし、Ｂを前記バルク遅
延として、 【数１】 によりエコー消去信号を決定する工程とより構成され
る、 ことを特徴とする請求項１に記載の音響的特徴決定方
法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US57105895A | 1995-12-12 | 1995-12-12 | |
| US08/571058 | 1995-12-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09204200A true JPH09204200A (ja) | 1997-08-05 |
Family
ID=24282163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8331313A Withdrawn JPH09204200A (ja) | 1995-12-12 | 1996-12-11 | 会議システム |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP0779732A3 (ja) |
| JP (1) | JPH09204200A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007116683A (ja) * | 2002-03-27 | 2007-05-10 | Marconi Intellectual Property (Ringfence) Inc | 電気通信システム |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010044725A1 (en) * | 1996-11-19 | 2001-11-22 | Koichi Matsuda | Information processing apparatus, an information processing method, and a medium for use in a three-dimensional virtual reality space sharing system |
| SE514330C2 (sv) * | 1997-06-23 | 2001-02-12 | Ericsson Telefon Ab L M | Förfarande och anordning i ett datanät |
| SE520979C3 (sv) * | 1998-04-01 | 2003-10-22 | Telia Ab | Förbättringar vid eller avseende datakonferenser |
| JP2000050182A (ja) * | 1998-08-03 | 2000-02-18 | Japan Advanced Inst Of Science & Technology Hokuriku | Ａ−ｖ用オーディオ信号処理方法 |
| US6512823B2 (en) | 1998-10-16 | 2003-01-28 | Lucent Technologies Inc. | Multiline telephone including interacting call appearances |
| US7006616B1 (en) | 1999-05-21 | 2006-02-28 | Terayon Communication Systems, Inc. | Teleconferencing bridge with EdgePoint mixing |
| US6621834B1 (en) * | 1999-11-05 | 2003-09-16 | Raindance Communications, Inc. | System and method for voice transmission over network protocols |
| US6668273B1 (en) | 1999-11-18 | 2003-12-23 | Raindance Communications, Inc. | System and method for application viewing through collaborative web browsing session |
| US7349944B2 (en) | 1999-11-18 | 2008-03-25 | Intercall, Inc. | System and method for record and playback of collaborative communications session |
| US6535909B1 (en) | 1999-11-18 | 2003-03-18 | Contigo Software, Inc. | System and method for record and playback of collaborative Web browsing session |
| US7328239B1 (en) | 2000-03-01 | 2008-02-05 | Intercall, Inc. | Method and apparatus for automatically data streaming a multiparty conference session |
| US7016315B2 (en) * | 2001-03-26 | 2006-03-21 | Motorola, Inc. | Token passing arrangement for a conference call bridge arrangement |
| US7701882B2 (en) | 2003-02-10 | 2010-04-20 | Intercall, Inc. | Systems and methods for collaborative communication |
| EP1593045A4 (en) | 2003-02-10 | 2007-08-08 | Raindance Comm Inc | METHOD AND APPARATUS TO ENSURE EQUAL CONTROL IN A MULTIMEDIA COLLABORATION SESSION |
| US7529798B2 (en) | 2003-03-18 | 2009-05-05 | Intercall, Inc. | System and method for record and playback of collaborative web browsing session |
| US10152190B2 (en) | 2003-12-15 | 2018-12-11 | Open Invention Network, Llc | Systems and methods for improved application sharing in a multimedia collaboration session |
| CN114360491B (zh) * | 2021-12-29 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 语音合成方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03252258A (ja) * | 1990-03-01 | 1991-11-11 | Toshiba Corp | 指向性再生装置 |
| US5317567A (en) * | 1991-09-12 | 1994-05-31 | The United States Of America As Represented By The Secretary Of The Air Force | Multi-speaker conferencing over narrowband channels |
| US5390177A (en) * | 1993-03-24 | 1995-02-14 | At&T Corp. | Conferencing arrangement for compressed information signals |
| JPH0792988A (ja) * | 1993-09-27 | 1995-04-07 | Matsushita Electric Ind Co Ltd | 音声検出装置と映像切り替え装置 |
| US5473363A (en) * | 1994-07-26 | 1995-12-05 | Motorola, Inc. | System, method and multipoint control unit for multipoint multimedia conferencing |
-
1996
- 1996-12-06 EP EP96203451A patent/EP0779732A3/en not_active Withdrawn
- 1996-12-11 JP JP8331313A patent/JPH09204200A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007116683A (ja) * | 2002-03-27 | 2007-05-10 | Marconi Intellectual Property (Ringfence) Inc | 電気通信システム |
| JP4566177B2 (ja) * | 2002-03-27 | 2010-10-20 | エリクソン アーベー | 電気通信システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0779732A3 (en) | 2000-05-10 |
| EP0779732A2 (en) | 1997-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09204200A (ja) | 会議システム | |
| US5317567A (en) | Multi-speaker conferencing over narrowband channels | |
| US7286562B1 (en) | System and method for dynamically changing error algorithm redundancy levels | |
| KR101443568B1 (ko) | 오디오 디코더 | |
| TW416044B (en) | Adaptive filter and filtering method for low bit rate coding | |
| US8958567B2 (en) | Method and system for split client-server reverberation processing | |
| EP3992964B1 (en) | Voice signal processing method and apparatus, and electronic device and storage medium | |
| US5623575A (en) | Excitation synchronous time encoding vocoder and method | |
| US5457685A (en) | Multi-speaker conferencing over narrowband channels | |
| JPH09204199A (ja) | 非活性音声の効率的符号化のための方法および装置 | |
| JPH08278799A (ja) | 雑音荷重フィルタリング方法 | |
| CN101006495A (zh) | 语音编码装置、语音解码装置、通信装置以及语音编码方法 | |
| MXPA96004161A (en) | Quantification of speech signals using human auiditive models in predict encoding systems | |
| JPH0644195B2 (ja) | エネルギ正規化および無声フレーム抑制機能を有する音声分析合成システムおよびその方法 | |
| JPH0946233A (ja) | 音声符号化方法とその装置、音声復号方法とその装置 | |
| EP1076895B1 (en) | A system and method to improve the quality of coded speech coexisting with background noise | |
| JPH11504733A (ja) | 聴覚モデルによる量子化を伴う予測残余信号の変形符号化による多段音声符号器 | |
| Härmä et al. | Warped low-delay CELP for wideband audio coding | |
| JPH08278800A (ja) | 音声通信システム | |
| JP2024502287A (ja) | 音声強調方法、音声強調装置、電子機器、及びコンピュータプログラム | |
| JPH05158495A (ja) | 音声符号化伝送装置 | |
| JP3010655B2 (ja) | 圧縮符号化装置及び方法、並びに復号装置及び方法 | |
| CN116110424A (zh) | 一种语音带宽扩展方法及相关装置 | |
| KR940008741B1 (ko) | 음성부호/복호화 방법 | |
| Gray | Packet speech on the Arpanet: A history of early LPC speech and its accidental impact on the Internet Protocol |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040302 |