JP5267257B2 - 音声ミキシング装置、方法及びプログラム、並びに、音声会議システム - Google Patents

Description

本発明は音声ミキシング装置、方法及びプログラム、並びに、音声会議システムに関し、例えば、広帯域非対応の端末及び広帯域対応の端末が混在する音声会議システムの音声ミキシングに適用し得る。

近年、ＩＰネットワークを利用した音声通信（ＶｏＩＰ）が広く普及してきた。ＶｏＩＰでは、固定電話網のような音声帯域の制限（電話帯域：３００Ｈｚ〜３．４ｋＨｚ）がないため、より肉声に近い音声（広帯域音声）での通信が可能である。このような広帯域の音声を伝送するために広帯域音声符号化が用いられる。その中に、非特許文献１の記載技術のような、既存の音声符号化との親和性が高いスケーラブル構造のものがある。

この音声符号化は、既存の音声符号化（Ｇ．７１１：電話帯域の音声符号化）をコアの符号化データとし、これに、電話帯域を超える帯域（以下、広帯域部分又は高域部分と呼ぶ）の符号化データを付加することで、広帯域の音声符号化データとしている。これにより実現される特徴の一つに、音声ミキシング処理の簡易化がある。

音声会議システム等の多地点通信における音声ミキシングの際、各地点からの音声のデコード、再エンコード処理が必要である。この必要な音声のデコード、再エンコード処理を、比較的処理が軽い既存音声符号化部分のみで実施し、広帯域部分は発話者の符号化情報を各地点にコピーすることにより実現している。これにより、少ない演算量で広帯域音声のミキシングを可能としている。

佐々木茂明他著、「広帯域音声符号化の国際標準ＩＴＵーＴ Ｇ．７１１．１（Ｇ．７１１ Ｗｉｄｅｂａｎｄ ｅｘｔｅｎｔｉｏｎ）」、ＮＴＴ技術ジャーナル、２００８．５、ｐｐ．３４−３７

しかしながら、既存音声符号化（電話帯域）に対応する端末と広帯域音声符号化（広帯域）に対応する端末が混在する多地点通信の場合、発話者の端末が既存音声符号化の端末であった場合は、ミキシング配信される音声は電話帯域音声のみとなってしまい、広帯域符号化の効果が十分にできないという課題がある。さらに、そもそも電話帯域と広帯域が混在する場合、電話帯域端末で発せられた声は受話側が広帯域端末であっても電話帯域の音声となってしまうという課題がある。

本発明は、前述の課題に鑑みてなされたものであり、多地点通信において、電話帯域音声信号と広帯域音声信号とが混在する場合においても、音質面、処理量面で効果的なミキシングを可能とする音声ミキシング装置、方法及びプログラム、並びに、音声会議システムを提供しようとしたものである。

第１の本発明は、Ｎ（Ｎは１以上の整数）個の狭帯域端末が送出した符号化狭帯域音声データと、Ｍ（Ｍは１以上の整数）個の広帯域端末が送出した、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとの階層構造の符号化広帯域音声データとが与えられ、ミキシングを行う音声ミキシング装置において、（１）入力された各符号化狭帯域音声データをそれぞれ復号する第１の狭帯域復号手段と、（２）入力された各符号化広帯域音声データをそれぞれ、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとに分離すると共に、狭帯域部分に対する符号化音声データを復号する第１の広帯域復号手段と、（３）上記第１の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られたＭ個の狭帯域音声信号との計Ｎ＋Ｍ個の狭帯域音声信号の中で最大レベルのものを検出する最大狭帯域音声信号検出手段と、（４）最大レベルの狭帯域音声信号が第１の狭帯域復号手段によって得られたものである場合に、その狭帯域音声信号を広帯域音声信号に拡張した後、拡張によって得られた、最大レベルの狭帯域音声信号に係る狭帯域外部分だけを符号化して出力し、一方、最大レベルの狭帯域音声信号が第１の広帯域復号手段によって得られたものである場合に、その狭帯域音声信号が復号される前の狭帯域部分に対する符号化音声データと階層構造をなしていた狭帯域外部分に対する符号化音声データを出力する狭帯域外部分符号化音声データ選択手段と、（５）上記第１の狭帯域復号手段の復号で得られた狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られた狭帯域音声信号とを混合する第１の混合手段と、（６）送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号を符号化する第１の狭帯域符号化手段と、（７）送信先端末が符号化広帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号における狭帯域部分を符号化して狭帯域部分に対する符号化音声データを得、上記狭帯域外部分符号化音声データ選択手段で選択された狭帯域外部分に対する符号化音声データと共に、階層構造の符号化広帯域音声データとを構成させる第１の広帯域符号化手段とを有することを特徴とする。

第２の本発明は、Ｎ（Ｎは１以上の整数）個の狭帯域端末が送出した符号化狭帯域音声データと、Ｍ（Ｍは１以上の整数）個の広帯域端末が送出した、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとの階層構造の符号化広帯域音声データとが与えられ、ミキシングを行う音声ミキシング方法において、（１）第１の狭帯域復号手段は、入力された各符号化狭帯域音声データをそれぞれ復号し、（２）第１の広帯域復号手段は、入力された各符号化広帯域音声データをそれぞれ、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとに分離すると共に、狭帯域部分に対する符号化音声データを復号し、（３）最大狭帯域音声信号検出手段は、上記第１の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られたＭ個の狭帯域音声信号との計Ｎ＋Ｍ個の狭帯域音声信号の中で最大レベルのものを検出し、（４）狭帯域外部分符号化音声データ選択手段は、最大レベルの狭帯域音声信号が第１の狭帯域復号手段によって得られたものである場合に、その狭帯域音声信号を広帯域音声信号に拡張した後、拡張によって得られた、最大レベルの狭帯域音声信号に係る狭帯域外部分だけを符号化して出力し、一方、最大レベルの狭帯域音声信号が第１の広帯域復号手段によって得られたものである場合に、その狭帯域音声信号が復号される前の狭帯域部分に対する符号化音声データと階層構造をなしていた狭帯域外部分に対する符号化音声データを出力し、（５）第１の混合手段は、上記第１の狭帯域復号手段の復号で得られた狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られた狭帯域音声信号とを混合し、（６）第１の狭帯域符号化手段は、送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号を符号化し、（７）第１の広帯域符号化手段は、送信先端末が符号化広帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号における狭帯域部分を符号化して狭帯域部分に対する符号化音声データを得、上記狭帯域外部分符号化音声データ選択手段で選択された狭帯域外部分に対する符号化音声データと共に、階層構造の符号化広帯域音声データとを構成させることを特徴とする。

第３の本発明は、Ｎ（Ｎは１以上の整数）個の狭帯域端末が送出した符号化狭帯域音声データと、Ｍ（Ｍは１以上の整数）個の広帯域端末が送出した、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとの階層構造の符号化広帯域音声データとが与えられ、ミキシングを行う音声ミキシングプログラムであって、コンピュータを、（１）入力された各符号化狭帯域音声データをそれぞれ復号する第１の狭帯域復号手段と、（２）入力された各符号化広帯域音声データをそれぞれ、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとに分離すると共に、狭帯域部分に対する符号化音声データを復号する第１の広帯域復号手段と、（３）上記第１の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られたＭ個の狭帯域音声信号との計Ｎ＋Ｍ個の狭帯域音声信号の中で最大レベルのものを検出する最大狭帯域音声信号検出手段と、（４）最大レベルの狭帯域音声信号が第１の狭帯域復号手段によって得られたものである場合に、その狭帯域音声信号を広帯域音声信号に拡張した後、拡張によって得られた、最大レベルの狭帯域音声信号に係る狭帯域外部分だけを符号化して出力し、一方、最大レベルの狭帯域音声信号が第１の広帯域復号手段によって得られたものである場合に、その狭帯域音声信号が復号される前の狭帯域部分に対する符号化音声データと階層構造をなしていた狭帯域外部分に対する符号化音声データを出力する狭帯域外部分符号化音声データ選択手段と、（５）上記第１の狭帯域復号手段の復号で得られた狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られた狭帯域音声信号とを混合する第１の混合手段と、（６）送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号を符号化する第１の狭帯域符号化手段と、（７）送信先端末が符号化広帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号における狭帯域部分を符号化して狭帯域部分に対する符号化音声データを得、上記狭帯域外部分符号化音声データ選択手段で選択された狭帯域外部分に対する符号化音声データと共に、階層構造の符号化広帯域音声データとを構成させる第１の広帯域符号化手段として機能さ
せることを特徴とする。

第４の本発明の音声会議システムは、本発明の音声ミキシング装置を有することを特徴とする。

本発明によれば、多地点通信において、狭帯域音声信号と広帯域音声信号とが混在する場合においても、音質面、処理量面で効果的なミキシングを実現することができる。

第１の実施形態の音声ミキシング装置の機能的構成を示すブロック図である。 第１の実施形態に係る音声会議システムの構成を示すブロック図である。 第２の実施形態の音声ミキシング装置の機能的構成を示すブロック図である。 第３の実施形態の音声ミキシング装置の機能的構成を示すブロック図である。

（Ａ）第１の実施形態
以下、本発明による音声ミキシング装置、方法及びプログラム、並びに、音声会議システムの第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態に係る音声会議システム１００の構成を示すブロック図である。

図２において、第１の実施形態に係る音声会議システム１００は、Ｎ（Ｎは１以上の整数）個の電話帯域端末１０１−１〜１０１−Ｎと、Ｍ（Ｍは１以上の整数）個の広帯域端末１０２−１〜１０２−Ｍと、音声ミキシング装置１０４とを有し、これら構成要素がネットワーク１０３を介して接続されるものである。

電話帯域端末１０１−ｎ（ｎは１〜Ｎ）は、電話帯域（例えば、３００Ｈｚ〜３．４ｋＨｚ）の音声信号を符号化したり、復号したりする端末である。

広帯域端末１０２−ｍ（ｍは１〜Ｍ）は、広帯域（例えば、３００Ｈｚ〜７ｋＨｚ）の音声信号を符号化したり、復号したりする端末である。広帯域端末１０２−ｍの広帯域符号化方式として、非特許文献１に記載のようなスケーラブル構造の符号化方式が適用されている。すなわち、電話帯域（例えば、３００Ｈｚ〜３．４ｋＨｚ）を符号化したデータと、電話帯域を超えている高域部分（例えば、３．４ｋＨｚ〜７ｋＨｚ）を符号化したデータとを併せて、階層化されている符号化音声データとするものが適用されている。

音声ミキシング装置１０４には、各電話帯域端末１０１−１〜１０１−Ｎからの符号化音声データと、各広帯域端末１０２−１〜１０２−Ｍからの符号化音声データとが、ネットワーク１０３を介して入力され、音声ミキシング装置１０４は、各端末からの符号化データをデコードし、得られた音声信号をミキシングし、ミキシング音声信号をエンコードして、ネットワーク１０３を介して、各電話帯域端末１０１−１〜１０１−Ｎや各広帯域端末１０２−１〜１０２−Ｍに送信するものである。

なお、符号化音声データを通信処理できるものであれば、ネットワーク１０３の種類は問われないものである。例えば、企業ネットワークのような閉じたネットワークであっても良い。

図１は、第１の実施形態の音声ミキシング装置１０４の機能的構成を示すブロック図である。音声ミキシング装置１０４は、例えば、サーバクラスのコンピュータに、音声ミキシングプログラムをインストールして構成されるが、機能的には、図１で表すことができる。

図１において、音声ミキシング装置１０４は、Ｎ個の電話帯域復号回路２０１−１〜２０１−Ｎと、Ｍ個の広帯域復号回路２０２−１〜２０２−Ｍと、Ｎ個の帯域拡張回路２０３−１〜２０３−Ｎと、Ｎ＋Ｍ個の混合回路２０４−１〜２０４−（Ｎ＋Ｍ）と、Ｎ個の電話帯域符号化回路２０５−１〜２０５−Ｎと、Ｍ個の広帯域符号化回路２０６−１〜２０６−Ｍと、発話者検出回路２０７、広帯域部分符号化回路２０８及び広帯域部分選択回路２０９とを有する。

電話帯域復号回路２０１−ｎは、対応する電話帯域端末１０１−ｎからの電話帯域の符号化音声データを復号するものである。

広帯域復号回路２０２−ｍは、対応する広帯域端末１０２−ｍからの階層化されている符号化音声データのうち、電話帯域の符号化音声データだけを復号して出力すると共に、高域部分の符号化音声データをそのまま出力するものである。

発話者検出回路２０７は、電話帯域復号回路２０１−１〜２０１−Ｎ及び広帯域復号回路２０２−１〜２０２−Ｍで復号された電話帯域の音声データの中から、最もレベルの大きい音声データを検出するものである。発話者検出回路２０７は、最もレベルの大きい音声データを出力した復号回路の情報を広帯域部分符号化回路２０８に与えると共に、最もレベルの大きい音声データを出力した復号回路が電話帯域復号回路２０１−１〜２０１−Ｎのいずれかであると、その電話帯域復号回路２０１−ｎに対応する帯域拡張回路２０３−ｎに拡張処理を実行させ、かつ、その出力を広帯域部分符号化回路２０８に処理させるように制御するものである。なお、発話者検出回路２０７は、復号回路の情報に代え、広帯域部分符号化回路２０８に対して、選択する入力ポートの指示信号を与えるようにしても良い。

帯域拡張回路２０３−ｎは、発話者検出回路２０７によって指示されたときに、対応する電話帯域復号回路２０１−ｎから出力された電話帯域音声データを広帯域音声データに拡張するものである。ここでは、帯域拡張回路２０３−１〜２０３−Ｎが択一的に動作するように説明したが（全てが動作しないこともあり得る）、全ての帯域拡張回路２０３−１〜２０３−Ｎが拡張処理を行い、拡張されたＮ個の広帯域音声データの中から、発話者検出回路２０７の制御下で１つの広帯域音声データを選択するようにしても良い。また例えば、帯域拡張回路として１個だけ用意し、発話者検出回路２０７が、電話帯域復号回路２０１−１〜２０１−Ｎの中から、その唯一の帯域拡張回路に対し、電話帯域音声データを与える電話帯域復号回路２０１−ｎを指示するようにしても良い。

広帯域部分符号化回路２０８は、入力された帯域拡張された音声データにおける、電話帯域を超えている高域部分を符号化したデータを得るものである。広帯域部分符号化回路２０８は、スケーラブル構造の符号化方式によって符号化を行い、その高域部分の符号化音声データを出力する。なお、広帯域部分符号化回路２０８は、いずれの帯域拡張回路２０３−１〜２０３−Ｎからも帯域拡張された音声データが出力されていない場合には、当然に、処理を実行しないものである。

広帯域部分選択回路２０９には、広帯域復号回路２０２−１〜２０２−Ｍから出力された高域部分の符号化音声データと、広帯域部分符号化回路２０８が生成した高域部分の符号化音声データとが入力される。広帯域部分選択回路２０９は、発話者検出回路２０７の制御下で、最大レベルの発話者の高域部分の符号化音声データを選択して出力するものである。出力された最大レベルの発話者の高域部分の符号化音声データは、全ての広帯域符号化回路２０６−１〜２０６−Ｍに与えられる。

各混合回路２０４−１〜２０４−（Ｎ＋Ｍ）にはそれぞれ、対応する復号回路以外の計Ｎ＋Ｍ−１個の復号回路から出力された電話帯域音声データが与えられる。例えば、混合回路２０４−１には、復号回路２０１−２〜２０１−Ｎ、２０２−１〜２０２−Ｍから出力された電話帯域音声データが与えられる。また例えば、混合回路２０４−（Ｎ＋１）には、復号回路２０１−１〜２０１−Ｎ、２０２−２〜２０２−Ｍから出力された電話帯域音声データが与えられる。各混合回路２０４−１〜２０４−（Ｎ＋Ｍ）はそれぞれ、入力されたＮ＋Ｍ−１個の電話帯域音声データを混合（ミキシング）するものである。なお、各混合回路２０４−１〜２０４−（Ｎ＋Ｍ）が、全て（Ｎ＋Ｍ個）の電話帯域音声データを混合するものであっても良い。

電話帯域符号化回路２０５−ｎは、対応する混合回路２０４−ｎから与えられた電話帯域の混合音声データを符号化し、ネットワーク１０３経由で、対応する電話帯域端末１０１−ｎに送出するものである。

広帯域符号化回路２０６−ｍは、対応する混合回路２０４−（Ｎ＋ｍ）から与えられた電話帯域の混合音声データを符号化し、その電話帯域の符号化音声データと、広帯域部分選択回路２０９から与えられた最大レベルの発話者の高域部分の符号化音声データとを併せて階層構造の符号化音声データを形成し、ネットワーク１０３経由で、対応する広帯域端末１０２−ｍに送出するものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態における音声ミキシング装置１０４の動作（音声ミキシング方法）を説明する。

電話帯域端末１０１−ｎから出力された電話帯域の符号化音声データは、対応する電話帯域復号回路２０１−ｎに与えられて復号される。

また、広帯域端末１０２−ｍから出力された階層化されている符号化音声データは、対応する広帯域復号回路２０２−ｍに与えられ、階層化符号化音声データのうち、電話帯域の符号化音声データだけが復号されて出力されると共に、高域部分の符号化音声データは復号されることなくそのまま出力される。

発話者検出回路２０７には、電話帯域復号回路２０１−１〜２０１−Ｎ及び広帯域復号回路２０２−１〜２０２−Ｍで復号された電話帯域の音声データが与えられ、最もレベルの大きい音声データを検出される。

ここで、最もレベルの大きい音声データを出力した復号回路が、広帯域復号回路２０２−ｍであったとする。このときには、広帯域復号回路２０２−ｍから出力された高域部分の符号化音声データが広帯域部分選択回路２０９によって選択されて、全ての広帯域符号化回路２０６−１〜２０６−Ｍに与えられる。

これに対して、最もレベルの大きい音声データを出力した復号回路が、電話帯域復号回路２０１−ｎであったとする。このときには、電話帯域復号回路２０１−ｎから出力された電話帯域音声データが、帯域拡張回路２０３−ｎによって広帯域音声データに拡張され、その後、広帯域部分符号化回路２０８によって、帯域拡張された音声データにおける、電話帯域を超えている高域部分が符号化され、このようにして得られた高域部分の符号化音声データが、広帯域部分選択回路２０９によって選択されて、全ての広帯域符号化回路２０６−１〜２０６−Ｍに与えられる。

各混合回路２０４−１〜２０４−（Ｎ＋Ｍ）において、入力されたＮ＋Ｍ−１個の電話帯域音声データが混合され、対応する電話帯域符号化回路２０５−１〜２０５−Ｎ、広帯域符号化回路２０６−１〜２０６−Ｍに与えられる。

電話帯域符号化回路２０５−ｎにおいて、対応する混合回路２０４−ｎから与えられた電話帯域の混合音声データが符号化され、電話帯域の符号化音声データが、ネットワーク１０３経由で、対応する電話帯域端末１０１−ｎに与えられる。

これに対して、広帯域符号化回路２０６−ｍにおいて、対応する混合回路２０４−（Ｎ＋ｍ）から与えられた電話帯域の混合音声データが符号化され、その電話帯域の符号化音声データと、広帯域部分選択回路２０９から与えられた最大レベルの発話者の高域部分の符号化音声データとが併せられて階層構造の符号化音声データが形成され、ネットワーク１０３経由で、対応する広帯域端末１０２−ｍに与えられる。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、電話帯域端末と広帯域端末とが混在する電話会議システムにおいて、発話者が電話帯域端末に対する者であっても、その発話者の音声信号を広帯域に拡張した上で高域部分の符号化データを得、広帯域端末宛の階層化されている広帯域符号化データに含めるようにしたので、少ない処理量で、広帯域端末利用者は発話者の端末の種類を問わずに広帯域音声を聴取することができるようになる。

（Ｂ）第２の実施形態
次に、本発明による音声ミキシング装置、方法及びプログラム、並びに、音声会議システムの第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態は、音声ミキシング装置の内部の機能的構成が第１の実施形態と異なっている。言い換えると、音声会議システムとしての全体構成は、第２の実施形態も、第１の実施形態に係る図２で表すことができる。

図３は、第２の実施形態の音声ミキシング装置（以下、符号として「１０４Ａ」を用いる）の機能的構成を示すブロック図である。

図３において、音声ミキシング装置１０４Ａは、Ｎ個の電話帯域復号回路３０１−１〜３０１−Ｎと、Ｍ個の広帯域復号回路３０２−１〜３０２−Ｍと、Ｎ個の帯域拡張回路３０３−１〜３０３−Ｎと、Ｎ＋Ｍ個の混合回路３０４−１〜３０４−（Ｎ＋Ｍ）と、Ｎ個の帯域制限回路３０５−１〜３０５−Ｎと、Ｎ個の電話帯域符号化回路３０６−１〜３０６−Ｎと、Ｍ個の広帯域符号化回路３０７−１〜３０７−Ｍとを有する。

電話帯域復号回路３０１−ｎは、対応する電話帯域端末１０１−ｎからの電話帯域の符号化音声データを復号するものである。

広帯域復号回路３０２−ｍは、対応する広帯域端末１０２−ｍからの階層化されている符号化音声データを復号するものである。すなわち、第２の実施形態の広帯域復号回路３０２−ｍは、電話帯域の符号化音声データを復号すると共に、高域部分の符号化音声データを復号し、広帯域の音声データを得るものである。

帯域拡張回路３０３−ｎは、対応する電話帯域復号回路３０１−ｎから出力された電話帯域音声データを広帯域音声データに拡張するものである。

各混合回路３０４−１〜３０４−（Ｎ＋Ｍ）にはそれぞれ、対応する帯域拡張回路若しくは広帯域復号回路以外の計Ｎ＋Ｍ−１個の回路から出力された広帯域音声データが与えられる。例えば、混合回路３０４−１には、帯域拡張回路３０１−２〜３０１−Ｎ、広帯域復号回路３０２−１〜３０２−Ｍから出力された広帯域音声データが与えられる。また例えば、混合回路３０４−（Ｎ＋１）には、復号回路３０１−１〜３０１−Ｎ、広帯域復号回路３０２−１〜３０２−Ｍから出力された広帯域音声データが与えられる。各混合回路３０４−１〜３０４−（Ｎ＋Ｍ）はそれぞれ、入力されたＮ＋Ｍ−１個の広帯域音声データを混合（ミキシング）するものである。なお、各混合回路３０４−１〜３０４−（Ｎ＋Ｍ）が、全て（Ｎ＋Ｍ個）の広帯域音声データを混合するものであっても良い。

帯域制限回路３０５−ｎは、対応する混合回路３０４−ｎから与えられた広帯域の混合音声データを電話帯域の音声データに制限するものである。

電話帯域符号化回路３０６−ｎは、対応する帯域制限回路３０５−ｎから与えられた電話帯域の音声データを符号化し、ネットワーク１０３経由で、対応する電話帯域端末１０１−ｎに送出するものである。

広帯域符号化回路３０７−ｍは、対応する混合回路３０４−（Ｎ＋ｍ）から与えられた広帯域の混合音声データを符号化し、階層構造の符号化音声データを形成し、ネットワーク１０３経由で、対応する広帯域端末１０２−ｍに送出するものである。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態における音声ミキシング装置１０４Ａの動作（音声ミキシング方法）を説明する。

電話帯域端末１０１−ｎから出力された電話帯域の符号化音声データは、対応する電話帯域復号回路３０１−ｎに与えられて復号され、その後、帯域拡張回路３０３−ｎにおいて、広帯域音声データに拡張される。

また、広帯域端末１０２−ｍから出力された階層化されている符号化音声データは、対応する広帯域復号回路３０２−ｍに与えられて復号される。第２の実施形態の広帯域復号回路３０２−ｍによっては、電話帯域の符号化音声データ及び高域部分の符号化音声データが共に復号される。

各混合回路３０４−１〜３０４−（Ｎ＋Ｍ）においては、所定の帯域拡張回路及び広帯域復号回路から入力されたＮ＋Ｍ−１個の広帯域音声データが混合され、対応する電話帯域制限回路３０５−１〜３０５−Ｎ、広帯域符号化回路３０７−１〜３０７−Ｍに与えられる。

電話帯域制限回路３０５−ｎにおいて、対応する混合回路３０４−ｎから与えられた広帯域の混合音声データが電話帯域の音声データに制限され、その後、電話帯域符号化回路３０６−ｎにおいて符号化され、ネットワーク１０３経由で、対応する電話帯域端末１０１−ｎに送出される。

広帯域符号化回路３０７−ｍにおいて、対応する混合回路３０４−（Ｎ＋ｍ）から与えられた広帯域の混合音声データが符号化されて階層構造の符号化音声データを形成され、ネットワーク１０３経由で、対応する広帯域端末１０２−ｍに送出される。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、電話帯域端末と広帯域端末とが混在する電話会議システムにおいて、復号された全ての電話帯域音声データを帯域拡張して広帯域音声データにした後に混合処理し、再度、符号化して配信するようにしたので、広帯域端末利用者であれば広帯域音声での聴取が可能となる。

（Ｃ）第３の実施形態
次に、本発明による音声ミキシング装置、方法及びプログラム、並びに、音声会議システムの第３の実施形態を、図面を参照しながら詳述する。

図４は、第３の実施形態の音声ミキシング装置（以下、符号として「１０４Ｂ」を用いる）の機能的構成を示すブロック図である。

図４において、第３の実施形態の音声ミキシング装置１０４Ｂは、第１の実施形態の音声ミキシング装置１０４と同様な構成を有する第１のミキシング部４０１と、第２の実施形態の音声ミキシング装置１０４Ａと同様な構成を有する第２のミキシング部４０２と、Ｎ個の電話帯域スイッチ４０３−１〜４０３−Ｎと、Ｍ個の広帯域スイッチ４０４−１〜４０４−Ｍと、スイッチ制御回路４０５とを有する。

なお、第１のミキシング部４０１における電話帯域復号回路２０１−１〜２０１−Ｎや帯域拡張回路２０３−１〜２０３−Ｎや電話帯域符号化回路２０５−１〜２０５−Ｎ（図１参照）と、第２のミキシング部４０２における電話帯域復号回路３０１−１〜３０１−Ｎや帯域拡張回路３０３−１〜３０３−Ｎや電話帯域符号化回路３０６−１〜３０６−Ｎ（図３参照）とを共用させるようにしても良い。

電話帯域スイッチ４０３−ｎは、スイッチ制御回路４０５の制御下で、第１のミキシング部４０１内の電話帯域符号化回路２０５−ｎ（図１参照）からの電話帯域の符号化音声データと、第２のミキシング部４０２内の電話帯域符号化回路３０６−ｎ（図３参照）からの電話帯域の符号化音声データの一方を選択するものである。

広帯域スイッチ４０４−ｍは、スイッチ制御回路４０５の制御下で、第１のミキシング部４０１内の広帯域符号化回路２０６−ｍ（図１参照）からの広帯域の符号化音声データと、第２のミキシング部４０２内の広帯域符号化回路３０７−ｎ（図３参照）からの広帯域の符号化音声データの一方を選択するものである。

スイッチ制御回路４０５は、当該電話会議システム１０４Ｂの立上げ時に、全ての端末１０１−１〜１０１−Ｎ、１０２−１〜１０２−Ｍから、第１のミキシング部４０１及び第２のミキシング部４０２のいずれのミキシング出力を選択するかの情報を得ておき、その情報に従って、電話帯域スイッチ４０３−１〜４０３−Ｎ、広帯域スイッチ４０４−１〜４０４−Ｍを制御する。

なお、利用者が、端末１０１−１〜１０１−Ｎ、１０２−１〜１０２−Ｍに対してミキシング出力をいずれにするかの選択操作を予め行っておく。

第３の実施形態によれば、広帯域端末利用者が聴取する高域部分の音声として唯一の発話者の音声を含めるか、全ての会議参加者の音声を含めるかを選択することができる。

（Ｄ）他の実施形態
上記各実施形態では、音声ミキシング装置を電話会議システムに適用したものを示したが、音声ミキシング装置の用途はこれに限定されない。例えば、ミキシングに供する符号化音声データの送信元端末と、ミキシングされた符号化音声データが配信される端末とが異なっていても良い。

また、上記各実施形態における広帯域音声は電話帯域（狭帯域）の音声に高域部分を付与したものであったが、電話帯域（狭帯域）の音声に高域部分及び低域部分を付与した広帯域音声が対象となっていても良く、この場合にも、広帯域音声信号に対する符号化データが、階層構造になっていれば本発明を適用することができる。

さらに、上記各実施形態の説明においては、音声信号をミキシングする場合を示したが、楽曲信号などの音響信号をミキシングする場合にも、本発明を適用することができる。特許請求の範囲における「音声信号」の用語は、「音響信号」をも含むものとする。

１００…音声会議システム、１０１−１〜１０１−Ｎ…電話帯域端末、１０２−１〜１０２−Ｍ…広帯域端末、１０３…ネットワーク、１０４、１０４Ａ、１０４Ｂ…音声ミキシング装置、２０１−１〜２０１−Ｎ…電話帯域復号回路、２０２−１〜２０２−Ｍ…広帯域復号回路、２０３−１〜２０３−Ｎ…帯域拡張回路、２０４−１〜２０４−（Ｎ＋Ｍ）…混合回路、２０５−１〜２０５−Ｎ…電話帯域符号化回路、２０６−１〜２０６−Ｍ…広帯域符号化回路、２０７…発話者検出回路、２０８…広帯域部分符号化回路、２０９…広帯域部分選択回路、３０１−１〜３０１−Ｎ…電話帯域復号回路、３０２−１〜３０２−Ｍ…広帯域復号回路、３０３−１〜３０３−Ｎ…帯域拡張回路、３０４−１〜３０４−（Ｎ＋Ｍ）…混合回路、３０５−１〜３０５−Ｎ…帯域制限回路、３０６−１〜３０６−Ｎ…電話帯域符号化回路、３０７−１〜３０７−Ｍ…広帯域符号化回路。

Claims (7)

1. Ｎ（Ｎは１以上の整数）個の狭帯域端末が送出した符号化狭帯域音声データと、Ｍ（Ｍは１以上の整数）個の広帯域端末が送出した、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとの階層構造の符号化広帯域音声データとが与えられ、ミキシングを行う音声ミキシング装置において、
   入力された各符号化狭帯域音声データをそれぞれ復号する第１の狭帯域復号手段と、
   入力された各符号化広帯域音声データをそれぞれ、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとに分離すると共に、狭帯域部分に対する符号化音声データを復号する第１の広帯域復号手段と、
   上記第１の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られたＭ個の狭帯域音声信号との計Ｎ＋Ｍ個の狭帯域音声信号の中で最大レベルのものを検出する最大狭帯域音声信号検出手段と、
   最大レベルの狭帯域音声信号が第１の狭帯域復号手段によって得られたものである場合に、その狭帯域音声信号を広帯域音声信号に拡張した後、拡張によって得られた、最大レベルの狭帯域音声信号に係る狭帯域外部分だけを符号化して出力し、一方、最大レベルの狭帯域音声信号が第１の広帯域復号手段によって得られたものである場合に、その狭帯域音声信号が復号される前の狭帯域部分に対する符号化音声データと階層構造をなしていた狭帯域外部分に対する符号化音声データを出力する狭帯域外部分符号化音声データ選択手段と、
   上記第１の狭帯域復号手段の復号で得られた狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られた狭帯域音声信号とを混合する第１の混合手段と、
   送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号を符号化する第１の狭帯域符号化手段と、
   送信先端末が符号化広帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号における狭帯域部分を符号化して狭帯域部分に対する符号化音声データを得、上記狭帯域外部分符号化音声データ選択手段で選択された狭帯域外部分に対する符号化音声データと共に、階層構造の符号化広帯域音声データとを構成させる第１の広帯域符号化手段と
   を有することを特徴とする音声ミキシング装置。
2. 入力された各符号化狭帯域音声データをそれぞれ復号する第２の狭帯域復号手段と、
   入力された各符号化広帯域音声データをそれぞれ復号する第２の広帯域復号手段と、
   上記第２の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号をそれぞれ、広帯域音声信号に拡張する帯域拡張手段と、
   上記第２の広帯域復号手段の復号で得られた広帯域音声信号と、上記帯域拡張手段で得られた広帯域音声信号とを混合する第２の混合手段と、
   送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第２の混合手段から出力された混合後の広帯域音声信号を狭帯域音声信号へ変換する帯域制限手段と、
   上記帯域制限手段から出力された狭帯域音声信号を符号化する第２の狭帯域符号化手段と、
   送信先端末が符号化広帯域音声データの対応端末である場合に、上記第２の混合手段から出力された混合後の広帯域音声信号を符号化して階層構造の符号化広帯域音声データを得る第２の広帯域符号化手段と、
   上記第１の狭帯域符号化手段からの符号化狭帯域音声データ又は上記第２の狭帯域符号化手段からの符号化狭帯域音声データを選択すると共に、上記第１の広帯域符号化手段からの符号化広帯域音声データ又は上記第２の広帯域符号化手段からの符号化広帯域音声データを選択する混合出力選択手段と
   をさらに備えることを特徴とする請求項１に記載の音声ミキシング装置。
3. Ｎ（Ｎは１以上の整数）個の狭帯域端末が送出した符号化狭帯域音声データと、Ｍ（Ｍは１以上の整数）個の広帯域端末が送出した、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとの階層構造の符号化広帯域音声データとが与えられ、ミキシングを行う音声ミキシング方法において、
   第１の狭帯域復号手段は、入力された各符号化狭帯域音声データをそれぞれ復号し、
   第１の広帯域復号手段は、入力された各符号化広帯域音声データをそれぞれ、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとに分離すると共に、狭帯域部分に対する符号化音声データを復号し、
   最大狭帯域音声信号検出手段は、上記第１の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られたＭ個の狭帯域音声信号との計Ｎ＋Ｍ個の狭帯域音声信号の中で最大レベルのものを検出し、
   狭帯域外部分符号化音声データ選択手段は、最大レベルの狭帯域音声信号が第１の狭帯域復号手段によって得られたものである場合に、その狭帯域音声信号を広帯域音声信号に拡張した後、拡張によって得られた、最大レベルの狭帯域音声信号に係る狭帯域外部分だけを符号化して出力し、一方、最大レベルの狭帯域音声信号が第１の広帯域復号手段によって得られたものである場合に、その狭帯域音声信号が復号される前の狭帯域部分に対する符号化音声データと階層構造をなしていた狭帯域外部分に対する符号化音声データを出力し、
   第１の混合手段は、上記第１の狭帯域復号手段の復号で得られた狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られた狭帯域音声信号とを混合し、
   第１の狭帯域符号化手段は、送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号を符号化し、
   第１の広帯域符号化手段は、送信先端末が符号化広帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号における狭帯域部分を符号化して狭帯域部分に対する符号化音声データを得、上記狭帯域外部分符号化音声データ選択手段で選択された狭帯域外部分に対する符号化音声データと共に、階層構造の符号化広帯域音声データとを構成させる
   ことを特徴とする音声ミキシング方法。
4. 第２の狭帯域復号手段は、入力された各符号化狭帯域音声データをそれぞれ復号し、
   第２の広帯域復号手段は、入力された各符号化広帯域音声データをそれぞれ復号し、
   帯域拡張手段は、上記第２の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号をそれぞれ、広帯域音声信号に拡張し、
   第２の混合手段は、上記第２の広帯域復号手段の復号で得られた広帯域音声信号と、上記帯域拡張手段で得られた広帯域音声信号とを混合し、
   帯域制限手段は、送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第２の混合手段から出力された混合後の広帯域音声信号を狭帯域音声信号へ変換し、
   第２の狭帯域符号化手段は、上記帯域制限手段から出力された狭帯域音声信号を符号化し、
   第２の広帯域符号化手段は、送信先端末が符号化広帯域音声データの対応端末である場合に、上記第２の混合手段から出力された混合後の広帯域音声信号を符号化して階層構造の符号化広帯域音声データを得、
   混合出力選択手段は、上記第１の狭帯域符号化手段からの符号化狭帯域音声データ又は上記第２の狭帯域符号化手段からの符号化狭帯域音声データを選択すると共に、上記第１の広帯域符号化手段からの符号化広帯域音声データ又は上記第２の広帯域符号化手段からの符号化広帯域音声データを選択する
   ことを特徴とする請求項３に記載の音声ミキシング方法。
5. Ｎ（Ｎは１以上の整数）個の狭帯域端末が送出した符号化狭帯域音声データと、Ｍ（Ｍは１以上の整数）個の広帯域端末が送出した、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとの階層構造の符号化広帯域音声データとが与えられ、ミキシングを行う音声ミキシングプログラムであって、
   コンピュータを、
   入力された各符号化狭帯域音声データをそれぞれ復号する第１の狭帯域復号手段と、
   入力された各符号化広帯域音声データをそれぞれ、狭帯域部分に対する符号化音声データと狭帯域外部分に対する符号化音声データとに分離すると共に、狭帯域部分に対する符号化音声データを復号する第１の広帯域復号手段と、
   上記第１の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られたＭ個の狭帯域音声信号との計Ｎ＋Ｍ個の狭帯域音声信号の中で最大レベルのものを検出する最大狭帯域音声信号検出手段と、
   最大レベルの狭帯域音声信号が第１の狭帯域復号手段によって得られたものである場合に、その狭帯域音声信号を広帯域音声信号に拡張した後、拡張によって得られた、最大レベルの狭帯域音声信号に係る狭帯域外部分だけを符号化して出力し、一方、最大レベルの狭帯域音声信号が第１の広帯域復号手段によって得られたものである場合に、その狭帯域音声信号が復号される前の狭帯域部分に対する符号化音声データと階層構造をなしていた狭帯域外部分に対する符号化音声データを出力する狭帯域外部分符号化音声データ選択手段と、
   上記第１の狭帯域復号手段の復号で得られた狭帯域音声信号と、上記第１の広帯域復号手段の復号で得られた狭帯域音声信号とを混合する第１の混合手段と、
   送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号を符号化する第１の狭帯域符号化手段と、
   送信先端末が符号化広帯域音声データの対応端末である場合に、上記第１の混合手段から出力された混合後の狭帯域音声信号における狭帯域部分を符号化して狭帯域部分に対する符号化音声データを得、上記狭帯域外部分符号化音声データ選択手段で選択された狭帯域外部分に対する符号化音声データと共に、階層構造の符号化広帯域音声データとを構成させる第１の広帯域符号化手段と
   して機能させることを特徴とする音声ミキシングプログラム。
6. コンピュータをさらに、
   入力された各符号化狭帯域音声データをそれぞれ復号する第２の狭帯域復号手段と、
   入力された各符号化広帯域音声データをそれぞれ復号する第２の広帯域復号手段と、
   上記第２の狭帯域復号手段の復号で得られたＮ個の狭帯域音声信号をそれぞれ、広帯域音声信号に拡張する帯域拡張手段と、
   上記第２の広帯域復号手段の復号で得られた広帯域音声信号と、上記帯域拡張手段で得られた広帯域音声信号とを混合する第２の混合手段と、
   送信先端末が符号化狭帯域音声データの対応端末である場合に、上記第２の混合手段から出力された混合後の広帯域音声信号を狭帯域音声信号へ変換する帯域制限手段と、
   上記帯域制限手段から出力された狭帯域音声信号を符号化する第２の狭帯域符号化手段と、
   送信先端末が符号化広帯域音声データの対応端末である場合に、上記第２の混合手段から出力された混合後の広帯域音声信号を符号化して階層構造の符号化広帯域音声データを得る第２の広帯域符号化手段と、
   上記第１の狭帯域符号化手段からの符号化狭帯域音声データ又は上記第２の狭帯域符号化手段からの符号化狭帯域音声データを選択すると共に、上記第１の広帯域符号化手段からの符号化広帯域音声データ又は上記第２の広帯域符号化手段からの符号化広帯域音声データを選択する混合出力選択手段と
   して機能させることを特徴とする請求項５に記載の音声ミキシングプログラム。
7. 請求項１又は２に記載の音声ミキシング装置を有することを特徴とする音声会議システム。

Images