JP2007243854A - テレビ電話会議端末 - Google Patents

Abstract

【課題】 テレビ電話会議において、通信相手が受信画像をディスプレイに表示する際に話者を分かりやすくする。
【解決手段】 信号合成部２５３−ｋ（ｋ＝１〜ｍ）は、収音点Ｓｋ（ｋ＝１〜ｍ）における音声波形を示す音声データＤｋ（ｋ＝１〜ｍ）を合成する。話者位置検出部１１０は、音声データＤｋ（ｋ＝１〜ｍ）から話者位置インデックスｋを検出し、これに対応した音声データＤｋの選択を選択部２５４に指示する。画質制御部１２０は、話者位置インデックスｋに基づいて話者エリアを設定し、通信相手に送る画像データにおける非話者エリアの画質を劣化させる処理を画質調整部２６２に行わせる。
【選択図】図２

Description

この発明は、テレビ電話会議端末に関する。

周知の通り、テレビ電話会議システムでは、ネットワークを介して接続された複数台のテレビ電話会議端末間で、音声情報および画像情報の交換が行われ、各テレビ電話会議端末では、通信相手のテレビ電話会議端末からの受信音声の放音および受信画像のディスプレイへの表示が行われる。従って、各テレビ電話会議端末を利用する会議参加者は、遠隔地において通信相手のテレビ電話会議端末を利用している他の会議参加者の様子をディスプレイにより確認しつつ会議を行うことができる。しかしながら、テレビ電話会議端末のディスプレイに複数人の会議参加者の画像が表示されている場合、それらの会議参加者の中のどの人物が話しているのかが分かりにくく、遠隔地間で意思疎通を図るのが困難になる場合がある。この問題を解決するための手段として、カメラのパンやズーム機能を用い、話者に焦点を合わせて撮像を行って通信相手装置に送信する技術がある。この種の話者追尾技術に関するものとして、例えば特許文献１は、複数のマイクロホンにより音声信号を取得し、音声がどのマイクロホンから入力されたかを検出し、その検出結果に基づいて、カメラのズームレンズの倍率と回転方向およびその調整速度を制御する技術を開示している。また、特許文献２は、２次元のマイクロホンアレイを用いて話者位置を検出し、話者位置にカメラを向ける技術を開示している。
特開平５−１９９５２１号公報 米国特許第６９２２２０６号

ところで、上述した従来の話者追尾の技術では、カメラの方向やズーム倍率を機械的に制御するため、カメラが適切に話者を捉えるのに時間が掛かるという問題がある。また、話者に焦点を合わせて撮像を行って画像データを通信相手装置に送った場合、通信相手装置を利用する会議の参加者は、ディスプレイに表示された画像から会議参加者の全体像を把握することが困難であり、会議としてのコミュニケーションを行うことが困難になるという問題がある。

この発明は、以上説明した事情に鑑みてなされたものであり、通信相手装置に対して会議参加者の全体像を伝えつつその全体の中における発言者の所在を明確に伝えることができるテレビ電話会議端末を提供することを目的とする。

この発明は、外界から取得した音声データおよび画像データを通信相手装置に送信し、通信相手装置から受信される音声データおよび画像データを音声および画像として出力するテレビ電話会議端末において、外界から画像データを取得する撮像手段と、外界から音声データを取得する収音手段と、話者位置を検出する話者位置検出手段と、前記話者位置検出手段による話者位置の検出結果に基づき、前記撮像手段により取得される画像データが示す画面内において話者の画像が属するエリアを推定し、該エリアを話者エリアとして設定する話者エリア設定手段と、前記撮像手段により取得される画像データに対し、話者エリアの画質よりも話者エリアでない非話者エリアの画質が劣化するように画質調整を施す画質調整手段と、前記画質調整手段による画質調整を経た画像データを通信相手装置に送信する送信手段とを具備することを特徴とするテレビ電話会議端末を提供する。
かかる発明によれば、通信相手装置に送られた画像データがディスプレイに表示されると、その表示画面上、非話者エリアは話者エリアよりも劣った画質となる。このため、通信相手装置を利用する会議参加者は、表示されている全参加者のうちどの人物が話者であるかを容易に判別することができる。また、非話者エリアの画質を落すことにより、通信相手装置に送信する画像データ量を減らすことができる。逆に、通信相手装置に送信する画像データ量を一定にするのであれば、話者エリアの画質を上げることができる。

以下、図面を参照し、この発明の実施の形態を説明する。
図１はこの発明の一実施形態であるテレビ電話会議端末１の構成を示すブロック図である。このテレビ電話会議端末１は、インターネットなどのネットワークを介して他の同様な構成のテレビ電話会議端末と接続され、各テレビ電話会議端末間で音声および画像の授受を行うテレビ電話会議システムを構成するものである。図１において、制御部１００は、テレビ電話会議端末１の各部を制御する装置であり、ＣＰＵと、ＣＰＵにより実行されるプログラム等を記憶したＲＯＭと、ＣＰＵによりワークエリアとして用いられるＲＡＭと、各種の処理を実行する回路とにより構成されている。操作部１０１は、テレビ電話会議端末１の筐体に配備された押しボタンなどの操作子の集合体である。制御部１００は、この操作部１０１の操作を検知することにより、呼び出し先のアドレスや各種のコマンドなど、ユーザによって入力された情報を検知する。通信部１０２は、制御部１００による制御の下、テレビ電話会議の際の通信相手である１または複数の他のテレビ電話会議端末との間に例えばインターネットなどのネットワークを介してコネクションを確立し、そのコネクションを介した通信の制御を行う装置である。

カメラ２０１は、テレビ電話会議端末１が設置された会議室内の参加者等の撮影を行い、画像データを出力する。送信画像処理部２０２は、カメラ２０１から出力される画像データに画質調整のための処理を施して出力する装置である。なお、この送信画像処理部２０２の詳細については後述する。画像エンコーダ２０３は、送信画像処理部２０２から出力される画像データを圧縮符号化し、符号化画像データを通信部１０２に出力する装置である。

音声入力部２１１は、テレビ電話会議端末１が設置された会議室内の参加者の音声を収音する装置である。本実施形態では、複数のマイクロホンからなるマイクロホンアレイが音声入力部２１１として用いられる。送信音声処理部２１２は、このマイクロホンアレイを構成する個々のマイクロホンの各出力信号から接続相手であるテレビ電話会議端末に送る最終的な音声データを合成して出力する装置である。なお、音声入力部２１１および送信音声処理部２１２の詳細については後述する。音声エンコーダ２１３は、送信音声処理部２１２から出力される音声データを圧縮符号化し、符号化音声データを通信部１０２に出力する装置である。

通信部１０２は、テレビ電話会議が行われる間、画像エンコーダ２０３から出力される符号化画像データと音声エンコーダ２１３から出力される符号化音声データとを多重化し、通信相手であるテレビ電話会議端末に送信する。また、通信部１０２は、通信相手であるテレビ電話会議端末から受信される信号の多重化を解除し、符号化音声データと符号化画像データを出力する。

画像デコーダ２２１は、通信部１０２から出力される符号化画像データを復号化し、圧縮符号化前の画像データを出力する装置である。受信画像処理部２２２は、画像デコーダ２２１から得られる画像データに基づいてディスプレイ２２３を駆動し、ディスプレイ２２３に画像を表示させる装置である。音声デコーダ２３１は、通信部１０２から出力される符号化音声データを復号化し、圧縮符号化前の音声データを出力する装置である。受信音声処理部２３２は、音声デコーダ２３１から得られる音声データに基づいてスピーカ等からなる音声出力部２３３を駆動し、音声出力部２３３から音声を出力させる装置である。

図２は、送信画像処理部２０２、音声入力部２１１、送信音声処理部２１２およびこれらを制御する制御部１００の構成を示すブロック図である。音声入力部２１１は、上述したようにマイクロホンアレイであり、水平方向にライン状に並んだｎ個のマイクロホン２５１−ｉ（ｉ＝１〜ｎ）により構成されている。送信音声処理部２１２は、マイクロホン２５１−ｉ（ｉ＝１〜ｎ）から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器２５２−ｉ（ｉ＝１〜ｎ）と、ｍ個の信号合成部２５３−ｋ（ｋ＝１〜ｍ）と、選択部２５４とを有している。

本実施形態では、カメラ２０１の視野の範囲内に水平方向にｍ個の仮想的な収音点Ｓｋ（ｋ＝１〜ｍ）を設け、Ａ／Ｄ変換器２５２−ｉ（ｉ＝１〜ｎ）の各出力信号から収音点Ｓｋ（ｋ＝１〜ｍ）における音声波形を表わす音声データＤｋ（ｋ＝１〜ｍ）を合成する。そのための信号処理を行うのが信号合成部２５３−ｋ（ｋ＝１〜ｍ）である。これらの信号合成部２５３−ｋ（ｋ＝１〜ｍ）の各々は、図３に示す構成を有している。図３において、遅延器２６１−ｉ（ｉ＝１〜ｎ）は、Ａ／Ｄ変換器２５２−ｉ（ｉ＝１〜ｎ）の各出力信号に遅延処理を施して出力する。乗算器２６２−ｉ（ｉ＝１〜ｎ）は、遅延器２６１−ｉ（ｉ＝１〜ｎ）の各出力信号に所定の窓関数値Ｗｉ（ｉ＝１〜ｎ）を各々乗算して出力する。加算器２６３は、乗算器２６２−ｉ（ｉ＝１〜ｎ）の出力信号を加算して出力する。タイムアライメント処理部２６４は、加算器２６３の出力信号を所定時間だけ遅延させ、音声データＤｋとして出力する。

図４は、信号合成部２５３−ｋにおける各遅延器２６１−ｉ（ｉ＝１〜ｎ）の遅延時間の決定方法を説明するものである。収音点Ｓｋからマイクロホン２５１−ｉ（ｉ＝１〜ｎ）までの各距離をＬｉ（ｉ＝１〜ｎ）、それらの中の最長距離をＬｍａｘ、音速をｃとした場合、各遅延器２６１−ｉ（ｉ＝１〜ｎ）は、次式に示す遅延時間ＴＤｉ（ｉ＝１〜ｎ）だけＡ／Ｄ変換器２５２−ｉ（ｉ＝１〜ｎ）の各出力信号を遅延させて出力する。
ＴＤｉ＝（Ｌｍａｘ−Ｌｉ）／ｃ ……（１）

このような遅延処理を各遅延器２６１−ｉ（ｉ＝１〜ｎ）が行うと、収音点Ｓｋから各遅延器２６１−ｉ（ｉ＝１〜ｎ）の各出力端までの各経路の遅延時間（音波の伝播遅延時間と電気信号の伝播遅延時間の和）が同じ長さになる。従って、信号合成部２５３−ｋでは、音源が収音点Ｓｋにある場合に、各遅延器２６１−ｉ（ｉ＝１〜ｎ）の各出力信号の位相が揃い、加算器２６３から大きな強度の出力信号が得られる。このように信号合成部２５３−ｋは、収音点Ｓｋ付近のエリアにおいて発生する音を高感度で音声データＤｋに変換する回路として機能する。なお、乗算器２６２−ｉ（ｉ＝１〜ｎ）による窓関数値Ｗｉ（ｉ＝１〜ｎ）の乗算処理は、収音点Ｓｋとは異なる位置の音を誤って音声データＤｋに変換するのを防止するための処理である。

タイムアライメント処理部２６４が行う遅延処理は、各信号合成部２５３−ｋ（ｋ＝１〜ｍ）間の音声データＤｋ（ｋ＝１〜ｍ）の出力タイミングの時間調整のために行われるものである。さらに詳述すると、収音点Ｓｋにおいて音が発生してからその音に対応した信号が信号合成部２５３−ｋの加算器２６３から出力されるまでの遅延時間は、収音点Ｓｋ（ｋ＝１〜ｍ）間で異なる。各信号合成部２５３−ｋ（ｋ＝１〜ｍ）のタイムアライメント処理部２６４は、この収音点Ｓｋ間における遅延時間差を補正する遅延処理を加算器２６３の出力信号に施し、仮に各収音点Ｓｋ（ｋ＝１〜ｍ）において同時刻に音が発生した場合に、それらの音に対応した各音声データＤｋ（ｋ＝１〜ｍ）が各信号合成部２５３−ｋ（ｋ＝１〜ｍ）から同時刻に出力されるように時間調整を行うものである。

以上説明した信号合成部２５３−ｋ（ｋ＝１〜ｍ）から出力される音声データＤｋ（ｋ＝１〜ｍ）は、図２における選択部２５４に与えられる。選択部２５４は、制御部１００からの指示に従い、音声データＤｋ（ｋ＝１〜ｍ）の中から１または複数の音声データを選択し、最終的な音声データＤとして出力する。

送信画像処理部２０２は、第１フレームメモリ２６１と、画質調整部２６２と、第２フレームメモリ２６３とを有している。本実施形態では、一定時間長のフレーム周期毎に、一画面分の画像データがカメラ２０１から取得され、第１フレームメモリ２６１に書き込まれる。画質調整部２６２は、制御部１００からの指示に従い、第１フレームメモリ２６１内の一画面分の画像データを話者の画像が所在する話者エリアとそうでない非話者エリアとに分け、話者エリアと非話者エリアとで異なる画質調整処理を施し、この処理を経た画像データを第２フレームメモリ２６３に書き込む。画質の調整は、画素の濃度を表現する際の諧調数を変えることにより行ってもよいし、単位面積当たりの画素数を変えることにより行ってもよい。第２フレームメモリ２６３内の画像データは、上述した画像エンコーダ２０３に送られて圧縮符号化され、通信相手のテレビ電話会議端末に送られる。話者エリアを指定する情報、話者エリアおよび非話者エリアの画質を指定する情報は、制御部１００から画質調整部２６２に与えられる。なお、これらの情報がどのようにして生成されるかについては後述する。

制御部１００は、話者位置検出部１１０と画質制御部１２０とを有している。話者位置検出部１１０は、信号合成部２５３−ｋ（ｋ＝１〜ｍ）から出力される音声データＤｋ（ｋ＝１〜ｍ）を監視し、監視結果に基づき、マイクロホンアレイの前方における話者の位置を検出する。好ましい態様において、話者位置検出部１１０は、音声データＤｋ（ｋ＝１〜ｍ）から各音声データが示す音声強度Ｅｋ（ｋ＝１〜ｍ）を算出する。この場合の音声強度Ｅｋ（ｋ＝１〜ｍ）の算出方法には各種考えられるが、例えば、信号合成部２５３−ｋから１個の音声データＤｋが出力される都度、それまでに出力された一定個数の音声データＤｋを用いて、音声データＤｋの実効値を求め、この実効値を音声強度Ｅｋとしてもよい。話者位置検出部１１０は、このようにして得られる音声強度Ｅｋ（ｋ＝１〜ｍ）から音声強度ピーク値Ｅｍａｘおよび話者位置インデックスｋを求めて出力する。ここで、音声強度ピーク値Ｅｍａｘと話者位置インデックスｋは、インデックスｋを横軸として音声強度Ｅｋ（ｋ＝１〜ｍ）をグラフ化した場合においてピーク値となる音声強度Ｅｋとそのインデックスｋである。

上述した選択部２５４には、話者位置検出部１１０によって出力される話者位置インデックスｋが与えられる。選択部２５４は、音声データＤｋ（ｋ＝１〜ｍ）のうちこの話者位置インデックスｋに対応したものを選択し、音声データＤとして出力する。

制御部１００内の画質制御部１２０には、話者位置検出部１１０から出力される話者位置インデックスｋと、音声強度ピーク値Ｅｍａｘとが与えられる。画質制御部１２０は、話者位置インデックスｋに基づいて画面内に話者エリアを設定する。また、画質制御部１２０は、音声強度ピーク値Ｅｍａｘまたはそれ以外の情報に基づいて、話者エリアおよび非話者エリアの画質を定め、話者エリアおよび非話者エリアの所在を示す情報と各エリアの画質を指定する情報を画質調整部２６２に送る。話者エリアおよび非話者エリアの画質の制御に関しては、各種のモードが用意されている。制御部１００は、テレビ電話会議を開始する際、通信相手のテレビ電話会議端末とネゴシエーションを行うことにより、通信相手が希望しているモードに関する情報を取得し、通信相手が希望しているモードでの画質の制御を実行する。なお、この画質の制御の具体的内容については、説明の重複を避けるため、本実施形態の動作説明において詳細を明らかにする。

次に本実施形態の動作について説明する。テレビ電話会議端末１と他のテレビ電話会議端末との間にコネクションが確立されると、制御部１００は、他のテレビ電話会議端末の制御部との間で上述したネゴシエーションを行う。このネゴシエーションが終了すると、テレビ電話会議端末１は、通信相手であるテレビ電話会議端末との間で音声データおよび画像データの授受を開始する。

ここで、会議の参加者の１人が例えば収音点Ｓｊにおいて発声し、その音声が音声入力部２１１のｎ個のマイクロホン２５１−ｉ（ｉ＝１〜ｎ）により収音されたとする。このときマイクロホン２５１−ｉ（ｉ＝１〜ｎ）の出力信号は、Ａ／Ｄ変換器２５２−ｉ（ｉ＝１〜ｎ）によりデジタル信号に変換される。信号合成部２５３−ｋ（ｋ＝１〜ｍ）は、Ａ／Ｄ変換器２５２−ｉ（ｉ＝１〜ｎ）の各出力信号から、収音点Ｓｋ（ｋ＝１〜ｍ）における音声波形を示す音声データＤｋ（ｋ＝１〜ｍ）を合成する。話者位置検出部１１０は、この音声データＤｋ（ｋ＝１〜ｍ）の各々から収音点Ｓｋ（ｋ＝１〜ｍ）における音声強度Ｅｋ（ｋ＝１〜ｍ）を求め、この音声強度Ｅｋ（ｋ＝１〜ｍ）から上述した話者位置インデックスｋおよび音声強度ピーク値Ｅｍａｘを求める。

さらに詳述すると、この場合の音声強度Ｅｋ（ｋ＝１〜ｍ）をインデックスｋを横軸としてグラフ化すると、例えば図５に示すように、インデックスｊの付近に音声強度のピークが発生する。そこで、話者位置検出部１１０は、このピークが生じているインデックスｊを話者の位置を示す話者位置インデックスｋとして出力する。また、話者位置検出部１１０は、音声の強度Ｅｋ（ｋ＝１〜ｍ）のグラフにおいてピークとなっている強度を示す音声強度ピーク値Ｅｍａｘ（この例の場合、Ｅｍａｘ＝Ｅｊ）を出力する。選択部２５４には、音声データＤｋ（ｋ＝１〜ｍ）のうち話者位置インデックスｋに対応したものを選択し、音声データＤとして出力する。

制御部１００内の画質制御部１２０は、話者エリア設定処理およびエリア別画質設定処理を充分に短い時間間隔で定期的に実行する。これらの各処理の内容は次の通りである。

ａ．話者エリア設定処理
この話者エリア設定処理は、会議の参加者が発言をしているときにその参加者の画像が属するエリアを話者エリアとして設定する処理である。この話者エリア設定処理では、音声強度ピーク値Ｅｍａｘを所定の閾値と比較する。そして、音声強度ピーク値Ｅｍａｘが閾値を越えている場合、話者エリア設定処理では、通信相手に送る画像データが示す画面内において、話者位置インデックスｋに対応した収音点Ｓｋの位置を求め、この位置を中心とする所定の横幅を持った帯状のエリアを話者エリアとし、その位置を示す情報をエリア別画質設定処理に引き渡す。

話者が同じ位置で発言を繰り返す場合には、その都度、音声強度ピーク値Ｅｍａｘが閾値を越え、同じ話者エリアが繰り返し設定されることとなる。話者エリアの設定の効力は一定時間持続する。従って、話者がこの設定の効力の持続時間よりも短い時間間隔で発言を繰り返す場合には、この発言が繰り返される間を通じて、話者の属するエリアは話者エリアであり続ける。そして、発言が終了して一定時間が経過し、話者エリアの設定の効力が消滅すると、発言を終えた話者の属するエリアは非話者エリアとなる。

ｂ．エリア別画質設定処理
エリア別画質設定処理では、話者エリア設定処理から引き渡される情報に基づいて画面内における話者エリアの所在を把握し、画面内の各エリアの画質の設定を行い、各エリアの画質を指定する情報を画質調整部２６２に送る。画質調整部２６２は、この情報に従って、第１フレームメモリ２６１に記憶された画像データに対し、画質調整処理を施すのである。図６は、この画質調整を経た画像の例を示している。この例では、一画面の中に参加者Ａ、Ｂ、Ｃ、Ｄ、Ｅの画像があるが、参加者Ｃが発言を行い、この参加者Ｃに最も近い収音点Ｓｋを中心とする帯状のエリアが話者エリア、それ以外が非話者エリアとなっている。

本実施形態では、基本的には、話者エリアが高レベルの画質、非話者エリアが低レベルの画質となるように画面内の画質の制御を行うが、この画質の制御の態様に関しては、以下の複数のモードがある。制御部１００は、上述した通信相手のテレビ電話会議端末とのネゴシエーションの際に、通信相手が希望しているモードに関する情報を取得し、その情報に従って以下の各モードの中の１つを選択して実行する。

＜第１モード＞
この第１モードでは、話者エリアの画質および非話者エリアの画質は各々固定の値が用いられる。図７は、この第１モードによる画質制御の例を示すものである。図７に示す例では、通信相手に送る画像データにおいて画面幅方向に参加者ＡおよびＢの画像が並んでいる。

参加者が全く発言をしておらず、画面全体が非話者エリアとなっているとき、エリア別画質設定処理では、画面の全エリアの画質Ｑを低レベルの画質Ｑ０とする。参加者Ａが発言を開始すると、話者エリア設定処理により参加者Ａの属するエリアが話者エリアとされる。エリア別画質設定処理では、参加者Ａの属するエリアが話者エリアである間、この参加者の属するエリアの画質Ｑを高レベルの画質Ｑ１とし、それ以外の非話者エリアの画質Ｑを低レベルの画質Ｑ０とすべき旨の情報を画質調整部２６２に送る。参加者Ａが発言を終了して所定時間が経過すると、参加者Ａの属するエリアは非話者エリアとなる。これによりエリア別画質設定処理では、画面全体を低レベルの画質Ｑ０とすべき旨の情報を画質調整部２６２に送る。参加者Ｂが発言を行う期間は、発言者である参加者Ｂの属するエリアが話者エリアとされる。この場合も参加者Ａによる発言の場合と同様な画質の制御が行われる。

このような画質制御が行われた画像データが通信相手装置であるテレビ電話会議端末に送られ、同端末のディスプレイに表示される。その際、話者エリアは良い画質で表示され、非話者エリアは劣った画質で表示される。このため、通信相手装置を使用している会議の参加者は、ディスプレイに写った参加者の中の誰が話者であるかを容易に判別することができる。

＜第２モード＞
この第２モードでは、上記第１モードと同様、話者エリアを高レベルの画質、非話者エリアを低レベルの画質とするが、話者エリアの画質を固定せず、音声強度ピーク値Ｅｍａｘに基づいて制御する。すなわち、音声強度ピーク値Ｅｍａｘが高いときには話者エリアの画質を高くし、音声強度ピーク値Ｅｍａｘが低いときには話者エリアの画質を低くする。なお、話者エリアの画質の時間変動を緩和するため、音声強度ピーク値Ｅｍａｘそのものではなく、この音声強度ピーク値Ｅｍａｘの移動平均や、後述する音声強度エンベロープを求め、これに基づいて話者エリアの画質を制御してもよい。この態様によれば、参加者が熱中し、大きな声で発言しているときには、通信相手装置のディスプレイに表示される発言者の属するエリアの画質が高まる。従って、通信相手装置を利用する会議参加者に対して、発言者の熱意が伝わり易くなる。

＜第３モード＞
第３モードでは、上記第１モードと同様、話者エリアは高レベルの画質とするが、非話者エリアについては第１モードとは異なった態様で画質の制御を行う。通常、会議の参加者の中には、熱心な参加者と、そうでない者がいる。ある参加者の発言の頻度が高い場合あるいは声が大きい場合、その参加者は、会議に熱心であり、発言を終えたとしても、暫くすると再び発言をする可能性が高いと考えられる。そこで、第３モードでは、話者エリアから非話者エリアに変わった場合における非話者エリアの画質は、そこに属している参加者の過去の発言履歴に基づいて制御する。すなわち、第３モードでは、熱心な参加者のいるエリアは、話者エリアから非話者エリアに切り換わったとしても、画質の劣化の程度を少なくする一方、たまにしか発言をしない参加者のいるエリアについては、そのエリアが非話者エリアになったときには画質を大きく劣化させるのである。

この第３モードでの画質の制御を可能にするため、画質制御部１２０は、発言履歴管理処理を実行する。図８はこの発言履歴管理処理の内容を示す図である。この発言履歴管理処理では、順次発生する音声強度ピーク値Ｅｍａｘにローパスフィルタ処理を施すことにより、音声強度ピーク値Ｅｍａｘを時間軸上において平均した音声強度エンベロープを生成し、この音声強度エンベロープが閾値を越えている期間を発言期間とする。そして、発言期間内における話者位置インデックスｋと、音声強度ピーク値Ｅｍａｘの平均値である平均音声強度と、発言期間の開始時刻および終了時刻を示す情報とからなる組を発言履歴情報として記憶する。

そして、第３モードでは、ある話者位置インデックスｋにより示される位置を中心とする話者エリアが非話者エリアに切り換わるとき、それまでに発言履歴管理処理により記憶された発言履歴情報の中からその話者位置インデックスｋを含む発言履歴情報を抽出する。そして、抽出した発言履歴情報を用いて、そのエリア（話者エリアから非話者エリアに変わるエリア）の参加者がどの程度熱心に発言を行ったかの評価を行い、この評価結果に従って非話者エリアの画質を決定する。

図９はこの場合の画質制御の例を示すものである。図９において、符号３０１Ａ、３０２Ａ、３０３Ａは、参加者Ａの属するエリアが話者エリアとなっている期間、符号３１１Ａ、３１２Ａ、３１３Ａ、３１４Ａは、参加者Ａの属するエリアが非話者エリアとなっている期間、符号３０１Ｂは、参加者Ｂの属するエリアが話者エリアとなっている期間、符号３１１Ｂ、３１２Ｂは、参加者Ｂの属するエリアが非話者エリアとなっている期間を示す。この例では、参加者Ａは発言の頻度が高く、これに比べて参加者Ｂは発言の頻度が低い。このため、エリア別画質制御処理では、参加者Ｂの属するエリアが非話者エリアとなる期間３１２Ｂにおいては同エリアの画質を大きく劣化させる。しかし、参加者Ａの属するエリアに関しては、同エリアが非話者エリアとなる期間３１４Ａにおける画質の劣化の程度は参加者Ｂの属するエリアに比べて少なくする。なお、図９では図示は省略したが、発言の頻度だけではなく、発言期間中の平均音声強度をも考慮して、発言をどの程度熱心に行っているかの評価を行い、この評価結果に基づいて画質の制御を行ってもよい。

この第３モードによれば、熱心に発言を行う者が属するエリアは、非話者エリアとなっている期間においても画質の劣化の程度が少なくなる。従って、通信相手装置を利用する会議参加者は、ディスプレイの表示に基づいて、熱心に発言を行う参加者を知ることができる。また、熱心に発言を行う参加者（図９に示す例では参加者Ａ）は、非話者になったとしても、すぐにまた話者になる確率が高く、注視されがちである。第３モードでは、そのような熱心に発言を行う参加者の画像に関して、非話者になったときの画質の劣化を抑えるので、画像のちらつきや不連続な時間的変化を抑え、画像の自然な表示を行うことができる。

＜第４モード＞
図１０は第４モードでの画質制御の例を示すものである。この第４モードにおいて、エリア別画質設定処理は、所定の時定数を持った積分処理により音声強度ピーク値Ｅｍａｘの積分を行い、話者エリアの画質Ｑをその積分値に応じて設定する。参加者が発言を終了すると、音声強度ピーク値Ｅｍａｘが閾値を下回り、発言をした参加者の属するエリアは非話者エリアとなる。そして、音声強度ピーク値の積分値は、所定の時定数に対応した減衰カーブを描いて徐々に減衰する。第４モードでは、この減衰する積分値に応じて、話者エリアから非話者エリアとなったエリアの画質Ｑを変化させる。

このような画質制御が行われた画像データが通信相手装置に送られると、同装置のディスプレイの表示画面では、参加者が発言を行うと、発言者の属するエリアの画質が声の大きさ等に応じて高まり、参加者が発言を終えると、その参加者の属するエリアの画質は徐々に低下してゆく。このように第４モードでは、通信相手装置を使用している会議の参加者に対し、参加者が発言を行っている様子をダイナミックに伝えることができる。

以上説明したように、本実施形態によれば、会議の参加者の画像データを通信相手装置に送る際、同画像データが示す画面内において発言を行っている話者の属するエリアを話者エリアとし、それ以外を非話者エリアとし、画像データにおける話者エリアを高レベルの画質、非話者エリアを低レベルの画質に調整している。従って、通信相手装置がディスプレイに画像データを表示させた場合に、話者エリアは高精細の画質で表示され、非話者エリアは劣った画質で表示されるため、通信相手装置を使用している会議参加者は、ディスプレイに写った参加者の中の誰が話者であるかを容易に判別することができる。従って、話者と別の場所でディスプレイに写った話者の画像を見ている他の会議参加者との間で意思疎通を図るのが容易になるという効果が得られる。また、本実施形態によれば、機械的なパンやズームの調整を行わず、信号処理のみにより話者エリアを高レベルの画質とし、非話者エリアを低レベルの画質とするので、通信相手に送る画像の状態を瞬時のうちに話者を強調した状態に遷移させることができるという効果がある。また、上記実施形態によれば、画像データのうち非話者エリアの画質を劣化させて通信相手装置に送るので、通信相手装置に送る画像データのデータ量を低減することができる。

以上、この発明の一実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
（１）発言中の参加者が体を動かす場合、それに応じて話者位置インデックスｋが変動することもあり得る。そこで、話者位置インデックスｋの微動が観測される場合には発言者が体を動かしているとみなし、話者エリアの横幅を通常よりも広くしてもよい。

（２）通信相手装置に送る画面を縦に割って複数のエリアに区分し、それらの中から話者エリアとするエリアを選択するようにしてもよい。図１１（ａ）および（ｂ）はこの場合の画面の区分方法を例示するものである。

この区分方法では、カメラ２０１の視野内において音源を水平方向に移動させたときの収音点Ｓｋ（ｋ＝１〜ｍ）における音声の強度Ｅｋ（ｋ＝１〜ｍ）を実測またはシミュレーションにより予め求める。そして、図１１（ａ）に示すように、収音点Ｓｋ（ｋ＝１〜ｍ）において音源から受ける音声強度Ｅｋ（ｋ＝１〜ｍ）の画面内話者位置に対する依存性を求める。なお、図１１（ａ）および（ｂ）はｍ＝５の場合が例示されている。

図１１（ａ）に示すように、話者位置が画面の左端付近にあるときには、収音点Ｓ１における音声強度Ｅ１が最も高い。話者位置が画面の左端から右に向かって移動してゆくと、次第に収音点Ｓ１における音声強度Ｅ１は低下し、代わりに収音点Ｓ２における音声強度Ｅ２が増加する。そこで、音声強度Ｅ１と音声強度Ｅ２との大小関係が逆転する話者位置を求め、図１１（ｂ）に示すように、この話者位置の左側をエリアＡ１、右側をエリアＡ２とする。

さらに話者位置が右に向かって移動してゆくと、図１１（ａ）に示すように、次第に収音点Ｓ２における音声強度Ｅ２は低下し、代わりに収音点Ｓ３における音声強度Ｅ３が増加する。そこで、音声強度Ｅ２と音声強度Ｅ３との大小関係が逆転する話者位置を求め、図１１（ｂ）に示すように、この話者位置の左側をエリアＡ２、右側をエリアＡ３とする。

以下同様に隣り合った収音点における音声強度の大小関係の逆転が生じる話者位置を順次求め、これらの話者位置を境界とすることにより、画面を収音点の個数に応じたｍ個のエリアに分割する。そして、画質制御の動作の際に、画質制御部１２０は、予め分割されたエリアＡｋ（ｋ＝１〜ｍ）のうち話者位置インデックスｋに対応したエリアＡｋを話者エリアとするのである。

（３）上記実施形態では、第３モードでの画質制御を行うために、話者位置検出部１１０により順次発生される話者位置インデックスｋと音声強度ピーク値Ｅｍａｘを監視し、話者位置インデックスｋ、平均音声強度および発言期間を示す情報を組にしたものを発言履歴情報として順次記憶した。しかし、これだけではなく、さらに発言期間内において話者位置インデックスｋに対応した音声データＤｋにフォルマント解析などの周知の解析処理を施し、音声データＤｋが示す音声の声質パラメータを求め、この声質パラメータを発言履歴情報に加えてもよい。この場合、第３モードでの画質制御においては、ある話者エリアが非話者エリアに変わるときに、過去の発言履歴情報の中から、その話者エリアにおける発言者から得られた声質パラメータと近似した声質パラメータを含んでおり、同一の発言者のものであると考えられる発言履歴情報を抽出し、この抽出した発言履歴情報を用いて、その話者エリアの発言者の発言の頻度の評価を行う。このようにすることで、参加者が移動しながら発言をするような場合でも、その発言者の発言履歴を正確に求め、第３モードでの画質制御を行うことが可能になる。

（４）上記実施形態では、発言者の位置をマイクロホンアレイにより求めたが、発言者の位置を検出するための手段として他のものを用いてもよい。例えば第１フレームメモリ２６１に格納された画像データを解析して、口を動かしている人物の所在するエリアを求め、そのエリアを話者エリアとしてもよい。

（５）上記実施形態では、テレビ電話会議端末が画像データに画質調整処理を施して通信相手装置に送ったが、画質調整処理を受信側において行う態様も考えられる。この態様において、テレビ電話会議端末には、上記実施形態と同様、話者エリアを設定する話者エリア設定手段（話者位置検出部１１０および画質制御部１２０の話者エリア設定処理）と、話者エリアの画質を設定するとともに、話者エリアでない非話者エリアの画質として話者エリアよりも劣った画質を設定する画質設定手段（画質制御部１２０の画質設定処理）とが設けられる。そして、通信部１０２は、カメラ２０１により取得された画像データと、話者エリア設定手段により設定された話者エリアを指定する情報と、画質設定手段により設定された話者エリアおよび非話者エリアの各画質を指定する情報を通信相手装置に送信するのである。また、通信部１０２は、通信相手装置から画像データと、話者エリアを指定する情報と、話者エリアおよび非話者エリアの各画質を指定する情報を受信する。そして、受信画像処理部２２２（図１参照）では、通信相手装置から受信された画像データを、通信相手装置から受信された情報に基づいて話者エリアと非話者エリアとに分け、各エリアの画質調整を行い、この画質調整を経た画像データをディスプレイ２２３に表示させるのである。画質調整の態様は上記実施形態と同様である。この態様においても、上記実施形態と同様、会議参加者の中のどこに話者がいるのかが分かり易くなるという効果が得られる。

（６）上記実施形態において、信号合成部２５３−ｋ（ｋ＝１〜ｍ）は、収音点Ｓｋ（ｋ＝１〜ｍ）における音声波形を示す音声データＤｋ（ｋ＝１〜ｍ）を合成したが、マイクロホンアレイの前方のエリアをｍ個のエリアに分け、各エリア内で発生する音声波形を示す音声データＤｋ（ｋ＝１〜ｍ）を合成するようにしてもよい。

この発明の一実施形態であるテレビ電話会議端末の構成を示すブロック図である。 同テレビ電話会議端末の送信音声処理部、送信画像処理部および制御部の構成例を示すブロック図である。 同実施形態における信号合成部の構成を示すブロック図である。 同信号合成部において行われる遅延処理の遅延時間の設定方法を説明する図である。 同実施形態における話者位置の検出方法を説明する図である。 同実施形態におけるエリア別画質設定処理を説明する図である。 同実施形態における画質制御の例を示す図である。 同実施形態における発言履歴管理処理を説明する図である。 同実施形態における画質制御の他の例を示す図である。 同実施形態における画質制御の他の例を示す図である。 同実施形態におけるエリア分割の方法を示す図である。

符号の説明

１……テレビ電話会議端末、１００……制御部、１０１……操作部、１０２……通信部、２０１……カメラ、２０２……送信画像処理部、２０３……画像エンコーダ、２１１……音声入力部、２１２……送信音声処理部、２１３……音声エンコーダ、２２１……画像デコーダ、２２２……受信画像処理部、２２３……ディスプレイ、２３１……音声デコーダ、２３２……受信音声処理部、２３３……音声出力部、２６１……第１フレームメモリ、２６２……画質調整部、２６３……第２フレームメモリ、１１０……話者位置検出部、１２０……画質制御部、２５１−ｉ（ｉ＝１〜ｎ）……マイクロホン、２５２−ｉ（ｉ＝１〜ｎ）……Ａ／Ｄ変換器、２５３−ｋ（ｋ＝１〜ｍ）……信号合成部、２５４……選択部、Ｓｋ（ｋ＝１〜ｍ）……収音点。

Claims (11)

1. 外界から取得した音声データおよび画像データを通信相手装置に送信し、通信相手装置から受信される音声データおよび画像データを音声および画像として出力するテレビ電話会議端末において、
   外界から画像データを取得する撮像手段と、
   外界から音声データを取得する収音手段と、
   話者位置を検出する話者位置検出手段と、
   前記話者位置検出手段による話者位置の検出結果に基づき、前記撮像手段により取得される画像データが示す画面内において話者の画像が属するエリアを推定し、該エリアを話者エリアとして設定する話者エリア設定手段と、
   前記撮像手段により取得される画像データに対し、話者エリアの画質よりも話者エリアでない非話者エリアの画質が劣化するように画質調整を施す画質調整手段と、
   前記画質調整手段による画質調整を経た画像データを通信相手装置に送信する送信手段と
   を具備することを特徴とするテレビ電話会議端末。
2. 前記話者エリア設定手段は、前記話者位置検出手段により検出された話者位置に対応した画面内の位置を中心とし、所定の横幅を持ったエリアを話者エリアとして設定することを特徴とする請求項１に記載のテレビ電話会議端末。
3. 前記話者エリア設定手段は、前記話者位置検出手段により検出される話者位置の時間変動に応じて、話者エリアの横幅を制御することを特徴とする請求項２に記載のテレビ電話会議端末。
4. 前記話者エリア設定手段は、画面を縦に切ることにより複数のエリアに予め分割し、これら複数のエリアの中から話者エリアを選択することを特徴とする請求項１に記載のテレビ電話会議端末。
5. 前記収音手段は、複数のマイクロホンからなるマイクロホンアレイにより構成されており、
   前記マイクロホンアレイの後段には、前記複数のマイクロホンの出力信号に基づいて前記マイクロホンアレイの前方の複数の収音点または収音エリアにおける音声波形を各々示す複数の音声データを合成する信号合成手段と、前記信号合成手段により合成された複数の音声データの中から通信相手装置に送信する音声データを選択する選択手段とが設けられ、
   前記話者位置検出手段は、前記信号合成手段により合成される複数の音声データの音声強度の分布に基づいて前記選択手段に選択させる音声データおよび話者位置を決定することを特徴とする請求項１〜４のいずれか１の請求項に記載のテレビ電話会議端末。
6. 前記話者エリアおよび非話者エリアの画質を設定するエリア別画質設定手段を具備し、
   前記画質調整手段は、前記エリア別画質設定手段により設定された各エリアの画質に基づいて前記画質調整を行うことを特徴とする請求項５に記載のテレビ電話会議端末。
7. 前記エリア別画質設定手段は、前記選択手段により選択される音声データに基づいて話者エリアの画質を設定する手段を有することを特徴とする請求項６に記載のテレビ電話会議端末。
8. 前記エリア別画質設定手段は、前記選択手段により選択される音声データに基づいて話者エリアに属する話者の発言履歴を記録し、話者エリアが非話者エリアとなるときの非話者エリアの画質を同エリアの話者の発言履歴に基づいて設定する手段を有することを特徴とする請求項６に記載のテレビ電話会議端末。
9. 前記エリア別画質設定手段は、所定の時定数を持った積分処理を前記選択手段により選択される音声データの音声強度に施し、この積分処理により得られる積分値に基づいて話者エリアの画質の設定および該話者エリアが非話者エリアとなった後の画質の設定を行う手段を有することを特徴とする請求項６に記載のテレビ電話会議端末。
10. 前記エリア別画質設定手段は、前記選択手段により選択される音声データが示す音声の声質パラメータを求め、この声質パラメータを含む発言履歴を記録し、話者エリアが非話者エリアとなるとき、話者エリアに属する話者の声質パラメータと近似する声質パラメータを含み、話者エリアに属する話者と同一人物から得られたと認められる発言履歴に基づいて非話者エリアの画質を設定する手段を有することを特徴とする請求項６に記載のテレビ電話会議端末。
11. 外界から取得した音声データおよび画像データを通信相手装置に送信し、通信相手装置から受信される音声データおよび画像データを音声および画像として出力するテレビ電話会議端末において、
    外界から画像データを取得する撮像手段と、
    外界から音声データを取得する収音手段と、
    話者位置を検出する話者位置検出手段と、
    前記話者位置検出手段による話者位置の検出結果に基づき、前記撮像手段により取得される画像データが示す画面内において話者の画像が属するエリアを推定し、該エリアを話者エリアとして設定する話者エリア設定手段と、
    前記話者エリアの画質を設定するとともに、話者エリアでない非話者エリアの画質として話者エリアよりも劣った画質を設定する画質設定手段と、
    前記撮像手段により取得された画像データと、前記話者エリア設定手段により設定された話者エリアを指定する情報と、前記画質設定手段により設定された話者エリアおよび非話者エリアの各画質を指定する情報を通信相手装置に送信する送信手段と、
    画像データと、話者エリアを指定する情報と、話者エリアおよび非話者エリアの各画質を指定する情報を通信相手装置から受信する受信手段と、
    前記受信手段により受信された画像データを、前記受信手段により受信された情報に基づいて話者エリアと非話者エリアとに分け、各エリアの画質調整を行う画質調整手段と、
    前記画質調整手段の画質調整を経た画像データを表示する表示手段と
    を具備することを特徴とするテレビ電話会議端末。

Images