JPH05111020A - テレビ会議用画面切替制御装置 - Google Patents

Abstract

(57)【要約】 【目的】 会議参加者の話し方に応じた音声検出や発言
の重要性に応じた話者特定を行い、会議の運営状況の映
像伝達に当り、円滑に話者の画像を切り替えるテレビ会
議用画面切替制御装置を提供する。 【構成】 音声判別部１と総合判定部２とから構成さ
れ、音声判別部１はマイクロホンと同数の音声と非音声
とを判別する音声検出部３を有し、総合判定部２は各音
声検出結果を監視する判定入力部４と、画面切替えタイ
ミングを与える時間設定部５と、発言の優先レベルを与
える優先設定部６と、隣接入力の同時検出時に再度音声
データを比較する比較部７と、上記判定入力部４、優先
設定部６および比較部７の条件や判断結果から話者を特
定する話者決定部８と、画面切替え制御を行う制御出力
部９とからなり、発言中の無音を保持する時間や画面切
替えを行うための時間設定ができ、隣のマイクロホンに
も入った場合レベルの大きい方に切り替え、同時発言が
あったときは、予め設定された基準に従って画面切替え
を行い、円滑に的確な話者の画面を表示させることがで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議システムを
用いて多人数参加のテレビ会議を行う場合に、発言者を
自動的にクローズアップして画面に映し出すためのテレ
ビ会議用画面切替制御装置に関する。

【０００２】

【従来の技術】近年、テレビ会議システムは急速に普及
しつつあるが、これを用いた会議形態としては、２〜３
名で行われるものとそれ以上の多人数で行われるものが
ある。その会議風景の撮影方法としては、会議参加者全
体を映す全景画面と発言者をクローズアップして映す人
物画面とがあり、この映像を切り替えるには専用のリモ
ートコントローラを操作する必要があった。

【０００３】この画面切替えを人為操作を要せず自動的
に行うためには、会議中の様々な入力音から音声を検出
して、ある一定時間音声であると検出された場合にその
発言者（以下、話者と記す）を映した画面に切り替える
方法が用いられている。この場合、音声の検出には各マ
イクロホンからの入力信号レベルや短時間エネルギーの
しきい値との比較判定とその継続時間などのしきい値判
定が行われており、画面切替えのための判定は音声検出
結果の出現頻度を累積したものとのしきい値判定が行わ
れていた。

【０００４】

【発明が解決しようとする課題】しかしながら上記のよ
うな従来の音声検出方法では、継続時間の短い雑音は無
視できても、継続時間の長い雑音（例えば、会議資料の
書類をめくる音や、机をこつこつと叩く音、息吹き音
等）によって誤って検出されることがある。発言が途切
れがちな時は画面が頻繁に切り替わったり、重要な話者
の発言中にもかかわらず不要な音声のために無関係な人
物が映ってしまうことがある。このような状況は、会議
の進行上妨害と感じられるという問題があった。

【０００５】また、会議内容によっては一人ずつ順番に
発言する場合と、誰もが自由に発言するフリートーキン
グ状態になる場合があり、後者の場合は特に同時に複数
の人が発言した時にどの発言者を話者として選択し画面
表示するかは偶然決まることであって重要な話者が表示
されないこともある。

【０００６】その他、ある発言による音声が隣のマイク
ロホンでも収音されてしまい、誤った判定処理が行われ
発言していない隣の人物が映されてしまうこともあると
いう問題があった。

【０００７】本発明は上記従来の問題を解決するもの
で、雑音を検出せずに音声だけを検出して発言者を特定
し、画面表示において途切れのない切替え時間や同時発
声時の選択条件を会議状況に応じて設定し、会議運営を
より円滑にする優れたテレビ会議用画面切替制御装置を
提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は上記目的を達成
するために、音声判別部と総合判定部にて、それぞれ音
声１入力に対する音声検出処理とその音声検出結果の多
入力に対する話者検出処理を行うものとし、音声判別部
においては発言を検出するために音声区間と非音声区間
とを判別出力するようにし、総合判定部においては各種
の会議形態に応じて画面切替え時間定数や条件の設定、
同時発声時の特定話者優先条件の設定および比較を行う
ようにした構成を有し、これらの条件を基に判定を行う
ものである。

【０００９】

【作用】この構成によって、多人数によるテレビ会議の
さまざまな使用環境に対応することができる。すなわ
ち、発言音声以外の雑音には反応しないで話者特定がで
き、話者が連続的に発言しても断続的な発言になっても
同一話者であれば画面を切り替えずに続けて表示した
り、一人の話者の発言が終了するまで他の発言があって
も画面を切り替えないようにしたり、またはその逆に新
しい発言があれば即座にその話者画面に切り替えるよう
にする、というふうに、会議の流れにあわせて画面を切
り替えることができる。

【００１０】また同時に発言したり発言が重複した場合
には、話者間に発言権の重み付けをして会議の意志決定
に重要な役割を持つ人物が選択されるようにしたり、各
音声検出処理により得られた音声区間の特徴量同士をさ
らに比較して唯一の話者を推定することにより、適切な
話者画面を表示させることができる。

【００１１】

【実施例】以下本発明の一実施例について、図面を参照
しながら説明する。図１は本発明の構成を示すブロック
図である。図１において、１は音声判別部で、Ｎ個のマ
イクロホン入力にとれぞれ対応してＮ個ある音声検出部
３からなり、２は総合判定部で、判定入力部４と時間設
定部５と優先設定部６と比較部７と発言者決定部（以
下、話者決定部と記す）８と制御出力部９とからなる。

【００１２】次に、各ブロックの動作を説明する。 （１）まず、音声判別部１の動作を説明する。

【００１３】音声判別部１では、Ｎ個の音声検出部３が
それぞれ一定区間ごとにサンプリングした入力音声デー
タを母音（Ａ，Ｉ，Ｕ，Ｅ，Ｏ）や有声子音（Ｂ，Ｄ，
Ｇ，Ｒ，Ｗ，他）等からなる音声区間と、無音や雑音、
無声子音（Ｓ，Ｈ，他）等からなる非音声区間とに判別
分類する。

【００１４】図２に音声検出部３の処理フロー図を示
す。図に示すように、入力音声をサンプリングし、２０
ｍｓｅｃを１フレームとして０次から１０次までの自己
相関を算出する。ここで、０次の自己相関はそのフレー
ムの短時間エネルギー（パワー）に相当する。求めた相
関係数は正規化後、線形予測分析を行い、１０次までの
線形予測係数を算出する。音声か非音声かの判定は、過
去数フレーム分のパワー平均×ｋとして適応的に設定さ
れたしきい値を越えるパワーを持つフレームの音声デー
タに対し行われる。統計的分析によって得られた正規化
相関係数と線形予測係数それぞれのしきい値と、入力音
声のサンプリングデータからの算出値との比較により、
有声音か無声音または雑音かを判別する。このようにし
て得られた音声・非音声検出結果の一例は図３のように
なる。この検出結果は図１において音声検出部３から判
定入力部４へ実線で結んだ経路に従って流れる。

【００１５】（２）次に総合判定部２の各ブロックの動
作を説明する。 図１に示した総合判定部２の判定入力部４は、音声判別
部１の各マイクロホンに対応した音声検出部３から出力
されるＮチャンネル分の音声判別結果を、時間設定部５
より与えられる一定周期で監視し、同じく時間設定部５
より与えられるしきい値により話中であるチャンネルを
話者選択候補として検出する。話者決定部８は、候補チ
ャンネル数がただ１つの場合はそのチャンネルを話者と
決定するが、候補チャンネル数が複数の場合は優先設定
部６や比較部７の条件をもとに判定し、最も注目される
チャンネルを話者と決定する。制御出力部９は、話者が
決定または変更されたとき、その話者画面に切り替える
ための制御信号を出力する。

【００１６】（３）次に判定入力部４と時間設定部５の
動作を詳細に説明する。 図３から明らかなように、音声判別部１の音声検出部３
では、発言区間中であっても発声休止や子音部分では非
音声区間と判定されてしまい、途切れがちになってしま
うのでこのままでは話者画面のＯＮ／ＯＦＦ制御に用い
ることはできない。そこで、本実施例では発言中に音声
検出区間の後にくる非音声検出区間をある適切な時間長
だけ音声区間とみなし音声検出区間を保持することで、
発言中の途切れの問題を解決する。

【００１７】図４は判定入力部４の動作説明のためのタ
イミング図で、非音声検出区間を有声区間として保持す
る一実施例を示す。

【００１８】まず、時間設定部５より与えられるタイミ
ングで、音声判別部１の音声検出部３からの音声検出デ
ータを読み込み、各チャンネルの過去数フレーム分のデ
ータを蓄積する。各チャンネル毎にその数フレーム中で
音声と検出されたフレーム数をカウントする。時間設定
部５は、話中であるチャンネルを特定するためのしきい
値となる時間長に相当するフレーム数を与える。ここ
で、発言開始と特定するまでの時間長と発言終了と特定
するまでの時間長はそれぞれ独立に設定できるようにな
っている。カウントした音声検出フレーム数が発言開始
とするためのしきい値（ＴＨ_ON）を上回ったチャンネル
を話状態とする。話状態と検出されたチャンネルが話者
選択候補である。その後話状態にあるチャンネルが非音
声区間となり、音声検出フレーム数が発言終了とするた
めのしきい値（ＴＨ_OFF）を下回ってもすぐに終了とは
せずに、話状態を保持したまま発言終了しきい値を下回
ったフレーム回数を＋１カウントする。そのカウント回
数がある設定時間長に対応する値（ＴＨ_HOLD）に達する
前に音声検出区間なり、音声検出フレーム数が再び発言
終了とするためのしきい値を上回ったならば、発言終了
しきい値を下回ったフレームカウント回数を０に戻す。
もし、発言終了しきい値を下回ったフレームカウント回
数がある設定値に達したならば、そのチャンネルを話状
態から解除し、話者選択候補から外す。このようにし
て、音声検出区間が終了してもその後の非音声区間をあ
る適切な設定時間長だけ話状態を保持することにより、
発言中の音声の途切れの影響をなくし話者画面の頻繁な
ＯＮ／ＯＦＦや他チャンネルへの切替えを防止する。

【００１９】図５は、話者画面の切替え動作を説明する
タイミング図である。時間設定部５において、発言開始
とするためのしきい値と発言終了とするまでのしきい値
をそれぞれ独立に設定できるようにしているが、これ
は、例えば１台の電動旋回式カメラを駆動制御し話者を
撮影・表示する場合と、複数のカメラで撮影した会議参
加人物の映像を切り替えて表示する場合では、画面を切
り替えるタイミングが異なり、電動旋回式カメラの駆動
制御・撮影・表示のときは頻繁な切替えを防ぐためにＯ
Ｎ／ＯＦＦするまでの切替え時間を長めにしたほうがよ
く、他のカメラの映像と切り替えて表示するときはその
時間は短めでもよいことから、設定によってそのどちら
にも対応可能とするためである。図５に示すように、電
動旋回式カメラを制御する場合は、発言開始から回転台
の駆動制御までの時間（Ｔ１_ON）と発言終了からその位
置を保持する時間（Ｔ１_OFF）が長いので、ある話者の
発言中に他の短い音声によって画面が切り替わることは
ない。複数のカメラ映像を切替え制御する場合は、発言
開始から画面を切り替えるまでの時間（Ｔ２_ON）と発言
終了から表示画面を保持する時間（Ｔ２_OFF）がそれぞ
れＴ１_ON，Ｔ１_OFFより短いので、発言に対する画面切
替えの追従性がよい。

【００２０】（４）次に優先設定部６と比較部７と話者
決定部８の動作を説明する。 判定入力部４において話者選択候補のチャンネルを特定
できたが、ある単独の話者候補に対しては、即そのチャ
ンネルを話者と決定する。ここで、複数の同時あるいは
後発の話者候補が存在した場合は次のような比較・判定
を行う。

【００２１】図６は、比較部７の動作説明のための図で
ある。ある発言によって隣のマイクロホンにもその音声
が飛び込んでしまった場合、その隣接マイクロホンに対
応する音声検出部３で算出したパワーデータを比較部７
にてその大小関係の判定を行い、一定してパワーの大き
いほうを話者として決定する。図１において音声検出部
３から比較部７を点線で結ぶ経路はパワーデータの流れ
を示す。また、パワーの大小関係が交互に入れ替わる場
合は、異なる発言による競合と推定し、隣合わせていな
いマイクロホンからの発言音声に対する場合と同様に、
優先設定部６において予め設定した話者決定モードに従
い、発言優先順位の上下や発言開始の先後関係により話
者決定部８で判定を行う。

【００２２】図７は、優先設定部６の設定とその動作例
を示す図である。優先話者決定処理には３種類のモード
を用意しており、先発言優先モードと後発言優先モード
と優先順位決定モードのうちから選んだ１つのモードで
動作する。先発言優先モードでは、無発言状態から一番
最初に発言を開始したチャンネルを話者として選択し、
その発言中は以降に検出されたいかなるチャンネルも無
視して、その状態を保つ。後発言優先モードでは、複数
の話者検出において二番目以降に発言開始したチャンネ
ルの中で最後に発言開始したチャンネルを話者として選
択する。優先順位決定モードでは、予めすべてのチャン
ネルに対応して設定した優先順位に従い、検出されたチ
ャンネルの中で最上位のチャンネルが話者として選択さ
れる。

【００２３】そして話者決定部８で決定・変更されたチ
ャンネルの話者の映像に切り替えるための制御信号が制
御出力部１０から出力される。

【００２４】

【発明の効果】以上のように本発明は、音声判別部で会
議中に発せられるさまざまな雑音の中から音声のみを検
出することにより、雑音による誤検出を防ぎ、真の発言
音声区間を特定することができる。また、総合判定部で
は、音声区間に続く無声区間をある時間長だけ話状態に
保持することにより発言中の音声の途切れが画面切替え
に影響しないようにすることができる。また、画面切替
えのタイミングを話者の撮影方法や表示方法に応じて設
定し画面の頻繁な切替わりを防ぐことができる。また、
マイクロホンの設置間隔が小さいためや発声音量が大き
なことから起こる隣のマイクロホンへの飛び込みによる
同時検出時の判定手段として音声パワーの比較を用いる
ことにより、誤って発言していない人物の画面になって
しまうことも防ぐことができる。同一でない複数の発言
に対しては、予め会議の内容や参加者に応じて話者優先
条件を設定しこれに従って判定することにより、会議中
の重要な発言に注目した画面切替えが実現できる。

【図面の簡単な説明】

【図１】本発明のテレビ会議用画面切替制御装置の一実
施例のブロック図

【図２】同実施例における音声検出部の処理フロー図

【図３】同実施例における音声検出部による音声検出結
果のタイムチャート

【図４】同実施例における判定入力部の動作説明のため
のタイミング図

【図５】同実施例における話者画面切替え動作のタイミ
ング図

【図６】同実施例における比較部の動作説明のための図

【図７】同実施例における優先設定部の設定とその動作
例を示す図

【符号の説明】

１ 音声判別部 ２ 総合判定部 ３ 音声検出部 ４ 判定入力部 ５ 時間設定部 ６ 優先設定部 ７ 比較部 ８ 発言者決定部 ９ 制御出力部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 音声判別部と、総合判定部とを備え、前
   記音声判別部は音声と非音声とを判別する複数の音声検
   出部を有し、前記総合判定部は前記音声検出部の各音声
   結果を監視する判定入力部と、画面切替えタイミングを
   与える時間設定部と、発言の優先レベルを与える優先設
   定部と、隣接入力の同時検出時に再度音声データを比較
   する比較部と、前記判定入力部、優先設定部および比較
   部の条件や判断結果から発言者を特定する発言者決定部
   と、その発言者決定部の出力により画面切替え制御を行
   う制御出力部とを有することを特徴とするテレビ会議用
   画面切替制御装置。