JPH06351015A

JPH06351015A - テレビジョン会議システム用の撮像システム

Info

Publication number: JPH06351015A
Application number: JP5138537A
Authority: JP
Inventors: Shinzou Matsui; 紳造松井
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1993-06-10
Filing date: 1993-06-10
Publication date: 1994-12-22

Abstract

(57)【要約】【目的】この発明は、話者の位置を固定化せずに話者の
移動に対応して、撮像方向、画角、集音方向をリアルタ
イムに自動的に変えることができ、且つコストの上昇を
抑えるために、少なくとも３つのマイクを使用して話者
の方向を検出することを特徴とする。【構成】カメラ１及び高指向性集音マイクは、方位制御
装置３によってスタンド４に据付けられている。このス
タンド４には、話者の方位を検出するための話者方位検
出部５が取付けられている。話者方位検出部５から得ら
れた情報は、話者位置解析部６に供給されて話者への方
位が求められる。システム制御部７は、話者位置解析部
６で求められた情報により、カメラ１及び高指向性集音
マイク２を移動させるべくカメラ制御部８を制御すると
共に、カメラ１及び高指向性集音マイク２の方位を設定
すべく方位制御装置３の動きを制御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は話者位置を検出して撮
像エリアを自動的に設定可能なテレビジョン会議システ
ム用の撮像システムに関するものである。

【０００２】

【従来の技術】近年、テレビジョン（以下、テレビと略
記する）を用いた会議システムが普及してきている。例
えば、話者の数に対応したカメラを用意し、各カメラか
らの信号を切換えるテレビ会議システムや、１台の全景
を撮像するカメラと１台の人物撮像専用のカメラを用い
るテレビ会議システムが知られている（特開平４−３２
３９９０号公報参照）。特に、後者のテレビ会議システ
ムでは、人物撮像専用のカメラは、旋回台等によりその
撮像方向を変えることができ、リモートコントローラ
（以下リモコンと略記する）等によって人物撮像専用の
カメラを動かして話者方向に向けていた。

【０００３】

【発明が解決しようとする課題】しかしながら、話者の
数に対応したカメラを用意するシステムの場合、１人に
つき１台カメラを必要としているので、多人数による会
議等の場合、話者の数が多く、そのコストがかなり高い
ものとなっていた。更に、話者が話しながら移動するよ
うな場合、話者がカメラの撮像画角外に出てしまうとい
った不都合が生じる。

【０００４】また、リモコンを使用したテレビ会議シス
テムの場合、カメラの台数は少なくて済むものの、話者
が話しながら移動するような場合、いちいち移動する話
者にカメラを追従させなければならず、その操作が煩わ
しいものであった。加えて、話者が話している途中で他
の話者が話し始めたような場合、話者を適格に認識する
ことができず、リアルタイムに適切な映像及び音声情報
を得ることが困難なものであった。

【０００５】この発明は上記課題に鑑みてなされたもの
で、話者の位置を固定化せずに話者の移動に対応して、
撮像方向、画角、集音方向をリアルタイムに自動的に変
えることができ、且つコストの上昇を抑えたテレビジョ
ン会議システム用の撮像システムを提供することを目的
とする。

【０００６】

【課題を解決するための手段】すなわちこの発明は、複
数の異なる場所の間で映像情報及び音声情報等の情報を
伝送して会議等を行うテレビジョン会議システム用の撮
像システムに於いて、少なくとも一人の話者を撮像する
撮像手段と、この撮像手段で撮像されるべく話者が発す
る音声情報を検出する音声情報検出手段と、この音声情
報検出手段により検出された音声情報に基いて、該音声
の発生した方位情報を検出する方位情報検出手段と、こ
の方位情報検出手段により検出された方位情報に基い
て、上記撮像手段による撮像状態を制御する制御手段と
を具備することを特徴とする。

【０００７】

【作用】この発明は、複数の異なる場所の間で映像情報
及び音声情報等の情報を伝送して会議等を行うテレビジ
ョン会議システム用の撮像システムである。このシステ
ムに於いて、撮像手段が少なくとも一人の話者を撮像
し、この撮像手段で撮像されるべく話者が発する音声情
報が、音声情報検出手段で検出される。この音声情報検
出手段により検出された音声情報に基いて、方位情報検
出手段が該音声の発生された方位情報を検出する。する
と、この方位情報検出手段により検出された方位情報に
基いて、制御手段が上記撮像手段による撮像状態を制御
する。

【０００８】

【実施例】以下、図面を参照してこの発明の実施例を説
明する。図１は、この発明のテレビジョン会議システム
用の撮像システムの一実施例の構成を示す外略図であ
る。

【０００９】同図に於いて、カメラ１は、ズーム機能及
びオートフォーカス（ＡＦ）機能を有したカメラであ
る。このカメラ１には、高指向性集音マイクロホン（以
下マイクと略記する）２が取付けられている。上記カメ
ラ１は、また、方位制御装置３によってスタンド４に据
付けられているもので、その撮像方向及び集音方向が上
下方向（図示矢印Ａ方向）及び左右方向（図示矢印Ｂ方
向）に制御される。上記スタンド４には、話者の方位を
検出するための話者方位検出部５が取付けられている。

【００１０】上記話者方位検出部５から得られた情報
は、話者位置解析部６に供給され、ここで種々の解析が
なされる。この話者位置解析部６では、後述するよう
に、上記カメラ１から話者への方位が求められる。シス
テム制御部７は、話者位置解析部６で求められた情報に
より、カメラ１及び高指向性集音マイク２を移動させる
べくカメラ制御部８を制御すると共に、カメラ１及び高
指向性集音マイク２の方位を設定すべく方位制御装置３
の動きを制御する。尚、カメラ制御部８は、カメラ１の
ズーム機能、ＡＦ機能等の動きを制御するものである。

【００１１】このようにして、撮像システムは構成され
ている。そして、例えばテーブル９の近傍には、互いに
適切な間隔で複数の話者１０₁、１０₂ 、１０₃ 、１０₄
、…、１０_n が配置されている。

【００１２】ここで、図２及び図３を参照して、話者方
位検出について説明する。先ず、図２に於いて、マイク
１１ａ及び１１ｂを使用した場合の話者の方位検出につ
いて説明する。いま、話者１０ａから音声が発せられた
とすると、２つのマイク１１ａ及び１１ｂに、その音声
が集音される。このとき、マイク１１ａ及び１１ｂに入
射される音声の時間のずれを検出することにより、話者
１０ａの角度（入射角度θ）が求められる。

【００１３】ところが、２つのマイク１１ａ及び１１ｂ
だけでは、マイク１１ａ、１１ｂ間を結ぶ線に対して入
射角度θの音声は、図２の斜線部で表される円錐上の側
面１２上からの音声全てが同じ入射角度として認識され
てしまう。このため、話者の３次元上での移動（上下方
向及び左右方向両方の移動）等には対応することができ
ない。

【００１４】このため、図３に示されるように、マイク
１１ａ、１１ｂに加えてマイク１１を設けて、話者の方
位を特定することができるようにしている。すなわち、
話者１０ａから音声が発せられた場合、上記したよう
に、マイク１１ａ、１１ｂを結ぶ線に対して底面１２ａ
を有する円錐が考えられる。また、同時に、マイク１１
ａ、１１ｃを結ぶ線に対して底面１２ｂを有する円錐が
考えられる。これにより、底面１２ａ、１２ｂを有する
２つの円錐から、それぞれの円錐上の側面上で交わる点
が、音声を発した話者１０ａの位置となる。こうして、
話者の位置、すなわち方位を特定することができる。

【００１５】図４は、話者方位検出部５の具体的な構成
例を示したもので、（ａ）は話者方向から見た正面図、
（ｂ）は斜視図である。同図に於いて、基準となるマイ
ク１３ａから所定距離Ｌ_ab、Ｌ_acをおいてマイク１３
ｂ、１３ｃが、図示の如く配置されている。すなわち、
マイク１３ｂは、各話者とマイク１３ａとを結ぶ線上に
ない位置に配置される。そして、マイク１３ｃは、マイ
ク１３ａ、１３ｃを結ぶ線に対してマイク１３ａから垂
直方向で、且つ各話者とマイク１３ａとを結ぶ線上にな
い位置に配置されている。上記所定距離Ｌ_ab、Ｌ_acは、
音声周波数によって決められるもので、例えば５〜１０
ｃｍである。

【００１６】また、上記マイク１３ａ、１３ｂ、１３ｃ
には、吸音材１４が取付けられている。この吸音材１４
は、このシステムが設けられる部屋の壁等からの反射音
や、エアコンディショナの音、話者の音声に対してその
反対側から入射する音、及び話者の移動しないエリアか
らの音を吸音して、検出誤差を少なくするためのもので
ある。

【００１７】次に、図５のブロック図を参照して、話者
方位検出部５及び話者位置解析部６の詳細な構成を説明
する。話者方位検出部５は、上述したマイク１３ａ、１
３ｂ、１３ｃと、これらそれぞれのマイク１３ａ、１３
ｂ、１３ｃで集音された音声の信号を増幅して話者位置
解析部６に出力する増幅器１５ａ、１５ｂ、１５ｃで構
成されている。

【００１８】話者位置解析部６は、上記増幅器１５ａ、
１５ｂ、１５ｃの出力の特定周波数を抽出するバンドパ
スフィルタ（ＢＰＦ）１６ａ、１６ｂ、１６ｃと、この
バンドパスフィルタ１６ａ、１６ｂ、１６ｃで抽出され
た出力をＡ／Ｄ変化するＡ／Ｄコンバータ１７ａ、１７
ｂ、１７ｃと、話者方位解析部１８ａ、１８ｂと、話者
方位演算部１９とより構成される。話者方位解析部１８
ａ、１８ｂは、それぞれマイク１３ａ、１３ｂと、マイ
ク１３ａ、１３ｃからの音声信号と、音速及びマイク間
距離（Ｌ_ab、Ｌ_ac）に基いて、上述したような原理によ
り、話者の方向を求める。そして、話者方位解析部１８
ａと、１８ｂの解析結果から、図４に示されたような２
つの円錐の交点が、話者方位演算部１９により求められ
る。これにより、話者の方向が決定される。

【００１９】図６は、話者方位解析部１８ａの詳細なブ
ロック構成図である。この場合、話者方位解析部１８ｂ
の構成は、入力される信号がマイク１３ｂ及び１３ｃか
らのものに代わるだけで、その他の構成は話者方位解析
部１８ａと同じであるので、ここでは説明は省略する。

【００２０】話者方位解析部１８ａに於いて、マイク１
３ａより入力される基準となる音声信号は、高速フーリ
エ変換（ＦＦＴ）演算部２０ａで高速フーリエ変換され
る。同様に、ＦＦＴ演算部２０ｂでは、マイク１３ｂよ
り入力される音声信号がＦＦＴ変換される。そして、こ
れらＦＦＴ演算部２０ａ及び２０ｂでＦＦＴ演算された
結果は、クロススペクトル演算部２１にてクロススペク
トルが演算される。ここで、２つの音声信号のデータを
基に、各周波数に於ける位相を検出するための処理がな
される。

【００２１】そして、位相計算部２２では、各周波数に
於ける複素数の値により、位相が算出される。その周波
数の値と、この算出された位相値と、上記２つのマイク
１３ａ、１３ｂ間の距離と音速から、入射角が入射角演
算部２３で求められる。こうして求められた入射角か
ら、平均値演算部２４にて各入射角の平均値θave が求
められる。

【００２２】この入射角の平均値が、それぞれの話者方
位解析部１８ａ及び１８ｂから入力されて、話者方位演
算部１９で話者の方向が決定される。そして、ここで決
定された話者の方向に向けて、システム制御部７が方位
制御装置３を制御して、カメラ１及び高指向性集音マイ
ク２を作動させる。

【００２３】このように、第１の実施例によれば、クロ
ススペクトルの位相成分から各周波数に於いての遅延時
間を計算し、各々入射角を計算してそれを平均化してい
るので、精度良く入射角を求めることができる。

【００２４】また、吸音材を使用することにより、会議
室の壁等の反射音や、エアコンディショナ等の不必要な
音を除去することができ、音声の誤認識を低減すること
ができる。

【００２５】次に、この発明の第２の実施例について説
明する。尚、以下に述べる実施例に於いて、同一の構成
要素には同一の参照番号を付して、重複を避けるためそ
の説明は省略するものとする。

【００２６】上述した第１の実施例では、話者方位検出
部を１つ用いて話者の方向を特定していたが、この第２
の実施例は、話者方位検出部を２つ用いて、話者の方向
及び位置を特定しようとするものである。

【００２７】図７及び図８を参照すると、第１の話者方
位検出手段としての話者方位検出部５と所定間隔をおい
て、第２の話者方位検出手段として話者方位検出部２５
が設置されている。この話者方位検出部２５は、話者方
位検出部５によって求められた方向と組合わせて、話者
の位置または話者までの距離を検出するためのものであ
る。この話者方位検出部２５の検出結果は、話者方位検
出部５の検出結果と共に、話者位置解析ユニット２６に
供給される。

【００２８】話者方位検出部２５は、図９に示されるよ
うに、マイク１３ｄ、１３ｅが所定距離Ｌ_deをおいて配
置されている。そして、これらのマイク１３ｄ、１３ｅ
には、吸音材１４が取付けられている。

【００２９】図１０は、この第２の実施例によるシステ
ムの話者方位検出部５、２５及び話者位置解析ユニット
２６の詳細な構成を説明するブロック図である。尚、話
者方位検出部５及び話者位置解析部６については上述し
たので、説明は省略する。

【００３０】話者方位検出部２５は、上述したマイク１
３ｄ、１３ｅと、これらそれぞれのマイク１３ｄ、１３
ｅで集音された音声の信号を増幅して話者位置解析部２
７に出力する増幅器１５ｄ、１５ｅで構成されている。

【００３１】話者位置解析部２７は、上記増幅器１５
ｄ、１５ｅの出力の特定周波数を抽出するバンドパスフ
ィルタ１６ｄ、１６ｅと、このバンドパスフィルタ１６
ｄ、１６ｅで抽出された出力をＡ／Ｄ変化するＡ／Ｄコ
ンバータ１７ｄ、１７ｅと、話者方位解析部１８ｃによ
り構成される。話者方位解析部１８ｃは、マイク１３
ｄ、１３ｅと、１３ｄからの音声信号と、音速及びマイ
ク間距離（Ｌ_de）に基いて、上述したような原理によ
り、話者の方向を求める。

【００３２】そして、話者方位解析部１８ｃの解析結果
と、話者位置解析部６の話者方位演算部１９の演算結果
が、話者位置演算部２８に入力される。この話者位置演
算部２８では、話者位置解析部６と話者位置解析部２７
から、話者の方向と共に、話者とカメラ１との距離を演
算して、その結果をシステム制御部７へ出力する。これ
により求められた話者の方向及び話者とカメラ１との距
離に従って、システム制御部７が方位制御装置３を制御
して話者の方向を特定する。それと共に、カメラ制御部
８を介して、カメラ１のズーム機能、ＡＦ機能が制御さ
れて、カメラの画角が決定されて撮像がなされる。

【００３３】このように、２系統の話者方位検出部を設
けることにより、話者の方向及び位置を検出することが
でき、これによってカメラの撮像エリアを自動的に設定
することができる。例えば、図７に於いて、初めに話者
１０₁ が音声を発していたとすると、システム制御部７
によってカメラ１は話者１０₁ のみを撮像する画角で動
作する。そして、続けて新たに他の話者（例えば話者１
０₄ ）から音声が発せられたならば、システム制御部７
は方位制御装置３によるパンニングが間に合わないと判
断した場合、画角を話者１０₁ から全ての話者が撮像さ
れる全景に切替えるように、カメラ制御部８を制御す
る。その後、特定の話者１０₄ のみを撮像する画角でカ
メラ１が動作するようにする。尚、何れの話者も音声を
発しない場合は、全景を捕らえる画角で撮像するように
すれば良い。

【００３４】次に、この発明の第３の実施例について説
明する。図１１は、話者方位解析部の他の例を示したブ
ロック構成図である。尚、ここでは図６の話者方位解析
部１８ｄとしているが、話者方位解析部１８ａ〜１８ｃ
についても同様であるので、ここでの説明は省略する。

【００３５】話者方位解析部１８ｄに於いて、マイク１
３ａ及び１３ｂより入力される音声信号は、ＦＦＴ演算
部２０ａ及び２０ｂでＦＦＴ演算される。そして、これ
らＦＦＴ演算部２０ａ及び２０ｂでＦＦＴ演算された結
果は、クロススペクトル演算部２１にてクロススペクト
ルが演算されて、２つの音声信号のデータを基に、各周
波数に於ける位相を検出するための処理がなされる。

【００３６】そして、位相計算部２２では、各周波数に
於ける複素数の値により、位相が算出される。また、パ
ワー演算部２９では、上記クロススペクトルのパワース
ペクトルが演算される。この算出された位相値と、その
周波数の値と上記２つのマイク１３ａ、１３ｂ間の距離
と音速から、入射角が入射角演算部２３で求められる。
そして、周波数成分選択部３０にて、上記パワースペク
トルを誤検出の要因となる音声パワーの低い周波数成分
を排除するために、各パワー値に対する所定の閾値との
比較による周波数成分が選択される。こうして求められ
た上記周波数成分に於いて、入射角の平均値θave が平
均値演算部２４で求められる。

【００３７】このように、第３の実施例によれば、周波
数成分に於いては音声成分のレベルが低い場合に、回路
ノイズや外乱ノイズにより位相誤差を生じてしまうの
で、上記各周波数に於ける入射角を上記クロススペクト
ルのパワースペクトルを計算し、その結果を閾値と比較
して、ある一定信号レベル以下の周波数成分を除去して
いる。このため、精度良く入射角を求めることができ
る。

【００３８】図１２は、話者方位解析部の更に他の例を
示したブロック構成図である。尚、ここでは図６の話者
方位解析部１８ｄとしているが、話者方位解析部１８ａ
〜１８ｃについても同様であるので、ここでの説明は省
略する。

【００３９】話者方位解析部１８ｅに於いて、ＦＦＴ演
算部２０ａ及び２０ｂでＦＦＴ演算された結果は、クロ
ススペクトル演算部２１にてクロススペクトルが演算さ
れて、２つの音声信号のデータを基に、各周波数に於け
る位相を検出するための処理がなされる。そして、位相
計算部２２では、各周波数に於ける複素数の値により、
位相が算出される。また、パワー演算部２９では、上記
クロススペクトルのパワースペクトルが演算される。こ
の算出された位相値と、その周波数の値と上記２つのマ
イク１３ａ、１３ｂ間の距離と音速から、入射角が入射
角演算部２３で求められる。そして、第１の周波数成分
選択手段としての周波数成分選択部３０にて、各パワー
値に対する所定の閾値との比較による周波数成分が選択
される。

【００４０】この周波数成分選択部３０により選択され
た周波数成分の入射角の平均と分散が、ヒストグラム等
により統計計算部３１で求められる。そして、この統計
計算により、上記平均値に対して、ある一定の分散内
（例えば２σ）に入る周波数成分が、第２の周波数成分
選択手段としての周波数成分選択部３２で選択される。
この後、該周波数成分に於いて、入射角の平均値θave
が平均値演算部２４で求められる。

【００４１】このように、第４の実施例によれば、各周
波数に於ける入射角を統計処理して平均値から大きく外
れている周波数成分の要素を除去することで、例えばエ
アコンディショナ等の話者以外から発生する音の影響に
よる誤検出を低減することができ、精度良く入射角を求
めることができる。

【００４２】

【発明の効果】以上のようにこの発明によれば、話者の
位置を固定化せずに話者の移動に対応して、撮像方向、
画角、集音方向をリアルタイムに自動的に変えることが
でき、且つコストの上昇を抑えたテレビジョン会議シス
テム用の撮像システムを提供することができる。

【図面の簡単な説明】

【図１】この発明のテレビジョン会議システム用の撮像
システムの一実施例の構成を示す外略図である。

【図２】マイク１１ａ及び１１ｂを使用した場合の話者
の方位検出について説明する原理図である。

【図３】マイク１１ａ、１１ｂ及び１１ｃを使用した場
合の話者の方位検出について説明する図である。

【図４】話者方位検出部５の具体的な構成例を示したも
ので、（ａ）は話者方向から見た正面図、（ｂ）は斜視
図である。

【図５】話者方位検出部５及び話者位置解析部６の詳細
を示すブロック構成図である。

【図６】図５の話者方位解析部１８ａの詳細を示すブロ
ック構成図である。

【図７】この発明のテレビジョン会議システム用の撮像
システムの第２の実施例の構成を示す外略図である。

【図８】図７の話者方位検出部５と話者方位検出部２５
の配置を示す図である。

【図９】話者方位検出部２５の具体的な構成例を示す図
である。

【図１０】この発明の第２の実施例によるシステムの話
者方位検出部５、２５及び話者位置解析ユニット２６の
詳細を示すブロック構成図である。

【図１１】この発明の第３の実施例による話者方位解析
部の他の例を示したブロック構成図である。

【図１２】この発明の第４の実施例による話者方位解析
部の更に他の例を示したブロック構成図である。

【符号の説明】

１…カメラ、２…高指向性集音マイクロホン、３…方位
制御装置、４…スタンド、５…話者方位検出部、６…話
者位置解析部、７…システム制御部、８…カメラ制御
部、９…テーブル、１０₁ 、１０₂ 、１０₃ 、１０₄ 、
…、１０_n 、１０ａ、１０ｂ、１０ｃ…話者、１１ａ〜
１１ｃ、１３ａ〜１３ｅ…マイク、１４…吸音材。

Claims

【特許請求の範囲】

【請求項１】複数の異なる場所の間で映像情報及び音
声情報等の情報を伝送して会議等を行うテレビジョン会
議システム用の撮像システムに於いて、少なくとも一人の話者を撮像する撮像手段と、この撮像手段で撮像されるべく話者が発する音声情報を
検出する音声情報検出手段と、この音声情報検出手段により検出された音声情報に基い
て、該音声の発生した方位情報を検出する方位情報検出
手段と、この方位情報検出手段により検出された方位情報に基い
て、上記撮像手段による撮像状態を制御する制御手段と
を具備することを特徴とするテレビジョン会議システム
用の撮像システム。