JPH1141577A - 話者位置検出装置 - Google Patents

話者位置検出装置

Info

Publication number
JPH1141577A
JPH1141577A JP9193630A JP19363097A JPH1141577A JP H1141577 A JPH1141577 A JP H1141577A JP 9193630 A JP9193630 A JP 9193630A JP 19363097 A JP19363097 A JP 19363097A JP H1141577 A JPH1141577 A JP H1141577A
Authority
JP
Japan
Prior art keywords
speaker
sound source
sensor
map
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9193630A
Other languages
English (en)
Inventor
Hironori Kitagawa
博紀 北川
Naoji Matsuo
直司 松尾
Shigemi Osada
茂美 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP9193630A priority Critical patent/JPH1141577A/ja
Publication of JPH1141577A publication Critical patent/JPH1141577A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

(57)【要約】 【課題】テレビ会議システム等でカメラの方向制御に用
いられる話者位置の検出を、マイクの位置や人物の位置
/動きに関係なく、高い精度で特定出来るようにするこ
とを目的とする。 【解決手段】マイクロホンアレイの使用により、話者の
位置を方向だけでなく、距離も確定して音源位置マップ
を作ると共に、センサによる画像処理により、人物位置
マップを作って、各人の位置を確定する。その2つの情
報から、マイクの位置や人物の位置/動きに関係なく、
常に話者位置を特定することを可能にする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、テレビ会議等で利
用される話者の位置を検出する装置において、話者の位
置の検出精度の向上を図った新しい話者位置検出装置に
関する。現在、テレビ会議が急速に普及している。テレ
ビ会議においては、カメラを話者に向けたり、カメラの
焦点を話者に合わせたりするために、必要な音声のみを
拾いだす高精度の話者位置の検出手段が必要とされてい
る。
【0002】
【従来の技術】従来のテレビ会議装置等で用いられてい
る話者位置検出装置では、各座席に対応して指向性マイ
クが設置されており、誰かが話すと、最大音量の入力が
あったマイクの前に座っている人が話者であると確定し
ていた。また、特許出願公開番号「特開平5-244587」に
開示された例のように、複数のマイクを水平に等間隔で
放射状に配置して並べることにより、話者のXZ平面で
の方向を特定し、また、カメラから入力した画像を、エ
ッジ検出回路により処理して、輪郭パターンを認識し、
予め登録されている人物形状とパターンマッチングを行
って人物位置を確定し、更に、動き検出回路により唇の
動きを検知して話者位置を特定する例もある。
【0003】
【発明が解決しようとする課題】しかしながら、上記の
ような従来例の内、マイクと人を1対1に固定する方式
では、話者が移動している場合は対応出来なかった。ま
た別の従来例では、唇の動きを検出するため、話者の正
面が見えている必要がある。また、音源位置は、マイク
によりXZ平面上での方向しか検出出来なかった。
【0004】本発明は、話者の位置を特定するために、
マイクと人を1対1に対応させる必要もなく、正面が見
えていなくても、或いは、人が移動しながら話をしてい
ても、高い精度で、話者位置を検出することを目的とす
る。
【0005】
【課題を解決するための手段】前記目的を達成するため
に、本発明の話者位置検出装置は、テレビカメラ・超音
波センサ・赤外線センサ等のセンサからの入力信号を処
理し、人物位置を検出する手段と、マイクロホンアレイ
からの入力信号を処理し、音源位置を検出する手段と、
前記2種類の情報を合わせて処理することにより、話者
位置を判定する手段を有し、任意の位置の話者を検出可
能とすることを特徴とする。
【0006】また、前述の装置において、話者位置検出
手段として、画像でXY方向のみの位置を、音源により
Z方向のみの位置を求め、話者位置を検出することも出
来る。これにより、画像処理が2次元平面上で処理が出
来るため、画像処理時間を短縮して、話者位置の検出を
可能とすることが出来る。また、前述の装置において、
まず、音源位置のXYZ座標を求め、音源位置周辺のセ
ンサ信号のみを処理することにより、音源位置マップの
作成と音源位置周辺以外の人物位置検出の画像処理を省
くことが可能となり、話者位置検出精度を殆ど落とすこ
となく、人物位置検出を高速化することが出来る。
【0007】また、前述の装置において、センサを回転
可能とする回転台を設置することにより、センサの死角
に話者がいても、音源位置をもとにセンサを回転させ、
死角にいる話者の検出も可能とすることが出来る。ま
た、前述の装置において、話者位置のキャリブレーショ
ンを行う機能を設けることにより、話者の特定が正しい
かどうかを、ディスプレイ等の表示装置上で確認出来る
ようにし、間違っている場合は、訂正出来るようにする
ことが出来る。
【0008】
【発明の実施の形態】本発明の基本構成を、図1を用い
て説明する。マイクロホンアレイ1から入力された音源
情報を入力にして、制御部3の音源位置検出部3−1が
音源位置マップを作成し、話者位置判定部3−3に渡
す。画像入力用のセンサ2が入力した画像情報をもとに
して、人物位置検出部3−2は人物位置マップを作成
し、話者位置判定部3−3に渡す。センサから見た水平
方向・鉛直方向・奥行き方向を、それぞれ、X方向・Y
方向・Z方向とすると、マップは、マイクロホンアレイ
とセンサが検出可能な空間の範囲をXYZ方向に一定間
隔毎に区切って、各区分単位に音源位置または人物位置
の存在する確率を計算したものであり、音源位置マップ
と人物位置マップは、同じ空間に対応している。話者位
置判定部3−3は、音源位置マップと人物位置マップの
対応する各区分の確率の積を計算し、その積の最も大き
い区分を、話者位置と判定し、話者位置情報を他の機器
に渡す。
【0009】本発明の処理概要を図2のフローチャート
を用いて説明する。まず、ステップS1で、音声入力が
あると、音源位置検出部3−1が、マイクロホンアレイ
1の入力信号を分析して、音源位置マップの区分単位に
音源位置の確率を計算し、音源マップを完成させる。次
に、ステップS2で、人物位置検出部3−2が、センサ
2より入力した入力信号を画像処理し、人物位置マップ
の区分単位に人物位置の確率を計算し、人物位置マップ
を完成させる。ステップS1とステップS2の処理は、
どちらも常時行っており、特にどちらが先というわけで
はない。2つのマップが完成すると、ステップS3で、
話者位置判定部3−3が、音源位置マップと人物位置マ
ップの対応する各区分の積を計算し、その積の最も大き
い区分を、話者位置と判定する。話者位置が特定出来る
と、ステップS4で、話者位置判定部3−3が、他の機
器に話者位置を渡す。
【0010】
【実施例1】図3は、本発明の実施例である。音声が発
生すると、マイクロホンアレイ1からの音声情報を、音
源位置検出部3−1が、検出範囲内の空間を一定間隔毎
に区切り、その区分単位に音源位置の存在する確率を計
算し、音源位置マップを作成する。マイクロホンアレイ
1からの音声情報により、音源のXYZ座標を求めるこ
とが可能である。
【0011】人物位置検出部3−2は、常時、センサ2
からの情報をもとに、検出範囲内の空間を一定間隔毎に
区切り、区分単位の人物位置の存在確率を求め、人物位
置マップを作成する。人物位置の検出は、テンプレート
マッチングを用いて検出する。センサ2には、超音波セ
ンサ2−2・赤外線センサ2−3・テレビカメラ2−4
のいづれか1つを使用し、センサ2は、回転台4の上に
載っている。超音波センサ2−2を使用する場合は、超
音波発信機2−1と組み合わせて使用する。
【0012】音源位置検出範囲が、センサの感知範囲よ
り広い場合は、話者位置判定部3−3が、回転台制御部
3−4に指示して、回転台4を回転させてその回転角度
を感知範囲と対応づけ、音源位置検出範囲とセンサの感
知範囲を合わせることにより、センサの死角を無くす。
音源位置マップと人物位置マップは、同一の空間に対応
しており、一定間隔毎に区切られている。その各区分は
1対1に対応している。
【0013】音源位置マップと人物位置マップの作成が
完了すると、話者位置判定部3−3は、マップの各区分
単位に2つのマップの確率の積を求め、その積が最大の
区分を話者位置と特定する。但し、キャリブレーション
機能が、話者位置判定部3−3にある場合は、表示装置
6にセンサからの入力画像と話者位置と判定した部分を
表示し、人の判断により、話者位置が妥当かどうか判断
し、正しい話者位置を入力装置5から入力することが出
来る。話者位置判定部3−3は、特定した話者位置の情
報を、他の機器に渡す。
【0014】他の機器としては、例えば、テレビ会議シ
ステムが考えられ、話者位置情報をもとに、テレビ会議
の情報入力カメラの選択・切替え、回転、ズーム等を制
御することや、話者の音声のみを強調することや、話者
方向にディスプレイを向けること等が可能となる。前述
の実施例では、音源位置マップと人物位置マップを完全
に作成し、マップの全ての区分について、話者位置の確
率を計算しているが、必ずしも全ての区分の確率を計算
する必要はない。例えば、マイクロホンアレイを使用し
た音源位置の検出により、音源位置を求め、センサの人
物位置検出を該音源位置から一定の範囲内のマップの区
分に絞って検出することにより、話者位置の検出精度を
殆ど落とすことなく、高速に処理することが可能であ
る。反対に、センサの人物位置検出を先に行い、検出し
た人物位置周辺に絞って、音源位置の確率を求め、話者
位置を特定することも考えられるが、この場合は、処理
時間のかかるセンサによる画像処理を先に行うため、処
理の高速化はあまり望めない。
【0015】また、別の方法として、前記のように、マ
ップを3次元の空間を区切って作成するのではなく、処
理の高速化のため、人物位置マップは、2次元のXY平
面で作成し、音源位置マップは、Z軸の方向を求め、そ
の交点を話者位置と特定することも可能である。
【0016】
【発明の効果】本発明では、マイクロホンアレイによる
音源位置の検出情報と、センサの入力信号を処理するこ
とによる人物位置の検出情報の2つの情報を合わせて判
断することにより、従来より精度の高い話者位置を検出
することを可能にすると同時に、従来では出来なかった
移動中の話者や画像で唇が検出出来ない場合の話者の特
定を可能とした。また、センサに回転台を取り付けるこ
とにより、話者がセンサの死角にいる場合も、回転台を
回転することにより、話者の位置を確定出来るようにし
た。
【図面の簡単な説明】
【図1】 本発明の基本構成図
【図2】 処理概要フローチャート
【図3】 本発明の実施例
【符号の説明】
1 マイクロホンアレイ 2 画像入力用のセンサ 2−1 超音波発生装置 2−2 超音波センサ 2−3 赤外線センサ 2−4 テレビカメラ 3 制御部 3−1 音源位置検出部 3−2 人物位置検出部 3−3 話者位置判定部 3−4 カメラ制御部 4 回転台 5 キーボード・マウス等の入力装置 6 ディスプレイ等の表示装置

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 テレビカメラ・超音波センサ・赤外線セ
    ンサ等のいづれか1つのセンサからの入力信号を処理
    し、人物位置を検出する手段と、マイクロホンアレイか
    らの入力信号を処理し、音源位置を検出する手段と、前
    記2種類の情報を合わせて処理することにより、話者位
    置を判定する手段を有し、感知範囲内の任意の位置の話
    者を検出可能とすることを特徴とする話者位置検出装
    置。
  2. 【請求項2】請求項1において、センサから見た感知範
    囲内の水平方向をX、鉛直方向をY、奥行き方向をZと
    した時、話者位置検出手段として、画像でXY方向の位
    置を、音源によりZ方向の位置を求め、話者位置を検出
    することを特徴とする話者位置検出装置。
  3. 【請求項3】請求項1において、センサを回転可能とす
    ることにより、センサの死角に話者がいても、音源位置
    をもとにセンサを回転させることにより、死角にいる話
    者の検出も可能としたことを特徴とする話者位置検出装
    置。
JP9193630A 1997-07-18 1997-07-18 話者位置検出装置 Withdrawn JPH1141577A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9193630A JPH1141577A (ja) 1997-07-18 1997-07-18 話者位置検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9193630A JPH1141577A (ja) 1997-07-18 1997-07-18 話者位置検出装置

Publications (1)

Publication Number Publication Date
JPH1141577A true JPH1141577A (ja) 1999-02-12

Family

ID=16311147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9193630A Withdrawn JPH1141577A (ja) 1997-07-18 1997-07-18 話者位置検出装置

Country Status (1)

Country Link
JP (1) JPH1141577A (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000077537A1 (fr) * 1999-06-11 2000-12-21 Japan Science And Technology Corporation Procede et appareil de determination d'une source sonore
WO2001095314A1 (fr) * 2000-06-09 2001-12-13 Japan Science And Technology Corporation Dispositif et systeme acoustiques robotises
WO2002008782A1 (de) * 2000-07-20 2002-01-31 Robert Bosch Gmbh Verfahren zur akustischen ortung von personen in einem detektionsraum
US6516066B2 (en) 2000-04-11 2003-02-04 Nec Corporation Apparatus for detecting direction of sound source and turning microphone toward sound source
US6583723B2 (en) 2001-02-23 2003-06-24 Fujitsu Limited Human interface system using a plurality of sensors
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム
JP2004126784A (ja) * 2002-09-30 2004-04-22 P To Pa:Kk 画像表示装置、画像表示方法及びプログラム
JP2004126941A (ja) * 2002-10-02 2004-04-22 P To Pa:Kk 画像表示装置、画像表示方法及びプログラム
US6795558B2 (en) * 1997-06-26 2004-09-21 Fujitsu Limited Microphone array apparatus
JP2005141687A (ja) * 2003-11-10 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> 物体追跡方法、物体追跡装置、物体追跡システム、プログラム、および、記録媒体
JP2006245725A (ja) * 2005-03-01 2006-09-14 Yamaha Corp マイクロフォンシステム
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP2008113164A (ja) * 2006-10-30 2008-05-15 Yamaha Corp 通信装置
JP2008145574A (ja) * 2006-12-07 2008-06-26 Nec Access Technica Ltd 音源方向推定装置、音源方向推定方法、及びロボット装置
JP2009517936A (ja) * 2005-11-30 2009-04-30 ノエミ バレンズエラ ミリアム 時変性の指向特性を有する音源を録音および再生する方法
JP2010010857A (ja) * 2008-06-25 2010-01-14 Oki Electric Ind Co Ltd 音声入力ロボット、遠隔会議支援システム、遠隔会議支援方法
JP2010251916A (ja) * 2009-04-13 2010-11-04 Nec Casio Mobile Communications Ltd 音データ処理装置、及び、プログラム
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
JP2011071702A (ja) * 2009-09-25 2011-04-07 Fujitsu Ltd 収音処理装置、収音処理方法、及びプログラム
US8249298B2 (en) 2006-10-19 2012-08-21 Polycom, Inc. Ultrasonic camera tracking system and associated methods
JP2014511476A (ja) * 2011-02-10 2014-05-15 アトラス・コプコ・インダストリアル・テクニーク・アクチボラグ 物体の位置を求める位置決めシステム
JP2018501671A (ja) * 2015-11-27 2018-01-18 シャオミ・インコーポレイテッド カメラヘッド撮影角度調整方法および装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795558B2 (en) * 1997-06-26 2004-09-21 Fujitsu Limited Microphone array apparatus
WO2000077537A1 (fr) * 1999-06-11 2000-12-21 Japan Science And Technology Corporation Procede et appareil de determination d'une source sonore
US7035418B1 (en) 1999-06-11 2006-04-25 Japan Science And Technology Agency Method and apparatus for determining sound source
US6516066B2 (en) 2000-04-11 2003-02-04 Nec Corporation Apparatus for detecting direction of sound source and turning microphone toward sound source
US7215786B2 (en) 2000-06-09 2007-05-08 Japan Science And Technology Agency Robot acoustic device and robot acoustic system
WO2001095314A1 (fr) * 2000-06-09 2001-12-13 Japan Science And Technology Corporation Dispositif et systeme acoustiques robotises
WO2002008782A1 (de) * 2000-07-20 2002-01-31 Robert Bosch Gmbh Verfahren zur akustischen ortung von personen in einem detektionsraum
US7224809B2 (en) 2000-07-20 2007-05-29 Robert Bosch Gmbh Method for the acoustic localization of persons in an area of detection
US6583723B2 (en) 2001-02-23 2003-06-24 Fujitsu Limited Human interface system using a plurality of sensors
US6686844B2 (en) 2001-02-23 2004-02-03 Fujitsu Limited Human interface system using a plurality of sensors
JP2003189273A (ja) * 2001-12-20 2003-07-04 Sharp Corp 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
JP2004126784A (ja) * 2002-09-30 2004-04-22 P To Pa:Kk 画像表示装置、画像表示方法及びプログラム
JP2004126941A (ja) * 2002-10-02 2004-04-22 P To Pa:Kk 画像表示装置、画像表示方法及びプログラム
JP4490076B2 (ja) * 2003-11-10 2010-06-23 日本電信電話株式会社 物体追跡方法、物体追跡装置、プログラム、および、記録媒体
JP2005141687A (ja) * 2003-11-10 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> 物体追跡方法、物体追跡装置、物体追跡システム、プログラム、および、記録媒体
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US7536029B2 (en) 2004-09-30 2009-05-19 Samsung Electronics Co., Ltd. Apparatus and method performing audio-video sensor fusion for object localization, tracking, and separation
JP2006245725A (ja) * 2005-03-01 2006-09-14 Yamaha Corp マイクロフォンシステム
JP2009517936A (ja) * 2005-11-30 2009-04-30 ノエミ バレンズエラ ミリアム 時変性の指向特性を有する音源を録音および再生する方法
US8249298B2 (en) 2006-10-19 2012-08-21 Polycom, Inc. Ultrasonic camera tracking system and associated methods
JP2008113164A (ja) * 2006-10-30 2008-05-15 Yamaha Corp 通信装置
JP2008145574A (ja) * 2006-12-07 2008-06-26 Nec Access Technica Ltd 音源方向推定装置、音源方向推定方法、及びロボット装置
JP2010010857A (ja) * 2008-06-25 2010-01-14 Oki Electric Ind Co Ltd 音声入力ロボット、遠隔会議支援システム、遠隔会議支援方法
JP2010251916A (ja) * 2009-04-13 2010-11-04 Nec Casio Mobile Communications Ltd 音データ処理装置、及び、プログラム
JP2011071702A (ja) * 2009-09-25 2011-04-07 Fujitsu Ltd 収音処理装置、収音処理方法、及びプログラム
JP2014511476A (ja) * 2011-02-10 2014-05-15 アトラス・コプコ・インダストリアル・テクニーク・アクチボラグ 物体の位置を求める位置決めシステム
JP2018501671A (ja) * 2015-11-27 2018-01-18 シャオミ・インコーポレイテッド カメラヘッド撮影角度調整方法および装置
US10375296B2 (en) 2015-11-27 2019-08-06 Xiaomi Inc. Methods apparatuses, and storage mediums for adjusting camera shooting angle

Similar Documents

Publication Publication Date Title
JPH1141577A (ja) 話者位置検出装置
US10206030B2 (en) Microphone array system and microphone array control method
EP1715717B1 (en) Moving object equipped with ultra-directional speaker
JP3195920B2 (ja) 音源同定・分離装置及びその方法
CN111918018B (zh) 视频会议***、视频会议设备以及视频会议方法
US20020140804A1 (en) Method and apparatus for audio/image speaker detection and locator
CN109565629B (zh) 用于控制音频信号的处理的方法和装置
JP2004514359A (ja) 自動調整音響システム
KR101808714B1 (ko) 영상의 깊이 정보와 가상 터치 센서를 이용한 자동차 센터페시아 제어 방법
US20140086551A1 (en) Information processing apparatus and information processing method
EP2031905A2 (en) Sound processing apparatus and sound processing method thereof
JP2023024471A (ja) 情報処理装置および情報処理方法
CN113014844A (zh) 一种音频处理方法、装置、存储介质及电子设备
US11514108B2 (en) Content search
KR20130046759A (ko) 차량에서 운전자 명령 인지장치 및 방법
JPH11313272A (ja) 映像音声出力装置
US10638249B2 (en) Reproducing apparatus
US20230186642A1 (en) Object detection method
JP2016161626A (ja) 制御装置、プログラム、及び投影システム
JPH09182044A (ja) テレビ会議装置
JP2000041228A (ja) 話者位置検出装置
JP2019193108A (ja) 音響装置
JP2003078818A (ja) テロップ装置
US20230421983A1 (en) Systems and methods for orientation-responsive audio enhancement
US20230421984A1 (en) Systems and methods for dynamic spatial separation of sound objects

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20041005