CN1460185A - 用于音频/图像的说话者检测和定位的方法和装置 - Google Patents

用于音频/图像的说话者检测和定位的方法和装置 Download PDF

Info

Publication number
CN1460185A
CN1460185A CN02800828A CN02800828A CN1460185A CN 1460185 A CN1460185 A CN 1460185A CN 02800828 A CN02800828 A CN 02800828A CN 02800828 A CN02800828 A CN 02800828A CN 1460185 A CN1460185 A CN 1460185A
Authority
CN
China
Prior art keywords
video conference
sound
signal
picture signal
conference system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02800828A
Other languages
English (en)
Other versions
CN100370830C (zh
Inventor
A·科尔梅纳雷兹
H·J·斯特鲁贝
S·古塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1460185A publication Critical patent/CN1460185A/zh
Application granted granted Critical
Publication of CN100370830C publication Critical patent/CN100370830C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

一种用于电视会议***的方法和装置，其采用包括两个麦克风的阵列和一个静止照相机来自动地找出说话者的位置并电操作视频图像以产生可动的平移－倾斜－缩放(“PTZ”)照相机的效果。采用计算机视觉算法来检测、定位和追踪处于广角的静止照相机的视场中的人物。采用从只包括两个水平间隔开的麦克风的麦克风阵列中得到的估计声延迟来选择正在说话的人。此***还可检测任何可能的模糊性，在这种情况下***可以安全可靠的方式作出响应，例如它可以缩小以将处于同一水平位置的所有说话者包括在内。

Description

用于音频/图像的说话者检测和定位的方法和装置
发明背景
1.技术领域
本发明涉及一种用于电视会议***的方法和装置，其采用包括两个麦克风的阵列和一个静止照相机来自动地找出说话者的位置并电操作视频图像以产生可动的平移-倾斜-缩放(“PTZ”)照相机的效果。
2.相关技术
可确定声源相对于基准点的方向的电视会议***是已知的。电视会议***是一种视频显示***，其通常包括一个照相机、多个麦克风和一个显示器。一些电视会议***还具有将照相机指向说话者并进行适当的拍摄的能力。通常来说，电视会议***的用户引导照相机的运动以进行适当的拍摄。现有的商用电视会议***采用麦克风阵列来自动地找出说话者的位置并驱动平移-倾斜-缩放(“PTZ”)摄像机。例如可参见(1)题为“声源的定位”的国际专利申请WO99/60788，以及(2)1998年7月7日颁发给Chu等人的题为“用于声源定位的方法和装置”的美国专利No.5778082，这些文献均通过引用结合于本文中。
令人遗憾的是，采用与一个静止摄像机相结合而起作用的只包括二个麦克风的阵列来准确地检测、定位和追踪说话者存在着问题。因此，需要一种采用包括两个麦克风的阵列来自动地找出说话者的位置并随后采用一个静止摄像机来追踪说话者的用于电视会议***的方法和装置。
发明概要
采用计算机视觉算法来检测、定位和追踪处于广角静止摄像机的视场中的人物。采用从只包括两个水平间隔开的麦克风的麦克风阵列中得到的估计声延迟来选择正在说话的人。假定恰好在相同的水平位置处不会存在超过一个的说话者，那么两个麦克风之间的声延迟可提供足够的信息以明确地找出说话者的位置。本发明的***还可检测任何可能的模糊性，在这种情况下***可以安全可靠的方式作出响应。例如，它可以缩小以将处于同一水平位置的所有说话者包括在内。
在早期阶段进行音频和视频处理步骤，使得只需两个麦克风和一个静止摄像机来定位和追踪说话者。这种方法减小了对硬件和计算的要求，并提高了整个***的性能。例如，此方法允许电视会议***准确地追踪移动的人物，而不管他们是否说话。
在第一普遍的方面，本发明提供了一种电视会议***，包括：用于产生代表了图像的图像信号的摄像装置；用于产生代表了来自声源的声音的音频信号的拾音装置；以及用于处理所述图像信号和所述音频信号以确定声源相对于基准点的方向的多模式集成体系结构***。
在第二普遍的方面，本发明提供了一种方法，包括步骤：在摄像装置处产生代表了图像的图像信号；在拾音装置处产生代表了来自声源的声音的音频信号；处理图像信号和音频信号以确定声源相对于基准点的方向；操作图像信号以产生精确的图像信号；以及输出所述精确的图像信号。
在第三普遍的方面，本发明提供了一种电视会议***，包括：用于产生代表了来自说话者的声音的音频信号的两个麦克风；
用于产生代表了视频图像的视频信号的摄像机；用于操作视频图像以产生平移、倾斜和/或缩放的视觉效果的电子平移-倾斜-缩放***；用于处理视频信号和音频信号以确定说话者相对于基准点的方向并且为电子平移-倾斜-缩放***提供控制信号以产生包括了摄像机视场中的说话者在内的图像的处理器，所述控制信号基于所确定的说话者的方向来产生；和
用于发送电视会议所用的音频和视频信号的发送器。
附图简介
图1显示了根据本发明实施例的代表性电视会议***。
图2显示了根据本发明实施例的图1所示电视会议***的各个功能模块。
本发明的具体介绍
本发明公开了一种用于采用了一个拾音装置如包括两个麦克风的麦克风阵列和一个静止的摄像装置如摄像机的电视会议***的装置及相关方法。本发明的电视会议***能够采用与一个静止摄像机相结合而起作用的只包括二个麦克风的阵列来准确地检测、定位和追踪说话者。
现在参考附图并从图1开始，其中显示了一个代表性的电视会议***100。电视会议***100包括一个静止的摄像机210和一个包括两个麦克风的水平阵列230，其包括第一麦克风231和第二麦克风232，它们相互间隔开预定的距离d并以预定的几何形状来固定。
简短地说，在操作过程中，电视会议***100接收来自说话者(未示出)的声波，并将声波转换成音频信号。电视会议***100还通过静止的摄像机210捕捉说话者的视频图像。电视会议***100采用音频信号和视频图像来确定说话者相对于基准点如摄像机210的位置。根据那个方向，电视会议***100可随后电控制视频图像以有效地平移、倾斜或缩放来自静止摄像机210的视频图像，从而得到说话者的更佳的图像。
通常来说，说话者相对于摄像机210的位置可由两个值来表征：说话者相对于静止摄像机210的方向，其可表示为一个矢量，以及说话者离静止摄像机210的距离。很清楚，通过电模仿静止摄像机210的平移或倾斜操作，可将说话者相对于静止摄像机210的方向用于有效地将静止摄像机210指向说话者，另外，说话者离静止摄像机210的距离可用于电模仿静止摄像机210的缩放操作。
应当注意的是，在电视会议***100中，构成电视会议***100的各个部件和电路均容纳于图1所示的集成外壳110中。集成外壳110设计成可容纳电视会议***100的所有部件和电路。另外，集成外壳110的大小还应适于由人容易地携带。在这样一个实施例中，部件和电路可设计成能承受人的搬运，并还具有“即插即用”的性能，这样电视会议***可在新的环境下迅速地安装并使用。
图2示意性地显示了图1所示电视会议***100的功能模块。麦克风231，232和静止摄像机210分别为多模式集成体系结构模块270提供音频信号235和视频信号215。多模式集成体系结构模块270包括声源定位模块240、计算机视觉人物检测模块250和多模式说话者检测模块260。电子平移-倾斜-缩放(EPZT)控制信号从多模式说话者检测模块260中输出，并被提供给电子平移-倾斜-缩放***模块220。
典型的多模式集成体系结构模块的操作方法及相关结构公开于(1)2000年11月22日提交的题为“候选级多模式集成***”的美国专利申请09/718255；以及(2)2000年4月13日提交的题为“在电视会议和其它应用中采用复合视频和音频信息来追踪移动物体的方法和装置”的美国专利申请09/548734，这些专利均被转让给本发明的受让人(代理人档案号分别为PHUS000293和PHUS000103)，并且均通过引用结合于本文中。
静止摄像机210不需要与在典型的非静止摄像机或典型的摄像机安装基座上进行的已知的平移、倾斜或缩放操作有关的移动部件。根据需要，通过用电子平移-倾斜-缩放***模块220来电模仿这些功能，可以实现平移、倾斜或缩放功能。因此，与现有的电视会议***相比，本发明的电视会议***100代表了更大程度的简化。
虽然这里为说明目的而介绍了本发明的实施例，但是对本领域的技术人员来说很明显，可以对其进行许多修改和变化。因此，所附权利要求预期包括了属于本发明的精神实质和范围内的所有这些修改和变化。

Claims (12)

1.一种电视会议***(100)，包括：
用于产生代表了图像的图像信号的摄像装置(210)；
用于产生代表了来自声源的声音的音频信号的拾音装置(230)；和
用于处理所述图像信号和所述音频信号以确定所述声源相对于基准点的方向的多模式集成体系结构***(270)。
2.根据权利要求1所述的电视会议***(100)，其特征在于，所述多模式集成体系结构***(270)还包括：
声源定位***(240)；
计算机视觉人物检测***(250)；和
多模式说话者检测***(260)。
3.根据权利要求2所述的电视会议***(100)，其特征在于，所述***还包括用于所述集成电视会议***(100)的集成外壳(110)，其中容纳了所述摄像装置(210)、所述拾音装置(230)和所述多模式集成体系结构***(270)。
4.根据权利要求3所述的电视会议***(100)，其特征在于，所述集成外壳(110)的大小适于携带。
5.根据权利要求2所述的电视会议***(100)，其特征在于，所述***还包括电子平移-倾斜-缩放***(220)，用于电操作所述图像信号以有效地提供可调节的平移、倾斜和缩放功能中的至少一项。
6.根据权利要求5所述的电视会议***(100)，其特征在于，所述摄像装置(210)为静止的照相机(210)。
7.根据权利要求5所述的电视会议***(100)，其特征在于，所述多模式集成体系结构***(270)为所述电子平移-倾斜-缩放***(220)提供控制信号。
8.根据权利要求7所述的电视会议***(100)，其特征在于，所述声源相对于所述基准点运动，所述声源定位***(240)检测所述声源的运动，并且所述声源定位***(240)响应于此运动而使所述摄像装置(210)的视场发生变化。
9.根据权利要求5所述的电视会议***(100)，其特征在于，所述拾音装置(230)包括具有两个麦克风(231，232)的阵列。
10.一种方法，包括步骤：
在摄像装置(210)处产生代表了图像的图像信号；
在拾音装置(230)处产生代表了来自声源的声音的音频信号；
处理所述图像信号和音频信号以确定所述声源相对于基准点的方向；
操作所述图像信号以产生精确的图像信号；和
输出所述精确的图像信号。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括步骤：
将所述音频信号施加在声源定位***(240)上；
将所述图像信号施加在计算机视觉人物检测***(250)上；
用多模式说话者检测***(260)来处理所述音频信号和所述图像信号；
根据所确定的所述声源的方向来产生控制信号；
将所述控制信号施加在电子平移-倾斜-缩放***(220)上以模仿可动照相机的至少一项功能的效果，所述功能从包括平移、倾斜和缩放所述可动照相机的组中选择；和
提供来自所述电子平移-倾斜-缩放***(220)的输出。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括响应于所述控制信号而电改变所述摄像装置(210)的视场。
CNB028008286A 2001-03-30 2002-03-15 用于音频/图像的说话者检测和定位的方法和装置 Expired - Fee Related CN100370830C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/822,121 US20020140804A1 (en) 2001-03-30 2001-03-30 Method and apparatus for audio/image speaker detection and locator
US09/822,121 2001-03-30

Publications (2)

Publication Number Publication Date
CN1460185A true CN1460185A (zh) 2003-12-03
CN100370830C CN100370830C (zh) 2008-02-20

Family

ID=25235199

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028008286A Expired - Fee Related CN100370830C (zh) 2001-03-30 2002-03-15 用于音频/图像的说话者检测和定位的方法和装置

Country Status (5)

Country Link
US (1) US20020140804A1 (zh)
EP (1) EP1377847A2 (zh)
JP (1) JP2004528766A (zh)
CN (1) CN100370830C (zh)
WO (1) WO2002079792A2 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703118A (zh) * 2004-05-26 2005-11-30 本田研究所欧洲有限公司 基于立体声信号的声源定位
CN100442837C (zh) * 2006-07-25 2008-12-10 华为技术有限公司 一种具有声音位置信息的视频通讯***及其获取方法
CN100459685C (zh) * 2004-04-20 2009-02-04 索尼株式会社 信息处理设备、成像设备及信息处理方法
WO2010072075A1 (zh) * 2008-12-26 2010-07-01 华为终端有限公司 视频通信的方法、装置及***
CN101611625B (zh) * 2007-03-05 2011-04-13 松下电器产业株式会社 自动跟踪装置和自动跟踪方法
CN102160398A (zh) * 2008-07-31 2011-08-17 诺基亚公司 电子设备定向音频视频采集
CN101785306B (zh) * 2007-07-13 2012-07-18 思科***国际公司 用于自动摄像机控制的方法和***
CN101690149B (zh) * 2007-05-22 2012-12-12 艾利森电话股份有限公司 用于群组声音远程通信的方法和装置
CN101533090B (zh) * 2008-03-14 2013-03-13 华为终端有限公司 一种阵列麦克的声音定位方法和装置
CN103703465A (zh) * 2011-08-08 2014-04-02 谷歌公司 与媒体内的对象相关联的情感信息
CN104269172A (zh) * 2014-07-31 2015-01-07 广东美的制冷设备有限公司 基于视频定位的语音控制方法和***
CN106597378A (zh) * 2016-12-26 2017-04-26 大连民族大学 机器人声源定位学习中视觉示教声源角度的方法
CN106653041A (zh) * 2017-01-17 2017-05-10 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
CN106842131A (zh) * 2017-03-17 2017-06-13 浙江宇视科技有限公司 麦克风阵列声源定位方法及装置
CN107820037A (zh) * 2016-09-14 2018-03-20 南京中兴新软件有限责任公司 音频信号、图像处理的方法、装置和***
CN108156568A (zh) * 2013-12-18 2018-06-12 刘璟锋 助听***与助听***的语音撷取方法
CN111034221A (zh) * 2017-09-08 2020-04-17 松下知识产权经营株式会社 拾音装置、拾音***、拾音方法、程序以及校准方法
US10904658B2 (en) 2008-07-31 2021-01-26 Nokia Technologies Oy Electronic device directional audio-video capture

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10320274A1 (de) * 2003-05-07 2004-12-09 Sennheiser Electronic Gmbh & Co. Kg System zur ortssensitiven Wiedergabe von Audiosignalen
JP2005086365A (ja) * 2003-09-05 2005-03-31 Sony Corp 通話装置、会議装置および撮像条件調整方法
EP1705911A1 (en) * 2005-03-24 2006-09-27 Alcatel Video conference system
US8457614B2 (en) 2005-04-07 2013-06-04 Clearone Communications, Inc. Wireless multi-unit conference phone
JP4965847B2 (ja) * 2005-10-27 2012-07-04 ヤマハ株式会社 音声信号送受信装置
US7864210B2 (en) * 2005-11-18 2011-01-04 International Business Machines Corporation System and methods for video conferencing
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的***和方法
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
US7948513B2 (en) * 2006-09-15 2011-05-24 Rockefeller Alfred G Teleconferencing between various 4G wireless entities such as mobile terminals and fixed terminals including laptops and television receivers fitted with a special wireless 4G interface
JP4420056B2 (ja) * 2007-04-20 2010-02-24 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム
US8570373B2 (en) 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
US20090172756A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Lighting analysis and recommender system for video telephony
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
CN101610360A (zh) * 2008-06-19 2009-12-23 鸿富锦精密工业（深圳）有限公司 自动追踪声源的摄像装置
US8314829B2 (en) 2008-08-12 2012-11-20 Microsoft Corporation Satellite microphones for improved speaker detection and zoom
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US20100085415A1 (en) * 2008-10-02 2010-04-08 Polycom, Inc Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference
US8358328B2 (en) * 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
US8390663B2 (en) * 2009-01-29 2013-03-05 Hewlett-Packard Development Company, L.P. Updating a local view
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
KR20110012584A (ko) * 2009-07-31 2011-02-09 삼성전자주식회사 초음파 기반 3차원 위치 추정 장치 및 방법
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8248448B2 (en) 2010-05-18 2012-08-21 Polycom, Inc. Automatic camera framing for videoconferencing
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US9723260B2 (en) 2010-05-18 2017-08-01 Polycom, Inc. Voice tracking camera with speaker identification
US8842161B2 (en) 2010-05-18 2014-09-23 Polycom, Inc. Videoconferencing system having adjunct camera for auto-framing and tracking
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
KR101750338B1 (ko) * 2010-09-13 2017-06-23 삼성전자주식회사 마이크의 빔포밍 수행 방법 및 장치
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN102890267B (zh) * 2012-09-18 2014-03-19 中国科学院上海微***与信息技术研究所 一种传声器阵列结构可变的低空目标定位与跟踪***
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US8957940B2 (en) 2013-03-11 2015-02-17 Cisco Technology, Inc. Utilizing a smart camera system for immersive telepresence
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
EP3151534A1 (en) 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
US9769419B2 (en) 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
WO2018198790A1 (ja) * 2017-04-26 2018-11-01 ソニー株式会社 コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
FR3074584A1 (fr) * 2017-12-05 2019-06-07 Orange Traitement de donnees d'une sequence video pour un zoom sur un locuteur detecte dans la sequence
JP2019186630A (ja) 2018-04-03 2019-10-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN112866617A (zh) * 2019-11-28 2021-05-28 中强光电股份有限公司 视频会议设备以及视频会议方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4581758A (en) * 1983-11-04 1986-04-08 At&T Bell Laboratories Acoustic direction identification system
JPH0771279B2 (ja) * 1988-08-17 1995-07-31 富士通株式会社 テレビ会議用画像処理装置
AU645431B2 (en) * 1991-07-15 1994-01-13 Hitachi Limited Teleconference terminal equipment
DE69326751T2 (de) * 1992-08-27 2000-05-11 Kabushiki Kaisha Toshiba, Kawasaki Bewegtbildkodierer
KR940021467U (ko) * 1993-02-08 1994-09-24 푸쉬-풀 사운드 캐취 마이크로폰
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
US6731334B1 (en) * 1995-07-31 2004-05-04 Forgent Networks, Inc. Automatic voice tracking camera system and method of operation
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
US6005610A (en) * 1998-01-23 1999-12-21 Lucent Technologies Inc. Audio-visual object localization and tracking system and method therefor
US6198693B1 (en) * 1998-04-13 2001-03-06 Andrea Electronics Corporation System and method for finding the direction of a wave source using an array of sensors
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6704048B1 (en) * 1998-08-27 2004-03-09 Polycom, Inc. Adaptive electronic zoom control

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100459685C (zh) * 2004-04-20 2009-02-04 索尼株式会社 信息处理设备、成像设备及信息处理方法
CN1703118A (zh) * 2004-05-26 2005-11-30 本田研究所欧洲有限公司 基于立体声信号的声源定位
CN1703118B (zh) * 2004-05-26 2013-05-08 本田研究所欧洲有限公司 基于立体声信号的声源定位方法和装置
CN100442837C (zh) * 2006-07-25 2008-12-10 华为技术有限公司 一种具有声音位置信息的视频通讯***及其获取方法
CN101611625B (zh) * 2007-03-05 2011-04-13 松下电器产业株式会社 自动跟踪装置和自动跟踪方法
CN101690149B (zh) * 2007-05-22 2012-12-12 艾利森电话股份有限公司 用于群组声音远程通信的方法和装置
CN101785306B (zh) * 2007-07-13 2012-07-18 思科***国际公司 用于自动摄像机控制的方法和***
CN101533090B (zh) * 2008-03-14 2013-03-13 华为终端有限公司 一种阵列麦克的声音定位方法和装置
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
CN102160398A (zh) * 2008-07-31 2011-08-17 诺基亚公司 电子设备定向音频视频采集
CN103475976A (zh) * 2008-07-31 2013-12-25 诺基亚公司 电子设备定向音频视频采集
CN102160398B (zh) * 2008-07-31 2017-04-05 诺基亚技术有限公司 电子设备定向音频视频采集
CN103475976B (zh) * 2008-07-31 2017-04-12 诺基亚技术有限公司 电子设备定向音频视频采集
US10904658B2 (en) 2008-07-31 2021-01-26 Nokia Technologies Oy Electronic device directional audio-video capture
US9668077B2 (en) 2008-07-31 2017-05-30 Nokia Technologies Oy Electronic device directional audio-video capture
US8730296B2 (en) 2008-12-26 2014-05-20 Huawei Device Co., Ltd. Method, device, and system for video communication
WO2010072075A1 (zh) * 2008-12-26 2010-07-01 华为终端有限公司 视频通信的方法、装置及***
CN103703465A (zh) * 2011-08-08 2014-04-02 谷歌公司 与媒体内的对象相关联的情感信息
CN108156568A (zh) * 2013-12-18 2018-06-12 刘璟锋 助听***与助听***的语音撷取方法
CN104269172A (zh) * 2014-07-31 2015-01-07 广东美的制冷设备有限公司 基于视频定位的语音控制方法和***
CN107820037A (zh) * 2016-09-14 2018-03-20 南京中兴新软件有限责任公司 音频信号、图像处理的方法、装置和***
CN107820037B (zh) * 2016-09-14 2021-03-26 中兴通讯股份有限公司 音频信号、图像处理的方法、装置和***
CN106597378B (zh) * 2016-12-26 2019-02-12 大连民族大学 机器人声源定位学习中视觉示教声源角度的方法
CN106597378A (zh) * 2016-12-26 2017-04-26 大连民族大学 机器人声源定位学习中视觉示教声源角度的方法
CN106653041A (zh) * 2017-01-17 2017-05-10 北京地平线信息技术有限公司 音频信号处理设备、方法和电子设备
CN106842131A (zh) * 2017-03-17 2017-06-13 浙江宇视科技有限公司 麦克风阵列声源定位方法及装置
CN106842131B (zh) * 2017-03-17 2019-10-18 浙江宇视科技有限公司 麦克风阵列声源定位方法及装置
CN111034221A (zh) * 2017-09-08 2020-04-17 松下知识产权经营株式会社 拾音装置、拾音***、拾音方法、程序以及校准方法

Also Published As

Publication number Publication date
WO2002079792A2 (en) 2002-10-10
EP1377847A2 (en) 2004-01-07
US20020140804A1 (en) 2002-10-03
JP2004528766A (ja) 2004-09-16
WO2002079792A3 (en) 2002-12-05
CN100370830C (zh) 2008-02-20

Similar Documents

Publication Publication Date Title
CN100370830C (zh) 用于音频/图像的说话者检测和定位的方法和装置
US5940118A (en) System and method for steering directional microphones
US6275258B1 (en) Voice responsive image tracking system
Nakadai et al. Active audition for humanoid
US6005610A (en) Audio-visual object localization and tracking system and method therefor
EP2538236B1 (en) Automatic camera selection for videoconferencing
US9445193B2 (en) Electronic device directional audio capture
US6535610B1 (en) Directional microphone utilizing spaced apart omni-directional microphones
KR101612704B1 (ko) 다중음원 위치 추적장치 및 그 방법
CA2491849C (en) System and method of self-discovery and self-calibration in a video conferencing system
CN103210643A (zh) 用于使用多个传感器来追踪视频会议中的音频源的方法和装置
JP2003532348A (ja) ビデオ会議及び他の応用において、結合されたビデオ及びオーディオ情報を使用して移動物体を追尾するための方法及び装置
CN104349040B (zh) 用于视频会议***中的摄像机底座及其方法
JP4411959B2 (ja) 音声集音・映像撮像装置
KR20210035725A (ko) 혼합 오디오 신호를 저장하고 지향성 오디오를 재생하기 위한 방법 및 시스템
US6959095B2 (en) Method and apparatus for providing multiple output channels in a microphone
Nakadai et al. Sound source tracking with directivity pattern estimation using a 64 ch microphone array
JP2009049734A (ja) カメラ付きマイクロフォン、カメラ付きマイクロフォンの制御プログラムおよびテレビ会議システム
JPH06351015A (ja) テレビジョン会議システム用の撮像システム
JP4479227B2 (ja) 音声集音・映像撮像装置および撮像条件決定方法
CN118202641A (zh) 用于房间智能的会议***及方法
EP1266538B1 (en) Spatial sound steering system
JP7361460B2 (ja) コミュニケーション装置、コミュニケーションプログラム、及びコミュニケーション方法
KR100195724B1 (ko) 화상회의 시스템에서의 영상카메라 조정방법 및 그 장치
Wilson et al. Audiovisual arrays for untethered spoken interfaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080220

Termination date: 20110315