CN1460185A - 用于音频/图像的说话者检测和定位的方法和装置 - Google Patents
用于音频/图像的说话者检测和定位的方法和装置 Download PDFInfo
- Publication number
- CN1460185A CN1460185A CN02800828A CN02800828A CN1460185A CN 1460185 A CN1460185 A CN 1460185A CN 02800828 A CN02800828 A CN 02800828A CN 02800828 A CN02800828 A CN 02800828A CN 1460185 A CN1460185 A CN 1460185A
- Authority
- CN
- China
- Prior art keywords
- video conference
- sound
- signal
- picture signal
- conference system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
一种用于电视会议***的方法和装置,其采用包括两个麦克风的阵列和一个静止照相机来自动地找出说话者的位置并电操作视频图像以产生可动的平移-倾斜-缩放(“PTZ”)照相机的效果。采用计算机视觉算法来检测、定位和追踪处于广角的静止照相机的视场中的人物。采用从只包括两个水平间隔开的麦克风的麦克风阵列中得到的估计声延迟来选择正在说话的人。此***还可检测任何可能的模糊性,在这种情况下***可以安全可靠的方式作出响应,例如它可以缩小以将处于同一水平位置的所有说话者包括在内。
Description
发明背景
1.技术领域
本发明涉及一种用于电视会议***的方法和装置,其采用包括两个麦克风的阵列和一个静止照相机来自动地找出说话者的位置并电操作视频图像以产生可动的平移-倾斜-缩放(“PTZ”)照相机的效果。
2.相关技术
可确定声源相对于基准点的方向的电视会议***是已知的。电视会议***是一种视频显示***,其通常包括一个照相机、多个麦克风和一个显示器。一些电视会议***还具有将照相机指向说话者并进行适当的拍摄的能力。通常来说,电视会议***的用户引导照相机的运动以进行适当的拍摄。现有的商用电视会议***采用麦克风阵列来自动地找出说话者的位置并驱动平移-倾斜-缩放(“PTZ”)摄像机。例如可参见(1)题为“声源的定位”的国际专利申请WO99/60788,以及(2)1998年7月7日颁发给Chu等人的题为“用于声源定位的方法和装置”的美国专利No.5778082,这些文献均通过引用结合于本文中。
令人遗憾的是,采用与一个静止摄像机相结合而起作用的只包括二个麦克风的阵列来准确地检测、定位和追踪说话者存在着问题。因此,需要一种采用包括两个麦克风的阵列来自动地找出说话者的位置并随后采用一个静止摄像机来追踪说话者的用于电视会议***的方法和装置。
发明概要
采用计算机视觉算法来检测、定位和追踪处于广角静止摄像机的视场中的人物。采用从只包括两个水平间隔开的麦克风的麦克风阵列中得到的估计声延迟来选择正在说话的人。假定恰好在相同的水平位置处不会存在超过一个的说话者,那么两个麦克风之间的声延迟可提供足够的信息以明确地找出说话者的位置。本发明的***还可检测任何可能的模糊性,在这种情况下***可以安全可靠的方式作出响应。例如,它可以缩小以将处于同一水平位置的所有说话者包括在内。
在早期阶段进行音频和视频处理步骤,使得只需两个麦克风和一个静止摄像机来定位和追踪说话者。这种方法减小了对硬件和计算的要求,并提高了整个***的性能。例如,此方法允许电视会议***准确地追踪移动的人物,而不管他们是否说话。
在第一普遍的方面,本发明提供了一种电视会议***,包括:用于产生代表了图像的图像信号的摄像装置;用于产生代表了来自声源的声音的音频信号的拾音装置;以及用于处理所述图像信号和所述音频信号以确定声源相对于基准点的方向的多模式集成体系结构***。
在第二普遍的方面,本发明提供了一种方法,包括步骤:在摄像装置处产生代表了图像的图像信号;在拾音装置处产生代表了来自声源的声音的音频信号;处理图像信号和音频信号以确定声源相对于基准点的方向;操作图像信号以产生精确的图像信号;以及输出所述精确的图像信号。
在第三普遍的方面,本发明提供了一种电视会议***,包括:用于产生代表了来自说话者的声音的音频信号的两个麦克风;
用于产生代表了视频图像的视频信号的摄像机;用于操作视频图像以产生平移、倾斜和/或缩放的视觉效果的电子平移-倾斜-缩放***;用于处理视频信号和音频信号以确定说话者相对于基准点的方向并且为电子平移-倾斜-缩放***提供控制信号以产生包括了摄像机视场中的说话者在内的图像的处理器,所述控制信号基于所确定的说话者的方向来产生;和
用于发送电视会议所用的音频和视频信号的发送器。
附图简介
图1显示了根据本发明实施例的代表性电视会议***。
图2显示了根据本发明实施例的图1所示电视会议***的各个功能模块。
本发明的具体介绍
本发明公开了一种用于采用了一个拾音装置如包括两个麦克风的麦克风阵列和一个静止的摄像装置如摄像机的电视会议***的装置及相关方法。本发明的电视会议***能够采用与一个静止摄像机相结合而起作用的只包括二个麦克风的阵列来准确地检测、定位和追踪说话者。
现在参考附图并从图1开始,其中显示了一个代表性的电视会议***100。电视会议***100包括一个静止的摄像机210和一个包括两个麦克风的水平阵列230,其包括第一麦克风231和第二麦克风232,它们相互间隔开预定的距离d并以预定的几何形状来固定。
简短地说,在操作过程中,电视会议***100接收来自说话者(未示出)的声波,并将声波转换成音频信号。电视会议***100还通过静止的摄像机210捕捉说话者的视频图像。电视会议***100采用音频信号和视频图像来确定说话者相对于基准点如摄像机210的位置。根据那个方向,电视会议***100可随后电控制视频图像以有效地平移、倾斜或缩放来自静止摄像机210的视频图像,从而得到说话者的更佳的图像。
通常来说,说话者相对于摄像机210的位置可由两个值来表征:说话者相对于静止摄像机210的方向,其可表示为一个矢量,以及说话者离静止摄像机210的距离。很清楚,通过电模仿静止摄像机210的平移或倾斜操作,可将说话者相对于静止摄像机210的方向用于有效地将静止摄像机210指向说话者,另外,说话者离静止摄像机210的距离可用于电模仿静止摄像机210的缩放操作。
应当注意的是,在电视会议***100中,构成电视会议***100的各个部件和电路均容纳于图1所示的集成外壳110中。集成外壳110设计成可容纳电视会议***100的所有部件和电路。另外,集成外壳110的大小还应适于由人容易地携带。在这样一个实施例中,部件和电路可设计成能承受人的搬运,并还具有“即插即用”的性能,这样电视会议***可在新的环境下迅速地安装并使用。
图2示意性地显示了图1所示电视会议***100的功能模块。麦克风231,232和静止摄像机210分别为多模式集成体系结构模块270提供音频信号235和视频信号215。多模式集成体系结构模块270包括声源定位模块240、计算机视觉人物检测模块250和多模式说话者检测模块260。电子平移-倾斜-缩放(EPZT)控制信号从多模式说话者检测模块260中输出,并被提供给电子平移-倾斜-缩放***模块220。
典型的多模式集成体系结构模块的操作方法及相关结构公开于(1)2000年11月22日提交的题为“候选级多模式集成***”的美国专利申请09/718255;以及(2)2000年4月13日提交的题为“在电视会议和其它应用中采用复合视频和音频信息来追踪移动物体的方法和装置”的美国专利申请09/548734,这些专利均被转让给本发明的受让人(代理人档案号分别为PHUS000293和PHUS000103),并且均通过引用结合于本文中。
静止摄像机210不需要与在典型的非静止摄像机或典型的摄像机安装基座上进行的已知的平移、倾斜或缩放操作有关的移动部件。根据需要,通过用电子平移-倾斜-缩放***模块220来电模仿这些功能,可以实现平移、倾斜或缩放功能。因此,与现有的电视会议***相比,本发明的电视会议***100代表了更大程度的简化。
虽然这里为说明目的而介绍了本发明的实施例,但是对本领域的技术人员来说很明显,可以对其进行许多修改和变化。因此,所附权利要求预期包括了属于本发明的精神实质和范围内的所有这些修改和变化。
Claims (12)
1.一种电视会议***(100),包括:
用于产生代表了图像的图像信号的摄像装置(210);
用于产生代表了来自声源的声音的音频信号的拾音装置(230);和
用于处理所述图像信号和所述音频信号以确定所述声源相对于基准点的方向的多模式集成体系结构***(270)。
2.根据权利要求1所述的电视会议***(100),其特征在于,所述多模式集成体系结构***(270)还包括:
声源定位***(240);
计算机视觉人物检测***(250);和
多模式说话者检测***(260)。
3.根据权利要求2所述的电视会议***(100),其特征在于,所述***还包括用于所述集成电视会议***(100)的集成外壳(110),其中容纳了所述摄像装置(210)、所述拾音装置(230)和所述多模式集成体系结构***(270)。
4.根据权利要求3所述的电视会议***(100),其特征在于,所述集成外壳(110)的大小适于携带。
5.根据权利要求2所述的电视会议***(100),其特征在于,所述***还包括电子平移-倾斜-缩放***(220),用于电操作所述图像信号以有效地提供可调节的平移、倾斜和缩放功能中的至少一项。
6.根据权利要求5所述的电视会议***(100),其特征在于,所述摄像装置(210)为静止的照相机(210)。
7.根据权利要求5所述的电视会议***(100),其特征在于,所述多模式集成体系结构***(270)为所述电子平移-倾斜-缩放***(220)提供控制信号。
8.根据权利要求7所述的电视会议***(100),其特征在于,所述声源相对于所述基准点运动,所述声源定位***(240)检测所述声源的运动,并且所述声源定位***(240)响应于此运动而使所述摄像装置(210)的视场发生变化。
9.根据权利要求5所述的电视会议***(100),其特征在于,所述拾音装置(230)包括具有两个麦克风(231,232)的阵列。
10.一种方法,包括步骤:
在摄像装置(210)处产生代表了图像的图像信号;
在拾音装置(230)处产生代表了来自声源的声音的音频信号;
处理所述图像信号和音频信号以确定所述声源相对于基准点的方向;
操作所述图像信号以产生精确的图像信号;和
输出所述精确的图像信号。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括步骤:
将所述音频信号施加在声源定位***(240)上;
将所述图像信号施加在计算机视觉人物检测***(250)上;
用多模式说话者检测***(260)来处理所述音频信号和所述图像信号;
根据所确定的所述声源的方向来产生控制信号;
将所述控制信号施加在电子平移-倾斜-缩放***(220)上以模仿可动照相机的至少一项功能的效果,所述功能从包括平移、倾斜和缩放所述可动照相机的组中选择;和
提供来自所述电子平移-倾斜-缩放***(220)的输出。
12.根据权利要求10所述的方法,其特征在于,所述方法还包括响应于所述控制信号而电改变所述摄像装置(210)的视场。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/822,121 US20020140804A1 (en) | 2001-03-30 | 2001-03-30 | Method and apparatus for audio/image speaker detection and locator |
US09/822,121 | 2001-03-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1460185A true CN1460185A (zh) | 2003-12-03 |
CN100370830C CN100370830C (zh) | 2008-02-20 |
Family
ID=25235199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028008286A Expired - Fee Related CN100370830C (zh) | 2001-03-30 | 2002-03-15 | 用于音频/图像的说话者检测和定位的方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20020140804A1 (zh) |
EP (1) | EP1377847A2 (zh) |
JP (1) | JP2004528766A (zh) |
CN (1) | CN100370830C (zh) |
WO (1) | WO2002079792A2 (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1703118A (zh) * | 2004-05-26 | 2005-11-30 | 本田研究所欧洲有限公司 | 基于立体声信号的声源定位 |
CN100442837C (zh) * | 2006-07-25 | 2008-12-10 | 华为技术有限公司 | 一种具有声音位置信息的视频通讯***及其获取方法 |
CN100459685C (zh) * | 2004-04-20 | 2009-02-04 | 索尼株式会社 | 信息处理设备、成像设备及信息处理方法 |
WO2010072075A1 (zh) * | 2008-12-26 | 2010-07-01 | 华为终端有限公司 | 视频通信的方法、装置及*** |
CN101611625B (zh) * | 2007-03-05 | 2011-04-13 | 松下电器产业株式会社 | 自动跟踪装置和自动跟踪方法 |
CN102160398A (zh) * | 2008-07-31 | 2011-08-17 | 诺基亚公司 | 电子设备定向音频视频采集 |
CN101785306B (zh) * | 2007-07-13 | 2012-07-18 | 思科***国际公司 | 用于自动摄像机控制的方法和*** |
CN101690149B (zh) * | 2007-05-22 | 2012-12-12 | 艾利森电话股份有限公司 | 用于群组声音远程通信的方法和装置 |
CN101533090B (zh) * | 2008-03-14 | 2013-03-13 | 华为终端有限公司 | 一种阵列麦克的声音定位方法和装置 |
CN103703465A (zh) * | 2011-08-08 | 2014-04-02 | 谷歌公司 | 与媒体内的对象相关联的情感信息 |
CN104269172A (zh) * | 2014-07-31 | 2015-01-07 | 广东美的制冷设备有限公司 | 基于视频定位的语音控制方法和*** |
CN106597378A (zh) * | 2016-12-26 | 2017-04-26 | 大连民族大学 | 机器人声源定位学习中视觉示教声源角度的方法 |
CN106653041A (zh) * | 2017-01-17 | 2017-05-10 | 北京地平线信息技术有限公司 | 音频信号处理设备、方法和电子设备 |
CN106842131A (zh) * | 2017-03-17 | 2017-06-13 | 浙江宇视科技有限公司 | 麦克风阵列声源定位方法及装置 |
CN107820037A (zh) * | 2016-09-14 | 2018-03-20 | 南京中兴新软件有限责任公司 | 音频信号、图像处理的方法、装置和*** |
CN108156568A (zh) * | 2013-12-18 | 2018-06-12 | 刘璟锋 | 助听***与助听***的语音撷取方法 |
CN111034221A (zh) * | 2017-09-08 | 2020-04-17 | 松下知识产权经营株式会社 | 拾音装置、拾音***、拾音方法、程序以及校准方法 |
US10904658B2 (en) | 2008-07-31 | 2021-01-26 | Nokia Technologies Oy | Electronic device directional audio-video capture |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10320274A1 (de) * | 2003-05-07 | 2004-12-09 | Sennheiser Electronic Gmbh & Co. Kg | System zur ortssensitiven Wiedergabe von Audiosignalen |
JP2005086365A (ja) * | 2003-09-05 | 2005-03-31 | Sony Corp | 通話装置、会議装置および撮像条件調整方法 |
EP1705911A1 (en) * | 2005-03-24 | 2006-09-27 | Alcatel | Video conference system |
US8457614B2 (en) | 2005-04-07 | 2013-06-04 | Clearone Communications, Inc. | Wireless multi-unit conference phone |
JP4965847B2 (ja) * | 2005-10-27 | 2012-07-04 | ヤマハ株式会社 | 音声信号送受信装置 |
US7864210B2 (en) * | 2005-11-18 | 2011-01-04 | International Business Machines Corporation | System and methods for video conferencing |
CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的***和方法 |
US8024189B2 (en) | 2006-06-22 | 2011-09-20 | Microsoft Corporation | Identification of people using multiple types of input |
US7948513B2 (en) * | 2006-09-15 | 2011-05-24 | Rockefeller Alfred G | Teleconferencing between various 4G wireless entities such as mobile terminals and fixed terminals including laptops and television receivers fitted with a special wireless 4G interface |
JP4420056B2 (ja) * | 2007-04-20 | 2010-02-24 | ソニー株式会社 | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム |
US8570373B2 (en) | 2007-06-08 | 2013-10-29 | Cisco Technology, Inc. | Tracking an object utilizing location information associated with a wireless device |
US20090172756A1 (en) * | 2007-12-31 | 2009-07-02 | Motorola, Inc. | Lighting analysis and recommender system for video telephony |
US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
US8355041B2 (en) | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
US8319819B2 (en) | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
CN101610360A (zh) * | 2008-06-19 | 2009-12-23 | 鸿富锦精密工业(深圳)有限公司 | 自动追踪声源的摄像装置 |
US8314829B2 (en) | 2008-08-12 | 2012-11-20 | Microsoft Corporation | Satellite microphones for improved speaker detection and zoom |
US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
US20100085415A1 (en) * | 2008-10-02 | 2010-04-08 | Polycom, Inc | Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference |
US8358328B2 (en) * | 2008-11-20 | 2013-01-22 | Cisco Technology, Inc. | Multiple video camera processing for teleconferencing |
US8390663B2 (en) * | 2009-01-29 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Updating a local view |
US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
US8477175B2 (en) | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
KR20110012584A (ko) * | 2009-07-31 | 2011-02-09 | 삼성전자주식회사 | 초음파 기반 3차원 위치 추정 장치 및 방법 |
US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
USD626102S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Tech Inc | Video unit with integrated features |
USD628175S1 (en) | 2010-03-21 | 2010-11-30 | Cisco Technology, Inc. | Mounted video unit |
USD628968S1 (en) | 2010-03-21 | 2010-12-14 | Cisco Technology, Inc. | Free-standing video unit |
USD626103S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Technology, Inc. | Video unit with integrated features |
US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
US8248448B2 (en) | 2010-05-18 | 2012-08-21 | Polycom, Inc. | Automatic camera framing for videoconferencing |
US8395653B2 (en) * | 2010-05-18 | 2013-03-12 | Polycom, Inc. | Videoconferencing endpoint having multiple voice-tracking cameras |
US9723260B2 (en) | 2010-05-18 | 2017-08-01 | Polycom, Inc. | Voice tracking camera with speaker identification |
US8842161B2 (en) | 2010-05-18 | 2014-09-23 | Polycom, Inc. | Videoconferencing system having adjunct camera for auto-framing and tracking |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
KR101750338B1 (ko) * | 2010-09-13 | 2017-06-23 | 삼성전자주식회사 | 마이크의 빔포밍 수행 방법 및 장치 |
US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
USD682293S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678320S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682864S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678307S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682294S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678308S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
CN102890267B (zh) * | 2012-09-18 | 2014-03-19 | 中国科学院上海微***与信息技术研究所 | 一种传声器阵列结构可变的低空目标定位与跟踪*** |
US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
US8957940B2 (en) | 2013-03-11 | 2015-02-17 | Cisco Technology, Inc. | Utilizing a smart camera system for immersive telepresence |
US9843621B2 (en) | 2013-05-17 | 2017-12-12 | Cisco Technology, Inc. | Calendaring activities based on communication processing |
EP3151534A1 (en) | 2015-09-29 | 2017-04-05 | Thomson Licensing | Method of refocusing images captured by a plenoptic camera and audio based refocusing image system |
US9769419B2 (en) | 2015-09-30 | 2017-09-19 | Cisco Technology, Inc. | Camera system for video conference endpoints |
WO2018198790A1 (ja) * | 2017-04-26 | 2018-11-01 | ソニー株式会社 | コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム |
FR3074584A1 (fr) * | 2017-12-05 | 2019-06-07 | Orange | Traitement de donnees d'une sequence video pour un zoom sur un locuteur detecte dans la sequence |
JP2019186630A (ja) | 2018-04-03 | 2019-10-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
US10951859B2 (en) | 2018-05-30 | 2021-03-16 | Microsoft Technology Licensing, Llc | Videoconferencing device and method |
CN112866617A (zh) * | 2019-11-28 | 2021-05-28 | 中强光电股份有限公司 | 视频会议设备以及视频会议方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4581758A (en) * | 1983-11-04 | 1986-04-08 | At&T Bell Laboratories | Acoustic direction identification system |
JPH0771279B2 (ja) * | 1988-08-17 | 1995-07-31 | 富士通株式会社 | テレビ会議用画像処理装置 |
AU645431B2 (en) * | 1991-07-15 | 1994-01-13 | Hitachi Limited | Teleconference terminal equipment |
DE69326751T2 (de) * | 1992-08-27 | 2000-05-11 | Kabushiki Kaisha Toshiba, Kawasaki | Bewegtbildkodierer |
KR940021467U (ko) * | 1993-02-08 | 1994-09-24 | 푸쉬-풀 사운드 캐취 마이크로폰 | |
US5508734A (en) * | 1994-07-27 | 1996-04-16 | International Business Machines Corporation | Method and apparatus for hemispheric imaging which emphasizes peripheral content |
US6731334B1 (en) * | 1995-07-31 | 2004-05-04 | Forgent Networks, Inc. | Automatic voice tracking camera system and method of operation |
US5778082A (en) * | 1996-06-14 | 1998-07-07 | Picturetel Corporation | Method and apparatus for localization of an acoustic source |
US6005610A (en) * | 1998-01-23 | 1999-12-21 | Lucent Technologies Inc. | Audio-visual object localization and tracking system and method therefor |
US6198693B1 (en) * | 1998-04-13 | 2001-03-06 | Andrea Electronics Corporation | System and method for finding the direction of a wave source using an array of sensors |
US6593956B1 (en) * | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
US6704048B1 (en) * | 1998-08-27 | 2004-03-09 | Polycom, Inc. | Adaptive electronic zoom control |
-
2001
- 2001-03-30 US US09/822,121 patent/US20020140804A1/en not_active Abandoned
-
2002
- 2002-03-15 WO PCT/IB2002/000870 patent/WO2002079792A2/en active Application Filing
- 2002-03-15 CN CNB028008286A patent/CN100370830C/zh not_active Expired - Fee Related
- 2002-03-15 JP JP2002577570A patent/JP2004528766A/ja active Pending
- 2002-03-15 EP EP02713100A patent/EP1377847A2/en not_active Withdrawn
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100459685C (zh) * | 2004-04-20 | 2009-02-04 | 索尼株式会社 | 信息处理设备、成像设备及信息处理方法 |
CN1703118A (zh) * | 2004-05-26 | 2005-11-30 | 本田研究所欧洲有限公司 | 基于立体声信号的声源定位 |
CN1703118B (zh) * | 2004-05-26 | 2013-05-08 | 本田研究所欧洲有限公司 | 基于立体声信号的声源定位方法和装置 |
CN100442837C (zh) * | 2006-07-25 | 2008-12-10 | 华为技术有限公司 | 一种具有声音位置信息的视频通讯***及其获取方法 |
CN101611625B (zh) * | 2007-03-05 | 2011-04-13 | 松下电器产业株式会社 | 自动跟踪装置和自动跟踪方法 |
CN101690149B (zh) * | 2007-05-22 | 2012-12-12 | 艾利森电话股份有限公司 | 用于群组声音远程通信的方法和装置 |
CN101785306B (zh) * | 2007-07-13 | 2012-07-18 | 思科***国际公司 | 用于自动摄像机控制的方法和*** |
CN101533090B (zh) * | 2008-03-14 | 2013-03-13 | 华为终端有限公司 | 一种阵列麦克的声音定位方法和装置 |
US9445193B2 (en) | 2008-07-31 | 2016-09-13 | Nokia Technologies Oy | Electronic device directional audio capture |
CN102160398A (zh) * | 2008-07-31 | 2011-08-17 | 诺基亚公司 | 电子设备定向音频视频采集 |
CN103475976A (zh) * | 2008-07-31 | 2013-12-25 | 诺基亚公司 | 电子设备定向音频视频采集 |
CN102160398B (zh) * | 2008-07-31 | 2017-04-05 | 诺基亚技术有限公司 | 电子设备定向音频视频采集 |
CN103475976B (zh) * | 2008-07-31 | 2017-04-12 | 诺基亚技术有限公司 | 电子设备定向音频视频采集 |
US10904658B2 (en) | 2008-07-31 | 2021-01-26 | Nokia Technologies Oy | Electronic device directional audio-video capture |
US9668077B2 (en) | 2008-07-31 | 2017-05-30 | Nokia Technologies Oy | Electronic device directional audio-video capture |
US8730296B2 (en) | 2008-12-26 | 2014-05-20 | Huawei Device Co., Ltd. | Method, device, and system for video communication |
WO2010072075A1 (zh) * | 2008-12-26 | 2010-07-01 | 华为终端有限公司 | 视频通信的方法、装置及*** |
CN103703465A (zh) * | 2011-08-08 | 2014-04-02 | 谷歌公司 | 与媒体内的对象相关联的情感信息 |
CN108156568A (zh) * | 2013-12-18 | 2018-06-12 | 刘璟锋 | 助听***与助听***的语音撷取方法 |
CN104269172A (zh) * | 2014-07-31 | 2015-01-07 | 广东美的制冷设备有限公司 | 基于视频定位的语音控制方法和*** |
CN107820037A (zh) * | 2016-09-14 | 2018-03-20 | 南京中兴新软件有限责任公司 | 音频信号、图像处理的方法、装置和*** |
CN107820037B (zh) * | 2016-09-14 | 2021-03-26 | 中兴通讯股份有限公司 | 音频信号、图像处理的方法、装置和*** |
CN106597378B (zh) * | 2016-12-26 | 2019-02-12 | 大连民族大学 | 机器人声源定位学习中视觉示教声源角度的方法 |
CN106597378A (zh) * | 2016-12-26 | 2017-04-26 | 大连民族大学 | 机器人声源定位学习中视觉示教声源角度的方法 |
CN106653041A (zh) * | 2017-01-17 | 2017-05-10 | 北京地平线信息技术有限公司 | 音频信号处理设备、方法和电子设备 |
CN106842131A (zh) * | 2017-03-17 | 2017-06-13 | 浙江宇视科技有限公司 | 麦克风阵列声源定位方法及装置 |
CN106842131B (zh) * | 2017-03-17 | 2019-10-18 | 浙江宇视科技有限公司 | 麦克风阵列声源定位方法及装置 |
CN111034221A (zh) * | 2017-09-08 | 2020-04-17 | 松下知识产权经营株式会社 | 拾音装置、拾音***、拾音方法、程序以及校准方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2002079792A2 (en) | 2002-10-10 |
EP1377847A2 (en) | 2004-01-07 |
US20020140804A1 (en) | 2002-10-03 |
JP2004528766A (ja) | 2004-09-16 |
WO2002079792A3 (en) | 2002-12-05 |
CN100370830C (zh) | 2008-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100370830C (zh) | 用于音频/图像的说话者检测和定位的方法和装置 | |
US5940118A (en) | System and method for steering directional microphones | |
US6275258B1 (en) | Voice responsive image tracking system | |
Nakadai et al. | Active audition for humanoid | |
US6005610A (en) | Audio-visual object localization and tracking system and method therefor | |
EP2538236B1 (en) | Automatic camera selection for videoconferencing | |
US9445193B2 (en) | Electronic device directional audio capture | |
US6535610B1 (en) | Directional microphone utilizing spaced apart omni-directional microphones | |
KR101612704B1 (ko) | 다중음원 위치 추적장치 및 그 방법 | |
CA2491849C (en) | System and method of self-discovery and self-calibration in a video conferencing system | |
CN103210643A (zh) | 用于使用多个传感器来追踪视频会议中的音频源的方法和装置 | |
JP2003532348A (ja) | ビデオ会議及び他の応用において、結合されたビデオ及びオーディオ情報を使用して移動物体を追尾するための方法及び装置 | |
CN104349040B (zh) | 用于视频会议***中的摄像机底座及其方法 | |
JP4411959B2 (ja) | 音声集音・映像撮像装置 | |
KR20210035725A (ko) | 혼합 오디오 신호를 저장하고 지향성 오디오를 재생하기 위한 방법 및 시스템 | |
US6959095B2 (en) | Method and apparatus for providing multiple output channels in a microphone | |
Nakadai et al. | Sound source tracking with directivity pattern estimation using a 64 ch microphone array | |
JP2009049734A (ja) | カメラ付きマイクロフォン、カメラ付きマイクロフォンの制御プログラムおよびテレビ会議システム | |
JPH06351015A (ja) | テレビジョン会議システム用の撮像システム | |
JP4479227B2 (ja) | 音声集音・映像撮像装置および撮像条件決定方法 | |
CN118202641A (zh) | 用于房间智能的会议***及方法 | |
EP1266538B1 (en) | Spatial sound steering system | |
JP7361460B2 (ja) | コミュニケーション装置、コミュニケーションプログラム、及びコミュニケーション方法 | |
KR100195724B1 (ko) | 화상회의 시스템에서의 영상카메라 조정방법 및 그 장치 | |
Wilson et al. | Audiovisual arrays for untethered spoken interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080220 Termination date: 20110315 |