CN104541304B - 使用多个相机的目标对象角度确定 - Google Patents
使用多个相机的目标对象角度确定 Download PDFInfo
- Publication number
- CN104541304B CN104541304B CN201380044394.4A CN201380044394A CN104541304B CN 104541304 B CN104541304 B CN 104541304B CN 201380044394 A CN201380044394 A CN 201380044394A CN 104541304 B CN104541304 B CN 104541304B
- Authority
- CN
- China
- Prior art keywords
- image
- angle
- correlation
- equipment
- destination object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文提供了用于确定目标对象相对于设备的角度的***、方法和计算机介质。可以接收由至少两个相机几乎同时捕获的目标对象信息。目标对象信息可包括图像或从目标对象到对应的相机的距离。根据目标对象信息可以确定目标对象与设备之间的角度。当目标对象信息包括图像时,可以根据这两个图像之间的相关性确定所述角度。当目标对象信息包括从目标对象到对应的相机的距离时,可以用几何学来计算所述角度。
Description
发明领域
本发明总的涉及可视对象检测。
背景技术
近年来,计算设备能力有了显著的提高。具体地,移动设备在处理能力,尤其是在使得能有先进的音频和视频记录能力方面已经历了巨大的进步。包括音频和视频记录能力的许多能力可以从目标的识别中获益。目标可以是想要的音频的源、想要的视频主体、或是用户感兴趣的另外的东西。
移动设备和其他消费者设备常常被使用在嘈杂环境中,带有各种各样的音频源、背景噪声和视觉显示中的对象。把无关信息与有关目标的信息区分开可以给用户提供更高质量的信息。例如,在音频噪声减小方面,开发了源分离算法来把所接收音频的发源于目标的部分与其它源区分开。试图把目标信息与其它源区分开的音频和视频记录能力典型地假设目标是正好在设备的前方且垂直于设备的。然而,实际上,目标和获取有关目标的信息的设备都常常在获取期间移动,从而使实际的聚焦点移离计划中的目标。
发明内容
本文描述的实施例涉及到确定目标对象相对于具有至少两个相机的设备的角度。通过使用本文所描述的***、方法和计算机介质,可以确定目标对象相对于设备的角度。可以接收通过使用设备上的第一相机而捕获的第一目标对象信息以及通过使用设备上的第二相机而捕获的第二目标对象信息。第一目标对象信息和第二目标对象信息在几乎相同的捕获时间被捕获。根据由相机捕获的第一和第二目标对象信息,可以确定目标对象与设备之间的角度。
在一些实施例中,第一目标对象信息是第一图像,而第二目标对象信息是第二图像。可以确定对于在第一图像与第二图像之间的相关性的相关值,并且可以根据该相关值确定角度。例如,可以访问具有相关值与对应角度的调整表(tuning table),并且可以检索对应于最接近所确定的相关值的相关值的角度。在其它实施例中,第一目标对象信息和第二目标对象信息是从目标对象到设备上的对应相机的估计的距离。所述估计的距离例如可以通过使用第一和第二相机的自动对焦功能而被获取。
在一些实施例中,所确定的角度可被提供给话筒音频源分离算法,以便识别由目标对象产生的音频信号和去除噪声。
本概要被提供来以简化的形式介绍概念的选择,这些概念还将在下面的详细说明中进行描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征,也不打算被使用来限制所要求保护的主题的范围。
通过以下的参照附图所进行的详细说明,所要求保护的主题的上述的和其它的目的、特征及优点将变得更为明显。
附图说明
图1是示范性目标对象角度确定***的框图。
图2是图示在从目标对象延伸到设备的第一基准线与延伸穿过设备的第二基准线之间的示范性角度的框图。
图3是确定目标对象相对于设备的角度的示范性方法的流程图。
图4是包括示范性角度确定部件的示范性目标对象角度确定***的框图。
图5是根据两个图像之间的相关性来确定目标对象相对于设备的角度的示范性方法的流程图。
图6是根据图像相关性或距离来确定目标对象相对于设备的角度的示范性方法的流程图。
图7是在其中可以实施所描述的某些实施例的、具有目标对象识别能力的示范性移动电话的图。
图8是图示用于任何所公开实施例的合适实施环境的一般性例子的图。
具体实施方式
本文描述的实施例提供用于确定目标对象相对于设备的角度的***、方法和计算机介质。按照某些实施例,设备上的至少两个相机可被使用来收集关于目标对象的信息。由两个相机收集的信息可被使用来确定目标对象与设备之间的角度。在一个例子中,由两个相机收集的信息是图像。根据图像之间的相关性可以确定角度。在另一个例子中,目标对象信息可以是在目标对象与相机之间的距离。在每个相机与目标对象之间的距离可以通过使用自动对焦功能而被确定,且角度可以通过几何计算而被确定。
在目标对象与设备之间的角度可被使用于各种各样的用途。知道目标对象相对于设备的位置对于音频和视频应用来说是特别有用的。在这样的应用中,把无关信息与有关目标对象的信息区分开可以提高提供给用户的信息的质量。例如,角度可被提供给话筒音频源分离算法,用来增强对由目标对象产生的音频信号的识别和去除噪声。下面参照图1-8来详细地描述实施例。
图1图示出示范性目标对象角度确定***100。相机102和104捕获周围环境的图像。相机102和104可被集成到设备中,或者可以在设备的外部,但与设备进行有线或无线通信。在一个例子中,设备可以是诸如智能电话的移动设备,以及相机102和104被集成在移动设备中。
目标对象标识部件106接收某个对象作为目标对象的标识。在一些实施例中,通过相机102和104看得见的周围环境的一部分是在设备的显示器上可看见的。显示器可以是例如移动设备的触摸屏显示器或传统的监视器或其它显示器。由目标对象标识部件106接收的对于对象的标识可以是对于在设备的显示器上可看见的对象的用户选择或其它选择。目标对象可以是由相机102和104中的至少一个至少部分地可看见的任何对象。目标对象可以是音频的源、想要的视频主体或其它对象。示范性的目标对象包括人、动物、或正在讲话、移动或表演的对象。也可以设想其它目标对象。
目标对象信息获取部件108接收由相机102和104捕获的目标对象信息。由相机102捕获的目标对象信息和由相机104捕获的目标对象信息是几乎同时捕获的。通过提供相对于两个不同的基准点(相机102和104)的位置,在时间上近乎一起地在相机102和104上捕获目标信息提供了对于目标对象的位置的精确描述。取决于设备或目标对象是否正在移动,“几乎同时”的意义可以是不同的。例如,如果目标对象或设备正在移动,则更接近于同时地获取的目标对象信息可以更精确地描述目标对象的位置。
在一些实施例中,目标对象信息包括图像。在其它实施例中,目标对象信息包括从目标对象到相机102和104的估计的距离。
角度确定部件110确定目标对象与设备之间的角度112。角度112是通过使用目标对象信息而被确定的。图2图示出示范性基准线和示范性角度。在图2上,显示了在目标对象202与具有两个相机206和208的设备204之间的角度200。角度200是在第一基准线210与第二基准线212之间的角度。第一基准线210在目标对象202与设备204之间延伸,而第二基准线212延伸穿过设备204。在本例中,第二基准线212垂直于在相机206与相机208之间延伸的第三基准线214。第一基准线210与第二基准线212在第三基准线214的近似中点216处相交。在其它实施例中,基准线、基准线相交的点以及角度是不同的。
图3图示确定目标对象相对于设备的角度的方法300。在过程块302,接收通过使用设备上的第一相机捕获的第一目标对象信息和通过使用设备上的第二相机捕获的第二目标对象信息。第一和第二目标对象信息是在几乎同一个捕获时间被捕获的。在过程块304,根据第一和第二目标对象信息来确定目标对象与设备之间的角度。
角度和第一与第二基准线例如可以是如图2上所示的那些。在这样的例子中,确定目标对象与设备之间的角度包括确定在从目标对象延伸到设备的第一基准线与延伸穿过设备的第二基准线之间的角度。第二基准线基本上垂直于在第一和第二相机之间延伸的第三基准线,以及第一基准线和第二基准线在第三基准线的近似中点处相交。
在一些实施例中,用户可以选择把哪个对象标识为目标对象。例如,可以接收对于在设备的显示器上可看见的第一对象的用户选择,以及可以响应于对第一对象的用户选择而把第一对象标识为目标对象。在一个实施例中,显示器是触摸屏显示器,而用户选择是在触摸屏显示器上对于第一对象的用户触摸选择。在一些实施例中,用户可以通过选择第二对象而切换目标对象。例如,可以接收对于在设备的显示器上可看见的第二对象的用户选择,以及响应于对第二对象的用户选择,可以把目标对象从第一对象更新为第二对象。这样,例如,正记录会话中的第一个人的用户可以通过在设备的触摸屏显示器上对第二个人进行触摸选择而把目标对象从第一个人改变为第二个人,以便聚焦于第二个人对于会话的贡献。
在其它实施例中,目标对象被自动选择为处在最接近设备显示器中心的位置的对象。这样的对中心对象的自动选择在一些实施例中是缺省模式。在另外一些实施例中,目标对象被自动选择为处在显示器的规定区域中的对象。例如,用户可以规定目标对象是在设备显示器的右上角处居中的或是最突出的对象。
在一些实施例中,目标对象可以是一组对象。例如,可以接收对于在设备的显示器上可看见的多个对象的用户选择,并可以响应于所述用户选择而把该多个对象标识为目标对象。这允许一帮人的每个成员或会话中的每个参加者例如可以作为单个目标对象的一部分而被包括。当一组对象被标识为目标对象时,可以使用各种办法来确定角度。在一个实施例中,对于多个对象中的每个对象或两个对象或更多个对象确定角度,并根据各个角度来确定对于目标对象的代表性角度。代表性角度可以是平均角度。在另一个例子中,用户可以给该组中的每个对象指派重要性,且代表性角度可以是基于每个对象的重要性的加权平均。也设想有其它的代表性角度。
在许多情形下,如果目标对象是人或动物或者是另外的能够移动的,则目标对象在音频记录、视频记录或正聚焦于目标对象的其它功能性期间可能会移动。方法300还可包括目标对象跟踪。例如,在过程块302中接收的目标对象信息是在接近第一时间时被捕获的,且还接收到在接近第二时间时被捕获的附加的目标对象信息。通过根据附加的目标对象信息来确定在目标对象与设备之间的更新的角度,而跟踪目标对象。跟踪可以以指定的时间间隔被自动地执行,或可以由用户人工地更新。指定的时间间隔可以被自动选择,或者可以由用户选择。
图4图示目标对象角度确定***400。相机402和404、目标对象标识部件406和目标对象信息获取部件408类似于在图1中讨论的对应的部件。然而,在***400中,角度确定部件410包括相关部件412和几何计算部件414。当目标对象信息包括图像时,相关部件412确定对于在图像之间的相关性的相关值。相关部件412通过访问具有相关值和对应角度的调整表416、并检索对应于最接近所确定的相关值的相关值的角度,而确定角度。
两个图像之间的相关性表示这两个图像的相似程度。现在参照图2,目标对象202越接近基准线212(在相机206与208之间居中),则在由相机206在捕获时间捕获的图像与由相机208在相同捕获时间捕获的图像之间的相关性越高。然而,当目标对象202是在基准线212的左面或右面时,图像较小地相关,因为目标对象202相对于其中一个相机比相对于另一个相机是“更左”或“更右”的。这是因为相机206和208处在不同的物理位置。
例如,假设两对图像被相机206和208捕获,每对具有来自相机206的一个图像和来自相机208的一个图像,并且每对中的图像是几乎同时捕获的。假设第一对是当目标对象202被基准线212贯穿时捕获的,以及第二对是当目标对象202被基准线210贯穿时捕获的。正如上面讨论的,第一对中的图像之间的相关性是高的。在某些例子中,相关性以从0到1的刻度来度量,令1代表完全相关(相同的图像)。使用这样的度量刻度,第一对的图像之间的相关性接近于1。
然而,考虑其中目标对象202改而被基准线210贯穿的情形。与对于第一对图像的目标对象202的位置相比较,目标对象202现在“在左面”。 因为相机206和208的物理位置不同,所以它们稍微不同地感知目标对象202的位置。在左侧的相机206没有像相机208那样感知到目标对象202是“在左面”。结果,与第一对相比较,第二对中的图像是有差异的,并且是较小地相关的。因此,角度200变得越大,在相机206和208上几乎同时拍摄的图像之间的相关性越小。
技术上知道各种不同的确定相关性的方式。用于各种角度的特定相关值可以通过以已知角度捕获图像对并确定对于该图像对的相关值而以实验方式确定。这些以实验方式确定的值可被存储在诸如图4的调整表416那样的调整表中。调整表416可以是设备特定的。在其它实施例中,调整表416可以是基于在相机之间的距离,并且被外推以应用到各种各样的设备。调整表416可以具有各种各样的格式,包括电子表格、数据库、列表或其它格式。在一个例子中,调整表416是从0到1的相关值的列表,每个相关值具有对应的角度。在一些实施例中,调整表416被自适应地更新。
当目标对象信息包括从目标对象到设备上的对应相机的估计的距离时,几何计算部件414通过几何计算而确定角度。例如,距离可以通过可涉及到距离估计的自动对焦功能而获得。在一些实施例中,估计的距离是几乎同时被获取的。
图5是根据两个图像之间的相关性来确定目标对象相对于设备的角度的方法500的流程图。在过程块502,接收把在设备的显示器上可看见的对象作为目标对象的标识。在过程块504,接收一对图像。该对图像至少包括目标对象的一个部分。第一对图像包括由设备上的第一相机捕获的第一图像和由设备上的第二相机捕获的第二图像。
在过程块506,确定对于在第一和第二图像之间的相关性的相关值。通过过程块508和510,确定在从目标对象延伸到设备的第一基准线与延伸穿过设备的第二基准线之间的角度。在过程块508,访问具有相关值和对应角度的调整表。在过程块510,检索对应于最接近所确定的相关值的相关值的角度。
在一些实施例中,在过程块510检索的角度被提供给话筒音频源分离算法。在其它实施例中,在过程块502接收的目标对象的标识是来自设备显示器的对于目标对象的用户选择或基于位于显示器的规定区域的目标对象的标识之一。
图6是根据图像相关性或距离来确定目标对象相对于设备的角度的示范性方法600的流程图。在过程块602,接收通过使用设备上的第一相机而捕获的第一目标对象信息和通过使用设备上的第二相机而捕获的第二目标对象信息。在过程块604,对关于目标对象信息是包括图像,还是包括距离,还是包括二者进行确定。如果目标对象信息包括图像,则在过程块606,确定两个图像之间的相关值。在过程块608,访问具有相关值和对应角度的调整表。在过程块610,检索对应于最接近所确定的相关值的相关值的角度,并把该角度标识为所确定的角度。在一些实施例中,在过程块614,该角度接着被提供给话筒源分离算法。
如果目标对象信息包括距离,则在过程块612用几何学来计算角度。在一些实施例中,在过程块614所计算的角度然后被提供给话筒源分离算法。在一些实施例中,在过程块602,接收图像和距离两者。在这样的实施例中,角度可以通过图像相关性和几何计算两者而被确定。在过程块614被提供给话筒源分离算法(或被提供到另一个过程)的角度例如可以是两个角度的平均、加权平均、或以较高置信度确定的角度。在一个实施例中,所提供的角度是通过相关性被确定的角度,除非那个角度是不可提供的或是以低置信度被确定的,在这种情形下,使用用几何学计算的角度。
在本专利申请中,讨论了具有两个相机的实施例。也设想有使用来自三个或更多个相机的目标对象信息的实施例。
示范性移动设备
图7是描绘包括各种各样任选的硬件和软件部件(总的以702表示)的示范性移动设备700的***图。移动设备中的任何部件702可以与任何其它部件通信,然而为了简化例图,没有显示出所有的连接。移动设备可以是各种各样的计算设备中的任何计算设备(例如,蜂窝电话、智能电话、手持计算机、个人数字助理(PDA)等),并且它可以允许与诸如蜂窝网或卫星网那样的一个或多个移动通信网704进行无线双向通信。
所图示的移动设备700可包括控制器或处理器710(例如,信号处理器、微处理器、ASIC、或其它控制与处理逻辑电路),用于执行诸如信号编码、数据处理、输入/输出处理、功率控制和/或其它功能这样的任务。操作***712可以控制部件702的分配和使用,并支持一个或多个应用714。应用程序可包括普通的移动计算应用(例如,电子邮件应用、日历、联系人管理器、web 浏览器、消息传送应用)或任何其它计算应用。
所图示的移动设备700可包括存储器720。存储器720可包括非可拆卸存储器722和/或可拆卸存储器724。非可拆卸存储器722可包括RAM、ROM、快闪存储器、硬盘、或其它熟知的存储器存储技术。可拆卸存储器724可包括快闪存储器或在GSM通信***中熟知的用户身份模块(SIM)卡,或其它熟知的存储器存储技术,诸如“智能卡”。存储器720可被使用来存储用于运行操作***712和应用714的数据和/或代码。示例性数据可包括网页、文本、图像、声音文件、视频数据、或经由一个或多个有线或无线网络被发送到和/或接收自一个或多个网络服务器或其它设备的其它数据集。存储器720可被使用来存储诸如国际移动用户身份(IMSI)的用户标识符和诸如国际移动设备标识符(IMEI)的设备标识符。这样的标识符可被传送到网络服务器来识别用户和设备。
移动设备700可支持一个或多个输入设备730,诸如触摸屏732、话筒734、相机736、物理键盘738和/或跟踪球740,以及可支持一个或多个输出设备750,诸如扬声器752和显示器754。其它可能的输出设备(未示出)可包括压电式或其它触觉输出设备。某些设备可以供应多于一种的输入/输出功能。例如,具有用户可变尺寸的图标的触摸屏732和显示器754可被组合在单个输入/输出设备中。输入设备730可包括自然用户接口(NUI)。NUI是使得用户能够以“自然”的方式与设备交互的任何接口技术,其免除了由诸如鼠标、键盘、遥控器等等那样的输入设备强加的人为限制。NUI方法的例子包括依赖于语音识别、触摸和指示笔识别、在屏幕上和靠近屏幕的手势识别、空中手势、头和眼跟踪、话音和语音、视觉、触摸、手势以及机器智能的那些方法。NUI的其它例子包括使用加速计/陀螺仪的运动手势检测、面部识别、3D显示、头、眼和凝视跟踪、沉浸式增强的现实和虚拟现实***,所有的这些提供更自然的接口,以及包括用于通过使用电场传感电极(EEG和相关的方法)感知大脑活动的技术。因此,在一个具体的例子中,操作***712或应用714可包括语音识别软件以作为话音用户接口的一部分,话音用户接口允许用户经由话音命令来操作设备700。而且,设备700可包括如下的输入设备和软件,即:其允许经由用户的空间手势进行用户交互,诸如检测和解译手势,来把输入提供给游戏应用。
无线调制解调器760可以耦合到天线(未示出),它可以支持在处理器710与外部设备之间的双向通信,正如技术上已熟知的。调制解调器760被一般性地显示,它可包括用于与移动通信网704通信的蜂窝调制解调器,和/或其它基于无线电的调制解调器(例如蓝牙或Wi-Fi)。无线调制解调器760典型地被配置成用于与一个或多个蜂窝网通信,所述蜂窝网诸如是用于在单个蜂窝网内、在蜂窝网之间、或在移动设备与公共交换电话网(PSTN)之间的数据和话音通信的GSM网。
移动设备还可包括至少一个输入/输出端口780、电源782、诸如全球定位***(GPS)接收机的卫星导航***接收机784、加速计786、和/或物理连接器790,其可以是USB端口、IEEE 1394(火线)端口和/或RS-232端口。
移动设备700还可包括目标对象标识部件792、目标对象信息获取部件794和角度确定部件702,它们可被实施为应用714的一部分。所图示的部件702不需要全部包括,因为任何部件都可以被删除且可以添加其它部件。
示范性操作环境
图8图示在其中可以实施所描述的实施例、技术和工艺的适当实施环境800的一般性例子。
在示例性环境800中,各种类型的服务(例如计算服务)由云810提供。例如,云810可包括可被集中地或分布式地放置的一系列计算设备,它们把基于云的服务提供给经由诸如互联网那样的网络所连接的各种类型的用户和设备。实施环境800可以以不同的方式被使用来完成计算任务。例如,某些任务(例如,处理用户输入和呈现用户界面)可以在本地计算设备(例如,所连接的设备830、840、850)上执行,而其它任务(例如,对在后续处理中要使用的数据的存储)可以在云810中执行。
在示例性环境800中,云810为所连接的具有各种各样屏幕能力的设备830、840、850提供服务。连接的设备830代表具有计算机屏幕835(例如,中等尺寸屏幕)的设备。例如,连接的设备830可以是个人计算机,诸如台式计算机、膝上型计算机、笔记本、上网本等等。连接的设备840代表具有移动设备屏幕845(例如,小尺寸屏幕)的设备。例如,连接的设备840可以是移动电话、智能电话、个人数字助理、平板计算机等等。连接的设备850代表具有大屏幕855的设备。例如,连接的设备850可以是电视屏幕(例如,智能电视)或被连接到电视机的另一设备(例如,机顶盒或游戏机控制台)等等。连接的设备830、840、850中的一个或多个可包括触摸屏能力。触摸屏可以以不同的方式接受输入。例如,电容性触摸屏在某个对象(例如,指尖或指示笔)使流过表面的电流失真或中断时检测到触摸输入。作为另一个例子,触摸屏可以使用光传感器在来自光传感器的光束被中断时检测到触摸输入。对于要通过某些触摸屏检测的输入,并不一定需要与屏幕表面进行物理接触。在示例性环境800中,也可以使用不带有屏幕能力的设备。例如,云810可以为不带有显示器的一个或多个计算机(例如,服务器计算机)提供服务。
服务可以由云810通过服务提供者820或通过其它的在线服务提供者(未示出)来提供。例如,云服务可按具体的连接的设备(例如,连接的设备830、840、850)的屏幕尺寸、显示能力和/或触摸屏能力而被定制。
在示例性环境800中,云810至少部分地利用服务提供者820而为各种连接的设备830、840、850提供本文所描述的技术和解决方案。例如,服务提供者820可以为各种基于云的服务提供集中的解决方案。服务提供者820可以为用户和/或设备(例如,为连接的设备830、840、850和/或它们的各自的用户)管理服务预订。
在一些实施例中,角度确定部件860和调整表865被存储在云810中。可以使目标对象信息流动到云810中,并且在云810中,角度确定部件860可以在某些情形下使用调整表865来确定角度。在这样的实施例中,潜在的资源密集的计算可以在云810中执行,而不是消耗所连接的设备840的功率和计算资源。其它的功能也可以在云810中执行,以便节约资源。在一些实施例中,调整表865可以在云中被动态地更新。更新例如可以通过附加的实验性观察或用户反馈而发生。
虽然为了便于演示,某些公开的方法的操作是以特定的顺序描述的,但应当理解,这种描述的方式包括重新安排,除非通过下文阐述的具体语言来要求特定的排序。例如,顺序描述的操作在某些情形下可以重新安排或并发地执行。而且,为了简明起见,附图可能没有显示所公开的方法可以结合其它方法一起被使用的各种方式。
任何的所公开的方法可被实施为存储在一个或多个计算机可读的存储介质(例如,非瞬态计算机可读介质,诸如一个或多个光学介质盘、易失性存储器部件(诸如DRAM或SRAM)、或非易失性存储器部件(诸如硬驱动机))中并在计算机(例如,任何市面上销售的计算机,包括智能电话、或其它包括计算硬件的移动设备)上执行的计算机可执行指令。用于实施所公开的技术的任何计算机可执行指令以及在实施所公开的实施例期间创建和使用的任何数据可被存储在一个或多个计算机可读的介质(例如,非瞬态计算机可读介质,其排除传播的信号)上。计算机可执行指令可以是例如专用软件应用或经由web浏览器访问或下载的软件应用或其它软件应用(诸如远端计算应用)的一部分。这样的软件可以例如在单个本地计算机(例如,任何的适当的市面上销售的计算机)上被执行,或通过使用一个或多个网络计算机而在网络环境下(例如,经由互联网、广域网、局域网、客户服务器网络(诸如,云计算网络),或其它这样的网络)被执行。
为清楚起见,只描述了基于软件的实现的某些选择的方面。技术上熟知的其它细节被省略。例如,应当理解,所公开的技术不局限于任何特定的计算机语言或程序。例如,所公开的技术可以通过以C ++、 Java、Perl 、 JavaScript、 Adobe Flash或任何其它适当的编程语言编写的软件而被实施。同样地,所公开的技术不局限于任何特定的计算机或硬件类型。适当的计算机和硬件的某些细节是熟知的,因而在本公开内容中不需要详细地阐述。
还应当充分理解的是,本文描述的任何功能性可以至少部分地由一个或多个硬件逻辑部件而不是软件来执行。例如,但不是限制,可被使用的举例说明性的硬件逻辑部件类型包括:现场可编程门阵列(FPGA)、程序特定的集成电路(ASIC)、程序特定的标准产品(ASSP)、***单芯片***(SOC)、复杂可编程逻辑器件(CPLD)等等。
而且,任何基于软件的实施例(例如包括用于使得计算机执行任何公开的方法的计算机可执行指令)可通过适当的通信手段而被上载、下载或远程访问。这样的适当的通信手段包括例如互联网、万维网、内联网、软件应用、线缆(包括光纤电缆)、磁通信、电磁通信(包括RF、微波和红外通信)、电子通信、或其它这样的通信手段。
所公开的方法、设备和***无论如何不应当被解读为限制。而是,本公开内容是针对各种单独地和以彼此的各种组合及子组合形式公开的实施例的所有新颖的和非显而易知的特征和方面。所公开的方法、设备和***不局限于任何特定的方面或特征或它们的组合,所公开的实施例也不要求存在任何一个或多个特定的优点或者一些问题被解决。
Claims (9)
1.一种确定目标对象相对于设备的角度的方法,所述方法包括:
接收通过使用在设备上的第一相机捕获的第一图像和通过使用在该设备上的第二相机捕获的第二图像,其中该第一相机与该第二相机在该设备上隔开某个距离,以及其中该第一图像和第二图像是在相同的捕获时间捕获的;
确定对于在第一图像和第二图像之间的相关性的相关值;
访问具有图像与图像间相关值和对应角度的调整表;以及
检索对应于最接近所确定的相关值的图像与图像间相关值的角度。
2.根据权利要求1所述的方法,还包括:
接收从该目标对象到该第一相机的第一估计的距离;
接收从该目标对象到该第二相机的第二估计的距离;
基于该第一和第二估计的距离来在几何上计算该目标对象相对于该设备的角度;以及
其中该第一和第二估计的距离是分别通过使用第一和第二相机的自动对焦功能而被获取的。
3.根据权利要求1所述的方法,还包括:
接收对于在设备的显示器上可看见的第一对象的用户选择;以及
响应于对第一对象的用户选择,把第一对象标识为目标对象。
4.根据权利要求3所述的方法,还包括:
接收对于在设备的显示器上可看见的第二对象的用户选择;以及
响应于对第二对象的用户选择,把目标对象从第一对象更新为第二对象。
5.根据权利要求1所述的方法,还包括:
接收对于在设备的显示器上可看见的多个对象的用户选择;以及
响应于用户选择,把所述多个对象标识为目标对象。
6.根据权利要求1所述的方法,还包括把所确定的角度提供给话筒音频源分离算法。
7.一种具有目标对象角度确定能力的多相机移动设备,该移动设备包括:
第一相机;
第二相机;
触摸屏显示器;
目标对象标识部件,其把在设备的该触摸屏显示器上可看见的对象标识为目标对象;
目标对象信息获取部件,其接收由第一和第二相机捕获的目标对象信息;以及
角度确定部件,其通过使用所接收的目标对象信息来确定在目标对象与设备之间的角度,其中角度确定部件包括以下的至少一项:
相关部件,其在目标对象信息包括由第一和第二相机同时捕获的图像时,确定对于在所述图像之间的相关性的相关值、以及通过访问具有相关值和对应角度的调整表且检索对应于最接近所确定的相关值的相关值的角度而确定所述角度;以及
几何计算部件,其在目标对象信息包括通过使用自动对焦功能而同时获取的、从目标对象到设备上对应相机的估计的距离时,通过几何计算而确定所述角度。
8.一种确定目标对象相对于设备的角度的方法,该方法包括:
接收在设备的显示器上可看见的对象作为目标对象的标识;
接收包括该目标对象的至少一部分的一对图像,这对图像包括由设备上的第一相机捕获的第一图像和由设备上的第二相机捕获的第二图像;
确定对于在该第一图像和第二图像之间的相关性的相关值;以及
通过以下步骤而确定在从目标对象延伸到设备的第一基准线与延伸穿过该设备的第二基准线之间的角度:
访问具有相关值和对应角度的调整表;以及
检索对应于最接近所确定的相关值的相关值的角度。
9.一种确定目标对象相对于设备的角度的装置,所述装置包括:
用于接收通过使用在设备上的第一相机捕获的第一图像和通过使用在该设备上的第二相机捕获的第二图像的装置,其中该第一相机与该第二相机在该设备上隔开某个距离,以及其中该第一图像和第二图像是在相同的捕获时间捕获的;
用于确定对于在第一图像和第二图像之间的相关性的相关值的装置;
用于访问具有图像与图像间相关值和对应角度的调整表的装置;以及
用于检索对应于最接近所确定的相关值的图像与图像间相关值的角度的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/592890 | 2012-08-23 | ||
US13/592,890 US9269146B2 (en) | 2012-08-23 | 2012-08-23 | Target object angle determination using multiple cameras |
PCT/US2013/055231 WO2014031457A1 (en) | 2012-08-23 | 2013-08-16 | Target object angle determination using multiple cameras |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104541304A CN104541304A (zh) | 2015-04-22 |
CN104541304B true CN104541304B (zh) | 2017-09-12 |
Family
ID=49083772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380044394.4A Active CN104541304B (zh) | 2012-08-23 | 2013-08-16 | 使用多个相机的目标对象角度确定 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9269146B2 (zh) |
EP (1) | EP2888716B1 (zh) |
CN (1) | CN104541304B (zh) |
WO (1) | WO2014031457A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9596437B2 (en) | 2013-08-21 | 2017-03-14 | Microsoft Technology Licensing, Llc | Audio focusing via multiple microphones |
EP3131311B1 (en) * | 2015-08-14 | 2019-06-19 | Nokia Technologies Oy | Monitoring |
US9800835B2 (en) * | 2015-10-05 | 2017-10-24 | Polycom, Inc. | Conversational placement of speakers at one endpoint |
WO2019160778A1 (en) * | 2018-02-14 | 2019-08-22 | University Of Massachusetts | Image capturing system, method, and analysis of objects of interest |
CN109271892A (zh) * | 2018-08-30 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 一种物体识别方法、装置、设备、车辆和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101826206A (zh) * | 2010-03-31 | 2010-09-08 | 北京交通大学 | 一种相机自定标的方法 |
CN101909828A (zh) * | 2007-12-27 | 2010-12-08 | 莱卡地球***公开股份有限公司 | 将至少一个物体高精度定位在空间最终位置的方法和*** |
CN102072706A (zh) * | 2009-11-20 | 2011-05-25 | 深圳先进技术研究院 | 一种多相机定位与跟踪方法及*** |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU690230B2 (en) | 1995-01-18 | 1998-04-23 | Larry C. Hardin | Optical range and speed detection system |
US5940118A (en) | 1997-12-22 | 1999-08-17 | Nortel Networks Corporation | System and method for steering directional microphones |
JP4236749B2 (ja) * | 1999-01-13 | 2009-03-11 | 富士機械製造株式会社 | 画像処理方法および装置 |
SE521024C2 (sv) | 1999-03-08 | 2003-09-23 | Ericsson Telefon Ab L M | Metod och anordning för att separera en blandning av källsignaler |
US7039198B2 (en) | 2000-11-10 | 2006-05-02 | Quindi | Acoustic source localization system and method |
US7852369B2 (en) | 2002-06-27 | 2010-12-14 | Microsoft Corp. | Integrated design for omni-directional camera and microphone array |
NO318096B1 (no) | 2003-05-08 | 2005-01-31 | Tandberg Telecom As | Arrangement og fremgangsmate for lokalisering av lydkilde |
US7428000B2 (en) | 2003-06-26 | 2008-09-23 | Microsoft Corp. | System and method for distributed meetings |
CN101238511B (zh) | 2005-08-11 | 2011-09-07 | 旭化成株式会社 | 声源分离装置、音频识别装置、移动电话机、声源分离方法 |
US8289363B2 (en) | 2006-12-28 | 2012-10-16 | Mark Buckler | Video conferencing |
JP4413957B2 (ja) | 2007-08-24 | 2010-02-10 | 株式会社東芝 | 移動物体検出装置および自律移動物体 |
US8218033B2 (en) * | 2007-09-10 | 2012-07-10 | Sanyo Electric Co., Ltd. | Sound corrector, sound recording device, sound reproducing device, and sound correcting method |
US20090080876A1 (en) * | 2007-09-25 | 2009-03-26 | Mikhail Brusnitsyn | Method For Distance Estimation Using AutoFocus Image Sensors And An Image Capture Device Employing The Same |
GB0720473D0 (en) | 2007-10-19 | 2007-11-28 | Univ Surrey | Accoustic source separation |
US9445193B2 (en) | 2008-07-31 | 2016-09-13 | Nokia Technologies Oy | Electronic device directional audio capture |
US8392185B2 (en) | 2008-08-20 | 2013-03-05 | Honda Motor Co., Ltd. | Speech recognition system and method for generating a mask of the system |
KR101178801B1 (ko) | 2008-12-09 | 2012-08-31 | 한국전자통신연구원 | 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법 |
US8860729B2 (en) * | 2009-07-22 | 2014-10-14 | Imagemovers Digital Llc | Gaze intent estimation for retargeting of characters |
JP5473551B2 (ja) * | 2009-11-17 | 2014-04-16 | 富士フイルム株式会社 | オートフォーカスシステム |
JP4894939B2 (ja) * | 2010-03-15 | 2012-03-14 | カシオ計算機株式会社 | 撮像装置、表示方法、および、プログラム |
US9013550B2 (en) * | 2010-09-09 | 2015-04-21 | Qualcomm Incorporated | Online reference generation and tracking for multi-user augmented reality |
CA2803404A1 (en) * | 2010-11-15 | 2012-05-24 | Image Sensing Systems, Inc. | Hybrid traffic sensor system and associated method |
US8786680B2 (en) * | 2011-06-21 | 2014-07-22 | Disney Enterprises, Inc. | Motion capture from body mounted cameras |
US20130050069A1 (en) * | 2011-08-23 | 2013-02-28 | Sony Corporation, A Japanese Corporation | Method and system for use in providing three dimensional user interface |
US20130338962A1 (en) * | 2012-06-15 | 2013-12-19 | Jerry Alan Crandall | Motion Event Detection |
-
2012
- 2012-08-23 US US13/592,890 patent/US9269146B2/en active Active
-
2013
- 2013-08-16 CN CN201380044394.4A patent/CN104541304B/zh active Active
- 2013-08-16 WO PCT/US2013/055231 patent/WO2014031457A1/en active Application Filing
- 2013-08-16 EP EP13753958.1A patent/EP2888716B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101909828A (zh) * | 2007-12-27 | 2010-12-08 | 莱卡地球***公开股份有限公司 | 将至少一个物体高精度定位在空间最终位置的方法和*** |
CN102072706A (zh) * | 2009-11-20 | 2011-05-25 | 深圳先进技术研究院 | 一种多相机定位与跟踪方法及*** |
CN101826206A (zh) * | 2010-03-31 | 2010-09-08 | 北京交通大学 | 一种相机自定标的方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2888716B1 (en) | 2017-09-27 |
US20140056470A1 (en) | 2014-02-27 |
US9269146B2 (en) | 2016-02-23 |
CN104541304A (zh) | 2015-04-22 |
WO2014031457A1 (en) | 2014-02-27 |
EP2888716A1 (en) | 2015-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7154678B2 (ja) | 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム | |
CN110188719B (zh) | 目标跟踪方法和装置 | |
CN109308469B (zh) | 用于生成信息的方法和装置 | |
CN110263213B (zh) | 视频推送方法、装置、计算机设备及存储介质 | |
CN109993150B (zh) | 用于识别年龄的方法和装置 | |
CN104541304B (zh) | 使用多个相机的目标对象角度确定 | |
CN111552888A (zh) | 内容推荐方法、装置、设备及存储介质 | |
CN113284142B (zh) | 图像检测方法、装置、计算机可读存储介质及计算机设备 | |
CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
US11291911B2 (en) | Visualization of sound data extending functionality of applications/services including gaming applications/services | |
CN113050860B (zh) | 一种控件识别方法和相关装置 | |
CN111984803B (zh) | 多媒体资源处理方法、装置、计算机设备及存储介质 | |
CN114357278B (zh) | 一种话题推荐方法、装置及设备 | |
CN113205183A (zh) | 物品推荐网络训练方法、装置、电子设备及存储介质 | |
CN110276404B (zh) | 模型训练方法、装置及存储介质 | |
CN103869977B (zh) | 图像显示方法、装置和电子设备 | |
CN112995757B (zh) | 视频剪裁方法及装置 | |
CN111126159A (zh) | 用于实时跟踪行人的方法、装置、电子设备和介质 | |
CN108921138B (zh) | 用于生成信息的方法和装置 | |
CN112766406A (zh) | 物品图像的处理方法、装置、计算机设备及存储介质 | |
CN109034085B (zh) | 用于生成信息的方法和装置 | |
CN111258413A (zh) | 虚拟对象的控制方法和装置 | |
CN110750193B (zh) | 一种基于人工智能的场景拓扑确定方法和装置 | |
CN112256976B (zh) | 一种匹配方法和相关装置 | |
CN110942033B (zh) | 用于推送信息的方法、装置、电子设备和计算机介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150710 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150710 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |