CN103996205A - 用于处理对象的方法和电子设备 - Google Patents

Abstract

提供了一种操作电子设备的方法。所述方法包括：追踪被包括在多个数字图像中的至少一个对象，所述多个数字图像至少包括第一图像和第二图像。追踪对象包括：确定第一图像的一部分和第二图像的一部分之间的相位相关的值；确定相位相关的值中的峰值的位置；以及，根据所述峰值的至少一部分确定相位相关的值的方差。

Description

用于处理对象的方法和电子设备

技术领域

本公开涉及在电子设备中处理图像上的对象的方法。

背景技术

近来，基于硬件技术的发展已经开发了便携式终端来执行各种用户功能。例如，照相机或者摄像机功能已经变成了终端中的重要功能之一。因此，涉及照片或相机功能，已经积极地进行了针对各种用户功能的实际使用和可扩展性的研究。

上面的信息被作为背景信息展示，仅为了辅助理解本公开。关于以上的任何信息是否可作为关于本公开的现有技术来应用尚未被确定或者声明。

发明内容

本公开的方面将至少解决上面提到的问题和/或缺点，并且至少提供下面描述的益处。因此，本公开的一个方面将提供一种改善的处理对象的方法。

根据本公开的一个方面，提供了一种操作电子设备的方法。所述方法包括：追踪被包括在多个数字图像中的至少一个对象，所述多个数字图像至少包括第一图像和第二图像。追踪对象包括：确定第一图像的一部分和第二图像的一部分之间的相位相关的值；确定相位相关的值中的峰值的位置；和，根据所述峰值的至少一部分确定相位相关的值的方差。

根据本公开的另一方面，提供了一种电子设备。所述电子设备包括被配置成存储多个数字图像的存储器和被配置成处理所述图像的处理器。处理器被配置成：追踪被包括在所述多个数字图像中的至少一个对象，所述多个数字图像包括第一图像和第二图像；确定第一图像的一部分和第二图像的一部分之间的相位相关的值；确定相位相关的值中的峰值的位置；和，根据所述峰值的至少一部分确定相位相关的值的方差。

如上所述，根据本公开，本公开能够支持改善的处理对象的方法。

从下面的详细描述，本公开的其他方面、益处和突出特征对于本领域技术人员将变得清晰，下面的详细描述结合附图公开了本公开的各种实施例。

附图说明

结合附图，从下面的详细描述中，本公开的上述以及其他方面、特征和益处将更为清楚，在附图中：

图1是根据本公开的实施例示意性地示出了支持对象追踪功能的对象处理设备的框图；

图2是根据本公开的实施例示出了在图1的结构中的追踪模块的配置的详细框图；

图3是根据本公开的实施例示出了追踪对象的过程的流程图；

图4是根据本公开的实施例示出根据图3的第一实施例的对象追踪情况的视图；

图5是根据本公开的实施例示出根据图3的第二实施例的对象追踪情况的视图；

图6是根据本公开的实施例示出根据图3的第三实施例的对象追踪情况的视图；

图7是根据本公开的实施例示出在执行对象追踪功能期间应用的近似功能的视图；

图8是根据本公开的实施例示意性地示出支持本公开的对象追踪功能的***的配置的视图；

图9是根据本公开的实施例示出图8的***的配置的框图；

图10是根据本公开的实施例示意性地示出可应用根据本公开的对象处理设备的电子设备的配置的例子的框图。

图11是根据本公开的实施例示意性地示出可应用根据本公开的对象处理设备的平台的配置的视图。

贯穿附图，应该注意使用相同的参考数字来描述相同或者相似的元件、特征和结构。

具体实施方式

提供下列参考附图的描述来帮助全面理解本公开的各种实施例，本公开由权利要求及其等同物限定。其包括用于帮助理解的各种具体细节，但是这些要被认为仅仅是示范性的。因此，本领域技术人员将会认识到，在偏离本公开的范围和精神的情况下，可以对这里描述的各种实施例做出各种变化和修改。此外，为了清晰和简洁，可能省略对公知的功能和构造的描述。

在下面的描述和权利要求中使用的术语和词汇不限于文献含义，而是仅被发明人用来实现对本公开的清晰和一致的理解。因此，本领域技术人员应该清楚，提供下面的对本公开各种实施例的描述仅为了说明的目的而非限制本公开的目的，本公开由所附权利要求及其等同物限定。

要理解，除非上下文清楚地另有规定，否则单数形式“一”、“一个”和“该”也包括复数所指物。因此，例如对“一部件表面”的引用包括对一个或更多个这种表面的引用。

由于相同的原因，在附图中，某些结构元件可能被夸张地或者示意性地示出或者省略，并且每一结构元件可能未被以实际大小完整地示出。因此，本公开不受在附图中提出的相对尺寸或者距离的限制。

图1是根据本公开的实施例示意性地示出了支持对象追踪功能的对象处理设备的框图。下面描述的本公开的对象处理设备能够识别所捕获的图像中所包括的元素中的某个对象。此外，本公开的对象处理设备能够平滑地追踪识别的对象。这种对象处理设备可被应用于各种图像处理技术。在下面的描述中，将描述支持增强现实（Augmented Reality，AR）功能的对象处理设备。因此，所述对象处理设备可以是AR处理单元的至少一部分。

AR处理单元可以把存储器、中央处理单元（CPU）和图形处理单元（GPU）用于对输入数据的必要处理。AR处理单元也可以使用参考数据库（database，DB）用于分辨和识别目标。AR处理单元的输出可以包括例如标识信息和定位信息。定位信息可被用来确定目标对象的二维（2D）/三维（3D）角度或者取向。可以采用标识信息来确定对象是什么。可以使用AR内容管理单元来利用AR处理单元的输出和来自远程/本地内容DB的内容来组织最终的视频/音频输出。

本公开的实施例评估视觉场景变化和参考对象运动，包括对象相对于背景移动和相对于彼此移动的情况。本公开提供了一种对相机传感器输入的视频的对象运动估计的计算上高效的（移动设备上实时的）方法。

参考图1，本公开的对象处理设备100可以包括输入控制模块110、识别模块120、定位模块130和对象追踪模块140。

上述对象处理设备100能够针对所获取的输入信息中的图像信息执行图像处理。在这个处理中，对象处理设备100可以支持对图像中所包括的对象的追踪功能。具体来说，对象处理设备100可以在支持对象追踪功能的同时支持智能移动应用。智能移动应用可以包括根据所确定的图像中所包括的对象的移动可靠性来确定是否计算另外的对象移动的过程。基于所述确定，对象处理设备100能够更精确地确定图像中所包括的对象的实质性移动。此外，对象处理设备100能够根据实际对象的移动执行AR内容的应用。

输入控制模块110可以将提供给对象处理设备100的输入信息分类。此外，输入控制模块110可以根据当前的对象处理设备100的功能执行状态确定输入信息的转移路线。例如，当初始图像信息被获取时，输入控制模块110可以把对应的图像信息提供给识别模块120。可以从连接到对象处理设备100的图像传感器或者设置在包括对象处理设备100的终端中的图像传感器获取图像信息。

当识别模块120的图像识别过程和定位模块130的对象辨别过程完成时，输入控制模块110可以把图像信息直接传送到对象追踪模块140。或者，输入控制模块110可以把图像信息同时传送到识别模块120和对象追踪模块140。因此，针对图像信息的识别处理和对象追踪处理可被并行执行。

输入控制模块110可以控制避免在对象追踪功能正被执行时把图像信息提供给识别模块120。此外，当其追踪对象失败时，输入控制模块110能够把图像信息提供给识别模块120。此外，如果AR内容被施加于被追踪的对象，则输入控制模块110可以把不同的输入信息，例如音频信息、传感器信息等提供给对象追踪模块140。

当从输入控制模块110接收到图像信息时，识别模块120执行图像信息的识别过程。即，识别模块120可以针对接收到的图像信息执行特征检测过程、描述符计算过程和图像查询过程。

特征检测可以是收集从通过了滤波过程的图像信息提取的特征的过程。此时，特征检测可以在各个方面通过各种可应用于对象处理设备100的经滤波的信息来执行。例如，在特征检测过程中，识别模块120可以对图像信息执行离散化过程。此外，识别模块120可以把预先定义的特定算法施加于离散信息以使期望的特征保留。

描述符可以是定义对应的图像信息的被基于检测到的特征计算出的自然特征的信息。这种描述符可以由图像信息中的每一预先确定的部分的特征的位置、特征的排列和特征的自然特点其中至少一个来定义。即，描述符可以是通过简化图像信息的预先确定的点的自然特点来获取的值。因此，从一条图像信息可以提取至少一个描述符。

当对描述符的计算完成时，识别模块120可以通过图像查询过程执行描述符与参考数据的比较。即，识别模块120识别是否存在具有和计算出的描述符或者期望的误差范围内的描述符相同的描述符的参考数据。参考数据可以由为对象处理设备100的操作准备的内部存储单元提供。或者，参考数据可以从外部存储设备，例如，单独的服务器***，提供以用于对象处理设备100的操作。参考数据可以是关于先前存储或者刚好在获取当前处理的图像信息之前存储的特定图像的图像信息。例如，在人脸识别中，需要外部参考人脸数据库以便识别被认可的人脸，并且可以分辨出不同人脸的差别。在另一方面，在一般的快速响应（Quick Response，QR）码识别中，不执行信息的动态更新。因此，只需要用于数据库的QR码识别的特定规则，以便QR码使用内部参考数据。识别模块120通过使用参考数据来简化图像识别过程中的计算。此外，识别模块120可以通过使用参考数据来分辨目标对象。

定位模块130可以辨别构成图像信息的各种对象。这种定位模块130可以包括特征匹配操作和初始角度估计（初始姿势估计）操作。即，定位模块130可以提取从图像信息中辨别出的对象的特征。此外，定位模块130可以把特定对象的特征与参考数据的期望对象匹配。此时，当不存在特征的匹配信息时，定位模块130可以重新更新匹配信息。当对象的特征匹配完成时，定位模块130可以执行对图像信息中所包括的至少一个对象的初始角度估计。在对象处理设备100激活了对象追踪功能的情况下，定位模块130可以把包括匹配信息和初始角度信息其中至少一个的对象信息提供给对象追踪模块140。

对象追踪模块140从定位模块130接收对识别出的目标对象的初始角度估计。此外，对象追踪模块140可以通过对目标对象的连续角度计算来追踪对象。对象追踪模块140可以具有识别信息和包括在对象角度中的对象区别信息的基本输出。具体来说，本公开的对象追踪模块140可以基于对象的移动可靠性，把自适应对象移动计算施加于图像信息。因此，对象追踪模块140可以包括如图2中所示的结构。

下面描述的对象追踪模块140执行追踪多个数字图像中所包括的至少一个对象的操作，所述多个数字图像可以包括第一图像和第二图像。在这种情况下，对象追踪模块140可以执行确定第一图像的至少一部分和第二图像的至少一部分之间的相位相关值的操作、确定这些相位相关值中的峰值的位置的操作，以及通过使用峰值的至少一部分确定相位相关值的方差的操作。同时，对象追踪模块140还可以通过使用方差的至少一部分执行追踪至少一个对象的操作。

在方差小于或者不大于选择的阈值的情况下，对象追踪模块140通过使用第一过程执行追踪至少一个对象的操作，而在方差大于或者不小于选择的阈值的情况下，对象追踪模块140通过使用第二过程执行追踪至少一个对象的操作。

第一过程执行确定位于第一图像的第一位置的至少一个对象是否移动到第二图像的第二位置的操作，并且，第二位置可以通过使用峰值的位置来确定。

第一处理器可以包括确定第一图像上的第一位置的区域和第二图像上的第二位置的区域之间的像素相关的操作。这里，在像素相关不小于或者大于选择的值的情况下，第一处理器可以确定至少一个对象从第一位置移动到第二位置。另一方面，如果确定至少一个对象未从第一位置移动到第二位置，则第一处理器可以独立于峰值位置地追踪所述至少一个对象。

不考虑峰值位置地追踪至少一个对象的操作可以是针对第一图像和第二图像上的每一对象执行相位相关计算的操作。

同时，第二处理器执行不考虑峰值位置地追踪所述至少一个对象的操作。此时，对于第一和第二图像，可以执行针对每一个对象的相位相关计算。在执行针对每一对象的相位相关计算的操作中，所述至少一个对象可以以所选择的形式来近似。

此后将描述由上述对象追踪模块140执行的每一过程中被示范性地命名的每个结构元件的操作。

图2是根据本公开的实施例示出了图1的对象追踪模块140的配置的详细框图。

参考图2，对象追踪模块140可以包括对象角度预测单元141、特征检测单元142、描述符计算单元143、特征匹配单元144和角度估计单元145。

对象角度或者姿态预测是作为AR的一个任务的对象追踪的一部分。其实现了连续追踪并取得了高准确性。所有不使用当前图像信息的角度预测方法对于在移动AR应用中经常出现的快速运动变化的预测能力较弱。相位相关是估计图像之间的二维移动的相关技术中公知的技术。在美国专利申请公开2012/099651、美国专利6,473,462和美国专利6,057,892中描述了将相位相关用于运动检测。

对象角度预测单元141可以预测图像信息中所包括的至少一个对象的角度。对象角度预测单元141可以从定位模块130接收图像信息中所包括的一个或更多个对象的初始角度估计值。因此，基于对象的初始角度估计值，有可能根据图像信息中所包括的对象的移动来预测对象的角度。即，对象角度预测单元141可以基于初始角度估计值，预测图像信息中所包括的至少一个对象移动的方向、位置和/或角度。

更具体地，对象角度预测单元141把先前获取的图像信息与当前获取的图像信息进行比较，以便计算整个图像信息的移动，即，移动距离、移动方向和移动角度其中至少一个。此外，对象角度预测单元141可以基于计算出的移动程度，预测图像信息中所包括的至少一个对象的移动。例如，对象角度预测单元141可以执行先前帧和当前帧之间的相位相关。此时，对象角度预测单元141可以通过应用快速傅里叶变换（FFT）算法来执行相位相关。对象角度预测可以被实时地执行。

在另一方面，本公开的对象角度预测单元141可以执行先前帧和当前帧中所包括的每一对象的移动可靠性的测试。结果可靠性的布尔值被评估，并且能够通过计算相位相关的离差被获取。当在图像之间发现显著的平移时，相位相关的离差（dispersion of the phase correlation）将会较小。如果所述离差小于某个阈值，则返回真，否则返回假。如果该移动是可靠的，则其意味着设备被在静态场景上移动。如果对象在输入图像中占据了小区域并且不沿着和背景移动的相同方向移动，则相位相关将给出背景而非该对象的2D移动。

无可靠性意思是场景高度变化，并且在顺次帧之间未发现实质性相关。如果图像之间的运动估计（相位相关）失败，则针对每一对象单独估计运动。在多个对象覆盖了大部分图像并沿不同方向移动的情形中可以观察到这种情况。

如果一致的图像之间的运动估计成功了，则验证每一被追踪对象的相位相关结果。在先前图像上具有已知角度的被追踪对象覆盖某个区域。这个区域自身、其一部分或者任何方便的粗略近似（例如内接矩形或者描绘的矩形）可被用来验证2D移动。把这个移动施加于所述区域（作为2D对象），以获取当前图像上的对应区域。然后，可以使用相关技术的不同方法来比较两个图像区域。为了更好的比较表现，图像及其区域可以被缩放。如果根据所使用的比较方法，区域是类似的，则认为所述2D移动对于被检查的对象是有效的，如果不是，则针对这个对象单独估计运动。

对象角度预测单元141可以计算帧的相位相关的方差，以便确定移动可靠性。在相位相关的方差在预先确定的值以内并且每一对象的移动可靠性有效的情况下，对象角度预测单元141可以预测图像信息中所包括的对象移动到预测的位置。因此，对象角度预测单元141可以控制通过相位相关施加移动距离、方向和角度预测。这里，在对象的移动预测和对象的实际移动相同的情况下，对象角度预测单元141可以确定对象的移动被有效地确定。对象角度预测单元141可以从角度估计单元145接收对象的移动方向的有效性。

如果相位相关的方差在预先确定的值的范围内，但是每一对象的移动可靠性不是有效的，则对象角度预测单元141可以控制检测对象的实际移动方向。此时，对象角度预测单元141可以仅指定具有无效的移动可靠性的对象，以便针对这些对象执行相位相关，或者可以控制针对全部对象执行相位相关。

在另一方面，当相位相关的方差在预先确定的值的范围以外时，对象角度预测单元141可以预测对象的移动方向不相同。在这种情况下，对象角度预测单元141可以针对图像信息中所包括的每一对象执行相位相关。此外，对象角度预测单元141可以基于相位相关的结果预测移动距离和方向。

当对象角度预测单元141完成了对象移动的预测时，特征检测单元142可以检测当前获取的图像信息的特征。和由识别模块120执行的特征检测相同的过程可以被施加于由特征检测单元142执行的特征检测。但是，由特征检测单元142执行的特征检测过程可以比由识别模块120执行的特征检测过程简单。即，特征检测单元142可以提取与在由识别模块120执行的特征检测中的特征相比数量相对较少的特征，或者，可以从与在由识别模块120执行的特征检测中的区域相比相对较窄的区域提取特征，以便支持追踪对象的移动。

描述符计算单元143可以基于检测特征的结果来计算描述符。描述符计算单元143可以基于由对象追踪模块140的特征检测单元142检测的特征来计算描述符。这里，描述符可以由预先确定数量的特征或者期望区域中的特征来定义，所述特征被排列在图像信息中。描述符计算单元143可以在描述符计算完成时把对应结果提供给特征匹配单元144。

特征匹配单元144可以基于由描述符计算单元143计算的描述符来执行特征匹配。即，特征匹配单元144可以执行包括先前帧的期望位置处的特征的描述符与包括当前帧的期望位置处的特征的描述符的匹配。

角度估计单元145可以通过当前帧与先前帧的描述符匹配，执行关于图像信息以何角度移动或者移动到何位置的估计。基于该估计，角度估计单元145可以通过特征匹配单元144的描述符比较，分辨图像信息中所包括的对象的移动是否相同。此时，角度估计单元145可以检查图像信息中所包括的对象的移动方向是否和预测的信息相同。

此外，如果对象的移动方向相同，则角度估计单元145可以确定对象的移动是否有效。如果对象的移动有效，则角度估计单元145可以把相位相关结果施加于追踪图像信息的过程。在另一方面，如果对象的移动方向不同，则角度估计单元145可以执行图像信息校正。角度估计单元145可以仅指定具有不同移动方向的对象，以便校正对应对象的方向和距离。或者，角度估计单元145可以校正当前图像信息中所包括的所有对象的方向和距离。

将参考图3到图6更详细地描述基于上述对象的移动方向的移动有效性和可靠性的对象追踪功能。

图3是根据本公开的实施例示出了追踪对象的过程的流程图。

图4是根据本公开的实施例示出根据图3的第一实施例，例如“A”，的对象追踪情况的视图。

图5是根据本公开的实施例示出根据图3的第二实施例，例如“B”，的对象追踪情况的视图。

图6是根据本公开的实施例示出根据图3的第三实施例，例如“C”，的对象追踪情况的视图。

参考图3和图4以便描述一个实施例，例如“A”，在根据本公开的追踪对象的方法中，在操作301中，对象追踪模块140可以分辨获取的图像信息以及是否检测到对象的移动。为此，本公开的对象追踪模块140可以在当前获取的图像信息和先前获取的图像信息之间执行相位相关。更具体地，对象追踪模块140可以检测先前从当前图像信息中检测到的至少一个对象的移动。因此，当检测到对象的移动时，对象追踪模块140可以根据对象的移动执行图像信息的比较。

在操作305中，对象追踪模块140可以把根据对象的移动计算出的作为图像信息的比较结果的移动可靠性值与参考值进行比较。

这里，分辨移动可靠性的操作305可以包括分辨对应的图像信息中所包括的全部对象的移动方向是否相同或者相似的步骤。因此，当前图像信息和先前图像信息之间的相位相关的方差可被分辨出来。在根据针对全部图像信息的相位相关的、二维估计区域中的结果值是预先确定的位置处的峰值的情况下，方差可以相对较低。在方差低的情况下，认为移动可靠性高。如果针对全部图像信息的相位相关的结果值在二维估计区域中不趋向于收敛，而是趋向于发散，则确定方差相对非常高。在方差高的情况下，认为移动可靠性低。上述方差可以根据预先确定的计算通过数值来推导。结果，移动可靠性可以由预先确定的数值来指示。

在另一方面，尽管已经描述了使用相位相关来分析移动可靠性的方法作为例子，但是本公开不限于此。即，上述移动可靠性是指示在图像信息中被追踪的对象的移动方向是否相同或者相似的值。因此，如果存在计算图像信息中对象的移动方向的方法，则该方法可被用来分析本公开的移动可靠性。例如，可以关于从图像信息中所包括的复数个对象中随机选择的或者根据预先确定的基准选择的复数个对象的移动方向是否相同，来确定移动可靠性。

如果在操作305中，移动可靠性不小于参考值，则在操作307中，对象追踪模块140可以分辨对象的移动是否有效。在操作305中，移动可靠性不小于参考值的状态可以指示图像信息中的对象的移动方向大致相同的状态。在另一方面，分辨对象的移动的有效性的过程可以是分辨对象的移动预测信息是否有效的过程。即，对象追踪模块140可以如上所述预测图像信息中对象的移动，并执行验证预测结果的过程。在操作307中，对象追踪模块140可以执行分辨对应的对象是否实际存在于预测的对象移动位置的过程。在该过程中，对象追踪模块140可以选择性地分辨图像信息中所包括的被追踪对象的移动的有效性。

更具体地，对象追踪模块140可以追踪图像信息中复数个对象中的一个或更多个对象。此时，对象追踪模块140可以追踪一个或更多个对象中的主对象。可以根据对象追踪模块140的计算能力改变主对象。例如，主对象可以是在图像信息中辨别出的多个对象中具有比预先确定的尺寸大的尺寸的至少一个对象。

可以利用图像信息中的各种信息执行对象的辨别。例如，在图像信息中包括一个或更多个边界区域，并且一个或更多个边界区域形成了至少一个闭合表面的情况下，对象追踪模块140可以将所述闭合表面辨别为一个对象。此外，对象追踪模块140可以把区别于周围区域的预先确定的区域（其不是闭合表面）识别为对象。此外，在图像信息分析过程中，对象追踪模块140可以把具有阴影区的预先确定的部分辨别为对象。此外，对象追踪模块140可以把包括比预先确定的数量更多数量的上述描述符的区域或者通过描述符分析并具有比预先确定的尺寸更大的尺寸的区域辨别为对象。

在本公开中公开的追踪对象的方法中，假设识别和定位图像信息的过程被执行，以便从图像信息中辨别出对象。此外，本公开的对象追踪方法可以提供一种支持技术，其中追踪对象的过程被在以上假设情况中有效地执行。因此，本公开的对象追踪方法不限于识别和定位上述对象的过程。即，本公开的对象追踪方法可被应用于通过施加各种识别和定位对象的过程来辨别对象的情况。

在另一方面，移动可靠性不小于参考值的情况对应于全部对象大致具有相似的移动路径的情况。更具体地，图像信息中所包括的对象中具有相对较宽的区域的对象和其他对象相比，可以向移动可靠性贡献加权值。因此，如果移动可靠性大于参考值但是对象的移动不是有效的，则很可能图像信息中所包括的对象中具有相对较小区域的对象具有不同的移动方向。因此，当在操作307中确定对象的移动的有效性时，对象追踪模块140最好可以确定图像信息中所包括的对象中具有相对较小区域的对象的移动的有效性。因此，在操作307中，对象追踪模块140可以计算具有相对较小区域的对象的相位相关，并确定移动的有效性。这里，可以根据设计者意图或者测试结果确定或者改变预先定义的区域的大小。

如果在图像信息中没有主对象，则对象追踪模块140可以针对每一被追踪的对象计算相位相关，并确定移动的有效性。不存在主对象的情况可以是具有类似尺寸的复数个对象被排列在图像信息中的状态。如果存在具有类似尺寸的复数个对象，则很难精确地确定哪个对象沿着和剩余对象的方向不同的方向移动。因此，如果不存在主对象或者存在具有类似尺寸的对象，对象追踪模块140可以不执行单独的对象指定以确定移动的有效性，并针对每一对象计算相位相关，以便确定移动的有效性。此时，对象追踪模块140可以执行对所有对象的采样，并基于被采样对象的移动有效性的确定来确定所有对象的移动的有效性。

如果在操作307中，在预测的位置处存在被移动的对象，则确定对象追踪模块140具有对象的移动的有效性，并且在操作309中可以应用对象的移动。即，对象追踪模块140确定所预测的结果是精确的，从而根据该结果追踪对象。此外，对象追踪模块140可以将特定内容施加到预测的位置。例如，对象追踪模块140可以支持把为增强现实的应用准备的内容输出到预测的位置。上述操作305到309对应于对象的移动是相同的状态，如图4中所示。

图4示出了在图像信息区域40中排列的三个对象41、42和43。即，在图4中，对象追踪模块140可以执行对图像信息40中的复数个对象41、42和43（例如，第一对象（Obj1）41、第二对象（Obj2）42和背景对象43）的追踪。在识别和定位图像信息40的过程中，可以选择第一对象41、第二对象42和背景对象43。对象追踪模块140可以从定位模块130接收关于上述对象41、42和43的信息。

如果如图4中所示，复数个对象41、42和43被追踪，则对象追踪模块140可以针对复数个对象41、42和43计算当前图像信息和先前图像信息之间的相位相关的方差。具有相同或者相似的移动方向的对象的相位相关的方差可被计算为在二维中收敛到的预先确定的位置的值或者预先确定的位置的峰值。此外，在对象41、42和43的移动方向不同的情况下，相位相关的方差可被指示为在两维中不在预先确定的位置收敛而是发散的值。如上所述，这种特征可以被定义为对象的移动方向的移动可靠性。因此，由于在图4中假设对象41、42和43的移动方向相同，所以当计算相位相关的方差时，可以检测到相对较高的移动可靠性值。

如图4中所示，当第一对象41、第二对象42和背景对象43沿着相同方向移动时，对象追踪模块140可以在根据对象的移动预测结果不大可能有错的状态下执行移动追踪。此外，由于当对象具有高移动可靠性时，实际对象到预测位置的移动映射中的错误不大可能，所以在计算过程中计算量可以被减少。对象的移动可靠性较高的情况的例子可以包括图像传感器的移动，或者其中安装了图像传感器的设备的移动。即，在图像传感器自身移动而不存在和主题对应的图像上的各对象的移动的情况下，这种情况可以对应于对象的移动可靠性较高的情形。

在另一方面，将参考图3和图5描述本公开的第二实施例，例如B。在图3的操作305中移动可靠性不小于参考值并且在操作307中对象的移动可靠性无效的情况下，对象追踪模块140执行操作311，以便计算被指定对象的相位相关。当在操作305中移动可靠性不小于参考值时，图像信息中所包括的对象的移动可能大致相同。如果在操作307中不存在对象移动的有效性，则图像信息中所包括的至少一个对象可以具有和其他对象不同的移动方向。如果不存在对象移动的有效性，则在对象追踪过程中，对象可能不出现在预测的位置。

对象追踪模块140可以分辨图像信息中所有被追踪的对象的移动，并基于所述分辨来预测每一对象的移动。然后，对象追踪模块140可以分辨实际对象是否出现在预测的位置。为此，对象追踪模块140可以把先前图像信息中的特定对象的位置特征与当前图像信息的预测位置的特征进行比较。如果先前图像信息中的特定对象的位置特征与当前图像信息的预测位置特征不同，则对象追踪模块140可以确定不存在对象移动的有效性。在这个过程中，对象追踪模块140可以通过比较两个或更多个如上所述的标识符的过程，分辨实际对象是否出现在预测位置。或者，对象追踪模块140可以通过针对图像执行归一化互相关（Normalized Cross Correlation，NCC）比较来分辨实际对象位置。

在操作311中，对象追踪模块140可以个别地计算图像信息中所包括的一个或更多个对象的相位相关。在这个过程中，对象追踪模块140可以计算图像信息中所包括的被追踪对象的相位相关。或者，对象追踪模块140可以在图像信息中所包括的所有被追踪对象中指定某些对象，并且可以计算被指定对象的相位相关。例如，对象追踪140可以指定具有无效移动的对象，并且可以计算被指定对象的相位相关。

在另一方面，除了主对象以外，对象追踪模块140可以只针对图像信息中所包括的被追踪对象中具有相对较小区域的对象计算个别的相位相关。或者，对象追踪模块140可以只针对图像信息中具有小于预先定义的尺寸的区域的对象计算个别的相位相关。这种应用过程可以根据确定对象移动的有效性的基准来施加。即，在被追踪对象中被选择的特定对象因被选择的特定对象的实际位置和预测位置不同而不具有移动的有效性的情况下，对象追踪模块140可以针对所有对象计算相位相关，或者，可以针对某些对象计算相位相关。此时，对象追踪模块140可以考虑除了上述主对象以外的对象，或者考虑具有小于预先确定的尺寸的区域的对象。

对象追踪模块140可以从当前图像信息中检测描述符，所述描述符和先前图像信息中具有不同移动方向的对象中所包括的至少一个描述符相同。此外，对象追踪模块140可以通过分辨匹配的描述符的位置，来追踪对应的实际对象的移动位置。如果为了检测对象的移动而计算相位相关的结果被导出，则在操作313中对象追踪模块140可以根据该结果值校正被指定对象的移动。在执行移动的校正之后，对象追踪模块140可以支持把增强现实内容应用于一个或更多个对象，在所述对象中，移动位置、移动角度和移动方向其中至少一个已被校正。

在另一方面，在分辨移动的有效性的操作307中，对象追踪模块140不针对所有对象中的每一个确定移动的有效性，而是分辨预先确定的对象的移动的有效性。例如，对象追踪模块140能够只针对具有小于预先确定的尺寸的区域的对象分辨移动的有效性。

图5示出了图像信息40包括第一对象Obj141、第二对象Obj242和背景对象43的状态。在这些对象当中，第一对象41和第二对象42可以沿着和其他对象的移动方向不同的方向移动。这里，当预测图像信息40的移动方向时，背景对象43起到主对象的作用。和背景对象43相比具有相对较小区域的第一对象41和第二对象42可以是用于确定移动的有效性的对象。

尽管通过背景对象43推导出图5的对象41、42和43的移动可靠性高于预先确定的参考值，但是在分辨移动的有效性的过程中，对象追踪模块140可以分辨出并非每一对象41、42和43均位于对象41、42和43的预测位置。即，根据背景对象43，对象追踪模块140可以分辨出对象被水平移动。通过参考背景对象43的水平移动方向和移动距离，对象追踪模块140可以猜测其他对象(例如第一对象41和第二对象42)的预测位置。此外，对象追踪模块140可以分辨在预测位置是否检测到和第一对象41与第二对象42对应的特征。

这里，假设第一对象41和第二对象42沿着和背景对象43实质上不同的方向移动。此外，对象追踪模块140在预期位置未检测到第一对象41和第二对象42的特征。在这种情况下，对象追踪模块140因而确定对象的移动是无效的。然后，对象追踪模块140可以通过计算先前图像信息和当前图像信息的相位相关来检测第一对象41和第二对象42的实际移动位置。这里，对象追踪模块140可以不计算背景对象43的相位相关。但是，对象追踪模块140可以只针对先前图像信息中第一对象41的区域和第二对象42的区域计算相位相关。

参考图3和图6以便描述本公开的第三实施例，例如“C”，如果在操作305中移动可靠性小于参考值，则对象追踪模块140可以执行操作315来计算对象的相位相关。移动可靠性小于参考值的情况对应于图像信息中所包括的对象的相位相关的方差不小于预先确定的值的情况。即，其可以是图像信息中所包括的对象的移动可靠性较小或者没有的情况。在这种情况下，对象追踪模块140可以针对图像信息中所包括的每一对象计算相位相关。如果针对每一对象的相位相关的计算完成，则对象追踪模块140可以基于计算结果检测每一对象的实际移动位置。当应用对象的移动时，对象追踪模块140可以支持把增强现实内容应用于每一对象。

图6示出了第三实施例的情形，其中，对象41和42的移动可靠性小于参考值。更具体地，图6中所示的图像信息可以是第一对象Obj141和第二对象Obj242在几乎不排列背景对象的状态下被排列为重要对象的情形。由于如图中所示第一对象41和第二对象42被基本贯穿这个图像信息40的整个区域而排列，所以第一对象41和第二对象42可以是对应的图像信息40的主对象。因此，在图像信息40中，如图中所示，可以检测到移动非常低，因为第一对象41和第二对象42沿着不同方向移动。因此，本公开的对象追踪模块140可以确定主对象的移动可靠性低于参考值。对象追踪模块140可以针对每一对象41或者42计算相位相关，以便检测每一对象41或者42实际被移动的位置。

在上面的描述中，已经描述了在将移动可靠性与参考值比较并且根据比较结果估计对象的移动的有效性之后计算相位相关的过程或者不估计对象的移动就计算相位相关的过程。这里，在本公开的另一实施例中，为了支持多个参考值与移动可靠性的比较，可以设计移动可靠性。

更具体地，如果移动可靠性不小于预先定义的第一参考值，则对象追踪模块140可以不估计对象移动的有效性就施加对象的移动。例如，如图4中所示，如果所有对象，例如背景对象43、第一对象41和第二对象42都沿相同方向移动相同距离，则可以检测到相对最高的移动可靠性。在这种情况下，可以省略对对象移动有效性的单独估计。

此外，如图5中所示，在对象(例如图像信息40中所包括的背景对象43、第一对象41和第二对象42)沿不同方向移动的情况下，即使检测到相对最高的移动可靠性，也需要执行对对象移动有效性的估计。因此，如果移动可靠性的值不小于预先定义的第一参考值，则在应用对象的移动时，对象追踪模块140可以支持省略对对象移动有效性的估计。

此外，如果移动可靠性的值不大于第一参考值并且不小于第二参考值，则在应用对象的移动时，对象追踪模块140可以支持执行对至少一个对象的移动有效性的估计。或者，如果移动可靠性的值不大于第一参考值并且不小于第二参考值，对象追踪模块140可以支持执行对对象移动有效性的估计。此外，对象追踪模块140可以支持在无对象移动的有效性的情况下执行对象的相位相关。这里，对象追踪模块140可以控制针对其中排除了主对象的对象或者针对具有小于预先确定的尺寸的区域的对象执行相位相关。在另一方面，如果移动可靠性的值不大于第二参考值，则对象追踪模块140可以执行根据本公开的第三实施例的过程。

当在图3到图6中检测对象的移动的过程中执行相位相关时，对象追踪模块140可以应用如图7中所示的对象区域近似方案。

图7是根据本公开实施例示出在执行本公开的对象角度预测功能时对象区域近似功能的视图。

参考图7，在图像信息40中所获取的实际对象50的对象区域未以具有平行于图像信息40的轮廓的边出现时，对象追踪模块140可以通过对象区域近似来形成虚对象51、52和53的对象区域，并且可以将实际对象50与虚对象51、52和53其中至少一个映射。此时，虚对象51、52和53可被排列在临近排列实际对象50的位置的区域。虽然通过参考和实际对象50对应的虚对象51、52和53其中至少一个来执行实际对象50的位置检测，但是对象追踪模块140可以支持适当的对象角度预测功能。

对于单独对象的运动估计，先前图像上的对象区域利用矩形来近似，并且这个矩形可以代表从先前图像和当前图像获取的较小图像。相位相关方法被施加于这些剪切的图像，以便以针对完整图像的相同的方式计算对象运动。为了更好的准确性，剪切矩形尺寸被选择成包括全部或者大部分对象区域，并适于傅里叶变换。

虚对象51、52和53可以有带有和图像信息40的轮廓平行的边的外观，例如矩形形状。当扫描图像信息40中所包括的数据时，对象追踪模块140可以沿水平方向或者垂直方向执行扫描。当与图像信息40的轮廓平行地准备的一个或更多个虚对象51、52和53被与实际对象50映射时，对象追踪模块140可以比在实际对象50的位置检测中更迅速地执行虚对象的位置检测，并且可以减少检测中的计算量。

在另一方面，可以通过识别模块120和定位模块130计算图像信息中的实际对象50的先前位置。对象追踪模块140可以通过参考先前图像信息中的位置值执行虚对象51、52和53与对应的实际对象50的映射操作。此外，对象追踪模块140可以针对预测的移动位置执行虚对象51、52和53与实际对象50的映射操作。即，对象追踪模块140可以通过在当前图像信息中的实际对象50的位置检测中应用上述虚对象51、52和53来执行预测计算（位置检测）。

在另一方面，在图7中，示出了三个虚对象51、52和53作为例子。通过参考每一实际对象50，虚对象51、52和53可被构成为具有预先确定的尺寸。例如，通过对象区域近似，第一虚对象51可以被配置成具有正方形形状，具有最小尺寸，其被设置在实际对象50的对象区域中。此时，正方形形状可以和图像信息40的轮廓平行。通过对象区域近似，第三虚对象53可以被配置成具有正方形形状，具有最大尺寸，其包括实际对象50所具有的顶点。通过对象区域近似，第二虚对象52是通过参考第一虚对象51和第二虚对象52之间的中间值绘出的正方形形状。

如果通过检测基于包括实际对象50的点的第一虚对象51的描述符来执行实际对象50的位置检测，则和其他虚对象52和53相比，该位置检测可能相对准确。但是，由于在第二虚对象52中被比较的区域相对较小，但是在图像信息40中必须比较相对更宽的区域，因此计算量可能增大。在另一方面，在基于第三虚对象53执行位置检测的情况下，即使和实际对象50无关的描述符也可以被包括在被比较的对象中，并且可能出现相对显著的位置检测误差。然而，由于在相对较宽区域中比较了描述符与对象，所以当所述描述符被与当前收集的图像信息40比较时，快速计算是可能的。第二虚对象52可以提供和第一虚对象51的效果与第三虚对象53的效果之间的中间效果对应的效果。通过设计者的选择，操作上述虚对象51、52和53其中至少一个的过程可被改变。

另一方面，在上面的描述中，尽管已经参考具有四个边并且这些边之间具有四个角的图描述了对象区域近似，但是本公开不限于此。即，对于具有和上面提到的图的边和角数量不同的边和角数量的对象，能够实现对对象追踪模块140容易识别的图的近似。例如，根据创建上述虚对象51、52和53的过程，对于三角形图或者八角形图，可以生成具有正方形形状的虚对象51、52和53。

图8是根据本公开的实施例示意性地示出支持对象追踪功能的基于服务器的***的配置的视图。

参考图8，本公开的对象处理***100可以包括例如用户终端101的电子设备、服务器***200和通信网络300。

在包括上述配置的本公开的对象处理***100中，为用户终端101配备了支持对象追踪功能的对象追踪模块140，以便支持对象追踪功能。此时，本公开的对象处理***100支持通过使用用户终端101的通信模块，通过通信网络300在服务器***200和用户终端101之间形成通信信道。因此，在支持对象追踪功能的过程中，对象处理***100可以通过服务器***200接收不同的信息。或者，在本公开的对象处理***100中，用户终端101可以接收并存储来自服务器***200的数据，并基于所存储的数据支持对象追踪功能。

用户终端101可以通过通信网络300访问服务器***200。此外，用户终端101可以把获取的图像信息提供给服务器***200。具体来说，用户终端101可以把获取的图像信息实时地提供给服务器***200。然后，服务器***200可以基于接收到的图像信息为对象追踪执行相位相关，并把结果值提供给用户终端101。用户终端101可以省略用于图像信息中的对象追踪的计算，并基于由服务器***200提供的值支持处理用于对象追踪的数据。在另一方面，用户终端101可以接收由服务器***200提供的远程参考数据和内容数据。此外，用户终端101可以通过使用远程参考数据执行图像信息的识别和定位。此外，用户终端101可以控制把内容数据应用于增强现实服务。

通信网络300可被设置在用户终端101和服务器***200之间。此外，通信网络300可以在两个配置(例如，用户终端101和服务器***200)之间建立通信信道。如果用户终端101支持移动通信功能，则通信网络300可以由移动通信网络***组成。此外，如果服务器***200通过国际互联网连接通信设备，则通信网络300可以由支持对应的国际互联网的***组成。此外，通信网络300还包括用于在异构网络之间传送数据的网络***。因此，应该理解，本公开的通信网络300不限于特定的通信方案、特定的通信模块，等等，而是作为可以应用用于在用户终端101和服务器***200之间执行数据通信的各种设备和方法的***。

服务器***200可以支持用户终端101的访问。此外，根据用户终端101的请求，服务器设备200可以支持对象追踪功能和增强现实服务功能。为此，服务器***200可以存储远程参考数据以支持对象追踪功能。此外，服务器***200可以存储被应用于增强现实的内容数据，以便支持增强现实服务功能。根据用户终端101的请求，服务器***200可以执行特定图像信息的识别过程、定位过程和对象追踪过程其中至少一个。此外，服务器***200可以根据用户终端101的请求提供每一过程的结果。

图9是根据本公开的实施例具体示出图8的配置中的用户终端101和服务器***200的配置的例子的框图。

参考图9，该框图示出了支持根据上述实施例的增强现实服务的对象处理***100的配置。对象处理***100可以包括主单元160，例如增强现实处理单元。

主单元160可以从诸如相机输入单元151、媒体输入单元152、音频输入单元153和至少一个传感器输入单元154的不同输入设备接收各种输入数据。传感器输入单元154可以包括加速度传感器、陀螺仪传感器、磁传感器、温度传感器、重力传感器，等等，并检测来自不同传感器的各种输入。主单元160可以使用存储器181、CPU182、GPU183等，以便处理输入数据。主单元160可以使用由服务器***200提供的远程参考数据库201或者本地参考数据库186，以便分辨和识别目标。主单元160的输出可以包括标识信息和定位信息。定位信息可被用来分辨目标对象的两维（2D）/三维（3D）角度。标识信息可被用来分辨目标是什么。

在最终通过视频输出单元184和音频输出单元185输出来自为服务器***200准备的远程内容数据库202或者本地内容数据库187的内容和主单元160的输出时，可以使用增强现实内容管理单元170把它们组合。

上面描述的对象处理***100可被安装在上述用户终端101的配置中的主单元160上。此外，对象处理***100可以被安装在用户终端101上，同时主单元160和AR内容管理单元170的配置被包括在用户终端101中。

图10是根据本公开实施例示出应用根据本公开的对象追踪功能的电子设备的配置的视图。即，图10中示出的电子设备500可以是其上安装了上述对象追踪模块140的电子设备的例子。

参考图10，电子设备500可以包括应用处理器510和呼叫处理器520。呼叫处理器520可以执行去往/来自射频（RF）单元522、存储器523和订户身份模块（Subscriber Identity Module，SIM）卡521的信号发送/接收。此外，呼叫处理器520可以和应用处理器510通信，以便支持应用处理器510所处理的功能中访问RF单元522、存储器523和SIM卡521所需的功能。在电子设备500的配置中，上述对象处理***100可以被安装在应用处理器510和呼叫处理器520其中任何一个上。或者，对象处理***100可以被作为单独和独立的硬件设备来提供，而非被安装在电子设备500的上述配置上并被设置在电子设备500的预先确定的区域中。

从功率管理单元570给应用处理器510供应电功率，例如电池571的电源被连接到功率管理单元570。应用处理器510可以执行去往/来自各种通信模块以及RF单元522的信号的发送和接收，所述通信模块例如WiFi模块581、蓝牙模块582、全球定位***（GPS）模块538、近场通信（Near FieldCommunications，NFC）模块584，等等，并支持被每一模块581、582、583或584执行的功能。应用处理器510可以被连接到用户输入单元511，用户输入单元511包括触摸输入、笔输入、按键输入，等等。应用处理器510可以与显示单元512、相机单元513、马达515、包括编码解码器（coder-decoder，codec）的音频处理器530、存储器/外部存储器516等连接。音频处理器530可以包括麦克风、扬声器、接收器、耳机连接孔，等等。应用处理器510可以和传感器中枢514连接。传感器中枢514可以和包括各种传感器的传感器单元590连接。传感器单元590可以包括磁传感器591、陀螺仪传感器592、加速度传感器593、气压计594、握持传感器595、温度和湿度传感器（温度计/湿度计）596、接近传感器597、照度传感器598、红绿蓝（RGB）传感器599和姿势传感器589其中至少一个。

图11是根据本公开实施例示出应用根据本公开的对象追踪功能的平台的视图。

参考图11，应用了本公开的对象追踪功能的平台600可以包括应用层610、应用框架层630、库层650和内核层670。

内核层670可以由例如Linux内核形成。内核层670是操作***的核心，并且可以执行以下各项中的至少一个：电子设备中的硬件驱动器操作、电子设备中的硬件和处理器的安全性、***资源的高效管理、存储器管理、通过硬件抽象提供硬件接口、多进程、服务访问管理，等等。内核层670可以把显示驱动器671、相机驱动器672、蓝牙驱动器673、共享存储器驱动器674、绑定器（进程间通信（Inter Process Communication，IPC））驱动器675、通用串行总线（USB）驱动器676、小键盘驱动器677、WiFi驱动器678、音频驱动器679和功率管理680安置在其中。内核层670可以被配置成利用上述驱动器、额外的驱动器，例如各种传感器驱动器或者实用程序，来支持根据本公开的追踪和处理图像中所包括的一个或更多个对象的操作。

库层650可以介于内核层670和应用层610之间，并且可以起到内核层670和应用层610之间的媒介的作用，以便发送和接收去往/来自其他硬件或者软件的数据。因此，有可能提供标准接口来支持不同的环境，并与另一***的任务相互关联。库层650可以包括表面管理器651、媒体框架652。SQLite653、OpenGL/ES654、Freetype655、Webkit656、可扩展图形库（ScalableGraphics Library，SGL）657、安全套接字层（Secure Sockets Layer，SSL）658、Libc659，等等。根据本公开，库层650可以被配置成支持追踪和处理图像中所包括的一个或更多个对象的操作。例如，库层650可以管理要被运行的各种应用，例如AR应用，被显示在屏幕上的状态，并且可以支持所获取的图像信息的基于2D/3D图形的显示。

库层650可以包括安卓（Android）运行时690。安卓运行时690可以存在于内核层670上，并且可以支持存储器的有效使用、在处理器之间共享数据的数据结构，等等。安卓运行时690可以提供必备的功能，例如容器、实用程序（utility）、输入/输出，等等。安卓运行时690可以包括核心库691和Dalvik虚拟机692。Dalvik虚拟机692可以支持其中支持对象追踪功能的电子设备的窗口小部件（widget）功能、需要实时运行的功能、需要根据预先设置的时序安排周期性地运行的功能，等等。

应用框架层630指示操作***的应用程序接口（API），并且可以包括作为应用层610中的应用的基础的程序。应用框架层630可以和任何应用兼容，其中组件的重用、移动或者交换是可能的。应用框架层630可以包括支持程序、用于连接其他软件结构元件的程序，等等。应用框架层630可以把活动管理器631、窗口管理器632、内容提供器633、观看***634、通知管理器635、包管理器636、电话管理器637、资源管理器638、位置管理器639等安置在其中。

应用框架层630可以被配置成利用根据本公开的上述管理器或者另外的管理器支持追踪和处理图像中所包括的一个或更多个对象的操作。例如，应用框架层630可以通过活动管理器631支持由另一处理器运行的应用的平滑导航，并且可以通过包管理器636分辨哪些应用被安装在电子设备中，或者每一应用执行哪个功能。应用框架层630还可以包括一个或更多个和本公开中的对象追踪模块140对应的管理器，并且可以被配置成通过对应的管理器支持在AR应用中获取图像、检测所获取的图像中的一个或更多个对象的移动、根据对象的移动确定移动可靠性、确定对象移动的有效性、处理对象的移动，等等。例如，应用框架层630可以确定来自所获取的图像的对象之间的相位相关值，并且可以支持通过使用峰值计算相位相关值的方差的操作。

应用层610可以包括在电子设备中运行和显示的各种程序。例如，应用层610可以包括涉及电子设备中的各种菜单等的用户接口（UI）应用、通过外部设备或者网络下载和存储并由用户自由安装或者卸载的应用，等等。通过这样的应用层610，增强现实服务、通过访问网络的国际互联网电话服务、视频点播（Video On Demand，VOD）服务、网络相册服务、社交网络服务（SocialNetwork Service，SNS）、基于位置的服务（Location Based Service，LBS）、地图服务、网络搜索服务、应用搜索服务、短消息服务（Short Message Service，SMS）/多媒体消息服务（Multimedia Message Service，MMS）、邮件服务、地址服务、媒体再现服务等可被执行。此外，应用层610可以执行各种功能，例如游戏、日程管理，等等。例如，应用层610可以把本位应用（homeapplication）611、拨号器应用612、SMS/MMS应用613、IM应用614、浏览器应用615、照相机应用616、警报应用617、计算器应用618、联系人应用619、语音拨号应用620、电子邮件应用621、日历应用622、媒体播放器应用623、相册应用624，时钟应用625等安置在其中。

上面描述的平台可被在各种设备以及根据本公开的电子设备中一般性地使用。此外，根据本公开的平台可被存储或者加载在如上所述的存储器和处理器其中至少一个中，或者存储或者加载在单独的处理器中。

将参考图10和图11描述根据本公开的操作，例如追踪和处理在AR服务执行中获取的图像中的对象的操作。

例如，在本公开中，通过相机单元513的图像数据、通过麦克风的语音数据，以及通过传感器中枢514从传感器单元590、GPS583等收集的各种数据可被用作输入。通过由处理器510指定的计算可以处理各种输入数据。此外，通过使用为了电子设备与服务器***200或者其他电子设备共享数据或者外部数据的情况而准备的WiFi模块581、蓝牙模块582和NFC模块584，本公开可以支持各种类型的通信。此外，在当前数据中，计算所需的数据可以在主存储器523或者外部存储器516中使用，并且通过计算推导的结果可被通过例如显示单元512、扬声器等的模块再次提供给用户。

利用基于电子设备的例如安卓的操作***的软件描述的这种操作，设置在最低端的内核层670的例如相机驱动器672、音频驱动器679、传感器驱动器等的各种驱动器可以执行接收输入数据的操作。例如，电子设备可以通过相机驱动器672执行从相机单元513接收例如图像的输入数据的操作，以便支持AR服务。

此外，电子设备可以使用由库层650提供的各种模块，例如表面管理器651、媒体框架652、SQLite653、OpenGL/ES654、Webkit656、Libc659等，以便基于输入数据驱动被指定的计算。例如，库层650可以使用Libc659以便基本上处理大部分计算，使用媒体框架652以便管理例如输入图像/语音的媒体数据。根据实施例，关于追踪和处理当AR服务被执行时获取的图像中的对象，电子设备可以通过Libc659执行计算，例如对象区域近似。此外，电子设备可以通过媒体框架652包括的各种编码解码器支持AR服务的媒体，例如图像，所述编码解码器例如高级视频编码（Advanced Video Coding，AVC）(H.264)、H.263、运动图像专家组(Motion Picture Experts Group，MPEG)-2音频层III(MP3)、MPEG-4等。

此外，电子设备可以使用由库层650提供的各种功能，以便有效地表达计算结果。例如，电子设备可以使用OpenGL/ES654、表面管理器651等以便提供三维图形效果。根据实施例，电子设备可以根据AR服务利用OpenGL/ES654支持三维图形，并且也可以支持硬件加速功能。因此，在例如AR应用的应用中，电子设备可以混合并使用三维图形和二维图形。通过内核层670的显示驱动器671，电子设备可以在显示单元512上显示在库层650中处理的计算结果。

此外，电子设备可以使用例如SQLite653的数据库管理器来管理数据。此外，电子设备可以使用Webkit656以便和网络相关联，并且可以通过应用框架层630为上级服务提供例如AR应用的各种应用，或者例如AR服务的各种服务。

上述配置未限制本公开的特征或者技术范围，而是仅仅示出了可应用本公开的特征的例子。为了在技术上实施本公开，可以应用图10和图11中示出的***或者设备的某些配置。此外，以本领域技术人员的观点，在本公开的实施例中可以添加、省略或者修改上述配置。此外，根据上述本公开实施例的需要，可以添加其他的配置。通过使用在上面提及和实施的实施例中描述的一个或更多个配置，可以运行在本公开中公开的一个或更多个方法、步骤和算法。例如，根据本公开，基于图像的AR平台可以在电子设备中实施，以便支持追踪和处理图像中的对象。

在另一方面，上述用户终端、电子设备等还可以根据其被提供的类型，包括各种另外的模块。即，在用户终端、电子设备等是通信终端的情况下，它们还可以包括以下配置，例如用于短距离通信的短距离通信模块、用于通过用户终端和电子设备的有线通信方案或者无线通信方案发送和接收数据的接口、用于和国际互联网通信以便执行国际互联网功能的国际互联网通信模块、用于接收和再现数字广播的数字广播模块，等等，它们未在上面描述。根据数字设备的集中趋势（convergence trend），这些结构元件可以具有未被列出的各种变型。但是，还可以包括具有等于上述结构元件的等级的结构元件。此外，在本公开的用户终端，电子设备等中，根据其被提供的类型，特定结构元件可被从上述配置去除，或者被用其他结构元件代替。这将被本领域技术人员理解。

此外，根据本公开实施例的用户终端，电子设备等可以包括例如所有信息和通信设备、多媒体设备及其应用设备，例如便携式多媒体播放器（PortableMultimedia Player，PMP）、数字广播播放器、个人数字助理（PDA）、例如MP3播放器的音乐再现设备、便携式游戏终端、智能电话、膝上型计算机、笔记本个人计算机（PC）、平板PC、折叠本（tap-book）计算机、手持PC，等等，以及所有的基于和各种通信***对应的通信协议操作的移动通信终端。

虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将会理解，不偏离本公开的由所附权利要求及其等同物限定的精神和范围就可以对其做出形式和细节上的各种变化。

Claims (22)

1.一种操作电子设备的方法，所述方法包含：

追踪被包括在多个数字图像中的至少一个对象，所述多个数字图像至少包括第一图像和第二图像，其中，追踪对象包含：

确定第一图像的一部分和第二图像的一部分之间的相位相关的值；

确定相位相关的值中的峰值的位置；和

根据所述峰值的至少一部分确定相位相关的值的方差。

2.如权利要求1所述的方法，其中，在追踪对象中，追踪所述至少一个对象被以使用所述方差的至少一部分的不同方式执行。

3.如权利要求2所述的方法，其中，以不同方式追踪所述至少一个对象包含：

如果所述方差小于被选择值，则通过使用第一处理器追踪所述至少一个对象；并且

如果所述方差大于或者等于所述被选择值，则通过使用第二处理器追踪所述至少一个对象。

4.如权利要求3所述的方法，其中，以不同方式追踪所述至少一个对象还包含：

由第一处理器确定位于第一图像的第一位置的至少一个对象是否移动到第二图像的第二位置，第二位置根据所述峰值的位置来确定。

5.如权利要求4所述的方法，其中，以不同方式追踪所述至少一个对象还包含：

利用第一处理器确定第一图像上的所述第一位置的区域和第二图像上的所述第二位置的区域之间的像素相关。

6.如权利要求5所述的方法，其中，如果所述像素相关大于或者等于所述被选择值，则第一处理器确定所述至少一个对象从所述第一位置移动到所述第二位置。

7.如权利要求4所述的方法，其中，以不同方式追踪所述至少一个对象还包含：

如果确定所述至少一个对象未从所述第一位置移动到所述第二位置，则不考虑所述峰值的位置地追踪所述至少一个对象。

8.如权利要求7所述的方法，其中，不考虑所述峰值的位置地追踪所述至少一个对象包含：针对第一图像和第二图像上的每一对象执行相位相关。

9.如权利要求3所述的方法，其中，第二处理器不考虑所述峰值的位置地执行所述至少一个对象的追踪。

10.如权利要求9所述的方法，其中，不考虑所述峰值的位置地追踪所述至少一个对象包含：针对第一图像和第二图像上的每一对象执行相位相关。

11.如权利要求8所述的方法，其中，针对每一对象执行相位相关还包含：以所选择的形式近似所述至少一个对象。

12.一种电子设备，包含：

存储器，被配置成存储多个数字图像；和

处理器，被配置成处理所述图像，

其中，处理器被配置成：追踪被包括在所述多个数字图像中的至少一个对象，所述多个数字图像包括第一图像和第二图像；确定第一图像的一部分和第二图像的一部分之间的相位相关的值；确定相位相关的值中的峰值的位置；以及，根据所述峰值的至少一部分确定相位相关的值的方差。

13.如权利要求12所述的电子设备，其中，处理器根据所述方差的至少一部分以不同方式追踪所述至少一个对象。

14.如权利要求12所述的电子设备，其中，处理器包含：

第一处理器，被配置成如果所述方差小于被选择值则追踪所述至少一个对象；和

第二处理器，被配置成如果所述方差大于或者等于所述被选择值，则追踪所述至少一个对象。

15.如权利要求14所述的电子设备，其中，第一处理器确定位于第一图像的第一位置的至少一个对象是否移动到第二图像的第二位置，第二位置根据所述峰值的位置来确定。

16.如权利要求15所述的电子设备，其中，第一处理器确定第一图像上的所述第一位置的区域和第二图像上的所述第二位置的区域之间的像素相关。

17.如权利要求16所述的电子设备，其中，如果所述像素相关大于或者等于所述被选择值，则第一处理器确定所述至少一个对象从所述第一位置移动到所述第二位置。

18.如权利要求15所述的电子设备，其中，如果确定所述至少一个对象未从所述第一位置移动到所述第二位置，则第一处理器不考虑所述峰值的位置地执行对所述至少一个对象的追踪。

19.如权利要求18所述的电子设备，其中，第一处理器针对第一图像和第二图像上的每一对象执行相位相关。

20.如权利要求14所述的电子设备，其中，第二处理器不考虑所述峰值的位置地执行对所述至少一个对象的追踪。

21.如权利要求20所述的电子设备，其中，第二处理器针对第一图像和第二图像上的每一对象执行相位相关。

22.如权利要求19所述的电子设备，其中，第一处理器和第二处理器其中至少一个以所选择的形式近似所述至少一个对象。