CN107454316A - 运动检测方法及装置 - Google Patents

Abstract

本申请提供一种运动检测方法及装置。本申请中，所述运动检测方法，应用于3D摄像装置，其中3D摄像装置包括感光元件构成的感光元件阵列，感光元件用于接收来自被拍摄物体反射的光信号，该光信号用于确定获取被拍摄物体的图像所需的深度信息。所述运动检测方法包括：启动运动检测功能后，通过感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像；在根据第一差分图像确定检测到运动后，通过感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像；根据第二差分图像确定是否存在运动。本申请提供还一种运动检测装置。本申请的技术方案，可以降低功耗。

Description

运动检测方法及装置

技术领域

本申请涉及图像处理技术领域，特别涉及一种运动检测方法及装置。

背景技术

随着AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)技术逐渐实现在手机上，3D TOF(Time of flight，飞行时间)传感器作为核心芯片，逐渐像二维image sensor(图像传感器)一样成为手机的标配。

发明内容

本申请实施例提供一种运动检测方法及装置，可以降低功耗。

本申请部分实施例提供了一种运动检测方法，所述方法应用于3D摄像装置，所述3D摄像装置包括感光元件构成的感光元件阵列，所述感光元件用于接收来自被拍摄物体反射的光信号，所述光信号用于确定获取所述被拍摄物体的图像所需的深度信息；所述方法包括：

启动运动检测功能后，通过所述感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像；

在根据所述第一差分图像确定检测到运动后，通过所述感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像；

根据所述第二差分图像确定是否存在运动。

本申请实施例所达到的主要技术效果是：在运动检测功能后，先通过感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像，在根据第一差分图像确定检测到运动后，再通过感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像，以根据第二差分图像确定是否存在运动。也就是说，在运动检测功能后，先启动感光元件阵列中的部分感光元件而非全部感光元件进行运动预检测，在部分感光元件检测到运动时再启动全部感光元件检测运动，这样，可以减少不必要的功耗，降低运动检测功耗。

在本申请的一个实施例中，所述感光元件用于在调制信号的控制下工作以确定所述深度信息；获取所述第二差分图像时的调制信号的频率以及获取所述第一差分图像时的调制信号的频率可以小于所述3D摄像装置获取3D图像时的调制信号的频率。这样，可以进一步降低运动检测功耗。

在本申请的一个实施例中，获取所述第二差分图像时的调制信号的频率可以等于获取所述第一差分图像时的调制信号的频率。

在本申请的一个实施例中，获取所述第二差分图像时的帧频以及获取所述第一差分图像时的帧频可以小于所述3D摄像装置获取所述3D图像时的帧频。这样，可以进一步降低运动检测功耗。

在本申请的一个实施例中，获取所述第二差分图像时的帧频可以等于获取所述第一差分图像时的帧频。

在本申请的一个实施例中，在根据所述第二差分图像确定存在运动时，所述方法还可包括：通过所述感光元件阵列中的全部感光元件获取用于检测运动的第三差分图像；获取所述第三差分图像时的调制信号的频率大于获取所述第二差分图像时的调制信号的频率；根据所述第三差分图像确定是否存在运动。这样，可以提高运动检测的准确性。

在本申请的一个实施例中，获取所述第三差分图像时的帧频可以大于获取所述第二差分图像时的帧频。这样，可以进一步提高运动检测的准确性。

在本申请的一个实施例中，获取所述第三差分图像时的帧频可以大于获取所述第二差分图像时的帧频。

在本申请的一个实施例中，获取所述第一差分图像时的调制信号的频率可为0.1MHz～10MHz；获取所述第三差分图像时的调制信号的频率可为1MHz～100MHz。

在本申请的一个实施例中，获取所述第一差分图像时的帧频可为0.1帧每秒～100帧每秒；获取所述第三差分图像时的帧频可为0.01K帧每秒～100K帧每秒。

在本申请的一个实施例中，所述3D摄像装置还包括用于发射所述光信号的发射装置；获取所述第二差分图像时所述发射装置发射所述光信号的发射功率以及获取所述第一差分图像时所述发射装置发射所述光信号的发射功率可以均小于所述3D摄像装置获取3D图像时所述发射装置发射所述光信号的发射功率。这样，可以进一步降低运动检测功耗。

在本申请的一个实施例中，获取所述第二差分图像时所述发射装置发射所述光信号的发射功率可以等于获取所述第一差分图像时所述发射装置发射所述光信号的发射功率。

在本申请的一个实施例中，获取所述第三差分图像时所述发射装置发射所述光信号的发射功率可以大于获取所述第二差分图像时所述发射装置发射所述光信号的发射功率。

本申请部分实施例还提供了一种运动检测装置，所述装置应用于3D摄像装置，所述3D摄像装置包括感光元件构成的感光元件阵列，所述感光元件用于接收来自被拍摄物体反射的光信号，所述光信号用于确定获取所述被拍摄物体的图像所需的深度信息；所述运动检测装置包括：

第一获取模块，用于在启动运动检测功能后，通过所述感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像；

第二获取模块，用于在在根据所述第一差分图像确定检测到运动后，通过所述感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像；

确定模块，用于根据所述第二差分图像确定是否存在运动。

附图说明

图1是本申请一示例性实施例示出的一种3D摄像装置的结构示意图。

图2是本申请一示例性实施例示出的一种感光元件的剖面示意图。

图3是本申请一示例性实施例示出的一种两个积分节点收集光生信号电荷的时序关系示意图。

图4是本申请一示例性实施例示出的一种运动检测方法的流程图。

图5是本申请一示例性实施例示出的一种用于获取第一差分图像的部分感光元件的位置示意图。

图6是本申请一示例性实施例示出的另一种用于获取第一差分图像的部分感光元件的位置示意图。

图7是本申请一示例性实施例示出的又一种用于获取第一差分图像的部分感光元件的位置示意图。

图8是本申请一示例性实施例示出的再一种用于获取第一差分图像的部分感光元件的位置示意图。

图9是本申请另一示例性实施例示出的一种运动检测方法的流程图。

图10是本申请另一示例性实施例示出的一种获取第三差分图像时的时序关系示意图。

图11是本申请另一示例性实施例示出的一种获取第二差分图像与获取第一差分图像时的时序关系示意图。

图12是本申请一示例性实施例示出的一种运动检测装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图，对本申请的一些实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

随着AR、VR技术逐渐实现在手机上，3D TOF传感器作为核心芯片，逐渐像二维image sensor一样成为手机的标配。基于3D TOF传感器可以在手机上构建用于获取被拍摄物体3D图像的3D摄像装置。但是，3D摄像装置在获取被拍摄物体3D图像时的功耗较大，如果长时间用于运动检测，会给手机带来沉重的负担。

基于此，本申请的发明人提出一种运动检测方法及装置，可以解决上述技术问题，降低功耗。

本申请的示例性实施例提供的运动检测方法，应用于如图1所示的3D摄像装置1。该3D摄像装置1可以搭载在移动终端(比如智能手机)或者其他电子设备上。为便于理解，在介绍本申请实施例提供的运动检测方法之前，先简要介绍一下上述的3D摄像装置1。

如图1所示，3D摄像装置1包括发射装置2与接收装置3。其中，发射装置2用于在调制信号的控制下发射光信号O1，光信号O1在空气中传播，并在遇到被拍摄物体4时被反射形成发射光信号O2，反射光信号O2可以被接收装置3接收。接收装置3在调制信号的控制下根据光信号O2与光信号O1可以获取被拍摄物体4的深度信息，进而可以得到被拍摄物体4的3D图像。进一步地，接收装置3包括镜头6与测距芯片7，测距芯片7包括处理模块8以及感光元件阵列5。镜头6用于将光信号O2聚焦在感光元件阵列5上。感光元件阵列5由多个如图2所示的感光元件51构成。处理模块8基于一个感光元件51接收的光信号O2可以得到被拍摄物体4上的一点到3D摄像装置的距离信息，该距离信息可以作为被拍摄物体4上的上述的点的深度信息。如果部分感光元件工作，可以得到被拍摄物体4上的部分点到3D摄像装置的距离信息，如果全部感光元件工作，则可以得到被拍摄物体4上反射入射的光信号O1的部分上所有的点到3D摄像装置的距离信息。

如图2所示，每个感光元件51包括两个积分节点Ga、Gb。如图3所示，在感光元件51接收到光信号O2后，光生电荷可以在调制信号的第一个半周期期间聚集在积分节点Ga，在调制信号的第二个半周期期间聚集在积分节点Gb。光生电荷可以在多个调制周期内聚集在积分节点Ga、Gb，得到qa1、qa2、qa3、qb1、qb2以及qb3。根据一个感光元件51的积分节点Ga、Gb聚集的光生电荷(qa1、qa2、qa3、qb1、qb2以及qb3)可以确定被拍摄物体4上的一点到3D摄像装置的距离。获取3D图像的调制信号的频率可以为1MHz～100MHz。比如，当调制信号的频率为1MHz时，调制信号的一个周期为1微妙。

下面介绍本申请的实施例提供的运动检测方法。如图4所示，所述运动检测方法包括以下步骤401～403：

在步骤401中，启动运动检测功能后，通过感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像。

在启动运动检测功能后，可以选择性地启动感光元件阵列中的部分感光元件而非选择全部感光元件工作，获取用于检测运动的第一差分图像。其中，本申请中的差分图像为两幅图像的像素值对应相减得到的图像，其中，两幅图像中一幅图像为基于感光元件中Ga积分节点聚集的电荷得到的图像，另一幅图像为基于感光元件中Gb积分节点聚集的电荷得到的图像。如果差分图像中所有像素值不为零，或者差分图像携带的差异信息大于预设阈值，则表明存在被拍摄物体处于运动状态。需要说明的是，本步骤中基于感光元件中Ga积分节点聚集的电荷得到的图像以及基于感光元件中Gb积分节点聚集的电荷得到的图像为基于上述部分感光元件采集的深度信息获得的图像。

在启动运动检测功能后，选择性地启动感光元件阵列中的部分感光元件时，选择的部分感光元件可以根据实际需求确定。在一个示例性实施例中，选择工作的部分感光元件可以是均匀地分布于感光元件阵列中，检测的范围比较大，可以避免漏检。例如，如图5所示，感光元件阵列5包括n行m列的感光元件51，n、m均为偶数，其中，选择工作的感光元件511位于第1行、第2行、第n/2行、第n/2+1行、第n-1行、第n行，并位于第1列、第2列、第m/2列、第m/2+1列、第m-1列、第m列；其余为不工作的感光元件512。

在另一个示例性实施例中，选择工作的部分感光元件511可以集中分布于感光元件阵列5中的中间区域。例如，如图6所示，选择工作的感光元件511包括位于第n/2行、第n/2+1行、第m/2列、第m/2+1列的感光元件，还包括位于感光元件阵列5中4个顶角处的4组感光元件，每组感光元件包括4个组成方阵的感光元件511。再如，如图7所示，选择工作的感光元件511可以包括位于第n/2行、第n/2+1行、第m/2列、第m/2+1列的感光元件。

在再一个示例性实施例中，选择工作的部分感光元件511可以分布于感光元件阵列5的四边与中心区域。例如，如图8所示，选择工作的感光元件511包括位于第1行、第2行、第n/2行、第n/2+1行、第n-1行、第1列、第2列、第m/2列、第m/2+1列、第m-1列、第m列的感光元件。

在步骤402中，在根据第一差分图像确定检测到运动后，通过感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像。

具体地，当根据第一差分图像确定检测到运动后，启动感光元件阵列中的全部感光元件工作，用于获取检测运动的第二差分图像。本步骤中获取的第二差分图像也为两幅图像的像素值对应相减得到的图像，其中，两幅图像中一幅图像为基于感光元件中Ga积分节点聚集的电荷得到的图像，另一幅图像为基于感光元件中Gb积分节点聚集的电荷得到的图像。本步骤中基于感光元件中Ga积分节点聚集的电荷得到的图像以及基于感光元件中Gb积分节点聚集的电荷得到的图像为基于上述的全部感光元件采集的深度信息获得的图像。

在步骤403中，根据第二差分图像确定是否存在运动。根据第二差分图像确定是否存在运动的方法与根据第一差分图像确定是否存在运动的方法相同，在此不再赘述。

本申请实施例所达到的主要技术效果是：在运动检测功能后，先通过感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像，在根据第一差分图像确定检测到运动后，再通过感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像，以根据第二差分图像确定是否存在运动。也就是说，在运动检测功能后，先启动感光元件阵列中的部分感光元件而非全部感光元件进行运动预检测，在部分感光元件检测到运动时再启动全部感光元件检测运动，以再次确认是否存在运动，这样，可以减少不必要的功耗，降低运动检测功耗。

本申请的另一示例性实施例提供了一种运动检测方法，如图9所示，包括以下步骤901～905：

在步骤901中，启动运动检测功能后，通过感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像。

在步骤902中，在根据第一差分图像确定检测到运动后，通过感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像。

在步骤903中，根据第二差分图像确定是否存在运动。如果确定存在运动，则执行步骤904，否则执行步骤901。

本实施例中的步骤901～903与图4所示的实施例中的步骤401～403相似，在此不再赘述。

在步骤904中，通过感光元件阵列中的全部感光元件获取用于检测运动的第三差分图像。其中，获取第三差分图像时的调制信号的频率大于获取第二差分图像时的调制信号的频率。

在步骤905中，根据第三差分图像确定是否存在运动。当根据第三差分图像确定存在运动时，可以启动感光元件阵列中的全部感光元件工作，用于获取3D图像。或者，当根据第三差分图像确定存在运动时，可以启动报警装置报警。具体实施时，可以根据应用场景决定在根据第三差分图像确定存在运动后执行何种操作。

在本实施例中，获取第二差分图像时的调制信号的频率以及获取第一差分图像时的调制信号的频率小于3D摄像装置获取3D图像时的调制信号的频率。这样，基于较低的调制频率进行运动检测，可以进一步降低运动检测功耗。进一步地，获取第二差分图像时的调制信号的频率等于获取第一差分图像时的调制信号的频率。也就是，获取第二差分图像与获取第一差分图像时调制信号频率较低。进一步地，获取第二差分图像时的帧频以及获取第一差分图像时的帧频小于3D摄像装置获取3D图像时的帧频。基于较低的帧频进行运动检测，可以进一步降低运动检测功耗。进一步地，获取第二差分图像时的帧频等于获取第一差分图像时的帧频。进一步地，获取第三差分图像时的帧频大于获取第二差分图像时的帧频。在再次确认是否存在运动时，提高帧频，可以提高运动检测的准确性。示例性地，获取第三差分图像时的时序关系，如图10所示，获取第二差分图像与获取第一差分图像时的时序关系，如图11所示。其中，t_E为获取一帧基于感光元件中Ga积分节点聚集的电荷得到的图像时间，或者为获取一帧基于感光元件中Gb积分节点聚集的电荷得到的图像时间，t_f为获取相邻两帧基于感光元件中Ga(或Gb)积分节点聚集的电荷得到的图像时间，1/t_f为帧频。由于获取一帧基于感光元件中Ga(或Gb)积分节点聚集的电荷得到的图像期间是检测被拍摄物体的到3D摄像装置的距离信息，故也可以称之为距离检测期间。在距离检测期间，可以包括多个调制周期，比如成千上万个调制周期。对比图11与图10可知，获取第三差分图像时每个距离检测期间包括的调制周期的数目大于获取第二(或第一)差分图像时每个距离检测期间包括的调制周期的数目。需要说明的是，在实际应用中，可对本实施例中的技术方案进行拆分与有选择性的组合，亦可实现降低运动检测功耗。

在本实施例中，获取第一差分图像时的调制信号的频率为0.1MHz～10MHz；获取第三差分图像时的调制信号的频率为1MHz～100MHz；获取第一差分图像时的帧频为0.1帧每秒～100帧每秒；获取第三差分图像时的帧频为0.01K帧每秒～100K帧每秒。在本实施例中，3D摄像装置1获取3的图像时的调制信号的频率可以为1MHz～100MHz。

进一步地，在本实施例中，获取第二差分图像时发射装置2发射光信号O1的发射功率以及获取第一差分图像时发射装置2发射光信号O1的发射功率均小于3D摄像装置1获取3D图像时发射装置2发射光信号O1的发射功率。这样，可以进一步降低运动检测功耗。进一步地，在本实施例中，获取第二差分图像时发射装置2发射光信号O1的发射功率等于获取第一差分图像时发射装置2发射光信号O1的发射功率。进一步地，获取第三差分图像时发射装置2发射光信号O1的发射功率大于获取第二差分图像时发射装置发射光信号O1的发射功率。这样，可以提高运动检测的准确性。

在本实施例中，先以较低的调制频率进行运动检测，在检测到运动时，再以较高的调制频率进行运动检测，可以提高运动检测的准确性。

本申请的实施例还提供了一种运动检测装置，所述运动检测装置应用于3D摄像装置，所述3D摄像装置包括感光元件构成的感光元件阵列，所述感光元件用于接收来自被拍摄物体反射的光信号，所述光信号用于确定获取所述被拍摄物体的图像所需的深度信息。如图12所示，所述运动检测装置包括：

第一获取模块1201，用于在启动运动检测功能后，通过所述感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像；

第二获取模块1202，用于在在根据所述第一差分图像确定检测到运动后，通过所述感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像；

确定模块1203，用于根据所述第二差分图像确定是否存在运动。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

在本申请中，所述装置实施例与方法实施例在不冲突的情况下，可以互为补充。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种运动检测方法，其特征在于，所述方法应用于3D摄像装置，所述3D摄像装置包括感光元件构成的感光元件阵列，所述感光元件用于接收来自被拍摄物体反射的光信号，所述光信号用于确定获取所述被拍摄物体的图像所需的深度信息；所述方法包括：

启动运动检测功能后，通过所述感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像；

在根据所述第一差分图像确定检测到运动后，通过述感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像；

根据所述第二差分图像确定是否存在运动。

2.根据权利要求1所述的运动检测方法，其特征在于，所述感光元件用于在调制信号的控制下工作以确定所述深度信息；获取所述第二差分图像时的调制信号的频率以及获取所述第一差分图像时的调制信号的频率小于所述3D摄像装置获取3D图像时的调制信号的频率。

3.根据权利要求2所述的运动检测方法，其特征在于，获取所述第二差分图像时的调制信号的频率等于获取所述第一差分图像时的调制信号的频率。

4.根据权利要求3所述的运动检测方法，其特征在于，获取所述第二差分图像时的帧频以及获取所述第一差分图像时的帧频小于所述3D摄像装置获取所述3D图像时的帧频。

5.根据权利要求4所述的运动检测方法，其特征在于，获取所述第二差分图像时的帧频等于获取所述第一差分图像时的帧频。

6.根据权利要求5所述的运动检测方法，其特征在于，在根据所述第二差分图像确定存在运动时，所述方法还包括：

通过所述感光元件阵列中的全部感光元件获取用于检测运动的第三差分图像；获取所述第三差分图像时的调制信号的频率大于获取所述第二差分图像时的调制信号的频率；

根据所述第三差分图像确定是否存在运动。

7.根据权利要求6所述的运动检测方法，其特征在于，获取所述第三差分图像时的帧频大于获取所述第二差分图像时的帧频。

8.根据权利要求7所述的运动检测方法，其特征在于，获取所述第一差分图像时的调制信号的频率为0.1MHz～10MHz；

获取所述第三差分图像时的调制信号的频率为1MHz～100MHz。

9.根据权利要求8所述的运动检测方法，其特征在于，获取所述第一差分图像时的帧频为0.1帧每秒～100帧每秒；

获取所述第三差分图像时的帧频为0.01K帧每秒～100K帧每秒。

10.根据权利要求7所述的运动检测方法，其特征在于，所述3D摄像装置还包括用于发射所述光信号的发射装置；获取所述第二差分图像时所述发射装置发射所述光信号的发射功率以及获取所述第一差分图像时所述发射装置发射所述光信号的发射功率均小于所述3D摄像装置获取3D图像时所述发射装置发射所述光信号的发射功率。

11.根据权利要求10所述的运动检测方法，其特征在于，获取所述第二差分图像时所述发射装置发射所述光信号的发射功率等于获取所述第一差分图像时所述发射装置发射所述光信号的发射功率。

12.根据权利要求11所述的运动检测方法，其特征在于，获取所述第三差分图像时所述发射装置发射所述光信号的发射功率大于获取所述第二差分图像时所述发射装置发射所述光信号的发射功率。

13.一种运动检测装置，其特征在于，所述装置应用于3D摄像装置，所述3D摄像装置包括感光元件构成的感光元件阵列，所述感光元件用于接收来自被拍摄物体反射的光信号，所述光信号用于确定获取所述被拍摄物体的图像所需的深度信息；所述运动检测装置包括：

第一获取模块，用于在启动运动检测功能后，通过所述感光元件阵列中的部分感光元件获取用于检测运动的第一差分图像；

第二获取模块，用于在在根据所述第一差分图像确定检测到运动后，通过所述感光元件阵列中的全部感光元件获取用于检测运动的第二差分图像；

确定模块，用于根据所述第二差分图像确定是否存在运动。