CN104346427A - 用于分析包括事件信息的图像的设备和方法 - Google Patents

Abstract

一种用于分析包括事件信息的图像的设备和方法，所述设备和方法确定包括在输入图像中与事件信息相应的至少一个像素组的图案，并基于至少一个图案来分析对象的外形和对象的运动中的至少一个。

Description

用于分析包括事件信息的图像的设备和方法

技术领域

与示例性实施例一致的方法和设备涉及一种用于分析图像的设备，更具体地讲，涉及一种用于分析包括在输入图像中的对象的方法和设备。

背景技术

图像处理可以指所有形式的信息处理，其中，在信息处理中图像被输入和输出，例如，图像处理可包括对照片、视频等的分析或处理。

感测用于图像处理的输入数据的装置可以是视觉传感器，例如，可包括基于用于制造半导体装置的技术的光电式传感器等，其中，光电式传感器已变成集成电路。

发明内容

根据示例性实施例的一方面，提供一种用于分析图像的设备，所述设备包括：分类器，被配置为接收与基于事件的视觉传感器的至少一个像素相应的事件信号，并被配置为确定基于事件的视觉传感器的多个像素的像素组的图案，其中，像素组包括所述至少一个像素和与所述至少一个像素邻近的基于事件的视觉传感器的多个邻近像素；分析器，被配置为基于像素组的图案来确定对象的外形和对象的移动中的至少一个。

分类器可确定像素组是否与多个预定边缘图案中的至少一个边缘图案相应。

分析器可包括：计算器，基于像素组的图案来计算与像素组相应的速度；运动分析器，被配置为基于与像素组相应的速度来分析对象的移动。

用于分析图像的设备还可包括：处理器，被配置为基于对象的移动计算关于用户输入的点的相对坐标的变化量，并基于所述相对坐标的变化量来处理用户输入。

根据示例性实施例的一个方面，提供一种用于分析图像的设备，所述设备包括：分类器，被配置为接收与基于事件的视觉传感器的第一像素相应的第一事件信号和与基于事件的视觉传感器的第二像素相应的第二事件信号，确定基于事件的视觉传感器的第一多个像素的第一像素组的第一图案，并确定第二多个像素的第二像素组的第二图案，其中，第一像素组包括所述至少一个第一像素和与所述至少一个第一像素邻近的基于事件的视觉传感器的第一多个邻近像素，第二像素组包括所述至少一个第二像素和与所述至少一个第二像素邻近的第二多个邻近像素；分析器，基于第一图案检测对象的第一位置，基于第二图案检测对象的第二位置，并基于第一位置和第二位置来确定对象的深度。

根据示例性实施例的一个方面，提供一种用于分析图像的方法，所述方法包括：接收与基于事件的视觉传感器的至少一个像素相应的事件信号，确定基于事件的视觉传感器的多个像素的像素组的图案，基于像素组的图案来分析对象的外形和对象的移动中的至少一个，其中，像素组包括所述至少一个像素和与所述至少一个像素邻近的基于事件的视觉传感器的多个邻近像素。

根据示例性实施例的一个方面，提供一种用于分析图像的方法，所述方法包括：接收指示对象的移动的与基于事件的视觉传感器的像素相应的事件信号的输入，选择和与事件信号1相应的像素邻近的基于事件的视觉传感器的多个邻近像素，基于所述多个邻近像素的边缘图案来确定对象的边缘的位置来确定所述多个邻近像素的边缘图案，并基于对象的边缘的位置来分析对象的外形。

从详细描述、附图和权利要求，示例性实施例的其他特征和方面将会清楚。

附图说明

图1是示出根据示例性实施例的用于分析图像的设备的框图；

图2A至图2C是示出根据示例性实施例的多个预定边缘图案的示图；

图3A和图3B是示出根据示例性实施例的用于对像素组的图案进行分类的方案的示图；

图4是示出根据示例性实施例的用于确定像素组的边缘的方向的方案的示图；

图5A和图5B是示出根据示例性实施例的用于基于输入图像分析对象的外形的方案的示图；

图6是示出根据示例性实施例的用于计算与像素组相应的速度的方案的示图；

图7是示出根据示例性实施例的用于使用刚体模型来分析对象的运动的方案的示图；

图8A至图8D是示出根据示例性实施例的用于提高分析对象的运动的精确度的方案的示图；

图9是示出根据示例性实施例的用于基于对象的移动速度来处理用户输入的方案的示图；

图10是示出根据示例性实施例的用于基于对象的深度来处理用户输入的方案的示图；

图11是示出根据示例性实施例的用于分析图像的方法的流程图；

图12是示出根据示例性实施例的用于分析三维(3D)图像的设备的框图。

贯穿附图和详细描述，除非另有描述，否则相同的附图标号将被理解为指示相同的元件、特征和结构。为了清晰、说明和便利性，可夸大这些元件的相对尺寸和描绘。

具体实施方式

提供以下详细描述来帮助读者获得在此所描述的方法、设备和/或***的全面理解。因此，在此所描述的方法、设备和/或***的各种改变、修改和等同物对于本领域的普通技术人员是隐含的。所描述的处理步骤和/或操作的进程是示例；然而，处理步骤和/或操作的顺序不限于在此阐述的顺序，并且除了必须按特定顺序发生的步骤和/或操作之外，可将顺序修改为本领域的普通技术人员将理解的顺序。另外，为了更加清晰简明，可省略公知功能和结构的各个描述。

图1是示出根据示例性实施例的用于分析图像的设备100的框图。

在参照图1描述用于分析图像的设备100之前，将简单地讨论将由设备100使用的输入图像。根据示例性实施例的输入图像可以是指用于捕捉对象的基于事件的视觉传感器的输出图像。基于事件的视觉传感器可响应于检测到预定事件来异步地输出事件信号。预定事件可包括入射在基于事件的视觉传感器上的光的亮度的变化。例如，当检测到事件(例如，在预定像素中使光变亮的事件)时，基于事件的视觉传感器可输出与相关像素相应的导通(ON)事件，从而增加亮度。此外，当检测到事件(例如，在预定像素中使光变暗的事件)时，基于事件的视觉传感器可输出与相关像素相应的截止(OFF)事件，从而减小亮度。

与基于帧的视觉传感器不同，基于事件的视觉传感器可在帧单元中不对多个像素的光电二极管进行扫描的情况下，输出检测到光的变化的一部分像素数据。入射在视觉传感器上的光的亮度变化可由对象的移动引起。例如，假设光源被基本上固定，并假设对象随着时间的流逝不会自发地发光。在这种情况下，入射到视觉传感器的光可以指从光源产生并从对象反射的光。当对象不移动时，由于从静止对象反射的光基本上不存在变化，因此入射到基于事件的视觉传感器的光的亮度不会发生变化。相反地，当对象移动时，由于从对象反射光，因此入射到视觉传感器的入射光的亮度会发生变化，并因此入射到基于事件的视觉传感器的光基于对象的移动而变化。

基于事件的视觉传感器可包括动态视觉传感器。动态视觉传感器可包括以人类视网膜和视神经的原理进行操作的人工视觉传感器。响应于对象的移动，动态视觉传感器可将事件信号输出到基于事件的视觉传感器。事件信号可包括响应于对象的移动被异步产生的信息。事件信号可包括诸如以下信息：从视网膜传送到人类的大脑的视神经信息。例如，可在检测到移动对象时产生事件信号，而针对静止对象可不产生事件信号。包括在事件信号中的至少一个像素可与被检测到移动的对象相应。

参照图1，用于分析图像的设备100可包括分类器110和分析器120。分类器110可基于包括检测到对象的移动的事件信号的输入图像对至少一个像素组的图案进行分类。所述至少一个像素组可包括与事件信号相应的像素和与相应像素邻近的多个像素。

在下文中，为了便于描述，像素组可包括9个像素的3×3矩阵，假设与事件信号相应的像素被布置在像素组的中心处，并假设在相应像素周围布置的8个邻近像素被包括在所述像素组中。用于配置像素组的这种方案仅是示例性的，可以以各种方式来修改用于配置像素组的方案。

分类器110可确定与事件信号相应的像素组(即，事件发生的一组像素)是否与多个预定边缘图案相应。例如，参照图2A，所述多个预定边缘图案可包括24个边缘图案P₁至P₂₄。24个边缘图案P₁至P₂₄可以是指与对象的边缘关联的图案。当与事件信号相应的像素组被确定为与所述多个预定边缘图像中的任意一个相应时，分类器110可将与事件信号相应的像素组的图案确定为相应边缘图案。例如，基于与事件信号相应的像素组与图2A的边缘图案P₁相应的确定结果，分类器110可将与事件信号相应的像素组分类为边缘图案P₁。分类器110可舍弃与所述多个预定边缘图案中的任何一个不关联的与事件信号相应的像素组。

将参照图2A至图3B讨论与分类器110对与事件信号相应的像素组的图案进行分类的方案相关的详细描述。

分析器120可基于由分类器110分类的至少一个像素组的图案来分析对象的外形(诸如形状、轮廓或对象相对于基于事件的传感器的位置的位置)和对象的运动中的至少一个。分析器120可使用至少一个像素组的图案来确定与至少一个像素组相应的边缘的方向，从而分析对象的外形。可选地，分析器120可计算与和对象的边缘关联的像素组相应的速度，并基于计算出的像素组的速度来分析对象的运动。分析器120可确定对象的移动速度分量、对象的旋转速度分量和对象的缩放速度分量中的至少一个，以分析对象的运动。

随后将参照图4至图8D讨论与分析器120的操作相关的详细描述。

图2A至图2C是示出根据示例性实施例的多个预定边缘图案的示图。参照图2A，多个边缘图案可与对象的边缘关联。

事件信号可包括检测到预定事件的时间的时间戳、用于指示事件的类型的指示符以及检测到预定事件的像素的索引。如以下所讨论的，与分辨率的像素相应的时间戳可存储在存储器中的表中，进而可利用像素的事件时间的时间信号。

根据示例性实施例的用于分析图像的设备可基于检测到事件的像素的时间戳和多个邻近像素的时间戳之间的差来对像素组的图案进行分类。用于分析图像的设备可确定多种类型的邻近像素以对像素组的图案进行分类。用于分析图像的设备可计算检测到事件的像素的时间戳和多个邻近像素的时间戳之间的差，并基于计算的结果来确定一种或更多种类型的邻近像素。

用于分析图像的设备可使用用于管理与全部像素相应的时间戳的数据结构。当检测到事件信号时，用于分析图像的设备可更新包括在事件信号中的像素的时间戳。此时，用于分析图像的设备可舍弃先前存储的信息，并存储新更新的信息。当检测到当前事件时，用于分析图像的设备可将与当前事件相应的当前像素的时间戳的值更新为当前时间。用于分析图像的设备可通过计算与当前事件相应的更新后的当前像素的时间戳和邻近像素的时间戳之间的差，来确定邻近像素的像素类型。当与邻近像素的相应的先前事件被检测到时，邻近像素的时间戳可能被更新。

用于分析图像的设备可基于等式1确定邻近像素的类型。

[等式1]

$t_{\mathrm{ev}}-t_{\mathrm{nx}}\left\{\begin{array}{c}\≥T_E\→E-\mathrm{type}\\ \≤T_S\→S-\mathrm{type}\end{array}\right.$

这里，t_ev表示产生事件的像素的时间戳，t_nx表示邻近像素的时间戳，其中，t_ev和t_nx之间的差指示像素事件之间的时间相关性，所述时间相关性用于指示边缘的定向移动；T_E表示用于确定E-type(E类型)的阈值，该阈值可以与缓慢的事件相应；T_S表示用于确定S-type(S类型)的阈值，该阈值可以与快速的事件相应。可基于像素的灵敏度或将被应用的应用来设置T_E和T_S。例如，当将被检测移动的对象与用户的手相应时，T_E和T_S可被设置在毫秒(ms)至几十ms的范围中。可选地，当将被检测移动的对象与明显比用户的手移动得更快的对象相应时，T_E和T_S可被设置为若干微秒(μs)或更小。T_E和T_S可被设置为不同值(其中，T_S＜T_E，如表1所示)，并且必要时，可被设置为相等的值。

当从检测到先前事件的第一时间点到在邻近像素中检测到当前事件的随后的第二时间点过去预定时间段时，用于分析图像的设备可确定所述邻近像素为E-type。例如，可将在与检测到当前事件的像素邻近的像素之中的在预定时间段(例如，T_E)期间没有检测到新事件的邻近像素分类为E-type的邻近像素。

当从检测到先前事件的时间点开始在预定时间段内在邻近像素中检测到当前事件时，用于分析图像的设备可将所述邻近像素确定为S-type。例如，可将在与检测到当前事件的像素邻近的像素之中的在预定时间段(例如，T_S)中检测到新事件的邻近像素分类为S-type的邻近像素。

预定边缘图案可包括邻近像素。例如，如图2A中所示，当与产生事件的像素最接近的顶部像素、底部像素、左侧像素和右侧像素被使用时，预定边缘图案可包括邻近像素n1至n8。用于配置预定边缘图案的邻近像素的类型的组合可彼此不同。

例如，边缘图案P₁可包括E-type的像素n1、n2和n4210以及S-type的像素n3和n6220。用于分析图像的设备可将以下像素组分类为边缘图案P₁，所述像素组包括在预定时间段(例如，T_E)期间没有检测到新事件的像素n1、n2和n4210的方向的邻近像素，以及在预定时间段(例如，T_S)中检测到新事件的像素n3和n6220的方向的邻近像素。在这种情况下，用于分析图像的设备可使用在预定时间段(例如，T_S)中检测到新事件的S-type的像素n3和n6来分析相应像素组的边缘的方向。这是因为，当基于对象的移动产生了新事件时，可在基本上相同的时间点检测到在包括在对象的边缘中的像素的位置处发生的事件。如将参照图4被详细描述的那样，边缘图案P₁可被映射到连接像素n3和n6220的线的方向的边缘。

以类似的方式，边缘图案P₂₄可包括E-type的像素n5、n7和n8240以及S-type的像素n3和n6250。用于分析图像的设备可将以下像素组分类为边缘图案P₂₄，所述像素组包括在预定时间段(例如，T_E)期间未检测到新事件的像素n5、n7和n8240的方向的邻近像素，以及在预定时间段(例如，T_S)期间检测到新事件的像素n3和n6250的方向的邻近像素。在这种情况下，用于分析图像的设备可使用在预定时间段(例如，T_S)中检测到新事件的S-type的像素n3和n6250来分析相应像素组的边缘的方向。如将参照图4被详细描述的那样，边缘图案P₂₄可被映射到连接像素n3和n6250的线的方向的边缘。

根据另一示例性实施例的用于分析图像的设备可利用比图2A中所示的8个邻近像素更多的邻近像素。例如，用于分析图像的设备可使用5×5像素矩阵的24个邻近像素(如图2B中所示)或7×7像素矩阵的48个邻近像素(如图2C中所示)。图2A、图2B和图2C中的示例性实施例仅是示例性的，可以以各种方式来进行修改。用于分析图像的设备可对包括在像素组中的邻近像素的类型与包括在多个预定边缘图案中的邻近像素的类型进行比较，并将像素组的图案确定为所述多个预定边缘图案中的任意一个。基于比较的结果，用于分析图像的设备可从多个预定边缘图案中确定与像素组匹配的边缘图案。为了确定匹配，用于分析图像的设备可对包括在像素组中的邻近像素的类型与包括在多个预定边缘图案中的邻近像素的类型进行比较。在一个示例中，当第一边缘图案和第二边缘图案包括在多个预定边缘图案中时，用于分析图像的设备可对包括在像素组中的邻近像素的类型与包括在第一边缘图案中的邻近像素的类型进行比较。此外，用于分析图像的设备可对包括在像素组中的邻近像素的类型与包括在第二边缘图案中的邻近像素的类型进行比较。当包括在像素组中的邻近像素的类型与包括在第一边缘图案中的邻近像素的类型相应时，用于分析图像的设备可确定像素组的图案为第一边缘图案的图案。可选地，当包括在像素组中的邻近像素的类型与包括在第二边缘图案中的邻近像素的类型相应时，用于分析图像的设备可确定像素组的图案为第二边缘图案。用于分析图像的设备可确定具有与包括在像素组中的邻近像素相应的邻近像素的边缘图案为所述像素组的图案。

在必要时，可将包括在预定边缘图案中的邻近像素的一部分不可知论地(agnostically)指定为“非关注”类型。这种像素既不被分类为E-type也不被分类为S-type。例如，边缘图案P₁可包括“非关注”类型的像素n5、n7和n8230。边缘图案P₂₄可包括“非关注”类型的像素n1、n2和n3260。

用于分析图像的设备可使用在包括在边缘图案中的邻近像素中的不与“非关注”类型相应的邻近像素来对像素组的图案进行分类。换句话说，用于分析图像的设备可仅使用被分类为E-type和S-type的这些像素来对像素组的图案进行分类。例如，当用于分析图像的设备确定像素组是否与边缘图案P₁相应时，用于分析图像的设备可不考虑像素n5、n7和n8230。类似地，当用于分析图像的设备确定像素组是否与边缘图案P₂₄相应时，用于分析图像的设备可不考虑像素n1、n2和n4260。

可以以各种方式来存储多个预定边缘图案。例如，可以以比特值的格式来存储包括在24个边缘图案P₁至P₂₄中的E-type的邻近像素和S-type的邻近像素，如表1中所示。

[表1]

这里，PnE表示包括在边缘图案P_n中的E-type的邻近像素。当假设使用8个邻近像素时，PnE可被配置为可分别与像素n1至n8相应的8个比特。8个比特中的与E-type的邻近像素相应的比特可被设置为“1”，其他剩余的比特(S-type或“非关注”类型)可被设置为“0”。例如，边缘图案P₁可包括作为E-type的邻近像素的像素n1、n2和n4210，因此P1E的比特值可被设置为第一比特、第二比特和第四比特为“1”的“11010000”。可将P1E的比特值“11010000”表示为十六进制数，在这种情况下，可将P1E表示为“D0”。当根据另一示例性实施例使用24个邻近像素时，可用24个比特来配置PnE，当使用48个邻近像素时，可用48个比特来配置PnE。

此外，PnS表示包括在边缘图案P_n中的S-type的邻近像素。当假设使用8个邻近像素时，PnS可被配置为可分别与像素n1至n8相应的8个比特。8个比特中的与S-type的邻近像素相应的比特可被设置为“1”，其他剩余的比特(E-type或“非关注”类型)可被设置为“0”。例如，边缘图案P₁可包括作为S-type的邻近像素的像素n3和n6220，因此P1S的比特值可被设置为第三比特和第六比特为“1”的“00100100”。可将P1S的比特值“00100100”表示为十六进制数，在这种情况下，可将P1E表示为“24”。当根据另一示例性实施例使用24个邻近像素时，可用24个比特来配置PnS，当使用48个邻近像素时，可用48个比特来配置PnS。

用于分析图像的设备可检验由PnE表示的邻近像素是否与E-type相应，以及由PnS表示的邻近像素是否与S-type相应，并基于被分析的像素来确定像素组是否与边缘图案P_n相应。

当像素组的图案被分类时，用于分析图像的设备可不考虑“非关注”类型的邻近像素。因此，用于分析图像的设备可不使用明确地指示“非关注”类型的邻近像素的信息。例如，在PnE和PnS两者中，与边缘图案P_n中的“非关注”类型的邻近像素相应的比特可被设置为“0”。然而，与对PnE和PnS执行以比特为单位的OR运算的结果相关的“0”比特可表示“非相关”类型的邻近像素。例如，当对P1E＝“11010000”和P1S＝“00100100”执行以比特为单位的逻辑OR运算时，P1E OR P1S＝“11110100”。因为在P1E OR P1S中的“0”比特可与第五比特、第七比特和第八比特相应，所以P1E OR P1S＝“11110100”可表示包括在边缘图案P₁中的“非关注”类型的邻近像素可以是像素n5、n7和n8230。

表1是用于表示包括在边缘图案P_n中的E-type的邻近像素和S-type的邻近像素的示例性实施例。本领域的技术人员将理解对表1进行各种修改以表示包括在边缘图案P_n中的E-type的邻近像素和S-type的邻近像素。

图3A和图3B是示出根据示例性实施例的用于对像素组的图案进行分类的方案的示图。

参照图3A，可将24个边缘图案P₁至P₂₄分组为6个组310、320、330、340、350和360。例如，可基于E-type的邻近像素是否共同存在来将24个边缘图案P₁至P₂₄分组为6个组310至360。可由包括E-type的n1、n2和n4的边缘图案P₁、P₂、P₆、P₇和P₈来配置组310。可由边缘图案P₄、P₅、P₉、P₁₀和P₁₃来组成组320，其中，边缘图案P₄、P₅、P₉、P₁₀和P₁₃中的每一个包括E-type的像素n2、n3和n5。如图3A中所示，可将在图2A至图2C中被表示为E-type的像素之中的在组中的共同像素表示为交叉阴影线图案。

如表2中所示，可将6个组和包括在6个各自组中的边缘图案划分为屏蔽比特值(E)和额外比特值(G)。

[表2]

用于分析图像的设备可检验在像素组的邻近像素之中的在与屏蔽比特值(E)相应的位置处的邻近像素是否与E-type相应，以确定像素组的图案与哪个组相应。用于分析图像的设备可检验在与相应组的额外比特值(G)相应的位置处的邻近像素是否与E-type相应，以确定像素组的图案。

例如，因为包括在组310中的边缘图案P₁、P₂、P₆、P₇和P₈包括E-type的像素n1、n2和n4，所以可将代表组310的屏蔽比特E1的第一比特、第二比特和第四比特设置为“1”。用于分析图像的设备可使用屏蔽比特E1来验证像素n1、n2和n4是否与E-type的邻近像素相应，以确定像素组是否包括在组310中。

此外，用于分析图像的设备可使用比特值G11、G12和G13来确定与被分类为组310的像素组相应的边缘图案。例如，比特值G11可以是指第六比特被设置为“1”的额外比特值。用于分析图像的设备可使用G11来验证像素组的像素n6是否与E-type相应。

用于分析图像的设备可基于像素组的像素n6与E-type相应的确定结果，确定像素组与边缘图案P₆或边缘图案P₇相应。另外，用于分析图像的设备可使用比特值G12来验证像素组的像素n3是否与E-type相应，以确定像素组与边缘图案P₆和边缘图案P₇之中的哪个图案相应。例如，当像素组的像素n3与E-type相应时，用于分析图像的设备可确定像素组与边缘图案P₇相应。相反地，当像素组的像素n3不与E-type相应时，用于分析图像的设备可确定像素组与边缘图案P₆相应。

基于像素组的像素n6不与E-type相应的确定结果，用于分析图像的设备可确定像素组与边缘图案P₁、P₂或P₈相应。另外，用于分析图像的设备可使用比特值G12来验证像素组的像素n3是否与E-type相应，当像素组的像素n3不与E-type相应时，用于分析图像的设备可确定像素组与边缘图案P₁相应。当像素组的n3与E-type相应时，用于分析图像的设备可使用G13来验证像素组的像素n5是否与E-type相应。当像素组的像素n5与E-type相应时，用于分析图像的设备可确定像素组与边缘图案P₈相应，当像素n5不与E-type相应时，用于分析图像的设备可确定像素组与边缘图案P₂相应。

当在与E1至E4的屏蔽比特值相应的位置处的邻近像素不与E-type相应时，用于分析图像的设备可确定像素组的图案属于组350或组360。用于分析图像的设备可验证在与比特值G51和G52的额外比特值相应的位置处的邻近像素是否与S-type相应，并确定像素组属于组350和组360之中的哪个组。

在一个示例中，用于分析图像的设备可使用比特值G51来确定像素组是否属于组360，其中，比特值G51可以是指第二比特和第七比特被设置为“1”的额外比特值。用于分析图像的设备可使用比特值G51来验证像素组的像素n2和n7是否与S-type相应，以确定像素组是否属于组360。另外，用于分析图像的设备还可验证(继排除像素n2和n7之后)剩余的单个邻近像素是否与E-type相应，以确定像素组与边缘图案P₁₁和边缘图案P₁₄中的哪个图案相应。

此外，用于分析图像的设备可使用比特值G52来确定像素组是否属于组350，其中，比特值G52可以是指第四比特和第五比特被设置为“1”的额外比特值。用于分析图像的设备可验证像素组的像素n4和n5是否与S-type相应，并确定像素组是否属于组350。另外，用于分析图像的设备还可验证(继排除像素n4和n5之后)剩余的单个邻近像素是否与E-type相应，并在边缘图案P₃和边缘图案P₂₂之中确定将被分类为像素组的图案的图案。

参照图3B，用于分析图像的设备可使用包括在像素组中的E-type的邻近像素来对相应像素组的边缘图案进行分类。如随后将讨论的，当用于E-type的邻近像素的阈值T_E等于用于S-type的邻近像素的阈值T_S时，用于分析图像的设备可对像素组的边缘图案进行分类。

更具体地讲，用于分析图像的设备可检验邻近像素b₀至b₇是否与E-type的邻近像素相应。当多个邻近像素与E-type相应时，用于分析图像的设备可将与相关像素相应的比特设置为“1”，否则，将与相关像素相应的比特设置为“0”。用于分析图像的设备可基于等式2来计算P-val。

[等式2]

P-val＝(B<<1)AND B AND(B>>1)

这里，B表示8比特的比特值，例如，b₀b₁b₂b₃b₄b₅b₆b₇；(B<<1)表示通过以比特为单位将8比特B的比特值向左循环位移1比特的程度而获得的值，例如，b₁b₂b₃b₄b₅b₆b₇b₀；(B>>1)表示通过以比特为单位将8比特B的比特值向右循环位移1比特的程度而获得的值，例如，b₇b₀b₁b₂b₃b₄b₅b₆；P-val表示通过以比特为单位对(B<<1)、B和(B>>1)执行逻辑AND运算而获得的比特值。

如表3中所示，用于分析图像的设备可使用查找表(LUT)从计算出的P-val确定边缘图案。例如，当计算出的P-val是“00000001”时，用于分析图像的设备可确定相关像素组与边缘图案P₁₁相应。当计算出的P-val是表3的LUT中不存在的值时，用于分析图像的设备可确定计算出的P-val不与预定边缘图案中的任何一种相应。

[表3]

当P-val等于十进制17、34、68和136时，两个边缘图案可以是候选。与两个边缘图案相应的P-val被认为是“非关注”类型的邻近像素与E-type的邻近像素相应的情况，并且用于分析图像的设备可基于预定规则选择可能的边缘图案中的任意一个。例如，用于分析图像的设备可确定另外确定的邻近像素的类型，并从两个边缘图案中选择边缘图案中的任意一个。可选地，用于分析图像的设备可随机地选择边缘图案中的任意一个。

图4是示出根据示例性实施例的用于确定像素组的边缘的方向的方案的示图。参照图4，多个预定边缘图案可被映射到具有预定方向的边缘。

多个预定边缘图案可被映射到具有主要方向的边缘，其中，S-type的邻近像素沿所述主要方向被布置。例如，边缘图案P₁、P₇、P₁₈和P₂₄410可被映射到具有第E2方向的边缘415。此外，边缘图案P₁₁、P₁₂、P₁₃和P₁₄420可被映射到具有第E4方向的边缘425。如表4中所示，24个边缘图案可被映射到沿8个方向的边缘。

[表4]

P1	E2	P13	E4
				P2	E1	P14	E4
P3	E0	P15	E5
				P4	E7	P16	E6
P5	E6	P17	E0
				P6	E3	P18	E2
P7	E2	P19	E3
				P8	E0	P20	E6
P9	E6	P21	E7
				P10	E5	P22	E0
P11	E4	P23	E1
				P12	E4	P24	E2

用于分析图像的设备可对与检测到事件的像素相应的像素组的图案进行分类。可将多个被分类的图案映射到表4的边缘，并因此，用于分析图像的设备可识别检测到事件的多个像素中的边缘的方向。例如，使用表4映射的边缘图案可被存储为多个事件中的边缘，并且用于分析图像的设备可针对多个像素组合存储的边缘信息来确定对象的外形。

更具体地讲，用户的手的移动是用于分析图像的设备接收通过移动而产生的事件信号的情况的示例。在此情况下，事件像素可包括与用户的手的边缘相应的像素和与用户的手的内部相应的像素两者。用于分析图像的设备可确定与事件像素中的多个像素相应的边缘图案。这里，预定边缘图案可包括与边缘相应的边缘图案。因此，用于分析图像的设备可确定与手的内部相应的像素不与预定边缘图案中的任何一个相应，并确定与用户的手的边缘相应的像素与预定边缘图案中的任何一个相应。当与人的手的边缘相应的多个像素被确定为与预定边缘图案中的任何一种相应时，用于分析图像的设备可基于表4，在与人的手的边缘相应的多个像素中确定与相关边缘图案相应的边缘的方向。结果，用于分析图像的设备可在与人的手的边缘相应的多个像素中确定缘的方向，并通过整合多个边缘的方向来确定用户的手的外形。

图5A和图5B是示出根据示例性实施例的用于基于输入图像来分析对象的外形的方案的示图。

参照图5A，输入图像可以是基于事件的视觉传感器的输出，其中，基于事件的视觉传感器捕捉布置在气缸的中心周围的按相等旋转速度以顺时针方式旋转的8个连杆。在此情况下，基于事件的视觉传感器可通过检测变亮事件和变暗事件来输出事件信号。例如，基于事件的视觉传感器可通过检测图像中多个像素的亮度经由沿顺时针方向旋转的8个连杆而增加或减小了大于预定值的程度来输出事件信号。在图5A中，黑点(■)可以是指传感器检测变暗事件的输出，其中，在变暗事件中，亮度至少减小所述预定值；白点(□)可以是指检测变亮事件的输出，其中，在变亮事件中，亮度至少增加所述预定值。参照图5B，用于分析图像的设备可使用图5A的输入图像来分析对象的外形。

用于分析图像的设备可基于通过图1至图4描述的方案来选择与预定边缘图案相应的像素组，并基于与选择的像素组相应的边缘的方向来估计对象的外形。间接地，用于分析图像的设备可有效地去除由于拖尾效应等而包括在输入图像中的噪声。

除了对象的外形之外，用于分析图像的设备还可分析对象的运动。用于分析图像的设备可计算与对象的边缘相应的多个像素处的速度，并在从事件信号分析对象的外形之后，使用在与边缘相应的多个像素处的速度来分析对象的运动。在下文中，将参照图6来描述用于分析图像的设备计算在与对象的边缘相应的多个像素处的速度的操作，并且将参照图7来描述用于分析图像的设备分析对象的运动的操作。

图6是示出根据示例性实施例的用于计算与像素组相应的速度的方案的示图。参照图6，像素组可包括运动方向信息，用于分析图像的设备可使用邻近像素组来计算与像素组相应的速度。

这里，用于分析图像的设备可计算与对象的边缘相应的像素组的速度。例如，用于分析图像的设备可针对被分类为图2A至图2C的预定边缘图案P₁至P₂₄的像素组来计算相应像素组的速度，而不是针对包括在事件信号中的多个像素来计算相应像素组的速度。如前面所描述的，因为预定边缘图案P₁至P₂₄可包括与对象的边缘相应的边缘图案，所以用于分析图像的设备可计算与对象的边缘相应的像素组的速度。

用于分析图像的设备可基于等式3来计算与像素组相应的x轴方向速度V_x和y轴方向速度V_y。

[等式3]

$\left(\begin{array}{c}{V}_x\\ V_y\end{array}\right)=\underset{i=1,S-\mathrm{Type}}{\overset{8}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\left(\begin{array}{c}{\mathrm{dx}}_i/{\mathrm{dt}}_i\\ {\mathrm{dy}}_i/{\mathrm{dt}}_i\end{array}\right){,}_{{\mathrm{\&alpha;}}_i=\left|{\&Integral;}_{{\mathrm{\&theta;}}_{i,a}}^{{\mathrm{\&theta;}}_{i,b}}\cos \left(\mathrm{\&theta;}\right)\mathrm{d\&theta;}\right|}$

θ_i,a和θ_i,b表示基于像素组的中心覆盖S-type的第i个邻近像素的边界角。例如，当像素n5是S-type时，θ_5,a 620和θ_5,b 610可以是基于像素组的中心覆盖像素n5的边界角。

用于分析图像的设备可基于等式4减轻针对时间戳的噪声的灵敏度。

[等式4]

$\left(\begin{array}{c}{V}_x\\ V_y\end{array}\right)=\underset{i=1,S-\mathrm{Type}}{\overset{8}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\left(\begin{array}{c}{\mathrm{dx}}_i/<\mathrm{dt}>\\ {\mathrm{dy}}_i/<\mathrm{dt}>\end{array}\right),{\mathrm{\&alpha;}}_i=\left|{\&Integral;}_{{\mathrm{\&theta;}}_{i,a}}^{{\mathrm{\&theta;}}_{i,b}}\cos \left(\mathrm{\&theta;}\right)\mathrm{d\&theta;}\right|$

这里，<dt>表示与等式5相同的值。

[等式5]

用于分析图像的设备可存储与像素组相应的速度，速度可包括通过等式3至等式5计算出的x轴方向速度V_x和y轴方向速度V_y。与像素组相应的速度可以是指位于相应像素组的中心处的事件像素的速度。如前面所描述的，用于分析图像的设备可使用预定边缘图案针对与对象的边缘相应的事件像素计算x轴方向速度V_x和y轴方向速度V_y。在下文中，将参照图7使用与对象的边缘相应的事件像素的速度来描述用于分析对象的运动的方法。

图7是示出根据示例性实施例的使用刚体模型分析对象的运动的方案的示图。参照图7，用于分析图像的设备可分析对象700的4自由度(4-DOF)运动。

例如，根据示例性实施例，使用检测到对象700的移动的输入图像。对象700可在二维(2D)表面上按移动速度V_p 740进行移动。可选地，对象700可基于旋转中心O_C720按角速度ω721进行旋转。可选地，对象700可基于缩放中心O_z 730被扩张或收缩至缩放速度V_z。

用于分析图像的设备可分析对象700的移动速度分量、旋转速度分量和缩放速度分量。用于分析图像的设备可使用参照图1至图6提供的描述来计算存在于对象700的边缘上的预定点P_i 710处的速度V_i。例如，速度V_i可以是指基于等式3至等式5计算出的x轴方向速度V_x和y轴方向速度V_y。

用于分析图像的设备可对速度V_i进行建模，如等式6所示。

[等式6]

V_zi+V_ri+V_p＝V_i

这里，V_zi 731、V_ri 722和V_p 740可以是指在点P_i 710处的缩放速度分量、旋转速度分量和移动速度分量。如等式6中所示，用于分析图像的设备可对速度V_i进行建模，以将位于被设置在对象700的边缘上的点P_i 710处的速度V_i分解成缩放速度分量、旋转速度分量和移动速度分量。这里，等式6可被定义为等式7。

[等式7]

tP_i+ωA(P_i-O_c)+V_p＝V_i

这里，tP_i表示缩放速度分量，以O_z 730为原点的坐标P_i 710可表示矢量V_zi 731的方向和大小，参数t表示可对矢量V_zi 731的大小执行缩放；ωA(P_i-O_c)表示旋转速度分量，坐标差(P_i-O_c)可表示从旋转中心O_c 720朝向坐标P_i 710的矢量的方向和大小；矩阵A表示用于对从旋转中心O_c 720朝向坐标P_i 710的矢量进行旋转的旋转矩阵，例如，矩阵 $A=\left(\begin{array}{cc}0& -1\\ 1& 0\end{array}\right).$ 由于矩阵A而被旋转的矢量可指向矢量V_ri 722，并且参数ω可对矢量V_ri 722的大小执行缩放。

用于分析图像的设备可基于等式7计算缩放速度分量参数t、旋转速度分量参数ω、旋转中心O_c和移动速度分量V_p。这是因为用于分析图像的设备知道位于边缘的多个点的坐标P_i 710以及在相应点处的速度V_i。用于分析图像的设备可分析移动速度分量、旋转速度分量和缩放速度分量(例如，对象的4-DOF)中的至少一个。

可以以各种方式来实现用于基于等式7计算缩放速度分量参数t、旋转速度分量参数ω、旋转中心O_c和移动速度分量V_p的方法。根据示例性实施例，可从等式7推导出等式8。

[等式8]

$t(P_i-\stackrel{\&OverBar;}{P})+\mathrm{\&omega;A}(P_i-\stackrel{\&OverBar;}{P})=V_i-\stackrel{\&OverBar;}{V}$

这里，P_i表示位于对象700的边缘上的第i个点的坐标，表示位于对象700的边缘上的点的坐标的平均值。V_i表示在位于对象700的边缘上的第i点处的速度，表示在位于对象700的边缘上的点处的速度的平均值。多个变量可以以等式9至等式12来定义。

[等式9]

P_i＝(x_i，y_i)

[等式10]

$\stackrel{\&OverBar;}{P}=(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i,\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i)$

[等式11]

V_i＝(V_xi，V_yi)

[等式12]

$\stackrel{\&OverBar;}{V}=(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{V}_{\mathrm{xi}},\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{V}_{\mathrm{yi}})$

用于分析图像的设备可基于等式3至等式5计算x轴方向速度V_x和y轴方向速度V_y，并将计算出的V_x和V_y存储为在像素P_i处的速度V_i。用于分析图像的设备可使用多个像素的坐标P_i和多个像素的速度V_i来计算和用于分析图像的设备可使用多个P_i、多个V_i、和等式8来计算参数t和参数ω。例如，基于伪逆方案可从等式8推导出等式13和等式14。

[等式13]

$t=\frac{\mathrm{\&sigma;}(x,V_x)+\mathrm{\&sigma;}(y,V_y)}{{\mathrm{\&sigma;}}^2\left(P\right)}$

[等式14]

$\mathrm{\&omega;}=\frac{\mathrm{\&sigma;}(x,V_y)+\mathrm{\&sigma;}(y,V_x)}{{\mathrm{\&sigma;}}^2\left(P\right)}$

这里，σ²(P)＝σ²(x)+σ²(y)，σ(·)表示用于计算标准差的算子；σ(x,y)＝E[(x-E[x])(y-E[y])]；E[·]表示期望值或平均值。用于分析图像的设备可基于等式13和等式14计算缩放速度分量参数t和旋转速度分量参数ω。

图8A至图8D是示出根据示例性实施例的用于提高分析对象800的运动的精确度的方案的示图。

参照图8A，用于分析图像的设备可使用尺寸比像素组的尺寸更大的观察区域810来提高运动分析精确度。观察区域810可以是指包括多个像素组的像素组811的集合。例如，观察区域810可包括通过沿对象800的边缘将对象800分段成相同尺寸而产生的区域。

在选择观察区域810时，用于分析图像的设备可确定将被包括的像素组811的各种图案。例如，用于分析图像的设备可选择具有不同图案的像素组811的观察区域，并执行运动分析。

例如，假设以下情况：对象800在没有旋转、收缩和扩张的情况下向右820移动。这里，对象800可以是指具有矩形形状的对象，并且可以是在倾斜或以倾斜方式定向的同时移动的对象。观察区域810可包括具有相同或相似图案的像素组811。当基于包括在观察区域810中的像素组811执行运动分析时，虽然实际移动的方向是向右的方向820，但是可将实际移动的方向分析为向右下方812移动。用于分析图像的设备可在对象800的边缘中选择包括非直线部分的观察区域830，而不是包括直线部分的观察区域810。用于分析图像的设备可通过选择包括不同图案的像素组的观察区域来提高分析运动的精确度。

根据另一示例性实施例的用于分析图像的设备可使用均匀性水平(LOH)提高分析运动的精确度。例如，用于分析图像的设备可基于等式15计算小块(patch)的LOH，并选择具有低LOH的小块。这里，小块可包括大于3×3个像素的尺寸的像素组。

[等式15]

这里，θ_ref和θ_i表示位于多个小块(patch)的中心处的像素的边缘角(即，方位)、和第i个邻近像素的边缘角(即，方位)。当LOH低时，包括在相应小块中的像素组的图案彼此具有一定程度的相似性，当LOH高时，包括在相应小块中的像素组的图案可以是不相似的。用于分析图像的设备可选择具有低LOH的小块，并选择包括不同图案的像素组的观察区域。因此，边缘可被分类，并且边缘的方位可用于确定图像的重要特征，还可被应用于确定对象的形状和/或移动。

图8B是示出使用LOH分析运动的精确度被提高的示例。例如，假设以下情况：对象800沿向右的方向820移动。当在观察区域810中观察对象800的移动时，对象800的边缘可在时间点t被观察为边缘831，并在随后的时间点t+Δt被观察为边缘832。在此情况下，因为对象800沿向右的方向820移动，所以对象800的实际移动的速度可表示为速度矢量840。当未使用利用LOH的运动分析时，会将对象800的移动速度计算为速度矢量850。速度矢量850可在方向和大小上与表示实际移动速度的速度矢量840不同。

当使用利用LOH的运动分析时，可将对象800的移动速度计算为速度矢量860。速度矢量860的方向可与表示对象800的实际移动的速度矢量840的方向相同，然而，速度矢量860的大小与速度矢量840的大小不同。

参照图8C，虽然对象按具有相同速度和方向的实际速度872移动，但是基于对象800的外形871计算出的速度873的大小可以不同。例如，出现在沿着实际移动的方向的方向(例如，x轴方向)上的矢量分量越小，则计算出的速度的大小越小。

参照图8D，用于分析图像的设备可基于等式16和等式17校正对象800的移动速度的大小。更具体地讲，在操作881，用于分析图像的设备可接收V_i作为边缘事件。用于分析图像的设备可使用V_i计算V_p、O_c、t和ω。由于可参考在图1至图7中描述的相似特征，因此将省略针对操作881和882的详细描述。在操作883，用于分析图像的设备可通过使用LOH来分析运动以计算V_p。类似地，可将图8A的描述应用于操作883，并因此省略操作883的详细描述。

在操作884，用于分析图像的设备可基于等式16计算V_i ^gen。在等式16中使用的参数的定义可与在等式7中使用的参数的定义相同。

[等式16]

V_i ^gen＝tP_i+ωA(P_i-O_c)+V_p

在操作885，用于分析图像的设备可基于等式17计算V_i ^cor。这里，θ表示V_i和V_i ^gen之间的角度差，并可与在图8B中示出的角度855相应。

[等式17]

${V_i}^{\mathrm{cor}}=\left(\begin{array}{cc}1& -\tan \mathrm{\&theta;}\\ \tan \mathrm{\&theta;}& 1\end{array}\right)V_i$

尽管V_i具有与实际移动的速度的大小相似的大小，但是V_i可具有与实际移动的方向不同的方向。这是因为移动的速度是针对所有边缘而不论LOH如何而被计算出的。相反地，尽管V_i ^gen具有比实际移动的速度的大小更小的大小，但是V_i ^gen可具有与实际移动的方向相同的方向。这是因为移动的速度是针对在低LOH的观察范围内的边缘被计算出的。因此，用于分析图像的设备可从V_i获得矢量的大小，并从V_i ^gen获得矢量的方向，以基于等式17计算V_i ^cor。

根据另一示例性实施例，用于分析图像的设备可反复地重复操作882至操作885。例如，当θ是90度时，因为tan90°的值未被定义，所以会难以计算V_i ^cor。在此情况下，用于分析图像的设备可反复地旋转V_i来计算V_i ^cor。旋转数可以是两次或更多次。这里，需要满足表示在第k次重复中允许的最大旋转角。

图9是示出根据示例性实施例的用于基于对象910的移动速度来处理用户输入的方案的示图。

参照图9，用于分析图像的设备可基于对象910的运动来处理用户输入。对象910可以是用户的手。

用于分析图像的设备可使用针对图1至图8在前面提供的描述来计算对象910的移动速度915。用于分析图像的设备可使用计算出的移动速度915来计算关于用户输入的点的相对坐标的变化量。

用于分析图像的设备可基于相对坐标的变化量来处理用户输入。例如，用于分析图像的设备可将标示在显示器920上的光标的位置从当前位置921移动到新位置922。

因此，相对坐标可指示用户界面(UI)的指示符(诸如鼠标指针)关于UI的指示符的当前位置的相对位置。用于处理用户输入的设备可基于对象的运动来计算UI的指示符的相对位置的变化量。例如，在对象在1秒内按1m/s向右移动的情况下，可将UI的指示符的相对位置的变化量计算为方向为右且大小为1m的矢量。

用于处理用户输入的设备可通过计算按照UI的指示符的相对位置的变化量从UI的指示符的当前位置移动到的新位置来确定UI的指示符的相对位置。用于处理用户输入的设备可将UI的指示符从当前位置移动到所述新位置。

虽然在示图中未示出，但是用于分析图像的设备可包括识别器和处理器。识别器可基于包括检测到对象的移动的事件信号的输入图像来识别对象的运动。例如，识别器可使用针对图1至图8在前面提供的描述来计算对象910的移动速度915。处理器可基于由识别器识别出的对象的运动计算用于用户输入的相对坐标。例如，处理器可使用由识别器计算的移动速度915，计算用于用户输入的相对坐标的变化量。处理器可基于相对坐标的变化量来更新相对坐标，并使用更新后的相对坐标来处理用户输入。

图10是示出根据示例性实施例的用于基于对象的深度来处理用户输入的方案的示图。

参照图10，用于分析图像的设备还可使用针对同一对象的移动在空间上彼此隔开的两个位置处检测到的两个不同事件信号，来分析对象的深度。例如，传感器1020可包括与左眼相应的第一传感器和与右眼相应的第二传感器。用于分析图像的设备可使用从与双眼相应两个传感器输出的图像之间的视差(disparity)来测量对象的深度。

参照图10，用于分析图像的设备可基于用于使与左眼和右眼相应的多个小块的相似度水平(LOS)最大化的方案，来计算从两个传感器输出的两个图像的视差。更具体地讲，用于分析图像的设备可处理从与左眼相应的传感器1020输出的事件信号和从与右眼相应的传感器1020输出的事件信号两者。例如，用于分析图像的设备可通过使用两个各自的事件信号对边缘图案进行分类来检测与边缘相应的像素，并基于检测到的像素的边缘图案来确定相应像素中的边缘的方向。在此情况下，用于分析图像的设备可获得对象的两个边缘被彼此隔开的重叠图像。在两个图像中被彼此隔开的对象的两个边缘构成两个图像之间的视差。用于分析图像的设备可将表5的算法应用到对象的两个边缘被彼此隔开的重叠图像。

[表5]

$\mathrm{lLOS}(x,y,d)\&equiv;\frac{1}{\sqrt{M}}\underset{\left(x_i{y}_i\right)\&Element;\mathrm{patch}(x,y)}{\mathrm{\&Sigma;}}{\cos }^2\{\mathrm{\&theta;}(x_i,y_i)-\mathrm{\&theta;}(x_i+d,y_i)\},$

θ：方位角，M：有效像素数

$\mathrm{gLOS}\left(d\right)\&equiv;\underset{y}{\mathrm{\&Sigma;}}\mathrm{rLOS}(y,d)$

LOS(x，y，d)≡lLOS(x，y，d)×rLOS(y，d)×gLOS(d)

$\mathrm{disparity}(x,y)=\underset{d}{\arg \max }\left\{\mathrm{LOS}(x,y,d)\right\}$

这里，(x,y)表示小块在图像中的坐标，并且多个点可被包括在该小块中；(x_i,y_i)表示包括在(x,y)坐标的小块中的第i个点的坐标，d表示两个图像的视差。可从与左眼相应的传感器和与右眼相应的传感器接收两个图像，并因此，所述两个图像通常可沿着x轴的方向被彼此隔开。因此，d可表示两个图像沿x轴的方向被彼此隔开的程度。θ(x_i,y_i)表示方位角，并可与在(x_i,y_i)坐标的点处计算出的边缘的方向相应。

1LOS(x,y,d)表示用于确定(x,y)坐标的单个小块中的LOS的数学公式；rLOS(y,d)表示用于确定y坐标的一维(1D)线上的LOS的数学公式；gLOS(d)表示用于确定整个图像的2D区域中的LOS的数学公式。

用于分析图像的设备可计算用于使LOS(x,y,d)最大化的d。为了使LOS(x,y,d)最大化，可以使θ(x_i,y_i)和θ(x_i+d,y_i)之间的差最小化，并因此，用于分析图像的设备可计算用于使θ(x_i,y_i)和θ(x_i+d,y_i)之间的差最小化的d。

当两个图像之间的视差增加时，用于分析图像的设备可将对象的深度估计为变浅，并且当两个图像之间的视差减小时，用于分析图像的设备可将对象的深度估计为变深。用于分析图像的设备可基于估计出的对象的深度来处理用户输入。

用于分析图像的设备可从传感器1020确定与对象1010的深度相应的操作模式。例如，可基于深度从传感器1020预先确定第一操作模式区域1031、第二操作模式区域1032、第三操作模式区域1033和在对象1010后面的背景区域1034。

当对象1010的深度被确定为与第二操作模式区域1032相应时，用于分析图像的设备可基于用于处理与第二操作模式区域1032相应的用户输入的方案，使用对象1010来处理输入。

图11是示出根据示例性实施例的用于分析图像的方法的流程图。

参照图11，在操作1110，根据示例性实施例的用于分析图像的设备可读取事件信息。在操作1120，用于分析图像的设备可基于产生的事件的位置和产生时间来更新事件产生时间图(map)。在操作1130，用于分析图像的设备可针对事件产生时间图产生的邻近事件分析事件产生时间的图案。

在操作1140，用于分析图像的设备可基于事件产生图案对边缘的方向性进行分类。在操作1150，用于分析图像的设备可基于边缘方向图案和事件产生图案来提取速度分量。

在操作1160，用于分析图像的设备可积累事件信息以分析对象的移动。在操作1170，用于分析图像的设备可确定积累的事件的数量是否足以准确地分析对象的移动。作为所述确定的结果，当确定积累的事件的数量不足以分析对象移动时，在操作1175，用于分析图像的设备可确定积累时间是否足以准确地分析对象的移动。当确定积累时间不足以分析对象移动时，用于分析图像的设备可返回到操作1110，并进一步积累新的事件信息。

当积累的事件的数量足以准确地分析对象的移动，或尽管积累的事件的数量不足，但是积累时间足以准确地分析对象的移动时，在操作1180，用于分析图像的设备可针对多个分量对对象的位置和移动速度进行划分。用于分析图像的设备可获得作为移动速度分量的移动速度、扩张或收缩速度、以及旋转速度。

在操作1190，用于分析图像的设备可确定对象的主要移动分量。例如，用于分析图像的设备可确定在移动速度、扩张或收缩速度、以及旋转速度之中非常有助于对象的移动的至少一个移动分量。

由于可参考参照图1至图10所描述的类似特征，因此将省略图11的详细描述。

图12是示出根据示例性实施例的用于分析三维(3D)图像的设备1200的框图。

参照图12，用于分析3D图像的设备可包括至少两个图像变化检测器1210和1215、边缘方向信息提取器1220和1225、速度信息提取器1230和1235、以及平均边缘方向信息提取器1240和1245，其中，图像变化检测器1210和1215分别包括基于事件的视觉传感器1211和1216，边缘方向信息提取器1220和1225用于针对一个或更多个事件检测边缘方向信息，速度信息提取器1230和1235用于针对一个或更多个事件检测速度信息，平均边缘方向信息提取器1240和1245用于在预定时间针对一个或更多个事件检测像素的平均边缘方向。

此外，用于分析3D图像的设备1200还可包括视差图提取器1250、距离信息映射器1260和3D位置/移动分析器1270，其中，视差图提取器1250用于基于边缘方向信息提取器1220和1225的边缘方向信息来确定视差图，距离信息映射器1260用于针对一个或更多个事件确定距离信息。

由于可参考参照图1至图11所描述的类似特征，因此将省略图12中描述的多个模块的详细描述。

在附图中示出的示例性实施例可由包括总线、至少一个处理器(例如，中央处理器、微处理器等)、和存储器的设备来实现，其中，总线连接到所述设备的每个单元，所述至少一个处理器连接到总线来控制所述设备的操作以实现上述功能并执行命令，存储器连接到总线以存储命令、接收的消息和产生的消息。

如将由本领域技术人员理解的，可由执行特定任务的软件和/或硬件组件(诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))的任意组合来实现示例性实施例。单元或模块可方便地被配置为位于可寻址的存储介质，并被配置为在一个或更多个处理器或微处理器上执行。因此，举例来说，单元或模块可包括组件(诸如软件组件、面向对象的软件组件、类组件和任务组件)、处理、函数、属性、程序、子程序、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。在组件和单元中提供的功能可合并成更少的组件和单元或模块，或者被进一部分离成另外的组件和单元或模块。

上述示例性实施例还可实现在计算机可读介质中，其中，计算机可读介质包括用于实现由计算机执行的各种操作的程序指令。所述介质还可单独或与程序指令组合地包括数据文件、数据结构等。计算机可读介质的示例包括磁介质(诸如硬盘、软盘和磁带)、光介质(诸如CD ROM盘和DVD)、磁光介质(诸如光盘)、专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例可包括机器代码(诸如由编译器生成的)和包含可由计算机使用解释器执行的更高级代码的文件两者。描述的硬件装置可被配置为用作一个或更多个软件模块，以执行上述示例性实施例的操作，反之依然。

以上已描述了若干个示例性实施例。然而，应理解，可做出各种修改。例如，如果以不同顺序来执行所描述的技术，和/或如果以不同方式来组合所描述的***、架构、装置和电路中的组件和/或以其他组件或它们的等同物来替换或补充所描述的***、架构、装置和电路中的组件，则可实现适当的结果。因此，其他实现也在权利要求的范围内。

Claims (34)

1.一种用于分析图像的设备，所述设备包括：

分类器，被配置为接收与基于事件的视觉传感器的至少一个像素相应的事件信号，并被配置为确定基于事件的视觉传感器的多个像素的像素组的图案，其中，像素组包括所述至少一个像素和与所述至少一个像素邻近的基于事件的视觉传感器的多个邻近像素；

分析器，被配置为基于像素组的图案确定对象的外形和对象的移动中的至少一个。

2.如权利要求1所述的设备，其中，事件信号指示在基于事件的视觉传感器的所述至少一个像素的位置处的事件的发生。

3.如权利要求1所述的设备，其中，分类器确定像素组是否与多个预定边缘图案之中的至少一个边缘图案相应。

4.如权利要求3所述的设备，其中，分类器响应于确定像素组不与所述至少一个边缘图案相应，舍弃该像素组。

5.如权利要求1所述的设备，其中，分类器包括：

类型确定器，被配置为基于与所述至少一个像素相应的事件信号的时间戳和与所述多个邻近像素相应的事件信号的时间戳之间的差来确定所述多个邻近像素的像素类型；

图案确定器，被配置为基于所述多个邻近像素的像素类型来确定像素组的图案。

6.如权利要求5所述的设备，其中，所述多个邻近像素的像素类型包括第一像素类型和第二像素类型，其中，在与所述至少一个像素相应的事件信号的时间戳和与第一像素类型的邻近像素相应的事件信号的时间戳之间的差小于第一阈值，在与所述至少一个像素相应的事件信号的时间戳和与第二像素类型的邻近像素相应的事件信号的时间戳之间的差大于第二阈值。

7.如权利要求1所述的设备，其中，分析器包括：

外形分析器，被配置为基于像素组的图案来确定与像素组相应的对象的边缘的方向。

8.如权利要求1所述的设备，其中，分析器包括：

计算器，被配置为基于像素组的图案计算与像素组相应的速度；

运动分析器，被配置为基于与像素组相应的速度来分析对象的移动。

9.如权利要求8所述的设备，其中，对象的移动包括对象的移动速度分量、对象的旋转速度分量和对象的缩放速度分量中的至少一个。

10.如权利要求8所述的设备，其中，分析器还包括：

选择器，被配置为基于包括在观察区域中的像素组的各种图案，从多个观察区域之中选择用于分析对象的移动的至少一个观察区域。

11.如权利要求1所述的设备，还包括：

处理器，被配置为基于对象的移动计算关于用户输入的点的相对坐标的变化量，并基于所述相对坐标的变化量来处理用户输入。

12.一种用于分析图像的设备，所述设备包括：

分类器，被配置为接收与基于事件的视觉传感器的第一像素相应的第一事件信号和与基于事件的视觉传感器的第二像素相应的第二事件信号，确定基于事件的视觉传感器的第一多个像素的第一像素组的第一图案，并确定第二多个像素的第二像素组的第二图案，其中，第一像素组包括所述至少一个第一像素和与所述至少一个第一像素邻近的基于事件的视觉传感器的第一多个邻近像素，第二像素组包括所述至少一个第二像素和与所述至少一个第二像素邻近的第二多个邻近像素；

分析器，基于第一图案检测对象的第一位置，基于第二图案检测对象的第二位置，并基于第一位置和第二位置确定对象的深度。

13.如权利要求12所述的设备，其中，第一事件信号指示在基于事件的视觉传感器的第一像素的第一位置处的第一事件的发生，第二事件信号指示在基于事件的视觉传感器的第二像素的第二位置处的第二事件的发生。

14.如权利要求12所述的设备，其中，第一事件信号与在第一位置处检测到对象的移动的信号相应，第二事件信号与在空间上与第一位置隔开的第二位置处检测到所述移动的信号相应。

15.如权利要求12所述的设备，其中，分析器被配置为计算第一位置和第二位置之间的距离，当第一位置和第二位置之间的距离增加时，将对象的深度估计为变浅，当第一位置和第二位置之间的距离减小时，将对象的深度估计为变深。

16.如权利要求12所述的设备，还包括：

处理器，被配置为确定与对象的深度相应的运动模式，并基于运动模式来处理用户输入。

17.一种分析图像的方法，所述方法包括：

接收与基于事件的视觉传感器的至少一个像素相应的事件信号；

确定基于事件的视觉传感器的多个像素的像素组的图案，其中，像素组包括所述至少一个像素和与所述至少一个像素邻近的基于事件的视觉传感器的多个邻近像素；

基于像素组的图案确定对象的外形和对象的移动中的至少一个。

18.如权利要求17所述的方法，其中，事件信号指示在基于事件的视觉传感器的所述至少一个像素的位置处的事件的发生。

19.如权利要求17所述的方法，其中，确定像素组的图案的步骤包括：

基于与所述至少一个像素相应的事件信号的时间戳和与所述多个邻近像素相应的事件信号的时间戳之间的差来确定所述多个邻近像素的像素类型；

基于所述多个邻近像素的像素类型来确定像素组是否与多个预定边缘图案之中的至少一个边缘图案相应；

响应于确定像素组不与所述至少一个边缘图案相应，舍弃该像素组，响应于确定像素组与所述至少一个边缘图案相应，确定该像素组的图案为所述至少一个边缘图案。

20.如权利要求17所述的方法，其中，确定对象的外形和对象的移动中的至少一个的步骤包括：基于像素组的图案确定与像素组相应的边缘的方向。

21.如权利要求17所述的方法，其中，确定对象的外形和对象的移动中的至少一个的步骤包括：

基于包括在观察区域中的像素组的各种图案，从多个观察区域之中选择用于分析对象的移动的至少一个观察区域；

计算与包括在所述至少一个观察区域中的多个像素组相应的速度；

基于与所述多个像素组相应的速度来分析对象的移动。

22.如权利要求17所述的方法，还包括：

基于包括在对象的移动中的对象的移动速度计算关于用户输入的点的相对坐标的变化量；

基于所述相对坐标的变化量来处理用户输入。

23.一种用于分析图像的方法，所述方法包括：

接收指示对象的移动的与基于事件的视觉传感器的像素相应的事件信号的输入；

选择和与事件信号相应的像素邻近的基于事件的视觉传感器的多个邻近像素；

确定所述多个邻近像素的边缘图案；

基于所述多个邻近像素的边缘图案来确定对象的边缘的位置；

基于对象的边缘的位置来分析对象的外形。

24.如权利要求23所述的方法，其中，事件信号指示在基于事件的视觉传感器的像素的位置处的事件的发生。

25.如权利要求23所述的方法，其中，确定边缘图案的步骤包括：

基于与所述多个邻近像素相应的事件信号的时间戳和与所述像素相应的事件信号的时间戳之间的差来确定所述多个邻近像素的像素类型；

基于所述多个邻近像素的像素类型来确定所述多个邻近像素的边缘图案是否与多个边缘图案中的至少一个边缘图案相应。

26.如权利要求25所述的方法，其中，确定边缘图案的步骤还包括：

如果所述多个邻近像素的边缘图案不与所述至少一个边缘图案相应，则舍弃所述像素和所述多个邻近像素。

27.如权利要求23所述的方法，还包括：

基于对象的外形来分析对象的移动。

28.一种用于处理用户输入的设备，所述设备包括：

识别器，被配置为基于输入图像来识别对象的移动，其中，输入图像包括指示检测到对象的移动的基于事件的视觉传感器的至少一个像素的事件信号；

处理器，被配置为基于对象的移动来更新对象的与用户输入相应的相对位置。

29.如权利要求28所述的设备，其中，事件信号指示在基于事件的视觉传感器的所述至少一个像素处的事件的发生。

30.如权利要求28所述的设备，其中，对象的移动包括对象的移动速度分量、对象的旋转速度分量和对象的缩放速度分量中的至少一个。

31.如权利要求28所述的设备，其中，识别器包括：

分类器，被配置为确定输入图像中的至少一个像素组的图案，其中，所述至少一个像素组包括与事件信号相应的所述至少一个像素和与所述至少一个像素邻近的多个邻近像素；

分析器，被配置为基于所述至少一个像素组的图案来分析对象的移动。

32.如权利要求31所述的设备，其中，分类器包括：

类型确定器，被配置为基于与所述至少一个像素相应的事件信号的时间戳和与所述多个邻近像素相应的事件信号的时间戳之间的差来确定所述多个邻近像素的像素类型；

图案确定器，被配置为基于所述多个邻近像素的像素类型来确定像素组的图案。

33.如权利要求31所述的设备，其中，分析器包括：

计算器，被配置为基于像素组的图案来计算与像素组相应的速度；

运动分析器，被配置为基于与像素组相应的速度来分析对象的移动。

34.如权利要求28所述的设备，其中，处理器还被配置为：基于对象的移动来计算对象的相对位置的变化量，基于所述变化量来更新对象的相对位置，并基于更新后的对象的相对位置来处理用户输入。