CN106997453B - 事件信号处理方法和设备 - Google Patents

事件信号处理方法和设备 Download PDF

Info

Publication number
CN106997453B
CN106997453B CN201610622053.6A CN201610622053A CN106997453B CN 106997453 B CN106997453 B CN 106997453B CN 201610622053 A CN201610622053 A CN 201610622053A CN 106997453 B CN106997453 B CN 106997453B
Authority
CN
China
Prior art keywords
pixel
sub
pixels
timestamp
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610622053.6A
Other languages
English (en)
Other versions
CN106997453A (zh
Inventor
朴根柱
朴晋满
赵百焕
柳贤锡
徐荣完
赵在勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106997453A publication Critical patent/CN106997453A/zh
Application granted granted Critical
Publication of CN106997453B publication Critical patent/CN106997453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

提供一种事件信号处理方法和设备。事件信号处理方法包括：从基于事件的传感器接收包括多个时间戳的多个事件信号；基于多个时间戳生成第一时间戳图；并基于第一时间戳图中的至少两个时间戳，将新时间戳***到第一时间戳图，以生成第二时间戳图。

Description

事件信号处理方法和设备
本申请要求于2016年1月22日提交到韩国知识产权局的第10-2016-0007927号韩国专利申请的优先权，所述韩国专利申请的公开通过引用被完整地包含于此。
技术领域
与示例性实施例一致的方法和设备涉及处理事件信号。
背景技术
标识或识别对象或手势的技术正被利用在各种领域中。基于事件的传感器被用于标识或识别对象，例如，用于手势识别、脸部识别或人识别。为了增加标识或识别的准确性，正对处理从基于事件的传感器输出的信号的技术开展研究。
发明内容
示例性实施例可解决至少上面的问题和/或缺点以及上面未描述的其他缺点。此外，不要求示例性实施例克服上述的缺点，并且示例性实施例可不克服上述问题中的任何问题。
根据示例性实施例的一方面，提供一种事件信号处理方法，包括：从基于事件的传感器接收包括多个时间戳的多个事件信号；基于所述多个时间戳生成第一时间戳图；并基于第一时间戳图中的至少两个时间戳，将新时间戳***到第一时间戳图，以生成第二时间戳图。
生成第一时间戳图的步骤可包括：将第一时间戳图的像素的值设置为被包括在所述多个事件信号中的与所述像素对应的事件信号中的时间戳。
***的步骤可包括：基于在第一时间戳图的多个像素中与具有新时间戳的像素相邻的像素的时间戳，将新时间戳***到第一时间戳图。
***的步骤可包括：基于所述至少两个时间戳的平均值，将新时间戳***到第一时间戳图。
***的步骤可包括：将第一时间戳图的多个像素中的像素划分为多个新像素，并基于所述至少两个时间戳将多个新时间戳***到所述多个新像素。
***多个新时间戳的步骤可包括：将多个新时间戳中的每一个新时间戳设置为划分的像素的时间戳。
***多个新时间戳的步骤可包括：从与多个新像素中的新像素相邻的至少一个像素的至少一个时间戳选择最高时间戳，并将所述新像素的新时间戳设置为选择的最高时间戳和划分的像素的时间戳的平均值。
***的步骤可包括：基于所述至少两个时间戳生成向量，所述向量表示与所述多个事件信号对应的多个事件的流；并基于所述向量将新时间戳***到第一时间戳图。
第二时间戳图的分辨率可高于第一时间戳图的分辨率。
基于事件的传感器的多个感测元件中的每一个感测元件可感测事件并输出激活信号。
事件信号可包括：标识基于事件的传感器的多个感测元件中的感测到事件的感测元件的标识信息；以及指示感测到事件的时间的时间戳。
事件信号处理方法还可包括：基于第二时间戳图，识别与所述多个事件信号对应的用户输入。
事件信号处理方法还可包括：扩展第二时间戳图，并基于第一时间戳图和扩展的第二时间戳图，识别与所述多个事件信号对应的用户输入。
事件信号处理方法还可包括：基于第一时间戳图，生成与所述多个事件信号对应的第一识别结果；基于第二时间戳图，生成所述多个与事件信号对应的第二识别结果；并基于第一识别结果和第二识别结果，识别与所述多个事件信号对应的用户输入。
一种非暂时性计算机可读存储介质可存储包括用于控制处理器执行所述方法的指令的程序。
根据另一个示例性实施例的一方面，提供一种根据基于事件的视觉传感器的像素扩展方法，所述像素扩展方法包括：接收由基于事件的视觉传感器的多个感测元件感测到事件的时间的时间信息；基于时间信息，生成与所述多个感测元件对应的多个像素的时间戳；将所述多个像素中的目标像素划分为多个子像素；并基于所述多个像素的时间戳，生成所述多个子像素的时间戳。
生成所述多个子像素的时间戳的步骤可包括：将所述多个子像素中的子像素的时间戳设置为目标像素的时间戳。
生成所述多个子像素的时间戳的步骤可包括：基于目标像素的时间戳和所述多个像素中与一个子像素相邻的至少一个像素的至少一个时间戳，将时间戳***到所述多个子像素中的所述子像素。
***的步骤可包括：确定目标像素的时间戳和与所述子像素相邻的所述至少一个像素的所述至少一个时间戳中的最高时间戳的平均值，并将所述子像素的时间戳设置为所述平均值。
生成所述多个子像素的时间戳的步骤可包括：基于所述多个像素的时间戳生成向量，所述向量表示事件的流；并基于所述向量的方向设置所述多个子像素的时间戳。
设置所述多个子像素的时间戳的步骤可包括：从所述多个子像素选择以垂直于所述向量的方向的方向布置的子像素，并将选择的子像素的时间戳设置为目标像素的时间戳。
设置所述多个子像素的时间戳的步骤可包括：从所述多个子像素选择以平行于所述向量的方向的方向布置的子像素，并基于所述多个像素中与选择的子像素相邻的像素的时间戳，将时间戳***到选择的子像素。
生成所述多个子像素的时间戳的步骤可包括：基于所述多个像素的时间戳，估计与所述多个感测元件中的未感测到事件的感测元件对应的像素的时间戳；基于估计的时间戳和所述多个像素的时间戳，将时间戳***到所述多个子像素；并将与所述感测元件对应的像素的时间戳还原为原始时间戳。
根据另一个示例性实施例的一方面，提供一种事件信号处理设备，包括：处理器，被配置为：从基于事件的传感器接收包括多个时间戳的多个事件信号，基于所述多个时间戳生成第一时间戳图，并基于第一时间戳图的至少两个时间戳将新时间戳***到第一时间戳图，以生成第二时间戳图。
处理器还可被配置为：基于所述至少两个时间戳生成向量，所述向量表示与所述多个事件信号对应的多个事件的流；将第一时间戳图的像素确定为在所述向量的方向上在第一时间戳图的边界外部，所述像素具有新时间戳；并将新时间戳设置为空时间戳。
根据另一个示例性实施例的一方面，提供一种根据基于事件的视觉传感器的像素扩展设备，所述像素扩展设备包括：处理器，被配置为：接收由基于事件的视觉传感器的多个感测元件感测到多个事件的时间的时间信息；基于时间信息，产生与所述多个感测元件对应的多个像素的时间戳；将所述多个像素中的目标像素划分为多个子像素；并基于所述多个像素的时间戳，生成所述多个子像素的时间戳。
处理器还可被配置为：将所述多个子像素中的一个子像素划分为额外的多个子像素；并基于所述多个像素的时间戳和所述多个子像素的时间戳，生成所述额外的多个子像素的时间戳。
附图说明
通过下面结合附图对一些示例性实施例进行的详细描述，上面和其他方面将会变得清楚和更加容易理解，其中：
图1是示出根据示例性实施例的事件信号处理方法的流程图；
图2是示出根据示例性实施例的时间戳图的示图；
图3A和图3B是示出根据示例性实施例的***时间戳的操作的示图；
图4A、图4B、图4C、图4D和图4E是示出根据示例性实施例的***时间戳的操作的示图；
图5A、图5B和图5C是示出根据示例性实施例的识别与事件信号对应的用户输入的操作的示图；
图6是示出根据示例性实施例的根据基于事件的视觉传感器的像素扩展方法的流程图；
图7是示出根据示例性实施例的事件信号处理设备或根据基于事件的视觉传感器的像素扩展设备的框图。
具体实施方式
下面参照附图对示例性实施例进行更加详细地描述。
在以下描述中，即使在不同的附图中，相同的附图标号也被用于相同的元件。提供在本描述中限定的事物(诸如具体的结构和元件)，以协助全面理解示例性实施例。然而，清楚的是，能在没有这些具体限定的事物的情况下实施示例性实施例。此外，因为公知的功能或构造会在不必要的细节上模糊本描述，所以不会对它们进行详细的描述。
将理解，这里使用的术语“包括”和/或“包含”说明陈述的特征或组件的存在，但不排除一个或多个其他特征或组件的存在或增加。此外，在说明书中描述的术语(诸如“单元”、“……器”和“模块”)表示用于执行至少一个功能或操作的元件，并且可以以硬件、软件或硬件和软件的组合来实现。
虽然“第一”或“第二”的术语被用于说明各种组件，但是组件不受限于这些术语。这些术语应该仅用于将一个组件与另一个组件区分。例如，在根据本公开的构思的权利的范围内，可将“第一”组件称为“第二”组件，或类似地，可将“第二”组件称为“第一”组件。
应理解，当组件被称为“连接”或“结合”到另一个组件时，所述组件可直接连接或结合到所述另一组件，或者可存在中间组件。
如这里所使用，单数形式意图也包括复数形式，除非上下文另外清楚地指出。
可将示例性实施例实施为各种产品(例如，个人计算机(PC)、膝上型计算机、平板计算机、智能电话、电视机(TV)、智能家电、智能车辆、自动售货亭或可穿戴装置)。例如，可在智能电话、移动装置或智能家居***中使用示例性实施例来识别用户。可通过用户的识别将示例性实施例应用于支付服务。此外，可将示例性实施例应用于智能车辆***以识别用户和自动启动。
图1是示出根据示例性实施例的事件信号处理方法的流程图。
参照图1，在操作101中，事件信号处理设备从基于事件的传感器接收多个事件信号。事件信号处理设备可以是用于处理事件信号的设备，并可通过例如软件、硬件(处理器、集成电路等)或它们的各种组合来实现。
基于事件的传感器可使用多个感测元件来感测事件，并可基于感测到事件的感测元件的输出信号来输出事件信号。也可将多个感测元件中感测到事件的感测元件称为“目标元件”。可响应于感测到预定事件来激活目标元件，并且激活的目标元件可输出激活信号。基于事件的传感器可基于从多个感测元件中的目标元件输出的激活信号来生成事件信号，并可输出生成的事件信号。
事件可以是由感测元件感测的现象，并且多个感测元件中的每一个感测元件可感测预定事件并可输出激活信号。可根据基于事件的传感器的类型来不同地定义由感测元件感测的事件。例如，基于事件的视觉传感器可感测入射到多个感测元件上的光的强度改变的事件。此外，可将事件定义为波的频率、强度或力的大小的改变，并可将所述事件应用于基于事件的传感器，并且可不同地应用或修改用于定义事件的数量关系。
基于事件的传感器的感测元件可感测满足预定条件的事件。例如，基于事件的视觉传感器的感测元件可感测入射光的强度的改变大于或等于预设阈值的事件，并可输出激活信号。
基于事件的传感器可基于从感测元件输出的激活信号来输出事件信号。事件信号可包括被用于标识输出激活信号的目标元件的标识信息以及关于由目标元件感测到事件的时间的时间信息(例如，时间戳)。例如，标识信息可包括感测元件的地址或索引。事件信号还可包括事件的类型(例如，极性信息)。
在操作102中，事件信号处理设备基于被包括在多个事件信号中的多个时间戳来生成第一时间戳图(timestamp map)。时间戳图可以是在预定位置显示时间戳以表示在从预定时间点到当前时间点的时间段期间发生的事件的图。例如，时间戳图可包括存储时间戳的多个像素。事件信号处理设备可通过调节与多个像素中的每一个像素对应的时间戳来生成时间戳图。
基于事件的传感器可使用串行通信来输出多个事件信号。如上所述，多个事件信号中的每一个事件信号可包括感测事件的目标元件的标识信息，因此，事件信号处理设备可识别与事件信号对应的目标元件。事件信号处理设备可将时间戳图中的与目标元件对应的像素的值设置为被包括在事件信号中的时间戳。事件信号处理设备可通过将第一时间戳图中的多个像素的值设置为被包括在多个事件信号中的多个时间戳来生成第一时间戳图。
时间戳图的多个像素中的每一个像素可存储最新时间戳。例如，当接收到新事件信号时，事件信号处理设备可将被包括在新事件信号中的新时间戳重写在时间戳图中的先前存储的时间戳上。
在操作103中，事件信号处理设备通过基于被包括在第一时间戳图中的至少两个时间戳***新时间戳，来生成第二时间戳图。可基于第一时间戳图的多个时间戳来***新时间戳，并且新时间戳可以是例如由事件信号处理设备基于第一时间戳图的多个时间戳估计的时间戳。
第二时间戳图可包括由事件信号处理设备***的新时间戳。由于***的新时间戳，所以第二时间戳图的分辨率可高于第一时间戳图的分辨率。例如，事件信号处理设备可对第一时间戳图进行去马赛克以生成具有相对高分辨率的第二时间戳图。
事件信号处理设备可基于多个像素之间的位置关系、从第一时间戳图的多个时间戳估计的向量、第一时间戳图的多个时间戳的计算或它们的各种组合来***新时间戳。将参照图2、图3A、图3B、图4A、图4B、图4C、图4D和图4E来描述***新时间戳以生成第二时间戳图的示例。然而，在基于事件的传感器中的事件信号的处理期间***时间戳的方案不限于这些示例。
图2是示出根据示例性实施例的时间戳图201的示图。
参照图2，时间戳图201包括多个像素。多个像素对应于基于事件的传感器的多个感测元件。多个像素中的每一个像素可存储时间戳。在时间戳图201中示出的多个时间戳中的每一个时间戳指示基于事件的传感器的目标元件感测到事件的时间。换言之，时间戳图201可指示沿着从右上侧到左下侧的方向顺序地感测事件。
由基于事件的传感器感测的事件可在各种场景发生。例如，当对象在基于事件的视觉传感器的感测范围内移动时，当基于事件的视觉传感器移动时，当被投影到位于基于事件的视觉传感器的感测范围内的对象上的光改变时，或当从位于基于事件的视觉传感器的感测范围内的发光对象发射的光改变时，基于事件的视觉传感器的感测元件可感测事件。
事件信号处理设备可基于从基于事件的传感器输出的多个事件信号来生成时间戳图201。可顺序地或同时地输出多个事件信号。在一个示例中，响应于接收到事件信号，事件信号处理设备可更新时间戳图201中与该事件信号对应的像素的值。在另一个示例中，事件信号处理设备可在临时存储空间中累加在预定时间段期间(例如，20毫秒(ms))接收的多个事件信号，并可基于多个时间戳和针对所述多个事件信号中的每一个事件信号的目标元件的标识信息生成与所述多个事件信号对应的时间戳图。
事件信号处理设备可基于时间戳图201的多个时间戳生成向量202。向量202可表示与从基于事件的传感器接收的多个事件信号对应的多个事件的流。向量202可表示由基于事件的传感器的多个目标元件感测的多个事件在预定时间段期间按照时间序列发生的方向。例如，当事件(例如，光改变)被基于事件的视觉传感器感测到时，可将光流用作向量202。
参照图2，事件信号处理设备可计算时间戳图201的多个时间戳，并可生成向量202。例如，可生成表示时间戳增大的方向的向量。事件信号处理设备可基于与向量202垂直的方向203来***新时间戳，将参照图3A至图4E对其进行描述。在图3A至图4E中，将时间戳图201假定为未***新时间戳的第一时间戳图。
图3A和图3B是示出根据示例性实施例的***时间戳的操作的示图。
事件信号处理设备可基于与对应于新时间戳的像素相邻的至少一个像素的时间戳来***新时间戳。可基于预定义的设置信息不同地应用基于相邻像素的时间戳***新时间戳的方案，并可根据示例性实施例对所述方案做出改变。
参照图3A，事件信号处理设备可通过划分包括与3×3个像素对应的多个时间戳的第一时间戳图201中位于(2,2)的像素来生成四个新像素。在以下描述中，可将第一时间戳图201的多个像素中的将被划分的像素称为“目标像素”，并且可将通过划分目标像素生成的多个像素称为“子像素”。可提前定义子像素的数量。事件信号处理设备可基于第一时间戳图201的多个时间戳来***四个子像素的新时间戳，并可生成包括***的时间戳的第二时间戳图301。
在一个示例中，事件信号处理设备可基于第一时间戳图201的目标像素的时间戳和第一时间戳图201中与子像素相邻的像素的时间戳，***该子像素的新时间戳。例如，为了设置图3A的四个子像素中位于第一象限的子像素(以下，被称为“第一子像素”)的新时间戳“3”，事件信号处理设备可选择最高时间戳(即，与第一子像素相邻的像素的时间戳“2”、“2”和“1”中的时间戳“2”)，并可基于选择的时间戳“2”和目标像素的时间戳“4”的平均值***新时间戳“3”。类似地，事件信号处理设备可选择最高时间戳(即，与位于第二象限的子像素和位于第四象限的子像素中的每一个子像素相邻的像素的时间戳“4”、“2”和“空”中的时间戳“4”)，并基于选择的时间戳“4”和目标像素的时间戳“4”的平均值***新时间戳“4”。此外，与位于第三象限的子像素相邻的像素的所有时间戳为“空”。当时间戳“空”被表示为“0”时，事件信号处理设备可基于选择的时间戳“0”和目标像素的时间戳“4”的平均值***新时间戳“2”。
在另一个示例中，事件信号处理设备可基于第一时间戳图201的多个时间戳的至少一部分的平均值***多个子像素的多个新时间戳。在另一个示例中，事件信号处理设备可将多个子像素中的至少一个子像素的新时间戳设置为与目标像素的时间戳相同。
图3B示出根据基于图3A的第二时间戳图301的多个时间戳***的多个时间戳生成的第三时间戳图302。参照图3B，事件信号处理设备可将第二时间戳图301的多个子像素中的每一个子像素划分为四个像素，并可基于第二时间戳图301的多个时间戳***所述四个像素的时间戳，其中，每一个子像素被划分成所述四个像素。上面图3A的描述也适用于所述***。例如，在图3B中，可基于第二时间戳图301的时间戳“3”和与对应于时间戳“2.5”的子像素相邻的像素的时间戳“2”、“2”和“1”中的最高时间戳“2”的平均值***时间戳“2.5”。可基于预定义的设置信息来设置***由多个子像素中的每一个子像素生成的四个像素的时间戳的***顺序。例如，可通过基于未执行***的时间戳图的多个时间戳生成的向量来确定***顺序。无论***顺序如何，都可生成具有相对高分辨率的新时间戳图。
图4A、图4B、图4C、图4D和图4E是示出根据示例性实施例的***时间戳的操作的示图。
参照图4A，事件信号处理设备可将图2的时间戳图201的目标像素划分为多个子像素，并可将多个子像素的每一个时间戳设置为与目标像素的时间戳相同。可提前定义子像素的数量，例如，可生成4×4个子像素。事件信号处理设备可基于被设置为与目标像素的时间戳相同的子像素的时间戳来生成新时间戳图401。例如，事件信号处理设备可基于具有“3×3”的分辨率的时间戳图(例如，时间戳图201)***新时间戳，并可生成具有“6×6”的分辨率的新时间戳图(例如，时间戳图401)作为***的结果。
参照图4B，事件信号处理设备可通过基于时间戳图201的多个时间戳***多个子像素的时间戳来生成新时间戳图402。例如，事件信号处理设备可基于在从目标像素的中心到子像素的方向上的相邻时间戳***子像素的新时间戳。事件信号处理设备可基于在左上方向上的相邻时间戳“1”和目标像素的时间戳“4”的平均值***通过划分位于(2,2)的目标像素获得的第一子像素的时间戳“2.5”。
参照图4C，事件信号处理设备可通过调节生成的时间戳图402的一部分时间戳来生成时间戳图403。事件信号处理设备可基于表示事件流的向量生成时间戳图403。例如，事件信号处理设备可基于原始时间戳图201的多个时间戳生成向量202。如上所述，向量202可表示与从基于事件的传感器输出的多个事件信号对应的多个事件的流。事件信号处理设备可将生成的时间戳图402的多个子像素中沿着与向量202垂直的方向203布置的多个子像素的时间戳设置为与目标像素的时间戳相同。例如，事件信号处理设备可从时间戳图403的多个子像素选择沿着与向量202垂直的方向203布置的多个子像素，并可响应于包括选择的多个子像素的目标像素的时间戳为“4”，将选择的多个子像素的时间戳设置为“4”。
参照图4D，事件信号处理设备可将时间戳图201的时间戳“空”估计为新时间戳，以防止在时间戳图201中***新时间戳期间发生错误。时间戳图201的多个时间戳中的时间戳“空”可以是与未感测到事件的感测元件对应的像素的时间戳。当应用“0”作为时间戳“空”时，在***新时间戳的期间可发生错误。事件信号处理设备可基于时间戳图201的多个时间戳，估计与未感测到事件的感测元件对应的像素的时间戳，并可生成时间戳图404。事件信号处理设备可基于时间戳图404的多个时间戳***新时间戳。此外，事件信号处理设备可将包括***的时间戳的新时间戳图中的与未感测到事件的感测元件对应的像素的时间戳还原为原始时间戳“空”。
参照图4E，事件信号处理设备可通过基于表示事件流的向量***新时间戳来生成新时间戳图405。例如，事件信号处理设备可基于原始时间戳图201的多个时间戳生成向量202。事件信号处理设备可将沿着与向量202垂直的方向203布置的多个子像素的时间戳设置为与目标像素的时间戳相同。事件信号处理设备可基于设置的时间戳***其他子像素的时间戳。还可以不设置其他子像素的时间戳。
例如，事件信号处理设备可将时间戳“空”设置为被确定为在向量202的方向上超出边界的子像素的时间戳。例如，边界可以是与具有时间戳“4”的像素对应的对角线。
图5A、图5B和图5C是示出根据示例性实施例的识别与事件信号对应的用户输入的操作的示图。
参照图5A，识别器501基于由事件信号处理设备生成的第二时间戳图502识别用户输入。第二时间戳图502可包括由事件信号处理设备***的新时间戳。识别器501接收第二时间戳图502的输入，并可使用基于第二时间戳图502的分析结果来识别用户输入。第二时间戳图502的分辨率可高于第一时间戳图的分辨率，因此可增强用户输入的识别的性能。
参照图5B，识别器503基于未执行***的第一时间戳图504和通过***而生成的第二时间戳图505识别用户输入。第二时间戳图505的分辨率可高于第一时间戳图504的分辨率，并且因此第二时间戳图505可被扩展。例如，当扩展第二时间戳图505时，扩展的第二时间戳图505可对应于与基于事件的传感器相对近的对象的移动，并且第一时间戳图504可对应于与基于事件的传感器相对远的对象的移动。识别器503可在不同条件下利用第一时间戳图504和第二时间戳图505的组合来识别用户输入，因此可提高识别的准确性。
参照图5C，与第一时间戳图507的识别距离对应的第一识别器506接收第一时间戳图507的输入，与扩展的第二时间戳图509的识别距离对应的第二识别器508接收第二时间戳图509的输入。第一识别器506和第二识别器508分别生成第一识别结果和第二识别结果。生成的第一识别结果和生成的第二识别结果被用于识别与事件信号对应的用户输入。
图6是示出根据示例性实施例的根据基于事件的视觉传感器的像素扩展方法的流程图。在本公开中，“像素扩展”可指的是“像素的数量的增加”。
参照图6，在操作601中，根据基于事件的视觉传感器的像素扩展设备接收关于由基于事件的视觉传感器中的多个感测元件感测到多个事件的时间的时间信息。所述多个事件可由所述多个感测元件分别感测。例如，基于事件的视觉传感器可以是动态视觉传感器(DVS)。基于事件的视觉传感器可感测事件并可输出事件信号。基于事件的视觉传感器可响应强度的改变大于或等于阈值的并由感测元件感测的事件，并可基于从激活的感测元件输出的激活信号来输出事件信号。基于由感测事件流的基于事件的视觉传感器输出的事件信号形成的图像可表示关于移动对象的轮廓的信息，但可不包括具体的信息(例如，关于颜色或纹理的信息)。
基于事件的视觉传感器可基于对事件的响应来输出事件信号，并可因此具有低能耗和宽泛的照明条件。当使用基于事件的视觉传感器时，由于低能耗，所以终端(例如，移动装置)可通过从待机状态切换到操作状态来快速地采集信号，并可立即响应用户请求来解锁终端。此外，由于针对事件的宽泛的照明条件，所以即使在微弱光源的环境下，基于事件的视觉传感器也可感测事件并可输出事件信号。因为上面参照图1至图5C描述的基于事件的传感器的特性适用于基于事件的视觉传感器，所以事件信号可包括感测到事件的感测元件的标识信息、时间戳和事件的类型中的至少一个。
在操作602中，像素扩展设备基于接收的时间信息存储多个像素的时间戳。可将存储的时间戳用于形成时间戳图，并且上述示例也适用于操作602。
在操作603中，像素扩展设备将多个像素中的至少一个目标像素划分为多个子像素。可预先定义子像素的数量。例如，像素扩展设备可对图2的多个像素中的位于中心的目标像素进行划分，以生成图3A的四个子像素。在该示例中，像素可对应于时间戳图的时间戳。
在操作604中，像素扩展设备基于存储的多个时间戳生成多个子像素的时间戳。可通过基于存储的多个时间戳执行***来生成多个子像素的时间戳，并且可将***的时间戳用于形成新时间戳图。例如，像素扩展设备可将目标像素划分为至少一个子像素并可***该至少一个子像素的时间戳，以增加像素的数量。
上面图1至图5C的描述也适用于由像素扩展设备执行的像素扩展方法，因此不在这里重复。在参照图1至图6描述的示例中，事件信号处理设备和像素扩展设备可***子像素的时间戳，但不限于此。因此，事件信号处理设备和像素扩展设备可从另一个设备接收预先生成的时间戳图的时间戳，并可基于接收的时间戳***新时间戳。
图7是示出根据示例性实施例的事件信号处理设备或根据基于事件的视觉传感器的像素扩展设备的框图。
参照图7，在一个示例中，设备701包括存储器702和处理器703。在该示例中，设备701可以是事件信号处理设备。存储器702可存储基于从基于事件的传感器输出的事件信号而生成的第一时间戳图，或可记录由处理器703执行的程序。处理器703可从存储器702获得第一时间戳图，并可通过基于被包括在第一时间戳图中的至少两个时间戳***新时间戳来生成第二时间戳图。上面图1至图6的描述也适用于处理器703。
在另一个示例中，设备701可以是根据基于事件的视觉传感器的像素扩展设备。在该示例中，存储器702可存储多个像素的时间戳，或可记录由处理器703执行的程序。基于关于由基于事件的视觉传感器中的多个感测元件感测到多个事件的时间的时间信息，可生成多个像素的时间戳。处理器703可从存储器702获得时间戳，并可将多个像素中的至少一个目标像素划分为多个子像素。可预先定义多个子像素的数量。处理器703可基于获得的时间戳生成多个子像素的时间戳。上面图1至图6的描述也适用于处理器703。
此外，示例性实施例也可通过介质(例如，计算机可读介质)上的计算机可读代码和/或指令来实现，以控制至少一个处理元件实施上述示例性实施例中的任意示例性实施例。介质可对应于可用作存储器和/或执行计算机可读代码的传输的任意介质。
可以以多种方式在介质上记录和/或传输计算机可读代码，介质的示例包括记录介质(诸如，磁性存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)))以及传输介质(诸如互联网传输介质)。因此，介质可具有适于存储或携带信号或信息的结构(诸如根据示例性实施例的携带比特流的装置)。介质也可在分布式网络上，使得计算机可读代码在介质上被存储和/或被传输并以分布式方式被执行。此外，处理元件可包括处理器或计算机处理器，并且处理元件可被分布和/或包括在单个装置中。
前述的示例性实施例是示例，而不应被解释为限制。本教导可容易地应用于其他类型的设备。此外，示例性实施例的描述意图在于说明，而不是限制权利要求的范围，并且对本领域的技术人员来说很多替换、修改和变化将是清楚的。

Claims (22)

1.一种事件信号处理设备的事件信号处理方法，所述事件信号处理方法包括：
由事件信号处理设备，从基于事件的传感器的多个感测元件接收包括多个时间戳的多个事件信号；
由事件信号处理设备，生成包括与多个感测元件对应的多个像素的第一时间戳图，其中，接收的所述多个时间戳被分别布置在所述多个像素中；
由事件信号处理设备，通过以下步骤生成第二时间戳图：
由事件信号处理设备，将包括在生成的第一时间戳图中的所述多个像素之中的目标像素划分成多个子像素；
由事件信号处理设备，基于目标像素的目标像素时间戳和分别布置在所述多个像素中的所述多个时间戳之中的针对与所述多个子像素中的各自子像素相邻的一个或多个像素的一个或多个时间戳，将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素，
由事件信号处理设备，基于生成的第二时间戳图，识别与所述多个事件信号对应的用户输入。
2.如权利要求1所述的事件信号处理方法，其中，由事件信号处理设备将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素的步骤包括：由事件信号处理设备，基于分别布置在包括在第一时间戳图中的所述多个像素中的所述多个时间戳之中的至少两个时间戳的平均值，将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素。
3.如权利要求1所述的事件信号处理方法，其中，由事件信号处理设备将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素的步骤包括：由事件信号处理设备，将所述多个子像素中的每个子像素的子像素时间戳设置为目标像素的目标像素时间戳。
4.如权利要求1所述的事件信号处理方法，其中，由事件信号处理设备将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素的步骤包括：
由事件信号处理设备，从针对与所述多个子像素中的各自子像素相邻的一个或多个像素的一个或多个时间戳选择最高时间戳；
由事件信号处理设备，将所述多个子像素中的各自子像素的子像素时间戳设置为选择的最高时间戳和目标像素的目标像素时间戳的平均值。
5.如权利要求1所述的事件信号处理方法，其中，由事件信号处理设备将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素的步骤包括：
由事件信号处理设备，基于分别布置在包括在第一时间戳图中的所述多个像素中的所述多个时间戳生成向量，所述向量表示与所述多个事件信号对应的多个事件的流；
由事件信号处理设备，基于生成的向量将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素。
6.如权利要求1所述的事件信号处理方法，其中，第二时间戳图的第一分辨率高于第一时间戳图的第二分辨率。
7.如权利要求1所述的事件信号处理方法，其中，所述多个感测元件中的每个感测元件感测事件并输出激活信号。
8.如权利要求1所述的事件信号处理方法，其中，所述多个事件信号中的每个事件信号包括：标识所述多个感测元件中的感测到事件的感测元件的标识信息、以及指示感测到事件的时间的时间戳。
9.如权利要求1所述的事件信号处理方法，还包括：扩展生成的第二时间戳图，
其中，由事件信号处理设备识别用户输入的步骤包括：基于生成的第一时间戳图和扩展的第二时间戳图，识别与所述多个事件信号对应的用户输入。
10.如权利要求1所述的事件信号处理方法，还包括：
由事件信号处理设备，基于生成的第一时间戳图，生成与所述多个事件信号对应的第一识别结果；
由事件信号处理设备，基于生成的第二时间戳图，生成与所述多个事件信号对应的第二识别结果，
其中，由事件信号处理设备识别用户输入的步骤包括：基于生成的第一识别结果和第二识别结果，识别与所述多个事件信号对应的用户输入。
11.一种存储包括用于控制处理器执行如权利要求1所述的方法的指令的程序的非暂时性计算机可读存储介质。
12.一种根据基于事件的视觉传感器的像素扩展设备的像素扩展方法，所述像素扩展方法包括：
由像素扩展设备，接收由基于事件的视觉传感器的多个感测元件感测到多个事件的时间的时间信息；
由像素扩展设备，基于接收的时间信息，生成针对与所述多个感测元件对应的多个像素的多个时间戳；
由像素扩展设备，将所述多个像素中的目标像素划分为多个子像素；
由像素扩展设备，基于目标像素的目标像素时间戳和生成的针对所述多个像素的所述多个时间戳之中的针对与所述多个子像素中的各自子像素相邻的一个或多个像素的一个或多个时间戳，生成所述多个子像素中的每个子像素的子像素时间戳；
由像素扩展设备，基于生成的子像素时间戳，识别与所述多个事件对应的用户输入。
13.如权利要求12所述的像素扩展方法，其中，由像素扩展设备生成所述多个子像素中的每个子像素的子像素时间戳的步骤包括：将所述多个子像素中的每个子像素的子像素时间戳设置为目标像素的目标像素时间戳。
14.如权利要求12所述的像素扩展方法，其中，由像素扩展设备生成所述多个子像素中的每个子像素的子像素时间戳的步骤包括：
由像素扩展设备，确定目标像素的目标像素时间戳和针对与所述多个子像素中的各自子像素相邻的一个或多个像素的一个或多个时间戳之中的最高时间戳的平均值；
由像素扩展设备，将所述多个子像素中的各自子像素的子像素时间戳设置为所述平均值。
15.如权利要求12所述的像素扩展方法，其中，由像素扩展设备生成所述多个子像素中的每个子像素的子像素时间戳的步骤包括：
由像素扩展设备，基于生成的针对所述多个像素的时间戳生成向量，所述向量表示所述多个事件的流；
由像素扩展设备，基于生成的所述向量的方向，设置所述多个子像素中的每个子像素的子像素时间戳。
16.如权利要求15所述的像素扩展方法，其中，由像素扩展设备设置所述多个子像素中的每个子像素的子像素时间戳的步骤包括：
由像素扩展设备，从所述多个子像素选择垂直于生成的所述向量的方向布置的第一子像素；
由像素扩展设备，将选择的第一子像素的子像素时间戳设置为目标像素的目标像素时间戳。
17.如权利要求15所述的像素扩展方法，其中，设置所述多个子像素中的每个子像素的子像素时间戳的步骤包括：
由像素扩展设备，从所述多个子像素选择平行于生成的所述向量的方向布置的第一子像素；
由像素扩展设备，基于生成的针对所述多个像素的所述多个时间戳之中的与选择的第一子像素相邻的相邻像素的相邻像素时间戳，生成选择的第一子像素的子像素时间戳。
18.如权利要求12所述的像素扩展方法，其中，由像素扩展设备生成所述多个子像素中的每个子像素的子像素时间戳的步骤包括：
由像素扩展设备，基于生成的针对所述多个像素的所述多个时间戳，估计与所述多个感测元件中的未感测到事件的感测元件对应的第一像素的第一时间戳；
由像素扩展设备，基于估计的第一时间戳和生成的针对所述多个像素的所述多个时间戳，生成所述多个子像素中的每个子像素的子像素时间戳；
由像素扩展设备，将与所述多个感测元件中的所述感测元件对应的第一像素的第一时间戳还原为原始时间戳。
19.一种事件信号处理设备，包括：
处理器，被配置为：
从基于事件的传感器的多个感测元件接收包括多个时间戳的多个事件信号；
生成包括与多个感测元件对应的多个像素的第一时间戳图，其中，接收的所述多个时间戳被分别布置在所述多个像素中；
通过以下步骤来生成第二时间戳图：将包括在生成的第一时间戳图中的所述多个像素之中的目标像素划分成多个子像素；基于目标像素的目标像素时间戳和分别布置在所述多个像素中的所述多个时间戳之中的针对与所述多个子像素中的各自子像素相邻的一个或多个像素的一个或多个时间戳，将子像素时间戳***到包括在第一时间戳图中的所述多个子像素中的每个子像素；
基于生成的第二时间戳图，识别与所述多个事件信号对应的用户输入。
20.如权利要求19所述的事件信号处理设备，其中，处理器还被配置为：
基于分别布置在包括在第一时间戳图中的所述多个像素中的所述多个时间戳生成向量，所述向量表示与所述多个事件信号对应的多个事件的流；
将第一时间戳图的像素确定为在位于生成的所述向量的方向上的第一时间戳图的边界的外部；
将确定的像素的时间戳设置为空时间戳。
21.一种根据基于事件的视觉传感器的像素扩展设备，所述像素扩展设备包括：
处理器，被配置为：
接收由基于事件的视觉传感器的多个感测元件感测到多个事件的时间的时间信息；
基于接收的时间信息，产生针对与所述多个感测元件对应的多个像素的多个时间戳；
将所述多个像素中的目标像素划分为多个子像素；
基于目标像素的目标像素时间戳和生成的针对所述多个像素的所述多个时间戳之中的针对与所述多个子像素中的各自子像素相邻的一个或多个像素的一个或多个时间戳，生成所述多个子像素中的每个子像素的子像素时间戳；
基于生成的子像素时间戳，识别与所述多个事件对应的用户输入。
22.如权利要求21所述的像素扩展设备，其中，处理器还被配置为：
将所述多个子像素中的子像素划分为额外的多个子像素；
基于生成的针对所述多个像素的所述多个时间戳和生成的所述多个子像素中的每个子像素的子像素时间戳，生成所述额外的多个子像素中的每个子像素的新时间戳。
CN201610622053.6A 2016-01-22 2016-08-01 事件信号处理方法和设备 Active CN106997453B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160007927A KR102512828B1 (ko) 2016-01-22 2016-01-22 이벤트 신호 처리 방법 및 장치
KR10-2016-0007927 2016-01-22

Publications (2)

Publication Number Publication Date
CN106997453A CN106997453A (zh) 2017-08-01
CN106997453B true CN106997453B (zh) 2022-01-28

Family

ID=56920459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610622053.6A Active CN106997453B (zh) 2016-01-22 2016-08-01 事件信号处理方法和设备

Country Status (5)

Country Link
US (1) US10083349B2 (zh)
EP (1) EP3197147A1 (zh)
JP (1) JP2017130185A (zh)
KR (1) KR102512828B1 (zh)
CN (1) CN106997453B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212065B2 (en) * 2016-10-20 2019-02-19 Gatesair, Inc. Extended time reference generation
KR102612194B1 (ko) * 2016-12-14 2023-12-11 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센싱 방법
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10670722B2 (en) * 2017-08-15 2020-06-02 Samsung Electronics Co., Ltd. Increase depth resolution and depth accuracy in ToF sensors by avoiding histogrammization
US10204124B1 (en) * 2017-12-20 2019-02-12 Merck Sharp & Dohme Corp. Database indexing and processing
SG11202010898TA (en) 2018-05-22 2020-12-30 Celepixel Tech Co Ltd Optical flow calculation method and computing device
KR102503543B1 (ko) * 2018-05-24 2023-02-24 삼성전자주식회사 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
EP3694202A1 (en) * 2019-02-11 2020-08-12 Prophesee Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
US11335141B2 (en) * 2019-10-22 2022-05-17 Argo AI, LLC Checkpoint-based tracing for monitoring a robotic system
FR3125665B1 (fr) * 2021-07-26 2023-11-10 Commissariat Energie Atomique Circuit de lecture rapide pour un réseau matriciel de pixels événementiels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516946A (zh) * 2012-06-19 2014-01-15 三星电子株式会社 基于事件的图像处理设备和方法
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法
CN104516499A (zh) * 2013-10-01 2015-04-15 三星电子株式会社 利用用户接口的事件的设备和方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69432093T2 (de) * 1993-09-27 2003-07-17 Canon Kk Bildverarbeitungsvorrichtung
US6213653B1 (en) 1996-02-09 2001-04-10 Adobe Systems Incorporated Method and apparatus for efficiently interpolating an image using an expansion factor derived from two different numbers of gray levels
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
WO2006078861A2 (en) * 2005-01-18 2006-07-27 Board Of Regents, The University Of Texas System Method, system and apparatus for a time stamped visual motion sensor
US8112425B2 (en) * 2006-10-05 2012-02-07 Splunk Inc. Time series search engine
US8269834B2 (en) * 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8282222B2 (en) * 2007-10-10 2012-10-09 Gerard Dirk Smits Image projector with reflected light tracking
EP2050395A1 (en) 2007-10-18 2009-04-22 Paracelsus Medizinische Privatuniversität Methods for improving image quality of image detectors, and systems therefor
US8571106B2 (en) 2008-05-22 2013-10-29 Microsoft Corporation Digital video compression acceleration based on motion vectors produced by cameras
KR101580168B1 (ko) 2008-12-30 2015-12-24 주식회사 동부하이텍 컬러 보간 장치
JP5589585B2 (ja) 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8786625B2 (en) 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
US8582006B2 (en) 2011-01-21 2013-11-12 Aptina Imaging Corporation Pixel arrangement for extended dynamic range imaging
JP5911166B2 (ja) 2012-01-10 2016-04-27 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
WO2013169384A1 (en) 2012-05-11 2013-11-14 Intel Corporation Systems, methods, and computer program products for compound image demosaicing and warping
US9071765B2 (en) 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US8983177B2 (en) 2013-02-01 2015-03-17 Mitsubishi Electric Research Laboratories, Inc. Method for increasing resolutions of depth images
US9462164B2 (en) * 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US10210599B2 (en) 2013-08-09 2019-02-19 Intuitive Surgical Operations, Inc. Efficient image demosaicing and local contrast enhancement
US20150055861A1 (en) 2013-08-23 2015-02-26 Amlogic Co., Ltd Methods and Systems for Image Demosaicing
US9613396B2 (en) 2013-12-09 2017-04-04 Marvell World Trade Ltd. Method and apparatus for demosaicing of color filter array image
US9344690B2 (en) 2014-01-24 2016-05-17 Microsoft Technology Licensing, Llc Image demosaicing
KR20150120124A (ko) 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
US10523884B2 (en) * 2014-08-22 2019-12-31 Ladarsystems, Inc. High dynamic range image sensor
US9883122B2 (en) * 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
US9927539B2 (en) * 2015-02-20 2018-03-27 General Electric Company Systems and methods for improving imaging by sub-pixel calibration
US9696440B2 (en) * 2015-02-20 2017-07-04 General Electric Company Systems and methods for improving energy resolution by sub-pixel energy calibration
US9813783B2 (en) * 2016-04-01 2017-11-07 Intel Corporation Multi-camera dataset assembly and management with high precision timestamp requirements

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516946A (zh) * 2012-06-19 2014-01-15 三星电子株式会社 基于事件的图像处理设备和方法
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法
CN104516499A (zh) * 2013-10-01 2015-04-15 三星电子株式会社 利用用户接口的事件的设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Improving acoustic event detection using generalizable visual features and multi-modality modeling;Po-Sen Huang等;《2011 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP)》;20110712;第349-352页 *
一种多时相遥感影像存储管理的新方法;侯平等;《兵工自动化》;20100315;第63-67页 *

Also Published As

Publication number Publication date
US10083349B2 (en) 2018-09-25
EP3197147A1 (en) 2017-07-26
KR102512828B1 (ko) 2023-03-22
CN106997453A (zh) 2017-08-01
US20170213077A1 (en) 2017-07-27
KR20170088057A (ko) 2017-08-01
JP2017130185A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
CN106997453B (zh) 事件信号处理方法和设备
US9495758B2 (en) Device and method for recognizing gesture based on direction of gesture
CN111105450A (zh) 用于视差估计的电子装置和方法
US11288836B2 (en) Apparatus and method for managing feature point map
US20220222789A1 (en) Electronic device applying bokeh effect to image and controlling method thereof
CN105474622A (zh) 用于产生全对焦图像的方法和设备
KR20200117562A (ko) 비디오 내에서 보케 효과를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN110889464A (zh) 神经网络训练、目标对象的检测方法及装置
CN112487979A (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
KR20210012012A (ko) 물체 추적 방법들 및 장치들, 전자 디바이스들 및 저장 매체
JP2013196454A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20210130141A (ko) 이벤트 기반 광센서의 픽셀 어레이에서 비동기적으로 수신된 일련의 이벤트를 처리하는 방법
CN110689014B (zh) 感兴趣区域的检测方法、装置、电子设备及可读存储介质
JP2015226326A (ja) 映像解析方法及び映像解析装置
EP3051492B1 (en) Method and apparatus for determining disparity
CN112925416A (zh) 用户视线跟踪方法、装置及***
US20220245834A1 (en) Image processing method and apparatus
US11856284B2 (en) Method of controlling a portable device and a portable device
US11227166B2 (en) Method and device for evaluating images, operating assistance method, and operating device
CN111160370B (zh) 车头位置估计方法、装置、计算机设备和存储介质
CN113205144B (zh) 一种模型训练的方法及装置
EP4002855A1 (en) Obfuscation of areas of a physical environment depicted in a video
CN111095292B (zh) 用于评估图像的方法和设备、运行辅助方法和运行设备
CN106028140A (zh) 一种终端用户身份登录方法和***
CN106407887B (zh) 一种候选框搜索步长的获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant