CN106709895A - 图像生成方法和设备 - Google Patents

图像生成方法和设备 Download PDF

Info

Publication number
CN106709895A
CN106709895A CN201610915437.7A CN201610915437A CN106709895A CN 106709895 A CN106709895 A CN 106709895A CN 201610915437 A CN201610915437 A CN 201610915437A CN 106709895 A CN106709895 A CN 106709895A
Authority
CN
China
Prior art keywords
image
event
event signal
alignment
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610915437.7A
Other languages
English (en)
Other versions
CN106709895B (zh
Inventor
李圭彬
柳贤锡
朴根柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106709895A publication Critical patent/CN106709895A/zh
Application granted granted Critical
Publication of CN106709895B publication Critical patent/CN106709895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供一种图像生成方法和图像生成设备。图像生成方法包括：基于存储在缓冲器中的并且在第一时间段期间从基于事件的视觉传感器输出的第一事件信号来生成第一图像；基于存储在缓冲器中的并且在第二时间段期间从基于事件的视觉传感器输出的第二事件信号来生成第二图像；将第一图像和第二图像对准以生成具有高于第一图像和第二图像的质量的质量的第三图像。

Description

图像生成方法和设备
本申请要求2015年11月16日向韩国知识产权局提交的第10-2015-0160206号韩国专利申请的优先权，该韩国专利申请的全部内容通过引用包含于此。
技术领域
与示例性实施例一致的方法和设备涉及图像生成方法和图像生成设备。
背景技术
为了提高通过基于帧的视觉传感器获取的图像的质量，可以使用消除由手抖动引起的模糊的技术以及锐化低照度下的模糊图像的技术。不同于基于帧的视觉传感器，基于事件的视觉传感器响应光的变化，因此仅检测移动对象的轮廓。基于事件的视觉传感器获取的图像仅包括对象的轮廓，因此由于其相对小的数据量可以执行高速处理，并且可以保护隐私。然而，在通过收集从基于事件的视觉传感器输出的事件而生成单个图像的情况下，生成的图像的质量可能会比由基于帧的视觉传感器获取的图像的质量低。
发明内容
示例性实施例可以至少解决上述问题和/或缺点以及上面没有描述的其他缺点。此外，不要求示例性实施例克服上述缺点，并且示例性实施例可以不克服上述任何问题。
根据示例性实施例的一方面，提供一种图像生成方法，包括：基于存储在缓冲器中的并且在第一时间段期间从基于事件的视觉传感器输出的第一事件信号来生成第一图像；基于存储在缓冲器中的并且在第二时间段期间从基于事件的视觉传感器输出的第二事件信号来生成第二图像；将第一图像和第二图像对准，以生成质量高于第一图像和第二图像的质量的第三图像。
第一事件信号和第二事件信号可以包括：指示在基于事件的视觉传感器中包括的像素之中的感测事件的像素的标识信息和指示感测事件的时间的时间信息。
第一事件信号的数量可以大于第二事件信号的数量。
生成第一图像的步骤可以包括：以感测事件的时间的逆序从缓冲器提取存储的第一事件信号；基于提取的第一事件信号的离差来确定第一图像的阈值；确定提取的第一事件信号的数量是否大于阈值；响应于确定提取的第一事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。
生成第二图像的步骤可以包括：以感测事件的时间的逆序从缓冲器提取存储的第二事件信号；基于提取的第二事件信号的离差来确定第二图像的阈值；确定提取的第二事件信号的数量是否大于阈值；响应于确定提取的第二事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。
生成第一图像的步骤可以包括：以感测事件的时间的逆序从缓冲器中提取存储的第一事件信号；确定提取的第一事件信号的可靠水平；确定可靠水平是否小于或等于阈值；响应于确定可靠水平小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。
对准的步骤可以包括：通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，以生成对准的候选图像。
对准的步骤还可以包括：确定第一图像与对准的候选图像之间的相似度；将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。
确定的步骤可以包括：基于第一事件信号和第二事件信号之中的，与位于第一图像中的位置和对准的候选图像中的位置的像素对应的事件信号的值之和，来确定相似度，其中，第一图像中的位置与对准的候选图像中的位置相同。
对准的步骤可以包括：将第一图像划分成多个区域；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个区域中的每个区域对准，以生成所述多个区域中的每个区域的对准的候选图像。
对准的步骤可以包括：识别第一图像中的多个对象；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个对象中的每个对象对准，以生成所述多个对象中的每个对象的对准的候选图像。
对准的步骤可以包括：基于第二图像与第一图像的放大比或缩小比来确定第二图像的移动距离；将第二图像移动所述移动距离，以与第一图像对准。
对准的步骤可以包括：基于距离信息以及第一事件信号和第二事件信号之中的ON事件信号或OFF事件信号，沿六个自由度的三个方向旋转和移动第二图像。
所述方法还可以包括：从第一事件信号和第二事件信号去除噪声信号，其中，噪声信号是远于到第一事件信号和第二事件信号的距离的事件信号。
所述方法还可以包括：通过相机标定来校正第一事件信号和第二事件信号的透镜畸变。
一种非暂时性计算机可读存储介质可以存储包括使得计算机执行所述方法的指令的程序。
根据另一示例性实施例的一方面，提供一种图像生成设备，包括：基于事件的视觉传感器，被配置为在第一时间段期间输出第一事件信号并且在第二时间段期间输出第二事件信号；缓冲器，被配置为存储第一事件信号和第二事件信号；以及处理器，被配置为：基于第一事件信号生成第一图像，基于第二事件信号生成第二图像，将第一图像和第二图像对准，以生成质量高于第一图像和第二图像的质量的第三图像。
第一事件信号和第二事件信号中的每一个可以包括：指示在基于事件的视觉传感器中包括的像素之中的感测事件的像素的标识信息和指示感测事件的时间的时间信息。
处理器还可以被配置为：以感测事件的时间的逆序从缓冲器提取存储的第一事件信号；基于提取的第一事件信号的离差来确定第一图像的阈值；确定提取的第一事件信号的数量是否大于阈值；响应于确定提取的第一事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。
处理器还可以被配置为：以感测事件的时间的逆序从缓冲器提取存储的第二事件信号；基于提取的第二事件信号的离差来确定第二图像的阈值；确定提取的第二事件信号的数量是否大于阈值；响应于确定提取的第二事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。
处理器还可以被配置为：以感测事件的时间的逆序从缓冲器中提取存储的第一事件信号；确定提取的第一事件信号的可靠水平；确定可靠水平是否小于或等于阈值；响应于确定可靠水平小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。
处理器还可以被配置为：通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，以生成对准的候选图像。
处理器还可以被配置为：确定第一图像与对准的候选图像之间的相似度；将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。
处理器还可以被配置为：基于第一事件信号和第二事件信号之中的，与位于第一图像中的位置和对准的候选图像中的位置的像素对应的事件信号的值之和，来确定相似度，其中，第一图像中的位置与对准的候选图像中的位置相同。
处理器还可以被配置为：将第一图像划分成多个区域；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个区域中的每个区域对准，以生成所述多个区域中的每个区域的对准的候选图像。
处理器还可以被配置为：识别第一图像中的多个对象；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个对象中的每个对象对准，以生成所述多个对象中的每个对象的对准的候选图像。
处理器还可以被配置为：基于第二图像与第一图像的放大比或缩小比来确定第二图像的移动距离；将第二图像移动所述移动距离，以与第一图像对准。
根据另一示例性实施例的一方面，提供一种图像生成方法，包括：以感测各个第一事件的时间的逆序，从缓冲器检索在第一时间段期间从基于事件的视觉传感器输出的第一事件信号；基于检索的第一事件信号来生成第一图像；以感测各个第二事件的时间的逆序，从缓冲器检索在第二时间段期间从基于事件的视觉传感器输出的第二事件信号；基于检索的第二事件信号来生成第二图像；将第二图像与第一图像对准，以生成对准的候选图像；确定第一图像与对准的候选图像之间的相似度；将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。
所述方法还可以包括：基于对准的候选图像与第一图像的放大比或缩小比，来确定具有最大相似度的对准的候选图像的移动距离，其中，对准对准的候选图像的步骤可以包括：将对准的候选图像移动所述移动距离，以与第一图像对准。
附图说明
通过下面结合附图对示例性实施例进行的详细描述，示例性实施例的上述和其他方面将会变得明显和更加容易理解，在附图中：
图1是示出根据示例性实施例的在缓冲器中存储通过基于事件的视觉传感器感测的事件信号的方法的示图；
图2是示出根据示例性实施例的图像生成方法的示图；
图3是示出根据示例性实施例的图像生成方法的流程图；
图4是示出根据示例性实施例的基于事件信号的离差生成图像的方法的流程图；
图5是示出根据示例性实施例的基于事件信号的离差确定图像的阈值的方法的示图；
图6是示出根据示例性实施例的基于与事件信号相关联的可靠水平(solidlevel)生成图像的方法的流程图；
图7A和图7B是示出根据示例性实施例的与事件信号相关联的可靠水平的示图；
图8是示出根据示例性实施例的生成第三图像的方法的流程图；
图9、图10、图11和图12是示出根据示例性实施例的图像生成方法的流程图；以及
图13和图14是示出根据示例性实施例的图像生成设备的框图。
具体实施方式
下面参照附图更加详细地描述示例性实施例。
在下面的描述中，即使在不同的附图中，对于相同的元件，也使用相同的附图参考标号。提供在描述中定义的事项(诸如，详细的结构和元件)，以帮助示例性实施例的全面理解。然而，显而易见的是，示例性实施例可以在没有那些具体定义的事项的情况下实践。此外，公知的功能或结构可能不被详细描述，因为它们将模糊不必要的细节的描述。
应当理解，在本说明书中描述的诸如“单元”，“…器”和“模块”的术语是指用于执行至少一个功能或操作的元件，并且可以在硬件、软件或硬件和软件的组合中实现。
应当理解，尽管术语第一、第二等可在此用来描述各种元件，但是这些元件并不被这些术语限制。这些术语仅是用来将一个元件与另一个进行区别。例如，第一元件可以被称为第二元件，类似地，第二元件可以被称为第一元件。如在此所使用的，术语“和/或”包括一个或多个相关所列的项的任意组合和所有组合。
应当理解，当元件被称为“连接”或“耦接”到另一元件时，它可以直接连接或耦接到另一元件或可以存在中间元件。相反，当元件被称为“直接连接”或“直接耦接”到另一元件时，不存在中间元件。用于描述元件之间的关系的其它词语可以以类似的方式解释(例如，“……之间”与“直接……之间”，“相邻”与“直接相邻”等)。
除非上下文另外明确指出，否则如在此所使用的，单数形式意在包括复数形式。将进一步理解，当在此使用术语“包括”和/或“包含”时，说明存在叙述的特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件和/或它们的组。
在下文阐述的示例性实施例可以被用于处理由便携式电话、智能电视或其他安全监控装置拍摄的图像。
示例性实施例可以被实现为不同类型的产品，例如，个人计算机、膝上型计算机、平板计算机、智能电话、电视、智能家电、智能车辆和可穿戴装置。例如，示例性实施例可应用于改善由智能电话、移动装置和智能家庭***拍摄的图像的质量。此外，示例性实施例还可以应用到通过拍摄的用户图像验证用户而自动启动发动机的智能汽车***。
图1是根据示例性实施例的将通过基于事件的视觉传感器感测的事件信号存储在缓冲器中的方法的示图。参照图1，示出基于事件的视觉传感器110和缓冲器130。
基于事件的视觉传感器110包括像素阵列。包括在像素阵列中的每个像素可以感测入射到对应的像素的光的变化。在下文中，光的变化可以是光的强度的变化。基于事件的视觉传感器110可以输出与感测光的变化的(多个)像素对应的(多个)事件信号。
与基于帧对帧的方式扫描包括在像素阵列中的所有像素的基于帧的视觉传感器不同，基于事件的视觉传感器110可以仅使用感测光的变化的像素来输出事件信号。例如，当通过预定的像素感测到光强度增加或降低事件时，基于事件的视觉传感器110可以输出对应于像素的ON事件信号或OFF事件信号。
基于事件的视觉传感器110可以响应于感测对象的运动来输出事件信号。对象可以是主体(subject)。入射到基于事件的视觉传感器110的光的变化可能因对象的运动而产生。例如，在光源固定并且对象不自主发光的情况下，入射到基于事件的视觉传感器110的光可以是从光源发射的并且通过对象反射的光。当对象不运动时，通过静止的对象反射的光可能不会大幅改变。因此，入射到基于事件的视觉传感器110的光可能不改变。相反，当对象运动时，通过运动的对象反射的光可响应于对象的运动而改变。因此，入射到基于事件的视觉传感器110的光可改变。
事件信号可包括标识信息和时间信息。标识信息可以是指示在基于事件的视觉传感器110中包括的多个像素之中的感测事件(详细地说，光的变化)的像素111的信息。例如，标识信息可以包括坐标(x，y)或像素的索引，以及像素的极性，诸如，ON事件或OFF事件。标识信息也可以被称为“位置信息”。
时间信息可以指示像素111感测事件的时间。例如，时间信息可以是指示像素111感测事件的时间的时间戳。
在每个像素中生成的事件信号可以匹配到每个时间段，并且被存储在缓冲器130中。例如，当与之前的时间段t-2和t-1对应的事件信号被存储在缓冲器130的第一空间131时，与当前时间段t0对应的事件信号被存储在缓冲器130的第二空间132。
例如，可以以链表、堆栈或队列的形式通过数据结构来配置第一空间131和第二空间132。
图2是示出根据示例性实施例的图像生成方法的示图。参照图2，示出根据根据示例性实施例的使用图像生成设备从存储在缓冲器中的对应于事件信号的图像生成高质量图像的处理。
缓冲器可以被配置为存储与从之前的时间段t-2到最近时间段t0积累的时间段对应的事件信号。图像210可以是基于与从之前的时间段t-2到最近时间段t0积累的时间段对应的事件信号生成的图像。
图像生成设备可以通过以感测到事件的时间的逆序提取存储在缓冲器中的事件信号，来生成与每个时间段对应的图像。例如，图像生成设备可以基于与最近时间段t0对应的事件信号来生成图像231。图像231可以被称为“第一图像”或者“种子图像”。
类似地，图像生成设备可以通过提取与时间段t-1对应的事件信号来生成与时间段t-1对应的图像233，并且通过提取与时间段t-2对应的事件信号生成与时间段t-2对应的图像235。在该示例中，基于与不包括最近时间段t0的剩余时间段t-1和t-2对应的事件信号生成的图像233和图像235可以被称为“第二图像”或“片段图像”。与最近时间段t0对应的事件信号的数量可以大于与剩余时间段t-1和t-2中的每一个时间段对应的事件信号的数量。详细地说，用于生成第一图像的事件信号的数量可以大于用于生成第二图像中的每个图像的事件信号的数量。
图像生成设备可以通过将第二图像233和第二图像235与第一图像231对准，来生成对准图像250。例如，图像231、图像233和图像235可以对应于由于用户4秒前的运动、用户2秒前的运动和用户在当前时间的运动而发生的光的改变。在图像231、图像233和图像235示出的用户的位置可能由于用户的运动而彼此不同。图像生成设备可以通过利用移动、旋转、缩小和放大重新定位第二图像233和第二图像235，并且将重新定位的第二图像233和第二图像235与第一图像231对准，来生成对准图像250。
图像生成设备可以将第二图像233和第二图像235与整个第一图像231对准，或者可以将第一图像231划分为多个区域并且将第二图像233和第二图像235与每个划分的区域对准。图像生成设备可以将第二图像233和第二图像235与包括在第一图像231中的多个对象的每一个对象对准。
将参照图9来描述使用图像生成设备将第二图像233和第二图像235与第一图像231的每个划分的区域对准的示例，将参照图10来描述使用图像生成设备将第二图像233和第二图像235与包括在第一图像231中的多个对象中的每一个对象对准的示例。
图像生成设备可以基于对准图像250来获取质量高于第一图像231、第二图像233和第二图像235的最终图像270。
图3是示出根据示例性实施例的图像生成方法的流程图。参照图3，在操作310中，根据示例性实施例的图像生成设备基于存储在缓冲器中的并且与第一时间段对应的事件信号，来生成第一图像。在该示例中，第一时间段可以对应于最近时间段。可以预先设置或动态地更新时间段。与时间段对应的事件信号可以是在预定的时间段期间接收的事件信号。每个事件信号可以包括标识信息，例如，位置信息和/或时间信息。
在操作320中，图像生成设备基于存储在缓冲器中的并且与第二时间段对应的事件信号，来生成第二图像。第二时间段可以对应于不包括最近时间段的剩余时间段。可以生成单个第二图像或多个第二图像。
图像生成设备可以基于存储在缓冲器中的事件信号之中的以感测到事件的时间的逆序提取的事件信号，来生成第一图像或第二图像。
如上所述，基于事件的视觉传感器可以响应于对象的运动或光的变化来输出事件信号。因此，由于光的变化或对象的运动速度增加，可以在相同的时间段输出相对大量的事件信号。因此，当使用固定的时间段提取事件信号时，可能基于光的变化或对象的运动速度而提取了不适当数量的事件信号。
图像生成设备可以基于提取的事件信号来生成图像。因此，在提取了不适当数量的事件信号的情况下，生成的图像的质量可能会下降。图像生成设备可以确定提取的事件信号的数量是否适当。例如，图像生成设备可以基于事件信号的位置关系，来确定提取的事件信号的数量是否适当。事件信号的位置关系是指与事件信号对应的位置之间的关系，并且可以包括，例如，事件信号的位置的分布方面、事件信号的位置的散射水平和事件信号的位置的密度。图像生成设备可以通过将提取的事件信号的数量与基于事件信号的位置关系确定的阈值进行比较，来确定提取的事件信号的数量是否适当。
图像生成设备可以基于事件信号的离差(dispersion)，来确定提取的事件信号的数量是否适当。将参照图4和图5来描述使用图像生成设备基于事件信号的离差生成图像(例如，第一图像或第二图像)的方法。
图像生成设备可以基于与事件信号相关联的可靠水平，来确定提取的事件信号的数量是否适当。将参照图6至图7来描述使用图像生成设备基于与事件信号相关联的可靠水平生成图像(例如，第一图像或第二图像)的方法。
在操作330中，图像生成设备通过将第一图像与第二图像对准，来生成质量高于第一图像和第二图像的质量的第三图像。图像生成设备也可以基于第二图像到第一图像的放大率或缩小率来设置第二图像的移动距离，并且通过将第二图像移动设置的移动距离以与第一图像对准，来生成对准的候选图像。图像生成设备可以基于距离信息或事件信号之中的ON事件信号或OFF事件信号，通过在六个自由度(6DoF)的三个方向旋转并且移动第二图像，来将第一图像与第二图像对准，从而生成第三图像。将参照图8来描述使用图像生成设备生成第三图像的方法。
图4是示出根据示例性实施例的基于事件信号的离差生成图像的方法的流程图。参照图4，在操作410中，根据示例性实施例的图像生成设备以感测到事件的时间的逆序，来提取存储在缓冲器中的事件信号。例如，在刚刚感测到的事件信号、2秒前感测到的事件信号和4秒前感测到的事件信号被存储在缓冲器中的情况下，图像生成设备以感测到事件的时间的逆序(例如，刚刚感测到的事件信号、2秒前感测到的事件信号和4秒前感测到的事件信号的顺序)来提取事件信号。
在操作420中，图像生成设备基于提取的事件信号的离差，来确定第一图像或第二图像的阈值。将参照图5来描述使用图像生成设备基于事件信号的离差确定第一图像或第二图像的阈值的方法。
图像生成设备可以通过将提取的事件信号的数量与阈值进行比较，来确定是否从缓冲器额外地提取事件信号。在操作430中，图像生成设备确定提取的事件信号的数量是否大于阈值。
响应于确定提取的事件信号的数量大于阈值，图像生成设备将继续操作440。相反，响应于确定提取的事件信号的数量小于或等于阈值，图像生成设备返回到操作410。
在操作440中，图像生成设备基于当前提取的事件信号来生成图像。
图5是示出根据示例性实施例的基于事件信号的离差确定图像的阈值的方法的示图。根据示例性实施例的图像生成设备可以通过测量与预定的时间段对应的事件信号的数量，来计算与事件信号相关联的离差。参照图5，图像生成设备基于包括在事件信号510中的位置信息，来计算x轴离差σx 511和y轴离差σy 512。x轴离差σx 511可以指示在x轴方向上事件信号510的分布的水平，y轴离差σy 512可以指示在y轴方向上事件信号510的分布的水平。
图像生成设备可以将事件信号的数量与基于离差的阈值进行比较。在该示例中，基于离差的阈值可以是第一图像的第一阈值或第二图像的第二阈值。
基于离差的阈值可以是基于离差确定的阈值。基于离差的阈值可以通过x轴离差σx511和y轴离差σy 512的函数f(σx,σy)来表示。可以以任意不同的方式来设置函数f(σxσy)。例如，函数f(σxσy)可以被设置为等式1所示的。
[等式1]
f(σx,σy)＝α·σx·σy
在等式1中，α是预定的常数。当事件信号的数量大于函数f(σx,σy)的值时，图像生成设备可以确定提取的事件信号的数量对于生成图像是适当的，并且基于提取的事件信号来生成图像。
图5的图像示出接收事件信号的结果。在图5的图像中，水平轴可被表示为x轴，竖直轴可被表示为y轴。接收的事件信号中的每个事件信号可包括标识信息(或位置信息)，每个事件信号可基于标识信息(或位置信息)匹配到图5的图像中的坐标(x,y)。图5的图像示出在与接收的事件信号的标识信息(或位置信息)对应的坐标的发光点的结果。
为了有效地计算等式1，图像生成设备可以使用表1所示的算法。在表1中，假设α是“2”。
[表1]
图6是示出根据示例性实施例的基于与事件信号相关联的可靠水平生成图像的方法的流程图。参照图6，在操作610中，根据示例性实施例的图像生成设备以感测到事件的时间的逆序提取存储在缓冲器中的事件信号。在操作620中，图像生成设备确定与提取的事件信号相关联的可靠水平。图像生成设备可以基于与事件信号相关联的可靠水平，来确定提取的事件信号的数量是否适当。将参照图7A和图7B描述使用图像生成设备确定可靠水平的方法。
图像生成设备可以通过将可靠水平与预设阈值进行比较，来确定是否从缓冲器额外地提取事件信号。在操作630中，图像生成设备确定所确定的可靠电平是否大于阈值。响应于确定可靠水平大于阈值，图像生成设备将继续操作640。相反，响应于确定可靠水平小于或等于阈值，图像生成设备返回到操作610。
在操作640，图像生成设备基于当前提取的事件信号来生成图像。
图7A和图7B是示出根据示例性实施例的与事件信号相关联的可靠水平的示图。如上所述，图像生成设备基于与事件信号相关联的可靠水平，来确定收集的事件信号的数量是否适当。可靠水平可以是基于事件信号的位置关系计算的参数。可靠水平可以是指示事件信号的可靠性的参数。例如，可靠水平可以是指示收集的事件信号的位置的密度的测量。可靠水平可以是指示由收集的事件信号生成的形状的锐度水平的测量。在一个示例中，可靠水平可以是具有下面的值的参数：当与预定事件信号对应的环境事件(ambient event)的数量大于预定值时该值增加，并且当与预定事件信号对应的环境事件的数量小于预定值时该值减小。在此示例中，可以基于对应的事件信号的位置信息来确定预定事件信号的位置，并且在确定的位置附近的预定区域中包括的事件信号可以被确定为环境事件信号。
图像生成设备可以积累并存储事件信号。例如，图像生成设备可以使用包括与基于事件的视觉传感器的像素阵列对应的元素的事件图(event map)，累积并且存储事件信号。包括在事件图中的每个元素的值可以被初始化为“0”。图像生成设备可以基于接收的事件信号的位置信息，将与接收的事件信号对应的元素的值设置为“1”。
图像生成设备可以基于存储的累积结果来计算可靠水平。例如，图像生成设备可以使用等式2来计算可靠水平。可靠水平可以被初始化为预定的值，并且通过等式2被更新。可靠水平可以具有范围在“0”与“1”之间的值。
[等式2]
Δs＝γ(H((∑im(e,i))-θ)-s)
在等式2中，Δs表示可靠水平的变化，γ表示决策灵敏度(decisionsensitivity)。γ可以是“0”与“1”之间的常量。H(·)表示单位阶跃函数。当内部值大于“0”时，H(·)可以是“1”。当内部值小于或等于“0”时，H(·)可以是“0”。
m表示事件图。当在事件图中与预定事件信号e对应的元素的第i个相邻元素被设置为“1”时，m(e,i)可以是“1”。否则，m(e,i)可以是“0”。θ表示阈值。s表示可靠水平，该可靠水平是通过示出感测结果的平面(例如，图7A或图7B的图像)上的与事件信号对应的点生成的形状的可靠性的水平。例如，当足以构造对象的形状的一些事件信号被接收时，相对高的可靠水平可被计算。相反，当不足以构造对象的形状的一些事件信号被接收时，相对低的可靠水平可被计算。
图像生成设备可以将可靠水平与预定阈值或阈值水平(例如，0.4)进行比较。例如，当可靠水平大于阈值时，图像生成设备可以确定提取的事件信号的数量适合于生成图像，并且基于提取的事件信号来生成信号。
参照图7A和图7B，图像生成设备可以基于可靠水平，来提取适合于对象具有简单图案的情况710和对象具有复杂图案的情况720两者。
例如，图像生成设备可以通过将与情况720的可靠水平对应的阈值设置为高于与情况710的可靠水平对应的阈值，来提取适合于每种情况的事件信号的数量。
如上所述，图像生成设备可以在提取适当数量的事件信号时生成图像。在此示例中，提取的事件信号包括位置信息。因此，与事件信号对应的点可以基于对应的位置信息被布置在二维(2D)面上。例如，可以生成图7A和图7B所示的图像。图像生成设备可以将各种图像处理方案(例如，噪声过滤和边缘检测)应用到生成的图像。
图8是示出根据示例性实施例的生成第三图像的方法的流程图。参照图8，在操作810中，根据示例性实施例的图像生成设备可以通过移动、旋转、缩小和放大中的至少一个运动，将第二图像与第一图像对准，来生成对准的候选图像。例如，图像生成设备可以通过移动、旋转、缩小和放大中的至少一个运动将对应于时间段t-1的第二图像、对应于时间段t-2的第二图像和对应于时间段t-3的第二图像与第一图像对准，来生成对准的候选图像。
在操作820中，图像生成设备计算第一图像与对准的候选图像之间的相似度。例如，图像生成设备可以基于与第一图像和对准的候选图像中相同位置处的像素对应的事件信号的值之和(详细地说，像素值的乘积之和)，来计算相似度。在一个示例中，当存在与第一图像中的像素对应的第一事件和与对准的候选图像中的像素对应的第二事件，并且第一图像中的像素和对准的候选图像中的像素处于相同位置时，图像生成设备可以将事件信号的值设置为“1”。当不存在第一事件和第二事件中的任何一个时，图像生成设备可以将事件信号的值设置为“0”。在另一示例中，当分别与第一图像和对准的候选图像的相同位置处的像素对应的事件信号相同时(例如，在事件信号分别对应于ON/ON信号或OFF/OFF信号时)，图像生成设备可以将事件信号的值设置为“+1”，当事件信号彼此不同时，图像生成设备可以将事件信号的值设置为“-1”，当没有生成分别与图像中相同位置处的像素对应的事件信号时，图像生成设备可以将事件信号的值设置为“0”。图像生成设备可以将事件信号的值之和计算为相似度。例如，如果图像中相同位置处的像素具有不同的极性(也就是说，如果一个像素更亮则另一个像素更暗)，则像素之间的相似度可以被设置为负(-)值，以降低整体相似度。
在操作830中，图像生成设备通过将与计算的相似度之中的最大相似度对应的对准的候选图像与第一图像对准，来生成第三图像。
在一个示例中，图像生成设备可以将操作810中生成的对准的候选图像提供到互补金属氧化物半导体(CMOS)图像传感器(CIS)，使得对准的候选图像可用于图像处理，诸如，去模糊。
图9、图10、图11和图12是示出根据示例性实施例的图像生成方法的流程图。参照图9，操作910和操作920与图3的操作310和操作320相同，因此为了简明，在此将省略重复描述。
当在操作910和操作920中生成第一图像和第二图像时，在操作930中，根据示例性实施例的图像生成设备将第一图像划分成多个区域。图像生成设备可以将第一图像划分为预定数量的区域，例如，4个区域或9个区域。图像生成设备可以将第一区域划分为相同大小的区域，或不同大小的区域。图像生成设备可以基于深度信息，来将第一图像划分为多个区域。
在操作940中，图像生成设备通过移动或旋转第二图像的至少一部分使得第二图像的该部分与多个区域的每一个区域对准，来生成每个区域的对准的候选图像。在此示例中，第二图像的该部分可以是与多个区域的每一个区域对应的尺寸，或者可以是大于或小于多个区域的尺寸。
在操作950中，图像生成设备针对每个区域来计算第一图像与对准的候选图像之间的相似度。图像生成设备可以基于与第一图像和对准的候选图像中相同位置对应的事件信号的值之和(详细地说，像素值的乘积之和)，来计算相似度。
在操作960中，图像生成设备通过将与计算的相似度之中的最大相似度对应的对准的候选图像和第一图像对准，来生成第三图像。
参照图10，操作1010和操作1020与图3的操作310和操作320相同，因此为了简明，在此将省略重复描述。
当在操作1010和操作1020生成第一图像和第二图像时，在操作1030中，根据示例性实施例的图像生成设备识别第一图像中的多个对象。图像生成设备可以使用识别图像中的对象的各种方案来识别对象。例如，图像生成设备可以使用基于训练的分类器来识别图像中的对象。当识别的对象被分类为预注册的对象类型中的一个时，图像生成设备可以确定对象识别成功。相反，当识别的对象不对应于预注册的对象类型中的任意一个时，图像生成设备可以确定对象识别失败。响应于确定对象识别成功，图像生成设备可以输出识别结果。识别结果可以是指示对象类型的ID。图像生成设备可以通过基于与第一时间段对应的事件信号将包括在第一图像中的对象的类别分类，并且基于对象的类别的均值确定与第一时间段对应的事件信号所属的对象的类别，来识别第一图像中的多个对象。
在操作1040中，图像生成设备通过移动或旋转第二图像的至少一部分，使得第二图像的该部分与多个对象中的每一个对象对准，来生成每个对象的对准的候选图像。
在操作1050中，图像生成设备针对每个对象计算第一图像与对准的候选图像之间的相似度。图像生成设备可以针对每个对象，基于与第一图像和对准的候选图像中相同位置处的像素对应的事件信号的值之和(详细地说，像素值的乘积之和)，来计算相似度。
在操作1060中，图像生成设备通过将与计算的相似度之中的最大相似度对应的对准的候选图像和第一图像对准，来生成第三图像。
参照图11，在操作1105中，根据示例性实施例的图像生成设备存储事件信号。例如，图像生成设备可以在存储器或缓冲器中存储事件信号。
在操作1110中，图像生成设备以最近事件的顺序检索或提取存储的事件信号。在操作1115中，图像生成设备确定检索的第一事件信号的数量是否足以生成第一图像。如上所述，图像生成设备可基于检索的事件信号的离差或与检索的事件信号相关联的可靠水平，来确定第一事件信号的数量是否足以生成第一图像。在此，第一事件信号是指对应于第一时间段的事件信号。例如，图像生成设备可以计算第一事件信号的水平离差和竖直离差。当第一事件信号的数量大于，例如，通过计算获得的值(预定常量的水平离差x竖直离差y)时，图像生成设备可以将第一图像存储为初始对准图像。
响应于确定第一事件信号的数量充足，图像生成设备继续操作1120。响应于确定第一事件信号的数量不充足，图像生成设备继续操作1155。
在操作1120中，图像生成设备收集第二事件信号。在此，第二事件信号是指对应于第二时间段的事件信号。图像生成设备基于第二事件信号来生成第二图像。类似地，图像生成设备可计算第二事件信号的水平离差和竖直离差，并且确定第二事件信号的数量是否足以生成第二图像。
在操作1125中，图像生成设备，例如，通过移动、旋转、缩小和放大，来变换第二图像。在操作1130中，图像生成设备通过将变换的第二图像与第一图像对准来生成对准的候选图像，并且计算第一图像与对准的候选图像之间的相似度。
在操作1135中，图像生成设备提取具有计算的相似度之中的最大相似度的对准的候选图像的移动距离。
在操作1140中，图像生成设备基于提取的移动距离，通过移动对准的候选图像，将具有最大相似度的对准的候选图像与第一图像匹配或对准。
在操作1145中，图像生成设备确定图像是否完成。例如，图像生成设备可以基于图像的质量或缓冲器中剩余的事件信号的数量，来确定图像是否完成。响应于确定图像尚未完成，图像生成设备返回操作1110，并且以最近事件的顺序检索或提取事件信号。响应于确定图像完成，图像生成设备继续操作1150。在操作1150中，图像生成设备输出图像。
在操作1155，图像生成设备额外收集第一事件信号，并且继续操作1145。
参照图12，在操作1205中，根据示例性实施例的图像生成设备从通过基于事件的视觉传感器在每个时间段感测的事件信号，去除噪声信号。图像生成设备可以基于在存在于预定的时间段内的第一事件信号和第二事件信号的预定的距离范围之外是否生成事件信号，从事件信号去除噪声信号。也就是说，图像生成设备可以确定仅被感测为间隔远于与每个事件信号相距的预定距离的事件信号是未被正确感测的噪声信号，并且去除噪声信号。
在操作1210中，图像生成设备通过相机标定(camera calibration)，来校正去除噪声信号之后剩余的事件信号(详细地说，去除噪声信号之后剩余的第一事件信号和第二事件信号)的透镜畸变。
在操作1215中，图像生成设备在缓冲器中存储透镜畸变校正的事件信号。
在操作1220中，图像生成设备基于存储在缓冲器中的事件信号来生成第一图像。在操作1225中，图像生成设备以感测事件的时间的逆序从存储在缓冲器中的事件信号，提取除了用于生成第一图像的事件信号之外的剩余的事件信号。
在操作1230中，图像生成设备基于提取的事件信号的离差来确定第二图像的第二阈值。图像生成设备可以基于提取的事件信号的数量与第二阈值比较的结果，来确定是否从缓冲器额外地提取事件信号。
在操作1235中，图像生成设备确定提取的事件信号的数量是否大于第二阈值。响应于确定提取的事件信号的数量小于或等于第二阈值，图像生成设备返回到操作1225。反之，响应于确定提取的事件信号的数量大于第二阈值，图像生成设备继续操作1240。
在操作1240中，图像生成设备基于当前提取的事件信号生成第二图像。
在操作1245中，图像生成设备通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，来生成对准的候选图像。
在操作1250中，图像生成设备计算第一图像与对准的候选图像之间的相似度。在操作1255中，图像生成设备通过将与计算的相似度之中的最大相似度对应的对准的候选图像与第一图像对准，来生成第三图像。
图13和图14是示出根据示例性实施例的图像生成设备的框图。参照图13，根据示例性实施例的图像生成设备1300包括基于事件的视觉传感器1310、缓冲器1320和处理器1330。基于事件的视觉传感器1310、缓冲器1320和处理器1330通过总线1340彼此连接。
基于事件的视觉传感器1310可以感测光的变化。基于事件的视觉传感器1310可以包括像素阵列。包括在像素阵列中的每个像素可以感测入射到对应像素的光的变化。基于事件的视觉传感器1310可以输出对应于感测光的变化的事件信号。基于事件的视觉传感器1310可以响应于感测对象的运动来输出事件信号。
缓冲器1320可以被配置为存储在第一时间段感测的事件信号、在第二时间段感测的事件信号、通过基于事件的视觉传感器1310感测的事件信号。每个事件信号可以包括指示在基于事件的视觉传感器1310中包括的多个像素之中的感测事件的像素的标识信息以及与感测事件的时间相关的时间信息。
处理器1330可以被实现为微处理器、控制器、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、现场可编程门阵列(FPGA)、可编程逻辑单元(PLU)、能够响应和执行指令的至少一个通用或专用计算机或者它们的各种组合。
下文中，为了便于描述，将描述图像生成设备1300的结构和操作。然而，示例性实施例可以适用于各种计算设备和移动设备(诸如，智能电视、智能电话和可穿戴装置)，以及各种类型的安全装置。
处理器1330可以基于存储在缓冲器1320中的并且对应于第一时间段的事件信号，来生成第一图像，基于存储在缓冲器1320中的并且对应于第二时间段的事件信号，来生成第二图像。处理器1330可以通过将第一图像与第二图像对准，来生成质量高于第一图像和第二图像的质量的第三图像。
处理器1330可以以感测事件的时间的逆序，来提取存储在缓冲器1320中的事件信号，并且基于提取的事件信号的离差，来确定第一图像的第一阈值。处理器1330可以基于提取的事件信号的数量与第一阈值的比较结果，来确定是否从缓冲器1320额外地提取事件信号。
处理器1330可以以感测事件的时间的逆序从存储在缓冲器1320中的事件信号，提取除了用于生成第一图像的事件信号之外的剩余的事件信号。处理器1330可以基于提取的事件信号的离差来确定第二图像的第二阈值，并且基于提取的事件信号的数量与第二阈值的比较结果，来确定是否从缓冲器1320额外地提取事件信号。
处理器1330可以以感测事件的时间的逆序来提取存储在缓冲器1320中的事件信号，并且确定与提取的事件信号相关联的可靠水平。处理器1330可以基于可靠水平与预设阈值的比较结果，来确定是否从缓冲器1320额外地提取事件信号。
处理器1330可以通过移动、旋转、缩小和放大中的至少一个将第二图像与第一图像对准，来生成对准的候选图像。
处理器1330可以将第一图像划分成多个区域，并且通过移动或旋转第二图像的至少一部分使得第二图像的该部分与多个区域中的每一个区域对准，来生成每个区域的对准的候选图像。
处理器1330可以识别第一图像中的多个对象，并且通过移动或旋转第二图像的至少一部分使得第二图像的该部分与多个对象中的每一个对象对准，来生成对准的候选图像。
处理器1330可以基于第二图像与第一图像的放大比或缩小比，来设置第二图像的移动距离。处理器1330可以通过将第二图像移动设置的移动距离以与第一图像对准，来生成对准的候选图像。
处理器1330可以计算第一图像与对准的候选图像之间的相似度，并且通过将与计算的相似度之中的最大相似度对应的对准的候选图像和第一图像对准，来生成第三图像。
处理器1330可以基于与第一图像和对准的候选图像中相同位置处的像素对应的事件信号的值之和来计算相似度。
此外，处理器1330可以执行参照图1至图12描述的方法之中的至少一个方法。处理器1330可以执行程序，并控制图像生成设备1300。由处理器1330执行的程序代码可以存储在存储器中。图像生成设备1300可以通过输入/输出接口连接到外部装置(例如，个人计算机或网络)，并且与外部装置交换数据。
参照图1至图12描述的方法之中的至少一个方法可以以通过在平板电脑、智能电话、智能电视或可穿戴装置的处理器中执行的应用的形式来实现，或者可以以芯片的形式来实现，并且被嵌入在智能电话、智能电视、可穿戴装置、智能汽车或其它各种音频视频(AV)装置中。
参照图14，根据示例性实施例的图像生成设备1400包括基于事件的视觉传感器1410、缓冲器1430和处理器1450。
缓冲器1430可以被配置为存储通过基于事件的视觉传感器1410感测的事件信号，并且当处理器1450将生成图像时，以从最近生成的事件信号开始的逆序，来输出事件信号。在此，存储在缓冲器1430中的事件信号的数量可以对应于缓冲器1430的预定的容量。缓冲器1430还可以被配置为存储生成事件信号的像素的位置、生成事件信号的时间以及事件发生的像素的亮度。此外，图13的基于事件的视觉传感器1310和缓冲器1320的描述可以适用于基于事件的视觉传感器1410和缓冲器1420，因此为了简明将省略重复的描述。
处理器1450包括第一事件信号收集器1451、第二事件信号收集器1452、移动器1453、比较器1454和匹配器1455。
第一事件信号收集器1451可以从缓冲器1430收集第一事件信号。第一事件信号收集器1451可以基于收集的第一事件信号来生成第一图像。第一事件信号收集器1451可以生成作为图像匹配基础的初始对准图像。
当将被用于生成第一图像的第一事件信号的数量不充足时，在将来的图像移动和匹配处理中误差可能增加，因而可能不生成适当的匹配图像或对准图像。第一事件信号收集器1451可以使用比用于生成第二图像的事件信号的数量大的用于生成第一图像的事件信号的数量。用于生成第一图像的事件信号的数量可以根据情况而不同。例如，第一事件信号收集器1451可以通过将第一事件信号的水平离差和竖直离差相乘，来获得与第一事件信号所占用的图像上的区域成比例的值。第一事件信号收集器1451可以在第一事件信号的数量大于获得的值和预定常量的乘积时，完成第一图像的生成。
第二事件信号收集器1452可以从缓冲器1430收集第二事件信号。第二事件信号收集器1452可以基于收集的第二事件信号来生成(多个)第二图像。第二事件信号收集器1452还可以使用与由第一事件信号收集器1451所使用的方案类似的方案，来完成第二图像的生成。然而，第二事件信号收集器1452可以基于比第一事件信号收集器1451所使用的事件信号的数量少的事件信号的数量来生成第二图像。用于生成第二图像的第二事件信号的数量可以根据情况而不同。
移动器1453可以通过移动、旋转、缩小和放大中的至少一个运动，将(多个)第二图像移动到(多个)第二图像可以与第一图像对准的(多个)位置。移动器1453可以生成从第二图像移动的图像。移动器1453可以沿着水平轴和竖直轴移动第二图像。移动器1453可以沿水平轴、竖直轴和向前/向后轴移动第二图像。另外，移动器1453可以沿水平轴、竖直轴以及向前和向后轴移动第二图像，并且以三个方向(例如，俯仰(ptich)、偏转(yaw)和滚动(roll))来旋转第二图像。
比较器1454可以计算对准图像(例如，第一图像)和通过移动器1453生成的移动的(多个)第二图像之间的相似度。比较器1454可以将两个图像中相同位置处的像素值的乘积之和计算为相似度。
匹配器1455可以将与计算的相似度之中的最大相似度对应的移动的第二图像和对准图像，进行额外地对准。匹配器1455可以通过将移动的(多个)第二图像之中的具有最大相似度的第二图像与对准图像进行额外地对准，来输出最终图像。
此外，示例性实施例还可以通过介质(例如，计算机可读介质)上的计算机可读代码和/或指令来实现，以控制至少一个处理元件实现任何上述实施例。所述介质可对应于可作为存储和/或执行计算机可读代码的传输的任何介质或媒体。
可以以各种方式在介质上记录和/或传送计算机可读代码，介质的示例包括记录介质，诸如，磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，光盘只读存储器(CD-ROM)或数字多功能盘(DVD))，以及传输介质，诸如，因特网传输介质。因此，介质可以具有适合于存储或携带信号或信息的结构，诸如，根据一个或多个示例性实施例携带比特流的装置。所述介质还可以是分布式网络，使得计算机可读代码被存储和/或以分布方式在介质上传输并执行。此外，处理元件可包括处理器或计算机处理器，并且处理元件可分布和/或包括在单个装置中。
前述示例性实施例是示例，并且不应当被解释为限制性的。本教导可以容易地应用于其它类型的设备。此外，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替换、修改和变化对于本领域的技术人员将是显而易见的。

Claims (28)

1.一种图像生成方法，包括：
基于存储在缓冲器中的并且在第一时间段期间从基于事件的视觉传感器输出的第一事件信号来生成第一图像；
基于存储在缓冲器中的并且在第二时间段期间从基于事件的视觉传感器输出的第二事件信号来生成第二图像；
将第一图像和第二图像对准，以生成具有高于第一图像和第二图像的质量的质量的第三图像。
2.如权利要求1所述的方法，其中，第一事件信号和第二事件信号中的每一个包括：指示在基于事件的视觉传感器中包括的像素之中的感测事件的像素的标识信息和指示感测事件的时间的时间信息。
3.如权利要求1所述的方法，其中，第一事件信号的数量大于第二事件信号的数量。
4.如权利要求1所述的方法，其中，生成第一图像的步骤包括：
以感测事件的时间的逆序从缓冲器提取存储的第一事件信号；
基于提取的第一事件信号的离差来确定第一图像的阈值；
确定提取的第一事件信号的数量是否大于阈值；
响应于确定提取的第一事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第一事件信号。
5.如权利要求1所述的方法，其中，生成第二图像的步骤包括：
以感测事件的时间的逆序从缓冲器提取存储的第二事件信号；
基于提取的第二事件信号的离差来确定第二图像的阈值；
确定提取的第二事件信号的数量是否大于阈值；
响应于确定提取的第二事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第二事件信号。
6.如权利要求1所述的方法，其中，生成第一图像的步骤包括：
以感测事件的时间的逆序从缓冲器中提取存储的第一事件信号；
确定提取的第一事件信号的可靠水平；
确定可靠水平是否小于或等于阈值；
响应于确定可靠水平小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第一事件信号。
7.如权利要求1所述的方法，其中，对准的步骤包括：通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，以生成对准的候选图像。
8.如权利要求7所述的方法，其中，对准的步骤还包括：
确定第一图像与对准的候选图像之间的相似度；
将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。
9.如权利要求8所述的方法，其中，确定的步骤包括：基于第一事件信号和第二事件信号之中的，与位于第一图像中的位置和对准的候选图像中的位置的像素对应的事件信号的值之和，来确定相似度，其中，第一图像中的位置与对准的候选图像中的位置相同。
10.如权利要求1所述的方法，其中，对准的步骤包括：
将第一图像划分成多个区域；
移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个区域中的每个区域对准，以生成所述多个区域中的每个区域的对准的候选图像。
11.如权利要求1所述的方法，其中，对准的步骤包括：
识别第一图像中的多个对象；
移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个对象中的每个对象对准，以生成所述多个对象中的每个对象的对准的候选图像。
12.如权利要求1所述的方法，其中，对准的步骤包括：
基于第二图像与第一图像的放大比或缩小比，来确定第二图像的移动距离；
将第二图像移动所述移动距离，以与第一图像对准。
13.如权利要求1所述的方法，其中，对准的步骤包括：基于距离信息或者第一事件信号和第二事件信号之中的ON事件信号或OFF事件信号，沿六个自由度的三个方向旋转和移动第二图像。
14.如权利要求1所述的方法，还包括：从第一事件信号和第二事件信号去除噪声信号，其中，噪声信号是间隔远于距离第一事件信号和第二事件信号的预定距离的事件信号。
15.如权利要求1所述的方法，还包括：通过相机标定来校正第一事件信号和第二事件信号的透镜畸变。
16.一种图像生成设备，包括：
基于事件的视觉传感器，被配置为在第一时间段期间输出第一事件信号并且在第二时间段期间输出第二事件信号；
缓冲器，被配置为存储第一事件信号和第二事件信号；
处理器，被配置为：
基于第一事件信号来生成第一图像；
基于第二事件信号来生成第二图像；
将第一图像和第二图像对准，以生成具有高于第一图像和第二图像的质量的质量的第三图像。
17.如权利要求16所述的设备，其中，第一事件信号和第二事件信号中的每一个包括：指示在基于事件的视觉传感器中包括的像素之中的感测事件的像素的标识信息和指示感测事件的时间的时间信息。
18.如权利要求16所述的设备，其中，处理器还被配置为：
以感测事件的时间的逆序从缓冲器提取存储的第一事件信号；
基于提取的第一事件信号的离差来确定第一图像的阈值；
确定提取的第一事件信号的数量是否大于阈值；
响应于确定提取的第一事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第一事件信号。
19.如权利要求16所述的设备，其中，处理器还被配置为：
以感测事件的时间的逆序从缓冲器提取存储的第二事件信号；
基于提取的第二事件信号的离差来确定第二图像的阈值；
确定提取的第二事件信号的数量是否大于阈值；
响应于确定提取的第二事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第二事件信号。
20.如权利要求16所述的设备，其中，处理器还被配置为：
以感测事件的时间的逆序从缓冲器中提取存储的第一事件信号；
确定提取的第一事件信号的可靠水平；
确定可靠水平是否小于或等于阈值；
响应于确定可靠水平小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第一事件信号。
21.如权利要求16所述的设备，其中，处理器还被配置为：通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，以生成对准的候选图像。
22.如权利要求21所述的设备，其中，处理器还被配置为：
确定第一图像与对准的候选图像之间的相似度；
将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。
23.如权利要求22所述的设备，其中，处理器还被配置为：基于第一事件信号和第二事件信号之中的，与位于第一图像中的位置和对准的候选图像中的位置的像素对应的事件信号的值之和，来确定相似度，其中，第一图像中的位置与对准的候选图像中的位置相同。
24.如权利要求16所述的设备，其中，处理器还被配置为
将第一图像划分成多个区域；
移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个区域中的每个区域对准，以生成所述多个区域中的每个区域的对准的候选图像。
25.如权利要求16所述的设备，其中，处理器还被配置为：
识别第一图像中的多个对象；
移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个对象中的每个对象对准，以生成所述多个对象中的每个对象的对准的候选图像。
26.如权利要求16所述的设备，其中，处理器还被配置为：
基于第二图像与第一图像的放大比或缩小比，来确定第二图像的移动距离；
将第二图像移动所述移动距离，以与第一图像对准。
27.一种图像生成方法，包括：
以感测各个第一事件的时间的逆序，从缓冲器检索在第一时间段期间从基于事件的视觉传感器输出的第一事件信号；
基于检索的第一事件信号来生成第一图像；
以感测各个第二事件的时间的逆序，从缓冲器检索在第二时间段期间从基于事件的视觉传感器输出的第二事件信号；
基于检索的第二事件信号来生成第二图像；
将第二图像与第一图像对准，以生成对准的候选图像；
确定第一图像与对准的候选图像之间的相似度；
将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。
28.如权利要求27所述的方法，还包括：基于对准的候选图像与第一图像的放大比或缩小比，来确定具有最大相似度的对准的候选图像的移动距离，其中，对准对准的候选图像的步骤包括：将对准的候选图像移动所述移动距离，以与第一图像对准。
CN201610915437.7A 2015-11-16 2016-10-20 图像生成方法和设备 Active CN106709895B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0160206 2015-11-16
KR1020150160206A KR102399017B1 (ko) 2015-11-16 2015-11-16 이미지 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
CN106709895A true CN106709895A (zh) 2017-05-24
CN106709895B CN106709895B (zh) 2022-03-01

Family

ID=56939858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610915437.7A Active CN106709895B (zh) 2015-11-16 2016-10-20 图像生成方法和设备

Country Status (5)

Country Link
US (1) US10096091B2 (zh)
EP (1) EP3168810B1 (zh)
JP (1) JP6872877B2 (zh)
KR (1) KR102399017B1 (zh)
CN (1) CN106709895B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068024A (zh) * 2018-06-29 2018-12-21 北京大学 一种对时空信号进行滤波的方法
CN111866398A (zh) * 2019-04-25 2020-10-30 丰田自动车株式会社 事件相机
CN114073070A (zh) * 2019-06-25 2022-02-18 索尼互动娱乐股份有限公司 ***、信息处理设备、信息处理方法和程序
CN116757968A (zh) * 2023-08-18 2023-09-15 深圳时识科技有限公司 降噪方法及装置、芯片、事件成像装置和电子设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567679B2 (en) 2016-12-30 2020-02-18 Insightness Ag Dynamic vision sensor architecture
CN110915193B (zh) * 2017-08-09 2022-06-24 富士胶片株式会社 图像处理***、服务器装置、图像处理方法及记录介质
KR102503543B1 (ko) * 2018-05-24 2023-02-24 삼성전자주식회사 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
JP7350515B2 (ja) * 2019-05-22 2023-09-26 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US11687642B2 (en) * 2019-10-23 2023-06-27 Blue Cromos Management AB System and method for identifying and authenticating counterfeiting articles
US11303811B2 (en) * 2019-11-05 2022-04-12 Fotonation Limited Event-sensor camera
JP2021083004A (ja) 2019-11-21 2021-05-27 アイシン精機株式会社 センサシステム
KR20220039022A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
WO2023032320A1 (ja) * 2021-09-03 2023-03-09 ソニーグループ株式会社 粒子解析システム、粒子解析方法及びフローサイトメータシステム
US11558542B1 (en) * 2022-01-03 2023-01-17 Omnivision Technologies, Inc. Event-assisted autofocus methods and apparatus implementing the same
KR102519006B1 (ko) * 2022-11-21 2023-04-07 주식회사 에스티씨랩 디지털 기반 로그 데이터의 조회 속도 향상을 위한 로그 데이터 관리 방법 및 서버

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
CN101145200A (zh) * 2007-10-26 2008-03-19 浙江工业大学 多视觉传感器信息融合的内河船舶自动识别***
US20090027494A1 (en) * 2007-07-27 2009-01-29 Sportvision, Inc. Providing graphics in images depicting aerodynamic flows and forces
US20130182119A1 (en) * 2008-05-15 2013-07-18 Sri International Apparatus for intelligent and autonomous video content generation and streaming
CN104104887A (zh) * 2013-04-04 2014-10-15 索尼公司 向图像施加边界的方法和设备
CN104284158A (zh) * 2014-10-23 2015-01-14 南京信必达智能技术有限公司 面向事件的智能监控相机方法
US9008366B1 (en) * 2012-01-23 2015-04-14 Hrl Laboratories, Llc Bio-inspired method of ground object cueing in airborne motion imagery
CN105046676A (zh) * 2015-08-27 2015-11-11 上海斐讯数据通信技术有限公司 一种基于智能终端的图像融合方法及设备
CN106055082A (zh) * 2015-04-10 2016-10-26 三星电子株式会社 用于基于事件显示屏幕的装置和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05167975A (ja) 1991-12-10 1993-07-02 Kyocera Corp 電子スチルカメラ
JPH06350972A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 画像信号の動き検出装置
JPH09261526A (ja) 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
EP2048878B1 (en) 2007-08-03 2011-10-26 Panasonic Corporation Imaging device, imaging method, and program
CN101848369B (zh) 2009-12-04 2012-10-03 四川川大智胜软件股份有限公司 一种基于自适应双背景模型的视频禁停事件检测方法
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
KR102124188B1 (ko) * 2013-03-13 2020-06-26 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9363427B2 (en) 2013-08-28 2016-06-07 Disney Enterprises, Inc. Device and method for calibrating a temporal contrast sensor with a frame-based camera sensor
KR102224932B1 (ko) * 2014-02-19 2021-03-08 삼성전자주식회사 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US20090027494A1 (en) * 2007-07-27 2009-01-29 Sportvision, Inc. Providing graphics in images depicting aerodynamic flows and forces
US20090028385A1 (en) * 2007-07-27 2009-01-29 Sportvision, Inc. Detecting an object in an image using edge detection and morphological processing
CN101145200A (zh) * 2007-10-26 2008-03-19 浙江工业大学 多视觉传感器信息融合的内河船舶自动识别***
US20130182119A1 (en) * 2008-05-15 2013-07-18 Sri International Apparatus for intelligent and autonomous video content generation and streaming
US9008366B1 (en) * 2012-01-23 2015-04-14 Hrl Laboratories, Llc Bio-inspired method of ground object cueing in airborne motion imagery
CN104104887A (zh) * 2013-04-04 2014-10-15 索尼公司 向图像施加边界的方法和设备
CN104284158A (zh) * 2014-10-23 2015-01-14 南京信必达智能技术有限公司 面向事件的智能监控相机方法
CN106055082A (zh) * 2015-04-10 2016-10-26 三星电子株式会社 用于基于事件显示屏幕的装置和方法
CN105046676A (zh) * 2015-08-27 2015-11-11 上海斐讯数据通信技术有限公司 一种基于智能终端的图像融合方法及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANME KIM 等: "Simultaneous Mosaicing and Tracking with an Event Camera", 《PROCEEDINGS OF THE BRITISH MACHINE VISION CONFERENCE 2014》 *
刘纪原: "《自然灾害与空间信息体系》", 30 September 2013, 中国宇航出版社 *
苗启广 等: "《多传感器图像融合技术及应用》", 30 April 2014, 西安电子科技大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068024A (zh) * 2018-06-29 2018-12-21 北京大学 一种对时空信号进行滤波的方法
CN109068024B (zh) * 2018-06-29 2020-07-21 北京大学 一种对时空信号进行滤波的方法
CN111866398A (zh) * 2019-04-25 2020-10-30 丰田自动车株式会社 事件相机
CN114073070A (zh) * 2019-06-25 2022-02-18 索尼互动娱乐股份有限公司 ***、信息处理设备、信息处理方法和程序
CN116757968A (zh) * 2023-08-18 2023-09-15 深圳时识科技有限公司 降噪方法及装置、芯片、事件成像装置和电子设备
CN116757968B (zh) * 2023-08-18 2023-11-24 深圳时识科技有限公司 降噪方法及装置、芯片、事件成像装置和电子设备

Also Published As

Publication number Publication date
US20170140509A1 (en) 2017-05-18
EP3168810B1 (en) 2019-11-13
US10096091B2 (en) 2018-10-09
JP6872877B2 (ja) 2021-05-19
EP3168810A1 (en) 2017-05-17
KR20170056860A (ko) 2017-05-24
KR102399017B1 (ko) 2022-05-17
JP2017091518A (ja) 2017-05-25
CN106709895B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN106709895A (zh) 图像生成方法和设备
US9600744B2 (en) Adaptive interest rate control for visual search
EP3295424B1 (en) Systems and methods for reducing a plurality of bounding regions
US7554575B2 (en) Fast imaging system calibration
CN109741369B (zh) 一种用于机器人跟踪目标行人的方法及***
TWI540462B (zh) 手勢辨識方法及其裝置
US8442269B2 (en) Method and apparatus for tracking target object
US10839537B2 (en) Depth maps generated from a single sensor
EP2426642A1 (en) Method, device and system for motion detection
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
CN105283905A (zh) 使用点和线特征的稳健跟踪
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
CN103279952A (zh) 一种目标跟踪方法和装置
US9886769B1 (en) Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
JP2021176243A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
CN114613006A (zh) 一种远距离手势识别方法及装置
KR101079184B1 (ko) 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법
WO2020094215A1 (en) Method for generating an augmented video
WO2023042422A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230401820A1 (en) A Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Object Detection Adapting the Detection through Shifting the Image
EP4160552A1 (en) Triggering a head-pose dependent action
CN118097275A (zh) 一种多视角目标检测与识别方法
CN118196207A (zh) 一种非同源双目相机
CN117953229A (zh) 一种基于fpga的双目图像特征提取、匹配与深度解算的硬件加速方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant