CN113396423A - 处理来自基于事件的传感器的信息的方法 - Google Patents
处理来自基于事件的传感器的信息的方法 Download PDFInfo
- Publication number
- CN113396423A CN113396423A CN202080011932.XA CN202080011932A CN113396423A CN 113396423 A CN113396423 A CN 113396423A CN 202080011932 A CN202080011932 A CN 202080011932A CN 113396423 A CN113396423 A CN 113396423A
- Authority
- CN
- China
- Prior art keywords
- event
- pixel
- pixels
- originating
- latest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 title claims description 12
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 108010076504 Protein Sorting Signals Proteins 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004281 retinal morphology Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
基于事件的传感器具有朝向场景的像素的阵列。待处理的信息包含源自所述像素的取决于来自所述场景的入射光的变化的事件。所述方法包括：存储(S1)所述阵列的像素的集合的数据结构，所述数据结构包含针对所述集合的每一像素的与源自所述像素的最新事件相关联的事件数据；以及在从所述阵列的第一像素接收当前事件(E)后，针对包含所述阵列中的第一像素和邻近于所述第一像素的多个第二像素的像素群组检索(S2)所述数据结构中包含的任何事件数据；以及基于所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则来标记(S3)所述当前事件。
Description
本发明涉及机器视觉，尤其是涉及一种处理来自基于事件的传感器的信息的方法。
背景技术
机器视觉是包含用于获取、处理、分析和理解图像以供在例如以下广泛类型的应用中使用的方法的领域：安全应用(例如，监控、入侵检测、对象检测、面部辨识等)、环境用途应用(例如，照明控制)、对象检测和跟踪应用、自动检查、过程控制和机器人引导等。因此，机器视觉可与许多不同***集成。
为了实现这些应用，尤其是对象检测和跟踪，有必要在机器视觉中提取图像或场景中的相关对象并对其进行分段。
在此项技术中，已经针对上述检测和跟踪开发许多标准计算机视觉算法，例如对象跟踪、同时定位与地图构建(SLAM)和视觉流。然而，那些算法是基于作为图像或场景的所关注部分的特征，例如边缘、关注点、斑点和脊线。这些特征必须在由计算机视觉算法进一步处理之前被检测和提取。
已经开发许多特征提取器，其在检测到的特征的种类、计算复杂性和可重复性方面不同。在这些当中，作为图论的算法应用的经连接组件标记(connected componentlabeling，CCL)广泛地用于基于相关点的连接性对相关点进行标记和集群。
因为所述CCL算法穿越整个图像至少一次或多次(例如，针对种子填充(seed-filing)和两遍(two-pass)算法)，所以其主要在基于帧的图像传感器上使用，所述基于帧的图像传感器针对每一传感器元件(像素)或每一像素线/列循序地或者以各种模式、像素并行地但始终以一定程度上有限且大多数时候固定的帧速率定时戳，而从场景获取视觉信息。
然而，基于帧的图像传感器在许多应用中存在限制。它们捕获和传输固定数目的帧，且因此由基于帧的图像传感器输出的数据在渲染快速运动(包含连续帧之间的对象的遮挡/去遮挡)时存在问题。这致使特征提取和跟踪变得困难。此外，归因于基于帧的图像传感器的性质，它们还具有有限的动态分辨率，这使复杂的和/或快速移动的对象的跟踪变得复杂。利用基于帧的图像传感器跟踪此些对象需要极高的帧速率，这归因于许多待处理的帧而导致非常计算密集型的实施方案；或需要非常复杂的跟踪算法，这本质上也是非常计算密集型的。此外，基于帧的图像传感器还生成大量不必要的额外开销，例如在场景中无改变的情况下的冗余帧，从而导致不必要地使用计算功率。
已经开发基于事件的传感器，来克服基于帧的图像传感器的局限性。代替于以所有像素同时的方式捕获图像且试图补偿伪影和抑制信息，基于事件的图像传感器获取由每一像素从由传感器检视的场景感测到的时间亮度特征曲线。基于事件的传感器可捕获视觉场景中的归因于由像素个别地获取的信息的高时间分辨率的快速改变的信息。在论文Posch,C.、Serrano-Gotarredona,T.、Linares-Barranco,B.和Delbruck,T.(2014)，“视网膜形态基于事件的视觉传感器：具有尖峰信号输出的生物激发相机(Retinomorphicevent-based vision sensors:bioinspired cameras with spiking output)”(IEEE会刊，102(10)，1470-1484)中论述此基于事件的机器视觉技术的更多细节。
实际上，由基于事件的传感器输出的数据使计算机视觉算法能够在高动态范围(HDR)条件中工作且对照明条件更稳健。
然而，现有的CCL算法不适合应用于基于事件的传感器的输出数据。
为了针对基于事件的数据提取将在计算机视觉算法中使用的特征，到目前为止开发了很少的解决方案。
需要一种新的方法来处理基于事件的数据以将不同事件集群且执行分类以供在计算机视觉算法中使用。
发明内容
提出一种处理来自基于事件的传感器的基于事件的数据的方法。基于事件的具有朝向场景的像素的阵列，且待处理的信息包含源自像素的取决于来自场景的入射光的变化的事件。所述方法包括：
存储阵列的像素的集合的数据结构，所述数据结构包含针对所述集合的每一像素的与源自所述像素的至少一个最新事件相关联的事件数据；以及
在从阵列的第一像素接收当前事件后：
针对包含所述阵列中的第一像素和邻近于所述第一像素的多个第二像素的像素群组检索所述数据结构中包含的任何事件数据；以及
基于当前事件和源自所述群组的像素的最新事件之间的至少一个连接性准则来标记所述当前事件。
如果当前事件不满足所述至少一个连接性准则，其中任何事件为源自群组的像素的最新事件，则标记当前事件可包括：
将新丛集ID分配给当前事件；以及
在第一像素的数据结构所包含的事件数据中包含所分配的新丛集ID。
如果当前事件满足所述至少一个连接性准则，其中仅一个事件为源自群组的像素的最新事件，则标记当前事件可包括：
向当前事件分配先前分配给所述一个事件的丛集ID；以及在第一像素的数据结构所包含的事件数据中包含所分配的丛集ID。
如果当前事件满足所述至少一个连接性准则，其中多个事件为源自群组的相应像素的最新事件且同时相同的丛集ID分配给所述多个事件，则标记当前事件可包括：
将相同的丛集ID分配给当前事件；以及
在第一像素的数据结构所包含的事件中包含所分配的相同的丛集ID。
如果当前事件满足所述至少一个连接性准则，其中多个事件为源自群组的相应像素的最新事件且同时不同的丛集ID分配给所述多个事件，则标记当前事件可包括：
将不同的丛集ID合并为经合并丛集ID；将经合并丛集ID分配给当前事件；以及
在第一像素的数据结构所包含的事件数据中包含所分配的经合并丛集ID。
在一实施例中，所述多个第二像素包含在像素阵列中直接环绕第一像素的4或8个像素。举例来说，在4个像素的情况下，那4个像素可以是紧密地位于第一像素的左侧、右侧、上方及下方的第二像素。此外，所述多个第二像素还可包含具有较大半径的相邻者处的像素，例如，8个直接相邻像素和紧挨着所述8个直接相邻像素的另外16个像素，等等。
存在关于与最近源自像素集合的事件相关联的事件数据的内容的不同可能性，其可全部或部分组合到一起，例如下文所列的可能性。
一个可能性在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的时戳。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于当前事件和源自群组的所述像素的最新事件之间的时戳差的准则。
另一可能性在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的极性。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于当前事件和源自群组的所述像素的最新事件的相应极性的准则。
另一可能性在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的闪烁频率。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于针对当前事件和针对源自群组的所述像素的最新事件估计的相应闪烁频率的准则。
另一可能性在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的视觉流数据。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于针对当前事件和针对源自群组的所述像素的最新事件估计的相应视觉流数据的准则。
又一可能性在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的深度或立体视差值。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的所述至少一个连接性准则可包含应用于针对当前事件和针对源自群组的所述像素的最新事件估计的相应深度或立体视差值的准则。
又一可能性在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的亮度值。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于当前事件和源自群组的所述像素的最新事件之间的亮度差的准则。
又一可能性在于，像素的数据结构中包含的事件数据包含语义ID，其指示源自所述像素的最新事件的场景中的对象的类型。通过其它算法基于事件所属的对象的类型生成语义ID，所述类型例如汽车、行人、道路、树木、建筑物、标记、交通标志等。在此实施例中，当前事件和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于当前事件(E)和源自群组的所述像素的最新事件的相应语义ID的准则。
在一实施例中，所述方法进一步包括将以相同的丛集ID标记的事件分组以形成丛集，以及从所述丛集提取特征。所提取的特征可包括例如边缘、关注点、关注点的区域或脊线。可基于所提取的特征借助于估计器来跟踪丛集，所述估计器估计丛集的中心的位置和丛集的速度。
本发明的另一方面涉及一种计算机程序，其包括待由与基于事件的传感器耦合的处理器执行的程序代码。所述程序代码在由处理器执行时适于执行如上文定义的方法。
附图说明
参考附图，将在下文的描述内容中显而易见本发明的其它特征和优点，附图中：
图1是适于本发明的实施方案的装置的框图；
图2是根据本发明的说明性方法的流程图；
图3a和3b展示含有第一像素和环绕第一像素的四个或八个第二像素的像素群组的示意图；以及
图4是标记当前事件的步骤的说明性实施例的流程图；
具体实施方式
图1中展示的设备包括基于事件的异步视觉传感器10，其朝向场景放置且经由包括一个或若干透镜的获取光学件15接收场景的光流。传感器10放置于获取光学件15的图像平面中。其包括组织成像素的矩阵的例如光敏元件等感测元件的阵列。对应于像素的每一感测元件取决于场景中光的变化产生连续事件。
处理器12处理源自传感器10的信息，即，例如从各个像素异步地接收的事件的序列。其可通过使用合适的编程语言编程来实施。使用与传感器10耦合的专用逻辑电路(ASIC、FPGA、...)或芯片的处理器12的硬件实施方案也是可能的。
此外，图1中展示的处理器12与基于事件的传感器10分开体现。替代性架构是可能的。确切地说，图2所示的处理的部分或全部可在芯片上架构中在与基于事件的传感器10相同的组件中执行。也有可能在循序或并行操作的一个以上处理器之间拆分任务。
对于每一感测元件(即，像素)，传感器10取决于由像素从在传感器的视觉场中出现的场景接收的光的变化生成基于事件的信号序列。
异步传感器10实行获取以输出信号，所述信号对于每一像素可呈到达激活阈值Q的一系列时刻tk(k＝0、1、2、...)的形式。每当此亮度从其在时间tk处开始增加了等于激活阈值Q的量，识别新时刻tk+1，且在此时刻tk+1处发射尖峰信号。对称地，每当由像素观察到的亮度从其在时间tk处开始减小了量Q，识别新时刻tk+1，且在此时刻tk+1处发射尖峰信号。像素的信号序列包含取决于像素的光特征曲线在时刻tk处随时间定位的一系列尖峰信号。非限制性地，传感器10的输出因而呈地址-事件表示(AER)的形式。此外，信号序列通常包含对应于入射光的变化的亮度属性。
激活阈值Q可为固定的，或可依据亮度来调适。举例来说，所述阈值当被超出时可与用于生成事件的亮度的对数的变化进行比较。
借助于实例，传感器10可以是P.Lichtsteiner等人在“128×128 120dB 15μs时延异步时间对比度视觉传感器(128×128 120dB 15μs Latency Asynchronous TemporalContrast Vision Sensor)”(IEEE固态电路期刊，第43卷、第2期，2008年2月，第566-576页)或专利申请US 2008/0135731 Al中描述的类型的动态视觉传感器(DVS)。视网膜的动力学(动作电位之间的最小持续时间)可用此类型的DVS来探讨。动态行为超出具有现实取样频率的常规视频相机的动态行为。当DVS用作基于事件的传感器10时，关于源自像素的事件的数据包含像素的地址、事件的发生时间和对应于事件的极性的亮度属性，例如，如果亮度增加则+1，且如果亮度减小则-1。
可在本发明的情境中有利地使用的异步传感器10的另一实例是异步基于时间的图像传感器(ATIS)，其描述在C.Posch等人的论文“具有无损像素层级视频压缩和时域CDS的QVGA 143dB动态范围帧自由PWM图像传感器(AQVGA 143dB Dynamic Range Frame-FreePWM Image Sensor With Lossless Pixel-Level Video Compression and Time-DomainCDS)”(IEEE固态电路期刊，第46卷，第1期，2011年1月，第259-275页)中给出。当ATIS用作基于事件的传感器10时，关于源自像素的事件的数据包含像素的地址、事件的发生时间和对应于绝对亮度的估计值的亮度属性。
由基于事件的异步视觉传感器10生成的基于事件的数据可用于许多应用，尤其是从场景中的对象提取特征以及在例如对象跟踪、SLAM和视觉流等许多标准计算机视觉算法中使用这些所提取的特征。
通常，这些标准计算机视觉算法基于例如突出点/关注点、边缘、关注点的区域和脊线等特征，这些是直接从基于帧的传感器获得或从基于事件的数据合成的场景中的对象的图像中所述对象的所关注部分。因此，特征提取是后续计算机视觉算法的起点和主要基元。
如所提到，从例如相机等基于帧的传感器检测和提取特征，其中基于帧的传感器中的每个像素将被扫描和检查以查看是否存在特征。当基于帧的传感器含有例如用于高分辨率图像的太多像素时，或当图像处于HDR条件时，由基于帧的传感器生成的数据流需要包含存储器和处理器的高性能下游组件以处理溢出情形，溢出情形对于高分辨率和动态图像来说尤其成问题。
相反，提取来自由基于事件的传感器生成的事件的特征可以高得多的时间分辨率避免此问题，从而使较高级优化过程能够从较接近的先前最佳解决方案开始，这可实现优化过程的较快收敛和较高处理量。
然而，尽管特征提取(尤其是通过CCL)广泛地与基于帧的传感器一起使用，但从基于事件的数据进行的特征提取在此项技术中仍然成问题。
已经提出的对基于事件的数据使用的方法很少，且对基于事件的数据使用例如CCL等正常方法更加困难。这些方法直接基于由基于帧的传感器获得的帧或图像，其扫描图像中的所有像素至少一次以找到连接性。然而，因为基于事件的传感器不以其原始输出数据(即，基于事件的数据)生成整个图像，所以除非从事件生成图像，否则这些方法不可再应用，这减弱了使用基于事件的传感器的优点。
与需要扫描图像至少一次来标记连接组件且接着合并丛集和提取特征的基于帧的CCL相反，本文中所提议的方法既定以在线方式遵循连接性准则对事件分组，而不在找到丛集之间的连接(例如，CCL中使用的连接)之后扫描数据以合并丛集。
在一实例中，图2展示处理从基于事件的传感器10生成的基于事件的数据的方法的流程图，如上文所提及。
如图2中所示出，在步骤S1中，在由基于事件的传感器10的阵列中的像素响应于来自朝向传感器的场景的入射光的变化生成事件之后，建立和存储所述阵列的像素的集合的数据结构。所述数据结构包含针对集合的每一像素的与源自所述像素的至少一个最新事件相关联的事件数据。
借助于实例，前述像素集合可由已经在具有持续时间T且在当前时刻结束的滑动窗中生成一个或多个事件的阵列的像素组成。因此，所述集合不包含阵列的当前非活动的区域中的像素。参数T可以是固定的(例如T＝10毫秒，作为示例)或自适应的，局部的或全局的，依据由阵列生成的事件。参数T可针对像素阵列的不同区域是不同的，以可依据由跨阵列的像素感测到的入射光变化。或者，“像素的集合”可包含传感器阵列的所有像素，即，T＝∞。
数据结构为动态结构。其初始存储于用于开始过程的步骤S1中，且随后在随着从基于事件的传感器接收到事件而实行的后续步骤中更新。
数据结构可含有形成具有表达为索引i的地址和阵列中的坐标(xi,yi)的像素的事件数据的以下项中的一个或多个：
-从阵列中的地址i接收的最新事件ev(i,ti)的时戳ti。每当在时间ti从像素i接收到新事件时，新时戳ti替换先前存储于像素i的数据结构中的时戳；
-与地址i处的像素相关联的亮度值Li。在ATIS类型的传感器等的情况下，亮度值Li对于来自传感器的信号流中的事件ev(i,ti)可用；
-源自地址i处的像素的最新事件ev(i,ti)的极性pi。极性pi通常对于来自传感器的信号流中的事件ev(i,ti)可用；
-针对源自地址i处的像素的最新事件ev(i,ti)估计的闪烁频率。可例如使用如第18305063.2号欧洲专利申请中公开的方法来估计此频率信息；
-针对源自地址i处的像素的最新事件ev(i,ti)在位置(xi,yi)处估计的视觉流数据。可例如使用WO 2013/093378 A1中所公开的方法估计此视觉流数据；
-针对源自地址i处的像素的最新事件ev(i,ti)估计的深度值。深度值还可表达为立体视差值。其可从来自从不同角度检视场景的两个或更多个基于事件的传感器的信号流获得。此深度或立体视差值可例如使用WO 2016/146938 A1中所公开的方法估计；
-与源自地址i处的像素的最新事件ev(i,ti)被视为所属(根据在下文进一步描述的步骤S4-S5)的事件的丛集相关联的丛集ID；
-表示当从地址i处的像素接收事件ev(i,ti)时将在期间执行比较的时间窗的持续时间的上文提及的参数T，条件是所述参数T被允许在阵列的一个像素到另一像素之间变化。
应了解，其它种类的信息可包含在数据结构中，这取决于由基于事件的传感器自身提供的功能性和/或对基于事件的信号流执行的处理。数据结构的内容还可取决于当前方法将分类数据提供到的应用来调适。
还应了解，在实际实施方案中，随着接收事件而存储和维持的数据结构可具有针对阵列的所有像素的信息(即，上文所列的项中的部分或全部)，而不仅仅针对上文提及的像素集合的像素。在此实施方案中，最新事件具有早于ti-T的时戳tj的阵列中的地址j处的像素(即，不属于时间ti处的“集合”的像素)将在时间ti处接收到事件后执行的处理中被忽略。
虽然可以是给定像素i的动态数据结构中包含的事件数据的一部分的可能项的上述列表仅指代从像素i接收的最新事件，但也有可能包含与最近从像素i接收的一个以上事件相关联的事件数据。举例来说，时戳和事件极性可存储为从像素i接收的N个最新事件的事件数据的一部分，其中N是预定义整数或针对在时间窗T(或某一较短窗口)期间接收的任何事件。可针对最新事件或数据结构中考虑的事件以组合方式确定例如亮度、闪烁频率、深度或立体视差值、丛集ID等其它事件数据。
存储于数据结构中的信息连同传入当前事件中包含的或从传入当前事件的接收导出的事件属性一起用于评估连接性准则，来动态地判定当前事件是否应被视为连接到最近在当前事件的空间邻域中生成的一个或多个其它先前事件。
本文中所提议的方法使得有可能视需要随着接收事件而立即作出关于连接性的此些决策。
在步骤S2中，接收来自阵列的第一像素A的当前事件E，即将在步骤3和4中检查其与其它事件的连接性。
在随后的步骤S3中，检索来自像素群组的数据结构中包含的事件数据，且在步骤S4中，基于连接性准则或更多若干连接性准则的组合用丛集ID标记当前事件E。
此处，“像素群组”指代当前事件的空间邻域。换句话说，其由第一像素A和阵列中第一像素的邻域中的多个第二像素组成。在图3(a)中示出的实例中，位置(xi,yi)处的像素A周围的像素群组由位置(xi+1,yi)、(xi-1,yi)、(xi,yi+1)、(xi,yi-1)处的四个第二像素组成。或者，可存在群组中的位置(xi+1,yi)、(xi-1,yi)、(xi,yi+1)、(xi,yi-1)、(xi+1,yi+1)、(xi-1,yi+1)、(xi+1,yi-1)、(xi-1,yi-1)处的八个第二像素，如图3(b)所示。又一可能性是包含如之前所提到的较大半径中的相邻者或像素群组中的第二相邻者的另一层，或多个层。
有可能当在时间t处接收到源自位置(xi,yi)处的第一像素A的当前事件E时，不存在关于数据结构中的相邻像素的相关群组的事件数据(或群组的所有相邻像素具有早于t-T的时戳)。如果是这样，则在步骤S4处，用新丛集ID标记当前事件E，这在图4中详述。在步骤S41中，检查当前事件E以查看其是否满足至少一个连接性准则，其中任何事件为源自群组的像素的最新事件。当不满足连接性准则，即当前事件E不连接到数据结构的任何事件时，将新丛集ID分配给当前事件E，且在步骤S42中将所分配的新丛集ID包含在关于像素A且与当前事件相关联的事件数据中。
否则，检查当前事件以查看其是否满足一个或多个连接性准则，其中任何事件为源自群组的像素的最新事件。举例来说，进行另一步骤S43，检查当前事件是否满足连接性准则，其中仅一个最新事件来自群组的像素。当当前事件E满足连接性准则，其中仅一个事件(例如，最新事件ev(i+1,ti))源自位置(xi+1,yi)处的相邻像素(图3a或3b中)，则在步骤S44中用先前分配给事件ev(i+1,ti)的丛集ID标记当前事件E。
如果在步骤S43中发现当前事件E满足一个或多个连接性准则，其中多个最新事件分别源自数据结构中的相应像素，则在步骤S45中检查所述多个事件的丛集ID以查看它们是否共享相同的丛集ID。举例来说，如果除连接到事件ev(i+1,ti)外当前事件E还连接到源自位置(xi,yi+1)处的额外相邻像素的另一事件ev(i+2,ti)，则发生此情况。
如果在步骤S45中先前分配给所述多个事件的丛集ID相同，例如事件ev(i+1,ti)和ev(i+2,ti)共享一个相同的丛集ID，则向当前事件E分配此相同的丛集ID，接着在步骤S46中将该丛集ID包含在关于像素A的事件数据中。
如果在步骤S45中先前分配给所述多个事件的丛集ID不同，例如事件ev(i+1,ti)和ev(i+2,ti)具有不同ID，则在步骤S47中将不同ID合并为新丛集ID，根据例如最小或最大的一个或在过去获得最多事件的一个等预设规则，所述新丛集ID例如可以是ev(i+1,ti)和ev(i+2,ti)的ID中的一个或另一ID。可例如向另一应用通知此ID合并，使得知晓先前接收的ID对应于相同的丛集，现由经合并丛集ID表达。
在此情况下，接着在步骤S48中通过向当前事件E分配与当前事件相关联的事件数据中包含的经合并丛集ID来标记当前事件E。此外，还可使用当量表，以在使事件与经合并丛集ID相关联时不必重写整个数据结构来替换数据结构中的经合并ID。
此外，借助于实例，在步骤S4中，可通过以下准则中的至少一个来确定连接性，其中，类似地，在图3a和3b中，当前事件E源自位置(xi,yi)处的像素A，且最新事件ev(i+1,ti)源自位于(xi+1,yi)处的像素。
具有时戳t1的当前事件E和存储于数据结构中的具有时戳t2的最新事件ev(i+1,t2)之间的连接性准则可应用于当前事件E和最新事件ev(i+1,t2)之间的时戳差t1-t2。举例来说，确定何时时戳差t1-t2小于事件E和ev(i+1,ti)之间的给定阈值连接性。其值可基于利用经连接组件分析的应用来设定。非限制性地，阈值的说明性值可在0.1ms到20ms的范围内。可使所述阈值基于局部事件动力学为自适应的。或者，如果时戳差t1-t2落在某一范围内，则也可确定连接性。
当像素的数据结构中包含的事件数据包含源自所述像素的最新事件的极性p时，当前事件E和数据结构上的最新事件ev(i+1,ti)之间的连接性准则可涉及当前事件的极性和最新事件ev(i+1,ti)的极性。举例来说，如果极性相同，则确定事件E和ev(i+1,ti)之间的连接性。
当像素的数据结构中包含的事件数据包含针对来自所述像素的最新事件估计的闪烁频率时，当前事件E和数据结构上的最新事件ev(i+1,ti)之间的连接性准则可涉及针对当前事件E和针对最新事件ev(i+1,ti)估计的闪烁频率。举例来说，如果闪烁频率相同或在预定容限内，则确定事件E和ev(i+1,ti)之间的连接性。
当像素的数据结构中包含的事件数据包含针对来自所述像素的最新事件估计的视觉流数据时，当前事件E和数据结构上的最新事件ev(i+1,ti)之间的连接性准则可涉及针对当前事件E和针对最新事件ev(i+1,ti)估计的视觉流数据。举例来说，如果流的定向和/或量值相同或在预定容限内，则确定事件E和ev(i+1,ti)之间的连接性。
当像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的深度或立体视差值时，当前事件E和最新事件ev(i+1,ti)之间的连接性准则可包含涉及针对当前事件E和针对最新事件ev(i+1,ti)估计的深度或立体视差值。举例来说，如果深度或视差相同或在预定容限内，则确定事件E和ev(i+1,ti)之间的连接性。
在步骤S4中标记之后，可例如将当前事件E与例如具有相同ID的其它事件分组在一起(如步骤S5中所展示)，以形成包含具有相同ID的事件的丛集。或者，根据特定准则，所述分组还可基于不同ID，例如以数值次序分级的不同ID。
然后，可将丛集的状态存储于可具有效率更高或更低的不同实施方案的丛集的列表中，例如散列表或具有间接表的向量。
然后，在步骤S6中，可提取具有例如时空一致性的丛集以获得对应于场景中的对象(例如，交通道路上的车辆)乃至场景中的小轮廓波的特征。这些特征包含但不限于对象的边缘、关注点、关注点的区域或脊线。利用这些特征，例如对应于那些轮廓波的丛集可由稳定的几何约束限定，从而实现稳定且精确的观察和跟踪。在形成丛集之后检测和跟踪视觉对象的示例性实施例在US 2016/0086334 A1中描述，例如在更新与丛集相关联的信息且依据所更新的信息计算对象的大小和定向的步骤中。
此外，在对丛集进行分组且从丛集提取特征之后，有可能利用估计器(例如，基于事件的斑点***，或者比如龙贝格(Luenberger)或卡尔曼(Kalman)估计器等更标准的估计器)来跟踪或预测丛集的位置和速度。举例来说，在其中基于事件的传感器正观察移动经过障碍物(例如，树)的车辆的场景中，在此期间，归因于所述障碍物，车辆的至少一部分不可由传感器观察到。借助于估计器，可以更有效的方式连续地跟踪车辆。
还可在来自先前接收的事件的丛集中使用来自其它源的信息，比如相对于立体的深度，以用事件的深度扩增丛集状态，例如使得能够获得和跟踪更多状态，比如丛集的中心的3D位置。在WO2016/146938中论述3D重建的示例性实施例。
可取决于借助于根据本发明的方法提取的经连接组件特征(例如，用于提取和跟踪交通灯)的准确使用来导出一些其它实施方案。
有利的是，根据本发明的方法仅使用非常局部的数据，因为假定在由传感器取样时轮廓将移动穿过每个像素，且因此具有相对低的存储器带宽要求。该特性还可实现一些特定架构上的高并行度。因此，实施方案相对简单。仅需要使用像素阵列的大小的有限存储器来存储数据结构，所述数据结构含有在如上文所提及的若干准则下的连接性确定所必需的信息。在此方面，根据本发明的方法可在膝上型计算机、移动装置或具有相对低处理功率的其它装置上，或在与共同装置中的基于事件的传感器相关联的处理器中实施。
上述方法可使用非暂时性计算机可读介质中记录的程序指令来实施以实施可由计算机执行的各种操作。所述介质还可单独地或与程序指令组合包含数据文件、数据结构等。介质上记录的程序指令可以是出于说明性实施例的目的专门设计和构造的程序指令，或者它们可以是众所周知的种类且可为计算机软件领域的技术人员所用。非暂时性计算机可读介质的实例包含磁性介质，例如硬盘、软盘和磁带；光学介质，例如CD ROM盘和DVD；磁光介质，例如光盘；以及硬件装置，其专门被配置成存储和执行程序指令，例如只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器等。程序指令的实例包含例如由编译程序产生的代码等机器代码和含有计算机可使用解译程序执行的更高级代码的文件两者。所描述的硬件装置可被配置成作为整体操作。
在应用的实例中，包含基于事件的传感器10和处理器12的设备在汽车中使用以检测和跟踪例如交通灯、移动的物体等道路上的对象，以向自动驾驶***提供这些动态信息。
更一般地说，本发明可以用于多种装置中，包含但不限于自主车辆、假体装置、自主和机器人设备，例如制造机器人、军事或医疗机器人装置。
本发明的实施方案可以用于许多应用中，包含人机交互(例如，手势、语音、姿态、面部的辨识和/或其它应用)、控制过程(例如，工业机器人、自主和其它车辆)、跟随一组关注点或对象(例如，车辆或人)在视觉场景中和相对于图像平面的移动、扩增现实应用、虚拟现实应用、访问控制(例如，基于手势开门、基于被授权人的检测而打开进入的路)、检测事件(例如，用于视觉监控或人或动物)、计数、跟踪等。所属领域的一般技术人员鉴于本公开将认识到存在大量的其它应用。
上文描述的实施例是本发明的说明。可对其作出各种修改，而不脱离源于所附权利要求书的本发明的范围。
Claims (17)
1.处理来自基于事件的传感器的信息的方法，所述基于事件的传感器(10)具有朝向场景的像素阵列，且所述信息包含源自所述像素的取决于来自所述场景的入射光的变化的事件，所述方法包括：
存储(S1)所述阵列的像素的集合的数据结构，所述数据结构包含针对所述集合的每一像素的与源自所述像素的至少一个最新事件相关联的事件数据；以及
在接收(S2)来自所述阵列的第一像素(A)的当前事件(E)后；
针对包含所述阵列中的第一像素和邻近于所述第一像素的多个第二像素的像素群组检索(S3)所述数据结构中包含的任何事件数据；以及
基于所述当前事件(E)和源自所述群组的像素的至少一个最新事件之间的至少一个连接性准则来标记(S4)所述当前事件。
2.根据权利要求1所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件不满足所述至少一个连接性准则，其中任何事件为源自所述群组的像素的最新事件，则：
将新丛集ID分配给所述当前事件；以及
在所述第一像素(A)的数据结构所包含的事件数据中包含所分配的新丛集ID。
3.根据前述权利要求中任一项所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件满足所述至少一个连接性准则，其中仅一个事件为源自所述群组的像素的最新事件，则：
向所述当前事件分配先前分配给所述一个事件的丛集ID；以及
在所述第一像素(A)的数据结构所包含的事件数据中包含所分配的丛集ID。
4.根据前述权利要求中任一项所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件满足所述至少一个连接性准则，其中多个事件为源自所述群组的相应像素的最新事件，且同时相同的丛集ID分配给所述多个事件，则：
将相同的丛集ID分配给所述当前事件；以及
在所述第一像素(A)的数据结构所包含的包含所分配的相同的丛集ID。
5.根据前述权利要求中任一项所述的方法，其特征在于，标记所述当前事件包括，如果所述当前事件满足所述至少一个连接性准则，其中多个事件为源自所述群组的相应像素的最新事件，且同时不同的丛集ID分配给所述多个事件，则：
将不同的丛集ID合并为经合并丛集ID；
将所述经合并丛集ID分配给所述当前事件；以及
在所述第一像素(A)的数据结构所包含的事件中包含所分配的经合并丛集ID。
6.根据前述权利要求中任一项所述的方法，其特征在于，所述多个第二像素包含像素阵列中直接环绕所述第一像素(A)的4或8个像素。
7.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的时戳，
且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于所述当前事件(E)和源自所述群组的像素的最新事件之间的时戳差的准则。
8.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的极性，
且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于所述当前事件(E)和源自所述群组的像素的最新事件的相应极性的准则。
9.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的闪烁频率，
且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于针对所述当前事件(E)和针对源自所述群组的像素的最新事件估计的相应闪烁频率的准则。
10.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的视觉流数据，
且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于针对所述当前事件(E)和针对源自所述群组的像素的最新事件估计的相应视觉流数据的准则。
11.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含针对源自所述像素的最新事件估计的深度或立体视差值，
且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于针对所述当前事件(E)和针对源自所述群组的像素的最新事件估计的相应深度或立体视差值的准则。
12.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含源自所述像素的最新事件的亮度值，
且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于所述当前事件(E)和源自所述群组的像素的最新事件之间的亮度差的准则。
13.根据前述权利要求中任一项所述的方法，其特征在于，像素的数据结构中包含的事件数据包含语义ID，所述语义ID指示源自所述像素的最新事件的场景中的对象的类型，
且其中，所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则包含应用于所述当前事件(E)和源自所述群组的像素的最新事件的相应语义ID的准则。
14.根据前述权利要求中任一项所述的方法，其进一步包括对以相同的丛集ID标记的事件进行分组以形成丛集，且从所述丛集提取特征。
15.根据权利要求14所述的方法，其进一步包括借助于估计器基于所提取的特征跟踪所述丛集，所述估计器估计所述丛集的中心的位置和所述丛集的速度。
16.根据权利要求14或15中任一项所述的方法，其特征在于，所提取的特征包括边缘、关注点、关注点的区域或脊线。
17.一种计算机程序，其包括待由与基于事件的传感器耦合的处理器执行的程序代码，所述程序代码在由所述处理器执行时适于实施根据前述权利要求中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19154401.4 | 2019-01-30 | ||
| EP19154401.4A EP3690736A1 (en) | 2019-01-30 | 2019-01-30 | Method of processing information from an event-based sensor |
| PCT/EP2020/052200 WO2020157157A1 (en) | 2019-01-30 | 2020-01-29 | Method of processing information from an event-based sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113396423A true CN113396423A (zh) | 2021-09-14 |
Family
ID=65243493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080011932.XA Pending CN113396423A (zh) | 2019-01-30 | 2020-01-29 | 处理来自基于事件的传感器的信息的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11995878B2 (zh) |
| EP (2) | EP3690736A1 (zh) |
| JP (1) | JP2022523505A (zh) |
| KR (1) | KR20210129043A (zh) |
| CN (1) | CN113396423A (zh) |
| WO (1) | WO2020157157A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3694202A1 (en) | 2019-02-11 | 2020-08-12 | Prophesee | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor |
| EP4033398A1 (en) * | 2021-01-25 | 2022-07-27 | Toyota Jidosha Kabushiki Kaisha | A clustering method applied to a change event stream produced by an event-based vision sensor |
| WO2022190622A1 (ja) * | 2021-03-08 | 2022-09-15 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| AT524572B1 (de) * | 2021-05-26 | 2022-07-15 | Ait Austrian Inst Tech Gmbh | Verfahren zur Erfassung der dreidimensionalen Struktur eines Gegenstands |
| JP2023135357A (ja) * | 2022-03-15 | 2023-09-28 | 株式会社リコー | 変位量測定装置、変位量測定システム、非接触入力装置、および生体微動測定装置 |
| WO2023210330A1 (ja) * | 2022-04-26 | 2023-11-02 | ソニーグループ株式会社 | データ生成装置、データ生成方法、プログラム、解析装置 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101204079B (zh) | 2005-06-03 | 2011-07-27 | 苏黎世大学 | 用于检测与时间相关的图像数据的光敏元件阵列 |
| FR2985065B1 (fr) | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
| KR102070562B1 (ko) * | 2012-06-19 | 2020-01-30 | 삼성전자주식회사 | 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법 |
| CN105144193A (zh) | 2013-03-26 | 2015-12-09 | 诺基亚技术有限公司 | 用于估计成像设备的姿态的方法和设备 |
| US9767571B2 (en) * | 2013-07-29 | 2017-09-19 | Samsung Electronics Co., Ltd. | Apparatus and method for analyzing image including event information |
| FR3020699A1 (fr) * | 2014-04-30 | 2015-11-06 | Centre Nat Rech Scient | Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere |
| KR102347249B1 (ko) * | 2014-10-21 | 2022-01-04 | 삼성전자주식회사 | 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법 |
| US10043064B2 (en) * | 2015-01-14 | 2018-08-07 | Samsung Electronics Co., Ltd. | Method and apparatus of detecting object using event-based sensor |
| FR3033914A1 (fr) * | 2015-03-16 | 2016-09-23 | Univ Pierre Et Marie Curie (Paris 6) | Procede de traitement d'un signal asynchrone |
| FR3033973A1 (fr) | 2015-03-16 | 2016-09-23 | Univ Pierre Et Marie Curie Paris 6 | Procede de reconstruction 3d d'une scene |
| US10341634B2 (en) * | 2016-01-29 | 2019-07-02 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring image disparity |
| WO2018122800A1 (en) * | 2016-12-30 | 2018-07-05 | Insightness Ag | Data rate control for event-based vision sensor |
| US10855927B2 (en) * | 2017-03-08 | 2020-12-01 | Samsung Electronics Co., Ltd. | Event detecting device including an event signal generator and an output signal generator |
| CN108574793B (zh) * | 2017-03-08 | 2022-05-10 | 三星电子株式会社 | 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备 |
| CN108734739A (zh) * | 2017-04-25 | 2018-11-02 | 北京三星通信技术研究有限公司 | 用于时间对齐标定、事件标注、数据库生成的方法及装置 |
| KR20200015589A (ko) * | 2017-05-29 | 2020-02-12 | 유니베르시태트 취리히 | 동적 비전 센서를 위한 블록-매칭 광학 흐름 및 스테레오 비전 |
| US10529074B2 (en) * | 2017-09-28 | 2020-01-07 | Samsung Electronics Co., Ltd. | Camera pose and plane estimation using active markers and a dynamic vision sensor |
| US10992887B2 (en) * | 2017-09-28 | 2021-04-27 | Apple Inc. | System and method for event camera data processing |
| KR102437456B1 (ko) * | 2017-11-14 | 2022-08-26 | 애플 인크. | 이벤트 카메라-기반 변형가능 물체 추적 |
| JP7357624B2 (ja) * | 2018-01-26 | 2023-10-06 | プロフジー | イベントベースセンサからの信号を処理する方法および装置 |
| CN109544590B (zh) * | 2018-11-27 | 2020-05-15 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
-
2019
- 2019-01-30 EP EP19154401.4A patent/EP3690736A1/en not_active Withdrawn
-
2020
- 2020-01-29 JP JP2021544388A patent/JP2022523505A/ja active Pending
- 2020-01-29 KR KR1020217024282A patent/KR20210129043A/ko active Search and Examination
- 2020-01-29 WO PCT/EP2020/052200 patent/WO2020157157A1/en unknown
- 2020-01-29 CN CN202080011932.XA patent/CN113396423A/zh active Pending
- 2020-01-29 EP EP20701496.0A patent/EP3918519A1/en active Pending
- 2020-01-29 US US17/427,033 patent/US11995878B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210129043A (ko) | 2021-10-27 |
| US20220101640A1 (en) | 2022-03-31 |
| EP3918519A1 (en) | 2021-12-08 |
| WO2020157157A1 (en) | 2020-08-06 |
| EP3690736A1 (en) | 2020-08-05 |
| US11995878B2 (en) | 2024-05-28 |
| JP2022523505A (ja) | 2022-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11995878B2 (en) | Method of processing information from an event-based sensor | |
| US11856290B2 (en) | Method and apparatus of processing a signal from an event-based sensor | |
| US9158985B2 (en) | Method and apparatus for processing image of scene of interest | |
| JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
| Tavakkoli et al. | Non-parametric statistical background modeling for efficient foreground region detection | |
| US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
| CN101344965A (zh) | 基于双目摄像的跟踪*** | |
| Chen et al. | Asynchronous tracking-by-detection on adaptive time surfaces for event-based object tracking | |
| EP3925204B1 (en) | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor | |
| Shukla et al. | Moving object tracking of vehicle detection: a concise review | |
| KR101062225B1 (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
| Denman et al. | Multi-spectral fusion for surveillance systems | |
| Singh et al. | A new algorithm designing for detection of moving objects in video | |
| Roy et al. | A comprehensive survey on computer vision based approaches for moving object detection | |
| JP2021531598A (ja) | 映像ストリームからの物体検出において用いるためのシステム及び方法 | |
| KR101842488B1 (ko) | 원거리 동적 객체의 검지 및 추적을 기반으로 한 행동패턴인식기법이 적용된 지능형 감지시스템 | |
| Boufares et al. | Moving object detection system based on the modified temporal difference and otsu algorithm | |
| Shahbaz et al. | Probabilistic foreground detector with camouflage detection for sterile zone monitoring | |
| Lai et al. | Detection and classification of object movement-an application for video surveillance system | |
| RU2676028C1 (ru) | Способ обнаружения оставленного предмета в видеопотоке | |
| Golda | Image-based Anomaly Detection within Crowds | |
| Archana et al. | Abnormal Frame Extraction and Object Tracking Hybrid Machine Learning | |
| Sun et al. | Research on Target Detection of Regional Monitoring with Complex Background using CNN and Background Modelling | |
| Puhan et al. | Slow and fast moving object detection under illumination variation condition | |
| Moulay et al. | A Novel Background Subtraction Algorithm for Person Tracking Based on K-NN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |