CN111696044A - 一种大场景动态视觉观测方法及装置 - Google Patents

一种大场景动态视觉观测方法及装置 Download PDF

Info

Publication number
CN111696044A
CN111696044A CN202010548500.4A CN202010548500A CN111696044A CN 111696044 A CN111696044 A CN 111696044A CN 202010548500 A CN202010548500 A CN 202010548500A CN 111696044 A CN111696044 A CN 111696044A
Authority
CN
China
Prior art keywords
event
view
feature point
stream data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010548500.4A
Other languages
English (en)
Other versions
CN111696044B (zh
Inventor
高跃
李思奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010548500.4A priority Critical patent/CN111696044B/zh
Publication of CN111696044A publication Critical patent/CN111696044A/zh
Application granted granted Critical
Publication of CN111696044B publication Critical patent/CN111696044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种大场景动态视觉观测方法，该方法包括以下步骤：多视角事件数据获取步骤，利用事件相机阵列获取多视角事件流数据；多视角事件图像转换步骤，将事件流数据转化为事件计数图像；事件图像特征点检测步骤，对上述事件计数图像执行特征点检测与特征向量提取；事件图像特征点匹配步骤，计算获得特征点之间的匹配关系；空间坐标变换矩阵计算步骤，根据上述特征点匹配关系，计算空间坐标变换矩阵；多视角事件流数据融合步骤，将多视角事件流数据进行空间坐标变换，拼接变换后的多视角事件流数据，获取大场景动态观测事件流数据。本发明在基于事件相机的场景动态视觉观测的基础上，获得更大视场范围的大场景动态观测效果。

Description

一种大场景动态视觉观测方法及装置
技术领域
本发明涉及计算机视觉及计算摄像学领域，尤其涉及一种大场景动态视觉观测方法及装置。
背景技术
事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别。与传统相机以固定帧率采集场景绝对光强不同，这种相机当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。与传统相机相比，事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。
事件相机作为一种新型视觉传感器，其输出数据的形式与传统相机完全不同，无法直接应用传统相机及图像的各种算法。传统相机以固定速率(即帧率)采集场景的光强值，并以固定速率输出为图片数据。事件相机则没有帧率的概念，其每个像素点异步工作，当检测到光强变化时输出一条事件。每条事件为一个四元组(x,y,t,p)，包含像素横纵坐标(x,y)、时间戳t和事件极性p(其中，p＝-1表示该像素点光强减小，p＝1表示该像素点光强增大)。所有像素点输出的事件数据汇总起来，形成由一条条事件组成的事件列表，作为相机输出的事件流数据。一个长度为20秒传统相机获得的视频数据，和与之对应的事件相机输出的事件流数据的实例如图1所示。因此，传统相机及传统图像处理领域中适用的各种算法及方法，均无法直接使用于事件相机及事件数据。
单一传统相机存在视场范围小的问题，并可以采用多视角相机阵列获取多视角的图像，利用图像配准及拼接技术实现大视场观测的目的。单一事件相机同样存在视场范围小的问题，但由于事件相机输出事件流数据，与传统相机存在较大差别，无法直接使用现有图像配准与拼接技术方法。即，目前缺乏对于多视角事件流数据进行配准及融合的相关技术方法。
发明内容
为解决目前缺乏对于多视角事件流数据进行配准及融合相关技术方法的问题，本发明提供了一种大场景动态视觉观测方法及装置，可以实现对于多视角事件相机所获取事件流数据的配准与融合，即实现更大视场的事件流数据的获取。
本发明提供了一种大场景动态视觉观测方法，其特征在于，包括如下步骤：
步骤1、多视角事件数据获取，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；
步骤2、多视角事件图像转换，处理多视角事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
步骤3、事件图像特征点检测，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；
步骤4、事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；
步骤5、空间坐标变换矩阵计算，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；
步骤6、多视角事件流数据融合，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。
本发明还提供了一种大场景动态视觉观测装置，包括：多视角事件数据获取单元，多视角事件图像转换单元，事件图像特征点检测单元，事件图像特征点匹配单元，空间坐标变换矩阵计算单元，多视角事件流数据融合单元；其特征在于：
多视角事件数据获取单元，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；
多视角事件图像转换单元，处理多视角事件流数据，每个多视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
事件图像特征点检测单元，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；
事件图像特征点匹配单元，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；
空间坐标变换矩阵计算单元，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；
多视角事件流数据融合单元，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。
本发明的有益效果是：本发明可以解决目前缺乏对于多视角事件流数据进行配准及融合相关技术方法的问题。该发明的大场景动态视觉观测方法可以在多视角事件相机所获取的小视场事件流数据的基础上，实现多视角事件流数据配准及融合，即实现更大视场的场景动态观测。
附图说明
图1是一个时间长度为20秒的传统相机获得的视频数据和与之对应的事件相机获得的流数据示意图。
图2是本发明大场景动态视觉观测方法流程示意图。
具体实施方式
以下结合图2对发明的技术方案作进一步详细说明。
如图2所示，该实施例提供了一种大场景动态视觉观测方法，用于实现多视角事件相机所获取事件流数据的配准与融合，包括如下步骤：
步骤1、获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；
该步骤中，利用现有小视场的事件相机，搭建事件相机阵列，各个相机同步触发，采集多视角事件流数据。事件相机作为仿生新型相机，其当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。事件相机所输出的事件流数据可以用公式(1)的形式表示：
Figure BDA0002541593530000041
其中，ε为事件流集合，i表示事件流中事件的编号，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，ti表示第i个事件的时间戳，pi为第i个事件的极性。pi＝1表示这个像素点的光强增大，pi＝-1表示这个像素点的光强减小。
设事件相机阵列总共包含N个事件相机，编号为1到N，则多视角事件流数据可记为：
E＝{ε1,ε2,...,εN} (2)
其中，εi表示第i个事件相机输出的事件流数据。
步骤2、多视角事件图像转换，处理多视角事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
该步骤中，事件计数图像的每个像素点统计发生在该像素点的正负事件数目，具体转换公式如下所示：
Figure BDA0002541593530000051
其中，I为事件计数图像，M为事件流数据中总事件数，δ为单位脉冲函数。
步骤3、完成事件图像特征点检测，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及其对应的特征描述；
步骤4、进行事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；
该步骤中，特征点匹配采用如下算法获得：
Figure BDA0002541593530000052
Figure BDA0002541593530000053
其中，A与B分别为参考视角a和任一非参考视角b的事件计数图像提取的特征点集合，Ai表示特征点集合A中第i个特征点，
Figure BDA0002541593530000054
表示该特征点的特征向量，Bj表示特征点集合B中第j个特征点，
Figure BDA0002541593530000055
表示该特征点的特征向量，对特征点集合A中的特征点Ai，其匹配的特征点为特征点集合B中的特征向量Bj。
步骤5、进行空间坐标变换矩阵计算，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵。
该步骤中，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵。空间坐标变换矩阵由如下算法获得：
Figure BDA0002541593530000061
其中，
Figure BDA0002541593530000062
为参考视角a的事件计数图像所提取的特征点集合A中第i个特征点Ai的坐标，
Figure BDA0002541593530000063
为任一非参考视角b的事件计数图像所提取的特征点集合特征点集B中与特征点Ai匹配的特征点Bi的坐标，N为特征点集合A与特征点集合B中所匹配的特征点对的总数，Hab为非参考视角b相对于参考视角a的空间坐标变换矩阵。
步骤6、完成多视角事件流数据融合，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。
该步骤中，利用步骤5中获得的空间坐标变换矩阵，对于非参考视角的事件流数据中每个事件的空间坐标进行变换，将坐标变换后的多视角事件流数据组合，并去除重复的事件，获取大场景动态观测事件流数据。大场景动态观测事件流数据由如下算法获得：
ε＝ε1∪ε′2∪…∪ε′N
Figure BDA0002541593530000064
Figure BDA0002541593530000065
其中，ε为拼接后的大场景动态观测事件流，ε1为参考视角的事件相机采集的事件流数据，ε′j为第j个视角的事件相机采集的事件流数据经过空间坐标变换矩阵运算后得到的事件流数据，N为多视角事件相机阵列中事件相机个数，H1j为第j个非参考视角相对于参考视角的空间坐标变换矩阵，xi j为第j个视角的事件相机采集的事件数据中第i个事件的原始空间横坐标，yi j为第j个视角的事件相机采集的事件数据中第i个事件的原始空间纵坐标，ti j为第j个视角的事件相机采集的事件数据中第i个事件触发的时间戳，pi j为第j个视角的事件相机采集的事件数据中第i个事件的极性。
Figure BDA0002541593530000071
为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的横坐标，
Figure BDA0002541593530000072
为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的纵坐标。
该实施例还提供了一种大场景动态视觉观测装置，包括：多视角事件数据获取单元，多视角事件图像转换单元，事件图像特征点检测单元，事件图像特征点匹配单元，空间坐标变换矩阵计算单元，多视角事件流数据融合单元；
多视角事件数据获取单元，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；
多视角事件图像转换单元，处理多视角事件流数据，每个多视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
事件图像特征点检测单元，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；
事件图像特征点匹配单元，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；
空间坐标变换矩阵计算单元，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；
多视角事件流数据融合单元，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。
上述实施例记载的一种大场景动态视觉观测装置用于执行上述大场景动态视觉观测方法，相关算法用于该大场景动态视觉观测装置对应的模块。
尽管参考附图详地公开了本发明，但应理解的是，这些描述仅仅是示例性的，并非用来限制本发明的应用。本发明的保护范围由附加权利要求限定，并可包括在不脱离本发明保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (10)

1.一种大场景动态视觉观测方法，其特征在于其特征在于，包括如下步骤：
步骤1、多视角事件数据获取，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；
步骤2、多视角事件图像转换，处理多视角事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
步骤3、事件图像特征点检测，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；
步骤4、事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；
步骤5、空间坐标变换矩阵计算，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；
步骤6、多视角事件流数据融合，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。
2.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤2中，事件计数图像具体转换公式如下所示：
Figure FDA0002541593520000011
其中，I为事件计数图像，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，pi为第i个事件的极性，N为事件流数据中的总事件数，δ为单位脉冲函数。
3.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤4中，特征点匹配关系采用如下算法获得：
Figure FDA0002541593520000021
Figure FDA0002541593520000022
其中，A与B分别为参考视角a和任一非参考视角b的事件计数图像提取的特征点集合，Ai表示特征点集合A中第i个特征点，
Figure FDA0002541593520000023
表示该特征点的特征向量，Bj表示特征点集合B中第j个特征点，
Figure FDA0002541593520000024
表示该特征点的特征向量，对特征点集合A中的特征点Ai，Ai匹配的特征点为特征点集合B中的特征点Bj。
4.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤5中，空间坐标变换矩阵由如下算法获得：
Figure FDA0002541593520000025
其中，
Figure FDA0002541593520000026
为参考视角a的事件计数图像所提取的特征点集合A中第i个特征点Ai的坐标，
Figure FDA0002541593520000027
为任一非参考视角b的事件计数图像所提取的特征点集合特征点集B中与特征点Ai匹配的特征点Bi的坐标，N为特征点集合A与特征点集合B中所匹配的特征点对的总数，Hab为非参考视角b相对于参考视角a的空间坐标变换矩阵。
5.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤6中，大场景动态观测事件流数据由如下算法获得：
ε＝ε1∪ε′2∪…∪ε′N
Figure FDA0002541593520000028
Figure FDA0002541593520000031
其中，ε为拼接后的大场景动态观测事件流，ε1为参考视角的事件相机采集的事件流数据，ε′j为第j个视角的事件相机采集的事件流数据经过空间坐标变换矩阵运算后得到的事件流数据，N为多视角事件相机阵列中事件相机个数，H1j为第j个非参考视角相对于参考视角的空间坐标变换矩阵，xi j为第j个视角的事件相机采集的事件数据中第i个事件的原始空间横坐标，yi j为第j个视角的事件相机采集的事件数据中第i个事件的原始空间纵坐标，ti j为第j个视角的事件相机采集的事件数据中第i个事件触发的时间戳，pi j为第j个视角的事件相机采集的事件数据中第i个事件的极性。
Figure FDA0002541593520000032
为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的横坐标，
Figure FDA0002541593520000033
为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的纵坐标。
6.一种大场景动态视觉观测装置，包括：多视角事件数据获取单元，多视角事件图像转换单元，事件图像特征点检测单元，事件图像特征点匹配单元，空间坐标变换矩阵计算单元，多视角事件流数据融合单元；其特征在于：
多视角事件数据获取单元，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；
多视角事件图像转换单元，处理多视角事件流数据，每个多视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
事件图像特征点检测单元，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；
事件图像特征点匹配单元，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；
空间坐标变换矩阵计算单元，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；
多视角事件流数据融合单元，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。
7.如权利要求6的大场景动态视觉观测装置，其特征在于，事件计数图像采用如下算法获得：
Figure FDA0002541593520000041
其中，I为事件计数图像，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，pi为第i个事件的极性，N为事件流数据中的总事件数，δ为单位脉冲函数。
8.如权利要求6的大场景动态视觉观测装置，其特征在于，特征点匹关系配采用如下算法获得：
Figure FDA0002541593520000042
Figure FDA0002541593520000043
其中，A与B分别为参考视角a和任一非参考视角b的事件计数图像提取的特征点集合，Ai表示特征点集合A中第i个特征点，
Figure FDA0002541593520000044
表示该特征点的特征向量，Bj表示特征点集合B中第j个特征点，
Figure FDA0002541593520000045
表示该特征点的特征向量，对特征点集合A中的特征点Ai，Ai匹配的特征点为特征点集合B中的特征点Bj。
9.如权利要求6的大场景动态视觉观测装置，其特征在于，空间坐标变换矩阵由如下算法获得：
Figure FDA0002541593520000051
其中，
Figure FDA0002541593520000052
为参考视角a的事件计数图像所提取的特征点集合A中第i个特征点Ai的坐标，
Figure FDA0002541593520000053
为任一非参考视角b的事件计数图像所提取的特征点集合特征点集B中与特征点Ai匹配的特征点Bi的坐标，N为特征点集合A与特征点集合B中所匹配的特征点对的总数，Hab为非参考视角b相对于参考视角a的空间坐标变换矩阵。
10.如权利要求6的大场景动态视觉观测装置，其特征在于，大场景动态观测事件流数据由如下算法获得：
ε＝ε1∪ε′2∪…∪ε′N
Figure FDA0002541593520000054
Figure FDA0002541593520000055
其中，ε为拼接后的大场景动态观测事件流，ε1为参考视角的事件相机采集的事件流数据，ε′j为第j个视角的事件相机采集的事件流数据经过空间坐标变换矩阵运算后得到的事件流数据，N为多视角事件相机阵列中事件相机个数，H1j为第j个非参考视角相对于参考视角的空间坐标变换矩阵，xi j为第j个视角的事件相机采集的事件数据中第i个事件的原始空间横坐标，yi j为第j个视角的事件相机采集的事件数据中第i个事件的原始空间纵坐标，ti j为第j个视角的事件相机采集的事件数据中第i个事件触发的时间戳，pi j为第j个视角的事件相机采集的事件数据中第i个事件的极性。
Figure FDA0002541593520000061
为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的横坐标，
Figure FDA0002541593520000062
为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的纵坐标。
CN202010548500.4A 2020-06-16 2020-06-16 一种大场景动态视觉观测方法及装置 Active CN111696044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010548500.4A CN111696044B (zh) 2020-06-16 2020-06-16 一种大场景动态视觉观测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010548500.4A CN111696044B (zh) 2020-06-16 2020-06-16 一种大场景动态视觉观测方法及装置

Publications (2)

Publication Number Publication Date
CN111696044A true CN111696044A (zh) 2020-09-22
CN111696044B CN111696044B (zh) 2022-06-10

Family

ID=72481264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010548500.4A Active CN111696044B (zh) 2020-06-16 2020-06-16 一种大场景动态视觉观测方法及装置

Country Status (1)

Country Link
CN (1) CN111696044B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800860A (zh) * 2021-01-08 2021-05-14 中电海康集团有限公司 一种事件相机和视觉相机协同的高速抛撒物检测方法和***
CN112966556A (zh) * 2021-02-02 2021-06-15 豪威芯仑传感器(上海)有限公司 一种运动物体检测方法及***
CN113220251A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578376A (zh) * 2017-08-29 2018-01-12 北京邮电大学 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
WO2019221580A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN110727700A (zh) * 2019-10-22 2020-01-24 中信银行股份有限公司 多源流式数据整合成事务型流数据的方法及***
CN111126125A (zh) * 2019-10-15 2020-05-08 平安科技（深圳）有限公司 证件中的目标文本提取方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578376A (zh) * 2017-08-29 2018-01-12 北京邮电大学 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
WO2019221580A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN111126125A (zh) * 2019-10-15 2020-05-08 平安科技（深圳）有限公司 证件中的目标文本提取方法、装置、设备及可读存储介质
CN110727700A (zh) * 2019-10-22 2020-01-24 中信银行股份有限公司 多源流式数据整合成事务型流数据的方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁辉等: "融合GMS与VCS+GC-RANSAC的图像配准算法", 《计算机应用》, no. 04, 10 April 2020 (2020-04-10) *
刘朝霞等: "图结构在航空遥感图像特征点匹配中的应用", 《计算机工程与应用》, no. 01, 1 January 2018 (2018-01-01) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800860A (zh) * 2021-01-08 2021-05-14 中电海康集团有限公司 一种事件相机和视觉相机协同的高速抛撒物检测方法和***
CN112800860B (zh) * 2021-01-08 2023-10-17 中电海康集团有限公司 一种事件相机和视觉相机协同的高速抛撒物检测方法和***
CN112966556A (zh) * 2021-02-02 2021-06-15 豪威芯仑传感器(上海)有限公司 一种运动物体检测方法及***
CN113220251A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质
CN113220251B (zh) * 2021-05-18 2024-04-09 北京达佳互联信息技术有限公司 物体显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111696044B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN111696044B (zh) 一种大场景动态视觉观测方法及装置
US8139823B2 (en) Method for capturing images comprising a measurement of local motions
US8848035B2 (en) Device for generating three dimensional surface models of moving objects
US10348985B2 (en) Turbulence-free camera system and related method of image enhancement
US20080158340A1 (en) Video chat apparatus and method
CN101876535A (zh) 一种高度测量方法、装置及监控***
CN111696143B (zh) 一种事件数据的配准方法与***
CN112700502A (zh) 双目相机***和双目相机空间标定方法
JP2014116716A (ja) 追尾装置
CN112470189B (zh) 光场***的遮挡消除
EP4050553A1 (en) Method and device for restoring image obtained from array camera
JPH03200007A (ja) ステレオ計測装置
JP2010217984A (ja) 像検出装置及び像検出方法
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
KR20150050790A (ko) 가변 해상도를 이용한 관심영상 검출장치 및 방법
CN115409707A (zh) 一种基于全景视频拼接的图像融合方法及***
US20090244313A1 (en) Compound eye photographing apparatus, control method therefor, and program
CN115984124A (zh) 一种神经形态脉冲信号去噪和超分辨方法及装置
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法
CN114184127A (zh) 一种基于单相机无标靶的建筑物全局位移监测方法
TWI668411B (zh) 位置檢測方法及其電腦程式產品
JPWO2021049281A5 (zh)
WO2023176488A1 (ja) 移動体計測方法
JP2009237652A (ja) 画像処理装置および方法並びにプログラム
CN116309218A (zh) 一种偏振度图像实时合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant