WO2020147574A1 - 一种基于深度学习的双目动态视觉传感器立体匹配方法 - Google Patents
一种基于深度学习的双目动态视觉传感器立体匹配方法 Download PDFInfo
- Publication number
- WO2020147574A1 WO2020147574A1 PCT/CN2019/130224 CN2019130224W WO2020147574A1 WO 2020147574 A1 WO2020147574 A1 WO 2020147574A1 CN 2019130224 W CN2019130224 W CN 2019130224W WO 2020147574 A1 WO2020147574 A1 WO 2020147574A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- event
- dynamic vision
- stereo matching
- vision sensor
- point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Definitions
- the invention relates to the technical field of image matching, in particular to a stereo matching method for binocular dynamic vision sensors based on deep learning.
- the dynamic vision sensor outputs a stream of events by detecting changes in the logarithmic intensity of image brightness, where each event has location, polarity, and time stamp information. Compared with traditional cameras, it has the advantages of low latency, high time resolution and large dynamic range.
- binocular stereo matching technology is an important way to obtain image depth information.
- the application of traditional binocular stereo matching technology on the mobile terminal is greatly restricted.
- the purpose of the present invention is to provide a stereo matching method for binocular dynamic vision sensor based on deep learning in order to overcome the defects of the prior art.
- a stereo matching method for binocular dynamic vision sensor based on deep learning including the following steps:
- the event training point pair is characterized, and sent to the twin neural network for training, and stereo matching is performed according to the training result.
- the step 1) specifically includes the following steps:
- the calculation formula of the position coordinates (x R , y R ) of the point of interest in the right sensor is:
- (x L , y L ) are the position coordinates of the point of interest in the left sensor
- d is the parallax value
- z is the corresponding depth information
- b and f are the baseline distance and focal length of the binocular dynamic vision sensor.
- the characterization method of the construction event is specifically:
- mi is the normalized value
- c max is the maximum number of events in each small square counted in different time intervals ⁇ t;
- using the twin neural network training event training point pair specifically includes the following steps:
- the number of representations of matched and unmatched event point pairs are sent to the twin neural network in equal numbers.
- the present invention has the following advantages:
- the present invention can effectively solve the problem of stereo matching for dynamic vision sensors. It directly processes data on the generated event stream, which can effectively reduce the amount of calculation, reduce the required computing resources, and improve the matching speed, which is easy to implement on the mobile terminal.
- the present invention uses event distribution information around the point of interest to characterize the point of interest, and the used information is rich and stable. And apply a large amount of data to train the neural network, and perform stereo matching based on deep learning, which can make the matching method more robust and improve the matching accuracy.
- Figure 1 is a flow chart of the stereo matching of the present invention.
- Figure 2 is a schematic plan view of the characterization method.
- Figure 3 is a partial representation diagram.
- Figure 4 is a schematic diagram of the twin neural network.
- the present invention provides a stereo matching method for binocular dynamic vision sensors based on deep learning.
- the method can characterize the event stream output by the left and right dynamic vision sensors, and perform matching through a trained neural network to improve the matching accuracy. At the same time improve the matching speed.
- the method includes the following steps:
- step (1) the method of generating event training point pairs is as follows:
- d is the parallax value
- calculation formula is:
- z is the depth information corresponding to the event point
- b and f are the baseline distance and focal length of the binocular dynamic vision sensor, which are known quantities.
- step (2) the method of constructing event representation is as follows:
- mi is the normalized value
- c max is the maximum number of events in each small square counted in different time intervals ⁇ t.
- step (3) the training method for the representation is as follows:
- step (1) Using the method described in step (1), take multiple different time points on the existing binocular event camera data set, and generate multiple event point pairs at different locations at each time point.
- An event point is characterized separately to obtain an N*N*S-dimensional representation vector, which is sent to the twin neural network, and an M-dimensional description vector is output.
- the neural network is shown in Figure 4.
- (4-2) Calculate the Euclidean distance between the M-dimensional description vectors generated by the corresponding point pair, and adjust the neural network parameters to reduce the distance value.
- a representation is established and sent to the trained neural network to generate a description vector.
- characterize all the positions on the same epipolar line in the right sensor in turn, send them to the neural network to generate description vectors, calculate and compare the Euclidean distance between the description vectors generated by the characterization on both sides, and take the smallest distance , And use the position corresponding to the description vector on the right as the matching point.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的双目动态视觉传感器立体匹配方法，包括以下步骤：1)根据双目事件相机数据集中的深度信息生成训练点对；2)构建适用于动态视觉传感器事件流中事件的表征方式；3)根据表征方式对事件训练点对进行表征，并送入孪生神经网络进行训练，并根据训练结果进行立体匹配。与现有技术相比，具有匹配精度高、匹配速度快的优点。
Description
本发明涉及图像匹配技术领域，尤其是涉及一种基于深度学习的双目动态视觉传感器立体匹配方法。
动态视觉传感器通过检测图像亮度的对数强度的变化来输出事件流，其中每个事件都具有位置、极性和时间戳信息。与传统相机相比，其具有延迟低，时间分辨率高，动态范围大等优势。
在传统图像处理技术中，双目立体匹配技术是获得图像深度信息的重要途径。但因传统视觉传感器输出数据量大，耗费资源高，因此传统双目立体匹配技术在移动端的应用受到很大的限制。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的双目动态视觉传感器立体匹配方法。
本发明的目的可以通过以下技术方案来实现：
一种基于深度学习的双目动态视觉传感器立体匹配方法，包括以下步骤：
1)根据双目事件相机数据集中的深度信息生成训练点对；
2)构建适用于动态视觉传感器事件流中事件的表征方式；
3)根据表征方式对事件训练点对进行表征，并送入孪生神经网络进行训练，并根据训练结果进行立体匹配。
所述的步骤1)具体包括以下步骤：
11)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点；
12)根据该兴趣点在左侧传感器内的位置信息及真实深度信息，以极线为限制，将其投影到右侧动态视觉传感器上，获得该兴趣点在右侧传感器内的位置坐标信息，形成训练点对。
所述的步骤12)中，兴趣点在右侧传感器内的位置坐标(x
R，y
R)的计算式为：
其中，(x
L，y
L)为兴趣点在左侧传感器内的位置坐标，d为视差值，z为对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距。
所述的步骤2)中，构建事件的表征方式具体为：
21)以表征点为几何中心，建立边长为L并与传感器视角对齐的正方形区域，将此正方形区域划分为相等的N*N个正方形小区域，N为奇数；
22)选取连续S(S为偶数)个时间间隔Δt，使得表征点的事件时间戳位于
处，统计每个时间间隔Δt内，各小正方形区域内产生的事件数目c
i；
23)将不同时间间隔Δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值，则有：
c
max＝max(c
i)
其中，m
i为归一化后的值，c
max为在不同时间间隔Δt内，统计的各小正方形内事件数最大值；
24)将归一化后的值m
i从小至大的排序，形成N*N*S维表征向量。
所述的步骤3)中，采用孪生神经网络训练事件训练点对具体包括以下步骤：
31)将匹配的训练点对的表征向量送入孪生神经网络，输出其各自的M维描述向量；
32)计算生成的M维描述向量间的欧几里得距离，并调整孪生神经网络的参数，缩小距离值；
33)将不匹配的两个事件点的表征向量送入调整参数后的孪生神经网络，输出各自的M维描述向量；
34)计算不匹配的两个事件点生成的M维描述向量间的欧几里得距离，调整神经网络参数，扩大其距离值；
35)进行立体匹配。
所述的步骤4)中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
与现有技术相比，本发明具有以下优点：
一、本发明能够有效解决针对动态视觉传感器立体匹配的问题，其直接对生成的事件流进行数据处理，可以有效减少计算量，降低所需计算资源，提升匹配速度，易于在移动端进行实现。
二、本发明使用兴趣点周围事件分布信息对兴趣点进行表征，所用信息丰富，稳定性好。并应用大量数据对神经网络进行训练，以基于深度学习的方式进行立体匹配，可以使匹配方法具有较强的鲁棒性，提升匹配准确度。
图1为本发明的立体匹配流程图。
图2为表征方法平面示意图。
图3为局部表征示意图。
图4为孪生神经网络示意图。
下面结合附图和具体实施例对本发明进行详细说明。
实施例
本发明提供了一种基于深度学习的双目动态视觉传感器立体匹配的方法，该方法能够对左右动态视觉传感器输出的事件流进行表征，并通过训练好的神经网络进行匹配，提高匹配准确率的同时提升匹配速度。该方法包括如下步骤：
(1)根据已有双目事件相机的数据集，以其提供的深度信息为基础，生成训练点对；
(2)构建适用于动态视觉传感器事件流事件的表征方法；
(3)用构建的表征方法对事件训练点对进行表征，并送入神经网络进行训练。
在步骤(1)中，事件训练点对的生成方式如下：
(2-1)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点。
(2-2)以传感器左上角顶点为原点，以正右与正下方向分别为x，y正半轴，记录该兴趣点的位置信息(x
L，y
L)。根据双目相机投影原理，其右侧对应点的坐标(x
R，y
R)应满足：
其中，d为视差值，计算公式为：
其中z为该事件点对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距，为已知量。
在步骤(2)中，事件的表征构建方法如下：
(3-1)以表征点为几何中心，建立边长为L并与传感器视角对齐的正方形，将此正方形划分为相等的N*N个正方形小区域，如图2所示。此实施例中，边长L取33个像素值，N取值为11，即存在121个小正方形，每个小正方形的边长为3个像素值。
(3-2)取连续S个时间间隔Δt，使所选取的事件时间戳位于
处，统计每个时间间隔Δt内，各小正方形区域内产生的事件数目c
i，示意图如图3所示。
(3-3)将不同时间间隔Δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值。归一化公式为：
c
max＝max(c
i)
其中，m
i为归一化后的值，c
max为在不同时间间隔Δt内，统计的各小正方形内事件数最大值。
(3-4)将m
i从小至大的排序，形成一个N*N*S维表征向量。
在步骤(3)中，对表征的训练方法如下：
(4-1)运用步骤(1)所述方法，在现有双目事件相机数据集上，取多个不同时间点，并在每一个时间点不同位置处生成多个事件点对，对每一个事件点分别进行表征，获得N*N*S维表征向量，送入到孪生神经网络中，输出M维描述向量。本实施例中，神经网络如图4所示。
(4-2)计算对应点对所生成的M维描述向量间的欧几里得距离，调整神经网络参 数，使得其距离值缩小。
(4-3)同理，将不匹配的两个事件点的表征送入上述神经网络，输出各自的M维描述向量。
(4-4)计算不匹配点对两个向量间的欧几里得距离，调整神经网络参数，扩大其距离值，训练过程中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
(4-5)进行立体匹配。
针对左侧动态视觉传感器每一个新生成的事件，建立表征，并送入训练好的神经网络生成描述向量。同时，对右侧传感器中同一极线上的所有位置依次建立表征，送入神经网络生成描述向量，计算两侧表征所生成描述向量间的欧几里得距离并进行比较，取其距离最小者，将该右侧描述向量所对应的位置作为匹配点。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
Claims (6)
- 一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，包括以下步骤：1)根据双目事件相机数据集中的深度信息生成训练点对；2)构建适用于动态视觉传感器事件流中事件的表征方式；3)根据表征方式对事件训练点对进行表征，并送入孪生神经网络进行训练，并根据训练结果进行立体匹配。
- 根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤1)具体包括以下步骤：11)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点；12)根据该兴趣点在左侧传感器内的位置信息及真实深度信息，以极线为限制，将其投影到右侧动态视觉传感器上，获得该兴趣点在右侧传感器内的位置坐标信息，形成训练点对。
- 根据权利要求2所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤12)中，兴趣点在右侧传感器内的位置坐标(x R,y R)的计算式为：
其中，(x L,y L)为兴趣点在左侧传感器内的位置坐标，d为视差值，z为对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距。 - 根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤2)中，构建事件的表征方式具体为：21)以表征点为几何中心，建立边长为L并与传感器视角对齐的正方形区域，将此正方形区域划分为相等的N*N个正方形小区域；22)选取连续S个时间间隔Δt，使得表征点的事件时间戳位于处，统计每个时间间隔Δt内，各小正方形区域内产生的事件数目c i；
23)将不同时间间隔Δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值，则有：
c max＝max(c i)其中，m i为归一化后的值，c max为在不同时间间隔Δt内，统计的各小正方形内事件数最大值；24)将归一化后的值m i从小至大的排序，形成N*N*S维表征向量。 - 根据权利要求1所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤3)中，采用孪生神经网络训练事件训练点对具体包括以下步骤：31)将匹配的训练点对的表征向量送入孪生神经网络，输出其各自的M维描述向量；32)计算生成的M维描述向量间的欧几里得距离，并调整孪生神经网络的参数，缩小距 离值；33)将不匹配的两个事件点的表征向量送入调整参数后的孪生神经网络，输出各自的M维描述向量；34)计算不匹配的两个事件点生成的M维描述向量间的欧几里得距离，调整神经网络参数，扩大其距离值；35)进行立体匹配。
- 根据权利要求5所述的一种基于深度学习的双目动态视觉传感器立体匹配方法，其特征在于，所述的步骤4)中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910044239.1 | 2019-01-17 | ||
| CN201910044239.1A CN109801314B (zh) | 2019-01-17 | 2019-01-17 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020147574A1 true WO2020147574A1 (zh) | 2020-07-23 |
Family
ID=66559622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2019/130224 WO2020147574A1 (zh) | 2019-01-17 | 2019-12-31 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109801314B (zh) |
| WO (1) | WO2020147574A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801314B (zh) * | 2019-01-17 | 2020-10-02 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
| CN110414558B (zh) * | 2019-06-24 | 2021-07-20 | 武汉大学 | 基于事件相机的特征点匹配方法 |
| CN110399908B (zh) * | 2019-07-04 | 2021-06-08 | 西北工业大学 | 基于事件型相机的分类方法和装置、存储介质、电子装置 |
| CN110599414B (zh) * | 2019-08-28 | 2021-08-03 | 武汉大学 | 一种面向事件相机数据处理的时空归一化方法 |
| CN111127532B (zh) * | 2019-12-31 | 2020-12-22 | 成都信息工程大学 | 基于深度学习特征光流的医学图像形变配准方法及*** |
| CN111696143B (zh) * | 2020-06-16 | 2022-11-04 | 清华大学 | 一种事件数据的配准方法与*** |
| CN113222945B (zh) * | 2021-05-19 | 2024-02-09 | 西安电子科技大学 | 基于双目事件相机的深度信息测量方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160203614A1 (en) * | 2015-01-14 | 2016-07-14 | Samsung Electronics Co., Ltd. | Method and apparatus of detecting object using event-based sensor |
| CN107403154A (zh) * | 2017-07-20 | 2017-11-28 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
| WO2018219931A1 (en) * | 2017-05-29 | 2018-12-06 | Universität Zürich | Block-matching optical flow and stereo vision for dynamic vision sensors |
| CN109801314A (zh) * | 2019-01-17 | 2019-05-24 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017011814A1 (en) * | 2015-07-16 | 2017-01-19 | Blast Motion Inc. | Multi-sensor event detection and tagging system |
| US9934557B2 (en) * | 2016-03-22 | 2018-04-03 | Samsung Electronics Co., Ltd | Method and apparatus of image representation and processing for dynamic vision sensor |
| CN108073929B (zh) * | 2016-11-15 | 2023-11-24 | 北京三星通信技术研究有限公司 | 基于动态视觉传感器的物体检测方法及设备 |
| CN108986223A (zh) * | 2017-05-31 | 2018-12-11 | 上海拆名晃信息科技有限公司 | 一种三维场景重建的方法与装置 |
| CN107180215B (zh) * | 2017-05-31 | 2020-01-31 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
-
2019
- 2019-01-17 CN CN201910044239.1A patent/CN109801314B/zh not_active Expired - Fee Related
- 2019-12-31 WO PCT/CN2019/130224 patent/WO2020147574A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160203614A1 (en) * | 2015-01-14 | 2016-07-14 | Samsung Electronics Co., Ltd. | Method and apparatus of detecting object using event-based sensor |
| WO2018219931A1 (en) * | 2017-05-29 | 2018-12-06 | Universität Zürich | Block-matching optical flow and stereo vision for dynamic vision sensors |
| CN107403154A (zh) * | 2017-07-20 | 2017-11-28 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
| CN109801314A (zh) * | 2019-01-17 | 2019-05-24 | 同济大学 | 一种基于深度学习的双目动态视觉传感器立体匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| PAUL ROGISTER ; RYAD BENOSMAN ; SIO-HOI IENG ; PATRICK LICHTSTEINER ; TOBI DELBRUCK: "Asynchronous Event-Based Binocular Stereo Matching", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, vol. 23, no. 2, 29 February 2012 (2012-02-29), pages 347 - 353, XP011406609, ISSN: 2162-237X, DOI: 10.1109/TNNLS.2011.2180025 * |
| ZHANG, XINYU ET AL: "Overview of Deep Learning Intelligent Driving Methods", JOURNAL OF TSINGHUA UNIVERSITY SCIENCE AND TECHNOLOGY, vol. 58, no. 4, 31 December 2018 (2018-12-31), ISSN: 1000-0054 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109801314B (zh) | 2020-10-02 |
| CN109801314A (zh) | 2019-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020147574A1 (zh) | 一种基于深度学习的双目动态视觉传感器立体匹配方法 | |
| CN110991266B (zh) | 一种双目人脸活体检测方法及装置 | |
| WO2021179772A1 (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
| WO2017121058A1 (zh) | 一种全光信息采集*** | |
| CN109163657A (zh) | 一种基于双目视觉三维重建的圆形目标位姿检测方法 | |
| CN103617615B (zh) | 径向畸变参数获取方法及获取装置 | |
| WO2018209969A1 (zh) | 深度图创建方法与***及图像虚化方法与*** | |
| CN104537616A (zh) | 鱼眼图像畸变的校正方法 | |
| CN108833912A (zh) | 一种摄像机机芯光轴中心和视场角的测量方法及*** | |
| CN106780389A (zh) | 一种基于坐标转换的鱼眼图像校正方法及装置 | |
| CN104123725B (zh) | 一种单线阵相机单应性矩阵h的计算方法 | |
| CN109656033A (zh) | 一种区分液晶显示屏灰尘和缺陷的方法及装置 | |
| CN103106650A (zh) | 利用三个两两不同心圆求解摄像机内参数 | |
| CN105139336B (zh) | 一种多通道全景影像转换球幕鱼眼影片的方法 | |
| WO2020143499A1 (zh) | 一种基于动态视觉传感器的角点检测方法 | |
| WO2019127319A1 (zh) | 头戴式显示设备的畸变测量方法及*** | |
| CN110441737B (zh) | 一种采用鱼眼镜头的声源定位方法及其设备 | |
| CN106558081A (zh) | 标定非中心轴对称***的圆锥折反射摄像机的方法 | |
| CN116310131A (zh) | 一种考虑多视图融合策略的三维重建方法 | |
| CN103278104B (zh) | 一种用于dic测量的双相机***的标定板及其标定方法 | |
| CN106595595A (zh) | 一种基于深度传感器的室内机器人定向方法 | |
| CN106296797A (zh) | 一种三维扫描仪特征点建模数据处理方法 | |
| CN110349209A (zh) | 基于双目视觉的振捣棒定位方法 | |
| CN105719290A (zh) | 一种使用时域视觉传感器的双目立体深度匹配方法 | |
| CN105678775A (zh) | 一种基于机器学习的颜色校正评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19910146 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19910146 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19910146 Country of ref document: EP Kind code of ref document: A1 |