CN113034671B - 一种基于双目视觉的交通标志牌三维重建方法 - Google Patents
一种基于双目视觉的交通标志牌三维重建方法 Download PDFInfo
- Publication number
- CN113034671B CN113034671B CN202110308082.6A CN202110308082A CN113034671B CN 113034671 B CN113034671 B CN 113034671B CN 202110308082 A CN202110308082 A CN 202110308082A CN 113034671 B CN113034671 B CN 113034671B
- Authority
- CN
- China
- Prior art keywords
- traffic sign
- dimensional
- frame
- plane equation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 4
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双目视觉的交通标志牌三维重建方法,包括S1、交通标志牌识别与轮廓提取;S2、交通标志在连续帧中的跟踪;S3、连续帧跟踪后的图像中确定Host帧和Target帧;S4、在Target帧中构建交通标志牌边缘距离图;S5、基于双目视差,计算Host帧观测到的平面方程参数作为初值;S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交,构建三维点,将三维点重投影到Target帧上的边缘距离图,重投影构建误差函数;S7、调整平面方程的值,改变重投影点位置,优化求解误差函数;S8、基于三维平面方程,获得交通标志牌的朝向信息,并将Host帧的边缘点,作射线与平面方程相交,得到交通标志牌三维点云图。
Description
技术领域
本发明属于图像识别的技术领域,具体涉及一种基于双目视觉的交通标志牌三维重建方法。
背景技术
现有的交通标志牌三维重建技术主要包括以下三种:
1、基于特征点的三维重建;其原理是基于特征点的多视图重建。
2、基于双目视差的三维重建;其原理是基于双目视差重建稠密三维点云。
3、基于片假设的多视图重建技术(Patch-based Multi-view Stereo)。其原理是假设空间由连续的三维小片(Patch)构成,通过优化每个小片的朝向进而完成空间的三维重建。
上述方法都不能很好的解决交通标志牌的三维重建问题。
第一种方法在重建交通标志牌时,只能重建出一些离散的空间三维点,无法获取交通标志牌的几何尺寸和朝向;
第二种方法能够较完整的重建出交通标志牌的形状,但是重建出的三维点云相互独立,缺少约束。且由于双目视差较小,重建出的误差较大,其获取到的朝向信息精度较低;
第三种方法虽然有空间平面假设,但是它并没有把交通标志牌看出一个整体来做优化,其重建出的交通标志牌必然存在多个平面,这不满足实际情况,无法获取交通标志牌的朝向和尺寸信息。
发明内容
本发明的目的在于针对现有技术中的上述不足,提供一种基于双目视觉的交通标志牌三维重建方法,以解决或改善上述的问题。
为达到上述目的,本发明采取的技术方案是:
一种基于双目视觉的交通标志牌三维重建方法,其包括:
S1、获取交通标志牌的图像,并基于双目视差图提取图像中交通标志牌的轮廓;
S2、获取交通标志牌的连续帧图像,并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓;
S3、在连续帧图像中确定Host帧和Target帧;
S4、基于Target帧中的交通标志牌构建边缘距离图;
S5、基于双目视差,计算Host帧观测到的平面方程,作为初值;
S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交,构建三维点,将三维点重投影到Target帧上的边缘距离图,重投影构建误差函数;
S7、调整平面方程的值,改变重投影点位置,优化求解误差函数;
S8、基于三维平面方程,获得交通标志牌的朝向信息,并将Host帧的边缘点,作射线与平面方程相交,得到交通标志牌三维点云图。
优选地,S3在连续帧图像中确定Host帧和Target帧,包括:从连续帧图像中选择1帧作为Host帧,其余帧作为Target帧。
优选地,S4中基于Target帧构建边缘距离图,包括:
计算图像中每一个非零点像素与其最近的零点像素之间的距离,保存每一个非边缘像素点与最近边缘点的距离信息。
优选地,S5中基于双目视差,计算Host帧观测到的平面方程为:
Ax+By+Cz+D=0
其中,参数A,B,C,D是描述平面空间特征的系数,参数(A,B,C)构成的矢量表示平面的法向。
优选地,S6中根据边缘距离图,重投影构建误差函数,包括:
利用Host帧上的边缘点,作射线与平面方程相交,交点构成三维点,将三维点再重投影回Target帧,根据边缘距离图和重投影点与边缘的误差,构建误差函数:
其中,f(A,B,C,D)表示误差函数是参数A,B,C,D的函数,下标i为Target帧的编号,Target共N-1帧;下标j表示投影点的序号,Mi表示第i帧的投影个数;dij(A,B,C,D)表示在第i帧的第j个投影点距离,投影距离是参数A,B,C,D的函数。
优选地,S6中平面方程的求解,包括:
S6.1、提取Host帧的交通标志牌边缘;
S6.2、基于S6.1中的边缘点在相机坐标系下作射线;
S6.3、射线与初值平面方程相交,得到空间三维点;
S6.4、将所得三维点通过相机投影到Target帧,得到投影点;
S6.5、改变平面方程得到不同的投影位置;
S6.6、得到三维点的投影与Target帧提取边缘重合。
优选地,S6.3中射线与初值平面方程相交,得到空间三维点,联立平面方程和相机逆投影公式,求出投影点坐标:
其中,(Xc,Yc,Zc)为当前坐标系下的三维点坐标,f为镜头焦距,Fx、fy为x、y方向的焦距,cx、cy为主点,图像的中心;(u,v)为像素位置;
在已知像素位置(u,v)和平面方程时,通过像素点做射线与平面方程相交,可得空间交点(Xc,Yc,Zc),当改变空间平面方程,空间三维点也将改变。
优选地,相机逆投影公式为:
优选地,像素位置(u,v)为:
优选地,S7中调整平面方程的值,改变重投影点位置,优化求解误差函数,包括:
调整参数A、B、C、D,当误差函数f达到极小值时,所得的参数A、B、C、D即是目标值。
本发明提供的基于双目视觉的交通标志牌三维重建方法,具有以下有益效果:
本发明将重建三维标志牌的一个目标,转换为求解由4个自变量组成的空间三维平面方程,基于该三维平面方程,构建出基于交通标志牌边缘的误差函数;利用优化算法,最小化误差函数,得到优化解;最后利用图像中,交通标志牌的边缘点作射线与空间平面方程相交,由此重建出交通标志牌三维信息。相对于现有技术,本发明重建出的交通标志牌具有完整的几何尺寸和朝向信息,重建过程利用了多个位置的图像信息,大大增加了重建视差,从而提高了重建精度,将交通标志牌假设为一个平面方程,该假设即符合实际情况,又简化重建过程。
附图说明
图1为平面方程优化求解示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
根据本申请的一个实施例,参考图1,本方案的基于双目视觉的交通标志牌三维重建方法,包括:
S1、获取交通标志牌的图像,并基于双目视差图提取图像中交通标志牌的轮廓;
S2、获取交通标志牌的连续帧图像,并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓;
S3、在连续帧图像中确定Host帧和Target帧;
S4、基于Target帧中的交通标志牌构建边缘距离图;
S5、基于双目视差,计算Host帧观测到的平面方程,作为初值;
S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交,构建三维点,将三维点重投影到Target帧上的边缘距离图,重投影构建误差函数;
S7、调整平面方程的值,改变重投影点位置,优化求解误差函数;
S8、基于三维平面方程,获得交通标志牌的朝向信息,并将Host帧的边缘点,作射线与平面方程相交,得到交通标志牌三维点云图。
本发明通过图像识别技术,从图像中识别出交通标志牌,并利用计算机视觉技术从图像中提取出交通标志牌的边缘,在重建交通标志牌时,假设交通标志牌在一个三维平面上,该假设符合实际情况。
根据本申请的一个实施例,以下将对上述步骤进行详细描述;
S1、获取交通标志牌的单帧图像,并基于双目视差图提取图像中交通标志牌的轮廓。
S2、连续帧交通标志牌的提取,按照步骤S1的方式提取三维空间中同一个交通标志牌在图像中的轮廓。
S3、在连续帧图像中确定Host帧和Target帧,用于后续优化误差函数,其方法为:从连续帧图像中选择1帧作为Host帧,其余帧作为Target帧,Host帧的选择原则是:交通标志牌轮廓清晰,交通标志牌完整。
S4、基于Target帧构建边缘距离图,用于计算图像中每一个非零点像素与其最近的零点像素之间的距离,输出的是保存每一个非边缘像素点与最近边缘点的距离信息。
S5、计算平面方程初值;基于双目视差,计算Host帧观测到的平面方程,该方程值作为后续优化的处置。
平面方程公式:
Ax+By+Cz+D=0
公式(1)表示的是三维平面的表达式,其中参数A,B,C,D是描述平面空间特征的系数,也是本实施例要求解的内容,其中,由参数(A,B,C)构成的矢量表示平面的法向。
S6、根据边缘距离图,重投影构建误差函数,其具体包括:
利用Host帧上的边缘点,作射线与平面方程相交,交点构成三维点,该三维点再重投影回Target帧,期望重投影点应该重投影在边缘上,但由于各种误差,投影点的不会恰巧在边缘上,通过S4的距离图,构建出误差函数:
其中,f(A,B,C,D)表示误差函数是参数A,B,C,D的函数,通过调整参数A、B、C、D,当误差函数f达到极小值时,所得的参数A、B、C、D即是目标值;下标i为Target帧的编号,Target共N-1帧;下标j表示投影点的序号,Mi表示第i帧的投影个数;dij(A,B,C,D)表示在第i帧的第j个投影点距离,投影距离是参数A,B,C,D的函数。
S6中平面方程的求解,包括:
S6.1、提取Host帧的交通标志牌边缘;
S6.2、基于S6.1中的边缘点在相机坐标系下作射线;
S6.3、射线与初值平面方程相交,得到空间三维点;
S6.4、将所得三维点通过相机投影到Target帧,得到投影点;
S6.5、改变平面方程得到不同的投影位置;
S6.6、得到三维点的投影与Target帧提取边缘重合。
在S6.3中射线与初值平面方程相交,得到空间三维点,联立平面方程和相机逆投影公式,求出投影点坐标:
其中,(Xc,Yc,Zc)为当前坐标系下的三维点坐标,f为镜头焦距,Fx、fy为x、y方向的焦距,cx、cy为主点,图像的中心;(u,v)为像素位置。
在已知像素位置(u,v)和平面方程时,通过像素点做射线与平面方程相交,可得空间交点(Xc,Yc,Zc),当改变空间平面方程,空间三维点也将改变。
相机逆投影公式为:
像素位置(u,v)为:
S7、优化求解;通过调整平面方程的值,就能够改变重投影点的位置,在该过程中,通过多次迭代,使得误差函数值最小。当误差函数公式达到最小时,完成优化,对应的参数(A,B,C,D)就是。
S8、三维重建,通过三维平面方程,获得交通标志牌的朝向信息,(A,B,C)构成的矢量,就是平面的发现方向,且将Host帧的边缘点,作射线与三维平面方程相交,就能够得到交通标志牌三维点云图。
相对于现有技术,本发明重建出的交通标志牌具有完整的几何尺寸和朝向信息,且在重建过程中利用了多个位置的图像信息,大大增加了重建视差,从而提高了重建精度;并将交通标志牌假设为一个平面方程,该假设即符合实际情况,且简化重建过程。
虽然结合附图对发明的具体实施方式进行了详细地描述,但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内,本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。
Claims (10)
1.一种基于双目视觉的交通标志牌三维重建方法,其特征在于,包括:
S1、获取交通标志牌的图像,并基于双目视差图提取图像中交通标志牌的轮廓;
S2、获取交通标志牌的连续帧图像,并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓;
S3、在连续帧图像中确定Host帧和Target帧;
S4、基于Target帧中的交通标志牌构建边缘距离图;
S5、基于双目视差,计算Host帧观测到的平面方程,作为初值;
S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交,构建三维点,将三维点重投影到Target帧上的边缘距离图,重投影构建误差函数;
S7、调整平面方程的值,改变重投影点位置,优化求解误差函数;
S8、基于三维平面方程,获得交通标志牌的朝向信息,并将Host帧的边缘点,作射线与平面方程相交,得到交通标志牌三维点云图。
2.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述S3在连续帧图像中确定Host帧和Target帧,包括:从连续帧图像中选择1帧作为Host帧,其余帧作为Target帧。
3.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述S4中基于Target帧构建边缘距离图,包括:
计算图像中每一个非零点像素与其最近的零点像素之间的距离,保存每一个非边缘像素点与最近边缘点的距离信息。
4.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述S5中基于双目视差,计算Host帧观测到的平面方程为:
Ax+By+Cz+D=0
其中,参数A,B,C,D是描述平面空间特征的系数,参数(A,B,C)构成的矢量表示平面的法向。
5.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述S6中根据边缘距离图,重投影构建误差函数,包括:
利用Host帧上的边缘点,作射线与平面方程相交,交点构成三维点,将三维点再重投影回Target帧,根据边缘距离图和重投影点与边缘的误差,构建误差函数:
其中,f(A,B,C,D)表示误差函数是参数A,B,C,D的函数,下标i为Target帧的编号,Target共N-1帧;下标j表示投影点的序号,Mi表示第i帧的投影个数;dij(A,B,C,D)表示在第i帧的第j个投影点距离,投影距离是参数A,B,C,D的函数。
6.根据权利要求5所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述S6中平面方程的求解,包括:
S6.1、提取Host帧的交通标志牌边缘;
S6.2、基于S6.1中的边缘点在相机坐标系下作射线;
S6.3、射线与初值平面方程相交,得到空间三维点;
S6.4、将所得三维点通过相机投影到Target帧,得到投影点;
S6.5、改变平面方程得到不同的投影位置;
S6.6、得到三维点的投影与Target帧提取边缘重合。
7.根据权利要求6所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述S6.3中射线与初值平面方程相交,得到空间三维点,联立平面方程和相机逆投影公式,求出投影点坐标:
其中,(Xc,Yc,Zc)为当前坐标系下的三维点坐标,f为镜头焦距,fx、fy为x、y方向的焦距,cx、cy为主点,图像的中心;(u,v)为像素位置;
在已知像素位置(u,v)和平面方程时,通过像素点做射线与平面方程相交,可得空间交点(Xc,Yc,Zc),当改变空间平面方程,空间三维点也将改变。
8.根据权利要求7所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述相机逆投影公式为:
9.根据权利要求7所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述像素位置(u,v)为:
10.根据权利要求5所述的基于双目视觉的交通标志牌三维重建方法,其特征在于,所述S7中调整平面方程的值,改变重投影点位置,优化求解误差函数,包括:
调整参数A、B、C、D,当误差函数f达到极小值时,所得的参数A、B、C、D即是目标值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110308082.6A CN113034671B (zh) | 2021-03-23 | 2021-03-23 | 一种基于双目视觉的交通标志牌三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110308082.6A CN113034671B (zh) | 2021-03-23 | 2021-03-23 | 一种基于双目视觉的交通标志牌三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113034671A CN113034671A (zh) | 2021-06-25 |
CN113034671B true CN113034671B (zh) | 2024-01-09 |
Family
ID=76472811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110308082.6A Active CN113034671B (zh) | 2021-03-23 | 2021-03-23 | 一种基于双目视觉的交通标志牌三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113034671B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2950791A1 (en) * | 2013-08-19 | 2015-02-26 | State Grid Corporation Of China | Binocular visual navigation system and method based on power robot |
CN111899345A (zh) * | 2020-08-03 | 2020-11-06 | 成都圭目机器人有限公司 | 一种基于2d视觉图像的三维重建方法 |
CN111914715A (zh) * | 2020-07-24 | 2020-11-10 | 廊坊和易生活网络科技股份有限公司 | 一种基于仿生视觉的智能车目标实时检测与定位方法 |
CN112348876A (zh) * | 2019-08-08 | 2021-02-09 | 北京地平线机器人技术研发有限公司 | 一种标志牌的空间坐标获取方法及装置 |
-
2021
- 2021-03-23 CN CN202110308082.6A patent/CN113034671B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2950791A1 (en) * | 2013-08-19 | 2015-02-26 | State Grid Corporation Of China | Binocular visual navigation system and method based on power robot |
CN112348876A (zh) * | 2019-08-08 | 2021-02-09 | 北京地平线机器人技术研发有限公司 | 一种标志牌的空间坐标获取方法及装置 |
CN111914715A (zh) * | 2020-07-24 | 2020-11-10 | 廊坊和易生活网络科技股份有限公司 | 一种基于仿生视觉的智能车目标实时检测与定位方法 |
CN111899345A (zh) * | 2020-08-03 | 2020-11-06 | 成都圭目机器人有限公司 | 一种基于2d视觉图像的三维重建方法 |
Non-Patent Citations (1)
Title |
---|
大视场双目立体视觉柔性标定;倪章松;顾艺;柳庆林;陈然;李中伟;;光学精密工程(第07期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113034671A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103971408B (zh) | 三维人脸模型生成***及方法 | |
CN108734776B (zh) | 一种基于散斑的三维人脸重建方法及设备 | |
CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
US9269003B2 (en) | Diminished and mediated reality effects from reconstruction | |
KR101310589B1 (ko) | 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들 | |
CN113160420A (zh) | 一种三维点云重建的方法、装置、电子设备及存储介质 | |
CN113313832B (zh) | 三维模型的语义生成方法、装置、存储介质与电子设备 | |
CN115035235A (zh) | 三维重建方法及装置 | |
Shivakumar et al. | Real time dense depth estimation by fusing stereo with sparse depth measurements | |
CN114494589A (zh) | 三维重建方法、装置、电子设备和计算机可读存储介质 | |
CN113989758A (zh) | 一种用于自动驾驶的锚引导3d目标检测方法及装置 | |
CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
CN111382618A (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
CN117218246A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
CN115375836A (zh) | 基于多元置信度滤波的点云融合三维重建方法和*** | |
Hung et al. | Multipass hierarchical stereo matching for generation of digital terrain models from aerial images | |
CN112489097A (zh) | 基于混合2d卷积和伪3d卷积的立体匹配方法 | |
CN113034671B (zh) | 一种基于双目视觉的交通标志牌三维重建方法 | |
CN115082636B (zh) | 基于混合高斯网络的单图像三维重建方法及设备 | |
CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
US8977037B1 (en) | Methods and systems of creating a stereoscopic image | |
CN116012666B (zh) | 图像生成、模型的训练、信息重建方法、装置及电子设备 | |
Jeong et al. | Stereo matching with confidence-region decomposition and processing | |
CN116958449B (zh) | 城市场景三维建模方法、装置及电子设备 | |
Prakash et al. | A semi-supervised approach to space carving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |