CN112308985B - 一种车载图像拼接方法、***以及装置 - Google Patents
一种车载图像拼接方法、***以及装置 Download PDFInfo
- Publication number
- CN112308985B CN112308985B CN202011211542.5A CN202011211542A CN112308985B CN 112308985 B CN112308985 B CN 112308985B CN 202011211542 A CN202011211542 A CN 202011211542A CN 112308985 B CN112308985 B CN 112308985B
- Authority
- CN
- China
- Prior art keywords
- image
- initial
- images
- weight
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 93
- 238000013178 mathematical model Methods 0.000 claims abstract description 48
- 238000005070 sampling Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种车载图像拼接方法、图像拼接***以及图像拼接装置,以将获取的至少两个初始图像映射到三维数学模型中以形成至少两个转化图像,且相邻两个转化图像的重叠区重叠且图像内容相同。并将相邻两个转化图像中一者的一侧朝向另一者拉伸,直至相邻两个转化图像的重叠区的图像内容重合;之后,根据融合权重图,查找位于相邻两个所述转化图像中一者的重叠区内的每个所述第一采样点对应的第一权重值,用1减去第一权重值,以得到相邻两个所述转化图像中另一者的重叠区内与第一采样点的目标图像内容相同的第二采样点对应的第二权重值。使得相邻两个转化图像中的同一目标图像在融合时的权重和为1,以防止出现融合亮度异常的问题。
Description
技术领域
本发明涉及图像拼接领域,特别涉及一种车载图像拼接方法、***以及装置。
背景技术
随着汽车的普及,越来越多的汽车进入千家万户,人民生活消费水平的不断提高,汽车的数量也不断的增多,大家对车内电器的智能化要求越来越高,智能汽车中ADAS、车载360全景影像都成为高配车型的重要配置。车载3D环视***利用安装在车辆四周的广角摄像头重构车辆以及周围场景,生成车载环视全景图像。驾驶员可以通过观察全景图像安全泊车、避开障碍物和消除视觉盲区,达到安全行车的目的。
车载环视***的概念由k.kato等人于2006年首先提出。之后,各种主动安全技术如行车线检测、停车位检测跟踪和辅助泊车、运动物体检测被应用在车载环视***上。Byeongchaen Jeon等人于2015年提出了高分辨率全景环视***的解决方案。这些方案的特点都是使用多路相机来完成实际场景的建模,产生包括2D和伪3D的视觉效果。其中相机的个数根据实际车型来确定,一般家用轿车都是采用4路鱼眼相机来进行建模的,最终的目的就是将多路相机的图像统一到同一个视觉坐标系下,形成一个完整的视场供驾驶员来观察车辆周围的情况。
在现有图像拼接时,相邻相机的图像在拼接融合区采用渐入渐出的融合策略,该策略通过OpenGL的图像混合功能实现。OpenGL中的颜色混合公式为:Cresult=Fsrc*Csrc+Fdst*Cdst,其中,Csrc表示来自于纹理的源颜色;Cdst表示存储在缓冲区的目标颜色;Fdst表示源因子值,即源颜色的融合权重。Cdst表示目标因子值,即目标颜色的融合权重。在OpenGL中将源图像和目标图像的A通道值作为融合权重。而在基于OpenGL平台进行图像拼接时,在解决相邻图像拼接时出现的重影问题时,通常将相邻图像其中之一朝向其中另一进行拉伸,这样导致被拉伸的图像上的点的纹理坐标更新,而被拉伸的转化图像对应的融合权重图并未更新,如此使得相邻两个转化图像中同一目标图像融合时权重和不等于1,进而导致的相邻两个转化图像融合时亮度出现异常。
发明内容
本发明的目的在于提供车载图像拼接方法、***以及装置,以解决现有的车载图像拼接方法进行图像拼接时,融合区的图像与其对应的融合权重不匹配而导致的融合亮度异常的问题。
为解决上述问题,本发明提供一种车载图像拼接方法,包括:
获取至少两个初始图像;
构建具有世界坐标系的三维数学模型,将至少两个所述初始图像依次映射到所述三维数学模型中,以形成至少两个转化图像,相邻两个所述转化图像的重叠区重叠且图像内容相同;
获得每个所述转化图像对应的融合权重图,并将相邻两个所述转化图像中一者朝向另一者拉伸,直至相邻两个所述转化图像的重叠区图像内容重合;
在相邻两个所述转化图像中一者对应的所述融合权重图中,查找位于相邻两个所述转化图像中一者的重叠区内的每个第一采样点对应的第一权重值,以计算位于相邻两个所述转化图像中另一者的重叠区内的每个与所述第一采样点对应的目标图像内容相同的第二采样点的第二权重值;其中,所述第一权重值和所述第二权重值和为1;
根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合,以生成拼接图像。
可选的,获得每个所述转化图像对应的融合权重图的方法包括:
根据每个所述初始图像对应的拼接缝获取初始融合权重图,更新所述初始融合权重图以获得所述融合权重图。
可选的,根据每个所述初始图像对应的拼接缝获得初始融合权重图的方法包括:
获取每个所述初始图像对应的拼接缝位置;
根据所述初始图像对应的拼接缝位置,获得所述初始融合权重图对应的图像区域;
将所述初始融合权重图对应的图像区域内每一个映射点的权重设为1,以获得所述初始融合权重图。
可选的,根据所述初始图像对应的拼接缝位置,获得所述初始融合权重图对应的图像区域的方法包括:
将所述初始图像对应的拼接缝映射至所述三维数学模型中,并与所述三维数学模型的模型边界和模型原点构成初始图像区域;
将所述初始图像区域中的每个初始点映射至图像获取设备模型中,以得到多个映射点,多个所述映射点构成所述初始融合权重图对应的图像区域。
可选的,更新所述初始融合权重图以获取所述融合权重图的方法包括:
根据权重计算公式,计算所述初始融合权重图与所述初始图像的重叠区对应区域的重叠区权重,根据所述重叠区权重更新所述初始融合权重图与所述初始图像的重叠区对应区域的权重值,以获取所述融合权重图。
可选的,所述权重计算公式为:w=0.25θ+0.5-0.25θs;
其中,θ为所述初始融合权重图与所述初始图像的重叠区对应的区域上的点,与所述三维数学模型原点之间的连线和X轴之间夹角,θs为拼接缝与X轴之间夹角。
可选的,根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合的方法包括:
根据公式RGBresult=(1-Adst)*RGBsrc+Adst*RGBdst,计算相邻所述重叠区融合后的像素值,以对相邻所述重叠区进行融合;
其中,RGBresult表示相邻所述重叠区融合后的像素值,RGBsrc表示相邻所述转化图像中一者的像素值,RGBdst表示相邻两个所述转化图像中另一者对应的像素值,Adst表示第二权重值。
可选的,所述车载图像拼接方法还包括:
在生成所述拼接图像之前,按照预定顺序对所述转化图像进行渲染;
或在生成所述拼接图像的同时,所述拼接图像的渲染权重值为1。
可选的,所述拼接图像的渲染权重值为1的方法包括:
根据公式Aresult=1*Asrc+0*Adst计算所述渲染权重值,并使所述渲染权重值为1;
其中,Aresult表示所述渲染权重值,Adst表示所述第一权重值,Asrc表示所述第二权重值;Asrc的值为1,Adst不为1。
可选的,按照预定顺序对所述转化图像进行渲染的顺序为:
先渲染所述转化图像中对应的所述第一权重值不为1的部分,再渲染所述转化图像中对应的所述第二权重值为1的部分。
未解决上述问题,本发明还提供一种车载图像拼接***,包括:
图像获取模块,用于获取至少两个初始图像;
三维数学模型构建模块,用于构建具有世界坐标系的三维数学模型,将至少两个所述初始图像依次映射到所述三维数学模型中,以形成至少两个转化图像,相邻两个所述转化图像的重叠区重叠且图像内容相同;
数据处理模块,用于获得每个所述转化图像对应的融合权重图,并将相邻两个所述转化图像中一者朝向另一者拉伸,直至相邻两个所述转化图像的重叠区图像内容重合,并用于在相邻两个所述转化图像中一者对应的所述融合权重图中,查找位于相邻两个所述转化图像中一者的重叠区内的每个第一采样点对应的第一权重值,以计算位于相邻两个所述转化图像中另一者的重叠区内的每个与所述第一采样点对应的目标图像内容相同的第二采样点的第二权重值;其中,所述第一权重值和所述第二权重值和为1;
图像拼接模块,用于根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合,以生成拼接图像。
为解决上述问题,本发明还提供一种车载图像拼接装置,包括中控主机和上述所述的车载图像拼接***;
其中,所述图像获取模块包括图像获取设备,所述图像获取设备与中控主机相连接,并将获取的所述初始图像传输至所述中控主机进行图像处理从而完成图像拼接;
所述三维数学模型构建模块、所述数据处理模块和所述图像拼接模块设置于所述中控主机中。
本发明的一种图像拼接方法,其通过构建三维数学模型,将获取的至少两个初始图像映射到三维数学模型中以形成至少两个转化图像,且相邻两个转化图像的重叠区重叠且图像内容相同。并将相邻两个转化图像中一者的一侧朝向另一者拉伸,直至相邻两个转化图像的重叠区的图像内容重合;之后,根据融合权重图,查找位于相邻两个所述转化图像中一者的重叠区内的每个所述第一采样点对应的第一权重值,用1减去第一权重值,以得到相邻两个转化图像中另一者的重叠区内与第一采样点的目标图像内容相同的第二采样点对应的第二权重值。如此,使得相邻两个转化图像中的同一目标图像在融合时的权重和为1,如此以防止出现融合亮度异常的问题。
附图说明
图1是本发明一实施例中的车载图像拼接方法的流程图;
图2为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的构建方程示意图;
图3为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的模型示意图;
图4为本发明一实施例中的车载图像拼接方法中的融合权重图的示意图;
图5是本发明一实施例中的车载图像拼接***的示意图;
图6是本发明一实施例中的车载图像拼接装置的示意图;
附图标记
A1-碗沿; A2-碗底;
1-图像获取模块; 2-三维数学模型构建模块;
3-数据处理模块; 4-图像拼接模块;
100-中控主机; 200-车载以太网络。
具体实施方式
以下结合附图和具体实施例对本发明提出的车载图像拼接方法、***以及装置作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
图1是本发明一实施例中的车载图像拼接方法的流程示意图。在本实施例中,如图1所示本实施例的车载图像拼接方法包括如下步骤S10~S50。
在步骤S10中,获取至少两个初始图像。在本步骤中,通过至少两个图像获取设备获取至少两个初始图像,其中,至少两个所述初始图像位于车辆周围。
所述至少两个图像获取设备可以为鱼眼摄像头,具体的实施例中例如可设置有四个所述鱼眼摄像头,并将四个所述鱼眼摄像头分别设置在车身的前、后、左、右的位置,例如设置在车辆车身的车头、车尾、左后视镜以及右后视镜以实时获取车辆周围区域的图像。其中,通过至少两个图像获取设备获取的车辆周围的至少两个初始图像的图像内容可以包括地面部分和空中部分,地面部分的图像可以包括地面的人行道斑马线、马路路沿等,空中部分的图像可以包括行人,周围车辆,红绿灯等。
在步骤S20中,构建具有世界坐标系的三维数学模型,将至少两个所述初始图像依次映射到所述三维数学模型中,以形成至少两个转化图像,相邻两个所述转化图像的重叠区重叠且图像内容相同。
图2为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的构建方程示意图。图3为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的模型示意图。如图2和图3所示,在本实施例中,所述三维数学模型为三维碗状数学模型,构建所述三维碗状数学模型的构建方程如图2所示,X、Y、Z为世界坐标系,其中X0Y表示地面地面,0表示车辆在地面投影的几何中心,0Y表示汽车前进方向,0Z表示旋转轴,0R0P表示母线,碗型曲面由母线绕旋转轴旋转而成,以及构建三维碗状模型的母线方程公式如公式(1)所示。
其中,R0表示碗底A2的半径,所述碗底A2的半径R0与车辆尺寸相关,所述碗底A2的半径R0的尺寸通常比车辆尺寸的二分之一大100cm左右,在本实施例中,所述碗底A2的半径R0的尺寸为250cm~350cm,较佳的,所述碗底A2的半径R0的尺寸300cm;其中,相机坐标系和世界坐标系的单位均为cm。
以及,k为碗沿A1的调节系数,在本实施例中,通过所述碗沿A1的调节系数K调节所述碗沿A1与所述碗底A2之间的相对大小,即K值越大,所述碗沿A1对应的区域越大。而不论所述碗沿A1的区域过大,所述碗底A2的区域过小,还是所述碗底A2的区域过小,所述碗沿A1的区域过大,均会导致拼接效果不佳,故需给所述碗沿A1的调节系数k赋予合适范围的值。在本实施例中,k值的范围为0.1~0.2。较佳的,本实施例中,K值的范围为0.15。
进一步的,在构建上述所述的具有世界坐标系对的三维数学模型之后,将获取的车辆周围的至少两个初始图像依次映射到所述三维数学模型中,以形成至少两个转化图像,其中,相邻所述转化的重叠区重叠且图像内容相同。比如,前视相机获取的图像和右边视相机获取的图像均具有相同的重叠区,该重叠区具有相同的图像内容,比如红绿灯。
在步骤S30中,获得每个所述转化图像对应的融合权重图,并将相邻两个所述转化图像中一者的一侧朝向另一者拉伸,直至相邻两个所述转化图像的重叠区的图像内容重合。
其中,在本实施例中,获得每个所述转化图像的融合权重图的方法包括:根据每个所述初始图像对应的拼接缝获取初始融合权重图,更新所述初始融合权重图以获得所述融合权重图。
进一步的,在本实施例中,根据每个所述初始图像对应的拼接缝获得初始融合权重图的方法包括如下步骤一到步骤三。
在步骤一中,获取每个所述初始图像对应的所述拼接缝L的位置。在本实施例中,以车辆的位置为中心,以车辆的前后左右四个角其中之一为拼接缝的起始点A1,起始点A1和位于所述初始图像远离车辆的边缘的结束点B1之间的连线为拼接缝L。在本实施例中,每个所述初始图像对应的所述拼接缝L的位置由所述拼接缝L与所述三维碗状数学模型X轴之间的夹角θs确定;其中,所述所述θs的角度范围为40°~50°之间。
在步骤二中,根据所述初始图像对应的拼接缝L的位置,获得所述初始融合权重图对应的图像区域。
其中,在本实施例中,获得所述初始融合权重图对应的图像区域的方法可以包括如下步骤。
首先,将所述初始图像对应的拼接缝L映射至所述三维数学模型中,并与所述三维数学模型的模型边界和模型原点构成初始图像区域。
具体的,在本实施例中,将所述拼接缝L分为第一段L1和第二段L2,其中第一段L1为位于地面的部分的拼接缝,第二段L2为位于空中的部分的拼接缝。将所述第一段L1映射至所述三维碗状数学模型碗底,并将第二段L2根据所述三维碗状数学模型的母线方程映射至所述三维碗状数学模型碗沿部分。根据上述映射方法,将所述初始图像对应的左右两条拼接缝L均映射至所述三维碗状数学模型中。之后,左右两条经映射后的所述拼接缝L和所述三维碗状数学模型的模型边界以及模型原点构成初始图像区域,在本实施例中,所述模型原点为车辆四角中相邻两个角的连线。
之后,将所述初始图像区域中的每个初始点映射至图像获取设备模型中,以得到多个映射点,多个所述映射点构成所述初始融合权重图对应的图像区域。
在步骤三中,将所述图像区域内的每一个映射点的权重设为1,如此,以得到所述初始融合权重图。
图4为本发明一实施例中的车载图像拼接方法中的权重图的示意图。进一步的,在本实施例中,更新所述初始融合权重图以获取所述融合权重图的方法包括:根据权重计算公式即公式(2)计算所述初始融合权重图与所述初始图像的重叠区对应的区域的重叠区权重,根据所述重叠区权重更新所述初始融合权重图与所述初始图像的重叠区对应的区域的权重值,以获取所述融合权重图。
在本实施例中,所述权重计算公式为:w=0.25θ+0.5-0.25θs—公式(2)。
其中,θ为所述初始融合权重图与所述初始图像的重叠区对应的区域上的点与所述三维数学模型原点之间的连线和X轴之间夹角的角度,θs为拼接缝与X轴之间夹角的角度。通过上述权重计算公式计算,以更新所述初始融合权重图与所述初始图像的重叠区对应的区域的权重值,以获得如图4所示的融合权重图,在本实施例中,图4中全白的部分表示权重为1的区域,全黑的部分表示权重为0的区域,黑色和白色之间的灰色部分表示如图通过公式(2)计算后得到的所述重叠区的权重。
进一步的,将相邻两个所述转化图像中一者朝向另一者拉伸,直至相邻两个所述转化图像的重叠区的图像内容重合。在本实施例中,通过拉伸之后,以使相邻两个所述转化图像的重叠区的图像内容重合,则可使后续进行融合时,重叠区进行融合的点的图像内容相同,以防止出现拼接不良的问题。对所述转化图像进行拉伸的方法在此不做过多描述。此外,在本实施例中,获得每个所述转化图像对应的所述融合权重图和拉伸相邻两个所述转化图像的顺序不做具体限定。可先获得每个所述转化图像对应的所述融合权重图,也可先对相邻两个所述转化图像进行拉伸。
在步骤S40中,在相邻两个所述转化图像中一者对应的所述融合权重图中,查找位于相邻两个所述转化图像中一者的重叠区内的每个所述第一采样点P1对应的第一权重值D1,以计算位于所述另一者的重叠区内的每个与所述第一采样点P1对应的目标图像内容相同的第二采样点P2的第二权重值D2,其中,所述第一权重值D1和所述第二权重值D2和为1。在本实施例中,由于D1+D2=1,则所述第二权重值D2=1-D1。
本实施例的一种车载图像拼接方法,其通过构建三维数学模型,将获取的至少两个初始图像映射到三维数学模型中以形成至少两个转化图像,且相邻两个转化图像的重叠区重叠且图像内容相同。并将相邻两个所述转化图像中一者的一侧朝向另一者拉伸,直至相邻两个所述转化图像的重叠区的图像内容重合。之后,根据融合权重图,查找位于相邻两个所述转化图像中一者的重叠区内的每个所述第一采样点P1对应的第一权重值D1,用1减去第一权重值D1,以得到相邻两个所述转化图像中另一者的重叠区内与第一采样点P1的目标图像内容相同的第二采样点P2对应的第二权重值D2。进而使得相邻两个转化图像中的同一目标图像在融合时的权重和为1,如此以防止出现融合亮度异常的问题。
进一步的,本实施例的图像拼接方法基于OpenGL平台进行,其中,在OpenGL中,纹理图像采用RGBA格式,其中A通道保存的是融合权重。在融合时,先将相邻两个所述转化图像中另一者存入缓冲区,作为目标图像,再将相邻两个所述转化图像中一者作为源图像,与相邻两个所述转化图像中另一者进行融合,之后将融合后的图像在显示设备中显示出来,如此以将所有所述转化图像均融合后将拼接图像在显示设备显示出来。
在本实施例中,获取的所述初始图像为2N个,将所述初始图像依次映射至所述三维数学模型中形成2N个依次设置的所述转化图像,其中,N大于等于1。具体的,例如在图像获取设备为4个,获取的所述初始图像为4个,且映射后形成的所述转化图像为4个时。可先将所述前视相机对应的前视转化图像和所述后视相机对应的后视转化图像作为存入缓冲区以作为目标图像,再将所述右视相机对应的右视转化图像和所述左视相机对应的所述左视转化图像作为源图像,以与所述前视转化图像和所述后视转化图像进行融合。
在本实施例中,根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合的方法包括:根据公式(3)计算相邻所述重叠区融合后的像素值,以对相邻所述重叠区进行融合。
RGBresult=(1-Adst)*RGBsrc+Adst*RGBdst—公式(3)
其中,RGBresult表示相邻所述重叠区融合后的像素值,RGBsrc表示源图像(即相邻所述转化图像其中一者)的像素值,RGBdst为目标图像(即相邻所述转化图像其中另一者)的像素值,Adst为目标图像的融合权重值(即第二权重值)。
在步骤S50中,根据所述第一权重值D1和所述第二权重值D2对相邻所述重叠区进行融合,以生成拼接图像。在本实施例中,融合以生成所述拼接图像的方法不做过多描述。
进一步的,在生成拼接图像之前,所述方法还包括:按照预定顺序对所述转化图像进行渲染。在本实施例中,应用OpenGL平台渲染后在显示设备中进行显示。其中,所述显示设备可以为电脑、手机、平板等。其中,按照预定顺序对所述转化图像进行渲染的顺序为先渲染所述转化图像中对应的第一权重值不为1的部分,之后渲染所述转化图像中对应的第二权重值为1的部分。
以及,在生成所述拼接图像的同时,所述方法还包括:所述拼接图像的渲染权重值为1。在本实施例中,使所述拼接图像的渲染权重值为1,则融合所述转化图像时背景融合权重为0,如此则应用OpenGL平台进行图像拼接时可避免出现平台渲染异常的问题。
在本实施例中,所述拼接图像的渲染权重值为1的方法包括:根据公式(4)计算以使所述预定渲染权重值设为1。
Aresult=1*Asrc+0*Adst—公式(4)
其中,所述Aresult表示所述预定权重值,Adst表示所述第一权重值,Asrc表示所述第二权重值,所述Asrc的值为1,所述Adst不为1。
图5是本发明一实施例中的车载图像拼接***的示意图。如图5所示,本实施例还公开一种车载图像拼接***,所述车载图像拼接***包括:
图像获取模块1,用于获取至少两个初始图像;
三维数学模型构建模块2,用于构建具有世界坐标系的三维数学模型,将至少两个所述初始图像依次映射到所述三维数学模型中,以形成至少两个转化图像,相邻两个所述转化图像的重叠区重叠且图像内容相同;
数据处理模块3,用于获得每个所述转化图像对应的融合权重图,并将相邻两个所述转化图像中一者朝向另一者拉伸,直至相邻两个所述转化图像的重叠区图像内容重合,并用于在相邻两个所述转化图像中一者对应的所述融合权重图中,查找位于相邻两个所述转化图像中一者的重叠区内的每个第一采样点对应的第一权重值,以计算位于相邻两个所述转化图像中另一者的重叠区内的每个与所述第一采样点对应的目标图像内容相同的第二采样点对应的第二权重值;其中,所述第一权重值和所述第二权重值和为1。
图像拼接模块4,用于根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合,以生成拼接图像。
图6是本发明一实施例中的车载图像拼接装置的示意图。如图6所示,本实施例还公开一种车载图像拼接装置,其中,所述车载图像拼接装置包括中控主机100和和上述车载图像拼接***。其中,所述图像获取模块1包括图像获取设备,所述图像获取设备与所述中空主机相连接,并将获取的所述初始图像传输至所述中控主机进行图像处理从而完成图像拼接;所述三维数学模型构建模块2、所述数据处理模块3和所述图像拼接模块4位于所述中控主机中。
其中,在本实施例中,所述图像获取设备1为鱼眼相机,所述鱼眼相机的数量为4个,其中,4个所述图像获取设备1分别安装于车身的前、后、左、右的位置。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (10)
1.一种车载图像拼接方法,其特征在于,包括:
获取至少两个初始图像;
构建具有世界坐标系的三维数学模型,将至少两个所述初始图像依次映射到所述三维数学模型中,以形成至少两个转化图像,相邻两个所述转化图像的重叠区重叠且图像内容相同;
获得每个所述转化图像对应的融合权重图,并将相邻两个所述转化图像中一者朝向另一者拉伸,直至相邻两个所述转化图像的重叠区图像内容重合;
在相邻两个所述转化图像中一者对应的所述融合权重图中,查找位于相邻两个所述转化图像中一者的重叠区内的每个第一采样点对应的第一权重值,以计算位于相邻两个所述转化图像中另一者的重叠区内的每个与所述第一采样点对应的目标图像内容相同的第二采样点对应的第二权重值;其中,所述第一权重值和所述第二权重值和为1;
根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合,以生成拼接图像;
其中,获得每个所述转化图像对应的融合权重图的方法包括:
根据每个所述初始图像对应的拼接缝获取初始融合权重图,更新所述初始融合权重图以获得所述融合权重图;
更新所述初始融合权重图以获取所述融合权重图的方法包括:
根据权重计算公式,计算所述初始融合权重图与所述初始图像的重叠区对应区域的重叠区权重,根据所述重叠区权重更新所述初始融合权重图与所述初始图像的重叠区对应区域的权重值,以获取所述融合权重图。
2.如权利要求1所述的车载图像拼接方法,其特征在于,根据每个所述初始图像对应的拼接缝获得初始融合权重图的方法包括:
获取每个所述初始图像对应的拼接缝位置;
根据所述初始图像对应的拼接缝位置,获得所述初始融合权重图对应的图像区域;
将所述初始融合权重图对应的图像区域内每一个映射点的权重设为1,以获得所述初始融合权重图。
3.如权利要求2所述的车载图像拼接方法,其特征在于,根据所述初始图像对应的拼接缝位置,获得所述初始融合权重图对应的图像区域的方法包括:
将所述初始图像对应的拼接缝映射至所述三维数学模型中,并与所述三维数学模型的模型边界和模型原点构成初始图像区域;
将所述初始图像区域中的每个初始点映射至图像获取设备模型中,以得到多个映射点,多个所述映射点构成所述初始融合权重图对应的图像区域。
4.如权利要求1所述的车载图像拼接方法,其特征在于,所述权重计算公式为:w=0.25θ+0.5-0.25θs;
其中,θ为所述初始融合权重图与所述初始图像的重叠区对应的区域上的点,与所述三维数学模型原点之间的连线和X轴之间夹角,θs为拼接缝与X轴之间夹角。
5.如权利要求1所述的车载图像拼接方法,其特征在于,根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合的方法包括:
根据公式RGBresult=(1-Adst)*RGBsrc+Adst*RGBdst,计算相邻所述重叠区融合后的像素值,以对相邻所述重叠区进行融合;
其中,RGBresult表示相邻所述重叠区融合后的像素值,RGBsrc表示相邻所述转化图像中一者的像素值,RGBdst表示相邻两个所述转化图像中另一者对应的像素值,Adst表示第二权重值。
6.如权利要求1所述的车载图像拼接方法,其特征在于,所述车载图像拼接方法还包括:
在生成所述拼接图像之前,按照预定顺序对所述转化图像进行渲染;
以及在生成所述拼接图像的同时,所述拼接图像的渲染权重值为1。
7.如权利要求6所述的车载图像拼接方法,其特征在于,所述拼接图像的渲染权重值为1的方法包括:
根据公式Aresult=1*Asrc+0*Adst计算所述渲染权重值,并使所述渲染权重值为1;
其中,Aresult表示所述渲染权重值,Adst表示所述第一权重值,Asrc表示所述第二权重值;Asrc的值为1,Adst不为1。
8.如权利要求6所述的车载图像拼接方法,其特征在于,按照预定顺序对所述转化图像进行渲染的顺序为:
先渲染所述转化图像中对应的所述第一权重值不为1的部分,再渲染所述转化图像中对应的所述第二权重值为1的部分。
9.一种车载图像拼接***,其特征在于,包括:
图像获取模块,用于获取至少两个初始图像;
三维数学模型构建模块,用于构建具有世界坐标系的三维数学模型,将至少两个所述初始图像依次映射到所述三维数学模型中,以形成至少两个转化图像,相邻两个所述转化图像的重叠区重叠且图像内容相同;
数据处理模块,用于获得每个所述转化图像对应的融合权重图,并将相邻两个所述转化图像中一者朝向另一者拉伸,直至相邻两个所述转化图像的重叠区图像内容重合,并用于在相邻两个所述转化图像中一者对应的所述融合权重图中,查找位于相邻两个所述转化图像中一者的重叠区内的每个第一采样点对应的第一权重值,以计算位于相邻两个所述转化图像中另一者的重叠区内的每个与所述第一采样点对应的目标图像内容相同的第二采样点对应的第二权重值;其中,所述第一权重值和所述第二权重值和为1;
图像拼接模块,用于根据所述第一权重值和所述第二权重值对相邻所述重叠区进行融合,以生成拼接图像;
其中,所述数据处理模块获得每个所述转化图像对应的融合权重图的方法包括:
根据每个所述初始图像对应的拼接缝获取初始融合权重图,更新所述初始融合权重图以获得所述融合权重图;
更新所述初始融合权重图以获取所述融合权重图的方法包括:
根据权重计算公式,计算所述初始融合权重图与所述初始图像的重叠区对应区域的重叠区权重,根据所述重叠区权重更新所述初始融合权重图与所述初始图像的重叠区对应区域的权重值,以获取所述融合权重图。
10.一种车载图像拼接装置,其特征在于,包括中控主机和权利要求9所述的一种车载图像拼接***;
其中,所述图像获取模块包括图像获取设备,所述图像获取设备与所述中控主机相连接,并将获取的所述初始图像传输至所述中控主机进行图像处理从而完成图像拼接;
所述三维数学模型构建模块、所述数据处理模块和所述图像拼接模块设置于所述中控主机中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011211542.5A CN112308985B (zh) | 2020-11-03 | 2020-11-03 | 一种车载图像拼接方法、***以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011211542.5A CN112308985B (zh) | 2020-11-03 | 2020-11-03 | 一种车载图像拼接方法、***以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308985A CN112308985A (zh) | 2021-02-02 |
CN112308985B true CN112308985B (zh) | 2024-02-02 |
Family
ID=74332715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011211542.5A Active CN112308985B (zh) | 2020-11-03 | 2020-11-03 | 一种车载图像拼接方法、***以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308985B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732485A (zh) * | 2015-04-21 | 2015-06-24 | 深圳市深图医学影像设备有限公司 | 一种数字化x线图像的拼接方法及*** |
CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像***的红外全景图的生成方法 |
CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
CN111028190A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111369486A (zh) * | 2020-04-01 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种图像融合处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104680501B (zh) * | 2013-12-03 | 2018-12-07 | 华为技术有限公司 | 图像拼接的方法及装置 |
-
2020
- 2020-11-03 CN CN202011211542.5A patent/CN112308985B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732485A (zh) * | 2015-04-21 | 2015-06-24 | 深圳市深图医学影像设备有限公司 | 一种数字化x线图像的拼接方法及*** |
CN107784632A (zh) * | 2016-08-26 | 2018-03-09 | 南京理工大学 | 一种基于红外热成像***的红外全景图的生成方法 |
CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
CN111028190A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN111369486A (zh) * | 2020-04-01 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种图像融合处理方法及装置 |
Non-Patent Citations (3)
Title |
---|
Towards the automatic selection of optimal seam line locations when merging optical remote-sensing images;Le Yu;Journal of remote sensing;第33卷(第4期);1000-1014 * |
图像拼接中权重的改进设计研究;谢晶梅;广东工业大学学报;第34卷(第6期);49-53,67 * |
基于权重量化与信息压缩的车载图像超分辨率重建;许德智;计算机应用;第39卷(第12期);3644-3649 * |
Also Published As
Publication number | Publication date |
---|---|
CN112308985A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107792179B (zh) | 一种基于车载环视***的泊车引导方法 | |
US20200108775A1 (en) | Vehicle-trailer rearview vision system and method | |
CA3069114C (en) | Parking assistance method and parking assistance device | |
US8514282B2 (en) | Vehicle periphery display device and method for vehicle periphery image | |
CN104185009B (zh) | 前方路缘观察***中的增强的俯瞰视图生成 | |
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
CN108621948A (zh) | 车辆全景环视***及全景环视图像生成方法 | |
JP3286306B2 (ja) | 画像生成装置、画像生成方法 | |
CN103802725B (zh) | 一种新的车载驾驶辅助图像生成方法 | |
CN110381255A (zh) | 应用360全景环视技术的车载视频监控***及方法 | |
CN111376895B (zh) | 一种环视泊车感知方法、装置、自动泊车***和车辆 | |
JP6213567B2 (ja) | 予測進路提示装置及び予測進路提示方法 | |
CN103871071A (zh) | 一种用于全景泊车***的摄像头外参标定方法 | |
KR20190047027A (ko) | 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법 | |
CN105321160B (zh) | 三维立体全景泊车的多摄像头标定方法 | |
CN210139859U (zh) | 汽车碰撞预警***、导航***及汽车 | |
CN104057882A (zh) | 基于双摄像机的前方路缘观察*** | |
CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
JP2004240480A (ja) | 運転支援装置 | |
CN107240065A (zh) | 一种3d全景图像生成***和方法 | |
CN107146255A (zh) | 全景图像误差校正方法及装置 | |
JP2022095303A (ja) | 周辺画像表示装置、表示制御方法 | |
CN110400255B (zh) | 车辆全景影像的生成方法、***和车辆 | |
CN115273525B (zh) | 一种停车位映射显示方法和*** | |
CN113658262A (zh) | 相机外参标定方法、装置、***及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |