CN106952247B - 一种双摄像头终端及其图像处理方法和*** - Google Patents
一种双摄像头终端及其图像处理方法和*** Download PDFInfo
- Publication number
- CN106952247B CN106952247B CN201710161892.7A CN201710161892A CN106952247B CN 106952247 B CN106952247 B CN 106952247B CN 201710161892 A CN201710161892 A CN 201710161892A CN 106952247 B CN106952247 B CN 106952247B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- points
- depth map
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 22
- 230000001502 supplementing effect Effects 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 101100391181 Dictyostelium discoideum forH gene Proteins 0.000 claims 1
- 239000013589 supplement Substances 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract 2
- 238000004364 calculation method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域,提出了一种双摄像头终端及其图像处理方法和***。本发明通过双摄像头终端的两个摄像头分别采集第一图像和第二图像;对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;根据拼接图像的尺寸,对初始深度图进行匹配扩张,并补充扩张区域的深度值,得到扩张深度图;根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理。本发明能够兼顾图像虚化效果与计算量问题,且能够将相机视场内的视觉信息完全输出,充分利用双摄像机的功能和作用。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种双摄像头终端及其图像处理方法和***。
背景技术
随着计算机视觉技术的发展,双摄像头移动终端已经流行,现阶段,移动终端双摄像头设备主要是为了满足用户的拍照需求。然而,由于摄像设备的价格昂贵,以及因为设备体积、重量和移动终端体积的市场要求的冲突,要制造出能够与专业摄像机拍摄效果媲美的移动终端是非常困难的,一是成本高,二是制造工艺有限。为了能够以较低的成本得到较好的照片,人们利用数字图像处理技术模仿专业摄像机的拍摄效果,对拍摄得到的图像进行增强、滤波、虚化模糊等操作。
目前已经提出一些数字图像虚化处理方法,例如基于物体空间的景深渲染方法、基于图像空间的景深渲染方法等,基于物体空间的方法其计算作用于三维场景表示,并且直接在渲染管线中计算景深效果。基于图像空间的方法,也称之为后处理方法,是作用图像上,利用场景深度图的信息对清晰场景图像做模糊处理。
但是这些方法在处理图像的时候存在操作繁琐、计算量大,且都是基于双摄像头的其中一幅图像进行处理,最终输出的也只是一个摄像头拍摄出的图像,这会造成输出的图像不能够完全呈现相机的实际视场,没有好好的发挥双摄像头的作用,在一定程度上浪费资源。
发明内容
为解决上述技术问题,本发明提供一种双摄像头终端、还提出了基于双摄像头终端的图像处理方法和***,本发明能够兼顾图像虚化效果与计算量问题,且能够将相机视场内的视觉信息完全输出,充分利用双摄像机的功能和作用。
方案一
本发明提供的一种基于双摄像头终端的图像处理方法,主要包括以下步骤:
采集图像:通过双摄像头终端的两个摄像头分别采集第一图像和第二图像;
获取初始深度图:对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;
图像拼接:将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;
深度图扩张:根据拼接图像的尺寸,对初始深度图进行匹配扩张,并补充扩张区域的深度值,得到扩张深度图;
图像虚化:根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理。
方案二
本发明还一种双摄像头终端,所述终端包括第一图像采集器、第二图像采集器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;
所述第一图像采集器用于采集第一图像;
所述第二图像采集器用于采集第二图像;
所述处理器执行所述程序时实现以下步骤:通过双摄像头终端的两个摄像头分别采集第一图像和第二图像;
对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;
将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;
根据拼接图像的尺寸,对初始深度图进行匹配扩张,并补充扩张区域的深度值,得到扩张深度图;
根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理。
方案三
本发明还提出了一种基于双摄像头终端的图像处理***,所述***包括:
第一图像采集模块,用于采集第一图像;
第二图像采集模块,用于采集第二图像;
深度提取模块,用于对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;
图像拼接模块,将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;
深度扩展模块,根据拼接图像的尺寸,对初始深度图进行匹配扩张,并补充扩张区域的深度值,得到扩张深度图;
图像虚化模块,根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理。
本发明的有益效果是:
1.利用一种半密集的立体匹配算法,能够得到精确度高的深度图,同时,对于图像拼接也有好的拼接精度。
2.将深度图的获取和图像拼接同时进行,大大减少了运行时间,节约内存。
3.对图像进行分层,进行虚化处理,通过自适应修改虚化参数,能够有很好的虚化效果,且计算量小。
4.本发明输出的拼接图像,能够将双目相机视场内的信息输出,充分利用双摄像机的功能和作用。
5.根据拼接图像扩张深度图,能够获得相机整个视场深度信息。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1本发明流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
方案一:一种基于双摄像头终端的图像处理方法
如图1所示,本发明公开了一种适用于具备双摄像头的移动终端的图像处理方法,主要包括以下步骤:
S100,采集图像:通过双摄像头终端的两个摄像头分别采集第一图像和第二图像;
S200,获取初始深度图:对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;
S300,图像拼接:将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;
S400,深度图扩张:根据拼接图像的尺寸,对初始深度图进行匹配扩张,并补充扩张区域的深度值,得到扩张深度图;
S500,图像虚化:根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理。
本发明中,上述的获取初始深度图步骤S200和图像拼接步骤S300的执行顺序可以根据实际需求而定,例如,执行采集图像步骤S100后,可先进行获取初始深度图步骤S200,然后再进行图像拼接步骤S300;还可以在执行采集图像步骤S100后,先进行图像拼接步骤S300,然后再进行获取初始深度图步骤S200;当然,在执行采集图像步骤S100后,还可以同时进行获取初始深度图步骤S200和图像拼接步骤S300。
进一步的,本发明中采集图像步骤S100,还可包括图像预处理步骤,分别对第一图像和第二图像进行增强、去噪等预处理。
进一步的,本发明中所述的立体匹配包括稀疏匹配和稠密匹配,所述获取初始深度图步骤S200包括以下子步骤:
S201,稀疏匹配:分别提取第一图像和第二图像的特征点,并对第一图像的特征点和第二图像的特征点进行稀疏匹配,将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点,第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点,且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对。
S202,稠密匹配:根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配,将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点,将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点,且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对。
S203,计算初始深度图:根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息,得到初始深度图。
在步骤S201中提取第一图像和第二图像的特征点时,可利用SIFT算法(尺度不变特征点提取算法)分别对第一图像和第二图像进行特征点提取。可先使用高斯滤波器对第一图像/第二图像进行若干次连续滤波建立第一个尺度组。再把第一图像/第二图像减小到原来的一半进行同样的高斯滤波形成第二个尺度组之后,重复操作直到第一图像/第二图像小于某一给定阈值为止;接下来对每个尺度组中的高斯图像进行差分形成高斯差分尺度组。然后取这些高斯差分第一图像/第二图像中的局部极值便得到了尺度空间域上第一图像/第二图像的特征点。
在对第一图像的特征点和第二图像的特征点进行稀疏匹配时,可通过计算两个特征点之间的欧氏距离来刻画两个特征点之间的匹配特性,即找出与第一图像中特征点pi的欧氏距离最近和次近的在第二图像中两个邻近特征点描述符q′i和q″i,计算q′i与pi以及q″i与pi两组特征点之间欧氏距离的比值r,如果比值r小于规定阈值则将该组特征点视为匹配成功,否则将该组特征点视为匹配失败,匹配失败的点不再是特征点。将匹配成功的两个特征点作为稀疏匹配同名点对,分别将稀疏匹配同名点对的两个特征点作为第一稀疏匹配同名点和第二稀疏匹配同名点。
进一步的,在对第一图像和第二图像进行稠密匹配时,可通过以下方式实现:
S2021:以第一稀疏匹配同名点为支撑点,对第一图像进行三角剖分,得到若干个第一图像三角形;以第二稀疏匹配同名点为支撑点,对第二图像进行三角剖分,得到若干个第二图像三角形;可优选Delaunay三角剖分进行处理。
S2022:根据第一图像三角形和第二图像三角形的稀疏匹配关系,估计图像视差,得到估计视差图。
如在采用Delaunay三角剖分进行处理时,Delaunay三角形中任何像素点p的估计视差d,估计视差dp由该像素点的坐标和该像素点在Delaunay三角形平面的拟合参数估计得到,具体如下数学表达式所示:
dp=aup+bvp+c
其中,a,b,c为参数,其值通过拟合该像素点所在Delaunay三角形平面获得;(up,vp)为该像素点p在图像中的坐标。
S2023:以第一图像作为参考图像,利用估计视差图,将第一图像中的像素点与第二图像中的像素点进行匹配,相互匹配成功的像素点作为第一稠密匹配同名点和第二稠密匹配同名点。
由于稀疏匹配不能够得到稠密的视差图,对于图像拼接而言,也是不能够得到精准的图像配准。因此,需要对第一图像和第二图像进行稠密匹配。本发明通过跟据已完成匹配的点,构建Delaunay三角形,其他所有非匹配点的视差根据视差Delaunay三角形进行估计,从而完成匹配。
在计算初始深度图时,根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息,得到初始深度图。具体的:根据第一稠密匹配同名点和第二稠密匹配同名点xl,xr,利用视差求取公式D=|xl-xr|求得视差D,再根据深度图计算公式:得到初始深度图,其中,B是相机基线长度,f为相机主距,下标l和r分别表示第一图像和第二图像。
进一步的,本发明在进行图像拼接时,主要包括以下子步骤:
S301,建立一张空图像,空图像I的长为第一图像和第二图像的长之和,空图像I的宽为第一图像的宽;
S302,利用第一初始投影变换矩阵将第一图像的像素点坐标信息投影到空图像中;利用第二初始投影变换矩阵将第二图像的像素点坐标信息投影到空图像中,得到第一像素点坐标图像;
S303,根据像素点坐标中相互匹配的第一稠密匹配同名点和第二稠密匹配同名点的坐标信息,对第一初始投影变换矩阵和第二初始投影变换矩阵进行优化校准,以使第一稠密匹配同名点和第二稠密匹配同名点重合和/或其之间的间距在预设的误差范围内,得到第一投影变换矩阵Hl和第二投影变换矩阵Hr;
S304,通过第一投影变换矩阵Hl将第一图像的像素点坐标信息重新投影到空图像中,同时根据该空图像中的第一稠密匹配同名点的坐标信息,过第二投影变换矩阵Hr将第二图像的像素点坐标信息投影到空图像中,得到第二像素点坐标图像;
S305,根据第一稠密匹配同名点的像素点坐标信息,将第一图像中没有立体匹配成功的像素点的像素点坐标信息匹配投影到空图像中;根据第二稠密匹配同名点的像素点坐标信息,将第二图像中没有立体匹配成功的像素点的像素点坐标信息匹配投影到空图像中;
S306,根据第一图像和第二图像在空图像中各个像素点的像素点坐标信息,将第一图像和第二图像的像素点值赋值在空图像的相应位置处,得到拼接图像。
具体为:计算第一投影变换矩阵Hl和第二投影变换矩阵Hr时,对于第一图像上的像素点(xl,yl)与拼接图像上像素点(x,y)的转换关系,如下:
利用超过4组的同名匹配点代入上式,即可求得图像变换矩阵Hl。但是,为了得到精确的第一投影变换矩阵Hl,本发明通过重复N次,对随机采样的稠密匹配同名点进行计算,得到N个第一投影变换矩阵Hl i,i=1,2,...N,可将计算N个第一投影变换矩阵的均值作为最终的第一投影变换矩阵即同理的,也可得到第二图像与拼接图像的第二投影变换矩阵Hr。
由于上述求得的深度图只是对应于一个摄像头拍摄的图像,它不能够将相机的整个视场的深度信息呈现出来。但是深度图仅仅能够呈现出左、右图像能够匹配的点的信息,对于始终都无匹配的点,特别是一些边缘点,他们的深度信息在深度图上没有呈现出来。为了得到能够与拼接后的图像相对应的深度图,本发明利用深度图扩充的方法,得到一张能够呈现相机整个视场的深度的估计深度图。
进一步的,所述深度图扩张步骤S400主要包括以下子步骤:
S401:生成与拼接图像的尺寸相同的空深度图,将初始深度图的深度信息投影到空深度图中,得到第二深度图;
S402:如果第二深度图中的某像素点p的深度信息为空,则将距离该像素点p最近的且深度信息不为空的像素点q的深度信息赋值给该像素点q,得到扩张深度图。
进一步的,本发明所述图像虚化步骤主要包括以下子步骤:
S501,采集目标深度值Z;
S502,根据深度值Z、扩张深度图的深度信息及预设的聚焦层深度下限值Th1和聚焦层深度上限值Th2,对拼接图像进行分层处理,其中Th1=Z-a,Th2=Z-b,a,b分别为两个常数系数;将拼接图像中对应的深度值Zi∈[Th1,Th2]的像素点作为聚焦层,其余像素点作为离焦层;
S503,对聚焦层进行对比度均衡化处理;
S504,对离焦层中不同深度值的区域,自适应匹配不同的虚化系数以进行虚化处理。
方案二:一种双摄像头终端
本发明还提出了一种双摄像头终端,所述终端包括第一图像采集器、第二图像采集器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;
所述第一图像采集器用于采集第一图像;
所述第二图像采集器用于采集第二图像;
所述处理器执行所述程序时实现以下步骤:通过双摄像头终端的两个摄像头分别采集第一图像和第二图像;
对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;
将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;
根据拼接图像的尺寸,对初始深度图进行匹配扩张,并补充扩张区域的深度值,得到扩张深度图;
根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理。
特别的,本发明中双摄像头移动终端的处理器能执行所述程序时,能够实现方案一所述方法中各个实施方式所记载的步骤及子步骤。
本发明中所述双摄像头终端可以为相机、手机、平板、移动电脑等双摄像头移动设备。
方案三:一种基于双摄像头终端的图像处理***
一种基于双摄像头终端的图像处理***,所述***主要包括第一图像采集模块、第二图像采集模块、深度提取模块、图像拼接模块、深度扩展模块和图像虚化模块。
所述第一图像采集模块,用于采集第一图像。
所述第二图像采集模块,用于采集第二图像。
所述深度提取模块,用于对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图。
所述图像拼接模块,将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像。
所述深度扩展模块,根据拼接图像的尺寸,对初始深度图进行匹配扩张,并补充扩张区域的深度值,得到扩张深度图。
所述图像虚化模块,根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理。
进一步的,所述深度提取模块包括稀疏匹配模块、稠密匹配模块和深度图生成模块。
所述稀疏匹配模块用于对第一图像的特征点和第二图像的特征点进行稀疏匹配,将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点,第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点,且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对。
所述稠密匹配模块用于根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配,将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点,将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点,且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对。
所述深度图生成模块用于根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息,得到初始深度图。
特别的,本发明中所述第一图像采集模块还可以用于执行步骤S100及其子步骤,所述第二图像采集模块还可以用于执行步骤S100及其子步骤,所述深度提取模块还可以用于执行步骤S200及其子步骤,所述图像拼接模块还可以用于执行步骤S300及其子步骤,所述深度扩展模块还可以用于执行步骤S400及其子步骤,所述图像虚化模块还可以用于执行步骤S500及其子步骤。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (8)
1.一种基于双摄像头终端的图像处理方法,其特征在于,所述方法包括以下步骤:
采集图像:通过双摄像头终端的两个摄像头分别采集第一图像和第二图像;
获取初始深度图:对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;图像拼接:将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;
深度图扩张:根据拼接图像的尺寸,生成与拼接图像的尺寸相同的空深度图,对初始深度图进行匹配扩张,将初始深度图的深度信息投影到空深度图中,并补充扩张区域的深度值,得到扩张深度图;
图像虚化:根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理;
所述立体匹配包括稀疏匹配和稠密匹配,所述获取初始深度图步骤包括以下子步骤:S201,稀疏匹配:分别提取第一图像和第二图像的特征点,并对第一图像的特征点和第二图像的特征点进行稀疏匹配,将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点,第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点,且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对; S202,稠密匹配:根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配,将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点,将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点,且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对; S203,计算初始深度图:根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息,得到初始深度图。
2.根据权利要求1所述的一种基于双摄像头终端的图像处理方法,其特征在于,所述子步骤S202包括以下子步骤: S2021:以第一稀疏匹配同名点为支撑点,对第一图像进行三角剖分,得到若干个第一图像三角形;以第二稀疏匹配同名点为支撑点,对第二图像进行三角剖分,得到若干个第二图像三角形; S2022:根据第一图像三角形和第二图像三角形的稀疏匹配关系,估计图像视差,得到估计视差图; S2023:以第一图像作为参考图像,利用估计视差图,将第一图像中的像素点与第二图像中的像素点进行匹配,相互匹配成功的像素点作为第一稠密匹配同名点和第二稠密匹配同名点。
3.根据权利要求1所述的一种基于双摄像头终端的图像处理方法,其特征在于,所述获取初始深度图步骤还包括子步骤: S204,优化初始深度图:将第一图像作为参考图像,利用参考图像的边缘信息对初始深度图进行优化。
4.根据权利要求1所述的一种基于双摄像头终端的图像处理方法,其特征在于,所述图像拼接步骤包括以下子步骤: S301,建立一张空图像,空图像I的长为第一图像和第二图像的长之和,空图像I的宽为第一图像的宽; S302,利用第一初始投影变换矩阵将第一图像的像素点坐标信息投影到空图像中;利用第二初始投影变换矩阵将第二图像的像素点坐标信息投影到空图像中,得到第一像素点坐标图像; S303,根据像素点坐标中相互匹配的第一稠密匹配同名点和第二稠密匹配同名点的坐标信息,对第一初始投影变换矩阵和第二初始投影变换矩阵进行优化校准,以使第一稠密匹配同名点和第二稠密匹配同名点重合和/或其之间的间距在预设的误差范围内,得到第一投影变换矩阵H l 和第二投影变换矩阵H r ;S304,通过第一投影变换矩阵H l 将第一图像的像素点坐标信息重新投影到空图像中,同时根据该空图像中的第一稠密匹配同名点的坐标信息,过第二投影变换矩阵H r将第二图像的像素点坐标信息投影到空图像中,得到第二像素点坐标图像; S305,根据第一稠密匹配同名点的像素点坐标信息,将第一图像中没有立体匹配成功的像素点的像素点坐标信息匹配投影到空图像中;根据第二稠密匹配同名点的像素点坐标信息,将第二图像中没有立体匹配成功的像素点的像素点坐标信息匹配投影到空图像中; S306,根据第一图像和第二图像在空图像中各个像素点的像素点坐标信息,将第一图像和第二图像的像素点值赋值在空图像的相应位置处,得到拼接图像。
5.根据权利要求1所述的一种基于双摄像头终端的图像处理方法,其特征在于,所述深度图扩张步骤包括以下子步骤: S401:生成与拼接图像的尺寸相同的空深度图,将初始深度图的深度信息投影到空深度图中,得到第二深度图; S402:如果第二深度图中的某像素点p的深度信息为空,则将距离该像素点p最近的且深度信息不为空的像素点q的深度信息赋值给该像素点q,得到扩张深度图。
6.根据权利要求1所述的一种基于双摄像头终端的图像处理方法,其特征在于,所述图像虚化步骤包括以下子步骤: S501,采集目标深度值Z; S502,根据预设的聚焦层深度下限值Th1、聚焦层深度上限值Th2和扩张深度图的深度信息,对拼接图像进行分层处理;将拼接图像中对应的深度值∈[Z- Th1,Z + Th2]的像素点作为聚焦层,其余像素点作为离焦层;S503,对聚焦层进行对比度均衡化处理; S504,对离焦层中不同深度值的区域,自适应匹配不同的虚化系数以进行虚化处理。
7.一种双摄像头终端,其特征在于,所述终端包括第一图像采集器、第二图像采集器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;所述第一图像采集器用于采集第一图像;所述第二图像采集器用于采集第二图像;所述处理器执行所述程序时实现以下步骤:通过双摄像头终端的两个摄像头分别采集第一图像和第二图像;对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;根据拼接图像的尺寸,生成与拼接图像的尺寸相同的空深度图,对初始深度图进行匹配扩张,将初始深度图的深度信息投影到空深度图中,并补充扩张区域的深度值,得到扩张深度图;根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理;
所述立体匹配包括稀疏匹配和稠密匹配,获取初始深度图步骤包括以下子步骤:稀疏匹配:分别提取第一图像和第二图像的特征点,并对第一图像的特征点和第二图像的特征点进行稀疏匹配,将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点,第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点,且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对;稠密匹配:根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配,将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点,将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点,且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对;计算初始深度图:根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息,得到初始深度图。
8.一种基于双摄像头终端的图像处理***,其特征在于:所述***包括:
第一图像采集模块,用于采集第一图像;
第二图像采集模块,用于采集第二图像;
深度提取模块,用于对所述第一图像和所述第二图像进行立体匹配,得到所述第一图像与所述第二图像之间的初始深度图;
图像拼接模块,将所述第一图像和所述第二图像投影到预设的空图像中,并将所述第一图像和所述第二图像的像素赋值到所述空图像中,得到拼接图像;
深度扩展模块,根据拼接图像的尺寸,生成与拼接图像的尺寸相同的空深度图,对初始深度图进行匹配扩张,将初始深度图的深度信息投影到空深度图中,并补充扩张区域的深度值,得到扩张深度图;
图像虚化模块,根据所述扩张深度图的深度信息,对所述拼接图像进行虚化处理;
所述深度提取模块包括稀疏匹配模块、稠密匹配模块和深度图生成模块;
所述稀疏匹配模块用于对第一图像的特征点和第二图像的特征点进行稀疏匹配,将第一图像中稀疏匹配成功的特征点作为第一稀疏匹配同名点,第二图像中稀疏匹配成功的特征点作为第二稀疏匹配同名点,且相互匹配的第一稀疏匹配同名点和第二稀疏匹配同名点组成稀疏匹配同名点对;
所述稠密匹配模块用于根据稀疏匹配同名点对对第一图像和第二图像的像素点进行稠密匹配,将第一图像中稠密匹配成功的像素点作为第一稠密匹配同名点,将第二图像中稠密匹配成功的像素点作为第二稠密匹配同名点,且相互匹配的第一稠密匹配同名点和第二稠密匹配同名点组成稠密匹配同名点对;
所述深度图生成模块用于根据稠密匹配同名点对计算第一图像与第二图像之间包含的深度信息,得到初始深度图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710161892.7A CN106952247B (zh) | 2017-03-17 | 2017-03-17 | 一种双摄像头终端及其图像处理方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710161892.7A CN106952247B (zh) | 2017-03-17 | 2017-03-17 | 一种双摄像头终端及其图像处理方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106952247A CN106952247A (zh) | 2017-07-14 |
CN106952247B true CN106952247B (zh) | 2020-06-23 |
Family
ID=59473615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710161892.7A Active CN106952247B (zh) | 2017-03-17 | 2017-03-17 | 一种双摄像头终端及其图像处理方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106952247B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109274785B (zh) * | 2017-07-17 | 2021-04-16 | 中兴通讯股份有限公司 | 一种信息处理方法及移动终端设备 |
CN107623806B (zh) * | 2017-08-02 | 2020-04-14 | 中控智慧科技股份有限公司 | 图像处理方法及相关产品 |
CN109087271A (zh) * | 2018-09-28 | 2018-12-25 | 珠海格力电器股份有限公司 | 实现录像虚化的方法、***和手机 |
WO2021120107A1 (en) * | 2019-12-19 | 2021-06-24 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating captured image and electrical device |
CN111324267B (zh) * | 2020-02-18 | 2021-06-22 | Oppo(重庆)智能科技有限公司 | 图像显示方法及相关装置 |
CN112001848B (zh) * | 2020-09-07 | 2022-04-26 | 鹏祥智慧保安有限公司 | 大数据监控***中的图像识别拼接方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101499166A (zh) * | 2009-03-16 | 2009-08-05 | 北京中星微电子有限公司 | 一种图像拼接方法及装置 |
CN104331872A (zh) * | 2014-11-26 | 2015-02-04 | 中测新图(北京)遥感技术有限责任公司 | 图像拼接方法 |
CN104463775A (zh) * | 2014-10-31 | 2015-03-25 | 小米科技有限责任公司 | 一种实现图片景深效果的方法及装置 |
-
2017
- 2017-03-17 CN CN201710161892.7A patent/CN106952247B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101499166A (zh) * | 2009-03-16 | 2009-08-05 | 北京中星微电子有限公司 | 一种图像拼接方法及装置 |
CN104463775A (zh) * | 2014-10-31 | 2015-03-25 | 小米科技有限责任公司 | 一种实现图片景深效果的方法及装置 |
CN104331872A (zh) * | 2014-11-26 | 2015-02-04 | 中测新图(北京)遥感技术有限责任公司 | 图像拼接方法 |
Non-Patent Citations (2)
Title |
---|
CONSTRUCTION OF A 3D DEPTH MAP FROM BINOCULAR STEREO;Wojciech Mokrzycki;《ResearchGate》;19940228;第1-15页 * |
一种用于立体图像匹配的改进稀疏匹配算法;陈佳坤 等;《计算机技术与发展》;20111031;第21卷(第10期);第64-65页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106952247A (zh) | 2017-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106952247B (zh) | 一种双摄像头终端及其图像处理方法和*** | |
CN110363858B (zh) | 一种三维人脸重建方法及*** | |
CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
CN107392958B (zh) | 一种基于双目立体摄像机确定物体体积的方法及装置 | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
CN112116639B (zh) | 一种图像配准方法、装置及电子设备和存储介质 | |
JP6883608B2 (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
US20120114175A1 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
KR102415505B1 (ko) | 스테레오 영상 매칭 방법 및 장치 | |
CN103440653A (zh) | 双目视觉立体匹配方法 | |
EP3308323B1 (en) | Method for reconstructing 3d scene as 3d model | |
CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及*** | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
CN115457176A (zh) | 一种图像生成方法、装置、电子设备及存储介质 | |
CN117132737B (zh) | 一种三维建筑模型构建方法、***及设备 | |
CN117456114B (zh) | 基于多视图的三维图像重建方法及*** | |
CN117274605B (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
CN113034666B (zh) | 一种基于金字塔视差优化代价计算的立体匹配方法 | |
CN117152330B (zh) | 一种基于深度学习的点云3d模型贴图方法和装置 | |
US11475629B2 (en) | Method for 3D reconstruction of an object | |
CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |