CN103179424B - 立体图像合成方法及装置 - Google Patents

立体图像合成方法及装置 Download PDF

Info

Publication number
CN103179424B
CN103179424B CN201310100895.1A CN201310100895A CN103179424B CN 103179424 B CN103179424 B CN 103179424B CN 201310100895 A CN201310100895 A CN 201310100895A CN 103179424 B CN103179424 B CN 103179424B
Authority
CN
China
Prior art keywords
image
pixel
resolution
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310100895.1A
Other languages
English (en)
Other versions
CN103179424A (zh
Inventor
李炜
张晓波
刘道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inlife Handnet Co Ltd
Original Assignee
Inlife Handnet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inlife Handnet Co Ltd filed Critical Inlife Handnet Co Ltd
Priority to CN201310100895.1A priority Critical patent/CN103179424B/zh
Publication of CN103179424A publication Critical patent/CN103179424A/zh
Application granted granted Critical
Publication of CN103179424B publication Critical patent/CN103179424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种立体图像合成方法及装置,该方法包括以下步骤:S1.采集两路分别从不同角度对同一物体进行拍摄而取得的,并具有不同分辨率的图像;S2.对所述两路图像中具有较低分辨率的图像进行插值转换,使转换后的图像的分辨率与所述两路图像中具有较高分辨率的图像的分辨率相等;S3.对转换后的图像和所述两路图像中具有较高分辨率的图像进行合成处理,形成立体图像;S4.输出合成后的立体图像。实施本发明的立体图像合成方法及装置,能够将两个分辨率不同的图像合并成立体图像,克服了现有技术中对两路图像分辨率的要求,使得在拍摄立体图像的过程中能够灵活选取不同规格的镜头,提高了立体图像拍摄的灵活性,还能降低立体拍摄装置的成本。

Description

立体图像合成方法及装置
技术领域
本发明涉及图像显示技术,更具体地说,涉及一种立体图像合成方法及装置。
背景技术
现有的立体图像一般是通过两个镜头从不同角度拍摄同一物体,分别获取两个不同的图像,然后在向用户展示的时候,向用户的双眼分别提供所拍摄的两个不同的图像,从而获得立体图像的感觉。在获取图像的时候,必须保证两个图像的分辨率一致,这样才能使用户在观看图像的时候获得真实的立体感。如果分辨率的大小不同,将很难获得立体的影像,这样在拍摄的过程中对镜头参数要求较高,使用灵活性较低。
发明内容
本发明的目的在于,针对现有的立体图像获取技术中对镜头要求较高,灵活性较低的缺陷,提供一种能够用不同分辨率图像合成立体图像的技术,以克服上述缺陷。
本发明的一个方面,提供一种立体图像合成方法,包括以下步骤:
S1、采集两路分别从不同角度对同一物体进行拍摄而取得的,并具有不同分辨率的图像;
S2、对所述两路图像中具有较低分辨率的图像进行插值转换,使转换后的图像的分辨率与所述两路图像中具有较高分辨率的图像的分辨率相等;
S3、对转换后的图像和所述两路图像中具有较高分辨率的图像进行合成处理,形成立体图像;
S4、输出合成后的立体图像。
本发明的立体图像合成方法,其中对低分辨率图像进行插值转换的步骤包括:
S21、对所述具有较低分辨率的图像中的每个像素点在所述具有较高分辨率的图像上查找对应匹配点;若对应所述具有较低分辨率的图像中的一个像素点能在所述具有较高分辨率的图像中找到对应的匹配点,则将所述具有较低分辨率的图像中的该像素点记录为正确匹配点,否则将该像素点记录为错误匹配点;
S22、对相邻两个正确匹配点,查找对应在所述具有较高分辨率的图像中的两个对应像素点,当两个所述相邻的正确匹配点位于同一行时,将所述两个对应像素点之间的像素按列平均后***到所述两个相邻的正确匹配点之间或者当两个所述相邻的正确匹配点位于同一列时,将所述两个对应像素点之间的像素按行平均后***到所述两个相邻的正确匹配点之间,以获得第一插值图像;
S23、在上述步骤S22获得的第一插值图像的相邻像素点间线性***像素点,使得***后的低分辨率图像与高分辨率图像的像素点相等。
本发明的立体图像合成方法,其中步骤S21包括:
S211、以所述具有较低分辨率的图像中的像素点为中点或顶点,选取(2m+1)×(2n+1)的像素点区域作为匹配模板,其中m和n均为在从1到5的范围中选取的自然数;
S212、将匹配模板覆盖到所述具有较高分辨率的图像中与所述具有较低分辨率的图像中的像素点对应的像素点所在的区域;
S213、计算误匹配率,该误匹配率为:
其中,绝对灰度差之和为所述具有较高分辨率的图像中被匹配模板覆盖的区域,与匹配模板中对应像素点灰度值之差的绝对值之和;
S214,设定误匹配率阈值,若误匹配率小于误匹配率阈值,则正确匹配,否则为错误匹配。
本发明的立体图像合成方法,其中步骤S23包括:
S231、比较步骤S22中获得的第一插值图像与具有较高分辨率图像的像素点数,确定第一插值图像中相邻像素点的平均***点数,并向上取整;
S232、依据双线性内插法,向第一插值图像中***像素点;
S233、若***像素点后所述具有较低分辨率的图像的像素点数量多于所述具有较高分辨率的图像的像素点数量,则计算需要在所述具有较低分辨率的图像的每一行或列删除的像素点个数;将该行或列的像素点总数除以需要删除的像素点个数,并向下取整,记为S;从第S+1个像素点开始,每隔S个像素点删除一个像素,直到剩余像素点与所述具有较高分辨率的图像的对应行或列相等。
本发明的立体图像合成方法,其中步骤S3包括:
S31、确定图像合成格式;
S32、若合成格式为全屏肩并肩(full side-by-side)或全屏点并点(fulldot-by-dot)时将所述具有较高分辨率的图像与处理后的所述具有较低分辨率的图像按左右并排或上下并排的方式合成一路图像;若合成格式为半屏肩并肩(half side-by-side)或半屏点并点(half dot-by-dot)时,对两路图像隔行或列取出像素,再按左右并排或上下并排的方式合成一路图像。
本发明的另一个方面,提供一种立体图像合成装置,包括:
信号接收模块,用于采集两路分别从不同角度对同一物体进行拍摄而取得的,并具有不同分辨率的图像;
图像处理模块,用于对所述两路图像中具有较低分辨率的图像进行插值转换,使转换后的图像的分辨率与所述两路图像中具有较高分辨率图像的分辨率相等;
图像合成模块,对转换后的图像和所述两路图像中具有较高分辨率图像进行合成处理,形成立体图像;
图像输出模块,用于输出合成后的立体图像;
信号接收模块,图像处理模块,图像合成模块和图像输出模块依次连接。
本发明的立体图像合成装置,图像处理模块包括:
图像匹配单元,用于对所述具有较低分辨率的图像中的每个像素点在所述具有较高分辨率的图像上查找对应匹配点;若对应所述具有较低分辨率的图像中的一个像素点能在所述具有较高分辨率的图像中找到对应的匹配点,则将所述具有较低分辨率的图像中的该像素点记录为正确匹配点,否则将该像素点记录为错误匹配点;
第一插值单元,用于对相邻两个正确匹配点,查找对应在所述具有较高分辨率的图像中的两个对应像素点,当两个所述相邻的正确匹配点位于同一行时,将所述两个对应像素点之间的像素按列平均后***到所述两个相邻的正确匹配点之间或者当两个所述相邻的正确匹配点位于同一列时,将所述两个对应像素点之间的像素按行平均后***到所述两个相邻的正确匹配点之间,以获得第一插值图像;
第二插值单元,用于在第一插值图像的相邻像素点间线性***像素点,使得***后的低分辨率图像与高分辨率图像的像素点相等。
本发明的立体图像合成装置,第一插值单元
匹配模板产生器,该匹配模板产生器以所述具有较低分辨率的图像中的像素点为中点或顶点,选取(2m+1)×(2n+1)的像素点区域作为匹配模板,其中m和n均为在从1到5的范围中选取的自然数;
匹配模板覆盖器,用于将匹配模板覆盖到所述具有较高分辨率的图像中与所述具有较低分辨率的图像中的像素点对应的像素点所在的区域;
误匹配率计算器,用于计算误匹配率,该误匹配率为:
其中,绝对灰度差之和为具有较高分辨率的图像中被匹配模板覆盖的区域,与匹配模板中对应像素点灰度值之差的绝对值之和;
误匹配阈值比较器,用于设定误匹配率阈值,若误匹配率小于误匹配率阈值,则正确匹配,否则为错误匹配。
本发明的立体图像合成装置,其中第二插值单元包括:
***点数计算器,用于比较第一插值单元获得图像与具有较高分辨率图像的像素点数,确定第一插值单元获得图像中相邻像素点的平均***点数,并向上取整;
双线性内插器,用于依据双线性内插法,向第一插值单元获得的图像中***像素点;
像素点校正器,用于在***像素点后所述具有较低分辨率的图像的像素点数量多于所述具有较高分辨率的图像的像素点数量,则计算需要在所述具有较低分辨率的图像的每一行或列删除的像素点个数;将该行或列的像素点总数除以需要删除的像素点个数,并向下取整,记为S;从第S+1个像素点开始,每隔S个像素点删除一个像素,直到剩余像素点与所述具有较高分辨率的图像的对应行或列相等。
本发明的立体图像合成装置,图像合成模块包括:
格式选择器,用于确定图像合成格式;
图像压缩器,用于在合成格式为全屏肩并肩(full side-by-side)或全屏点并点(full dot-by-dot)时,将所述具有较高分辨率的图像与处理后的所述具有较低分辨率的图像按左右并排或上下并排的方式合成一路图像;在合成格式为半屏肩并肩(half side-by-side)或半屏点并点(half dot-by-dot)时,对两路图像隔行或列取出像素,再按左右并排或上下并排的方式合成一路图像。
实施本发明的立体图像合成方法及装置,能够将两个分辨率不同的图像合并成立体图像,克服了现有技术中对两路图像分辨率的要求,使得在拍摄立体图像的过程中能够灵活选取不同规格的镜头,提高了立体图像拍摄的便利性,还有利于降低立体拍摄装置的成本。
附图说明
以下结合附图对本发明进行说明,其中:
图1为本发明立体图像合成方法的流程图;
图2为本发明获得的低分辨率图像示意图;
图3为本发明获得的高分辨率图像示意图;
图4为本发明双线性插值的示意图;
图5为本发明立体图像合成装置的功能模块图;
图6为图像处理模块的功能模块图;
图7为图像匹配单元的功能模块图;
图8为第二插值单元的功能模块图。
具体实施方式
以下结合附图和具体实施方式对本发明进行详细说明。
如图1所示为本发明立体图像合成方法的流程图,本发明的立体图像合成方法是针对两幅分辨率不相同待合成图像进行处理,使得处理后的两幅图像具有相同的分辨率,能够进行立体图像的合并。
首先在步骤S1中,获得两路用于合并的图像,这两路图像是从不同的角度对同一个物体进行拍摄而取得的,并且分辨出两路图像的具体分辨率,为了突出本发明的特点,这里限定本发明获得的图像的分辨率不相同;在后续过程中,以高分辨率图像作为参考,对低分辨率图像进行处理,使得处理后的低分辨率图像的分辨率提高并与高分辨率图像相等。
具体的处理方法为S2:对低分辨率图像进行插值转换,插值的依据是高分辨图像,首先对每个低分辨率图像中的像素点在高分辨率图像上查找对应匹配点;若能正确匹配则记该低分辨率图像中的像素点为正确匹配点,否则即为错误匹配点;对相邻两个正确匹配点,查找对应在高分辨率图像中的两个对应像素点,将两个对应的高分辨率图像的像素点之间的像素按行或列平均后***到两个低分辨率图像的正确匹配点之间。这样就完成了第一次的插值。例如图2为低分辨率图像500,图3为高分辨率图像600,其中两个相邻的正确匹配点(501,502)所对应的点为(601,604);在图2中,两个相邻的正确匹配点为“行相邻”,即两个点位于同一行;第一正确匹配点501对应第一对应点601,第二正确匹配点502对应第二对应点604;在两个对应点之间有两列像素点(602,603),对两列像素点按列平均,即602内的像素点平均为1点,603内的像素点平均为1点;然后将这两个平均后生成的点,***到两个相邻的正确匹配点(501,502)之间。以上是两个相邻点在同一行的插值操作,当两个相邻正确匹配点在同一列的时候,则在高分辨率图像中的两个对应点之间按行平均后,***到同一列的两个相邻正确匹配点之间。
此时已经***了一部分的像素点,比较处理后的图像和高分辨率图像:若恰好出现处理后的图像与高分辨率相同,则处理完成,可以进行图像的合并;若出现处理后的图像比高分辨率的图像多,则进行适应性删除,使得两个图像的分辨率相等。
然而大多数情况下,第一次插值后的图像与高分辨率图像相比,还是需要进一步***像素点。此时进行第二次的插值,采用双线性内插法,具体包括以下的步骤:
比较第一次插值后获得图像与高分辨率图像的像素点数,确定第一次插值获得图像中相邻像素点的平均***点数,并向上取整;例如,在某一行,第一插值图像有400个像素点,而在高分辨率图像对应行的像素点为1250,则在第一插值图像的两点之间***:
(1250-400)÷400=2.125
然后向上取整为3个像素点,而具体的***像素点的灰度、RGB等数值通过下面的方法实现:
依据双线性内插法,向第一次插值后图像***像素点,具体如图4所示:XY平面为第一次插值后图像所在的平面,ABCD为第一次插值后,第一插值图像上可组成四边形的最小组合,即ABCD围成的四边形内部不再有其他像素点。由于在前一步骤中我们已经算出每一行、列相邻两点间需要平均***的像素点的数目,也就是说我们已经知道在四边形ABCD内具体需要***的像素点的数目及位置。假定在内部E点需要***像素点。此后建立Z方向轴,该轴可以代表像素的灰度、RGB等等的数值,以灰度为例ABCD对应的灰度在图上为A’B’C’D’。将A’B’C’D’相邻的点连接起来,得到各点间的线性变化。此后将E投影到ABCD的一组对边(如AD和BC),然后在A’D’和B’C’上分别对应找到两个投影点的灰度值,最后将这两个灰度值在图上的点连接起来,这样就能从E点向Z轴方向找到灰度值。同理,也可以用AB、CD两边作为投影边,其获得的结果是相同的。
若***像素点后低分辨率图像的像素点多于高分辨率图像,则计算每一行或列需要删除的像素点个数;将该行或列的像素点总数除以需要删除的像素点个数,并向下取整,记为S;从第S+1个像素点开始,每隔S个像素点删除一个像素,直到剩余像素点与高分辨率图像对应行或列相等,例如:进行双线性内插之后,低分辨率图像的像素点为1400点,而高分辨率图像对应的像素点为1250,此时要删除的点数为:1400-1250=150,然后作商:1400÷150=9.33,向下取整为9。然后从第10个像素点开始,每9个点删除1个像素,一共删除150个。需要说明的是,这个删除方法也适用于前面第一次插值后出现低分辨率图像的像素点比高分辨率图像像素点多的操作。
这样在两次插值之后,低分辨率图像的分辨率已经和高分辨图像相一致,然后可以进行图像的合成:先确定图像合成格式,在本发明中可以将图像合称为肩并肩格式(side-by-side)或者点并点格式(dot-by-dot),并进一步分为全屏(full)和半屏(half),即:
若合成格式为全屏肩并肩(full side-by-side)或全屏点并点(fulldot-by-dot)时将处理后的图像按左右并排或上下并排的方式合成一路图像;若合成格式为半屏肩并肩(half side-by-side)或半屏点并点(halfdot-by-dot)时,对两路图像隔行或列取出像素,再按左右并排或上下并排的方式合成一路图像。
需要说明的是,本发明在进行合并图像的时候,还可以依据其他的格式进行合成,并不只限于上述的几种图像格式。
如图5,为本发明的立体图像合成装置的***框图,在该***中包括依次连接的4个模块:信号接收模块100、图像处理模块200、图像合成模块300和图像输出模块400。信号接收模块100,获得两路图像,并分辨两路图像的分辨率,例如在双路立体摄像中,通过两个镜头获取两路分辨率不同的图像,与现有的技术相比,信号接收模块100不再对两路图像的分辨率进行限制;图像处理模块200,对获取的两路图像中的低分辨率图像进行插值转换,使得转换后的图像分辨率与高分辨率图像相等;图像合成模块300对转换后图像和高分辨率图像进行合成处理;最后由图像输出模块400输出合成后的立体图像。
具体的如图6所示,图像处理模块200还具体包括:依次连接的图像匹配单元201、第一插值单元202和第二插值单元203。各个单元的功能如下:
图像匹配单元201,用于对低分辨率图像中的每个像素点在高分辨率图像上查找对应匹配点;若能正确匹配则记该低分辨率图像中的像素点为正确匹配点,否则即为错误匹配点;
第一插值单元202,用于对相邻两个正确匹配点,查找对应在高分辨率图像中的两个对应像素点,将两个对应像素点之间的像素按行或列平均后***到两个正确匹配点之间。当两个正确匹配点为同一行的时候,则在两个对应像素点之间按列平均后***到两个正确匹配点之间;而当两个正确匹配点为同一列的时候,则在两个对应像素点之间按行平均后***到两个正确匹配点之间。
如图7所示,为了实现第一次插值成功,图像匹配单元201配置有匹配模板产生器2011,该匹配模板产生器2011以低分辨率图像中的像素点为中点或顶点,选取(2m+1)×(2n+1)的像素点区域作为匹配模板,其中1≤m≤5,1≤n≤5;选取的时候优先尝试以低分辨率图像中的像素点为中点建立匹配模板,当选取的像素点区域超出了原来的低分辨率图像时候,改为以低分辨率图像中的像素点为顶点,使得选取的区域完全位于低分辨率图像中。
匹配模板覆盖器2012将匹配模板覆盖到高分辨率图像对应像素点区域;
由误匹配率计算器2013计算误匹配率,该误匹配率为:
其中,绝对灰度差之和为高分辨率图像中被匹配模板覆盖的区域,与匹配模板中对应像素点灰度值之差的绝对值之和;
然后误匹配阈值比较器2014设定误匹配率阈值,若误匹配率小于误匹配率阈值,则正确匹配,否则为错误匹配。这个阈值为1%到5%,数值越小,所得到的正常匹配点的匹配程度越高。
如图8所示,第二插值单元203,用于在第一插值单元202的处理后图像的相邻像素点间线性***像素点,使得***后的低分辨率图像与高分辨率图像的像素点相等。具体的,第二插值单元203包括:
***点数计算器2031比较第一插值单元202获得图像与高分辨率图像的像素点数,确定第一插值单元202处理后图像中相邻像素点的平均***点数,并向上取整;
双线性内插器2032,用于依据双线性内插法,向第一插值单元202获得的图像***像素点;
像素点校正器2033,用于在***像素点后低分辨率图像的像素点多于高分辨率图像时,计算需要每一行或列删除的像素点个数;将该行或列的像素点总数除以需要删除的像素点个数,并向下取整,记为S;从第S+1个像素点开始,每隔S个像素点删除一个像素,直到剩余像素点与高分辨率图像对应行或列相等。
经过两次的插值后,得到了两个分辨率相同的图像,图像输出模块400将图像合称为肩并肩格式(side-by-side)或者点并点格式(dot-by-dot),并进一步分为全屏(full)和半屏(half),即:
若合成格式为全屏肩并肩(full side-by-side)或全屏点并点(fulldot-by-dot)时将处理后的图像按左右并排或上下并排的方式合成一路图像;若合成格式为半屏肩并肩(half side-by-side)或半屏点并点(halfdot-by-dot)时,对两路图像隔行或列取出像素,再按左右并排或上下并排的方式合成一路图像。
以上仅为本发明具体实施方式,不能以此来限定本发明的范围,本技术领域内的一般技术人员根据本创作所作的均等变化,以及本领域内技术人员熟知的改变,都应仍属本发明涵盖的范围。

Claims (6)

1.一种立体图像合成方法,其特征在于,包括以下步骤:
S1、采集两路分别从不同角度对同一物体进行拍摄而取得的,并具有不同分辨率的图像;
S2、对所述两路图像中具有较低分辨率的图像进行插值转换,使转换后的图像的分辨率与所述两路图像中具有较高分辨率的图像的分辨率相等;所述步骤S2包括:
S21、对所述具有较低分辨率的图像中的每个像素点在所述具有较高分辨率的图像上查找对应匹配点;若对应所述具有较低分辨率的图像中的一个像素点能在所述具有较高分辨率的图像中找到对应的匹配点,则将所述具有较低分辨率的图像中的该像素点记录为正确匹配点,否则将该像素点记录为错误匹配点;
S22、对相邻两个正确匹配点,查找对应在所述具有较高分辨率的图像中的两个对应像素点,当所述两个相邻的正确匹配点位于同一行时,将所述两个对应像素点之间的像素按列平均后***到所述两个相邻的正确匹配点之间或者当所述两个相邻的正确匹配点位于同一列时,将所述两个对应像素点之间的像素按行平均后***到所述两个相邻的正确匹配点之间,以获得第一插值图像;
S23、在上述步骤S22获得的第一插值图像的相邻像素点间线性***像素点,使得***后的低分辨率图像与高分辨率图像的像素点相等;
所述步骤S21包括:
S211、以所述具有较低分辨率的图像中的像素点为中点或顶点,选取(2m+1)×(2n+1)的像素点区域作为匹配模板,其中m和n均为在从1到5的范围中选取的自然数;
S212、将匹配模板覆盖到所述具有较高分辨率的图像中与所述具有较低分辨率的图像中的像素点对应的像素点所在的区域;
S213、计算误匹配率,所述误匹配率为:
其中,绝对灰度差之和为所述具有较高分辨率的图像中被匹配模板覆盖的区域,与匹配模板中对应像素点灰度值之差的绝对值之和;
S214,设定误匹配率阈值,若误匹配率小于误匹配率阈值,则正确匹配,否则为错误匹配
S3、对转换后的图像和所述两路图像中具有较高分辨率的图像进行合成处理,形成立体图像;
S4、输出合成后的立体图像。
2.根据权利要求1所述的立体图像合成方法,其特征在于,所述步骤S23包括:
S231、比较步骤S22中获得的第一插值图像与所述具有较高分辨率图像的像素点数,确定所述第一插值图像中相邻像素点的平均***点数,并向上取整;
S232、依据双线性内插法,向所述第一插值图像中***像素点;
S233、若***像素点后所述具有较低分辨率的图像的像素点数量多于所述具有较高分辨率的图像的像素点数量,则计算需要在所述具有较低分辨率的图像的每一行或列删除的像素点个数;将该行或列的像素点总数除以需要删除的像素点个数,并向下取整,记为S;从第S+1个像素点开始,每隔S个像素点删除一个像素,直到剩余像素点与所述具有较高分辨率的图像的对应行或列相等。
3.根据权利要求1所述的立体图像合成方法,其特征在于,所述步骤S3包括:
S31、确定图像合成格式;
S32、若合成格式为全屏肩并肩或全屏点并点时,将所述具有较高分辨率的图像与处理后的所述具有较低分辨率的图像按左右并排或上下并排的方式合成一路图像;若合成格式为半屏肩并肩或半屏点并点时,对两路图像隔行或列取出像素,再按左右并排或上下并排的方式合成一路图像。
4.一种立体图像合成装置,其特征在于,包括:
信号接收模块(100),用于采集两路分别从不同角度对同一物体进行拍摄而取得的,并具有不同分辨率的图像;
图像处理模块(200),用于对所述两路图像中具有较低分辨率的图像进行插值转换,使转换后的图像的分辨率与所述两路图像中具有较高分辨率图像的分辨率相等;所述图像处理模块(200)包括:
图像匹配单元(201),用于对所述具有较低分辨率的图像中的每个像素点在所述具有较高分辨率的图像上查找对应匹配点;若对应所述具有较低分辨率的图像中的一个像素点能在所述具有较高分辨率的图像中找到对应的匹配点,则将所述具有较低分辨率的图像中的该像素点记录为正确匹配点,否则将该像素点记录为错误匹配点;
第一插值单元(202),用于对相邻两个正确匹配点,查找对应在所述具有较高分辨率的图像中的两个对应像素点,当所述两个相邻的正确匹配点位于同一行时,将所述两个对应像素点之间的像素按列平均后***到所述两个相邻的正确匹配点之间或者当所述两个相邻的正确匹配点位于同一列时,将所述两个对应像素点之间的像素按行平均后***到所述两个相邻的正确匹配点之间,以获得第一插值图像;
第二插值单元(203),用于在第一插值图像的相邻像素点间线性***像素点,使得***后的低分辨率图像与高分辨率图像的像素点相等;
所述图像匹配单元(201)包括:
匹配模板产生器(2011),所述匹配模板产生器(2011)以所述具有较低分辨率的图像中的像素点为中点或顶点,选取(2m+1)×(2n+1)的像素点区域作为匹配模板,其中m和n均为在从1到5的范围中选取的自然数;
匹配模板覆盖器(2012),用于将匹配模板覆盖到所述具有较高分辨率的图像中与所述具有较低分辨率的图像中的像素点对应的像素点所在的区域;
误匹配率计算器(2013),用于计算误匹配率,该误匹配率为:
其中,绝对灰度差之和为所述具有较高分辨率的图像中被匹配模板覆盖的区域,与匹配模板中对应像素点灰度值之差的绝对值之和;
误匹配阈值比较器(2014),用于设定误匹配率阈值,若误匹配率小于误匹配率阈值,则正确匹配,否则为错误匹配;
图像合成模块(300),用于对转换后的图像和所述两路图像中具有较高分辨率图像进行合成处理,形成立体图像;
图像输出模块(400),用于输出合成后的立体图像;
所述信号接收模块(100),图像处理模块(200),图像合成模块(300)和图像输出模块(400)依次连接。
5.根据权利要求4所述的立体图像合成装置,其特征在于,所述第二插值单元(203)包括:
***点数计算器(2031),用于比较第一插值单元获得图像与所述具有较高分辨率图像的像素点数,确定第一插值单元获得图像中相邻像素点的平均***点数,并向上取整;
双线性内插器(2032),用于依据双线性内插法,向第一插值单元获得的图像中***像素点;
像素点校正器(2033),用于在***像素点后所述具有较低分辨率的图像的像素点数量多于所述具有较高分辨率的图像的像素点数量,则计算需要在所述具有较低分辨率的图像的每一行或列删除的像素点个数;将该行或列的像素点总数除以需要删除的像素点个数,并向下取整,记为S;从第S+1个像素点开始,每隔S个像素点删除一个像素,直到剩余像素点与所述具有较高分辨率的图像的对应行或列相等。
6.根据权利要求4所述的立体图像合成装置,其特征在于,所述图像合成模块(300)包括:
格式选择器(301),用于确定图像合成格式;
图像压缩器(302),用于在合成格式为全屏肩并肩或全屏点并点时,将所述具有较高分辨率的图像与处理后的所述具有较低分辨率的图像按左右并排或上下并排的方式合成一路图像;若合成格式为半屏肩并肩或半屏点并点时,对两路图像隔行或列取出像素,再按左右并排或上下并排的方式合成一路图像。
CN201310100895.1A 2013-03-26 2013-03-26 立体图像合成方法及装置 Active CN103179424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310100895.1A CN103179424B (zh) 2013-03-26 2013-03-26 立体图像合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310100895.1A CN103179424B (zh) 2013-03-26 2013-03-26 立体图像合成方法及装置

Publications (2)

Publication Number Publication Date
CN103179424A CN103179424A (zh) 2013-06-26
CN103179424B true CN103179424B (zh) 2015-03-11

Family

ID=48638995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310100895.1A Active CN103179424B (zh) 2013-03-26 2013-03-26 立体图像合成方法及装置

Country Status (1)

Country Link
CN (1) CN103179424B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507088A (zh) * 2016-12-14 2017-03-15 郑州胜龙信息技术股份有限公司 接收上下和左右格式片源信号的立体图像显示方法
CN106803888A (zh) * 2017-03-06 2017-06-06 联想(北京)有限公司 合成图像的方法和电子设备
CN108737745A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 视频融合方法及装置
CN110191331B (zh) * 2018-02-22 2022-01-04 深圳市华胜软件技术有限公司 一种真三维裸眼3d图像合成方法、存储介质及合成装置
CN109302600B (zh) * 2018-12-06 2023-03-21 成都工业学院 一种立体场景拍摄装置
CN110809147A (zh) * 2019-09-20 2020-02-18 北京铂石空间科技有限公司 图像处理方法及装置、计算机存储介质、电子设备
CN112954251B (zh) * 2019-12-10 2023-03-21 RealMe重庆移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
CN114007057A (zh) * 2020-07-28 2022-02-01 北京小米移动软件有限公司 终端、拍摄方法、拍摄装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100562920C (zh) * 2006-05-22 2009-11-25 株式会社东芝 高分辨率化装置和方法
CN102025959A (zh) * 2009-09-22 2011-04-20 三星电子株式会社 从低清晰度视频产生高清晰度视频的***与方法
CN102110227A (zh) * 2010-11-24 2011-06-29 清华大学 基于上下文关系的多分辨率遥感图像复合分类方法
CN102479380A (zh) * 2010-11-25 2012-05-30 北京大学 一种提高图像分辨率的图像插值方法及装置
CN102496158A (zh) * 2011-11-24 2012-06-13 中兴通讯股份有限公司 一种图像信息处理方法及装置
CN102761764A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度图片的上采样方法
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100562920C (zh) * 2006-05-22 2009-11-25 株式会社东芝 高分辨率化装置和方法
CN102025959A (zh) * 2009-09-22 2011-04-20 三星电子株式会社 从低清晰度视频产生高清晰度视频的***与方法
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
CN102110227A (zh) * 2010-11-24 2011-06-29 清华大学 基于上下文关系的多分辨率遥感图像复合分类方法
CN102479380A (zh) * 2010-11-25 2012-05-30 北京大学 一种提高图像分辨率的图像插值方法及装置
CN102496158A (zh) * 2011-11-24 2012-06-13 中兴通讯股份有限公司 一种图像信息处理方法及装置
CN102761764A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度图片的上采样方法

Also Published As

Publication number Publication date
CN103179424A (zh) 2013-06-26

Similar Documents

Publication Publication Date Title
CN103179424B (zh) 立体图像合成方法及装置
US9924153B2 (en) Parallel scaling engine for multi-view 3DTV display and method thereof
JP4854582B2 (ja) 画像処理装置、画像処理方法
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
CN109447919B (zh) 结合多视角与语义纹理特征的光场超分辨率重建方法
CN102905145B (zh) 立体影像***、影像产生方法、影像调整装置及其方法
KR20140108828A (ko) 카메라 트래킹 장치 및 방법
CN102724529B (zh) 虚拟视点视频序列的生成方法及生成装置
CN104699842A (zh) 图片展示方法和装置
CN101933335A (zh) 将二维图像数据转换为立体图像数据的方法和***
CN103238337B (zh) 立体图像获取***及方法
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
EP2158768A2 (en) System and method for generating and regenerating 3d image files based on 2d image media standards
CN102387387A (zh) 图像处理设备和方法
CN105611270B (zh) 一种双目视觉自由立体显示***
CN103634519A (zh) 一种基于双摄像头的图像显示方法及装置
CN104574331A (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
CN103702103A (zh) 基于双目相机的光栅立体印刷图像合成方法
CN113393382B (zh) 一种基于多维度视差先验的双目图片超分辨率重建方法
KR20100112840A (ko) 스테레오 카메라 시스템 및 이를 이용한 시차검출방법
WO2011061973A1 (ja) 立体映像表示装置および動きベクトル導出方法
CN109302600B (zh) 一种立体场景拍摄装置
CN112634127B (zh) 一种无监督立体图像重定向方法
CN104796624A (zh) 一种光场编辑传播方法
Park et al. Real time rectification using differentially encoded lookup table

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: 518000 Beek science and technology building, room, No. 9 research road, Nanshan District high tech Zone, Guangdong, China, 1501-B

Patentee after: INLIFE-HANDNET CO., LTD.

Address before: 518054 Guangdong city of Shenzhen province Nanshan District Nanhai Road Guangdong sea (Shenzhen city) 7 Building 3 floor

Patentee before: Inlife-handnet Co., Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130626

Assignee: Beijing Yu Technology Co., Ltd.

Assignor: INLIFE-HANDNET CO., LTD.

Contract record no.: 2017440020014

Denomination of invention: Method and device for synthesizing three-dimensional image

Granted publication date: 20150311

License type: Common License

Record date: 20170306