CN106162143B - 视差融合方法和装置 - Google Patents

视差融合方法和装置 Download PDF

Info

Publication number
CN106162143B
CN106162143B CN201610522270.8A CN201610522270A CN106162143B CN 106162143 B CN106162143 B CN 106162143B CN 201610522270 A CN201610522270 A CN 201610522270A CN 106162143 B CN106162143 B CN 106162143B
Authority
CN
China
Prior art keywords
image
overlay region
flow field
movement relation
field movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610522270.8A
Other languages
English (en)
Other versions
CN106162143A (zh
Inventor
袁梓瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610522270.8A priority Critical patent/CN106162143B/zh
Publication of CN106162143A publication Critical patent/CN106162143A/zh
Priority to PCT/CN2017/086950 priority patent/WO2018006669A1/zh
Application granted granted Critical
Publication of CN106162143B publication Critical patent/CN106162143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种视差融合方法和装置。所述方法包括：获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。上述视差融合方法和装置，避免了出现因视差导致的连续线条的断裂、重影虚边、鬼影等拼接瑕疵。

Description

视差融合方法和装置
技术领域
本发明涉及图像处理领域，特别是涉及一种视差融合方法和装置。
背景技术
360度全景视频由于能提供给用户区别于传统有限视野视频更为逼真的沉浸观看体验，逐渐成为虚拟现实领域主要的内容之一。由于目前采集全景视频的单镜头***少见，一般是有多个相机或多个镜头***采集的视频拼接而成。然而，从镜头光学透视几何原理来说，两个不共光心的相机***在二维成像传感器所成像的内容，在它们公共视野部分，总会存在一定的视差，在不同深度面上，视差程度不一样，最终导致所拼接的视频内容在存在视差的区域出现视觉上难以接受的瑕疵，例如重影、鬼影、连续线条错位断裂等。
针对这一问题，传统的解决方式是在拼接左右图像的重叠区内，提取显著的特征点，并且进行左右匹配，随后求解一个变形函数，使得左右图像匹配的特征点重合，同时图像变形代价最小。这样虽然可以使得重叠区内主要物体大致重合，但不能完全解决视差瑕疵，仍然会出现重影虚边，连续线条错位断裂等问题。
发明内容
基于此，有必要针对传统的图像拼接的重叠区域因视差存在鬼影、重影虚边、连续线条错位断裂等问题，提供一种视差融合方法和装置，能消除因视差导致的图像重叠区域的鬼影、重影虚边、连续线条错位断裂等拼接瑕疵。
一种视差融合方法，包括：
获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；
对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；
采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；
将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。
一种视差融合装置，包括：
运动关系获取模块，用于获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；
修正模块，用于对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系；
变形模块，用于采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；
融合模块，用于将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。
上述视差融合方法和装置，通过获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系，采用第一方向流场运动关系和第二方向流场运动关系对第一图像的重叠区和第二图像重叠区进行前向和后向变形变换，将经过前向和后向变形变换的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像，利用流场数据中包括不同深度面过渡的遮挡区进行变形变换再融合，得到的最终图像，避免了出现因视差导致的连续线条的断裂、重影虚边、鬼影等拼接瑕疵。
附图说明
图1为一个实施例中电子设备的内部结构示意图；
图2为一个实施例中视差融合方法的流程图；
图3为一个实施例中视差融合装置的结构框图；
图4为一个实施例中修正模块的内部结构框图；
图5为一个实施例中变形模块的内部结构框图；
图6为一个实施例中融合模块的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过***总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏和输入装置。其中，电子设备的非易失性存储介质存储有操作***，还包括一种视差融合装置，该视差融合装置用于实现一种视差融合方法。该处理器用于提供计算和控制能力，支撑整个终端的运行。电子设备中的内存储器为非易失性存储介质中的视差融合装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被所述处理器执行时，可使得所述处理器执行一种视差融合方法。网络接口用于与其他设备进行通信等。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、个人计算机、平板电脑、个人数字助理、穿戴式设备或服务器等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图2为一个实施例中视差融合方法的流程图。如图2所示，一种视差融合方法，运行于电子设备上，包括：
步骤202，获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系。
采集的全景视频的图像一般采用多个相机或多个镜头***采集的视频拼接，即将第一图像和第二图像进行拼接。第一图像和第二图像拼接时会存在一部分重叠，即为第一图像和第二图像的重叠区。第一图像和第二图像的重叠区中属于第一图像的部分称为第一图像的重叠区，第一图像和第二图像的重叠区中属于第二图像的部分称为第二图像的重叠区。第一图像和第二图像的重叠区的各像素点坐标、第一图像的重叠区的各像素点坐标以及第二图像的重叠区的各像素点坐标相同。
第一图像和第二图像重叠区的第一方向流场运动关系为从第一图像到第二图像方向的流场运动关系。
第一图像和第二图像重叠区的第二方向流场运动关系为从第二图像到第一图像方向的流场运动关系。
例如，第一图像和第二图像重叠区为水平方向重叠，则标记从左到右的流场运动关系为Flowl2r，从右到左的流场运动关系为Flowr2l。l2r为left2right的缩写，标记从左到右方向，r2l为right2left的缩写，标记从右到左方向。
可根据经典流场算法计算第一图像的重叠区和第二图像的重叠区的逐像素密集匹配关系，即第一方向流场运动关系和第二方向流场运动关系。
步骤204，对该第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对该第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系。
本实施例中，该对该第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，包括：对该第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系。
具体地，第一图像的非重叠区是指第一图像中未与第二图像重叠的区域。过渡衔接修正是为了在形变后平滑过渡重叠区与非重叠区图像。
对该第二方向流场运动关系进行修正得到修正后的第二方向运动流场运动关系，包括：对该第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系。
具体地，第二图像的非重叠区是指第二图像中未与第一图像重叠的区域。
步骤206，采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换。
本实施例中，采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换得到第一图像的重叠区的前向变形变换图像、第一图像的重叠区的后向变形变换图像、第二图像的重叠区的前向变形变换图像和第二图像的重叠区的后向变形变换图像共四种变形变换图像。
若采用修正后的第一方向流场运动关系进行变形变换，第一图像为参考图像，第二图像为目标图像。
若采用修正后的第二方向流场运动关系进行变形变换，第二图像为参考图像，第一图像为目标图像。
前向变形变化为将图像根据输入的流场数据从参考图像到目标图像的变形变换，后向变形变化为从目标图像到参考图像的变形变换。
步骤208，将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。
本实施例中，将四种变形变换图像进行融合得到第一图像和第二图像重叠区的最终图像。
上述视差融合方法，通过获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系，采用第一方向流场运动关系和第二方向流场运动关系对第一图像的重叠区和第二图像重叠区进行前向和后向变形变换，将经过前向和后向变形变换的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像，利用流场数据中包括不同深度面过渡的遮挡区进行变形变换再融合，得到的最终图像，避免了出现因视差导致的连续线条的断裂、重影虚边、鬼影等拼接瑕疵。
在一个实施例中，若第一图像和第二图像为水平方向重叠，对该第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，包括：则将该第一方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第一系数因子得到修正后的第一方向流场运动关系的水平方向分量，以及将该第一方向流场运动关系的垂直方向分量作为修正后的第一方向流场运动关系的垂直方向分量。
本实施例中，包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第一系数因子可为重叠区的像素点水平坐标与重叠区的水平像素宽度之间的比值，或者重叠区的像素点水平坐标与重叠区的水平像素宽度减1之间的比值。
第一系数因子为重叠区的像素点水平坐标与重叠区的水平像素宽度减1之间的比值时，采用公式(1)计算。
公式(1)中，表示修正后的第一方向流场运动关系的水平方向分量，表示修正后的第一方向流场运动关系的垂直方向分量，表示修正前的第一方向流场运动关系的水平方向分量，表示修正前的第一方向流场运动关系的垂直方向分量，N为第一图像和第二图像重叠区的水平像素宽度，x为图像像素点的水平坐标，y为图像像素点的垂直坐标，上标h表示水平方向分量，上标v表示垂直方向分量，l2r为left2right的缩写，标记从第一图像到第二图像的方向(即左到右方向)。
在其他实施例中，第一系数因子为重叠区的像素点水平坐标与重叠区的水平像素宽度之间的比值时，采用公式(2)计算。
在一个实施例中，若第一图像和第二图像为水平方向重叠，对该第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系，包括：将该第二方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第二系数因子得到修正后的第二方向流场运动关系的水平方向分量，以及将该第二方向流场运动关系的垂直方向分量作为修正后的第二方向流场运动关系的垂直方向分量。
本实施例中，包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第二系数因子可为预定常数与重叠区的像素点水平坐标与重叠区的水平像素宽度之间的比值的差值关系，或者为预定常数与重叠区的像素点水平坐标与重叠区的水平像素宽度减1之间的比值的差值关系。
第二系数因子为预定常数与重叠区的像素点水平坐标与重叠区的水平像素宽度减1之间的比值的差值关系时，采用公式(3)计算。
公式(3)中，表示修正后的第二方向流场运动关系的水平方向分量，表示修正后的第二方向流场运动关系的垂直方向分量，表示修正前的第一方向流场运动关系的水平方向分量，表示修正前的第二方向流场运动关系的垂直方向分量，N为第一图像和第二图像重叠区的水平像素宽度，x为图像像素点的水平坐标，y为图像像素点的垂直坐标，上标h表示水平方向分量，上标v表示垂直方向分量，r2l为right2left的缩写，标记从第二图像到第一图像的方向(即右到左方向)。
在其他实施例中，第二系数因子为预定常数与重叠区的像素点水平坐标与重叠区的水平像素宽度之间的比值的差值关系，即时，采用公式(4)计算。
在其他实施例中，第一系数因子为第二系数因子为或者，第一系数因子可为第二系数因子为不限于此。
在一个实施例中，若第一图像和第二图像为垂直方向重叠，对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，包括：将所述第一方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第三系数因子得到修正后的第一方向流场运动关系的垂直方向分量，以及将所述第一方向流场运动关系的水平方向分量作为修正后的第一方向流场运动关系的水平方向分量。
本实施例中，第三系数因子可为重叠区的像素点垂直坐标与重叠区的垂直像素高度之间的比值关系，或者重叠区的像素点垂直坐标与重叠区的垂直像素高度减1之间的比值关系。
第三系数因子可为重叠区的像素点垂直坐标与重叠区的垂直像素高度减1之间的比值关系采用公式(5)计算。
公式(5)中，表示修正后的第一方向流场运动关系的水平方向分量，表示修正后的第一方向流场运动关系的垂直方向分量，表示修正前的第一方向流场运动关系的水平方向分量，表示修正前的第一方向流场运动关系的垂直方向分量，M为第一图像和第二图像重叠区的垂直像素高度，x为图像像素点的水平坐标，y为图像像素点的垂直坐标，上标h表示水平方向分量，上标v表示垂直方向分量，u2d为up2down的缩写，标记从第一图像到第二图像的方向(即上到下方向)。
第三系数因子可为重叠区的像素点垂直坐标与重叠区的垂直像素高度之间的比值关系采用公式(6)计算。
在一个实施例中，若第一图像和第二图像为垂直方向重叠，对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系，包括：将所述第二方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第四系数因子得到修正后的第二方向流场运动关系的垂直方向分量，以及将所述第二方向流场运动关系的水平方向分量作为修正后的第二方向流场运动关系的水平方向分量。
本实施例中，第四系数因子可为预定常数与重叠区的像素点垂直坐标与重叠区的垂直像素高度之间比值的差值关系，或者可为预定常数与重叠区的像素点垂直坐标与重叠区的垂直像素高度减1之间比值的差值关系。
第四系数因子为预定常数与重叠区的像素点垂直坐标与重叠区的垂直像素高度减1之间比值的差值关系时，采用公式(7)计算。
公式(7)中，表示修正后的第一方向流场运动关系的水平方向分量，表示修正后的第一方向流场运动关系的垂直方向分量，表示修正前的第一方向流场运动关系的水平方向分量，表示修正前的第一方向流场运动关系的垂直方向分量，M为第一图像和第二图像重叠区的垂直像素高度，x为图像像素点的水平坐标，y为图像像素点的垂直坐标，上标h表示水平方向分量，上标v表示垂直方向分量，d2u为down2up的缩写，标记从第二图像到第一图像的方向(即下到上方向)。
第四系数因子为预定常数与重叠区的像素点垂直坐标与重叠区的垂直像素高度之间比值的差值关系时，采用公式(8)计算。
在其他实施例中，第三系数因子可为第四系数因子可为或者，第三系数因子可为第四系数因子可为不限于此。
在一个实施例中，采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换，包括：
(1)采用修正后的第一方向流场运动关系对第一图像的重叠区做前向变形变换，得到第一图像的重叠区的前向变形变换图像；
(2)采用修正后的第二方向流场运动关系对第一图像的重叠区做后向变形变换，得到第一图像的重叠区的后向变形变换图像；
(3)采用修正后的第二方向流场运动关系对第二图像的重叠区做前向变形变换，得到第二图像的重叠区的前向变形变换图像；
(4)采用修正后的第一方向流场运动关系对第二图像的重叠区做后向变形变换，得到第二图像的重叠区的后向变形变换图像。
需要说明的是，若采用修正后的第一方向流场运动关系进行变形变换，第一图像为参考图像，第二图像为目标图像；若采用修正后的第二方向流场运动关系进行变形变换，第二图像为参考图像，第一图像为目标图像。
前向变形变换为从参考图像到目标图像的变形变换，后向变形变换为从目标图像到参考图像的变形变换。
以第一图像和第二图像在水平方向重叠为例，第一图像的重叠区标记为IL，第二图像的重叠区标记为IR，根据修正后的第一方向流场运动关系rFlow(x,y)l2r和修正后的第二方向流场运动关系rFlow(x,y)r2l对IL和IR进行变形变换得到如下数据：
R'＝FL2R＝Forwardwarp(rFlowl2r,IL)
R”＝BL2R＝Backwardwarp(rFlowr2l,IL)
L'＝FR2L＝Forwardwarp(rFlowr2l,IR)
L”＝BR2L＝Backwardwarp(rFlowl2r,IR)
其中，R'为第一图像的重叠区IL的前向变形变换图像，R”为第一图像的重叠区IL的后向变形变换图像，L'为第二图像的重叠区IR的前向变形变换图像，L”为第二图像的重叠区IR的后向变形变换图像，Forwardwarp表示前向变形变换，Backwardwarp表示后向变形变换。
Forwardwarp(flow,I)是指将图像I根据输入的流场数据flow从参考图像向目标图像进行前向变形变换。因流场数据flow里包括有因为不同深度面过渡的遮挡区，经过Forwardwarp变换所得的R'和L'会出现空洞区与交叠区瑕疵等第一类瑕疵区域，将第一类瑕疵区域均标记为regionhole。
Backwardwarp(flow,I)是指将图像I根据输入的流场数据flow从目标图像向参考图像进行后向变形变换。因流场数据flow里包括有因为不同深度面过渡的遮挡区，经过Backwardwarp变换所得的R”和L”不再有空洞瑕疵，但会出现重影瑕疵。
经过变形变换所得到的四种重叠区图像有R'、L'、R”和L”，各有空洞区、交叠区、重叠区等瑕疵，因Backwardwarp变换和Forwardwarp变换所得的瑕疵区域恰好有互补性，故以他们为来源融合得到重叠区的最终图像。
在一个实施例中，将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像，包括：
将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像；
将第二图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第二融合图像。
计算公式如公式(9)。
其中，为第一融合图像，为第二融合图像。fusion(x,y)为融合函数。
进一步的，当所述重叠区的像素点水平坐标值小于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第一融合图像；
当所述重叠区的像素点水平坐标值等于或大于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第二融合图像。
具体地，计算公式如公式(10)所示。
公式(10)中，Ioverlap表示最终图像。mid表示重叠区的中间分隔位置(重叠区的中间像素点水平坐标值)，可采用取中线获得，获取其他方式获得。
在一个实施例中，将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像，包括：
若所述重叠区的像素点属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的前向变形变换图像；
若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的后向变形变换图像。
本实施例中，fusion(x,y)函数的一种实现方法可如下公式(11)：
公式(11)中，R'(x,y)即为R'，R”(x,y)即为R”。
在一个实施例中，将第二图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第二融合图像，包括：
若所述重叠区的像素点属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的前向变形变换图像；
若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的后向变形变换图像。
本实施例中，fusion(x,y)函数的一种实现方法可如下公式(12)：
公式(12)中，L'(x,y)即为L'，L”(x,y)即为L”。
对像素点区分第一类瑕疵区域和非第一类瑕疵区域，将属于第一类瑕疵区域的像素点采用后向变形变换图像替代，因后向变形变换图像没有第一类瑕疵区域，可以消除第一类瑕疵，将不属于第一类瑕疵区域的像素点采用前向变形变换图像替代，因前向变形变换没有重影瑕疵，可以清除重影瑕疵，如此融合得到的最终图像，没有鬼影、重影虚边、连续线条错位断裂等拼接瑕疵。
需要说明的是，上述举例中采用了第一图像和第二图像水平方向重叠进行融合的过程，也可用于第一图像和第二图像垂直方向重叠进行融合，其融合过程相同。
图3为一个实施例中视差融合装置的结构框图。如图3所示，一种视差融合装置，为实现视差融合方法所架构的装置，包括运动关系获取模块310、修正模块320、变形模块330和融合模块340。其中：
运动关系获取模块310用于获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系。
修正模块320用于对所述第一方向流场运动关系进行修正得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系进行修正得到修正后的第二方向流场运动关系。
变形模块330用于采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换。
融合模块340用于将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。
图4为一个实施例中修正模块的内部结构框图。如图4所示，修正模块320包括第一修正单元3202和第二修正单元3204。其中：
第一修正单元3202用于对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系；以及
第二修正单元3204用于对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系。
在一个实施例中，若第一图像和第二图像为水平方向重叠，第一修正单元3202还用于将所述第一方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第一系数因子得到修正后的第一方向流场运动关系的水平方向分量，以及将所述第一方向流场运动关系的垂直方向分量作为修正后的第一方向流场运动关系的垂直方向分量；以及
第二修正单元3204还用于将所述第二方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第二系数因子得到修正后的第二方向流场运动关系的水平方向分量，以及将所述第二方向流场运动关系的垂直方向分量作为修正后的第二方向流场运动关系的垂直方向分量。
在一个实施例中，若第一图像和第二图像为垂直方向重叠，第一修正单元3202还用于将所述第一方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第三系数因子得到修正后的第一方向流场运动关系的垂直方向分量，以及将所述第一方向流场运动关系的水平方向分量作为修正后的第一方向流场运动关系的水平方向分量；
第二修正单元3204还用于将所述第二方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第四系数因子得到修正后的第二方向流场运动关系的垂直方向分量，以及将所述第二方向流场运动关系的水平方向分量作为修正后的第二方向流场运动关系的水平方向分量。
图5为一个实施例中变形模块的内部结构框图。如图5所示，变形模块330包括第一变形单元3302、第二变形单元3304、第三变形单元3306和第四变形单元3308。其中：
第一变形单元3302用于采用修正后的第一方向流场运动关系对第一图像的重叠区做前向变形变换，得到第一图像的重叠区的前向变形变换图像；
第二变形单元3304用于采用修正后的第二方向流场运动关系对第一图像的重叠区做后向变形变换，得到第一图像的重叠区的后向变形变换图像；
第三变形单元3306用于采用修正后的第二方向流场运动关系对第二图像的重叠区做前向变形变换，得到第二图像的重叠区的前向变形变换图像；
第四变形单元3308用于采用修正后的第一方向流场运动关系对第二图像的重叠区做后向变形变换，得到第二图像的重叠区的后向变形变换图像。
图6为一个实施例中融合模块的内部结构框图。如图6所示，融合模块340包括第一融合单元3402和第二融合单元3404。其中：
第一融合单元3402用于将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像；
第二融合单元3404用于将第二图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第二融合图像；
当所述重叠区的像素点水平坐标值小于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第一融合图像；
当所述重叠区的像素点水平坐标值等于或大于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第二融合图像。
在一个实施例中，若所述重叠区的像素点属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的前向变形变换图像，以及若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的后向变形变换图像；
若所述重叠区的像素点属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的前向变形变换图像，以及若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的后向变形变换图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种视差融合方法，包括：
获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；
对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，以及对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系；
采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；
将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。
2.根据权利要求1所述的方法，其特征在于，若第一图像和第二图像为水平方向重叠，所述对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，包括：
将所述第一方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第一系数因子得到修正后的第一方向流场运动关系的水平方向分量，以及将所述第一方向流场运动关系的垂直方向分量作为修正后的第一方向流场运动关系的垂直方向分量；以及
所述对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系，包括：
将所述第二方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第二系数因子得到修正后的第二方向流场运动关系的水平方向分量，以及将所述第二方向流场运动关系的垂直方向分量作为修正后的第二方向流场运动关系的垂直方向分量。
3.根据权利要求1所述的方法，其特征在于，若第一图像和第二图像为垂直方向重叠，所述对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，包括：
将所述第一方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第三系数因子得到修正后的第一方向流场运动关系的垂直方向分量，以及将所述第一方向流场运动关系的水平方向分量作为修正后的第一方向流场运动关系的水平方向分量；
所述对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系，包括：
将所述第二方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第四系数因子得到修正后的第二方向流场运动关系的垂直方向分量，以及将所述第二方向流场运动关系的水平方向分量作为修正后的第二方向流场运动关系的水平方向分量。
4.根据权利要求1所述的方法，其特征在于，所述采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换，包括：
采用修正后的第一方向流场运动关系对第一图像的重叠区做前向变形变换，得到第一图像的重叠区的前向变形变换图像；
采用修正后的第二方向流场运动关系对第一图像的重叠区做后向变形变换，得到第一图像的重叠区的后向变形变换图像；
采用修正后的第二方向流场运动关系对第二图像的重叠区做前向变形变换，得到第二图像的重叠区的前向变形变换图像；
采用修正后的第一方向流场运动关系对第二图像的重叠区做后向变形变换，得到第二图像的重叠区的后向变形变换图像。
5.根据权利要求4所述的方法，其特征在于，将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像，包括：
将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像；
将第二图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第二融合图像；
当所述重叠区的像素点水平坐标值小于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第一融合图像；
当所述重叠区的像素点水平坐标值等于或大于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第二融合图像。
6.根据权利要求5所述的方法，其特征在于，所述将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像，包括：
若所述重叠区的像素点属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的前向变形变换图像；
若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的后向变形变换图像；
所述将第二图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第二融合图像，包括：
若所述重叠区的像素点属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的前向变形变换图像；
若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的后向变形变换图像。
7.一种视差融合装置，其特征在于，包括：
运动关系获取模块，用于获取第一图像和第二图像重叠区的第一方向流场运动关系和第二方向流场运动关系；
修正模块，用于通过第一修正单元对所述第一方向流场运动关系做与第一图像的非重叠区的过渡衔接修正，得到修正后的第一方向流场运动关系，以及通过第二修正单元对所述第二方向流场运动关系做与第二图像的非重叠区的过渡衔接修正，得到修正后的第二方向运动流场运动关系；
变形模块，用于采用修正后的第一方向流场运动关系和第二方向流场运动关系分别对第一图像的重叠区和第二图像的重叠区做前向和后向变形变换；
融合模块，用于将经过前向和后向变形变换后的第一图像的重叠区和第二图像的重叠区进行融合得到第一图像和第二图像重叠区的最终图像。
8.根据权利要求7所述的装置，其特征在于，若第一图像和第二图像为水平方向重叠，所述第一修正单元还用于将所述第一方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第一系数因子得到修正后的第一方向流场运动关系的水平方向分量，以及将所述第一方向流场运动关系的垂直方向分量作为修正后的第一方向流场运动关系的垂直方向分量；以及
所述第二修正单元还用于将所述第二方向流场运动关系的水平方向分量乘以包含重叠区的像素点水平坐标与重叠区的水平像素宽度关系的第二系数因子得到修正后的第二方向流场运动关系的水平方向分量，以及将所述第二方向流场运动关系的垂直方向分量作为修正后的第二方向流场运动关系的垂直方向分量。
9.根据权利要求7所述的装置，其特征在于，若第一图像和第二图像为垂直方向重叠，所述第一修正单元还用于将所述第一方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第三系数因子得到修正后的第一方向流场运动关系的垂直方向分量，以及将所述第一方向流场运动关系的水平方向分量作为修正后的第一方向流场运动关系的水平方向分量；
所述第二修正单元还用于将所述第二方向流场运动关系的垂直方向分量乘以包含重叠区的像素点垂直坐标与重叠区的垂直像素高度关系的第四系数因子得到修正后的第二方向流场运动关系的垂直方向分量，以及将所述第二方向流场运动关系的水平方向分量作为修正后的第二方向流场运动关系的水平方向分量。
10.根据权利要求7所述的装置，其特征在于，所述变形模块包括：
第一变形单元，用于采用修正后的第一方向流场运动关系对第一图像的重叠区做前向变形变换，得到第一图像的重叠区的前向变形变换图像；
第二变形单元，用于采用修正后的第二方向流场运动关系对第一图像的重叠区做后向变形变换，得到第一图像的重叠区的后向变形变换图像；
第三变形单元，用于采用修正后的第二方向流场运动关系对第二图像的重叠区做前向变形变换，得到第二图像的重叠区的前向变形变换图像；
第四变形单元，用于采用修正后的第一方向流场运动关系对第二图像的重叠区做后向变形变换，得到第二图像的重叠区的后向变形变换图像。
11.根据权利要求10所述的装置，其特征在于，所述融合模块包括：
第一融合单元，用于将第一图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第一融合图像；
第二融合单元，用于将第二图像的重叠区的前向变形变换图像和后向变形变换图像进行融合得到第二融合图像；
当所述重叠区的像素点水平坐标值小于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第一融合图像；
当所述重叠区的像素点水平坐标值等于或大于所述重叠区的中间像素点水平坐标值时，所述第一图像和第二图像重叠区的最终图像为所述第二融合图像。
12.根据权利要求11所述的装置，其特征在于，若所述重叠区的像素点属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的前向变形变换图像，以及若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第一融合图像为所述第一图像的重叠区的后向变形变换图像；
若所述重叠区的像素点属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的前向变形变换图像，以及若所述重叠区的像素点不属于第一类瑕疵区域内，则所述第二融合图像为所述第二图像的重叠区的后向变形变换图像。
CN201610522270.8A 2016-07-04 2016-07-04 视差融合方法和装置 Active CN106162143B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610522270.8A CN106162143B (zh) 2016-07-04 2016-07-04 视差融合方法和装置
PCT/CN2017/086950 WO2018006669A1 (zh) 2016-07-04 2017-06-02 视差融合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610522270.8A CN106162143B (zh) 2016-07-04 2016-07-04 视差融合方法和装置

Publications (2)

Publication Number Publication Date
CN106162143A CN106162143A (zh) 2016-11-23
CN106162143B true CN106162143B (zh) 2018-11-09

Family

ID=58061810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610522270.8A Active CN106162143B (zh) 2016-07-04 2016-07-04 视差融合方法和装置

Country Status (2)

Country Link
CN (1) CN106162143B (zh)
WO (1) WO2018006669A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162143B (zh) * 2016-07-04 2018-11-09 腾讯科技（深圳）有限公司 视差融合方法和装置
CN106815802A (zh) * 2016-12-23 2017-06-09 深圳超多维科技有限公司 一种图像拼接方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954664A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
CN105488760A (zh) * 2015-12-08 2016-04-13 电子科技大学 基于流场的虚拟图像拼接方法
CN105635808A (zh) * 2015-12-31 2016-06-01 电子科技大学 一种基于贝叶斯理论的视频拼接方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
CN105141920B (zh) * 2015-09-01 2018-06-19 电子科技大学 一种360度全景视频拼接***
CN106162143B (zh) * 2016-07-04 2018-11-09 腾讯科技（深圳）有限公司 视差融合方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954664A (zh) * 2014-03-24 2015-09-30 东芝阿尔派·汽车技术有限公司 图像处理装置和图像处理方法
CN105488760A (zh) * 2015-12-08 2016-04-13 电子科技大学 基于流场的虚拟图像拼接方法
CN105635808A (zh) * 2015-12-31 2016-06-01 电子科技大学 一种基于贝叶斯理论的视频拼接方法

Also Published As

Publication number Publication date
WO2018006669A1 (zh) 2018-01-11
CN106162143A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN109509146B (zh) 图像拼接方法及装置、存储介质
CN101673395B (zh) 图像拼接方法及装置
Perazzi et al. Panoramic video from unstructured camera arrays
EP2348745A2 (en) Perceptually-based compensation of unintended light pollution of images for display systems
CN207369210U (zh) 用于立体视觉图像捕获的多层相机装置
CN107113381A (zh) 时空局部变形及接缝查找的容差视频拼接
CN110660033B (zh) 一种字幕的去除方法、装置及电子设备
CN102164292A (zh) 记录装置和方法、图像处理装置和图像处理方法与程序
CN106162143B (zh) 视差融合方法和装置
US20150042760A1 (en) Image processing methods and systems in accordance with depth information
Bokov et al. Automatic detection of artifacts in converted S3D video
CN110322424B (zh) 高分辨率图像处理方法及装置、vr图像显示方法及vr设备
JP2010072813A (ja) 画像処理装置および画像処理プログラム
CN110636373B (zh) 图像处理方法、装置及电子设备
CN115941920B (zh) 裸眼3d视频生成方法、装置、设备及存储介质
Schaffland et al. New interactive methods for image registration with applications in repeat photography
Chen et al. Virtual-view PSNR prediction based on a depth distortion tolerance model and support vector machine
CN110597577A (zh) 一种头戴可视设备及其分屏显示方法和装置
Li et al. Distortion correction and image registration of ultralarge field of view near-eye display device
KR101807229B1 (ko) Tv 영상용 가속 초해상 처리 방법 및 이 방법에 따른 tv 영상용 가속 초해상 처리 장치, 제1~6 가속 초해상 처리 프로그램과 제1~2 기억 매체
CN113538318A (zh) 图像处理方法、装置、终端设备以及可读存储介质
TWI489151B (zh) 三維物件顯示方法、顯示器及顯示胞
Kandula et al. Deep end-to-end rolling shutter rectification
CN102111630B (zh) 图像处理设备、图像处理方法
TWI807713B (zh) 立體顯示系統及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant