CN111464804A - 一种全向视差视图合成方法、装置及存储介质 - Google Patents

一种全向视差视图合成方法、装置及存储介质 Download PDF

Info

Publication number
CN111464804A
CN111464804A CN202010268198.7A CN202010268198A CN111464804A CN 111464804 A CN111464804 A CN 111464804A CN 202010268198 A CN202010268198 A CN 202010268198A CN 111464804 A CN111464804 A CN 111464804A
Authority
CN
China
Prior art keywords
image data
pixel
target viewpoint
original image
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010268198.7A
Other languages
English (en)
Inventor
肖春霞
罗飞
李文杰
周力恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202010268198.7A priority Critical patent/CN111464804A/zh
Publication of CN111464804A publication Critical patent/CN111464804A/zh
Priority to US17/027,059 priority patent/US11245886B2/en
Priority to JP2020160472A priority patent/JP7138680B2/ja
Priority to EP20199612.1A priority patent/EP3893498A1/en
Priority to KR1020200169197A priority patent/KR102367648B1/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开是关于一种全向视差视图合成方法、装置及存储介质，全向视差视图合成方法，所述方法包括：获取原始图像数据对之间的视差，其中所述视差包括水平视差和竖直视差；基于原始图像数据对之间的基线确定目标视点；根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的目标像素；根据所述目标像素合成所述目标视点的目标视图。通过本公开，增加了在目标图像像素与原始图像数据像素匹配的准确性。

Description

一种全向视差视图合成方法、装置及存储介质
技术领域
本公开涉及图像技术领域，尤其涉及一种全向视差视图合成方法、装置及存储介质。
背景技术
随着图像技术的发展，越来越多的的领域应用了视图合成技术，例如：虚拟显示，远程会议，物体3维重构，视频帧预测等。相关技术中有，基于流的视图合成方法，基于概率模型的视图合成方法，基于深度或者视差信息的视图合成方法。
然而，在相关技术中，基于视差合成的视图，在自然复杂场景中不适用，并且学习不够鲁棒，合成效果不佳。
发明内容
为克服相关技术中存在的问题，本公开提供一种全向视差视图合成方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种全向视差视图合成方法，所述方法包括：
获取原始图像数据对之间的视差，其中所述视差包括水平视差和竖直视差；基于原始图像数据对之间的基线确定目标视点；根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的目标像素；根据所述目标像素合成所述目标视点的目标视图。
在一种实施方式中，获取原始图像数据对之间的视差，包括：
获取原始图像数据对；将所述原始图像数据对输入到预先构建的视差预测模型中，得到所述原始数据对之间的水平视差和竖直视差。
在一种实施方式中，所述方法还包括采用如下方式预先构建视差预测模型：
确定双目立体图像数据集，所述双目立体图形数据集中包括双目立体图像的水平方向数据和竖直方向数据；基于所述双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集；对所述训练数据集进行深度神经网络训练，得到视差预测训练模型；确定损失函数，根据所述损失函数和测试集数据对所述视差预测模型进行检测，并得到目标视点生成参数；基于所述损失函数和所述目标视点生成参数调试所述视差预测训练模型得到视差预测模型。
在一种实施方式中，所述确定损失函数，包括：
基于获取的视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差、像素点误差以及结构相似性，确定损失函数。
在一种实施方式中，根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的目标像素，包括：
获取目标视点；根据所述目标视点和水平视差，确定目标视点在水平方向上到原始图像数据中对应像素的距离；根据所述目标视点和竖直视差，确定目标视点在竖直方向上到原始图像数据中对应像素的距离；根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在所述原始图像数据中对应的目标像素。
在一种实施方式中，根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在所述原始图像数据中对应的目标像素，包括：
根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定目标视点在原始图像数据中对应像素的相邻像素；根据所述相邻像素与目标视点在原始图像数据中对应的像素之间的距离线性比例关系确定每个相邻像素对应的权重值，其中所有相邻像素对应的权重值的和为1；根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算得到目标视点对应的目标像素。
在一种实施方式中，根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算得到目标视点对应的目标像素像素，通过如下方式实现：
Figure BDA0002442133460000021
其中，
Figure BDA0002442133460000022
为目标视点的合成视图；W1为目标视点第一相邻点的像素权重值,W2为目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值，W4为目标视点第四相邻点的像素权重值，且W1+W2+W3+W4＝1；
Figure BDA0002442133460000023
为目标视点第一相邻点的像素；
Figure BDA0002442133460000024
为目标视点第二相邻点的像素；
Figure BDA0002442133460000025
为目标视点第三相邻点的像素；
Figure BDA0002442133460000026
为目标视点第四相邻点的像素。
根据本公开实施例的第二方面，提供一种全向视差视图合成装置，所述装置包括：
获取模块，用于获取原始图像数据对之间的视差，其中所述视差包括水平视差和竖直视差；确定模块，用于基于原始图像数据对之间的基线确定目标视点；获取模块，还用于根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的像素；合成模块，用于根据所述像素合成所述目标视点的目标视图。
在一种实施方式中，所述获取模块采用如下方式获取原始图像数据对之间的视差：
获取原始图像数据对；将所述原始图像数据对输入到预先构建的视差预测模型中，得到所述原始数据对之间的水平视差和竖直视差。
在一种实施方式中，所述装置还包括构建模块，所述构建模块采用如下方式预先构建视差预测模型：
确定双目立体图像数据集，所述双目立体图形数据集中包括双目立体图像的水平方向数据和竖直方向数据；基于所述双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集；对所述训练数据集进行深度神经网络训练，得到视差预测训练模型；确定损失函数，根据所述损失函数和测试集数据对所述视差预测模型进行检测，并得到目标视点生成参数；基于所述损失函数和所述目标视点生成参数调试所述视差预测训练模型得到视差预测模型。
在一种实施方式中，所述确定模块还用于：
基于获取的视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差、像素点误差以及结构相似性，确定损失函数。
在一种实施方式中，所述确定模块根据如下方式确定所述目标视点在所述原始图像数据中的目标像素：
获取目标视点；根据所述目标视点和水平视差，确定目标视点在水平方向上到原始图像数据中对应像素的距离；根据所述目标视点和竖直视差，确定目标视点在竖直方向上到原始图像数据中对应像素的距离；根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在所述原始图像数据中对应的目标像素。
在一种实施方式中，所述确定模块采用如下方式确定目标视点在所述原始图像数据中对应的目标像素：
根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定目标视点在原始图像数据中对应像素的相邻像素；根据所述相邻像素与目标视点在原始图像数据中对应的像素之间的距离线性比例关系确定每个相邻像素对应的权重值，其中所有相邻像素对应的权重值的和为1；根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算得到目标视点对应的目标像素。
在一种实施方式中，所述确定模块还包括计算单元，所述计算单元通过下述方式确定目标视点对应的目标像素：
Figure BDA0002442133460000041
其中，
Figure BDA0002442133460000042
为目标视点的合成视图；W1为目标视点第一相邻点的像素权重值,W2为目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值，W4为目标视点第四相邻点的像素权重值，且W1+W2+W3+W4＝1；
Figure BDA0002442133460000043
为目标视点第一相邻点的像素；
Figure BDA0002442133460000044
为目标视点第二相邻点的像素；
Figure BDA0002442133460000045
为目标视点第三相邻点的像素；
Figure BDA0002442133460000046
为目标视点第四相邻点的像素。
根据本公开实施例的第二方面，提供一种全向视差的视图合成装置，包括：
处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行第一方面或者第一方面任意一种实施方式中的全向视差视图合成方法。
根据本公开实施例的第二方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由网络设备的处理器执行时，使得电子设备能够执行第二方面或者第二方面任意一种实施方式中所述的全向视差视图合成方法。
本公开的实施例提供的技术方案可以包括以下有益效果：根据获取的原始图像数据的水平视差和竖直视差确定目标视点像素在原始图像数据中对应的像素，进而合成目标视图，增加了在目标图像像素与原始图像数据像素匹配的准确性，简便性以及适用性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。
图2是根据不同的视点拍摄的同一物体的原始图像数据对的示意图。
图3是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。
图4是根据输入原始图像数据预测视差的示意图。
图5是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。
图6是构建深度神经网络(DispNet)框架结构示意图。
图7是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。
图8是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。
图9是根据一示例性实施例示出的一种全向视差视图合成装置的框图。
图10是根据一示例性实施例示出的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供的全向视差视图合成方法，分别获取原始图像对在水平方向和竖直方向之间的视差，根据水平方向和竖直方向之间的视差确定原始图像中对应的像素，可以适用于复杂的自然场景，并且合成效果极佳。
图1是根据一示例性实施例示出的一种全向视差视图合成方法的流程图，如图1所示，全向视差视图合成方法，包括以下步骤。
在步骤S11中，获取原始图像数据对之间的视差。
其中所述视差包括水平视差和竖直视差。在本公开实施例中，水平视差用DISPh表示，竖直视差用DISPv表示。
获取原始图像数据对，其中原始图像数据对包括第一原始图像和第二原始图像，第一原始图像和第二原始图像，在不同的视点拍摄的同一物体的原始图像数据对。如图2所示，根据第一原始图像和第二原始图像的像素坐标，确定第二原始图像的像素坐标对应在第一原始图像的像素坐标，确定两个像素坐标之间的水平视差和竖直视差。
在步骤S12中，基于原始图像数据对之间的基线确定目标视点。
其中，基线为原始图像数据对之间两个拍摄点之间的连线。目标视点为原始图像数据对的基线上任意一点。
在步骤S13中，根据水平视差和竖直视差获取目标视点在原始图像数据中的目标像素。
确定目标视点之后，获取目标视点在像素坐标下的坐标值，根据目标视点的坐标值以及获取的水平视差和竖直视差确定目标视点的像素在第一原始图像中的像素坐标，根据确定的目标视点的像素在第一原始图像中的像素坐标获取对应像素。
在步骤S14中，根据目标像素合成目标视点的目标视图。
目标视图包括多个像素，基于第一原始图像获取所有的像素之后，根据像素合成目标视图。
在上述方法中，根据水平视差以及竖直视差确定的目标视点像素在原始图像数据中的对应像素，增加了确定目标视点像素在原始图像数据中的对应像素的准确性，进一步提高了目标视图的准确性。
本公开实施例以下结合实际应用对本公开涉及的全向视差视图合成方法进行说明。
图3是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。如图3所示，获取原始图像数据对之间的视差，包括步骤S31和步骤S32。
在步骤S31中，获取原始图像数据对。
在步骤S32中，将原始图像数据对输入到预先构建的视差预测模型中，得到原始数据对之间的水平视差和竖直视差。
获取到原始数据对，即在不同视点拍摄的第一原始图像和第二原始图像。将获取的第一原始图像和第二原始图像输入到预先构建的视差预测模型中，进一步得到在第一原始图像和第二原始图像之间的水平视差和竖直视差。如图4所示，在视差预测模型中，输入在不同视点拍摄的同一物体的立体图像原始图像数据对，根据视差预测模型深度神经网络，通过对原始图像数据进行卷积运算，包括卷积上采样和卷积下采样。通过双线性采样器生成参数α，其中α的取值范围为0≤α≤1，参数α用于确定目标视点更接近于原始图像数据的第一原始图像或第二原始图像。将该参数加入到视差预测模型预算中，得到水平方向和竖直方向上的视差图。
在本公开的一种实施方式中，通过采用以下方式构建视差预测模型。
图5是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。如图5所示，构建视差预测模型的方法包括步骤S51-步骤S55。
在步骤S51中，确定双目立体图像数据集，双目立体图形数据集中包括双目立体图像的水平方向数据和竖直方向数据。
其中，双目立体图像数据集可以选择具有真实场景的图像数据。选择的该图像数据中真实场景环境多样。例如本公开实施例采用KITTI数据集得到双目立体图像数据集。
KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办。该数据集用于评测立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮挡与截断。
在步骤S52中，基于双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集。
将得到的双目立体图像数据集按照二分类比例关系，例如可以将训练数据集和测试数据集按照7:3或者8:2的比例进行划分，得到训练数据集和测试数据集。
在步骤S53中，对训练数据集进行卷积神经网络训练，得到视差预测训练模型。
构建深度神经网络(DispNet)框架结构，如图6所示，使该卷积神经网络可以计算任意一图像数据对之间的视差，并在计算图像数据对的视差时，可以分别计算为水平视差和竖直视差。得到可以输出水平视差和竖直视差的视差预测训练模型。
在步骤S54中，确定损失函数，根据损失函数和测试集数据对视差预测模型进行检测，并得到目标视点生成参数。
根据上述得到的视差预测训练模型得到输出的视差视图与已有的视差视图进行对比，确定由视差预测训练模型得到输出的视差视图与已有的视差视图之间的误差，确定损失函数。根据确定的损失函数以及上述得到的测试数据集对视差训练模型进行输出结果的检测，确定目标视点生成参数，采用α表示，其中α的取值范围为0≤α≤1。确定的目标视点生成参数α用于确定目标视点的目标视图更接近第一原始图像还是第二原始图像。
其中在目标视点生成参数α的条件下，目标视点像素坐标与目标视点像素在原始图像数据中像素的坐标关系如下：
Figure BDA0002442133460000071
Figure BDA0002442133460000072
其中，
Figure BDA0002442133460000073
为目标视点在目标视点生成参数α的条件下的水平坐标，Yt α为目标视点在目标视点生成参数α的条件下的竖直坐标，XS为目标视点像素在原始图像数据中心对应像素的水平坐标，
Figure BDA0002442133460000074
为在目标视点生成参数α的条件下的水平视差，YS为目标视点像素在原始图像数据中心对应像素的竖直坐标，
Figure BDA0002442133460000075
为为在目标视点生成参数α的条件下的竖直视差。
其中
Figure BDA0002442133460000076
还可以表示为αDISPv，
Figure BDA0002442133460000077
还可以表示为αDISPh。
在步骤S55中，基于损失函数和目标视点生成参数调试视差预测训练模型得到视差预测模型。
根据上述确定的损失函数以及目标视点生成参数设置于视差预测训练模型中，得到可以预测图像数据对之间水平视差和竖直视差的视差预测模型。
在本公开一示例性实施例中，采用如下函数确定上述涉及的损失函数。
在本公开一种实施方式中，损失函数由视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差(the Mean Absolute Error，MAE)、像素点误差以及结构相似性(the Structural similarity index Measure，SSIM)组成。
损失函数采用下述函数式表示，
Figure BDA0002442133460000081
其中，MAE为视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差，PSNR为像素点误差，即峰值信噪比，SSIM为结构相似性，S为预测视差视图中像素，G实际的视差视图中像素。λ1为视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差的权重值，λ2为像素点误差的权重值，λ3结构相似性的权重值。
MAE采用下述函数式表示，
Figure BDA0002442133460000082
其中，W为双目立体图像数据集中图像的宽度，H为双目立体图像数据集中图像的高度，S(x,y)为预测视差视图中像素的坐标，G(x,y)为实际的视差视图中像素的坐标。
像素点误差，即基于误差敏感的图像质量评价，是一种图像客观评价指标，为峰值信噪比(the Peak Signal to Noise Ratio，PSNR)，数值越大表示失真越小。采用下述函数式表示，
Figure BDA0002442133460000083
其中。MSE为视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的均方误差，n为每个像素的比特数。
视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的均方误差，采用下述函数式表示，
Figure BDA0002442133460000091
结构相似性，是一种全参考的图像质量评价指标，该结构相似性可以从亮度、对比度、结构三方面来度量图像的相似性。SSIM的取值范围为[0,1]，SSIM的值越大，表示图像的失真越小。SSIM采用下述函数式表示，
SSIM(S,G)＝I(S,G)*C(S,G)*St(S,G)
其中，I为亮度，C为对比度，St为结构，S为预测视差视图中像素，G实际的视差视图中像素。
亮度I采用下述函数式表示，
Figure BDA0002442133460000092
μS为预测视差视图中像素的均值，μG为实际的视差视图中像素的均值，C1常数。
对比度C采用下述函数式表示，
Figure BDA0002442133460000093
σS为预测视差视图中像素的方差，σG为实际的视差视图中像素的方差，C2常数。
结构St采用下述函数式表示，
Figure BDA0002442133460000094
σSG为预测视差视图中像素与实际的视差视图中像素的协方差，σX为预测视差视图中像素与实际的视差视图中像素的水平协方差，σY为预测视差视图中像素与实际的视差视图中像素的竖直平协方差，C3为常数。
图7是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。如图7所示，在本公开一示例性实施例中，根据水平视差和竖直视差获取目标视点在原始图像数据中的像素的方法包括步骤S71-步骤S74。
在步骤S71中，获取目标视点。
由上述实施例可知，在原始图像数据对的基线上确定目标视点，获取该目标视点，并进一步得到目标视点的像素坐标。
在步骤S72中，根据目标视点和水平视差，确定目标视点在水平方向上到原始图像数据中对应像素的距离。
根据目标视点的像素坐标和得到的水平视差，确定目标视点在水平方向上到原始图像数据对应目标像素的距离，即目标视点在水平方向上需要移动的距离。
在步骤S73中，根据目标视点和竖直视差，确定目标视点在竖直方向上到原始图像数据中对应像素的距离。
根据标视点的像素坐标和得到的竖直视差，确定目标视点在竖直方向上到原始图像数据对应像素的距离，即目标视点在竖直方向上需要移动的距离。
在步骤S74中，根据目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在原始图像数据中对应的目标像素。
根据上述实施例中得到的目标视点到原始图像数据对应像素的水平方向距离和竖直方向距离，确定目标视点像素坐标在原始图像数据中对应的目标像素坐标，根据目标像素坐标确定并获取目标像素。
按照上述方法获取得到目标视点后，确定目标视点像素坐标，根据视差预测模型输出的水平视差和竖直视差计算目标视点在原始图像数据中对应像素的坐标。进一步地，本公开中，选择原始图像数据对中的第一原始图像为例，根据预测得到的水平视差和竖直视差计算目标视点像素在第一原始图像中对应的像素。并获取该像素与目标视图中。
图8是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。如图8所示，在本公开一示例性实施例中，根据目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，计算并获取目标视点在原始图像数据中对应的像素的方法，包括步骤S81-步骤S83。
在步骤S81中，根据目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定目标视点在原始图像数据中对应像素的相邻像素。
确定目标视点像素坐标，通过对目标视点像素坐标根据水平视差和竖直视差进行计算，得到目标视点在原始图像中像素坐标，可以用下述公式表示，
Figure BDA0002442133460000101
其中
Figure BDA0002442133460000102
为目标视图像素坐标，DISPh为水平视差，DISPv为竖直视差，
Figure BDA0002442133460000103
为原始图像数据中对应像素坐标，
Figure BDA0002442133460000104
为原始图像像素坐标基于目标视图像素坐标的坐标。
确定目标像素在原始图像数据中对应像素坐标之后，采用双线性插值法确定与目标像素在原始图像数据中对应像素坐标相邻的4个像素，并获取相邻4个像素的坐标，为第一相邻像素
Figure BDA0002442133460000111
第二相邻像素
Figure BDA0002442133460000112
第三相邻像素
Figure BDA0002442133460000113
第四相邻像素
Figure BDA0002442133460000114
在步骤S82中，根据相邻像素与目标视点在原始图像数据中对应的像素之间的距离线性比例关系确定每个相邻像素对应的权重值，其中所有相邻像素对应的权重值的和为1。
确定4个相邻像素的权重值，分别为第一权重W1，第二权重W2，第三权重W3，第四权重W4，根据4个相邻像素到目标像素在原始图像数据中对应像素的距离确定4权重的比例关系，并且W1+W2+W3+W4＝1。
在步骤S83中，根据目标视点在原始图像数据中对应像素的相邻像素以及相邻像素对应的权重值计算得到目标视点像素。
确定了相邻像素点之后，采用根据目标视点在原始图像数据中对应像素的相邻像素以及相邻像素对应的权重值计算得到目标视点像素的计算式计算目标点像素。
其中，根据目标视点在原始图像数据中对应像素的相邻像素以及相邻像素对应的权重值计算得到目标视点像素的计算式如下：
Figure BDA0002442133460000115
其中，
Figure BDA0002442133460000116
为目标视点的合成视图；W1为目标视点第一相邻点的像素权重值,W2为目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值，W4为目标视点第四相邻点的像素权重值，且W1+W2+W3+W4＝1；
Figure BDA0002442133460000117
为目标视点第一相邻点的像素；
Figure BDA0002442133460000118
为目标视点第二相邻点的像素；
Figure BDA0002442133460000119
为目标视点第三相邻点的像素；
Figure BDA00024421334600001110
为目标视点第四相邻点的像素。
基于相同的构思，本公开实施例还提供一种全向视差视图合成装置。
可以理解的是，本公开实施例提供的全向视差视图合成装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图9是根据一示例性实施例示出的一种全向视差视图合成装置框图。参照图9，该装置包括获取模块901，确定模块902和合成模块903。
获取模块901，用于获取原始图像数据对之间的视差，其中视差包括水平视差和竖直视差；确定模块902，用于基于原始图像数据对之间的基线确定目标视点。获取模块，还用于根据水平视差和竖直视差获取所述目标视点在原始图像数据中的目标像素。合成模块903，用于根据目标像素合成所述目标视点的目标视图。
在上述装置中，根据水平视差以及竖直视差确定的目标视点像素在原始图像数据中的对应像素，增加了确定目标视点像素在原始图像数据中的对应像素的准确性，进一步提高了目标视图的准确性。
在本公开一示例性实施例中，获取模块901采用如下方式获取原始图像数据对之间的视差。
获取原始图像数据对；将原始图像数据对输入到预先构建的视差预测模型中，得到原始数据对之间的水平视差和竖直视差。
在本公开一示例性实施例中，装置还包括构建模块，构建模块采用如下方式预先构建视差预测模型。
确定双目立体图像数据集，双目立体图形数据集中包括双目立体图像的水平方向数据和竖直方向数据；基于双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集；对训练数据集进行深度神经网络训练，得到视差预测训练模型；确定损失函数，根据损失函数和测试集数据对视差预测模型进行检测，并得到目标视点生成参数；基于损失函数和目标视点生成参数调试视差预测训练模型得到视差预测模型。
在本公开一示例性实施例中，确定模块还用于，
基于获取的视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差、像素点误差以及结构相似性，确定损失函数。
在本公开一示例性实施例中，确定模块采用如下方式确定目标视点在原始图像数据中的像素。
获取目标视点；根据目标视点和水平视差，确定目标视点在水平方向上到原始图像数据中对应像素的距离；根据目标视点和竖直视差，确定目标视点在竖直方向上到原始图像数据中对应像素的距离；根据目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在原始图像数据中对应的像素。
在本公开一示例性实施例中，确定模块采用如下方式确定目标视点在原始图像数据中对应的像素。
根据目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定目标视点在原始图像数据中对应像素的相邻像素；根据相邻像素与目标视点在原始图像数据中对应的像素之间的距离线性比例关系确定每个相邻像素对应的权重值，其中所有相邻像素对应的权重值的和为1；根据目标视点在原始图像数据中对应像素的相邻像素以及相邻像素对应的权重值计算得到目标视点对应的目标像素。
在本公开一示例性实施例中，确定模块还包括计算单元，计算单元采用下述方式确定目标像素。
Figure BDA0002442133460000131
其中，
Figure BDA0002442133460000132
为目标视点的合成视图；W1为目标视点第一相邻点的像素权重值,W2为目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值，W4为目标视点第四相邻点的像素权重值，且W1+W2+W3+W4＝1；
Figure BDA0002442133460000133
为目标视点第一相邻点的像素；
Figure BDA0002442133460000134
为目标视点第二相邻点的像素；
Figure BDA0002442133460000135
为目标视点第三相邻点的像素；
Figure BDA0002442133460000136
为目标视点第四相邻点的像素。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种用于全向视差视图合成的装置1000的框图。例如，装置1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图10，装置1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电力组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在设备1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件1006为装置1000的各种组件提供电力。电力组件1006可以包括电源管理***，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当装置1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为装置1000提供各个方面的状态评估。例如，传感器组件1014可以检测到设备1000的打开/关闭状态，组件的相对定位，例如所述组件为装置1000的显示器和小键盘，传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变，用户与装置1000接触的存在或不存在，装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由装置1000的处理器1020执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
进一步可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种全向视差视图合成方法，其特征在于，所述方法包括：
获取原始图像数据对之间的视差，其中所述视差包括水平视差和竖直视差；
基于原始图像数据对之间的基线确定目标视点；
根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的目标像素；
根据所述目标像素合成所述目标视点的目标视图。
2.根据权利要求1所述的全向视差视图合成方法，其特征在于，获取原始图像数据对之间的视差，包括：
获取原始图像数据对；
将所述原始图像数据对输入到预先构建的视差预测模型中，得到所述原始数据对之间的水平视差和竖直视差。
3.根据权利要求2所述的全向视差视图合成方法，其特征在于，所述方法还包括采用如下方式预先构建视差预测模型：
确定双目立体图像数据集，所述双目立体图形数据集中包括双目立体图像的水平方向数据和竖直方向数据；
基于所述双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集；
对所述训练数据集进行深度神经网络训练，得到视差预测训练模型；
确定损失函数，根据所述损失函数和测试集数据对所述视差预测模型进行检测，并得到目标视点生成参数；
基于所述损失函数和所述目标视点生成参数调试所述视差预测训练模型得到视差预测模型。
4.根据权利要求3所述的全向视差视图合成方法，其特征在于，所述确定损失函数，包括：
基于获取的视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差、像素点误差以及结构相似性，确定损失函数。
5.根据权利要求1所述的全向视差视图合成方法，其特征在于，根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的目标像素，包括：
获取目标视点；
根据所述目标视点和水平视差，确定目标视点在水平方向上到原始图像数据中对应像素的距离；
根据所述目标视点和竖直视差，确定目标视点在竖直方向上到原始图像数据中对应像素的距离；
根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在所述原始图像数据中对应的目标像素。
6.根据权利要求5所述的全向视差视图合成方法，其特征在于，根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在所述原始图像数据中对应的目标像素，包括：
根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定目标视点在原始图像数据中对应像素的相邻像素；
根据所述相邻像素与目标视点在原始图像数据中对应的像素之间的距离线性比例关系确定每个相邻像素对应的权重值，其中所有相邻像素对应的权重值的和为1；
根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算得到目标视点对应的目标像素。
7.根据权利要求6所述的全向视差视图合成方法，其特征在于，根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算得到目标视点对应的目标像素，通过如下方式实现：
Figure FDA0002442133450000021
其中，
Figure FDA0002442133450000022
为目标视点的合成视图；W1为目标视点第一相邻点的像素权重值,W2为目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值，W4为目标视点第四相邻点的像素权重值，且W1+W2+W3+W4＝1；
Figure FDA0002442133450000023
为目标视点第一相邻点的像素；
Figure FDA0002442133450000024
为目标视点第二相邻点的像素；
Figure FDA0002442133450000025
为目标视点第三相邻点的像素；
Figure FDA0002442133450000026
为目标视点第四相邻点的像素。
8.一种全向视差视图合成装置，其特征在于，所述装置包括：
获取模块，用于获取原始图像数据对之间的视差，其中所述视差包括水平视差和竖直视差；
确定模块，用于基于原始图像数据对之间的基线确定目标视点；
获取模块，还用于根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的目标像素；
合成模块，用于根据所述目标像素合成所述目标视点的目标视图。
9.根据权利要求8所述的全向视差视图合成装置，其特征在于，所述获取模块采用如下方式获取原始图像数据对之间的视差：
获取原始图像数据对；
将所述原始图像数据对输入到预先构建的视差预测模型中，得到所述原始数据对之间的水平视差和竖直视差。
10.根据权利要求9所述的全向视差视图合成装置，其特征在于，所述装置还包括构建模块，所述构建模块采用如下方式构建视差预测模型：
确定双目立体图像数据集，所述双目立体图形数据集中包括双目立体图像的水平方向数据和竖直方向数据；
基于所述双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集；
对所述训练数据集进行深度神经网络训练，得到视差预测训练模型；
确定损失函数，根据所述损失函数和测试集数据对所述视差预测模型进行检测，并得到目标视点生成参数；
基于所述损失函数和所述目标视点生成参数调试所述视差预测训练模型得到视差预测模型。
11.根据权利要求10所述的全向视差视图合成装置，其特征在于，所述确定模块还用于：
基于获取的视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据视差的平均绝对误差、像素点误差以及结构相似性，确定损失函数。
12.根据权利要求8所述的全向视差视图合成装置，其特征在于，所述确定模块采用如下方式确定所述目标视点在所述原始图像数据中的目标像素：
获取目标视点；
根据所述目标视点和水平视差，确定目标视点在水平方向上到原始图像数据中对应像素的距离；
根据所述目标视点和竖直视差，确定目标视点在竖直方向上到原始图像数据中对应像素的距离；
根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定并获取目标视点在所述原始图像数据中对应的目标像素。
13.根据权利要求12所述的全向视差视图合成装置，其特征在于，所述确定模块采用如下方式确定目标视点在所述原始图像数据中对应的目标像素：
根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离，确定目标视点在原始图像数据中对应像素的相邻像素；
根据所述相邻像素与目标视点在原始图像数据中对应的像素之间的距离线性比例关系确定每个相邻像素对应的权重值，其中所有相邻像素对应的权重值的和为1；
根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算得到目标视点对应的目标像素。
14.根据权利要求13所述的全向视差视图合成装置，其特征在于，所述确定模块还包括计算单元，所述计算单元通过下述方式确定目标视点对应的目标像素：
Figure FDA0002442133450000041
其中，
Figure FDA0002442133450000042
为目标视点的合成视图；W1为目标视点第一相邻点的像素权重值,W2为目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值，W4为目标视点第四相邻点的像素权重值，且W1+W2+W3+W4＝1；
Figure FDA0002442133450000043
为目标视点第一相邻点的像素；
Figure FDA0002442133450000044
为目标视点第二相邻点的像素；
Figure FDA0002442133450000045
为目标视点第三相邻点的像素；
Figure FDA0002442133450000046
为目标视点第四相邻点的像素。
15.一种全向视差视图合成装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至7中任意一项所述的全向视差视图合成方法。
16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由网络设备的处理器执行时，使得电子设备能够执行权利要求1至7中任意一项所述的全向视差视图合成方法。
CN202010268198.7A 2020-04-08 2020-04-08 一种全向视差视图合成方法、装置及存储介质 Pending CN111464804A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010268198.7A CN111464804A (zh) 2020-04-08 2020-04-08 一种全向视差视图合成方法、装置及存储介质
US17/027,059 US11245886B2 (en) 2020-04-08 2020-09-21 Method and apparatus for synthesizing omni-directional parallax view, and storage medium
JP2020160472A JP7138680B2 (ja) 2020-04-08 2020-09-25 全方位視差ビューの合成方法、装置および記憶媒体
EP20199612.1A EP3893498A1 (en) 2020-04-08 2020-10-01 Method and apparatus for synthesizing omni-directional parallax view, and storage medium
KR1020200169197A KR102367648B1 (ko) 2020-04-08 2020-12-07 전 방향 시차 영상 합성 방법, 장치 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010268198.7A CN111464804A (zh) 2020-04-08 2020-04-08 一种全向视差视图合成方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111464804A true CN111464804A (zh) 2020-07-28

Family

ID=71678530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010268198.7A Pending CN111464804A (zh) 2020-04-08 2020-04-08 一种全向视差视图合成方法、装置及存储介质

Country Status (5)

Country Link
US (1) US11245886B2 (zh)
EP (1) EP3893498A1 (zh)
JP (1) JP7138680B2 (zh)
KR (1) KR102367648B1 (zh)
CN (1) CN111464804A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780390A (zh) * 2021-08-31 2021-12-10 中国人民解放军战略支援部队信息工程大学 基于重构映射一致的无监督密集匹配方法及***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12015755B2 (en) * 2021-03-25 2024-06-18 Korea Advanced Institute Of Science And Technology Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
EP4300423A1 (en) * 2022-06-27 2024-01-03 Continental Autonomous Mobility Germany GmbH Robust stereo camera image processing method and system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662695A (zh) * 2009-09-24 2010-03-03 清华大学 一种获取虚拟视图的方法和装置
CN102075779A (zh) * 2011-02-21 2011-05-25 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法
CN102790895A (zh) * 2012-07-30 2012-11-21 武汉大学 一种基于最小二乘的多视点视频编码视点合成预测方法
US20130050412A1 (en) * 2011-08-24 2013-02-28 Sony Computer Entertainment Inc. Image processing apparatus and image processing method
JP2013143702A (ja) * 2012-01-11 2013-07-22 Sharp Corp 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
CN107493465A (zh) * 2017-09-18 2017-12-19 郑州轻工业学院 一种虚拟多视点视频生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02101584A (ja) 1988-10-11 1990-04-13 Nippon Telegr & Teleph Corp <Ntt> ステレオ画像処理方式
JPH1013860A (ja) 1996-04-26 1998-01-16 Victor Co Of Japan Ltd 立体画像補間装置及びその方法
KR100795481B1 (ko) 2006-06-26 2008-01-16 광주과학기술원 다시점화상의 처리 방법 및 장치
JP2011070579A (ja) 2009-09-28 2011-04-07 Dainippon Printing Co Ltd 撮影画像表示装置
TW201245768A (en) * 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
US8867826B2 (en) 2012-11-26 2014-10-21 Mitusbishi Electric Research Laboratories, Inc. Disparity estimation for misaligned stereo image pairs
KR101614874B1 (ko) 2014-08-08 2016-04-22 에쓰온(주) 지능형 3차원 씨씨티브이 카메라 영상 처리장치
WO2017149875A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662695A (zh) * 2009-09-24 2010-03-03 清华大学 一种获取虚拟视图的方法和装置
CN102075779A (zh) * 2011-02-21 2011-05-25 北京航空航天大学 一种基于块匹配视差估计的中间视图合成方法
US20130050412A1 (en) * 2011-08-24 2013-02-28 Sony Computer Entertainment Inc. Image processing apparatus and image processing method
JP2013143702A (ja) * 2012-01-11 2013-07-22 Sharp Corp 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
CN102790895A (zh) * 2012-07-30 2012-11-21 武汉大学 一种基于最小二乘的多视点视频编码视点合成预测方法
CN107493465A (zh) * 2017-09-18 2017-12-19 郑州轻工业学院 一种虚拟多视点视频生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780390A (zh) * 2021-08-31 2021-12-10 中国人民解放军战略支援部队信息工程大学 基于重构映射一致的无监督密集匹配方法及***
CN113780390B (zh) * 2021-08-31 2023-06-09 中国人民解放军战略支援部队信息工程大学 基于重构映射一致的无监督密集匹配方法及***

Also Published As

Publication number Publication date
KR20210125888A (ko) 2021-10-19
KR102367648B1 (ko) 2022-02-28
US11245886B2 (en) 2022-02-08
JP2021168463A (ja) 2021-10-21
US20210321071A1 (en) 2021-10-14
EP3893498A1 (en) 2021-10-13
JP7138680B2 (ja) 2022-09-16

Similar Documents

Publication Publication Date Title
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN106651955B (zh) 图片中目标物的定位方法及装置
CN111983635B (zh) 位姿确定方法及装置、电子设备和存储介质
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
US9300947B2 (en) Producing 3D images from captured 2D video
CN108182730A (zh) 虚实对象合成方法及装置
CN109977847A (zh) 图像生成方法及装置、电子设备和存储介质
JP2017021328A (ja) カメラの空間特性を決定する方法及びシステム
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN112115894B (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN109068118B (zh) 双摄模组的基线距离调整方法、装置及双摄模组
CN114494442A (zh) 图像处理方法、装置及设备
CN112529846A (zh) 图像处理方法及装置、电子设备和存储介质
CN112614214A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN111339880A (zh) 一种目标检测方法及装置、电子设备和存储介质
CN107657608B (zh) 图像质量确定方法、装置及电子设备
CN115272604A (zh) 立体图像获取方法及装置、电子设备、存储介质
CN111310595A (zh) 用于生成信息的方法和装置
CN115861741A (zh) 目标标定方法、装置、电子设备、存储介质及车辆
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质
CN115147466A (zh) 图像配准方法及装置、图像处理方法及装置以及存储介质
CN114898282A (zh) 图像处理方法及装置
CN113724300A (zh) 图像配准方法、装置、电子设备及存储介质
CN112767453B (zh) 人脸跟踪方法、装置、电子设备及存储介质
CN113645414B (zh) 水波纹特效视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication