CN112991419B - 视差数据生成方法、装置、计算机设备及存储介质 - Google Patents
视差数据生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112991419B CN112991419B CN202110258449.8A CN202110258449A CN112991419B CN 112991419 B CN112991419 B CN 112991419B CN 202110258449 A CN202110258449 A CN 202110258449A CN 112991419 B CN112991419 B CN 112991419B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- optical flow
- original
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000003860 storage Methods 0.000 title claims abstract description 44
- 230000003287 optical effect Effects 0.000 claims abstract description 229
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000012216 screening Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 29
- 238000010606 normalization Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 111
- 230000008569 process Effects 0.000 description 23
- 238000005070 sampling Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 241001156002 Anthonomus pomorum Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请公开了一种视差数据生成方法、装置、计算机设备及存储介质，属于计算机视觉技术领域。该方法包括：获取至少一组原始图像对，原始图像对中包含原始左目图像和原始右目图像；对原始图像对进行光流提取，得到各组原始图像对对应的光流值；基于光流值对原始图像对进行光流筛选，得到目标单目图像和目标单目图像中各个像素点对应的目标光流值，目标单目图像为原始左目图像或原始右目图像；基于目标光流值，生成目标单目图像对应的目标视差数据。提高了视差数据的获取效率，基于该视差数据可以快速构建大量用于训练单目深度估计模型的预训练样本，进而可以提高深度估计模型的训练效率。
Description
技术领域
本申请实施例涉及计算机视觉技术领域，特别涉及一种视差数据生成方法、装置、计算机设备及存储介质。
背景技术
基于图像的深度信息估计是计算机视觉领域的基础性任务之一，在3维重建、增强现实(Augmented Reality，AR)交互等领域有广泛应用。基于深度信息估计所使用图像数量的不同，深度估计的相关算法可以分为多目图像深度估计和单目图像深度估计两大类。其中，单目深度估计算法有着更广阔的应用前景，在单目图像深度估计领域中，主要通过训练网络模型的方式实现深度信息估计。
相关技术中，在训练用于进行深度信息估计的网络模型时，往往需要获取到足够多的训练样本，所需要的训练样本形式为：单目图像和配套的单通道深度谱，深度谱上每个位置的取值代表原图对应位置与相机的距离。一般的获取方式为通过专门的传感器采集图像，以获取到具有深度信息的图像。但是该获取方式获取成本较高，且获取效率较低，无法用于快速获取到具有深度信息的图像。
发明内容
本申请实施例提供了一种视差数据生成方法、装置、计算机设备及存储介质。所述技术方案如下：
一方面，本申请实施例提供了视差数据生成方法，所述方法包括：
获取至少一组原始图像对，所述原始图像对中包含原始左目图像和原始右目图像，所述原始左目图像和所述原始右目图像是在左目视角和右目视角下观察同一场景所对应的图像；
对所述原始图像对进行光流提取，得到各组所述原始图像对对应的光流值；
基于所述光流值对所述原始图像对进行光流筛选，得到目标单目图像和所述目标单目图像中各个像素点对应的目标光流值，其中，光流筛选后各个像素点对应目标光流值之间的相对大小关系与视差数据之间的相对大小关系相同，所述目标单目图像为原始左目图像或原始右目图像；
基于所述目标光流值，生成所述目标单目图像对应的目标视差数据。
另一方面，本申请实施例提供了一种一种视差数据生成装置，所述装置包括：
获取模块，用于获取至少一组原始图像对，所述原始图像对中包含原始左目图像和原始右目图像，所述原始左目图像和所述原始右目图像是在左目视角和右目视角下观察同一场景所对应的图像；
光流提取模块，用于对所述原始图像对进行光流提取，得到各组所述原始图像对对应的光流值；
光流筛选模块，用于基于所述光流值对所述原始图像对进行光流筛选，得到目标单目图像和所述目标单目图像中各个像素点对应的目标光流值，其中，光流筛选后各个像素点对应目标光流值之间的相对大小关系与视差数据之间的相对大小关系相同，所述目标单目图像为原始左目图像或原始右目图像；
生成模块，用于基于所述目标光流值，生成所述目标单目图像对应的目标视差数据。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述程序代码由所述处理器加载并执行以实现如上述方面所述的视差数据生成方法。
另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如上述方面所述的视差数据生成方法。
另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的视差数据生成方法。
本申请实施例提供的技术方案可以带来如下有益效果：
在单目图像深度估计应用场景中，可以对具有天然视差信息的原始左目图像和原始右目图像进行光流提取和光流筛选，从而可以基于筛选后的光流值快速提取到对应的视差数据，提高了视差数据的获取效率；由于该视差数据与深度信息之间的关系，对应的，基于该视差数据可以快速构建大量用于训练单目深度估计模型的预训练样本，进而可以提高深度估计模型的训练效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的视差数据生成方法的流程图；
图2示出了本申请另一个示例性实施例提供的视差数据生成方法的流程图；
图3是对图像帧进行裁剪的示意图；
图4示出了本申请另一个示例性实施例提供的视差数据生成方法的流程图；
图5示出了本申请一个示例性实施例示出的获取视差数据的过程示意图；
图6示出了本申请一个实施例提供的视差数据生成装置的结构框图；
图7示出了本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个示例性实施例提供的视差数据生成方法的流程图，本申请实施例以该方法应用于计算机设备为例进行说明，该方法包括：
步骤101，获取至少一组原始图像对，原始图像对中包含原始左目图像和原始右目图像，原始左目图像和原始右目图像是在左目视角和右目视角下观察同一场景所对应的图像。
本申请实施例中获取视差数据的目的是作为进行深度学习训练的训练样本集，对应的，往往需要获取到大量的样本图像和标注的深度信息，基于视差信息和深度信息之间的关系(视差值可以看成是深度的倒数)，获取深度信息的任务可以转换成获取视差信息的任务，而为了尽可能的快速获取到可以提取出视差信息的样本图像，可以采用包含原始左目图像和原始右目图像的原始图像对进行视差信息提取(由于原始左目图像和原始右目图像存在天然视差)。
可选的，该原始左目图像和原始右目图像可以由以左右格式存储的三维(ThreeDimensions，3D)视频或3D图像数据提取得到，示意性的，可以从3D电影资源中提取出原始图像对。
步骤102，对原始图像对进行光流提取，得到各组原始图像对对应的光流值。
其中，可以通过光流提取网络(FlowNet2)对原始图像对进行光流提取；可选的，除了光流提取网络之外，还可以采用其他的光流计算方法，比如：基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法等，本申请实施例对所采用的光流提取算法不构成限定。
为了快速构建大规模的单目深度估计训练数据集，同时考虑到所构建的数据集仅用于单目深度估计模型训练过程中的预训练过程，而预训练可以无需获取到精确的图像视差信息，仅需要保证获取到的视差信息满足空间相对关系(近处物体视差大，远处物体视差小)，而原始左目图像和原始右目图像存在天然是拆，且左右目图像之间的光流值与视差值具有一致的相对大小关系(光流大的位置视差也大)，因此，在一种可能的实施方式中，可以通过对原始图像对(左右目图像)进行光流提取，并基于提取到的光流值确定原始图像对对应的视差信息。
在一种可能的实施方式中，以左目图像为参考帧，首先提取左目图像到右目图像的光流，可以记为前向光流，再提取右目图像到左目图像的光流，记为后向光流。示意性的，原始图像对对应的前向光流可以记为Ff，后向光流可以记为Fb。
可选的，也可以以右目图像为参考帧进行光流提取。
步骤103，基于光流值对原始图像对进行光流筛选，得到目标单目图像和目标单目图像中各个像素点对应的目标光流值。
由于光流提取过程中可能存在提取误差，而光流提取的精确度关乎视差数据的准确度，为了提高确定出的视差数据的准确性，在一种可能的实施方式中，需要剔除原始图像对中不满足左右目图像所对应光流关系的图像对，其中，光流筛选后各个像素点对应目标光流值之间的相对大小关系与视差数据之间的相对大小关系相同。
可选的，由于获取到的视差数据是作为单目深度估计的训练样本集，该训练样本集为：单目图像和单目图像所对应的视差数据，而光流筛选后得到的是目标图像对，可以直接将目标图像对中的原始左目图像或原始右目图像确定为该目标单目图像。
在一种可能的实施方式中，设置有光流筛选条件，该光流筛选条件用于剔除预测光流值中的误差值，以便后续进行视差信息提取过程中，可以提高视差提取过程的准确率。
步骤104，基于目标光流值，生成目标单目图像对应的目标视差数据。
在一种可能的实施方式中，基于目标光流值和视差数据之间的关系，将目标光流值转化为目标单目图像所对应的目标视差数据。
综上所述，本申请实施例中，在单目图像深度估计应用场景中，可以对具有天然视差信息的原始左目图像和原始右目图像进行光流提取和光流筛选，从而可以基于筛选后的光流值快速提取到对应的视差数据，提高了视差数据的获取效率；由于该视差数据与深度信息之间的关系，对应的，基于该视差数据可以快速构建大量用于训练单目深度估计模型的预训练样本，进而可以提高深度估计模型的训练效率。
由于视差数据的准确性取决于提取到的光流值，对应的，如何保证提取到的光流值符合视差关系是比较重要的，而当以左右目视角同时观察同一场景时，存在一定的光流值条件，比如：竖直方向光流几乎处处为0、水平方向有较大幅度光流、光流精度较高等；在一种可能的实施方式中，可以基于该光流值条件对进行光流筛选。
在一个示例性的例子中，如图2所示，其示出了本申请另一个示例性实施例提供的视差数据生成方法的流程图，本申请实施例以该方法应用于计算机设备为例进行说明，该方法包括：
步骤201，获取目标存储格式的目标视频，目标存储格式至少包括左右存储格式。
为了快速提取出大量的左右目图像，在一种可能的实施方式中，直接使用以左右目格式存储的目标视频作为原始数据，示意性的，该目标视频可以为：以左右目格式存储的3D视频，比如，3D电影。
可选的，选取的3D电影数据除了需要满足以左右目格式存储的条件之外，还需要满足以下条件，为了使得训练数据尽量符合实际应用场景，避免由于动画、特效等夸张效果，不符合现实中的透视规则，对后续网络学习过程造成干扰，尽量选取以现实场景为主、包含动画、特效等片段较少的3D数据；此外，为了使得训练数据的分辨率与实际应用中的图像分辨率相当，避免由于训练数据的分辨率较小而影响模型的应用范围(仅可以应用于处理分辨率较小的图片)，尽量选取分辨率较高的3D数据，示意性的，分辨率需要保证大于720P。
步骤202，从目标视频中提取出至少一组候选图像对，候选图像对包括候选左目图像和候选右目图像。
由于选取的目标视频是以左右目格式存储的，对应的，可以通过对目标视频进行视频帧提取，得到目标视频中包含的至少一组图像对。
在一个示例性的例子中，以原始3D电影资源为例，从3D电影资源中提取出候选图像对的过程可以包括以下步骤：
1、读取原始3D资源中的章节信息，去除预设章节。
其中，预设章节可以是：不包含图像信息的章节，比如，包含公司名称、公司商标(logo)以及演员表等画面的章节。
由于章节持续时长过小很可能是场景在快速变化，如果对该章节进行采样，可能会导致采集到的视频帧比较模糊，影响后续光流提取的准确性，因此，在一种可能的实施方式中，设置有第一时长阈值，并去除章节时长小于第一时长阈值的章节，示意性的，该第一时长阈值可以是5min。
可选的，第一时长阈值可以由用户自行设置，示意性的，如果原始数据较多，第一时长阈值可以取较大值，以保证训练数据质量，否则，第一时长阈值可以取较小值，以保证训练数据的数量。
可选的，章节信息可以从3D电影资源中的元(meta)信息中获取得到，meta位于文档的头部，是一个辅助性标签，用于定义与文档相关联的名称，比如，关键词。本实施例中，该meta可以提供的信息包括：章节题目。
2、对去除预设章节的剩余章节进行采样，并将采样结果按照左右目图像的形式保存。
在对剩余章节进行采样过程中，对于部分时间过长的章节，通过一致均匀采样可能会导致这部分章节提取的图像帧较多，而同一章节内的图像帧往往是相似的，若采集较多相似的图像帧可能会引入数据偏见，从而影响后续模型训练的准确性，为了保证章节、场景的数据数量大致相同，因此，在一种可能的实施方式中，设置有第二时长阈值和至少两个采样频率，对每一个章节，前预设时间段内(第二时长阈值内)按照较高频率采样，剩余时间段内按照较低频率进行采样。
示意性的，第二时长阈值可以用T2表示，采样频率为f1和f2。对每一个章节，前T2时间内按照f1进行采样，剩余时间段内按照f2进行采样。
可选的，为了保证每个章节都可以优先采样得到足够数量的图像帧，可以设置f1<f2。
可选的，第二时长阈值也可以基于不同章节的总时长来确定，比如，章节总时长较长，第二时长阈值可以取较小值；或基于原始数据的多少来确定，比如，原始数据角度时，第二时长阈值可以取较大值。
由于原始3D电影资源是以左右目格式存储的，即包括左目视频和右目视频，为了保证可以采集到同一时刻对应的左目图像和右目图像，需要对左右目视频按照同一采样频率进行采样。
步骤203，对候选图像对进行预处理，得到原始图像对。
其中，预处理可以包括去除采样过程中产生的模糊帧和去除黑边区域两部分。
针对去除模糊帧的方式，可以采用图像质量评价算法计算出各个候选左右目图像对应的图像清晰度，并将清晰度低于预设清晰度阈值的候选图像对去除。可选的，图像质量评价算法可以包括：拉普拉斯(Laplacian)算子、布伦纳(Brenner)梯度函数、Tenengrad梯度函数等。
针对去除黑边区域的方式，可以设置裁剪值d1和d2，基于该裁剪值对提取出的候选图像对进行裁剪，去除候选图像对中的边缘区域，仅保留图像中心区域的纯画面区域。
可选的，针对不同的3D电影，可以基于图像帧中黑边区域的大小设置不同的裁剪值。
示意性的，如图3所示，其是对图像帧进行裁剪的示意图。其中，图像帧301包括有画面区域302和黑边区域303，基于图像帧301中黑边区域303的大小，设置裁剪值d1和d2，并基于该d1和d2对图像帧301进行裁剪，去除图像帧301中的黑边区域303，仅保留画面区域302。
在一种可能的实施方式中，对于从3D视频资源中提取出的候选图像对进行上述预处理后，并将处理后的候选图像对确定为原始图像对，用于后续进行光流提取和视差数据生成。
步骤204，对原始图像对进行光流提取，得到各组原始图像对对应的光流值。
步骤204的实施方式可以参考步骤102，本实施例在此不做赘述。
步骤205，基于竖直光流阈值对原始图像对进行筛选，得到第一图像对，第一图像对对应的竖直光流值大于竖直光流阈值的概率低于第一预设概率阈值。
基于左右目图像提取出的光流值存在竖直方向光流值近乎为0的特点，对应的，在一种可能的实施方式中，以竖直方向光流值几乎为0这一光流值条件对原始图像对进行筛选，剔除其中不符合竖直光流值条件的原始图像对。
示意性的，竖直光流阈值为0。
为了避免偶然因素导致删除符合该竖直光流值条件的图像对，设置有第一预设概率阈值，在一种可能的实施方式中，当基于竖直光流阈值对原始图像对进行筛选时，可以获取各个原始左右目图像对应各个像素点(位置)处的竖直光流值，并统计该竖直光流值低于竖直光流阈值的像素点的个数，并基于该个数和像素点总个数，计算得到该原始左右目图像对应的竖直光流值中取值低于该数值光流阈值的点所占的比例，并基于该比例和第一预设概率阈值之间的关系，确定该原始左右目图像对应的光流值是否满足后续进行视差数据的提取条件。其中，若比例高于第一预设概率阈值，表示该原始样本图像对应的光流值预测准确率较低，需要从原始图像对中剔除；反之，若比例低于第一预设概率阈值，则表示该原始左右目图像对应的光流预测准确率较高，可以进行后续光流筛选或视差数据提取，则保留该原始图像对。
对应的，竖直光流值条件为：竖直光流值大于竖直光流阈值的概率低于第一预设概率阈值。示意性的，竖直光流阈值可以为0，第一预设概率阈值可以是0.05。
可选的，由于光流提取方向的不同，一组原始图像对具有前向光流和后向光流，对应的，前向光流和后向光流均具包括有竖直光流值，对应的，为了提高判别的准确性，在一种可能的实施方式中，需要对前向光流和后向光流中的竖直方向光流进行判断，以便综合确定是否从样本数据集中剔除该原始图像对。
示意性的，第一预设概率阈值为P1，竖直光流阈值为0，对应的，竖直光流条件可以表示为：Ffv(表示前向光流中的竖直光流分量)中取值不为0的点所占比例小于P1，和/或Fbv(表示后向光流中的竖直光流分量)中取值不为0的点所占比例小于P1。
步骤206，基于水平光流阈值对第一图像对进行筛选，得到第二图像对，其中，第二图像对对应的最大水平光流差值大于水平光流阈值。
基于水平方向有较大幅度光流这一光流特点，设置有水平光流值筛选条件：最大水平光流差值大于水平光流阈值。示意性的，水平光流阈值可以是2。
在一种可能的实施方式中，获取第一图像对所对应的水平光流值，从中确定出最大水平光流值和最小水平光流值，从而基于最大水平光流值和最小水平光流值，计算得到该最大水平光流差值，以便通过比较最大水平光流差值和水平光流阈值之间的关系，确定是否从样本数据集中剔除该第一图像对。示意性的，若最大水平光流差值大于该水平光流阈值，表示该图像对水平方向具有较大幅度的光流值，满足水平光流条件，将该第一图像对确定为第二图像对；反之，若最大水平光流差值小于该水平光流阈值，表示该图像对水平方向不具有较大幅度的光流值，为了避免对后续视差数据提取的影响，从数据集中剔除该第一图像对。
示意性的，水平光流条件可以表示为：Ffu(表示前向光流中的水平光流分量)最大值与最小值的差大于水平光流阈值，Fbu(表示后向光流中的水平光流分量)最大值与最小值的差大于水平光流阈值。
步骤207，基于第一像素阈值对第二图像对进行筛选，得到第三图像对，其中，第三图像对和预测图像对之间同一像素点的像素值差值大于第一像素阈值的概率低于第二预设概率阈值。
若光流值的提取较为精确，对原始左右目图像分别进行光流映射，得到的预测左右目图像应该与原始左右目图像几乎一致，为了确定提取出的光流值的准确性，在一种可能的实施方式中，通过比较原始左右目图像和预测左右目图像中相同位置上(相同像素点处)的取值与第一像素阈值之间的关系，确定是否将图像对从数据集中剔除。
其中，基于第一像素阈值筛选得到第三图像对的过程可以包括以下步骤：
一、对第二图像对中的原始左目图像进行光流映射处理，得到预测图像对中的预测右目图像。
在一种可能的实施方式中，对第二图像对中的原始左目图像进行光流映射处理，即基于前向光流和原始左目图像，得到预测右目图像。
示意性的，若原始像素坐标为(x1，y1)，该像素坐标对应的光流值为(x2，y2)，经过光流映射后，得到的预测右目图像中的像素坐标为(x1+x2，y1+y2)。
二、对第二图像对中的原始右目图像进行光流映射处理，得到预测图像对中的预测左目图像。
在一种可能的实施方式中，对第二图像对中的原始右目图像进行光流映射处理，即基于后向光流和原始右目图像，可以得到预测左目图像。
三、响应于预测右目图像和原始右目图像中同一像素点对应的像素值差值大于第一像素阈值的概率低于第二预设概率阈值，和/或，响应于预测左目图像和原始左目图像中同一像素点对应的像素值差值大于第一像素阈值的概率低于第二预设概率阈值，将第二图像对确定为第三图像对。
基于光流提取精度较高，对应的预测左右目图像应该和原始左右目图像各个像素位置上的像素值大致相同的特点，在一种可能的实施方式中，设置有第一像素阈值，通过比较预测左目图像和原始左目图像中同一位置处像素值的差值与第一像素阈值之间的关系，确定是否将该图像对从数据集中剔除。示意性的，第一像素阈值可以是0。
可选的，为了提高光流筛选的准确度，在一种可能的实施方式中，设置有第二预设概率阈值，在基于第一像素阈值进行光流筛选的过程中，可以统计出预测右目图像和原始右目图像中同一像素位置处对应的像素值差值大于该第一像素阈值的点的数量，以及像素点总数，计算得到像素值差值大于第一像素阈值的点的概率，并与第二预设概率进行比较，若低于第二预设概率阈值，表示光流提取较为精确，可用于后续视差数据提取，反之，若高于第二预设概率阈值，表示光流提取精确度较低，从数据集中删除该原始右目图像对应的图像对。
可选的，若确定出原始右目图像和预测右目图像不满足该光流精确度条件，可以直接将原始右目图像对应的图想对剔除；或确定出原始左目图像和预测左目图像不满足该光流精确度条件，也可以直接将原始左目图像对应的图像对剔除；或确定出原始左右目图像和预测左右目图像均不满足该光流精确度条件，将该图像对剔除。
示意性的，光流精确度条件为：IL与IL′取值不一致的点的比例小于第二预设概率阈值。其中，IL表示原始左目图像，IL′表示原始右目图像。
示意性的，第二预设概率阈值可以为3％。
需要说明的是，步骤205、步骤206和步骤207可以按照上述实施例所示的顺序进行光流筛选，也可以按照步骤206、步骤205和步骤207的顺序执行，本实施例对光流筛选的顺序不构成限定。
步骤208，将第三图像对中的左目图像或右目图像确定为目标单目图像，并将目标单目图像对应的水平光流值确定为目标光流值。
在一种可能的实施方式中，经过上述光流筛选后，可以得到符合视差信息关系的目标光流值，以及该目标光流值所对应的目标图像对(第三图像对)，由于单目深度估计的训练样本集为单目图像，对应的，可以直接将第三图像对中的原始左目图像或原始右目图像确定为该目标单目图像，同时将该目标单目图像对应的水平光流值确定为目标光流值。
示意性的，若目标单目图像为原始左目图像，对应的目标光流值为前向光流中的水平光流值，若目标单目图像为原始右目图像，对应的目标光流值为后向光流中的水平光流值。该前向光流和后向光流是以原始左目图像为参考帧提取到的。
步骤209，对目标水平光流值进行取反操作，得到目标单目图像对应的候选视差数据。
其中，目标水平光流值是前向光流对应的水平光流值。
由于前向光流是以左目图像为参考帧提取出的，对应的，在基于目标水平光流值生成视差数据时，首先需要对目标水平光流值进行取反操作，从而得到该目标单目图像对应的候选视差数据。
示意性的，对目标水平光流值进行取反的公式可以表示为：
其中，表示归一化之前的候选视差数据，Flu表示左目图像对应的水平光流值。
步骤210，对候选视差数据进行归一化操作，得到目标单目图像对应的目标视差数据。
由于在光流提取过程中所采用的原始图相对的尺度可能存在差异，为了解决训练过程中尺度不一致的问题，在一种可能的实施方式中，还需要对候选视差数据进行归一化处理，进而得到可用作训练样本的目标视差数据。
在一个示例性的例子中，对候选视差数据进行归一化的过程可以包括以下任意一种方法。
一、基于候选视差数据、最大视差数据以及最小视差数据，计算得到目标单目图像对应的目标视差数据。
在一种可能的实施方式中，可以使用缩放法对候选视差数据进行归一化处理，对应的，需要获取候选视差数据对应的最大视差数据和最小视差数据，再基于候选视差数据、最大视差数据和最小视差数据，计算得到目标单目图像对应的目标视差数据。
其中，最大视差数据为该单目图像对应候选视差数据中的最大值，最小视差数据为该目标单目图像对应候选视差数据中的最小值。
示意性的，基于缩放法对候选视差数据进行归一化处理的公式可以表示为：
其中，表示归一化之前的候选视差数据，min(x)表示取最小值，max(x)表示取最大值操作，DL表示归一化之后的视差数据。
二、基于候选视差数据和候选视差数据的中位数，计算得到目标单目图像对应的目标视差数据。
在其他可能的实施方式中，还可以通过对候选视差数据取中位数的方法进行归一化处理，即获取候选视差数据的中位数，并基于候选视差数据和该中位数，计算得到目标单目图像对应的目标视差数据。
在一个示例性的例子中，归一化处理的公式可以为：
其中，m表示左目图像中各个候选视差数据的中位数，median(x)表示取中位数操作，x表示循环变量，表示归一化之前的候选视差数据，DL表示归一化之后的视差数据。
在一种可能的实施方式中，可以将目标单目图像和该目标单目图像对应的视差数据进行关联存储，以便后续作为单目深度估计的训练样本。
本实施例中，基于预设光流条件对原始图像对进行筛选，使得筛选后得到的目标光流值满足：竖直方向光流几乎处处为0、水平方向有较大幅度光流以及光流精度较高等条件，从而保证了提取出的光流值的准确度，进而提高了视差数据的准确度。
本实施例中获取到的视差数据主要用于单目深度估计模型的预训练过程，为了避免视差数据准确度较低而影响单目深度估计模型的预测准确性，通过对目标单目图像进行二值化处理，用于指示该像素点对应视差数据的取值的精度，以便模型训练过程中可以基于该精度进行差异化学习。
如图4所示，其示出了本申请另一个示例性实施例提供的视差数据生成方法的流程图，本申请实施例以该方法应用于计算机设备为例进行说明，该方法包括：
步骤401，获取至少一组原始图像对，原始图像对中包含原始左目图像和原始右目图像，原始左目图像和原始右目图像是在左目视角和右目视角下观察同一场景所对应的图像。
步骤402，对原始图像对进行光流提取，得到各组原始图像对对应的光流值。
步骤403，基于光流值对原始图像对进行光流筛选，得到目标单目图像和目标单目图像中各个像素点对应的目标光流值。
步骤404，基于目标光流值，生成目标单目图像对应的目标视差数据。
步骤401至步骤404的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤405，对目标单目图像进行二值化处理，得到目标单目图像对应的目标分割图像。
为了提高模型训练的准确度，在一种可能的实施方式中，对目标单目图像进行二值化处理，得到目标分割图像，该目标分割图像中标注有各个像素点对应的二值化置信度(精确度)，使得模型训练过程中可以基于该二值化置信度确定是否需要学习该像素点处的视差信息。
在一个示例性的例子中，对目标单目图像进行二值化处理的过程可以包括以下步骤：
一、获取目标单目图像对应的目标映射图像，目标映射图像为通过对目标单目图像进行光流映射处理得到。
由于视差数据的准确性取决于光流值的准确性，也就是说，若需要评价视差数据的准确性，可以通过评价光流值的准确性来间接评价视差数据的准确性，而光流值的准确性可以通过比较光流映射后的图像和原始图像之间的差异实现，对应的，在一种可能的实施方式中，首先基于目标光流值对目标单目图像进行光流映射，得到目标映射图像，以便后续用于比较目标映射图像和目标单目图像之间的差异。
其中，光流映射处理的过程可以参考上文实施例，本实施例在此不做赘述。
可选的，若目标单目图像为目标左目图像，对应的，需要基于目标光流值对目标右目图像进行光流映射，从而得到该目标左目图像对应的目标映射图像；反之，若目标单目图像为目标右目图像，则需要基于目标光流值对目标左目图像进行光流映射，从而得到该目标右目图像对应的目标映射图像。
二、响应于目标单目图像和目标映射图像中同一像素点对应像素值的差值小于第二像素阈值，将像素点在目标分割图像中的像素值设置为第一像素值。
基于光流值准确，对应经过光流映射后得到的目标映射图像应该与目标单目图像相同的特点，在一种可能的实施方式中，通过比较同一像素位置处的像素值是否相同，即同一像素点对应像素值的差值小于第二像素阈值，作为评价该像素点对应的视差数据准确性的依据。示意性的，第二像素阈值可以是0。
为了区分像素值相同以及像素值不同的点，通过将满足像素值的差值小于第二像素阈值的点所对应的像素值设置为第一像素值，将不满足像素值的差值小于第二像素阈值的点所对应的像素值设置为第二像素值实现。
示意性的，第一像素值可以为1，第二像素值可以为0。
在一种可能的实施方式中，获取目标单目图像和目标映射图像中同一像素点对应的像素值，并计算两个像素值之间的差值，若该差值小于第二像素阈值，表示该像素点处的视差数据准确性较高，将其对应的像素值设置为1。
三、响应于目标单目图像和目标映射图像中同一像素点对应像素值的差值大于第二像素阈值，将像素点在目标分割图像中的像素值设置为第二像素值。
在一种可能的实施方式中，获取目标单目图像和目标映射图像中同一像素点对应的像素值，并计算两个像素值之间的差值，若该差值大于第二像素阈值，表示该像素点处的视差数据准确性较低，将其对应的像素值设置为0。
在一个示例性的例子中，对目标单目图像进行二值化的过程可以表示为：
其中，IL[i，j]表示目标单目图像(目标左目图像)中某个像素点对应的像素值，IL′[i，j]表示目标映射图像中同一位置该像素点对应的像素值，T为第二像素阈值，mask[i，j]表示该像素点对应的二值化取值。
步骤406，将目标单目图像、目标分割图像和目标视差数据，确定为单目深度估计模型对应的训练样本集。
在一种可能的应用场景中，将目标单目图像、目标单目图像进行二值化处理后得到的目标分割图像，以及目标单目图像对应的目标视差数据进行关联存储，以便作为后续训练单目深度估计模型的训练样本集。
本实施例中，通过对目标单目图像进行二值化处理，使得在后续模型训练过程中，可以明确该像素点对应的视差数据是否准确，使得模型在训练过程中可以对正确数据进行针对性学习，进而提高模型训练的准确性。
请参考图5，其示出了本申请一个示例性实施例示出的获取视差数据的过程示意图。本实施例以通过3D电影资源为基础，批量获取左右目图像和对应的视差信息为例进行示例性说明。通过对3D电影501进行视频帧提取，得到成对的候选左目图像502A和候选右目图像502B，并对候选左目图像502A和候选右目图像502B进行预处理(预处理包括去除黑边区域和去除模糊帧)，得到原始左目图像503A和原始右目图像503B；进而通过光流提取得到前向光流504A和后向光流504B，再通过光流筛选和视差数据提取，得到目标左目图像506对应的视差数据505，将目标左目图像506和视差数据505关联存储，组成样本数据对。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图6，其示出了本申请一个实施例提供的视差数据生成装置的结构框图。该装置具有实现上述方法实施例中由计算机设备执行的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。如图6所示，该装置可以包括：
获取模块601，用于获取至少一组原始图像对，所述原始图像对中包含原始左目图像和原始右目图像，所述原始左目图像和所述原始右目图像是在左目视角和右目视角下观察同一场景所对应的图像；
光流提取模块602，用于对所述原始图像对进行光流提取，得到各组所述原始图像对对应的光流值；
光流筛选模块603，用于基于所述光流值对所述原始图像对进行光流筛选，得到目标单目图像和所述目标单目图像中各个像素点对应的目标光流值，其中，光流筛选后各个像素点对应目标光流值之间的相对大小关系与视差数据之间的相对大小关系相同，所述目标单目图像为原始左目图像或原始右目图像；
生成模块604，用于基于所述目标光流值，生成所述目标单目图像对应的目标视差数据。
可选的，所述光流值包括水平光流值和竖直光流值；
所述光流筛选模块603，包括：
第一筛选单元，用于基于竖直光流阈值对所述原始图像对进行筛选，得到第一图像对，所述第一图像对对应的所述竖直光流值大于所述竖直光流阈值的概率低于第一预设概率阈值；
第二筛选单元，用于基于水平光流阈值对所述第一图像对进行筛选，得到第二图像对，其中，所述第二图像对对应的最大水平光流差值大于所述水平光流阈值；
第三筛选单元，用于基于第一像素阈值对所述第二图像对进行筛选，得到第三图像对，其中，所述第三图像对和预测图像对之间同一像素点的像素值差值大于所述第一像素阈值的概率低于第二预设概率阈值，所述预测图像为通过对所述第三图像对进行光流映射得到；
确定单元，用于将所述第三图像对中的左目图像或右目图像确定为所述目标单目图像，并将所述目标单目图像对应的水平光流值确定为所述目标光流值。
可选的，所述第三筛选单元，还用于：
对所述第二图像对中的原始左目图像进行光流映射处理，得到所述预测图像对中的预测右目图像；
对所述第二图像对中的原始右目图像进行光流映射处理，得到所述预测图像对中的预测左目图像；
响应于所述预测右目图像和所述原始右目图像中同一像素点对应的像素值差值大于所述第一像素阈值的概率低于所述第二预设概率阈值，和/或，响应于所述预测左目图像和所述原始左目图像中同一像素点对应的像素值差值大于所述第一像素阈值的概率低于所述第二预设概率阈值，将所述第二图像对确定为所述第三图像对。
可选的，所述目标单目图像为所述原始左目图像，所述目标光流值为水平光流值；
所述生成模块604，包括：
取反单元，用于对所述目标水平光流值进行取反操作，得到所述目标单目图像对应的候选视差数据；
归一化单元，用于对所述候选视差数据进行归一化操作，得到所述目标单目图像对应的目标视差数据。
可选的，所述归一化单元，还用于：
基于所述候选视差数据、最大视差数据以及最小视差数据，计算得到所述目标单目图像对应的所述目标视差数据；
或，
基于所述候选视差数据和所述候选视差数据的中位数，计算得到所述目标单目图像对应的所述目标视差数据。
可选的，所述装置还包括：
二值化处理模块，用于对所述目标单目图像进行二值化处理，得到所述目标单目图像对应的目标分割图像；
确定模块，用于将所述目标单目图像、目标分割图像和所述目标视差数据，确定为单目深度估计模型对应的训练样本集。
可选的，所述二值化处理模块，包括：
第一获取单元，用于获取所述目标单目图像对应的目标映射图像，所述目标映射图像为通过对所述目标单目图像进行光流映射处理得到；
第一设置单元，用于响应于所述目标单目图像和所述目标映射图像中同一像素点对应像素值的差值小于第二像素阈值，将所述像素点在所述目标分割图像中的像素值设置为第一像素值；
第二设置单元，用于响应于所述目标单目图像和所述目标映射图像中同一像素点对应像素值的差值大于所述第二像素阈值，将所述像素点在所述目标分割图像中的像素值设置为第二像素值。
可选的，所述获取模块601，包括：
第二获取单元，用于获取目标存储格式的目标视频，所述目标存储格式至少包括左右存储格式；
提取单元，用于从所述目标视频中提取出至少一组候选图像对，所述候选图像对包括候选左目图像和候选右目图像；
预处理单元，用于对所述候选图像对进行预处理，得到所述原始图像对。
综上所述，本申请实施例中，在单目图像深度估计应用场景中，可以对具有天然视差信息的原始左目图像和原始右目图像进行光流提取和光流筛选，从而可以基于筛选后的光流值快速提取到对应的视差数据，提高了视差数据的获取效率；由于该视差数据与深度信息之间的关系，对应的，基于该视差数据可以快速构建大量用于训练单目深度估计模型的预训练样本，进而可以提高深度估计模型的训练效率。
需要说明的是：上述实施例提供的视差数据生成装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视差数据生成装置与视差数据生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图7，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可用于实施上述实施例中由计算机设备执行的视差数据生成方法。
具体来讲：
所述计算机设备700包括中央处理单元(Central Processing Unit，CPU)701、包括随机存取存储器(Random Access Memory，RAM)702和只读存储器(Read-Only Memory，ROM)703的***存储器704，以及连接***存储器704和中央处理单元701的***总线705。所述计算机设备700还包括帮助服务器内的各个器件之间传输信息的基本输入/输出***(Input/Output***，I/O***)706，和用于存储操作***713、应用程序714和其他程序模块715的大容量存储设备707。
所述基本输入/输出***706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到***总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出***706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备707通过连接到***总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读存储介质为计算机设备700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读存储介质(未示出)。
不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read OnlyMemory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable ProgrammableRead-Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器704和大容量存储设备707可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元701执行，一个或多个程序包含用于实现上述方法实施例的指令，中央处理单元701执行该一个或多个程序实现上述各个方法实施例提供的视差数据生成方法。
根据本申请的各种实施例，所述计算机设备700还可以通过诸如因特网等网络连接到网络上的远程服务器运行。也即计算机设备700可以通过连接在所述***总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程服务器***(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如上各个实施例所述的视差数据生成方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的视差数据生成方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视差数据生成方法，其特征在于，所述方法包括：
获取至少一组原始图像对，所述原始图像对中包含原始左目图像和原始右目图像，所述原始左目图像和所述原始右目图像是在左目视角和右目视角下观察同一场景所对应的图像；
对所述原始图像对进行光流提取，得到各组所述原始图像对对应的光流值，所述光流值包括水平光流值和竖直光流值；
基于竖直光流阈值对所述原始图像对进行筛选，得到第一图像对，所述第一图像对对应的竖直光流值大于所述竖直光流阈值的概率低于第一预设概率阈值；
基于水平光流阈值对所述第一图像对进行筛选，得到第二图像对，其中，所述第二图像对对应的最大水平光流差值大于所述水平光流阈值；
基于第一像素阈值对所述第二图像对进行筛选，得到第三图像对，其中，所述第三图像对和预测图像对之间同一像素点的像素值差值大于所述第一像素阈值的概率低于第二预设概率阈值，所述预测图像为通过对所述第三图像对进行光流映射得到；
将所述第三图像对中的左目图像或右目图像确定为目标单目图像，并将所述目标单目图像对应的水平光流值确定为目标光流值；
基于所述目标光流值，生成所述目标单目图像对应的目标视差数据。
2.根据权利要求1所述的方法，其特征在于，所述基于第一像素阈值对所述第二图像对进行筛选，得到第三图像对，包括：
对所述第二图像对中的原始左目图像进行光流映射处理，得到所述预测图像对中的预测右目图像；
对所述第二图像对中的原始右目图像进行光流映射处理，得到所述预测图像对中的预测左目图像；
响应于所述预测右目图像和所述原始右目图像中同一像素点对应的像素值差值大于所述第一像素阈值的概率低于所述第二预设概率阈值，和/或，响应于所述预测左目图像和所述原始左目图像中同一像素点对应的像素值差值大于所述第一像素阈值的概率低于所述第二预设概率阈值，将所述第二图像对确定为所述第三图像对。
3.根据权利要求1或2所述的方法，其特征在于，所述目标单目图像为所述原始左目图像，所述目标光流值为水平光流值；
所述基于所述目标光流值，生成所述目标单目图像对应的目标视差数据，包括：
对所述目标水平光流值进行取反操作，得到所述目标单目图像对应的候选视差数据；
对所述候选视差数据进行归一化操作，得到所述目标单目图像对应的目标视差数据。
4.根据权利要求3所述的方法，其特征在于，所述对所述候选视差数据进行归一化操作，得到所述目标单目图像对应的目标视差数据，包括如下至少一种：
基于所述候选视差数据、最大视差数据以及最小视差数据，计算得到所述目标单目图像对应的所述目标视差数据；
或，
基于所述候选视差数据和所述候选视差数据的中位数，计算得到所述目标单目图像对应的所述目标视差数据。
5.根据权利要求1或2所述的方法，其特征在于，所述基于所述目标光流值，生成所述目标单目图像对应的目标视差数据之后，所述方法还包括：
对所述目标单目图像进行二值化处理，得到所述目标单目图像对应的目标分割图像；
将所述目标单目图像、目标分割图像和所述目标视差数据，确定为单目深度估计模型对应的训练样本集。
6.根据权利要求5所述的方法，其特征在于，所述对所述目标单目图像进行二值化处理，得到所述目标单目图像对应的目标分割图像，包括：
获取所述目标单目图像对应的目标映射图像，所述目标映射图像为通过对所述目标单目图像进行光流映射处理得到；
响应于所述目标单目图像和所述目标映射图像中同一像素点对应像素值的差值小于第二像素阈值，将所述像素点在所述目标分割图像中的像素值设置为第一像素值；
响应于所述目标单目图像和所述目标映射图像中同一像素点对应像素值的差值大于所述第二像素阈值，将所述像素点在所述目标分割图像中的像素值设置为第二像素值。
7.根据权利要求1或2所述的方法，其特征在于，所述获取至少一组原始图像对，包括：
获取目标存储格式的目标视频，所述目标存储格式至少包括左右存储格式；
从所述目标视频中提取出至少一组候选图像对，所述候选图像对包括候选左目图像和候选右目图像；
对所述候选图像对进行预处理，得到所述原始图像对。
8.一种视差数据生成装置，其特征在于，所述装置包括：
获取模块，用于获取至少一组原始图像对，所述原始图像对中包含原始左目图像和原始右目图像，所述原始左目图像和所述原始右目图像是在左目视角和右目视角下观察同一场景所对应的图像；
光流提取模块，用于对所述原始图像对进行光流提取，得到各组所述原始图像对对应的光流值，所述光流值包括水平光流值和竖直光流值；
光流筛选模块，用于基于竖直光流阈值对所述原始图像对进行筛选，得到第一图像对，所述第一图像对对应的竖直光流值大于所述竖直光流阈值的概率低于第一预设概率阈值；
基于水平光流阈值对所述第一图像对进行筛选，得到第二图像对，其中，所述第二图像对对应的最大水平光流差值大于所述水平光流阈值；
基于第一像素阈值对所述第二图像对进行筛选，得到第三图像对，其中，所述第三图像对和预测图像对之间同一像素点的像素值差值大于所述第一像素阈值的概率低于第二预设概率阈值，所述预测图像为通过对所述第三图像对进行光流映射得到；
将所述第三图像对中的左目图像或右目图像确定为目标单目图像，并将所述目标单目图像对应的水平光流值确定为目标光流值；
生成模块，用于基于所述目标光流值，生成所述目标单目图像对应的目标视差数据。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述程序代码由所述处理器加载并执行以实现如权利要求1至7任一所述的视差数据生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至7任一所述的视差数据生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110258449.8A CN112991419B (zh) | 2021-03-09 | 2021-03-09 | 视差数据生成方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110258449.8A CN112991419B (zh) | 2021-03-09 | 2021-03-09 | 视差数据生成方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991419A CN112991419A (zh) | 2021-06-18 |
| CN112991419B true CN112991419B (zh) | 2023-11-14 |
Family
ID=76334681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110258449.8A Active CN112991419B (zh) | 2021-03-09 | 2021-03-09 | 视差数据生成方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991419B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274316B (zh) * | 2023-10-31 | 2024-05-03 | 广东省水利水电科学研究院 | 一种河流表面流速的估计方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110027373A (ko) * | 2009-09-10 | 2011-03-16 | 포항공과대학교 산학협력단 | 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치 및 방법 |
| WO2011162227A1 (ja) * | 2010-06-24 | 2011-12-29 | 富士フイルム株式会社 | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム |
| CN102750711A (zh) * | 2012-06-04 | 2012-10-24 | 清华大学 | 一种基于图像分割和运动估计的双目视频深度图求取方法 |
| CN104637043A (zh) * | 2013-11-08 | 2015-05-20 | 株式会社理光 | 支持像素选择方法、装置、视差值确定方法 |
| CN104869387A (zh) * | 2015-04-19 | 2015-08-26 | 中国传媒大学 | 基于光流法的双目图像最大视差获取方法 |
| CN108171744A (zh) * | 2017-12-26 | 2018-06-15 | 努比亚技术有限公司 | 一种双目虚化中视差图的确定方法、移动终端及存储介质 |
| CN108234988A (zh) * | 2017-12-28 | 2018-06-29 | 努比亚技术有限公司 | 视差图生成方法、装置和计算机可读存储介质 |
| CN109919993A (zh) * | 2019-03-12 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 视差图获取方法、装置和设备及控制*** |
| CN110443843A (zh) * | 2019-07-29 | 2019-11-12 | 东北大学 | 一种基于生成对抗网络的无监督单目深度估计方法 |
| WO2021027544A1 (zh) * | 2019-08-15 | 2021-02-18 | 广州虎牙科技有限公司 | 基于双目图像的模型训练方法、装置及数据处理设备 |
-
2021
- 2021-03-09 CN CN202110258449.8A patent/CN112991419B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110027373A (ko) * | 2009-09-10 | 2011-03-16 | 포항공과대학교 산학협력단 | 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치 및 방법 |
| WO2011162227A1 (ja) * | 2010-06-24 | 2011-12-29 | 富士フイルム株式会社 | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム |
| CN102750711A (zh) * | 2012-06-04 | 2012-10-24 | 清华大学 | 一种基于图像分割和运动估计的双目视频深度图求取方法 |
| CN104637043A (zh) * | 2013-11-08 | 2015-05-20 | 株式会社理光 | 支持像素选择方法、装置、视差值确定方法 |
| CN104869387A (zh) * | 2015-04-19 | 2015-08-26 | 中国传媒大学 | 基于光流法的双目图像最大视差获取方法 |
| CN108171744A (zh) * | 2017-12-26 | 2018-06-15 | 努比亚技术有限公司 | 一种双目虚化中视差图的确定方法、移动终端及存储介质 |
| CN108234988A (zh) * | 2017-12-28 | 2018-06-29 | 努比亚技术有限公司 | 视差图生成方法、装置和计算机可读存储介质 |
| CN109919993A (zh) * | 2019-03-12 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 视差图获取方法、装置和设备及控制*** |
| CN110443843A (zh) * | 2019-07-29 | 2019-11-12 | 东北大学 | 一种基于生成对抗网络的无监督单目深度估计方法 |
| WO2021027544A1 (zh) * | 2019-08-15 | 2021-02-18 | 广州虎牙科技有限公司 | 基于双目图像的模型训练方法、装置及数据处理设备 |
Non-Patent Citations (2)
| Title |
|---|
| 基于 RGB-D 数据的自适应 局部时空特征提取方法;林 佳等;《北京工业大学学报》;第1-9页 * |
| 基于流边缘检测的像素流估计深度模型研究;周尚辰;《中国知网》;第1-77页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991419A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| US11838606B2 (en) | Methods and systems for large-scale determination of RGBD camera poses | |
| Liu et al. | Fast burst images denoising | |
| Konrad et al. | Learning-based, automatic 2D-to-3D image and video conversion | |
| JP4664432B2 (ja) | ショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラム | |
| CN110853033B (zh) | 基于帧间相似度的视频检测方法和装置 | |
| US20100220920A1 (en) | Method, apparatus and system for processing depth-related information | |
| TW201447775A (zh) | 資訊識別方法、設備和系統 | |
| CN109525786B (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| JP5779089B2 (ja) | エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法 | |
| CN111340749B (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
| US20120162224A1 (en) | Free view generation in ray-space | |
| EP2460359A1 (en) | Adjusting perspective and disparity in stereoscopic image pairs | |
| Luo et al. | A disocclusion inpainting framework for depth-based view synthesis | |
| KR20130112311A (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
| JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
| US20230394833A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| CN111192241A (zh) | 一种人脸图像的质量评估方法、装置及计算机存储介质 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN112991419B (zh) | 视差数据生成方法、装置、计算机设备及存储介质 | |
| Mathai et al. | Automatic 2D to 3D video and image conversion based on global depth map | |
| JP5906033B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |