CN113344997A - 快速获取只含有目标对象的高清前景图的方法及*** - Google Patents

快速获取只含有目标对象的高清前景图的方法及*** Download PDF

Info

Publication number
CN113344997A
CN113344997A CN202110655267.4A CN202110655267A CN113344997A CN 113344997 A CN113344997 A CN 113344997A CN 202110655267 A CN202110655267 A CN 202110655267A CN 113344997 A CN113344997 A CN 113344997A
Authority
CN
China
Prior art keywords
foreground
depth
target
depth map
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110655267.4A
Other languages
English (en)
Other versions
CN113344997B (zh
Inventor
陈冠宇
王磊
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fangtian Shenghua Beijing Digital Technology Co ltd
Original Assignee
Shanxi Fangtian Shenghua Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Fangtian Shenghua Digital Technology Co ltd filed Critical Shanxi Fangtian Shenghua Digital Technology Co ltd
Priority to CN202110655267.4A priority Critical patent/CN113344997B/zh
Publication of CN113344997A publication Critical patent/CN113344997A/zh
Application granted granted Critical
Publication of CN113344997B publication Critical patent/CN113344997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种快速获取只含有目标对象的高清前景图的方法及***，通过优化深度神经网络模型获取损失率极小的深度图，并在深度图上进行层面深度截取、轮廓边缘计算和目标轮廓提取得到的只含有目标对象的高清前景图，所述目标对象不仅能够包括游客，还能将游客的随身携带的物品以及影子等信息得到完美保留，保证前景与背景合并等的后续处理不会出现失真。若将只含有目标对象的前景图与背景图合成，便能得到屏蔽非目标前景的高清图片。解决在景区或网红打卡地或任何拍照场所拍照时，会将其他路人、游客等非目标对象照进图像，不能在短时间内获得只含有指定目标对象的高清图片的问题。

Description

快速获取只含有目标对象的高清前景图的方法及***
技术领域
本发明涉及图像实时处理技术领域，特别是一种快速获取只含有目标对象的高清前景图的方法及***。
背景技术
在某些场所如景区或网红打卡地拍照时，往往会因为存在大量的游客而无法得到只包含指定对象全部信息的目标照片，进而无法独享美景。目前常用的解决办法是后期通过制图软件将路人等非目标对象去除，这样带来的时间和人力成本大大提升。
发明内容
本发明提供一种快速获取只含有目标对象的高清前景图的方法及***，通过优化神经网络模型获取损失率极小的深度图，并在深度图上进行层面深度截取、轮廓边缘计算和目标轮廓提取，得到只含有目标对象的高清前景图，目标对象不仅能够包括游客，还能将游客的随身携带的物品以及影子等信息得到完美保留，保证前景与背景合并等的后续处理不会出现失真。
本发明技术方案如下：
一种快速获取只含有目标对象的高清前景图的方法，其特征在于，包括如下步骤：
S1，获取在同一时刻拍摄并存在视差的目标处理图片和辅助处理图片；
S2，将所述目标处理图片和辅助处理图片直接输入优化深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；
S3，根据所述目标对象所在的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图；
S4，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；
S5，对所述前景轮廓深度图进行目标轮廓提取，得到目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清前景图。
作为优选，所述目标对象包括目标物体以及与目标物体直接接触的所有物体。
作为优选，所述S3中，根据目标对象与摄像机镜头之间的最小距离和最大距离，截取目标对象在所述深度图所占据的层面深度，得到前景层面深度图；
作为优选，所述S4中，所述轮廓边缘计算包括识别所述前景深度层面图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景深度图上的所有特征点集的轮廓，每个特征点集即为一个前景轮廓。
作为优选，所述S5中，所述目标轮廓提取包括根据目标对象占据面积和/或指目标对象所在的区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取出目标对象的前景轮廓。
作为优选，所述S1中，所述目标处理图片和辅助处理图片包括双目摄像机拍摄的双目图片，或经过预处理的所述双目摄像机拍摄的双目图片，或多个存在视差的摄像机拍摄的图片，或对多个存在视差的摄像机拍摄的图像经过预处理后得到的图片。
作为优选，所述预处理包括图片矫正，所述图片矫正包括轮廓检测矫正和/或旋转角度矫正和/或图像匹配的对应相似处连线矫正和/或灰度矫正和/或二值化矫正和/或直方图均衡化矫正。
作为优选，所述优化深度神经网络模型经过多次训练并测试得到，包括如下步骤：
S2.1，将所述目标处理图片和辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；
S2.2，对所述特征提取原图进行若干次二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；
S2.3，将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
S2.4，将每个所述第二特征数据集中的分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，，得到一组第三特征数据集；
S2.5，将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；
S2.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的损失函数；
S2.7，将大量的不同时刻拍摄的原始图像组的特征提取原图重复步骤S2.2-S2.6，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到优化深度神经网络模型。
作为优选，所述S2.6中，所述损失函数值L＝ΣAkLk(k＝1,2,3,4……)，Lk代表每个分辨率下初始深度图的损失，其中，L1代表最高分辨率下初始深度图的损失，L2、L3……代表分辨率依次减小的初始深度图的损失，Ak代表损失系数,是固定常数，且Ak>Ak+1。
一种快速获取只含有目标对象的高清前景图的***，包括深度图获取模块、前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块；所述深度图获取模块内设有深度神经网络模型；所述深度图获取模块将输入的目标处理图片和辅助处理图片通过深度神经网络模型处理后得到深度图，所述深度图依次经过前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块处理后得到高清目标前景图。
作为优选，所述前景层面深度图获取模块，根据目标对象所占据的最大景深层面和最小景深层面，对输入的深度图进行处理，截取所述最大景深层面和最小景深层面之间的深度点集，得到前景层面深度图；所述前景轮廓深度图获取模块，对输入的前景层面深度图进行轮廓边缘计算，将其内的所有前景轮廓标定并划分，得到前景轮廓深度图；所述目标前景图获取模块，将输入的前景轮廓深度图进行目标轮廓提取，得到目标前景轮廓所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为高清目标前景图；
作为优选，所述深度图获取模块还包括神经网络模型训练分模块；所述神经网络模型训练分模块包括训练集输入子模块、特征提取子模块、特征融合子模块、深度计算子模块、深度信息比对子模块和损失函数调整子模块；所述训练集输入子模块将所述目标处理图片和辅助处理图片的数据拼合为同一图像的不同部分，得到特征提取原图；所述特征提取子模块将所述特征提取原图送入卷积层和池化层进行二维卷积和池化运算，得到第一特征数据集；并将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；所述特征融合子模块将每个所述第二特征数据集中的分属于目标处理图片的数据信息与其内分属于辅助处理图片的数据信息进行特征融合和归一化处理，将每个所述第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行关联，得到一组第三特征数据集；所述深度计算子模块将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；所述深度信息比对子模块将每个初始深度图分别与真实标定的深度图进行比对，得到损失函数；所述损失函数调整子模块根据大量原始图像组最终计算得到的损失函数，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到经过深度神经网络模型。
本发明相对于现有技术优势在于：本发明所述快速获取只含有目标对象的高清前景图的方法，通过优化深度神经网络模型获取损失率极小的深度图，并在深度图上进行层面深度截取、轮廓边缘计算和目标轮廓提取得到的只含有目标对象的高清前景图，所述目标对象不仅能够包括游客，还能将游客的随身携带的物品以及影子等信息得到完美保留，保证前景与背景合并等的后续处理不会出现失真。若将只含有目标对象的前景图与背景图合成，便能得到屏蔽非目标前景的高清图片。解决在景区或网红打卡地或任何拍照场所拍照时，会将其他路人、游客等非目标对象照进图像，不能在短时间内获得只含有指定目标对象的高清图片的问题。
附图说明
图1是本发明所述快速获取只含有目标对象的高清前景图的方法的流程图；
图2是本发明所述快速获取只含有目标对象的高清前景图的方法的优化深度神经网络模型的工作流程图；
图3是本发明所述快速获取只含有目标对象的高清前景图的方法的特征提取以及特征融合过程的举例示意图；
图4是本发明所述快速获取只含有目标对象的高清前景图的方法的深度深度计算过程的举例示意图；
图5是本发明所述快速获取只含有目标对象的高清前景图的***的模块化框图。
具体实施方式
为了便于理解本发明，下面结合附图1-4和具体实施例，对本发明进行更详细的说明。
实施例1
一种快速获取只含有目标对象的高清前景图的方法，其流程图如图1所示，包括如下步骤：
S1，获取在同一时刻拍摄并存在视差的目标处理图片和辅助处理图片，所述目标处理图片和辅助处理图片通过双目摄像机实时拍摄；也可通过多个存在视差的摄像机拍摄后任取同一时刻拍摄并存在视差的两张图片作为目标处理图片和辅助处理图片，也可通过双目摄像机或多个存在视差的摄像机拍摄的图片经过预处理后得到，其中，必然含有目标对象。所述预处理包括图片矫正，所述图片矫正包括轮廓检测矫正和/或旋转角度矫正和/或图像匹配的对应相似处连线矫正和/或灰度矫正和/或二值化矫正和/或直方图均衡化矫正。
所述目标对像包括目标物体以及与目标物体直接接触的所有物体。可以为在景区进行拍照的游客，也可为游客以及与游客相接触的所有物体，如其配饰、影子等。
S2，将所述目标处理图片与所述辅助处理图片输入优化深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；所述深度图的每一个像素值均表示场景中某点与摄像机的距离。
S3，根据目标对象与摄像机镜头之间的最小距离和最大距离，确定所述目标对象所占据的最大景深和最小景深，进而得到最大景深层面和最小景深层面，在所述深度图截取并保留最大景深层面和最小景深层面之间的像素点集，得到前景层面深度图；此时，目标对象可以包括指定游客甲以及该指定游客甲的影子，甚至与该游客甲直接接触的友人乙等。所述最大景深层面是指距离摄像机最远的一个属于所述目标对象的像素点所在的距离层面，所述最小景深层面是指距离摄像机最近的一个属于所述目标对象的像素点所在的距离层面。所述前景层面深度图包含最大景深层面和最小景深层面之间的所有深度点集。
S4，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；所述轮廓边缘计算包括识别所述前景层面深度图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景深度图上的所有特征点集的轮廓。该特征点集即为在拍摄范围内的所有游客和/或路人和/或短时间内停留的非背景物体在前景深度图中留下的像素点集。
S5，在所述前景轮廓深度图，根据目标对象所占据面积和/或目标对象所在的区域景深，提取出出目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清前景图，所述高清目标前景图，将非目标对象的前景完全屏蔽；所述目标前景轮廓只含有目标对象轮廓；当游客甲没有其他人与其接触时，目标对象可以为游客甲以及与其相接触的配饰(如挎包、手机等)、影子等的轮廓。目标对象也可以同时包括友人乙，当然，如果友人乙接触到指定游客甲，则甲与乙均为同时作为目标对象，只需要进行一次目标轮廓提取，所述目标轮廓提取包括根据指定目标对象占据面积和/或指定目标对象所在的中心区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取指定目标对象的轮廓。该提取过程中仅保留目标前景，如指定游客及与其相接触的影子、配饰等。如果友人乙没有接触到指定游客甲，可经过两次目标轮廓提取或改变目标轮廓提取方法，进行一次目标轮廓提取即可得到的只含有目标对象的高清目标前景图，解决在景区或网红打卡地或任何拍照场所拍照时，会将其他路人、游客等非目标对象照进图像，不能在短时间内获得只含有指定目标对象的高清图片的问题。且通过轮廓边缘计算和目标轮廓提取得到的目标前景轮廓，不仅包括指定目标对象的轮廓，还包括与指定目标对象相接触所有前景物体的轮廓，比如某位或某些目标拍摄者的影子和/或身上佩戴的各种物品，特别是目标拍摄者的影子，能够最大程度上保证只含有目标前景的前景图与背景图合成后，不会使屏蔽非目标前景的高清图片失真。
优选地，所述步骤S2中优化深度神经网络模型经过多次训练并测试得到，其流程图如图2所示，包括如下步骤：
S2.1，将所述目标处理图片和辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；
S2.2，如图3所示，对所述特征提取原图送入卷积层和池化层进行进行二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；
S2.3，将所述第一特征数据集经残差网络层进行残差网络运算、经空间金字塔池化层进行空间金字塔池化运算，提取由高到低4个分辨率下的一组第二特征数据集；每个分辨率下均有一个第二特征数据集。
S2.4，将每个所述第二特征数据集中的分属于目标处理图片的数据信息分别与其他第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，得到一组第三特征数据集；
S2.5，如图4所示，将每个所述第三特征数据集进行三维卷积，也即为进行深度计算，得到一组初始深度图；
S2.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的损失函数；损失函数L＝A1L1+A2L2+A3L3+A4L4，，L1代表最高分辨率下初始深度图的损失，L2、L3……代表分辨率依次减小的初始深度图的损失，Ak代表损失系数,是固定常数，且A1>A2>A3>A4；所述真实标定的深度图可以为通过摄像机的镜头与其所在位置等相关信息，计算出来的景深信息图；也可为人为在真实地点进行提前标定后输入的深度信息。
S2.7，将大量的不同时刻拍摄的原始图像组的特征提取原图重复步骤S2.2-S2.6，根据获得的各个损失函数，通过反向传播不断优化网络权重值，优化网络权重值包括调整S2.2中的二维卷积和S2.5中的三维卷积参数，优化损失函数L值，使其值最小；得到优化深度神经网络模型。
实施例2
一种快速获取只含有目标对象的高清前景图的***，其模块化框图如图5所示，包括深度图获取模块、前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块；所述深度图获取模块内设有深度神经网络模型；所述深度图获取模块将输入的目标处理图片和辅助处理图片通过深度神经网络模型进行处理，获取其视差信息，进而得到目标处理图片的深度图。
所述深度图依次经过前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块处理后得到高清目标前景图。
作为优选，所述前景层面深度图获取模块，根据目标对象与摄像机之间的最小距离和最大距离，截取目标对象所占据的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图；所述前景层面深度图包含最大景深层面和最小景深层面之间的所有深度点集。所述最大景深层面是指距离摄像机最远的一个属于所述目标对象的像素点所在的距离层面，所述最小景深层面是指距离摄像机最近的一个属于所述目标对象的像素点所在的距离层面。
所述前景轮廓深度图获取模块，对输入的前景层面深度图进行轮廓边缘计算，将其内的所有前景轮廓标定并划分，得到前景轮廓深度图。所述目标前景图获取模块，将输入的前景轮廓深度图进行目标轮廓提取，得到目标前景轮廓所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为高清目标前景图；所述高清目标前景图，将非目标对象的前景完全屏蔽。
作为优选，所述深度图获取模块还包括神经网络模型训练分模块；所述神经网络模型训练分模块包括训练集输入子模块、特征提取子模块、特征融合子模块、深度计算子模块、深度信息比对子模块和损失函数调整子模块；所述训练集输入子模块将所述目标处理图片和辅助处理图片的数据拼合为同一图像的不同部分，得到特征提取原图；所述特征提取子模块将所述特征提取原图送入卷积层和池化层进行二维卷积和池化运算，得到第一特征数据集；并将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；所述特征融合子模块将每个所述第二特征数据集中的分属于目标处理图片的数据信息与其内分属于辅助处理图片的数据信息进行特征融合和归一化处理，将每个所述第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行关联，得到一组第三特征数据集；所述深度计算子模块将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；所述深度信息比对子模块将每个初始深度图分别与真实标定的深度图进行比对，得到损失函数；所述损失函数调整子模块根据大量原始图像组最终计算得到的损失函数，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到经过深度神经网络模型。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，尽管本说明书参照附图和实施例对本发明已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换，总之，一切不脱离本发明的精神和范围的技术方案及其改变，其均应涵盖在本发明专利的保护范围当中。

Claims (10)

1.一种快速获取只含有目标对象的高清前景图的方法，其特征在于，包括如下步骤：
S1，获取在同一时刻拍摄并存在视差的目标处理图片和辅助处理图片；
S2，将所述目标处理图片和辅助处理图片直接输入优化深度神经网络模型，获取所述目标处理图片与所述辅助处理图片的视差信息，进而得到所述目标处理图片的深度图；
S3，根据所述目标对象所在的最大景深层面和最小景深层面，在所述深度图截取前景层面深度图；
S4，在所述前景层面深度图，进行轮廓边缘计算，获取其内的所有前景轮廓，得到前景轮廓深度图；
S5，对所述前景轮廓深度图进行目标轮廓提取，得到目标对象的目标前景轮廓，所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为只含有目标对象的高清前景图。
2.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述目标对象包括目标物体以及与目标物体直接接触的所有物体。
3.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述S3中，根据目标对象与摄像机镜头之间的最小距离和最大距离，截取目标对象在所述深度图所占据的层面深度，得到前景层面深度图。
4.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述S4中，所述轮廓边缘计算包括识别所述前景深度层面图中的所有特征点集并将每个特征点集的边缘计算出来，得到前景深度图上的所有特征点集的轮廓，每个特征点集即为一个前景轮廓；和/或
所述S5中，所述目标轮廓提取包括根据目标对象占据面积和/或指目标对象所在的区域景深，在所述前景轮廓深度图的所有特征点集的轮廓中提取出目标对象的前景轮廓。
5.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述S1中，所述目标处理图片和辅助处理图片包括双目摄像机拍摄的双目图片，或经过预处理的所述双目摄像机拍摄的双目图片，或多个存在视差的摄像机拍摄的图片，或对多个存在视差的摄像机拍摄的图像经过预处理后得到的图片。
6.根据权利要求1所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述优化深度神经网络模型经过多次训练并测试得到，包括如下步骤：
S2.1，将所述目标处理图片和辅助处理图片的数据拼合为同一图片的不同部分，得到特征提取原图；
S2.2，对所述特征提取原图进行若干次二维卷积和池化运算，得到第一特征数据集；所述第一特征数据集并未将目标处理图片和辅助处理图片的数据信息进行关联，仅仅是简单的拼合；
S2.3，将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；
S2.4，将每个所述第二特征数据集中的分属于目标处理图片和辅助处理图片的数据信息进行对称融合和归一化处理，，得到一组第三特征数据集；
S2.5，将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；
S2.6，将所述初始深度图分别与真实标定的深度图进行比对，计算所述初始深度图的损失函数；
S2.7，将大量的不同特征提取原图重复步骤S2.2-S2.6，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到优化深度神经网络模型。
7.根据权利要求6所述快速获取只含有目标对象的高清前景图的方法，其特征在于，所述S2.6中，所述损失函数L＝ΣAkLk(k＝1,2,3,4……)，Lk代表每个分辨率下初始深度图的损失，其中，L1代表最高分辨率下初始深度图的损失，L2、L3……代表分辨率依次减小的初始深度图的损失，Ak代表损失系数,是固定常数，且Ak>Ak+1。
8.一种快速获取只含有目标对象的高清前景图的***，其特征在于，包括深度图获取模块、前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块；所述深度图获取模块内设有深度神经网络模型；所述深度图获取模块将输入的目标处理图片和辅助处理图片通过深度神经网络模型处理后得到深度图，所述深度图依次经过前景层面深度图获取模块、前景轮廓深度图获取模块和目标前景图获取模块处理后得到高清目标前景图。
9.根据权利要求8所述快速获取只含有目标对象的高清前景图的***，其特征在于，所述前景层面深度图获取模块，根据目标对象所占据的最大景深层面和最小景深层面，对输入的深度图进行处理，截取所述最大景深层面和最小景深层面之间的深度点集，得到前景层面深度图；所述前景轮廓深度图获取模块，对输入的前景层面深度图进行轮廓边缘计算，将其内的所有前景轮廓标定并划分，得到前景轮廓深度图；所述目标前景图获取模块，将输入的前景轮廓深度图进行目标轮廓提取，得到目标前景轮廓所述目标前景轮廓所包含的像素点集对应的所述目标处理图片的像素点集，即为高清目标前景图。
10.根据权利要求8所述快速获取只含有目标对象的高清前景图的***，其特征在于，所述深度图获取模块还包括神经网络模型训练分模块；所述神经网络模型训练分模块包括训练集输入子模块、特征提取子模块、特征融合子模块、深度计算子模块、深度信息比对子模块和损失函数调整子模块；所述训练集输入子模块将所述目标处理图片和辅助处理图片的数据拼合为同一图像的不同部分，得到特征提取原图；所述特征提取子模块将所述特征提取原图送入卷积层和池化层进行二维卷积和池化运算，得到第一特征数据集；并将所述第一特征数据集经残差网络运算和空间金字塔池化运算，提取由高到低多个分辨率等级下的第二特征数据集；每个分辨率等级均对应一个所述第二特征数据集；所述特征融合子模块将每个所述第二特征数据集中的分属于目标处理图片的数据信息与其内分属于辅助处理图片的数据信息进行特征融合和归一化处理，将每个所述第二特征数据集中分属于目标处理图片和辅助处理图片的数据信息进行关联，得到一组第三特征数据集；所述深度计算子模块将每个所述第三特征数据集进行三维卷积，得到一组初始深度图；所述深度信息比对子模块将每个初始深度图分别与真实标定的深度图进行比对，得到损失函数；所述损失函数调整子模块根据大量原始图像组最终计算得到的损失函数，通过反向传播不断优化网络权重值，得到尽可能小的损失函数值L；得到经过深度神经网络模型。
CN202110655267.4A 2021-06-11 2021-06-11 快速获取只含有目标对象的高清前景图的方法及*** Active CN113344997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110655267.4A CN113344997B (zh) 2021-06-11 2021-06-11 快速获取只含有目标对象的高清前景图的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110655267.4A CN113344997B (zh) 2021-06-11 2021-06-11 快速获取只含有目标对象的高清前景图的方法及***

Publications (2)

Publication Number Publication Date
CN113344997A true CN113344997A (zh) 2021-09-03
CN113344997B CN113344997B (zh) 2022-07-26

Family

ID=77477071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110655267.4A Active CN113344997B (zh) 2021-06-11 2021-06-11 快速获取只含有目标对象的高清前景图的方法及***

Country Status (1)

Country Link
CN (1) CN113344997B (zh)

Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509343A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于双目图像和对象轮廓的虚实遮挡处理方法
US20130016885A1 (en) * 2011-07-14 2013-01-17 Canon Kabushiki Kaisha Image processing apparatus, imaging system, and image processing system
US20150262362A1 (en) * 2014-03-12 2015-09-17 Avago Technologies General Ip (Singapore) Pte. Ltd. Image Processor Comprising Gesture Recognition System with Hand Pose Matching Based on Contour Features
CN105225230A (zh) * 2015-09-11 2016-01-06 浙江宇视科技有限公司 一种识别前景目标对象的方法及装置
HUP1400600A2 (hu) * 2014-12-17 2016-06-28 Pi Holding Zrt Eljárás képszegmens tartalmának lecserélésére
CN105894998A (zh) * 2014-11-30 2016-08-24 黄石木信息科技有限公司 一种三维虚拟场景导游导览***的制作方法
CN106021330A (zh) * 2016-05-06 2016-10-12 浙江工业大学 一种用于混合轮廓线视图下的三维模型检索方法
CN107395982A (zh) * 2017-08-22 2017-11-24 北京小米移动软件有限公司 拍照方法和装置
CN107481261A (zh) * 2017-07-31 2017-12-15 中国科学院长春光学精密机械与物理研究所 一种基于深度前景跟踪的彩***抠图方法
CN108510535A (zh) * 2018-03-14 2018-09-07 大连理工大学 一种基于深度预测和增强子网络的高质量深度估计方法
CN109035319A (zh) * 2018-07-27 2018-12-18 深圳市商汤科技有限公司 单目图像深度估计方法及装置、设备、程序及存储介质
CN109598754A (zh) * 2018-09-29 2019-04-09 天津大学 一种基于深度卷积网络的双目深度估计方法
CN109829850A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读介质
CN109934834A (zh) * 2017-12-19 2019-06-25 北京京东尚科信息技术有限公司 图像轮廓提取方法和***
CN110009555A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像虚化方法、装置、存储介质及电子设备
CN110189339A (zh) * 2019-06-03 2019-08-30 重庆大学 深度图辅助的主动轮廓抠图方法及***
CN110414674A (zh) * 2019-07-31 2019-11-05 浙江科技学院 一种基于残差网络及局部细化的单目深度估计方法
CN110517306A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于深度学习的双目深度视觉估计的方法和***
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
CN111105451A (zh) * 2019-10-31 2020-05-05 武汉大学 一种克服遮挡效应的驾驶场景双目深度估计方法
CN111161291A (zh) * 2019-12-31 2020-05-15 广西科技大学 基于目标景深信息的轮廓检测方法
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN111797841A (zh) * 2020-05-10 2020-10-20 浙江工业大学 一种基于深度残差网络的视觉显著性检测方法
CN112070782A (zh) * 2020-08-31 2020-12-11 腾讯科技（深圳）有限公司 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN112070054A (zh) * 2020-09-17 2020-12-11 福州大学 基于图结构与注意力机制的车载激光点云标线分类方法
CN112672048A (zh) * 2020-12-21 2021-04-16 山西方天圣华数字科技有限公司 一种基于双目图像和神经网络算法的图像处理方法
CN112699844A (zh) * 2020-04-23 2021-04-23 华南理工大学 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN112767467A (zh) * 2021-01-25 2021-05-07 郑健青 一种基于自监督深度学习的双图深度估计方法
CN112802079A (zh) * 2021-01-19 2021-05-14 奥比中光科技集团股份有限公司 一种视差图获取方法、装置、终端和存储介质
CN112889272A (zh) * 2018-11-02 2021-06-01 Oppo广东移动通信有限公司 深度图像获取方法、深度图像获取装置及电子装置

Patent Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016885A1 (en) * 2011-07-14 2013-01-17 Canon Kabushiki Kaisha Image processing apparatus, imaging system, and image processing system
CN102509343A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于双目图像和对象轮廓的虚实遮挡处理方法
US20150262362A1 (en) * 2014-03-12 2015-09-17 Avago Technologies General Ip (Singapore) Pte. Ltd. Image Processor Comprising Gesture Recognition System with Hand Pose Matching Based on Contour Features
CN105894998A (zh) * 2014-11-30 2016-08-24 黄石木信息科技有限公司 一种三维虚拟场景导游导览***的制作方法
HUP1400600A2 (hu) * 2014-12-17 2016-06-28 Pi Holding Zrt Eljárás képszegmens tartalmának lecserélésére
CN105225230A (zh) * 2015-09-11 2016-01-06 浙江宇视科技有限公司 一种识别前景目标对象的方法及装置
CN106021330A (zh) * 2016-05-06 2016-10-12 浙江工业大学 一种用于混合轮廓线视图下的三维模型检索方法
CN107481261A (zh) * 2017-07-31 2017-12-15 中国科学院长春光学精密机械与物理研究所 一种基于深度前景跟踪的彩***抠图方法
CN107395982A (zh) * 2017-08-22 2017-11-24 北京小米移动软件有限公司 拍照方法和装置
CN109934834A (zh) * 2017-12-19 2019-06-25 北京京东尚科信息技术有限公司 图像轮廓提取方法和***
CN110009555A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像虚化方法、装置、存储介质及电子设备
CN108510535A (zh) * 2018-03-14 2018-09-07 大连理工大学 一种基于深度预测和增强子网络的高质量深度估计方法
CN109035319A (zh) * 2018-07-27 2018-12-18 深圳市商汤科技有限公司 单目图像深度估计方法及装置、设备、程序及存储介质
CN109598754A (zh) * 2018-09-29 2019-04-09 天津大学 一种基于深度卷积网络的双目深度估计方法
CN112889272A (zh) * 2018-11-02 2021-06-01 Oppo广东移动通信有限公司 深度图像获取方法、深度图像获取装置及电子装置
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN109829850A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读介质
CN110189339A (zh) * 2019-06-03 2019-08-30 重庆大学 深度图辅助的主动轮廓抠图方法及***
CN110414674A (zh) * 2019-07-31 2019-11-05 浙江科技学院 一种基于残差网络及局部细化的单目深度估计方法
CN110517306A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于深度学习的双目深度视觉估计的方法和***
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法
CN111105451A (zh) * 2019-10-31 2020-05-05 武汉大学 一种克服遮挡效应的驾驶场景双目深度估计方法
CN111161291A (zh) * 2019-12-31 2020-05-15 广西科技大学 基于目标景深信息的轮廓检测方法
CN112699844A (zh) * 2020-04-23 2021-04-23 华南理工大学 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN111797841A (zh) * 2020-05-10 2020-10-20 浙江工业大学 一种基于深度残差网络的视觉显著性检测方法
CN112070782A (zh) * 2020-08-31 2020-12-11 腾讯科技（深圳）有限公司 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN112070054A (zh) * 2020-09-17 2020-12-11 福州大学 基于图结构与注意力机制的车载激光点云标线分类方法
CN112672048A (zh) * 2020-12-21 2021-04-16 山西方天圣华数字科技有限公司 一种基于双目图像和神经网络算法的图像处理方法
CN112802079A (zh) * 2021-01-19 2021-05-14 奥比中光科技集团股份有限公司 一种视差图获取方法、装置、终端和存储介质
CN112767467A (zh) * 2021-01-25 2021-05-07 郑健青 一种基于自监督深度学习的双图深度估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
于淑侠等: ""基于金字塔式双通道卷积神经网络的深度图像超分辨率重建"", 《计算机应用研究》 *
李阳等: ""基于深度学习的单目图像深度估计的研究进展"", 《激光与光电子学进展》 *
王庆飞等: ""基于条件生成对抗网络的手势图像背景去除方法"", 《计算机应用研究》 *

Also Published As

Publication number Publication date
CN113344997B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN106462956A (zh) 局部自适应直方图均衡
CN111107337B (zh) 深度信息补全方法及其装置、监控***和存储介质
CN111444744A (zh) 活体检测方法、装置以及存储介质
US20220172331A1 (en) Image inpainting with geometric and photometric transformations
JPH0719832A (ja) 複数画像の対応点抽出方法
KR20150031085A (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN115115611B (zh) 车辆损伤识别方法、装置、电子设备和存储介质
CN112969023A (zh) 图像拍摄方法、设备、存储介质以及计算机程序产品
CN113538315B (zh) 图像处理方法及装置
CN112470189B (zh) 光场***的遮挡消除
CN111105370A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111310567A (zh) 一种多人场景下的人脸识别方法及装置
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN113096016A (zh) 一种低空航拍图像拼接方法和***
CN113344997B (zh) 快速获取只含有目标对象的高清前景图的方法及***
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN115830354A (zh) 双目立体匹配方法、设备和介质
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN112036342A (zh) 单证抓拍方法、设备及计算机存储介质
CN112288669A (zh) 一种基于光场成像的点云地图获取方法
CN116452776B (zh) 基于视觉同步定位与建图***的低碳变电站场景重建方法
CN112085653B (zh) 基于景深补偿的视差图像拼接方法
CN111010558B (zh) 一种基于短视频图像的立木深度图生成方法
CN111080689B (zh) 确定面部深度图的方法和装置
CN113487492A (zh) 视差值矫正方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211215

Address after: 101125 404-c37, zone B, No. a 560, Luyuan South Street, Tongzhou District, Beijing

Applicant after: Fangtian Shenghua (Beijing) Digital Technology Co.,Ltd.

Address before: 030000 floor 20, Hongfu complex building, Xiaodian District, Taiyuan City, Shanxi Province

Applicant before: Shanxi Fangtian Shenghua Digital Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant