CN111899266A - 一种基于rgbd相机的抠图方法及*** - Google Patents

一种基于rgbd相机的抠图方法及*** Download PDF

Info

Publication number
CN111899266A
CN111899266A CN202010699261.2A CN202010699261A CN111899266A CN 111899266 A CN111899266 A CN 111899266A CN 202010699261 A CN202010699261 A CN 202010699261A CN 111899266 A CN111899266 A CN 111899266A
Authority
CN
China
Prior art keywords
image
foreground
feature map
background
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010699261.2A
Other languages
English (en)
Other versions
CN111899266B (zh
Inventor
莫曜阳
钱贝贝
关国雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN202010699261.2A priority Critical patent/CN111899266B/zh
Publication of CN111899266A publication Critical patent/CN111899266A/zh
Application granted granted Critical
Publication of CN111899266B publication Critical patent/CN111899266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGBD相机的抠图方法，包括：S1、获取背景图像；S2、获取当前帧彩色图像和对应的深度图像；S3、对深度图像进行切分，获得前景软分割图像；S4、进行特征提取，分别得到各图像对应的特征图；S5、将当前帧彩色图像的特征图分别与背景图像的特征图、前景软分割图像的特征图拼接，输出第一、第二特征图；S6、构建具有编码器‑解码器结构的抠图模型，将第一、第二特征图与当前帧彩色图像的特征图进行拼接，得到编码特征图；通过解码器进行解码，输出前景透明度；利用前景透明度和当前帧彩色图像与不同的背景图像融合。本发明通过利用深度值对深度图像切分和对切分后的图像进行深度网络优化，可实现任意类别物体的抠图、泛用性广。

Description

一种基于RGBD相机的抠图方法及***
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于RGBD相机的抠图方法及***。
背景技术
从静止的背景中提取移动的前景，理论上讲只需要有一张背景图像，然后在新的图像中减去背景图像从而即可得到前景对象。然而，在大多数情况下，没有这样的背景图像。
现有的前景图像提取技术中，有基于背景建模的方法、基于绿幕的前景提取法、基于行人分割的方法、以及基于三分图(Trimap)创建蒙版的方法等等。其中，基于背景建模的方法，其从静止的背景中提取出移动的前景，只需要在新的图像中利用阈值减去背景就可以滤出前景，但是该方法对阈值的要求很高，对阈值十分敏感，容易出现“双影”以及“空洞”的现象；而基于绿幕的前景提取法，其具有与基于背景建模的方法同样的缺点，且需要搭建绿幕工作室，需要耗费大量的人力，一般情况不适用；基于行人分割的方法，其只适用于已知的数据集类别，但不能涵盖任意类别，具有一定的局限性；而基于三分图(Trimap)创建蒙版的方法，需要用户手动选取Trimap，耗费时间，效率低。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的目的在于提供一种基于RGBD相机的抠图方法及***，以解决上述背景技术问题中的至少一种问题。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种基于RGBD相机的抠图方法，包括步骤：
S1、在场景内没有前景物体的情况下通过固定的RGBD相机获取所述背景图像；
S2、获取目标物体进入场景内的当前帧彩色图像和当前帧对应的深度图像；
S3、对步骤S2中获取的当前帧的深度图像进行切分，获得前景软分割图像；
S4、对所述当前帧彩色图像、前景软分割图像以及所述背景图像进行特征提取，分别得到当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图；
S5、将所述当前帧彩色图像的特征图分别与所述背景图像的特征图、以及所述前景软分割图像的特征图进行拼接，输出第一特征图、第二特征图；
S6、构建具有编码器-解码器结构的抠图模型，将所述第一特征图、第二特征图、与当前帧彩色图像的特征图输入编码器进行拼接，得到编码特征图；通过解码器对所述编码特征图进行解码，输出前景透明度；利用前景透明度和当前帧彩色图像与不同的背景图像融合，得到合成图像。
在一些实施例中，步骤S3中，预先设定有效深度范围，根据该有效深度范围对所述当前帧深度图像进行切分，以获取所述前景软分割图像。
在一些实施例中，步骤S4中，利用特征提取网络对当前帧彩色图像、前景软分割图像以及背景图像进行特征提取，所述特征提取网络包括有三个卷积模块，每个卷积模块包括卷积层、批归一化层以及Relu激活函数层。
在一些实施例中，步骤S6中，利用卷积层、批归一化层以及ReLU激活函数层将当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图分别与第一特征图及第二特征图进行拼接，得到编码特征图并将编码特征图传输至解码器。
在一些实施例中，对于获得的深度图像，对确定的前景部分，则步骤S6进一步包括以下步骤：
S61、基于所述前景软分割图像，选取3×3的结构矩阵，利用该结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为1，则输出图像的该点像素为1，否则输出图像的像素为0；
S62、基于步骤S61得到前景软分割图像，选取3×3的结构矩阵，利用该结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为0，则输出图像的该点像素为0，否则输出图像的像素为1；
S63、利用高斯滤波对基于步骤S62得到的前景软分割图像进行边缘模糊处理，得到第二前景软分割图像；
S64、遍历步骤S2中前景深度图像与步骤S63中的第二前景软分割图像中的每一个像素，将前景深度图像中的透明度与第二前景软分割图像进行取最大值操作，即：α1i,j＝max(αi,j,Ti,j)，得到透明度α1。
在一些实施例中，对于获得的深度图像，对确定的背景部分，则步骤S6进一步还包括以下步骤：
S65、基于步骤S3，对有效深度范围以外的深度图像进行切分，获得背景软分割图像；
S66、选取3×3的结构矩阵，利用该结构矩阵与背景软分割图像进行逻辑与运算，如果结构矩阵与背景软分割图像的值均为1，则输出图像的该点像素为1，否则输出图像的像素为0；
S67、基于步骤S66得到的背景软分割图像，选取3×3的结构矩阵，利用该结构矩阵与背景软分割图像进行逻辑与运算，如果结构矩阵与背景软分割图像的值均为0，则输出图像的该点像素为0，否则输出图像的像素为1；
S68、遍历基于步骤S67得到的背景软分割图像上的每个像素点，如果该背景软分割图像Wi，j＝1，则将基于步骤S64中得到的α1i,j置0，得到新的透明度为α2。
在一些实施例中，步骤S1还包括：
S10、获取背景图像对应的第一背景深度图像，对第一背景深度图像进行切分，得到第二背景深度图像；
S11、将第二背景深度图像上的像素点，转化为相机坐标系或世界坐标系，得到点云；
S12、随机抽取点云中多个像素点以拟合平面方程，以该平面方程表示地面。
在一些实施例中，步骤S3还包括：
S31、遍历基于步骤S12得到的点云中的每一个像素点，将其代入步骤S12得到的平面方程中，计算像素点到平面之间的距离，若点到平面的距离小于阈值，则判断该点为地面，将其对应的前景软分割图像中对应的像素点的像素值置0。
本发明实施例的另一技术方案为：
一种基于RGBD相机的抠图***，包括：
RGBD相机，固定于预设位置，用于获取当前帧彩色图像、当前帧深度图像以及背景图像；
图像处理模块，用于设定深度图像的有效深度范围，并对深度图像进行切分，获取软分割图像；
特征提取模块，用于对当前帧彩色图像、背景图像及前景软分割图像进行特征提取，得到当前帧彩色图像的特征图、背景图像的特征图以及前景软分割图像的特征图；
具有编码器-解码器结构的抠图模型模块，用于将当前帧彩色图像的特征图分别与背景图像的特征图以及前景软分割图像的特征图进行拼接，输出第一特征图与第二特征图；以及搭建具有编码器-解码器结构的抠图模型，将当前帧彩色图像的特征图、背景图像的特征图以及前景软分割图像的特征图分别与第一特征图、第二特征图输入至编码器进行拼接，得到编码特征图并将其传输至解码器，解码器对所述编码特征图进行解码输出输出前景透明度，利用前景透明度以及当前帧彩色图像与不同的背景图像融合，得到合成图像。
本发明实施例的又一技术方案为：
一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述任何一实施例方案记载的基于RGBD相机的抠图方法。
本发明技术方案的有益效果是：
相较于现有技术，本发明通过利用深度值对深度图像切分和对切分后的图像进行深度网络优化，可以实现任意类别物体的抠图，可以分割任意类别物体，优化分割结果，泛用性广，可以直接在原背景上进行抠图，无需提供绿幕背景，亦无需用户手动添加标注。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一个实施例基于RGBD相机的抠图方法的流程示意图。
图2是根据本发明另一个实施例基于RGBD相机的抠图***的模块框图。
图3是根据本发明另一个实施例基于RGBD相机的抠图***的另一结构模块框图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
参照图1所示，图1所示为根据本发明实施例提供的一种基于RGBD相机的抠图方法的流程图示，方法包括以下步骤：
S1、获取背景图像；
在场景内没有前景物体的情况下通过固定的RGBD相机获取背景图像；具体的，固定RGBD相机，确保场景内没有前景物体，开启RGBD相机获取场景的背景图像。
S2、获取目标物体进入场景内的当前帧彩色图像和当前帧对应的深度图像；
具体的，目标物体进入场景，开启RGBD相机获取当前帧彩色图像和当前帧对应的深度图像。
S3、对步骤S2中获取的当前帧的深度图像进行切分，获得前景软分割图像；
具体的，预先设定有效深度范围，根据该有效深度范围对所述当前帧深度图像进行切分，以获取前景软分割图像。为便于理解，对该有效深度范围进行简要说明，该有效深度范围可以理解为，当深度图像上深度值为该有效深度范围内时，深度值对应的像素为有效像素。
S4、对所述当前帧彩色图像、前景软分割图像以及所述背景图像进行特征提取，分别得到当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图；
S5、将所述当前帧彩色图像的特征图与所述背景图像的特征图进行拼接，输出第一特征图；将所述当前帧彩色图像的特征图与所述前景软分割图像的特征图进行拼接，输出第二特征图。
S6、构建具有编码器-解码器结构的抠图模型，将所述第一特征图、第二特征图、与当前帧彩色图像的特征图输入编码器进行拼接，以融合不同模态的语义特征，得到编码特征图；通过解码器对所述编码特征图进行解码，输出前景透明度；利用前景透明度、当前帧彩色图像、与不同的背景图像融合，得到合成图像。
可以理解得是，场景确定后，场景的背景图像是固定不变的，因此，步骤S1获取场景的背景图像只需要执行一次；目标进入场景后，每当RGBD相机获取新的数据(新一帧彩色图像和深度图像)，则需重新执行步骤S2-步骤S6，以生成新的合成图像。
更具体地，步骤S3中，可根据实际需求设计有效深度范围，例如：用户设定深度相机的有效拍摄范围为1-3米，则认为深度图像上深度为1-3米之间的像素为有效像素，利用有效的深度范围，对当前帧的深度图像进行切分，从而获取前景软分割图像。
在一个实施例中，若深度相机拍摄的当前帧深度图像中包含有地面，则运用以下步骤去除地面，此时，S1还包括如下步骤：
S10、获取背景图像对应的第一背景深度图像，设定有效深度范围，对第一背景深度图像进行切分，保留有效像素，以得到第二背景深度图像；
S11、将第二背景深度图像上的像素点，转化为相机坐标系或世界坐标系，以得到点云；其中，点云中包括有像素点的三维坐标；
S12、随机抽取点云中多个像素点以拟合平面方程，若足够多的像素点符合该平面方程，则该平面方程即可表示地面。
更进一步地，需要得到不包含地面的前景软分割图像，基于步骤S10-S12,步骤S3包括以下步骤：
S31、遍历基于步骤S12得到的点云中的每一个像素点，将其代入步骤S12得到的平面方程中，计算像素点到平面之间的距离，若点到平面的距离小于阈值，则认为该点是地面；如果该像素点属于地面，则将其对应的前景软分割图像中对应的像素点的像素值置0，其余情况则保持原像素值不变。
在步骤S4中，利用基于残差网络(Resnet)设计的三个特征提取网络对当前帧彩色图像、前景软分割图像以及背景图像进行特征提取，该特征提取网络包括三个卷积模块，每个卷积模块包括卷积层、批归一化层以及Relu激活函数层，输入当前帧彩色图像、前景软分割图像以及背景图像三个图像，分别对应得到当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图。
步骤S5中，将当前帧彩色图像的特征图与背景图像的特征图经过拼接层进行特征融合以实现拼接，进而得到第一特征图；将当前帧彩色图像的特征图与前景软分割图像的特征图进行拼接，得到第二特征图。其中，需要说明的是，利用拼接层进行特征图像拼接是指将两幅特征图像进行通道维度上的拼接，拼接后的特征图包含了经过多次卷积操作的丰富语义。
步骤S6中，搭建具有编码器-解码器结构的抠图模型，将步骤S4中得到的当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图分别与步骤S5中的第一特征图、第二特征图输入至编码器，通过编码器产生多个通道的特征图；具体的，步骤S6中，利用卷积层、批归一化层以及ReLU激活函数层将步骤S4中的当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图分别与步骤S5中的第一特征图、第二特征图进行拼接，以融合不同模态的语义特征，得到编码特征图并将其传输至解码器，解码器利用由多个反卷积层(或上采样层+卷积层)组成的解码器对编码特征图进行解码，获取编码特征图保留下来的细节信息；所述细节信息包括有前景图像的透明度矩阵α以及前景图像的颜色矩阵F，利用上述的细节信息与不同的背景图像融合，以生成合成图像，从而完成高质量抠图以及合成图像操作。
其中，在处理的过程中，存在与背景颜色相似的前景区域会被归为背景图像的情况，因此，在一些实施例中，需要对步骤S6得到的结果进行优化：
具体的，基于步骤S2得到深度图像，对确定的前景部分进行以下操作：
S61、基于步骤S3得到的前景软分割图像，选取3×3的结构矩阵，其中，矩阵内的元素均为1，以1为步长，扫描前景软分割图像中的每个像素，利用该结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为1，则输出图像的该点像素值为1，其余情况输出图像的像素值为0，该过程称为腐蚀过程，通过所述腐蚀过程使前景软分割图像减小一圈；
S62、基于步骤S61得到前景软分割图像，选取3×3的结构矩阵，矩阵内的元素均为1，利用该结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为0，则输出图像的该点像素值为0，其余情况输出图像的像素值为1，该过程称为膨胀过程，通过所述膨胀过程使基于步骤S61得到的前景软分割图像扩大一圈。
需要说明的是，基于上述的先腐蚀后膨胀的过程称为开运算，通过开运算可消除噪点，在纤细点分离物体、平滑较大物体的边界的同时不会明显改变其面积。
S63、利用高斯滤波对基于步骤S62得到的前景软分割图像进行边缘模糊处理，得到第二前景软分割图像T。
S64、遍历步骤S2中前景深度图像与步骤S63中的第二前景软分割图像T中的每一个像素，将前景深度图像中的透明度与第二前景软分割图像进行elementwise-max操作，即取最大值α1i,j＝max(αi,j,Ti,j)，得到透明度α1。
基于步骤S2得到深度图像，对确定的背景部分，则步骤S6还需进一步包括以下步骤：
S65、基于步骤S3，根据用户设置的有效深度范围，对有效深度范围以外的深度图像进行切分，获得背景软分割图像W；
S66、选取3×3的结构矩阵，矩阵内的元素均为1，以1为步长，扫描背景软分割图像中的每个像素，利用该结构矩阵与背景软分割图像进行逻辑与运算，如果结构矩阵与背景软分割图像的值均为1，则输出图像的该点像素值为1，其余情况输出图像的像素值为0，该过程称为腐蚀过程，可使背景软分割图像减小一圈；
S67、基于步骤S66得到背景软分割图像的基础上，选取3×3的结构矩阵，矩阵内的元素均为1，利用该结构矩阵与背景软分割图像进行逻辑与运算，如果结构矩阵与背景软分割图像的值均为0，则输出图像的该点像素值为0，其余情况输出图像的像素值为1，该过程称为膨胀过程，可使基于步骤S66得到的背景软分割图像扩大一圈，以去除图像噪点。
S68、遍历基于步骤S67得到的背景软分割图像W上的每个像素点，如果背景软分割图像Wi，j＝1，那么将基于步骤S64中得到的α1i,j置0，得到新的透明度α2，此处的α2为最终需要的透明度。
利用步骤S68得到的数据与用户提供的背景图像进行融合，得到合成图像，进一步地，合成图像的公式为：
I＝αF+(1-α)B
其中，B为背景图像的RGB颜色值矩阵，α为步骤S68得到的透明度α2矩阵，F为前景图像的颜色值矩阵。
作为本发明另一实施例，还提供一种基于RGBD相机的抠图***，参照图2所示，***包括：
RGBD相机，固定于预设位置，用于获取当前帧彩色图像、当前帧深度图像以及背景图像；
图像处理模块，用于设定深度图像的有效深度范围，并对深度图像进行切分，获取软分割图像；
特征提取模块，用于对当前帧彩色图像、背景图像及前景软分割图像进行特征提取，得到当前帧彩色图像的特征图、背景图像的特征图以及前景软分割图像的特征图；
具有编码器-解码器结构的抠图模型模块，用于将当前帧彩色图像的特征图分别与背景图像的特征图以及前景软分割图像的特征图进行拼接，输出第一特征图与第二特征图；以及搭建具有编码器-解码器结构的抠图模型，将当前帧彩色图像的特征图、背景图像的特征图以及前景软分割图像的特征图分别与第一特征图、第二特征图输入至编码器进行拼接，以融合不同模态的语义特征，得到编码特征图并将编码特征图传输至解码器，通过解码器对所述编码特征图进行解码输出输出前景透明度，利用前景透明度以及当前帧彩色图像与不同的背景图像融合，得到合成图像。
参照图3所示，在一些实施例中，***还包括有地面图像去除模块，当深度相机拍摄的当前帧深度图像中包含有地面时，通过地面图像去除模块去除地面图像，以得到不包含地面的前景软分割图像。
在一些实施例中，***还包括有背景图像处理模块，以用于对所述具有编码器-解码器结构的抠图模型模块的处理结果进行优化，解决实际处理过程，存在与背景颜色相似的前景区域会被归为背景图像的情况。
可以理解的是，上述的各个模块可以是单独独立的模块，也可以是其中几个模块合并于一起作为一个模块；当然，也可以通过兼用一个模块实现几个模块的相似功能。
基于RGBD相机的抠图***用于执行图1所示实施例基于RGBD相机的抠图方法，其中各个模块的具体描述参照前述RGBD相机的抠图方法实施例，在此不再赘述。
本发明通过利用深度值对深度图像切分和对切分后的图像进行深度网络优化，可以实现任意类别物体的抠图，可以分割任意类别物体，优化分割结果，泛用性广，可以直接在原背景上进行抠图，无需提供绿幕背景，亦无需用户手动添加标注。
本发明实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述任何一实施例方案记载的基于RGBD相机的抠图方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。

Claims (10)

1.一种基于RGBD相机的抠图方法，其特征在于，包括步骤：
S1、在场景内没有前景物体的情况下，通过固定的RGBD相机获取所述背景图像；
S2、获取目标物体进入场景内的当前帧彩色图像和当前帧对应的深度图像；
S3、对步骤S2中获取的当前帧的深度图像进行切分，获得前景软分割图像；
S4、对所述当前帧彩色图像、前景软分割图像以及所述背景图像进行特征提取，分别得到当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图；
S5、将所述当前帧彩色图像的特征图分别与所述背景图像的特征图、以及所述前景软分割图像的特征图进行拼接，输出第一特征图、第二特征图；
S6、构建具有编码器-解码器结构的抠图模型，将所述第一特征图、第二特征图、与当前帧彩色图像的特征图输入编码器进行拼接，得到编码特征图；通过解码器对所述编码特征图进行解码，输出前景透明度；利用前景透明度和当前帧彩色图像与不同的背景图像融合，得到合成图像。
2.如权利要求1所述基于RGBD相机的抠图方法，其特征在于：步骤S3中，预先设定有效深度范围，根据该有效深度范围对所述当前帧深度图像进行切分，以获取所述前景软分割图像。
3.如权利要求1所述基于RGBD相机的抠图方法，其特征在于：步骤S4中，利用特征提取网络对当前帧彩色图像、前景软分割图像以及背景图像进行特征提取，所述特征提取网络包括有三个卷积模块，每个卷积模块包括卷积层、批归一化层以及Relu激活函数层。
4.如权利要求3所述基于RGBD相机的抠图方法，其特征在于：步骤S6中，利用卷积层、批归一化层以及ReLU激活函数层将当前帧彩色图像的特征图、前景软分割图像的特征图以及背景图像的特征图分别与第一特征图及第二特征图进行拼接，得到编码特征图并将编码特征图传输至解码器。
5.如权利要求2所述基于RGBD相机的抠图方法，其特征在于，对于获得的深度图像，对确定的前景部分，则步骤S6进一步包括以下步骤：
S61、基于所述前景软分割图像，选取3×3的结构矩阵，利用该结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为1，则输出图像的该点像素为1，否则输出图像的像素为0；
S62、基于步骤S61得到前景软分割图像，选取3×3的结构矩阵，利用该结构矩阵与前景软分割图像进行逻辑与运算，如果结构矩阵与前景软分割图像的值均为0，则输出图像的该点像素为0，否则输出图像的像素为1；
S63、利用高斯滤波对基于步骤S62得到的前景软分割图像进行边缘模糊处理，得到第二前景软分割图像；
S64、遍历步骤S2中前景深度图像与步骤S63中的第二前景软分割图像中的每一个像素，将前景深度图像中的透明度与第二前景软分割图像进行取最大值操作，即：α1i,j＝max(αi,j,Ti,j)，得到透明度α1。
6.如权利要求5所述基于RGBD相机的抠图方法，其特征在于，对于获得的深度图像，对确定的背景部分，则步骤S6进一步还包括以下步骤：
S65、基于步骤S3，对有效深度范围以外的深度图像进行切分，获得背景软分割图像；
S66、选取3×3的结构矩阵，利用该结构矩阵与背景软分割图像进行逻辑与运算，如果结构矩阵与背景软分割图像的值均为1，则输出图像的该点像素为1，否则输出图像的像素为0；
S67、基于步骤S66得到的背景软分割图像，选取3×3的结构矩阵，利用该结构矩阵与背景软分割图像进行逻辑与运算，如果结构矩阵与背景软分割图像的值均为0，则输出图像的该点像素为0，否则输出图像的像素为1；
S68、遍历基于步骤S67得到的背景软分割图像上的每个像素点，如果背景软分割图像Wi，j＝1，则将基于步骤S64中得到的α1i,j置0，得到新的透明度为α2。
7.如权利要求1所述基于RGBD相机的抠图方法，其特征在于，步骤S1还包括：
S10、获取背景图像对应的第一背景深度图像，对第一背景深度图像进行切分，得到第二背景深度图像；
S11、将第二背景深度图像上的像素点，转化为相机坐标系或世界坐标系，得到点云；
S12、随机抽取点云中多个像素点以拟合平面方程，以该平面方程表示地面。
8.如权利要求7所述基于RGBD相机的抠图方法，其特征在于，步骤S3还包括：
S31、遍历基于步骤S12得到的点云中的每一个像素点，将其代入步骤S12得到的平面方程中，计算像素点到平面之间的距离，若点到平面的距离小于阈值，则判断该点为地面，将其对应的前景软分割图像中对应的像素点的像素值置0。
9.一种基于RGBD相机的抠图***，其特征在于，包括：
RGBD相机，固定于预设位置，用于获取当前帧彩色图像、当前帧深度图像以及背景图像；
图像处理模块，用于设定深度图像的有效深度范围，并对深度图像进行切分，获取软分割图像；
特征提取模块，用于对当前帧彩色图像、背景图像及前景软分割图像进行特征提取，得到当前帧彩色图像的特征图、背景图像的特征图以及前景软分割图像的特征图；
具有编码器-解码器结构的抠图模型模块，用于将当前帧彩色图像的特征图分别与背景图像的特征图以及前景软分割图像的特征图进行拼接，输出第一特征图与第二特征图；以及搭建具有编码器-解码器结构的抠图模型，将当前帧彩色图像的特征图、背景图像的特征图以及前景软分割图像的特征图分别与第一特征图、第二特征图输入至编码器进行拼接，得到编码特征图并将其传输至解码器，解码器对所述编码特征图进行解码输出输出前景透明度，利用前景透明度以及当前帧彩色图像与不同的背景图像融合，得到合成图像。
10.一种存储介质，用于存储计算机程序，其特征在于：该计算机程序被执行时至少执行权1-8任何一项所述的基于RGBD相机的抠图方法。
CN202010699261.2A 2020-07-17 2020-07-17 一种基于rgbd相机的抠图方法及*** Active CN111899266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699261.2A CN111899266B (zh) 2020-07-17 2020-07-17 一种基于rgbd相机的抠图方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699261.2A CN111899266B (zh) 2020-07-17 2020-07-17 一种基于rgbd相机的抠图方法及***

Publications (2)

Publication Number Publication Date
CN111899266A true CN111899266A (zh) 2020-11-06
CN111899266B CN111899266B (zh) 2024-07-12

Family

ID=73189346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699261.2A Active CN111899266B (zh) 2020-07-17 2020-07-17 一种基于rgbd相机的抠图方法及***

Country Status (1)

Country Link
CN (1) CN111899266B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034648A (zh) * 2021-04-30 2021-06-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备和存储介质
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议***、电子设备及介质
WO2023169297A1 (zh) * 2022-03-10 2023-09-14 北京字跳网络技术有限公司 动画特效生成方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及***
CN105590312A (zh) * 2014-11-12 2016-05-18 株式会社理光 前景图像分割方法和装置
CN106651867A (zh) * 2017-01-04 2017-05-10 努比亚技术有限公司 一种实现交互式图像分割的方法、装置及终端
CN106952276A (zh) * 2017-03-20 2017-07-14 成都通甲优博科技有限责任公司 一种图像抠图方法及装置
CN108171715A (zh) * 2017-12-05 2018-06-15 浙江大华技术股份有限公司 一种图像分割方法及装置
US10210618B1 (en) * 2013-12-27 2019-02-19 Google Llc Object image masking using depth cameras or three-dimensional (3D) models
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN111161277A (zh) * 2019-12-12 2020-05-15 中山大学 一种基于深度学习的自然图像抠图方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999901A (zh) * 2012-10-17 2013-03-27 中国科学院计算技术研究所 基于深度传感器的在线视频分割后的处理方法及***
US10210618B1 (en) * 2013-12-27 2019-02-19 Google Llc Object image masking using depth cameras or three-dimensional (3D) models
CN105590312A (zh) * 2014-11-12 2016-05-18 株式会社理光 前景图像分割方法和装置
CN106651867A (zh) * 2017-01-04 2017-05-10 努比亚技术有限公司 一种实现交互式图像分割的方法、装置及终端
CN106952276A (zh) * 2017-03-20 2017-07-14 成都通甲优博科技有限责任公司 一种图像抠图方法及装置
CN108171715A (zh) * 2017-12-05 2018-06-15 浙江大华技术股份有限公司 一种图像分割方法及装置
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN111161277A (zh) * 2019-12-12 2020-05-15 中山大学 一种基于深度学习的自然图像抠图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NING XU: "Deep Image Matting", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 9 November 2017 (2017-11-09), pages 311 - 320 *
冉清: "人体前景的自动抠图算法", 计算机辅助设计与图形学学报, 29 February 2020 (2020-02-29), pages 277 - 286 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034648A (zh) * 2021-04-30 2021-06-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备和存储介质
WO2023169297A1 (zh) * 2022-03-10 2023-09-14 北京字跳网络技术有限公司 动画特效生成方法、装置、设备及介质
CN114677394A (zh) * 2022-05-27 2022-06-28 珠海视熙科技有限公司 抠图方法、装置、摄像设备、会议***、电子设备及介质

Also Published As

Publication number Publication date
CN111899266B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN111899266A (zh) 一种基于rgbd相机的抠图方法及***
US7574069B2 (en) Retargeting images for small displays
US6912313B2 (en) Image background replacement method
US8488896B2 (en) Image processing apparatus and image processing method
Battiato et al. Depth map generation by image classification
CN106971155B (zh) 一种基于高度信息的无人车车道场景分割方法
CN111091091A (zh) 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110555119B (zh) 一种实时场景下无人机遥感影像切片方法及***
CN112241960B (zh) 一种基于深度信息的抠图方法及***
CN110648278B (zh) 一种图像的超分辨率处理方法、***及设备
CN111563516B (zh) 行人掩码与三维场景融合显示的方法、终端及存储介质
CN108668096B (zh) 视频数据的管理方法、装置及录像设备
US10834374B2 (en) Method, apparatus, and device for synthesizing virtual viewpoint images
CN114677394B (zh) 抠图方法、装置、摄像设备、会议***、电子设备及介质
CN115349139A (zh) 图像分割方法、装置、设备及存储介质
CN111757149B (zh) 视频剪辑方法、装置、设备及存储介质
KR101744141B1 (ko) 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치
CN109583414B (zh) 基于视频检测的室内占道检测方法、设备、介质及处理器
CN111353957A (zh) 图像处理方法、装置、存储介质及电子设备
Lu et al. A survey on multiview video synthesis and editing
CN110766640A (zh) 一种基于深度语义分割的图像去雾方法
CN114372990A (zh) 彻底抠除绿幕的图像合成方法、装置、设备及存储介质
CN112614149A (zh) 基于实例分割的语义合成方法
US7129961B1 (en) System and method for dynamic autocropping of images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co.,Ltd.

Address before: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant