CN107301662A - 深度图像的压缩恢复方法、装置、设备及存储介质 - Google Patents

深度图像的压缩恢复方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN107301662A
CN107301662A CN201710524546.0A CN201710524546A CN107301662A CN 107301662 A CN107301662 A CN 107301662A CN 201710524546 A CN201710524546 A CN 201710524546A CN 107301662 A CN107301662 A CN 107301662A
Authority
CN
China
Prior art keywords
depth image
image
restored
branch
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710524546.0A
Other languages
English (en)
Other versions
CN107301662B (zh
Inventor
王旭
张乒乒
江健民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710524546.0A priority Critical patent/CN107301662B/zh
Publication of CN107301662A publication Critical patent/CN107301662A/zh
Application granted granted Critical
Publication of CN107301662B publication Critical patent/CN107301662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明适用计算机技术领域，提供了一种深度图像的压缩恢复方法、装置、移动终端及存储介质，该方法包括：接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量，进而提高了用户体验。

Description

深度图像的压缩恢复方法、装置、设备及存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种深度图像的压缩恢复方法、装置、设备及存储介质。
背景技术
在3D计算机图形学中，深度图像包含了视点与场景物体表面的距离信息。传统的机器视觉是把三维物体投影成二维图像，通过物体的特征、图像数据和成像过程之间的关系来恢复出三维景物。深度信息在三维重构起到了关键的作用。发送立体视频(左视图和右视图)能够提供3D体验，但是具有显著的限制。为了减少传输视图的数量，纹理加深度的格式已被广泛接受。这种方法是将几个视点的颜色信息和深度信息一起传输，然后使用基于深度图像的渲染(depth-image-based rendering，简称DIBR)技术合成虚拟视图。重建3D场景需要获取纹理信息和深度信息，高分辨的深度图像在存储和传输过程中都会占用大量的空间。因此，深度图像需要被压缩，以提高空间的利用率和传输效率。但压缩后的深度图像会存在模糊、块状等失真，这些失真会进一步导致3D场景绘制的失真。
有损压缩能够用较大的压缩比压缩图像，但有损压缩的图像是不可逆的。所以，图像压缩恢复也是人们一直研究的方向。早些年，很多研究者设计很多种平滑滤波器从空域或者变换域去除块状效应。Luo等人提出在空域和离散余弦变换(Discrete CosineTransform，简称DCT)自适应去除块状效应；Singh等人提出的模型能够实现用不同的滤波器对平滑和不平滑区域进行滤波。形状自适应离散余弦变换(Shape Adaptive DiscreteCosine Transform，简称SA-DCT)可能是目前最受欢迎得去块状效应的方法。通过计算，它能够变换滤波的形状大小来重建图像清晰的边缘。然而，这些滤波器可能会对图像进行过度平滑，造成图像的边缘模糊。
近年来，卷积神经网络(Convolutional Neural Network，简称CNN)通过训练数据来学习特征检测，以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性。CNN在图像复原邻域同样表现出卓越的性能。Dong等人提出的(Super-ResolutionConvolutional Neural Network，简称SRCNN)模型说明了端对端的数据通信网络(DataCommunication Network，简称DCN)存在解决图像超分辨的潜能。Deeper SRCNN通过增加层数来使图像恢复更好。但是，他们提出的算法主要是对图像进行超分辨分析的,去块状的效果较差。伪影消除卷积神经网络(Artifacts Reduction Convolutional Neural Network，简称AR-CNN)在SRCNN的基础上，针对的JPEG、JPEG2000、Twitter等压缩后的图像进行恢复。虽说这是一个更加普遍性的模型，但他们的模型用于恢复纹理图像，纹理图像和深度图像存在明显的不同。
发明内容
本发明的目的在于提供一种深度图像的压缩恢复方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的深度图像的压缩恢复方法，导致深度图像的压缩恢复质量不好、用户体验不佳的问题。
一方面，本发明提供了一种深度图像的压缩恢复方法，所述方法包括下述步骤：
接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；
对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；
将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；
将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。
另一方面，本发明提供了一种深度图像的压缩恢复装置，所述装置包括：
请求接收单元，用于接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；
图像预处理单元，用于对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；
对应输入单元，用于将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；以及
图像恢复单元，用于将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。
另一方面，本发明还提供了一种深度图像的压缩恢复设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述深度图像的压缩恢复方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述深度图像的压缩恢复方法的步骤。
本发明接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量，进而提高了用户体验。
附图说明
图1是本发明实施例一提供的深度图像的压缩恢复方法的实现流程图；
图2是本发明实施例二提供的深度图像的压缩恢复装置的结构示意图；
图3是本发明实施例二提供的深度图像的压缩恢复装置的优选结构示意图；以及
图4是本发明实施例三提供的深度图像的压缩恢复设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的深度图像的压缩恢复方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，接收输入的待恢复深度图像的恢复请求，该待恢复深度图像关联有对应的纹理图像。
本发明实施例适用于压缩后深度图像的恢复***，以方便进行压缩后的深度图像的恢复。在本发明实施例中，首先接收用户输入的待恢复深度图像的恢复请求，其中，待恢复深度图像关联有对应的纹理图像，以用于辅助进行待恢复深度图像的恢复。
优选地，在接收输入的待恢复深度图像的恢复请求之前，首先构建深度图像恢复模型。具体地，在构建深度图像恢复模型时，首先构建深度图像恢复模型的Y分支模型，构建的Y分支模型包含2个卷积层：然后构建该深度图像恢复模型的D分支模型，构建的D分支模型包含2个卷积层：最后构建该深度图像恢复模型的M分支模型，构建的M分支模型包含5个卷积层：
其中，“*”表示卷积操作，为滤波器，为偏置向量。
进一步优选地，构建深度图像恢复模型的步骤之后，接收输入的待恢复深度图像的恢复请求的步骤之前，首先接收输入的训练集，该训练集包括无压缩的纹理图像、无压缩的深度图像和对应的压缩后深度图像，然后对该训练集中的无压缩的纹理图像、无压缩的深度图像和对应的压缩后深度图像进行预处理，获取无压缩的纹理图像和压缩后深度图像的高频信息，接着将获取的无压缩的纹理图像的高频信息、压缩后深度图像的高频信息和压缩后深度图像分别输入到预先构建的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，对深度图像恢复模型的Y分支模型、D分支模型和M分支模型进行训练，根据训练集中的无压缩深度图像和训练得到的恢复图像计算训练的损失函数，更新深度图像恢复模型的滤波器和偏置向量，当未达到预设的迭代次数时，重复进行训练和更新步骤，直至达到预设的迭代次数时，将训练后的深度图像恢复模型设置为预设的深度图像恢复模型，从而提高压缩后深度图像的恢复准确性。
优选地，在计算训练的损失函数时，使用公式计算训练的损失函数，其中，N为训练集中训练目标的数量，恢复得到的深度图像，为对应的纹理图像，i表示每一次训练，θ为待优化参数，包括滤波器和偏置向量参数，从而提高训练的准确性和速率。
在步骤S102中，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息。
在本发明实施例中，在待恢复深度图像的恢复请求之后，首先获取对应的纹理图像和待恢复深度图像，然后分别对纹理图像和待恢复深度图像进行预处理，提取到该纹理图像和该待恢复深度图像的高频信息，从而得到该纹理图像和该待恢复深度图像的高频信息。
优选地，在对纹理图像和待恢复深度图像进行预处理时，根据公式对纹理图像进行预处理，获取纹理图像的高频信息，根据公式对待恢复深度图像进行预处理，获取待恢复深度图像的高频信息，其中，参数Y为纹理图像，参数D为待恢复深度图像，h(Y)表示对纹理图像进行均值池化处理，h(D)表示对待恢复深度图像进行均值池化处理，abs()为取绝对值函数，即首先对需要预处理的纹理图像或者待恢复深度图像做均值池化(9x9)，然后用均值池化前的像素值减去均值池化后的像素值，得到均值池化前后的像素值差值，再对该差值取绝对值，这样就得到了对应图像的边缘图像(即图像的高频信息)。均值池化可以使图像变得模糊，即除去了图像的高频信息部分，剩下图像的低频信息，然后用原图像减去只有低频信息的图像，高频信息就可以被保留下来。
在步骤S103中，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型。
在本发明实施例中，得到该纹理图像和该待恢复深度图像的高频信息之后，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型。
在步骤S104中，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像。
在本发明实施例中，根据公式和将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，M分支模型根据公式恢复出待恢复深度图像对应的深度图像。
在本发明实施例中，接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量，进而提高了用户体验。
实施例二：
图2示出了本发明实施例二提供的深度图像的压缩恢复装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
请求接收单元21，用于接收输入的待恢复深度图像的恢复请求，该待恢复深度图像关联有对应的纹理图像。
在本发明实施例中，请求接收单元21首先接收用户输入的待恢复深度图像的恢复请求，其中，待恢复深度图像关联有对应的纹理图像，以用于辅助进行待恢复深度图像的恢复。
优选地，在接收输入的待恢复深度图像的恢复请求之前，首先构建深度图像恢复模型。具体地，在构建深度图像恢复模型时，首先构建深度图像恢复模型的Y分支模型，构建的Y分支模型包含2个卷积层：然后构建该深度图像恢复模型的D分支模型，构建的D分支模型包含2个卷积层：最后构建该深度图像恢复模型的M分支模型，构建的M分支模型包含5个卷积层：
其中，“*”表示卷积操作，为滤波器，为偏置向量。
进一步优选地，构建深度图像恢复模型的步骤之后，接收输入的待恢复深度图像的恢复请求的步骤之前，首先接收输入的训练集，该训练集包括无压缩的纹理图像、无压缩的深度图像和对应的压缩后深度图像，然后对该训练集中的无压缩的纹理图像、无压缩的深度图像和对应的压缩后深度图像进行预处理，获取无压缩的纹理图像和压缩后深度图像的高频信息，接着将获取的无压缩的纹理图像的高频信息、压缩后深度图像的高频信息和压缩后深度图像分别输入到预先构建的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，对深度图像恢复模型的Y分支模型、D分支模型和M分支模型进行训练，根据训练集中的无压缩深度图像和训练得到的恢复图像计算训练的损失函数，更新深度图像恢复模型的滤波器和偏置向量，当未达到预设的迭代次数时，重复进行训练和更新步骤，直至达到预设的迭代次数时，将训练后的深度图像恢复模型设置为预设的深度图像恢复模型，从而提高压缩后深度图像的恢复准确性。
优选地，在计算训练的损失函数时，使用公式计算训练的损失函数，其中，N为训练集中训练目标的数量，恢复得到的深度图像，为对应的纹理图像，i表示每一次训练，θ为待优化参数，包括滤波器和偏置向量参数，从而提高训练的准确性和速率。
图像预处理单元22，用于对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息。
在本发明实施例中，在待恢复深度图像的恢复请求之后，图像预处理单元22首先获取对应的纹理图像和待恢复深度图像，然后分别对纹理图像和待恢复深度图像进行预处理，提取到该纹理图像和该待恢复深度图像的高频信息，从而得到该纹理图像和该待恢复深度图像的高频信息。
优选地，在对纹理图像和待恢复深度图像进行预处理时，根据公式对纹理图像进行预处理，获取纹理图像的高频信息，根据公式对待恢复深度图像进行预处理，获取待恢复深度图像的高频信息，其中，参数Y为纹理图像，参数D为待恢复深度图像，h(Y)表示对纹理图像进行均值池化处理，h(D)表示对待恢复深度图像进行均值池化处理，abs()为取绝对值函数，即首先对需要预处理的纹理图像或者待恢复深度图像做均值池化(9x9)，然后用均值池化前的像素值减去均值池化后的像素值，得到均值池化前后的像素值差值，再对该差值取绝对值，这样就得到了对应图像的边缘图像。均值池化可以使图像变得模糊，即除去了图像的高频信息部分，剩下图像的低频信息，然后用原图像减去只有低频信息的图像，高频信息就可以被保留下来。
对应输入单元23，用于将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型。
在本发明实施例中，得到该纹理图像和该待恢复深度图像的高频信息之后，对应输入单元23将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型。
图像恢复单元24，用于将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像。
在本发明实施例中，图像恢复单元24根据公式和将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，M分支模型根据公式恢复出待恢复深度图像对应的深度图像。
因此，优选地，如图3所示，该装置还包括：
模型构建单元30，用于构建深度图像恢复模型；
优选地，该模型构建单元30包括：
第一构建单元301，用于构建深度图像恢复模型的Y分支模型，Y分支模型的卷积层为
第二构建单元302，用于构建深度图像恢复模型的D分支模型，D分支模型的卷积层为
第三构建单元303，用于构建深度图像恢复模型的M分支模型，M分支模型的卷积层为F1 M＝max(0,W1 M*Dq+B1 M)，
其中，“*”表示卷积操作，为滤波器，为偏置向量；
优选地，该图像预处理单元22包括：
第一处理单元321，用于根据公式对纹理图像进行预处理，获取纹理图像的高频信息，其中，参数Y为纹理图像，h(Y)表示对纹理图像进行均值池化处理，abs()为取绝对值函数；以及
第二处理单元322，用于根据公式对待恢复深度图像进行预处理，获取待恢复深度图像的高频信息，其中，参数D为待恢复深度图像，h(D)表示对待恢复深度图像进行均值池化处理。
在本发明实施例中，请求接收单元接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，图像预处理单元对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，对应输入单元将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，图像恢复单元将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量，进而提高了用户体验。
在本发明实施例中，深度图像的压缩恢复装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图4示出了本发明实施例四提供的深度图像的压缩恢复设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的深度图像的压缩恢复设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述深度图像的压缩恢复方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，该处理器40执行计算机程序42时实现上述各个屏幕唤醒的控制方法实施例中的步骤时，接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量。
该深度图像的压缩恢复设备4中处理器40在执行计算机程序42时实现的步骤具体可参考实施例一中方法的描述，在此不再赘述。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述深度图像的压缩恢复方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，接收输入的待恢复深度图像的恢复请求，待恢复深度图像关联有对应的纹理图像，对纹理图像和待恢复深度图像进行预处理，获取纹理图像和待恢复深度图像的高频信息，将纹理图像的高频信息、待恢复深度图像的高频信息和待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型，将Y分支模型、D分支模型恢复得到的特征图像输入到M分支模型，通过M分支模型恢复出待恢复深度图像对应的深度图像，从而提高了深度图像的压缩恢复质量。该计算机程序被处理器执行时实现的深度图像的压缩恢复方法进一步可参考前述方法实施例中步骤的描述，在此不再赘述。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种深度图像的压缩恢复方法，其特征在于，所述方法包括下述步骤：
接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；
对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；
将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；
将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。
2.如权利要求1所述的方法，其特征在于，接收输入的待恢复深度图像的恢复请求的步骤之前，所述方法还包括：
构建所述深度图像恢复模型；
构建所述深度图像恢复模型的步骤，包括：
构建所述深度图像恢复模型的所述Y分支模型，所述的Y分支模型的卷积层为
构建所述深度图像恢复模型的所述D分支模型，所述D分支模型的卷积层为
构建所述深度图像恢复模型的所述M分支模型，所述M分支模型的卷积层为
所述所述所述“*”表示卷积操作，所述为滤波器，所述为偏置向量。
3.如权利要求2所述的方法，其特征在于，构建所述深度图像恢复模型的步骤之后，接收输入的待恢复深度图像的恢复请求的步骤之前，所述方法还包括：
接收输入的训练集，所述训练集包括无压缩的纹理图像、无压缩的深度图像和压缩后的深度图像；
对所述训练集中的无压缩的纹理图像、无压缩的深度图像和压缩后的深度图像进行预处理，获取所述无压缩的纹理图像和所述压缩后深度图像的高频信息；
将所述无压缩的纹理图像的高频信息、所述压缩后深度图像的高频信息和所述压缩后深度图像分别输入到预先构建的所述深度图像恢复模型的所述Y分支模型、D分支模型和M分支模型，对所述深度图像恢复模型的所述Y分支模型、D分支模型和M分支模型进行训练，计算所述训练的损失函数，更新所述深度图像恢复模型的所述滤波器和所述偏置向量；
当未达到预设的迭代次数时，重复进行所述训练和更新步骤，直至达到所述迭代次数时，将所述训练后的深度图像恢复模型设置为所述预设的深度图像恢复模型。
4.如权利要求3所述的方法，其特征在于，计算所述训练的损失函数的步骤，包括：
使用公式计算所述训练的损失函数，所述N为所述训练集中训练目标的数量，所述为恢复得到的深度图像，所述为对应的纹理图像，所述i表示每一次训练，所述θ为待优化参数，包括所述滤波器和所述偏置向量。
5.如权利要求1所述的方法，其特征在于，对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息的步骤，包括：
根据公式对所述纹理图像进行预处理，获取所述纹理图像的高频信息，其中，所述参数Y为所述纹理图像，所述h(Y)表示对所述纹理图像进行均值池化处理，所述abs()为取绝对值函数；
根据公式对所述待恢复深度图像进行预处理，获取所述待恢复深度图像的高频信息，其中，所述参数D为所述待恢复深度图像，所述h(D)表示对所述待恢复深度图像进行均值池化处理。
6.一种深度图像的压缩恢复装置，其特征在于，所述装置包括：
请求接收单元，用于接收输入的待恢复深度图像的恢复请求，所述待恢复深度图像关联有对应的纹理图像；
图像预处理单元，用于对所述纹理图像和所述待恢复深度图像进行预处理，获取所述纹理图像和所述待恢复深度图像的高频信息；
对应输入单元，用于将所述纹理图像的高频信息、所述待恢复深度图像的高频信息和所述待恢复深度图像分别输入到预设的深度图像恢复模型的Y分支模型、D分支模型和M分支模型；以及
图像恢复单元，用于将所述Y分支模型、D分支模型恢复得到的特征图像输入到所述M分支模型，通过所述M分支模型恢复出所述待恢复深度图像对应的深度图像。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
模型构建单元，用于构建所述深度图像恢复模型；
所述模型构建单元包括：
第一构建单元，用于构建所述深度图像恢复模型的所述Y分支模型，所述的Y分支模型的卷积层为
第二构建单元，用于构建所述深度图像恢复模型的所述D分支模型，所述D分支模型的卷积层为以及
第三构建单元，用于构建所述深度图像恢复模型的所述M分支模型，所述M分支模型的卷积层为
所述所述所述“*”表示卷积操作，所述为滤波器，所述为偏置向量。
8.如权利要求6所述的装置，其特征在于，所述图像预处理单元包括：
第一处理单元，用于根据公式对所述纹理图像进行预处理，获取所述纹理图像的高频信息，其中，所述参数Y为所述纹理图像，所述h(Y)表示对所述纹理图像进行均值池化处理，所述abs()为取绝对值函数；以及
第二处理单元，用于根据公式对所述待恢复深度图像进行预处理，获取所述待恢复深度图像的高频信息，其中，所述参数D为所述待恢复深度图像，所述h(D)表示对所述待恢复深度图像进行均值池化处理。
9.一种深度图像的压缩恢复设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201710524546.0A 2017-06-30 2017-06-30 深度图像的压缩恢复方法、装置、设备及存储介质 Active CN107301662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710524546.0A CN107301662B (zh) 2017-06-30 2017-06-30 深度图像的压缩恢复方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710524546.0A CN107301662B (zh) 2017-06-30 2017-06-30 深度图像的压缩恢复方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN107301662A true CN107301662A (zh) 2017-10-27
CN107301662B CN107301662B (zh) 2020-09-08

Family

ID=60135428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710524546.0A Active CN107301662B (zh) 2017-06-30 2017-06-30 深度图像的压缩恢复方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN107301662B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288255A (zh) * 2018-01-26 2018-07-17 中国科学院广州生物医药与健康研究院 一种相位恢复方法、装置及***
CN108564546A (zh) * 2018-04-18 2018-09-21 厦门美图之家科技有限公司 模型训练方法、装置及拍照终端
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
WO2020063986A1 (zh) * 2018-09-30 2020-04-02 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN112368738A (zh) * 2020-05-18 2021-02-12 上海联影医疗科技股份有限公司 用于图像优化的***和方法
CN112437311A (zh) * 2020-11-23 2021-03-02 黄晓红 一种视频序列压缩编码方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120002863A1 (en) * 2010-07-02 2012-01-05 Samsung Electronics Co., Ltd. Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium
CN103581687A (zh) * 2013-09-11 2014-02-12 北京交通大学长三角研究院 一种基于压缩感知的自适应深度图像编码方法
EP2230855B1 (en) * 2009-03-17 2014-10-15 Mitsubishi Electric Corporation Synthesizing virtual images from texture and depth images
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2230855B1 (en) * 2009-03-17 2014-10-15 Mitsubishi Electric Corporation Synthesizing virtual images from texture and depth images
US20120002863A1 (en) * 2010-07-02 2012-01-05 Samsung Electronics Co., Ltd. Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium
CN103581687A (zh) * 2013-09-11 2014-02-12 北京交通大学长三角研究院 一种基于压缩感知的自适应深度图像编码方法
CN105447840A (zh) * 2015-12-09 2016-03-30 西安电子科技大学 基于主动采样与高斯过程回归的图像超分辨方法
CN106791927A (zh) * 2016-12-23 2017-05-31 福建帝视信息科技有限公司 一种基于深度学习的视频增强与传输方法
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DONG, C ET AL: "Compression artifacts reduction by a deep convolutional network", 《INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
TAK-WAI HUI ET AL: "Depth Map Super-Resolution by Deep Multi-Scale Guidance", 《ECCV 2016》 *
胡长胜等: "基于深度特征学习的图像超分辨率重建", 《自动化学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288255B (zh) * 2018-01-26 2022-02-18 中国科学院广州生物医药与健康研究院 一种相位恢复方法、装置及***
CN108288255A (zh) * 2018-01-26 2018-07-17 中国科学院广州生物医药与健康研究院 一种相位恢复方法、装置及***
CN108564546A (zh) * 2018-04-18 2018-09-21 厦门美图之家科技有限公司 模型训练方法、装置及拍照终端
CN108564546B (zh) * 2018-04-18 2020-08-04 厦门美图之家科技有限公司 模型训练方法、装置及拍照终端
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
US11928792B2 (en) 2018-07-17 2024-03-12 Xi'an Jiaotong University Fusion network-based method for image super-resolution and non-uniform motion deblurring
WO2020063986A1 (zh) * 2018-09-30 2020-04-02 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
US11978157B2 (en) 2018-09-30 2024-05-07 Shining 3D Tech Co., Ltd. Method and apparatus for generating three-dimensional model, device, and storage medium
CN113689342A (zh) * 2020-05-18 2021-11-23 上海联影医疗科技股份有限公司 一种图像质量优化的方法及***
WO2021233315A1 (zh) * 2020-05-18 2021-11-25 上海联影医疗科技股份有限公司 一种图像质量优化的方法及***
WO2021232195A1 (en) * 2020-05-18 2021-11-25 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image optimization
CN112368738B (zh) * 2020-05-18 2024-01-16 上海联影医疗科技股份有限公司 用于图像优化的***和方法
CN113689342B (zh) * 2020-05-18 2024-04-02 上海联影医疗科技股份有限公司 一种图像质量优化的方法及***
CN112368738A (zh) * 2020-05-18 2021-02-12 上海联影医疗科技股份有限公司 用于图像优化的***和方法
CN112437311A (zh) * 2020-11-23 2021-03-02 黄晓红 一种视频序列压缩编码方法及装置

Also Published As

Publication number Publication date
CN107301662B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN107301662A (zh) 深度图像的压缩恢复方法、装置、设备及存储介质
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
Li et al. An efficient deep convolutional neural networks model for compressed image deblocking
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
Xu et al. Structure-texture aware network for low-light image enhancement
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
KR20120039546A (ko) 콘트라스트 개선
CN111179189B (zh) 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN110322404B (zh) 一种图像增强方法及***
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理***
CN110796622A (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN111696033A (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
Chen et al. Image denoising via deep network based on edge enhancement
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其***
CN111754399A (zh) 基于梯度的保持几何结构的图像超分辨率方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
Jin et al. Post-processing for intra coding through perceptual adversarial learning and progressive refinement
CN110378860A (zh) 修复视频的方法、装置、计算机设备和存储介质
CN106412560A (zh) 一种基于深度图的立体图像生成方法
CN116385312A (zh) 基于相位相关的低照度图像去噪方法
CN105761210A (zh) 基于自适应冲击滤波的低分辨率图像放大方法及装置
Cai et al. Real-time super-resolution for real-world images on mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant