CN113709494B - 用于超分重建的图像解压缩方法及装置 - Google Patents

用于超分重建的图像解压缩方法及装置 Download PDF

Info

Publication number
CN113709494B
CN113709494B CN202110699794.5A CN202110699794A CN113709494B CN 113709494 B CN113709494 B CN 113709494B CN 202110699794 A CN202110699794 A CN 202110699794A CN 113709494 B CN113709494 B CN 113709494B
Authority
CN
China
Prior art keywords
image
decompressed
height
decompression
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110699794.5A
Other languages
English (en)
Other versions
CN113709494A (zh
Inventor
潘文培
宋松言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Allwinner Technology Co Ltd
Original Assignee
Allwinner Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Allwinner Technology Co Ltd filed Critical Allwinner Technology Co Ltd
Priority to CN202110699794.5A priority Critical patent/CN113709494B/zh
Publication of CN113709494A publication Critical patent/CN113709494A/zh
Application granted granted Critical
Publication of CN113709494B publication Critical patent/CN113709494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种用于超分重建的图像解压缩方法及装置，该方法包括：确定目标压缩图像的默认解压宏块高度；确定所述目标压缩图像对应的目标重建图像所对应的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述目标压缩图像的解压后图像中的同一像素行；根据所述像素交织信息，以及所述默认解压宏块高度，确定所述目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作。可见，本发明能够根据图像中的重建像素交织情况，在图像解压缩时调整解压宏块高度，以及对交织像素进行缓存，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。

Description

用于超分重建的图像解压缩方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于超分重建的图像解压缩方法及装置。
背景技术
为了实现更高画质的视频传输，业内常用的方法是结合图像超分辨率重建技术来减轻带宽和内存的压力，例如市面上常见的“假4K摄像机”，从摄像头获取低分辨率的图像，抑或是先对摄像头获取的高分辨率图像进行下采样以节省资源，仅在编码前，再进行图像超分辨率重建得到高分辨率的4K图像，最后对4K图像进行编码录像。同时，再结合图像压缩技术对过程中的低分辨率图像进行压缩，以实现最大化的节省带宽和内存的目的。
然而，对于视频编解码这类需要按块处理的场景而言，图像压缩与超分辨率重建难以实现在线运算，现有技术中，通常两模块都是独立的两个过程，先进行解压缩得到整幅图像，再进行超分辨率重建。也正是由于这样的原因，就无法达到图像压缩的目的，所以在芯片级的视频图像处理方案中，通常都不会同时级联的使用图像压缩与超分辨率重建。在视频编码这类需要按块输出的场景中，难以实现在线解压缩与超分辨率重建，原因如下：
在图像超分辨率重建过程中，对放大后的图像的每一像素，都需要根据放大倍率映射到原始图像中，得到对应的亚像素位置，再取该位置邻域的整数像素，插值计算得到该亚像素位置的像素值，作为超分辨率图像最终的像素值。
但对常用的压缩算法而言，压缩宏块间通常有关联性，即无法实现宏块的独立解码，任一宏块的解码都需要参考其领域信息。对这类场景而言，通常无法应用缩放技术。因为当出现像素交织时，相邻的图像块映射到相同的整数像素行中，此时由于上一个宏块的解码过程中已经包含了该亚像素行对应的整数像素，那么在计算下一个映射块的重建图像时，就需同时解码两个压缩宏块作为输入，这就意味着读取数据的带宽将增大一倍，运算量也增大一倍，这就与引入压缩期望达成的省带宽目标相违背。
现有技术针对这类交织问题，硬件设计中常见的做法是采用缓存器对交织数据进行缓存，但由于输入数据是以压缩宏块为单位，而交织情况是受到宏块大小以及缩放倍率所影响，使得缓存器的大小难以确定，最坏的情况下需要缓存所有像素行，这样的代价是硬件设计所无法接受。可见，现有技术中存在缺陷，亟待解决。
发明内容
本发明所要解决的技术问题在于，提供一种用于超分重建的图像解压缩方法及装置，能够根据图像中的重建像素交织情况，在图像解压缩时调整解压宏块高度，以及对交织像素进行缓存，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
为了解决上述技术问题，本发明第一方面公开了一种用于超分重建的图像解压缩方法，所述方法包括：
确定目标压缩图像的默认解压宏块高度；
确定所述目标压缩图像对应的目标重建图像所对应的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述目标压缩图像的解压后图像中的同一像素行；
根据所述像素交织信息，以及所述默认解压宏块高度，确定所述目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作；所述实时解压宏块高度在存在所述像素交织信息时低于所述默认解压宏块高度；所述像素行缓存操作用于在存在所述像素交织信息时对所述同一像素行进行缓存以待后续重建时调用。
作为一个可选的实施方式，在本发明第一方面中，所述确定目标压缩图像的默认解压宏块高度，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度；
以及，所述根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的解压宏块高度；
对所述解压宏块高度进行向上取整，得到目标压缩图像的默认解压宏块高度。
作为一个可选的实施方式，在本发明第一方面中，所述根据所述像素交织信息，以及所述默认解压宏块高度，确定所述目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作，包括：
对所述目标压缩图像执行解压操作，并判断所述目标重建图像中的当前解压对应图像块与上一解压对应图像块是否存在交织像素；
当判断结果为否时，将所述当前解压对应图像块对应的解压宏块高度确定为所述默认解压宏块高度；
当判断结果为是时，对所述交织像素进行缓存，并将所述当前解压对应图像块对应的解压宏块高度确定为所述默认解压宏块高度减去所述交织像素高度后的宏块高度；被缓存的所述交织像素用于在所述当前解压对应图像块进行超分重建时被调用。
作为一个可选的实施方式，在本发明第一方面中，所述交织像素为所述目标压缩图像的解压后图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
作为一个可选的实施方式，在本发明第一方面中，所述对所述交织像素进行缓存，包括：
使用线缓存器对所述交织像素进行缓存。
作为一个可选的实施方式，在本发明第一方面中，所述方法还包括：
获取解压所述目标压缩图像后得到的解压图像；
对所述解压图像进行超分重建以得到所述目标重建图像。
作为一个可选的实施方式，在本发明第一方面中，所述对所述解压图像进行超分重建以得到所述目标重建图像，包括：
对所述解压图像执行超分重建操作，并判断所述解压图像的当前重建宏块的宏块高度是否小于所述默认解压宏块高度；
若是，则调用对应的被缓存的所述交织像素，结合所述当前重建宏块中的像素进行超分重建。
本发明实施例第二方面公开了一种用于超分重建的图像解压缩装置，所述装置包括：
高度确定模块，用于确定目标压缩图像的默认解压宏块高度；
交织确定模块，用于确定所述目标压缩图像对应的目标重建图像所对应的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述目标压缩图像的解压后图像中的同一像素行；
操作确定模块，用于根据所述像素交织信息，以及所述默认解压宏块高度，确定所述目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作；所述实时解压宏块高度在存在所述像素交织信息时低于所述默认解压宏块高度；所述像素行缓存操作用于在存在所述像素交织信息时对所述同一像素行进行缓存以待后续重建时调用。
作为一个可选的实施方式，在本发明第二方面中，所述高度确定模块确定目标压缩图像的默认解压宏块高度的具体方式，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度；
以及，所述高度确定模块根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度的具体方式，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的解压宏块高度；
对所述解压宏块高度进行向上取整，得到目标压缩图像的默认解压宏块高度。
作为一个可选的实施方式，在本发明第二方面中，所述操作确定模块，包括：
执行判断单元，用于对所述目标压缩图像执行解压操作，并判断所述目标重建图像中的当前解压对应图像块与上一解压对应图像块是否存在交织像素；
第一确定单元，用于当判断结果为否时，将所述当前解压对应图像块对应的解压宏块高度确定为所述默认解压宏块高度；
第二确定单元，用于当判断结果为是时，对所述交织像素进行缓存，并将所述当前解压对应图像块对应的解压宏块高度确定为所述默认解压宏块高度减去所述交织像素高度后的宏块高度；被缓存的所述交织像素用于在所述当前解压对应图像块进行超分重建时被调用。
作为一个可选的实施方式，在本发明第二方面中，所述交织像素为所述目标压缩图像的解压后图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
作为一个可选的实施方式，在本发明第二方面中，所述第二确定单元对所述交织像素进行缓存的具体方式，包括：
使用线缓存器对所述交织像素进行缓存。
作为一个可选的实施方式，在本发明第二方面中，所述装置还包括：
获取模块，用于获取解压所述目标压缩图像后得到的解压图像；
重建模块，用于对所述解压图像进行超分重建以得到所述目标重建图像。
作为一个可选的实施方式，在本发明第二方面中，所述重建模块对所述解压图像进行超分重建以得到所述目标重建图像的具体方式，包括：
对所述解压图像执行超分重建操作，并判断所述解压图像的当前重建宏块的宏块高度是否小于所述默认解压宏块高度；
若是，则调用对应的被缓存的所述交织像素，结合所述当前重建宏块中的像素进行超分重建。
本发明第三方面公开了另一种用于超分重建的图像解压缩装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的用于超分重建的图像解压缩方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的用于超分重建的图像解压缩方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，公开了一种用于超分重建的图像解压缩方法及装置，该方法包括：原图像中确定目标插值点坐标对应的原点坐标，确定出所述原点坐标的基准部分坐标；对所述基准部分坐标所对应的原图像素点进行方向检测，得到所述基准部分坐标对应的边缘方向；根据所述基准部分坐标对应的边缘方向，确定所述目标插值点的采样窗口；根据所述目标插值点的采样窗口，从所述原图像中确定所述目标插值点的采样点集合。可见，本发明实施例能够根据图像中的重建像素交织情况，在图像解压缩时调整解压宏块高度，以及对交织像素进行缓存，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种用于超分重建的图像解压缩方法的流程示意图。
图2是本发明实施例公开的另一种用于超分重建的图像解压缩方法的流程示意图。
图3是本发明实施例公开的一种用于超分重建的图像解压缩装置的结构示意图。
图4是本发明实施例公开的另一种用于超分重建的图像解压缩装置的结构示意图。
图5是本发明实施例公开的又一种用于超分重建的图像解压缩装置的结构示意图。
图6是本发明实施例公开的一种图像重建中存在像素交织的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
首先，在进一步阐述本发明公开的实施例前，先对本发明中所涉及的，重建中存在的像素交织这一技术细节进行解释，参照图6，在一个具体的技术场景中，需要最终输出宏块大小为16x16的目标重建图像，假设缩放倍率为1.25倍，则其映射的重建基础图像的宏块高度实际为12.8，其中，重建基础图像也即目标压缩图像解压后的图像。由图6可见，目标重建图像中的图像块1和图像块2在映射到重建基础图像中的映射块1和映射块2时，映射块1和映射块2存在部分映射的像素是同时处于重建基础图像的标号为13的这一亚像素行内的，此时由于映射块1的解码过程中已经包含了该亚像素行对应的整数像素，那么在计算映射块2的重建图像时，就需同时解码两个压缩图像宏块(也即映射块1和映射块2分别对应的目标压缩图像中的图像块)作为输入，这就意味着读取数据的带宽将增大一倍，运算量也增大一倍，存在问题。
正是为了解决上述问题，本发明公开了一种用于超分重建的图像解压缩方法及装置，能够根据图像中的重建像素交织情况，在图像解压缩时调整解压宏块高度，以及对交织像素进行缓存，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种用于超分重建的图像解压缩方法的流程示意图。其中，图1所描述的用于超分重建的图像解压缩方法应用于图像处理***/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图1所示，该用于超分重建的图像解压缩方法可以包括以下操作：
101、确定目标压缩图像的默认解压宏块高度。
本发明实施例中，默认解压宏块高度可以为目标压缩图像对应的初始解压宏块高度，其可以为人工设定的初始参数，也可以为实时根据解压需求进行计算得到的参数。
102、确定目标压缩图像对应的目标重建图像所对应的像素交织信息。
本发明实施例中，像素交织信息用于指示目标重建图像中存在至少两个图像块的重建像素映射于目标压缩图像的解压后图像中的同一像素行。由上面的表述可知，这类像素交织信息会使得超分重建的解压缩过程存在带宽成本高，效率慢的问题，因此需要执行相应的解决措施。
103、根据像素交织信息，以及默认解压宏块高度，确定目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作。
本发明实施例中，实时解压宏块高度在存在像素交织信息时低于默认解压宏块高度，通过这样操作，在存在像素交织信息时，意味着相邻宏块间存在着交织的像素，从而将实时解压宏块高度进行降低，以忽略掉交织的像素，有利于后续重建时不必像现有技术一样，被交织像素所引导进行二次解压。
可选的，像素行缓存操作用于在存在像素交织信息时对同一像素行进行缓存以待后续重建时调用。通过这样设置，被缓存的像素可以在需要时进行调用，相对于现有技术中在不确定交织大小的情况下采用缓存器对交织数据进行缓存的做法，本实施例中的做法显然更加经济实用，成本更低且效率更高。
可见，上述发明实施例能够根据图像中的重建像素交织情况，在图像解压缩时调整解压宏块高度，以及对交织像素进行缓存，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，步骤101中的，确定目标压缩图像的默认解压宏块高度，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度。
例如，可以参见图6，需要最终输出宏块大小为16x16的目标重建图像，假设缩放倍率为1.25倍，则其映射的重建基础图像的宏块高度实际为12.8，其中，重建基础图像也即目标压缩图像解压后的图像。
可见，通过该可选的实施方式，可以根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度，从而使得确定出的默认解压宏块高度更加准确，进而使得最终确定出的实时解压宏块高度和像素行缓存操作可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，上述步骤中的，根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的解压宏块高度；
对解压宏块高度进行向上取整，得到目标压缩图像的默认解压宏块高度。
例如，可以参见图6，需要最终输出宏块大小为16x16的目标重建图像，假设缩放倍率为1.25倍，则其映射的目标压缩图像解压后的图像的宏块高度实际为12.8，由于压缩的宏块高度为整数，所以向上取整为13。
可见，通过该可选的实施方式，可以对解压宏块高度进行向上取整，得到目标压缩图像的默认解压宏块高度，从而使得确定出的默认解压宏块高度更加准确，进而使得最终确定出的实时解压宏块高度和像素行缓存操作可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，上述步骤103中的，根据像素交织信息，以及默认解压宏块高度，确定目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作，包括：
对目标压缩图像执行解压操作，并判断目标重建图像中的当前解压对应图像块与上一解压对应图像块是否存在交织像素；
当判断结果为否时，将当前解压对应图像块对应的解压宏块高度确定为默认解压宏块高度；
当判断结果为是时，对交织像素进行缓存，并将当前解压对应图像块对应的解压宏块高度确定为默认解压宏块高度减去交织像素高度后的宏块高度，其中，被缓存的交织像素用于在当前解压对应图像块进行超分重建时被调用。
本发明实施例中，上一解压对应图像块为重建顺序中处于当前解压对应图像块前一顺位的解压对应图像块。
本发明实施例中，交织像素为所述目标压缩图像的解压后图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
可见，通过该可选的实施方式，可以在判断到目标重建图像中的当前解压对应图像块与上一解压对应图像块存在交织像素时，对交织像素进行缓存，并将当前解压对应图像块对应的解压宏块高度确定为默认解压宏块高度减去交织像素高度后的宏块高度，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一种可选的实施方式，上述步骤中的，对交织像素进行缓存，包括：
使用线缓存器对交织像素进行缓存。
下面结合图6示出的像素交织情况对本实施例公开的方法进行一种具体实施方案的阐述，具体的，如图6所示，输出图像按块的顺序进行输出，假设块大小为16x16，假设缩放倍率为1.25倍，则其映射块的高度实际为12.8。由于压缩的宏块高度只能为整数，所以向上取整为13。
本方案从图像压缩端进行改进，将解压缩算法设计为宏块高度可变，根据宏块交织情况进行宏块高度自适应调整，并执行以下步骤：
1、根据输出图像块的高度，以及缩放倍率，计算出映射到原图对应的图像块高度，假设该高度即为解压缩模块的第一宏块高度H0，即H0＝13；
2、若当前图像块与其竖直下方相邻的图像块发生交织，则下方图像块的解压缩宏块高度采用第二宏块高度H1(H1＝H0-1)，此处即为12；否则，仍采用第一宏块高度13。
3、当发生交织时，采用线缓存器对交织行对应的所有像素进行缓存，以供下一图像行块使用。虽然下一图像块的宏块高度减小了，但由于线缓存器中缓存了等额的像素，所以可保证下一图像块中的所有像素均可满足插值运算的需求。
实施例二
请参阅图2，图2是本发明实施例公开的另一种用于超分重建的图像解压缩方法的流程示意图。其中，图2所描述的用于超分重建的图像解压缩方法应用于图像处理***/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图2所示，该用于超分重建的图像解压缩方法可以包括以下操作：
201、确定目标压缩图像的默认解压宏块高度。
202、确定目标压缩图像对应的目标重建图像所对应的像素交织信息。
203、根据像素交织信息，以及默认解压宏块高度，确定目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作。
本发明实施例中，针对步骤201-203的相关描述请参照实施例一中针对步骤101-步骤103的详细描述，本发明实施例不再赘述。
204、获取解压目标压缩图像后得到的解压图像。
205、对解压图像进行超分重建以得到目标重建图像。
本发明实施例，超分重建即指超分辨率重建，具体的，可以使用神经网络算法来实现，本发明对此不做限定。
可见，上述发明实施例能够获取基于实时解压宏块高度和像素行缓存操作解压目标压缩图像后得到的解压图像，对解压图像进行超分重建以得到目标重建图像，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
在一个可选的实施方式中，上述步骤205中的，对解压图像进行超分重建以得到目标重建图像，包括：
对解压图像执行超分重建操作，并判断解压图像的当前重建宏块的宏块高度是否小于默认解压宏块高度；
若是，则调用对应的被缓存的交织像素，结合当前重建宏块中的像素进行超分重建。
可见，通过该可选的实施方式，可以在判断到解压图像的当前重建宏块的宏块高度小于默认解压宏块高度时，调用对应的被缓存的交织像素，结合当前重建宏块中的像素进行超分重建，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
实施例三
请参阅图3，图3是本发明实施例公开的一种用于超分重建的图像解压缩装置的结构示意图。其中，图3所描述的用于超分重建的图像解压缩装置应用于图像处理***/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图3所示，该用于超分重建的图像解压缩装置可以包括：
高度确定模块301，用于确定目标压缩图像的默认解压宏块高度。
本发明实施例中，默认解压宏块高度可以为目标压缩图像对应的初始解压宏块高度，其可以为人工设定的初始参数，也可以为实时根据解压需求进行计算得到的参数。
交织确定模块302，用于确定目标压缩图像对应的目标重建图像所对应的像素交织信息。
本发明实施例中，像素交织信息用于指示目标重建图像中存在至少两个图像块的重建像素映射于目标压缩图像的解压后图像中的同一像素行。由上面的表述可知，这类像素交织信息会使得超分重建的解压缩过程存在带宽成本高，效率慢的问题，因此需要执行相应的解决措施。
操作确定模块303，用于根据像素交织信息，以及默认解压宏块高度，确定目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作。
本发明实施例中，实时解压宏块高度在存在像素交织信息时低于默认解压宏块高度，通过这样操作，在存在像素交织信息时，意味着相邻宏块间存在着交织的像素，从而将实时解压宏块高度进行降低，以忽略掉交织的像素，有利于后续重建时不必像现有技术一样，被交织像素所引导进行二次解压。
可选的，像素行缓存操作用于在存在像素交织信息时对同一像素行进行缓存以待后续重建时调用。通过这样设置，被缓存的像素可以在需要时进行调用，相对于现有技术中在不确定交织大小的情况下采用缓存器对交织数据进行缓存的做法，本实施例中的做法显然更加经济实用，成本更低且效率更高。
可见，上述发明实施例能够根据图像中的重建像素交织情况，在图像解压缩时调整解压宏块高度，以及对交织像素进行缓存，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，高度确定模块301确定目标压缩图像的默认解压宏块高度的具体方式，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度。
例如，可以参见图6，需要最终输出宏块大小为16x16的目标重建图像，假设缩放倍率为1.25倍，则其映射的重建基础图像的宏块高度实际为12.8，其中，重建基础图像也即目标压缩图像解压后的图像。
可见，通过该可选的实施方式，可以根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度，从而使得确定出的默认解压宏块高度更加准确，进而使得最终确定出的实时解压宏块高度和像素行缓存操作可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，高度确定模块301根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度的具体方式，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的解压宏块高度；
对解压宏块高度进行向上取整，得到目标压缩图像的默认解压宏块高度。
例如，可以参见图6，需要最终输出宏块大小为16x16的目标重建图像，假设缩放倍率为1.25倍，则其映射的目标压缩图像解压后的图像的宏块高度实际为12.8，由于压缩的宏块高度为整数，所以向上取整为13。
可见，通过该可选的实施方式，可以对解压宏块高度进行向上取整，得到目标压缩图像的默认解压宏块高度，从而使得确定出的默认解压宏块高度更加准确，进而使得最终确定出的实时解压宏块高度和像素行缓存操作可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，如图4所示，操作确定模块303包括：
执行判断单元3031，用于对目标压缩图像执行解压操作，并判断目标重建图像中的当前解压对应图像块与上一解压对应图像块是否存在交织像素；
第一确定单元3032，用于当判断结果为否时，将当前解压对应图像块对应的解压宏块高度确定为默认解压宏块高度；
第二确定单元3033，用于当判断结果为是时，对交织像素进行缓存，并将当前解压对应图像块对应的解压宏块高度确定为默认解压宏块高度减去交织像素高度后的宏块高度；被缓存的交织像素用于在当前解压对应图像块进行超分重建时被调用。
本发明实施例中，上一解压对应图像块为重建顺序中处于当前解压对应图像块前一顺位的解压对应图像块。
本发明实施例中，交织像素为所述目标压缩图像的解压后图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
可见，通过该可选的实施方式，可以在判断到目标重建图像中的当前解压对应图像块与上一解压对应图像块存在交织像素时，对交织像素进行缓存，并将当前解压对应图像块对应的解压宏块高度确定为默认解压宏块高度减去交织像素高度后的宏块高度，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，第二确定单元3033对交织像素进行缓存的具体方式，包括：
使用线缓存器对交织像素进行缓存。
作为一个可选的实施方式，如图4所示，该装置还包括：
获取模块304，用于获取解压目标压缩图像后得到的解压图像；
重建模块305，用于对解压图像进行超分重建以得到目标重建图像。
本发明实施例，超分重建即指超分辨率重建，具体的，可以使用神经网络算法来实现，本发明对此不做限定。
可见，上述发明实施例能够获取基于实时解压宏块高度和像素行缓存操作解压目标压缩图像后得到的解压图像，对解压图像进行超分重建以得到目标重建图像，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
作为一个可选的实施方式，在本发明第二方面中，重建模块305对解压图像进行超分重建以得到目标重建图像的具体方式，包括：
对解压图像执行超分重建操作，并判断解压图像的当前重建宏块的宏块高度是否小于默认解压宏块高度；
若是，则调用对应的被缓存的交织像素，结合当前重建宏块中的像素进行超分重建。
可见，通过该可选的实施方式，可以在判断到解压图像的当前重建宏块的宏块高度小于默认解压宏块高度时，调用对应的被缓存的交织像素，结合当前重建宏块中的像素进行超分重建，从而可以有效降低最终进行超分重建时的数据读取带宽要求和运算量，进而可以使得在线的图像解压和超分重建可以实现。
实施例四
请参阅图5，图5是本发明实施例公开的又一种用于超分重建的图像解压缩装置。图5所描述的用于超分重建的图像解压缩装置应用于图像处理***/图像处理设备/图像处理服务器(其中，该图像处理服务器包括本地图像处理服务器或云图像处理服务器)中。如图5所示，该用于超分重建的图像解压缩装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
其中，处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的用于超分重建的图像解压缩方法的步骤。
实施例五
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的用于超分重建的图像解压缩方法的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的用于超分重建的图像解压缩方法的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-OnlyMemory，ROM)、随机存储器(RandomAccessMemory，RAM)、可编程只读存储器(ProgrammableRead-onlyMemory，PROM)、可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory，EPROM)、一次可编程只读存储器(One-timeProgrammableRead-OnlyMemory，OTPROM)、电子抹除式可复写只读存储器(Electrically-ErasableProgrammableRead-OnlyMemory，EEPROM)、只读光盘(CompactDiscRead-OnlyMemory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种用于超分重建的图像解压缩方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种用于超分重建的图像解压缩方法，其特征在于，所述方法包括：
确定目标压缩图像的默认解压宏块高度；
确定所述目标压缩图像对应的目标重建图像所对应的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述目标压缩图像的解压后图像中的同一像素行；
根据所述像素交织信息，以及所述默认解压宏块高度，确定所述目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作；所述实时解压宏块高度在存在所述像素交织信息时低于所述默认解压宏块高度；所述像素行缓存操作用于在存在所述像素交织信息时对所述同一像素行进行缓存以待后续重建时调用。
2.根据权利要求1所述的用于超分重建的图像解压缩方法，其特征在于，所述确定目标压缩图像的默认解压宏块高度，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度；
以及，所述根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的目标压缩图像的默认解压宏块高度，包括：
根据目标重建图像的尺寸，以及图像缩放倍率，确定对应的解压宏块高度；
对所述解压宏块高度进行向上取整，得到目标压缩图像的默认解压宏块高度。
3.根据权利要求2所述的用于超分重建的图像解压缩方法，其特征在于，所述根据所述像素交织信息，以及所述默认解压宏块高度，确定所述目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作，包括：
对所述目标压缩图像执行解压操作，并判断所述目标重建图像中的当前解压对应图像块与上一解压对应图像块是否存在交织像素；
当判断结果为否时，将所述当前解压对应图像块对应的解压宏块高度确定为所述默认解压宏块高度；
当判断结果为是时，对所述交织像素进行缓存，并将所述当前解压对应图像块对应的解压宏块高度确定为所述默认解压宏块高度减去所述交织像素高度后的宏块高度；被缓存的所述交织像素用于在所述当前解压对应图像块进行超分重建时被调用。
4.根据权利要求3所述的用于超分重建的图像解压缩方法，其特征在于，所述交织像素为所述目标压缩图像的解压后图像中存在的，在进行超分辨率重建时，同时映射于所述当前解压对应图像块与所述上一解压对应图像块的像素行。
5.根据权利要求3所述的用于超分重建的图像解压缩方法，其特征在于，所述对所述交织像素进行缓存，包括：
使用线缓存器对所述交织像素进行缓存。
6.根据权利要求3所述的用于超分重建的图像解压缩方法，其特征在于，所述方法还包括：
获取解压所述目标压缩图像后得到的解压图像；
对所述解压图像进行超分重建以得到所述目标重建图像。
7.根据权利要求6所述的用于超分重建的图像解压缩方法，其特征在于，所述对所述解压图像进行超分重建以得到所述目标重建图像，包括：
对所述解压图像执行超分重建操作，并判断所述解压图像的当前重建宏块的宏块高度是否小于所述默认解压宏块高度；
若是，则调用对应的被缓存的所述交织像素，结合所述当前重建宏块中的像素进行超分重建。
8.一种用于超分重建的图像解压缩装置，其特征在于，所述装置包括：
高度确定模块，用于确定目标压缩图像的默认解压宏块高度；
交织确定模块，用于确定所述目标压缩图像对应的目标重建图像所对应的像素交织信息；所述像素交织信息用于指示所述目标重建图像中存在至少两个图像块的重建像素映射于所述目标压缩图像的解压后图像中的同一像素行；
操作确定模块，用于根据所述像素交织信息，以及所述默认解压宏块高度，确定所述目标压缩图像在解压时的实时解压宏块高度和像素行缓存操作；所述实时解压宏块高度在存在所述像素交织信息时低于所述默认解压宏块高度；所述像素行缓存操作用于在存在所述像素交织信息时对所述同一像素行进行缓存以待后续重建时调用。
9.一种用于超分重建的图像解压缩装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的用于超分重建的图像解压缩方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的用于超分重建的图像解压缩方法。
CN202110699794.5A 2021-06-23 2021-06-23 用于超分重建的图像解压缩方法及装置 Active CN113709494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110699794.5A CN113709494B (zh) 2021-06-23 2021-06-23 用于超分重建的图像解压缩方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110699794.5A CN113709494B (zh) 2021-06-23 2021-06-23 用于超分重建的图像解压缩方法及装置

Publications (2)

Publication Number Publication Date
CN113709494A CN113709494A (zh) 2021-11-26
CN113709494B true CN113709494B (zh) 2024-04-09

Family

ID=78648186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110699794.5A Active CN113709494B (zh) 2021-06-23 2021-06-23 用于超分重建的图像解压缩方法及装置

Country Status (1)

Country Link
CN (1) CN113709494B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071049B (zh) * 2022-01-13 2022-05-10 广州匠芯创科技有限公司 图像缩放方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321288A (zh) * 2008-05-27 2008-12-10 华为技术有限公司 参考数据载入方法、装置及视频编码器
US8872856B1 (en) * 2008-08-14 2014-10-28 Zenverge, Inc. Macroblock based scaling of images using reduced memory bandwidth
CN104869381A (zh) * 2014-02-25 2015-08-26 炬芯（珠海）科技有限公司 一种图像处理***、方法及装置
CN108171662A (zh) * 2017-12-18 2018-06-15 珠海全志科技股份有限公司 读取图像压缩数据的方法及包含该方法的反畸变方法
CN110944110A (zh) * 2018-09-21 2020-03-31 三星电子株式会社 图像信号处理器、其操作方法以及应用处理器
CN111598779A (zh) * 2020-05-14 2020-08-28 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备及存储介质
CN112801852A (zh) * 2015-01-22 2021-05-14 谷歌有限责任公司 用于图像信号处理器的虚拟行缓冲区

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094406A1 (en) * 2004-08-11 2008-04-24 Koninklijke Philips Electronics, N.V. Stripe-Based Image Data Storage
US7595805B2 (en) * 2006-04-11 2009-09-29 Qualcomm Incorporated Techniques to facilitate use of small line buffers for processing of small or large images
JP2015053644A (ja) * 2013-09-09 2015-03-19 オリンパス株式会社 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321288A (zh) * 2008-05-27 2008-12-10 华为技术有限公司 参考数据载入方法、装置及视频编码器
US8872856B1 (en) * 2008-08-14 2014-10-28 Zenverge, Inc. Macroblock based scaling of images using reduced memory bandwidth
CN104869381A (zh) * 2014-02-25 2015-08-26 炬芯（珠海）科技有限公司 一种图像处理***、方法及装置
CN112801852A (zh) * 2015-01-22 2021-05-14 谷歌有限责任公司 用于图像信号处理器的虚拟行缓冲区
CN108171662A (zh) * 2017-12-18 2018-06-15 珠海全志科技股份有限公司 读取图像压缩数据的方法及包含该方法的反畸变方法
CN110944110A (zh) * 2018-09-21 2020-03-31 三星电子株式会社 图像信号处理器、其操作方法以及应用处理器
CN111598779A (zh) * 2020-05-14 2020-08-28 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hierarchical dense recursive network for image super-resolution;Kui Jiang;Pattern Recognition;全文 *
视频解码与图像超分辨率重建研究;伊力亚尔・吐尔逊;;电视技术(02);全文 *
超分辨率重建算法综述;李欣;电视技术;全文 *

Also Published As

Publication number Publication date
CN113709494A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
US10542276B2 (en) Data caching method and apparatus for video decoder
KR100242880B1 (ko) 분할된 영역의 윤곽추적장치
US8787460B1 (en) Method and apparatus for motion vector estimation for an image sequence
US11922599B2 (en) Video super-resolution processing method and apparatus
JPH11243543A (ja) 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置
CN102903076A (zh) 数字图像可逆水印嵌入方法及其提取方法
CN113709494B (zh) 用于超分重建的图像解压缩方法及装置
GB2560548A (en) Video data processing system
CN110913219A (zh) 一种视频帧预测方法、装置及终端设备
JP4340532B2 (ja) 誤り隠蔽方法及び装置
CN110689498B (zh) 一种基于对非关注点部分分级模糊的高清视频优化方法
CN113411581B (zh) 视频序列的运动补偿方法、***、存储介质及终端
US20120147023A1 (en) Caching apparatus and method for video motion estimation and compensation
CN112669328B (zh) 一种医学图像分割方法
CN112449182A (zh) 视频编码方法、装置、设备及存储介质
KR19980085643A (ko) 주위 화소값의 적응 임계치를 이용한 이진 영상 보간 방법
CN116233453B (zh) 一种视频编码方法及装置
CN110572713B (zh) 一种自适应视频宽高比的转码方法及处理终端
JP3322233B2 (ja) 動画像伸長方法及びそれを実行するプログラムを記録した記録媒体
CN116489368A (zh) 影像动态压缩方法及影像动态压缩装置
US20150098512A1 (en) Image processing apparatus and method thereof
CN114727116A (zh) 编码方法及装置
CN113538237A (zh) 一种图像拼接***、方法及电子设备
CN113852816A (zh) 视频帧处理方法、装置、计算机设备和可读存储介质
Sun et al. Reduced-reference image quality assessment through SIFT intensity ratio

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant