CN110322904B - 压缩图像信息读取控制方法及装置 - Google Patents

Abstract

一种压缩图像信息读取控制方法及装置。本发明根据图像操作需求获取相应的头信息，将其写入缓存中的相应地址，由此，在解压缩过程中，本发明能够根据解压缩过程中所需要的头信息，将其直接从缓存中输出，避免了对总线的调用和由于总线读操作带来的延时，提高了对图像进行解压的效率。本发明通过在解压缩器之外增加缓存的方式，通过新的读取控制逻辑来预取和缓存部分头信息，有效降低了头信息的读取次数，降低了解压缩器从发出头信息请求到压缩视频数据返回的延时。

Description

压缩图像信息读取控制方法及装置

技术领域

本发明涉及显示技术领域，具体而言涉及一种压缩图像信息读取控制方法及装置。

背景技术

目前视频显示技术已经从标清，高清(HD)向超高清(4K,uHD)方向发展，单个像素单个色彩分量的比特数也从传统8比特增加到10比特甚至12比特。对于多媒体SOC而言，视频分辨率和像素比特数的提升带来一些副作用，比如视频数据的存储需要更多的内存空间，数据读取和写入内存需要消耗更多的内存带宽。并且，由于每个像素的数据可能非字节对齐，如何对其进行有效存储成为一个问题。针对这些情况，越来越多的场景下需要将视频数据进行压缩和解压处理。

视频数据的压缩一般基于视频数据块(video tile)实现。视频数据块是视频图像帧中的某一区域范围内的图像数据，每个视频数据块压缩后会有一些额外的信息需要保存，比如这个视频数据块压缩之后的实际大小，一般称这个额外信息为压缩数据的头信息。

视频解压缩模块一般位于显示流水线的最前级。在进行视频数据解压缩的时候，需要先读取某个压缩块对应的头信息，获得此块对应的信息后，才能够正确读取并解压此块所对应的压缩数据。一般，头信息按照块的从左到右，从上到下的扫描顺序存放。而且为了提升头信息的读取效率，视频解压缩模块内部一般会存在头信息的cache，用于缓冲即将使用的头信息。

但现有的缓存方式在视频图像需要旋转时会出现效率低下的问题。水平/垂直flip等后处理操作，如果不采取额外的头信息处理方式，而始终按照从左至右从上至下的顺序缓存头信息的话，会造成解压缩模块中需要使用的头信息cache频繁发生miss，需要经常反复缓存不同位置的头信息，造成压缩数据头信息读取效率的下降和压缩数据读取延时的增加。

发明内容

本发明针对现有技术的不足，提供一种压缩图像信息读取控制方法及装置，本发明通过预存特定的头信息，能够提升压缩图像的读取、显示效率。本发明具体采用如下技术方案。

首先，为实现上述目的，提出一种压缩图像信息读取控制方法，其步骤包括：根据图像操作需求请求并读回头信息；计算所述头信息的缓存写入地址，将所述头信息写入缓存中的相应地址；根据解压缩过程中对头信息的读取请求，输出缓存中相应的头信息以对图像解压。

可选的，上述压缩图像信息读取控制方法，其中，所述缓存中包括有两个或以上存储单元；其中任意存储单元写入头信息的过程中，其他存储单元输出头信息，各存储单元的写入与输出交替进行。

可选的，上述压缩图像信息读取控制方法，其中，每一个存储单元中存储M个头信息。

可选的，上述压缩图像信息读取控制方法，其中，所述缓存中所述各头信息的缓存写入地址根据对所述图像进行旋转、转置或反转时需要读取的数据块的顺序而确定。

同时，为实现上述目的，本发明还提供一种压缩图像信息读取控制装置，设置在压缩图像的存储装置以及其解压缩器之间，其包括：压缩数据头信息读取控制器，用于根据图像操作需求向所述压缩图像的存储装置请求头信息并读回相应的M个头信息；头信息缓存读写控制器，用于计算所述头信息的缓存写入地址，将所述头信息写入缓存中的相应地址；所述缓存包括至少一个存储单元；头信息缓存接口即解压缩模块接口，用于根据解压缩过程中对头信息的读取请求，输出缓存中相应的头信息以供所述解压缩器对图像解压。

可选的，上述压缩图像信息读取控制装置，其中，所述缓存中的存储单元包括有两个；其中一个存储单元写入头信息的过程中，另一个存储单元输出头信息，两个存储单元的写入与输出交替进行。

可选的，上述压缩图像信息读取控制装置，其中，所述解压缩器解压缩过程中对头信息的读取请求由所述压缩数据头信息读取控制器响应，所述压缩数据头信息读取控制器根据该读取请求不经过总线而直接对所所压缩图像的存储装置请求头信息。

可选的，上述压缩图像信息读取控制装置，其中，若所述存储单元中存储的头信息不包括解压器所需的头信息，则所述压缩数据头信息读取控制器重新根据图像操作需求重新向所述压缩图像的存储装置请求头信息并读回相应的M个头信息。

有益效果

本发明，其根据图像操作需求获取相应的头信息，将其写入缓存中的相应地址，由此，在解压缩过程中，本发明能够根据解压缩过程中所需要的头信息，将其直接从缓存中输出，避免了对总线的调用和由于总线读操作带来的延时，提高了对图像进行解压的效率。本发明通过在解压缩器之外增加缓存的方式，通过新的读取控制逻辑来预取和缓存部分头信息，有效降低了头信息的读取次数，降低了解压缩器从发出头信息请求到压缩视频数据返回的延时。

尤其，本发明设置上述缓存具有两个相互独立交替存取的存储单元，在一个存储单元存头信息的时段内，同步的利用另一个存储单元输出解压所需的头信息。这样可以进一步提高本发明的工作效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的压缩图像信息读取控制方法流程示意图；

图2是本发明的压缩图像信息读取控制装置的框图；

图3是本发明一种实现方式下缓存内数据的示意图。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本发明中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

图1为根据本发明的一种压缩图像信息读取控制方法的流程图，其用于图2所示的压缩图像信息读取控制装置。该转置设置在压缩图像的存储装置以及其解压缩器之间，用于视频源是压缩数据且需要旋转操作的场景，能够提升读取效率和降低读取延时。

具体而言，本发明主要是通过在视频的解压缩器外部增加缓存的方式，针对该缓存利用新的读取控制逻辑来预取和缓存部分头信息，以降低头信息从压缩图像的存储装置中读取的次数，降低了解压缩器从发出头信息请求到压缩视频数据返回之间的延时。

在一种实现方式下，可利用上述转置代替现有的总线，而直接由压缩数据头信息读取控制器响应对所述压缩图像的存储装置头信息的请求，该读取请求不经过总线，但能够通过压缩数据头信息读取控制器直接获取所需的头信息，避免总线上往返信息的延时。

工作过程中：

首先，由压缩数据头信息读取控制器，根据图像操作需求向所述压缩图像的存储装置请求头信息并读回相应的M个头信息；

然后，头信息缓存读写控制器，计算所述头信息的缓存写入地址，将所述头信息写入缓存中的相应地址；所述缓存包括至少一个存储单元；

最后，由头信息缓存接口即解压缩模块接口，根据解压缩过程中对头信息的读取请求，输出缓存中相应的头信息以供所述解压缩器对图像解压。

上述的缓存中，以两个存储单元为例，存储单元还可设置为多个。其中一个存储单元写入头信息的过程中，另一个存储单元输出头信息，两个存储单元的写入与输出交替进行。其中，每一个存储单元中可存储M个头信息，每一个存储单元中所存储的头信息数据量可设置为小于用于输出头信息的总线的带宽。缓存中所述各头信息的缓存写入地址根据对所述图像进行旋转、转置或反转时需要读取的数据块的顺序而确定。

在一种应用场景下，利用上述方案针对压缩视频数据在旋转操作时的头信息预取的具体步骤为：

步骤S1，由压缩数据头信息读取控制器发出头信息读取的请求，替代原先对头信息的请求流程。

原有的头信息读取流程是，视频解压缩模块根据接收到的视频压缩块的偏移地址请求信息(video tile offset)，即需要的头信息的编号，产生相应的头信息读取地址，头信息从外部存储器读回之后，根据头信息包含的信息，再产生相应的视频压缩块的读取地址和读取长度，视频压缩块从外部存储器读取之后送到视频解压缩模块，完成后续解压缩的步骤。

采用新的头信息读取逻辑之后，原有的视频解压缩器中的头信息读取请求不会被发送到总线上(但是能够通过缓存的方式保证其能够在s4中会被使用)。新的读取控制器只需要根据视频图像的读取范围、图像是否需要旋转、图像是否需要水平/垂直方向flip操作等需求，不需要等待解压缩视频压缩块的偏移地址，即不需要等待对解压所需的头信息的请求，就可以预先读取计算出需要的头信息，进行请求。

步骤S2，头信息数据读回及相关缓存控制信息产生。

头信息从内存读取之后，需要根据头信息对应的视频压缩块所在的位置和相应的视频图像操作需求，将头信息存储在内部缓存的合适位置上。为此需要对于压缩数据头信息读取控制器所读回的头信息产生对应的缓存控制信息。相关的缓存控制信息包括缓存写入地址，缓存存储位选择等。

步骤S3，头信息的缓存。

为了提高内部缓存的使用效率，硬件设计中通常采用乒乓缓存的方式，当某块缓存在写入的时候，另一块缓存可以读出。

头信息的缓存大大减少了头信息的读取次数。假设头信息缓存的宽度为单个块头信息比特数xM(即一个缓存中的存储单元可以存储M个头信息，此宽度通常小于数据总线的宽度)。在不采用本发明的方案的时候，极端情况下，如果头信息的存储器cache每次都发生miss，即，其每次所读回的头信息都不是解压所需要的数据，这意味着每次压缩块都要重新读取相应的头信息。也就是说，这种情况下头信息读取的次数等同于总的压缩块的数目。

而采用本发明方案的情况下，由于每次读取某个头信息的时候同时可以缓存下M个后续会被使用的压缩块对应的头信息，那么头信息读取的次数只需要原有方案的1/M。若所述存储单元中存储的头信息不包括解压器所需的头信息，则所述压缩数据头信息读取控制器重新根据图像操作需求重新向所述压缩图像的存储装置请求头信息并读回相应的M个头信息。即使考虑缓存的每M个压缩块的头信息都正好是跨数据总线宽度的情况，也即每M个压缩块对应的头信息均需要2次读取，那么采用新的方案后头信息读取次数介于原来的1/M～2/M之间。考虑我们取M＝8的情况，头信息读取的次数为原来的1/4～1/8。

步骤S4，从缓存中读取头信息数据并传输给视频解压缩器。

当视频解压缩模块发出头信息读取的总线请求之后，此总线请求不会被发送到总线上，而是直接由缓存响应。此时，头信息缓存读取模块会根据此总线请求的相关信息从头信息缓存中取出解压过程所需要的头信息。

而如果不采用本发明的方案，头信息的读取过程需要等待头信息请求发送到总线，而后等待头信息从内存中读出后，才能通过总线获取该头信息。头信息获取所需经历的延时相对较长。采用本方案后，由于相关头信息已经预取在缓存之中，在几个时钟周期之内就能发送到视频解压缩模块用于对图像解压。

上述过程中对头信息的缓存与读取，在一种实现方式下，可通过图3所示的方式进行。图像对视频数据的压缩一般基于数据块(tile)实现。数据块顺序与其在图像中的位置对应，每个数据块压缩后对应有一个压缩数据的头信息。

如图3所示，头信息的缓存顺序先按照图像中列的方向，缓存完成M个tile*1列的头信息之后(按照图中的顺序即是0，1，2，3…最后一行)，沿水平向右移动到下一个列，仍然按照与前面缓存列一样的方式缓存剩下的头信息，直到所有的列对应的头信息全部缓存完毕。

M个tile第一列的头信息数据存入缓存1中，下一个M个tile第二列的头信息数据存入缓存2中，缓存按照S3中描述的乒乓buffer方式运作。实现对缓存中头信息的读取。

而上述过程中缓存写入地址则可由一个简单的计算完成。如图3，假设M个tile的第一个tile对应的偏移地址为A，整个图像宽度为N个tile，A＝N*y+x,(x,y)是当前第一个tile在二维平面上的坐标，那么该M个tile对应的头信息存入缓存的地址为A/N，对应生成的商即是缓存的写入地址。

假设对图像中各块进行显示的所需的顺序是从上到下，从左到右。则，上述步骤S4中对缓存中头信息的读取，按照如下的顺序进行：如图3所示，由缓存0位置读取后取最左边tile对应头信息->缓存1位置读取后取最左边tile对应头信息->缓存2位置读取后取最左边tile对应头信息…->此列最后一行缓存位置读取后取最左边tile对应头信息。然后，缓存0位置读取后取从左边起第二个tile对应头信息->缓存1位置读取后取从左边起第二个tile对应头信息->缓存2位置读取后取从左边起第二个tile对应头信息…->此列最后一行缓存位置读取后取从左边起第二个tile对应头信息。直到整幅图像的tile对应头信息都被读取。

以FPGA平台：HAPS

DDR参数:DDR3/200MHz

根据如下的带宽场景进行测试：

三层1280x720 ARGB8888显示，非压缩数据，此三层显示是为了占用一定的DDR带宽，实验环境中没有其他明显占用DDR带宽的master。

在这基础之上，再打开一层1280x720 ARGB8888显示，此为压缩数据，并有旋转操作，通过衡量在打开/关闭本发明中的逻辑实现，计算旋转层能够正常显示的视频块数目(video tile number)来验证本发明方案的有效性。取本发明中M＝4，由此所获得的测试结果为：

本方案逻辑是否打开	关闭	打开
			旋转层能够正常显示的压缩块数目	8640	9450

由测试结果可知：假设压缩块的平均长度介于6个到8个总线宽度，这两种情况下理论计算效率提升至1.06～1.12。本实验中读效率的提升为9450/8640＝1.09，在理论计算的范围之内，可以认为本发明的方案达到了预期的效果。

对于本发明中M＝4的情况。假设每个压缩块平均长度为6个总线宽度，极端情况下，关闭本方案逻辑的情况下，每个压缩块加上头信息需要的读取长度为(6+1)；打开本方案逻辑的情况下，每个压缩块加上头信息需要的读取长度介于(6+0.25)和(6+0.5)之间，其读效率介于7/6.5～7/6.25之间，即1.08～1.12。同理可以计算其他平均长度的情况，可以认为本发明的方案达到了优于现有读取方式的读取效率。

以上仅为本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (7)

1.一种压缩图像信息读取控制方法，其特征在于，包括：

根据图像操作需求向压缩图像的存储装置请求并读回相应的M个头信息；

计算所述头信息的缓存写入地址，将所述头信息写入缓存中的相应地址；

根据解压缩过程中对头信息的读取请求，输出缓存中相应的头信息以对图像解压；

其中，对图像解压过程中，根据该读取请求不经过总线而直接对所述压缩图像的存储装置请求头信息。

2.如权利要求1所述的压缩图像信息读取控制方法，其特征在于，所述缓存中包括有两个或两个以上存储单元；其中任意存储单元写入头信息的过程中，其他存储单元输出头信息，各存储单元的写入与输出交替进行。

3.如权利要求2所述的压缩图像信息读取控制方法，其特征在于，每一个存储单元中存储M个头信息。

4.如权利要求1所述的压缩图像信息读取控制方法，其特征在于，所述缓存中所述各头信息的缓存写入地址根据对所述图像进行旋转、转置或反转时需要读取的数据块的顺序而确定。

5.一种压缩图像信息读取控制装置，设置在压缩图像的存储装置以及其解压缩器之间，其特征在于，包括：

压缩数据头信息读取控制器，用于根据图像操作需求向所述压缩图像的存储装置请求头信息并读回相应的M个头信息；

头信息缓存读写控制器，用于计算所述头信息的缓存写入地址，将所述头信息写入缓存中的相应地址；

所述缓存包括至少一个存储单元；

头信息缓存接口即解压缩模块接口，用于根据解压缩过程中对头信息的读取请求，输出缓存中相应的头信息以供所述解压缩器对图像解压；

所述解压缩器解压缩过程中对头信息的读取请求由所述压缩数据头信息读取控制器响应，所述压缩数据头信息读取控制器根据该读取请求不经过总线而直接对所述压缩图像的存储装置请求头信息。

6.如权利要求5所述的压缩图像信息读取控制装置，其特征在于，所述缓存中的存储单元包括有两个；其中一个存储单元写入头信息的过程中，另一个存储单元输出头信息，两个存储单元的写入与输出交替进行。

7.如权利要求6所述的压缩图像信息读取控制装置，其特征在于，若所述存储单元中存储的头信息不包括解压器所需的头信息，则所述压缩数据头信息读取控制器重新根据图像操作需求重新向所述压缩图像的存储装置请求头信息并读回相应的M个头信息。

Images