CN103634604A - 一种面向多核dsp运动估计的数据预取方法 - Google Patents

Abstract

本发明公布了一种面向多核DSP运动估计的数据预取方法，该方法根据运动估计中数据的空间相关性和预测运动矢量预取编码块和参考块的数据，将编码块、参考块的数据预取到核的局部存储器，实现了当前编码块运动估计操作与下一个编码块和参考块的数据装入操作并行，降低了运动估计中存储器对多核处理器速度的影响，实验证明本发明的数据预取方法使得多核DSP并行视频编码中运动估计处理速度明显提高。

Description

一种面向多核DSP运动估计的数据预取方法

技术领域

本发明属于多媒体编解码领域，具体涉及一种针对嵌入式多核DSP处理器并行视频编码中运动估计的数据预取方法,是一种通过数据预取加速视频运动估计处理过程的方法。

背景技术

运动估计是基于混合编码框架的视频编码的主要组成部分之一，运动估计以数据块为单位完成预测、运动搜索、运动补偿、DCT变换和量化等操作，在视频编码中运动估计以数据块为处理单元，H.264/AVC编码中运动估计的数据块包含宏块（MB）、亚宏块、块等，HEVC编码中运动估计的数据块包含编码单元（CU）、预测单元（PU）和变换单元（TU）等，P帧的运动估计需要当前编码帧和一个参考帧的数据、B帧的运动估计需要当前编码帧和一个前向参考帧、一个后向参考帧的数据，处理的数据的吞吐量很大。在1080i格式的视频序列中每帧图像的分辨率为1920×1080，每秒钟输出60帧图像，用YUV（4:2:0）格式表示彩色信息每秒产生的编码数据达到0.746Gbps,运动估计中的数据达到1.5Gbps以上，随着视频质量的提高，产生的视频数据量还在急剧增加。嵌入式***中视频编码越来越多的采用多核DSP处理器实现，嵌入式多核DSP处理器为多级存储结构，每个核各自独立拥有局部存储器，所有核共享MSM存储器和大容量的片外存储器。局部存储器容量小，速度最快；MSM存储器较大，速度较慢，外部存储器容量大，速度慢。由于多核DSP处理器的局部存储空间小，不能存储整个编码帧和参考帧的数据，需要把编码帧和参考帧划分为小的数据块，将编码帧的当前编码块和参考块的数据存储到内部存储器而编码帧和参考帧存储在外部存储器。如图1所示，在嵌入式多核视频编码器中，首先由视频采集得到视频数据并暂时存储在大容量的外部存储器中，在编码时由外部存储器读取到内部存储器做运算，然而处理器性能以每年60%的速度增长,而存储器访问性能每年提高不到10%,处理器和存储器之间的性能差距还在不断增大,存储器成为***性能瓶颈，多核处理器中存储瓶颈问题更为严重，运动估计由于需要的数据量大，存储器瓶颈成为影响处理速度的重要因素。

为了降低存储瓶颈的影响，采用多级存储结构的多核处理器存储性能靠Cache的命中率来保证，然而多级存储结构中Cache不命中会引起外部访存操作长延迟，长延迟时间可达上百个处理器时钟周期，降低了处理器的执行速度，如TMS320C6678存储器Cache读失效在最坏情况下的延迟为287个时钟周期，合计287ns（核工作在1GHz）。在运动估计中处理数据量大，Cache不命中造成的影响更为明显。数据预取技术在数据使用之前对数据提前读取，通过计算和访存操作重叠降低处理器的等待时间。现有申请号为200410101465.2的专利“视频编解码过程中宏块数据读取的方法”通过建立“宏块地址映射表”的方式解决缓冲区命中率失效问题，但是这种方法仅仅提供了一种视频帧中宏块数据的索引方式，只能降低Cache失效带来的影响，没有实现编码中参考帧的数据预取问题，而运动估计中往往需要搜索多个参考块的数据，数据量更大，对运动估计的影响也更大。申请号为200710046929.8的专利“视频处理中数据预取***”在处理器和存储器之间增加“数据预取模块”的方式实现数据块预取，但是这种通过增加硬件单元实现预取的方式不适用于商业化的嵌入式DSP处理器，同时由于缺乏同步机制，这种方法不适用于多核DSP处理器并行实现。

本发明根据并行编码中运动估计处理的数据空间相关性和预测运动矢量预取编码帧和参考帧的数据，实现了数据读取和运动估计处理的并行，有效的降低了存储瓶颈对多核DSP处理器处理速度的影响，实验表明该方法有效的提高了嵌入式多核DSP处理器运动估计的执行速度。

发明内容

为了克服多核DSP处理器在应用于运动估计时访问存储器造成的延时，本发明公布了一种根据运动估计中数据空间相关性和预测运动矢量预取编码帧和参考帧的数据的技术，在上一个数据块编码的同时使用DMA预取下一个编码块和参考的数据，实现了运动估计数据读取和处理的并行。实验证明，该方法有效的提高了多核DSP处理器运动估计操作的处理速度。

为实现上述目的，本发明采用了下述技术方案：

一种面向多核DSP运动估计的数据预取方法（如图4所示），步骤如下：

步骤1、设置预取数据块大小，划分编码块、参考块大小，编码块和参考块的数据存储在核的局部存储器中，并将存储区设置为Ping-Pang结构；

步骤2、如果当前执行运动估计的编码块属于P帧，则执行预测、运动搜索操作，预取下一个编码块和参考块的数据；

步骤3、如果当前执行运动估计的编码块属于B帧，则执行预测、运动搜索操作，预取下一个编码块和前向参考块、后向参考块的数据。

所述步骤1具体包括如下操作：

（1）编码帧、参考帧按照多核DSP局部存储器容量和运动估计中处理的数据块大小划分为编码块和参考块，编码图像帧和参考帧的数据存储在外部大容量存储器内，当前编码块和参考块的数据存储在局部存储器内；

（2）编码帧划分为编码块和编码行，如图2所示，多核DSP的各个核以编码行为单位执行运动估计操作，即当前核结束一个编码行运动估计操作后立即获取后面第一个未做运动估计编码行继续进行；

（3）设置***控制表，***控制表包括当前编码帧计数器、当前编码帧中第一个未做运动估计操作的编码行指示器，当前编码帧编码状态表，***控制表为多核共用，以实现各核同步；

（4）在局部存储器中为当前编码块和参考数据块设置Ping-Pang结构存储区，当前编码的为Pang，数据预取到Ping。

所述步骤2具体包括如下步骤：

（1）若当前编码块属于P帧，执行编码块运动估计中的预测和运动搜索操作；

（2）启动DMA将当前编码块的下一个编码块的数据由外部存储器预取到核的内部存储器，源地址、目的地址、数据块大小按公式（1）计算；

$\left\{\begin{array}{c}\mathrm{DMA}\_\mathrm{src}=\mathrm{fenc}\_\mathrm{base}+\mathrm{corei}\_\mathrm{line}\×\mathrm{line}\_\mathrm{block}\×\mathrm{block}\_\mathrm{size}\\ +(\mathrm{corei}\_\mathrm{block}+1)\×\mathrm{block}\_\mathrm{width}\\ \mathrm{DMA}\_\mathrm{dst}=\mathrm{corei}\_\mathrm{fenc}\_\mathrm{base}\\ \mathrm{data}\_\mathrm{size}=\mathrm{block}\_\mathrm{size}\end{array}\right.---\left(1\right)$

其中block_width为编码块宽度，block_hight为编码块高度，block_size为编码块大小，block_size＝block_width×block_hight，DMA_src为第i个核DMA搬运数据的源地址，DMA_dst为第i个核DMA搬运数据的目的地址，data_size为搬运数据大小，corei_fenc_base为第i个核的编码块数据在内部存储的起始地址，fenc_base为当前编码帧的起始地址，corei_line为第i个核当前的编码行，line_block为编码行大小，corei_block为第i个核的当前编码块。

（3）启动DMA将当前编码块的下一个编码块的参考块的数据由外部存储器预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储器，预取参考数据块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式（2）计算；

$\left\{\begin{array}{c}\mathrm{DMA}\_\mathrm{src}=\mathrm{fref}\_\mathrm{base}\\ +(\mathrm{mvp}\_x\×\mathrm{line}\_\mathrm{pix}-\mathrm{block}\_\mathrm{width})+(\mathrm{mvp}\_y-\mathrm{block}\_\mathrm{hight})\\ \mathrm{DMA}\_\mathrm{dst}=\mathrm{corei}\_\mathrm{ref}\_\mathrm{base}\\ \mathrm{data}\_\mathrm{size}=\mathrm{block}\_\mathrm{size}\×\mathrm{bref}\_\mathrm{size}\end{array}\right.---\left(2\right)$

其中DMA_src为第i个核DMA搬运数据的源地址，DMA_dst为第i个核DMA搬运数据的目的地址，fref_base为参考帧首地址，line_pix为参考帧中一行的像素数量，mvp_x,mvp_y为运动矢量预测值，当前编码块运动搜索结束后即可按照运动矢量的预测方法得到运动矢量预测值，corei_ref_base为参考块的数据存储首地址，bref_size为参考的数据块大小，其他参数同式（1）；

（4）执行运动补偿（MC）、DCT变换、量化操作；

（5）更新控制表，当前编码块编码标志位置位；

（6）重复步骤（1）、（2）、（3）、（4）、（5），直到当前编码行各编码块运动估计操作结束。

所述步骤3具体包括如下步骤：

（1）若当前编码块属于B帧，执行编码块运动估计中的预测和运动搜索操作；

（2）启动DMA将当前编码块的下一个编码块的数据由外部存储器预取到核的局部存储器，源地址、目的地址、数据块大小按公式（1）计算；

（3）启动DMA将当前编码块的下一个数据块的前向参考块的数据预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储器，预取参考块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式（2）计算；

（4）启动DMA将当前编码块的下一个数据块的后向参考块的数据预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储区，预取参考块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式（2）计算；

（5）执行运动补偿（MC）、DCT变换、量化操作；

（6）更新控制表，当前编码块编码标志位置位；

（7）重复步骤（1）、（2）、（3）、（4）、（5）、（6），直到当前编码行各编码块运动估计操作结束。

本发明与现有技术相比的优点在于：

1、本发明实现了运动估计中数据读取与数据处理并行，加快了多核DSP处理器的编码速度；

2、本发明的数据预取方法实现的运动估计数据的预先读取，充分利用了存储器带宽降低了存储器瓶颈问题；

3、本发明充分利用了嵌入式多核DSP处理器的DMA高速数据传输部件，加快了数据传输过程。

附图说明

图1视频监控中的多核编码器存储结构示意图；

图2本发明中编码行划分示意图；

图3本发明具体实施方式中的数据存储结构示意图；

图4本发明中一种面向多核DSP并行视频编码的数据预取方法的流程图。

具体实施方式

下面给出本发明在TI公司的TMS320C6678LE评估板的具体实施方式。

TI公司的TMS320C6678LE评估板包含1个TMS320C6678芯片，外部存储空间为DDR3存储器，512MB。TMS320C6678芯片包含8个核，core0到core7，每个核的工作频率为1.0GHz，每个核包含有32KB一级数据缓冲存储器L1D和32KB一级程序缓冲存储器L1P，每个核有512KB二级存储器和4MB共享存储器MSM，将一级数据缓冲存储器设为cache,运动估计中的编码块、参考块的数据存储在二级存储器，编码视频、参考帧的数据存储在外部存储器DDR3中。

运动估计采用菱形搜索方法，搜索窗口48×48，因此在参考帧中预取以运动矢量预测值为中心的9个参考块的数据。视频格式为YUV4:2:0，分辨率为704×576,编码块大小为16×16，因此一个编码帧有36个编码行，每编码行有44编码块，视频起始地址为0x82000000，前向参考帧起始地址为0x80000000,后向参考帧起始地址为0x80800000，每个核的当前编码块数据、参考块的数据首地址为corei_fenc_base,corei_ref_base0，corei_ref_base1，各存储区为Ping-Pang结构，即当前运动估计使用Pang数据，预取数据存储到Ping。

设置并行编码控制表，控制表包括enc_tab、cur_enc_frame、first_unenc_line，编码控制表、运动矢量为多核共享数据，存储在片内的MSM存储器中，如图3所示，多核以互斥方式访问,信号量为semphone0,其他编码参数存储到各核的L2中。core0～core7各核设置当前编码行指示器core0_line～core7_line和当前编码块指示器core0_block～core0_block，corei_line用来指示当前核处理的编码行的行号，corei_block用来指示当前核编码块的编号。

DDR3与L2之间的数据预取用QDMA实现，core0～core7分别使用EDMA3中TCC0的QDMA0～QDMA7作为各核的数据预取通道，设置为AB-sync、LINK方式，QDMA0～QDMA7的PaRAMSet为00～02，10～12，20～22，30～32，40～42，50～52，60～62，70～72。

具体实施过程为：

（1）core0读入视频序列，并记录视频序列总帧数（total_frames）；

（2）core0初始化全局参数，控制表的cur_enc_frame初始化为-1，first_unenc_line为-1；

（3）判断是否有未编码帧，即cur_enc_frame是否大于total_frames,若大于，则编码结束，否则转入（4）；

（4）初始化编码状态表为“0”，first_unenc_line为0；

（5）判断是否有未编码行，即first_unenc_line是否大于36，若大于则当前编码帧结束，转（3），否则，转（6）；

（6）获取编码行，即各核按互斥方式读取first_unenc_line到corei_line,corei_block=0，first_unenc_line加1；

（7）由cur_enc_frame，corei_line,corei_block计算编码块首地址，Y、U、V三个分量地址分别为：

$\left\{\begin{array}{c}Y=0x82000000+\mathrm{cur}\_\mathrm{enc}\_\mathrm{frame}\×608256\\ +\mathrm{corei}\_\mathrm{line}\×11264+\mathrm{corei}\_\mathrm{block}\×16\\ U=0x82000000+\mathrm{cur}\_\mathrm{enc}\_\mathrm{frame}\×608256+0x63000\\ +\mathrm{corei}\_\mathrm{line}\×5632+\mathrm{corei}\_\mathrm{block}\×8\\ V=0x82000000+\mathrm{cur}\_\mathrm{enc}\_\mathrm{frame}\×608256+0\mathrm{xBC}00\\ +\mathrm{corei}\_\mathrm{line}\×5632+\mathrm{corei}\_\mathrm{blick}\×8\end{array}\right.$

data_size分别为：256,64,64；

（8）判断当前编码块相邻的左、左上、上、右上运动搜索是否完成，完成则继续，未完成则等待相邻块运动搜索结束；

（9）判断当前编码块的数据是否搬运到L2，是则继续，否则等待搬运结束；

（10）执行编码块的预测、运动搜索操作；

（11）按照图4所示预取下一个编码块及其参考宏块数据，P帧编码块、B帧编码块的预取数据的源地址、目的地址、数据块大小由公式（1）和公式（2）计算，block_width为16，block_hight为16，line_pix为704，fenc_base=0x82000000+cur_enc_frame×608256，bref_size为9；

（12）执行运动补偿（MC）、DCT变换、量化操作；

（13）修改控制表中的enc_tab，即enc_tab[corei_line,corei_block]=1；

（14）判断当前编码行是否结束，即corei_block是否小于44，是转（8）继续当前编码行处理,否则转（5）进行下一个编码行处理；

（15）重复（5）至（14），直至视频所有视频帧处理结束。

测试结果如下表所示：（QP=27）

当视频图像组为IBBP BBP BBP BBP BB结构时平均性能提高约15%。

Claims (4)

1.一种面向多核DSP运动估计的数据预取方法，其特征在于：步骤如下：

步骤1、设置预取数据块大小，划分编码块、参考块大小，编码块和参考块的数据存储在核的局部存储器中，并将存储区设置为Ping-Pang结构；

步骤2、如果当前执行运动估计的编码块属于P帧，则执行预测、运动搜索操作，预取下一个编码块和参考块的数据；

步骤3、如果当前执行运动估计的编码块属于B帧，则执行预测、运动搜索操作，预取下一个编码块和前向参考块、后向参考块的数据。

2.根据权利要求1所述的一种面向多核DSP运动估计的数据预取方法，其特征在于：所述步骤1具体包括如下操作：

（1）编码帧、参考帧按照多核DSP局部存储容量和运动估计中处理的数据块大小划分为编码块和参考块，编码图像帧和参考帧的数据存储在外部大容量存储器内，当前编码块和参考块的数据存储在局部存储器内；

（2）编码帧划分为编码块和编码行，多核DSP的各个核以编码行为单位执行运动估计操作，即当前核结束一个编码行运动估计操作后立即获取后面第一个未做运动估计编码行继续进行；

（3）设置***控制表，***控制表包括当前编码帧计数器、当前编码帧中第一个未做运动估计操作的编码行指示器，当前编码帧编码状态表，***控制表为多核共用，实现各核同步；

（4）在局部存储器中为当前编码块和参考数据块设置Ping-Pang结构存储区，当前编码的为Pang，数据预取到Ping。

3.根据权利要求1所述的一种面向多核DSP运动估计的数据预取方法，其特征在于：所述步骤2具体包括如下步骤：

（2.1）若当前编码块属于P帧，执行编码块运动估计中的预测和运动搜索操作；

（2.2）启动DMA将当前编码块的下一个编码块的数据由外部存储器预取到核的内部存储器，源地址、目的地址、数据块大小按公式（1）计算；

$\left\{\begin{array}{c}\mathrm{DMA}\_\mathrm{src}=\mathrm{fenc}\_\mathrm{base}+\mathrm{corei}\_\mathrm{line}\×\mathrm{line}\_\mathrm{block}\×\mathrm{block}\_\mathrm{size}\\ +(\mathrm{corei}\_\mathrm{block}+1)\×\mathrm{block}\_\mathrm{width}\\ \mathrm{DMA}\_\mathrm{dst}=\mathrm{corei}\_\mathrm{fenc}\_\mathrm{base}\\ \mathrm{data}\_\mathrm{size}=\mathrm{block}\_\mathrm{size}\end{array}\right.---\left(1\right)$

其中block_width为编码块宽度，block_hight为编码块高度，block_size为编码块大小，block_size＝block_width×block_hight，DMA_src为第i个核DMA搬运数据的源地址，DMA_dst为第i个核DMA搬运数据的目的地址，data_size为搬运数据大小，corei_fenc_base为第i个核的编码块数据在内部存储的起始地址，fenc_base为当前编码帧的起始地址，corei_line为第i个核当前的编码行，line_block为编码行大小，corei_block为第i个核的当前编码块；

（2.3）启动DMA将当前编码块的下一个编码块的参考块的数据由外部存储器预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储器，预取参考数据块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式（2）计算；

$\left\{\begin{array}{c}\mathrm{DMA}\_\mathrm{src}=\mathrm{fref}\_\mathrm{base}\\ +(\mathrm{mvp}\_x\×\mathrm{line}\_\mathrm{pix}-\mathrm{block}\_\mathrm{width})+(\mathrm{mvp}\_y-\mathrm{block}\_\mathrm{hight})\\ \mathrm{DMA}\_\mathrm{dst}=\mathrm{corei}\_\mathrm{ref}\_\mathrm{base}\\ \mathrm{data}\_\mathrm{size}=\mathrm{block}\_\mathrm{size}\×\mathrm{bref}\_\mathrm{size}\end{array}\right.---\left(2\right)$

其中DMA_src为第i个核DMA搬运数据的源地址，DMA_dst为第i个核DMA搬运数据的目的地址，fref_base为参考帧首地址，line_pix为参考帧中一行的像素数量，mvp_x,mvp_y为运动矢量预测值，当前编码块运动搜索结束后即可按照运动矢量的预测方法得到运动矢量预测值，corei_ref_base为参考块的数据存储首地址，bref_size为参考的数据块数量，其他参数同公式（1）；

（2.4）执行运动补偿（MC）、DCT变换、量化操作；

（2.5）更新控制表，当前编码块编码标志位置位；

（2.6）重复步骤（2.1）、（2.2）、（2.3）、（2.4）、（2.5），直到当前编码行各编码块运动估计操作结束。

4.根据权利要求1所述的一种面向多核DSP运动估计的数据预取方法，其特征在于：所述步骤3具体包括如下步骤：

（3.1）若当前编码块属于B帧，执行编码块运动估计中的预测和运动搜索操作；

（3.2）启动DMA将当前编码块的下一个编码块的数据由外部存储器预取到核的局部存储器，源地址、目的地址、数据块大小按公式（1）计算；

（3.3）启动DMA将当前编码块的下一个数据块的前向参考块的数据预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储器，预取参考块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式（2）计算；

（3.4）启动DMA将当前编码块的下一个数据块的后向参考块的数据预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储区，预取参考块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式（2）计算；

（3.5）执行运动补偿（MC）、DCT变换、量化操作；

（3.6）更新控制表，当前编码块编码标志位置位；

（3.7）重复步骤（3.1）、（3.2）、（3.3）、（3.4）、（3.5）、（3.6），直到当前编码行各编码块运动估计操作结束。

Images