CN103369331B - 图像空洞的填补方法和装置及视频图像的处理方法和装置 - Google Patents

Abstract

本发明公开了一种图像空洞的填补方法和装置及视频图像的处理方法和装置。其中，图像空洞的填补方法包括：获取视频图像和视频图像的三维空间信息；确定视频图像的各个像素点的视差值；将视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息；根据预设常数确定绘制虚拟视点图像的方向；按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像；以及在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞。通过本发明，解决了现有技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题，进而达到了简化空洞填补时运算类型，降低计算复杂度的效果。

Description

图像空洞的填补方法和装置及视频图像的处理方法和装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像空洞的填补方法和装置及视频图像的处理方法和装置。

背景技术

立体视频图像在处理环节，需要对所绘制的虚拟视点图像中所出现的空洞进行填补，在空洞填补的过程中，现有技术方案需要利用空洞像素周边的已知颜色信息的像素集进行综合判断后才能填补。而光栅扫描方式需要在数据输入的过程中进行空洞填补，而不是在整幅图像读入之后再进行空洞填补，这就要求：第一，进行空洞填补时的算法非常简单，所涉及的运算法则简单，算法整体复杂度很低；第二，只能利用空洞点之前已输入的信息进行空洞填补，而不能使用还未输入的那些数据。但是，现有技术中对空洞填补的方案由于涉及已知像素个数较多，判断过程复杂，因此计算复杂度较高，涉及运算类型繁多，进而造成填补过程难以通过光栅扫描的处理方式进行，对于实时视频、图像处理***(包括软、硬件)而言不适宜采用，也不利于进行硬件开发与实现。

针对相关技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种图像空洞的填补方法和装置及视频图像的处理方法和装置，以解决现有技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种图像空洞的填补方法，包括：获取视频图像和视频图像的三维空间信息；根据三维空间信息确定视频图像的各个像素点的视差值；将视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息，其中，虚拟视点图像为视频图像对应的虚拟视点图像；根据预设常数确定绘制虚拟视点图像的方向；按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像；以及在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞。

进一步地，根据预设常数确定绘制虚拟视点图像的方向包括：比较预设常数与零的大小；若预设常数大于零，则确定绘制虚拟视点图像的方向为第一方向，其中，第一方向为从接收到的三维空间信息的起始数据至接收到的三维空间信息的终止数据的方向；以及若预设常数小于零，则确定绘制虚拟视点图像的方向为第二方向，其中，第二方向为从终止数据至起始数据的方向。

进一步地，在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞包括：获取读取到的像素点中的第一类像素点，其中，第一类像素点中各个像素点的深度值均小于预设深度值；以及利用第一类像素点中各个像素点的像素值填补空洞。

进一步地，获取读取到的像素点中的第一类像素点包括：获取读取到的像素点中预设区域内的第一类像素点。

进一步地，利用第一类像素点中各个像素点的像素值填补空洞包括：计算第一类像素点中各个像素点的像素值的方差；判断方差是否小于或等于预设值；若判定方差小于或等于预设值，则对第一类像素点中各个像素点的像素值进行中值滤波得到第一像素值，并确定第一像素值为空洞的像素值；以及若判定方差大于预设值，则对第一类像素点中各个像素点的像素值进行图像修复得到第二像素值，并确定第二像素值为空洞的像素值。

进一步地，预设区域为矩形区域。

为了实现上述目的，根据本发明的另一方面，提供了一种视频图像的处理方法，包括：通过本发明上述内容所提供的图像空洞的填补方法获取视频图像的虚拟视点图像；对虚拟视点图像进行上采样；对上采样后的虚拟视点图像进行滤波；对滤波后的虚拟视点图像进行下采样，以得到与视频图像同分辨率的虚拟视频图像；以及根据视频图像和虚拟视频图像确定双目立体视频图像。

为了实现上述目的，根据本发明的另一方面，提供了一种图像空洞的填补装置，包括：获取单元，用于获取视频图像和视频图像的三维空间信息；第一确定单元，用于根据三维空间信息确定视频图像的各个像素点的视差值；计算单元，用于将视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息，其中，虚拟视点图像为视频图像对应的虚拟视点图像；第二确定单元，用于根据预设常数确定绘制虚拟视点图像的方向；读取单元，用于按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像；以及填补单元，用于在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞。

进一步地，第二确定单元包括：比较子单元，用于比较预设常数与零的大小；第一确定子单元，用于在预设常数大于零时，确定绘制虚拟视点图像的方向为第一方向，其中，第一方向为从接收到的三维空间信息的起始数据至接收到的三维空间信息的终止数据的方向；以及第二确定子单元，用于在预设常数小于零时，确定绘制虚拟视点图像的方向为第二方向，其中，第二方向为从终止数据至起始数据的方向。

进一步地，填补单元包括：获取子单元，用于获取读取到的像素点中的第一类像素点，其中，第一类像素点中各个像素点的深度值均小于预设深度值；以及填补子单元，用于利用第一类像素点中各个像素点的像素值填补空洞。

进一步地，填补子单元包括：计算模块，用于计算第一类像素点中各个像素点的像素值的方差；判断模块，用于判断方差是否小于或等于预设值；第一处理模块，用于在判定方差小于或等于预设值时，对第一类像素点中各个像素点的像素值进行中值滤波得到第一像素值，并确定第一像素值为空洞的像素值；以及第二处理模块，用于在判定方差大于预设值时，对第一类像素点中各个像素点的像素值进行图像修复得到第二像素值，并确定第二像素值为空洞的像素值。

为了实现上述目的，根据本发明的另一方面，提供了一种视频图像的处理装置，包括：本发明上述内容所提供的任一种图像空洞的填补装置；获取单元，与填补装置相连接，用于通过填补装置获取视频图像的虚拟视点图像；第一采样单元，与获取单元相连接，用于对虚拟视点图像进行上采样；滤波单元，与第一采样单元相连接，用于对上采样后的虚拟视点图像进行滤波；第二采样单元，与滤波单元相连接，用于对滤波后的虚拟视点图像进行下采样，以得到与视频图像同分辨率的虚拟视频图像；以及确定单元，与第二采样单元相连接，用于根据视频图像和虚拟视频图像确定双目立体视频图像。

通过本发明，采用获取视频图像和视频图像的三维空间信息；根据三维空间信息确定视频图像的各个像素点的视差值；将视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息，其中，虚拟视点图像为视频图像对应的虚拟视点图像；根据预设常数确定绘制虚拟视点图像的方向；按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像；以及在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞，通过预设常数确定出绘制虚拟视点图像的方向，也即确定了虚拟视点图像是以左眼图像顺序绘制还是以右眼图像顺序绘制，以保证在绘制虚拟视点图像过程中最初读取到的像素点存在对应的像素值，即，空洞始终出现在已知像素值的像素点的后面，这样，就能够边读取数据边绘制虚拟视点图像，如果出现空洞，就利用已读取到的像素点的像素来填补，解决了现有技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题，进而达到了简化空洞填补时运算类型，降低计算复杂度的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的填补装置的示意图；

图2是根据本发明实施例的处理装置的示意图；

图3是根据本发明实施例的填补方法的流程图；以及

图4是根据本发明实施例的处理方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种图像空洞的填补装置，图1是根据本发明实施例的填补装置的示意图，如图1所示，该实施例的填补装置10包括：获取单元11、第一确定单元12、计算单元13、第二确定单元14、读取单元15和填补单元16。

获取单元11用于获取视频图像和视频图像的三维空间信息。

第一确定单元12用于根据三维空间信息确定视频图像的各个像素点的视差值。具体地，若三维空间信息为深度信息，则将各像素点的深度值除以一个非零正常数，近似得到各像素点的视差值；若三维空间信息为视差信息，则三维空间信息中自然已包含各个像素点的视差值。其中，对三维空间信息类型的判断可以通过以下方式实现：根据保存视频图像的三维空间信息的单像素所需字节数N计算该像素可记录数值的值域范围为[0，2^N-1]，如果保存该视点场景三维空间信息的图像的像素幅值最大值D满足 则该图像为深度图，三维空间信息为深度信息，如果保存该视点场景三维空间信息的图像的像素幅值最大值D满足 则该图像为视差图，三维空间信息为视差信息，其中，符号 为不大于x的最大整数。

计算单元13用于将视差值乘以预设常数α得到虚拟视点图像中各个虚拟视点的位置信息，其中，虚拟视点图像为视频图像对应的虚拟视点图像，α为非零整数。

第二确定单元14用于根据预设常数确定绘制虚拟视点图像的方向，具体地，第二确定单元14可以包括比较子单元、第一确定子单元和第二确定子单元，其中，比较子单元用于比较预设常数α是否大于零，如果α为正数，则虚拟视点在输入视点左边；如果α为负数，则虚拟视点在输入视点右边。对于虚拟视点在输入视点左边的情况，图像边缘空洞出现在左边；对于虚拟视点在输入视点右边的情况，图像边缘空洞出现在右边，所以，当比较出α＞0时，第一确定子单元确定从接收到的三维空间信息的起始数据至接收到的三维空间信息的终止数据的方向为绘制虚拟视点图像的方向，当比较出α＜0时，第一确定子单元确定从终止数据至起始数据的方向为绘制虚拟视点图像的方向。

读取单元15用于按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像。具体地，包括按照从终止数据至起始数据的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，或按照从起始数据至终止数据的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息。

填补单元16用于在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞。具体地，填补单元可以包括获取子单元和填补子单元，其中，获取子单元用于获取读取到的像素点中的第一类像素点，第一类像素点中的各个像素点的深度值均小于预设深度值；填补子单元利用第一类像素点中的各个像素点的像素值填补空洞，填补方式可以通过以下步骤来实现：先由计算模块计算出第一类像素点中各个像素点的像素值的方差，然后由判断模块判断计算出的方差是否小于或等于预设值，该过程是对获取单元11获取到的图像的纹理的判断，预设值可以根据经验值进行设定；当判定计算出的方差小于或等于预设值时，说明视频图像的噪声小，此时只要简单利用第一类像素点中各个像素点的像素值的平均值就能够使填补后的空洞的像素能够满足应用需求，即，可以由第一处理模块对第一类像素点中各个像素点的像素值进行中值滤波得到一个像素值，然后将所得到的这个像素值作为空洞的像素值来填补空洞；当判定计算出的方差大于预设值时，说明视频图像的噪声大，此时可以采用图像修正(imagein-painting)方法来填补空洞，即，可以由第二处理模块对第一类像素点中各个像素点的像素值进行图像修正处理得到一个像素值，然后将所得到的这个像素值作为空洞的像素值来填补空洞。其中，为了更进一步地简化填补空洞时的运算量，还可以根据实际填补空洞时的质量要求将第一类像素点的获取范围限定为读取到的像素点中的预设区域内，举例说明，可以将预设区域设定为一个(n像素点×n像素点)的矩形区域，空洞位于该矩形区域的中心。

本发明实施例的图像空洞的填补装置通过预设常数确定出绘制虚拟视点图像的方向，也即确定了虚拟视点图像是以左眼图像顺序绘制还是以右眼图像顺序绘制，以保证在绘制虚拟视点图像过程中最初读取到的像素点存在对应的像素值，即，空洞始终出现在已知像素值的像素点的后面，这样，就能够边读取数据边绘制虚拟视点图像，如果出现空洞，就利用已读取到的像素点的像素来填补，解决了现有技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题，进而达到了简化空洞填补时运算类型，降低计算复杂度的效果。

本发明实施例还提供了一种视频图像的处理装置，图2是根据本发明实施例的处理装置20的示意图，如图2所示，该实施例的处理装置包括：本发明实施例所提供的图像空洞的填补装置10、获取单元21、第一采样单元22、滤波单元23、第二采样单元24和确定单元25。

具体地，处理装置20先通过获取单元21获取到由填补装置10填补后的视频图像的虚拟视点图像，再依次由第一采样单元22对虚拟视点图像进行上采样，由滤波单元23对上采样后的虚拟视点图像进行滤波平滑，由第二采样单元24对滤波后的虚拟视点图像进行下采样，以得到与视频图像同分辨率的虚拟视频图像，最后由确定单元25根据原视频图像和虚拟视频图像共同组成双目立体视频图像，并根据立体电视所需的显示格式进行组织，用于立体电视的显示。

本发明实施例的视频图像的处理装置通过采用本发明实施例上述内容所提供的图像空洞的填补装置，简化了视频图像处理过程的对空洞进行填补时的运算类型，降低了计算复杂度，达到了降低实时视频和图像处理***的成本投入的效果。

本发明实施例还提供了一种图像空洞的填补方法，该填补方法可以通过本发明实施例所提供的图像空洞的填补装置来执行，图3是根据本发明实施例的填补方法的流程图，如图3所示，该实施例的填补方法包括如下的步骤S302至步骤S312：

S302：获取视频图像和视频图像的三维空间信息；

S304：根据三维空间信息确定视频图像的各个像素点的视差值；具体地，若三维空间信息为深度信息，则将各像素点的深度值除以一个非零正常数，近似得到各像素点的视差值；若三维空间信息为视差信息，则三维空间信息中自然已包含各个像素点的视差值。其中，对三维空间信息类型的判断可以通过以下方式实现：根据保存视频图像的三维空间信息的单像素所需字节数N计算该像素可记录数值的值域范围为[0，2^N-1]，如果保存该视点场景三维空间信息的图像的像素幅值最大值D满足则该图像为深度图，三维空间信息为深度信息，如果保存该视点场景三维空间信息的图像的像素幅值最大值D满足 则该图像为视差图，三维空间信息为视差信息，其中，符号 为不大于x的最大整数。

S306：将视差值乘以预设常数α得到虚拟视点图像中各个虚拟视点的位置信息，其中，虚拟视点图像为视频图像对应的虚拟视点图像，α为非零整数。

S308：根据预设常数确定绘制虚拟视点图像的方向。具体地，先比较预设常数α是否大于零，如果α为正数，则虚拟视点在输入视点左边；如果α为负数，则虚拟视点在输入视点右边。对于虚拟视点在输入视点左边的情况，图像边缘空洞出现在左边；对于虚拟视点在输入视点右边的情况，图像边缘空洞出现在右边，所以，当比较出α＞0时，可以确定从接收到的三维空间信息的起始数据至接收到的三维空间信息的终止数据的方向为绘制虚拟视点图像的方向，当比较出α＜0时，可以确定从终止数据至起始数据的方向为绘制虚拟视点图像的方向。

S310：按照确定的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制虚拟视点图像。具体地，包括按照从终止数据至起始数据的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息，或按照从起始数据至终止数据的方向从三维空间信息中读取各个像素点的像素值和与各个像素点对应的虚拟视点的位置信息。

S312：在虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补空洞。具体地，首先，获取读取到的像素点中的第一类像素点以利用第一类像素点中的各个像素点的像素值填补空洞，第一类像素点中的各个像素点的深度值均小于预设深度值；利用第一类像素点中的各个像素点的像素值填补空洞，填补方式可以通过以下步骤来实现：先计算出第一类像素点中各个像素点的像素值的方差，然后判断计算出的方差是否小于或等于预设值，该过程是对获取到的图像的纹理的判断，预设值可以根据经验值进行设定；当判定计算出的方差小于或等于预设值时，说明视频图像的噪声小，此时只要简单利用第一类像素点中各个像素点的像素值的平均值就能够使填补后的空洞的像素能够满足应用需求，即，可以对第一类像素点中各个像素点的像素值进行中值滤波得到一个像素值，然后将所得到的这个像素值作为空洞的像素值来填补空洞；当判定计算出的方差大于预设值时，说明视频图像的噪声大，此时可以采用图像修正(image in-painting)方法来填补空洞，即，可以对第一类像素点中各个像素点的像素值进行图像修正处理得到一个像素值，然后将所得到的这个像素值作为空洞的像素值来填补空洞。其中，为了更进一步地简化填补空洞时的运算量，还可以根据实际填补空洞时的质量要求将第一类像素点的获取范围限定为读取到的像素点中的预设区域内，举例说明，可以将预设区域设定为一个(n像素点×n像素点)的矩形区域，空洞位于该矩形区域的中心。

本发明实施例的图像空洞的填补方法通过预设常数确定出绘制虚拟视点图像的方向，也即确定了虚拟视点图像是以左眼图像顺序绘制还是以右眼图像顺序绘制，以保证在绘制虚拟视点图像过程中最初读取到的像素点存在对应的像素值，即，空洞始终出现在已知像素值的像素点的后面，这样，就能够边读取数据边绘制虚拟视点图像，如果出现空洞，就利用已读取到的像素点的像素来填补，解决了现有技术中难以通过光栅扫描方式填补虚拟视点图像中的空洞的问题，进而达到了简化空洞填补时运算类型，降低计算复杂度的效果。相比现有技术中直接采用的图像修正(image in-painting)方法或中值滤波方法而言，本发明实施例的填补方法可以有效地去除上述两项技术中所出现的纹理拖尾、伪纹理等现象，并且在预算量上比image in-painting技术节省了至少68％。

此外，本发明实施例还提供了一种视频图像的处理方法，该处理方法可以通过本发明实施例所提供的视频图像的处理装置来执行，图4是根据本发明实施例的处理方法的流程图，如图4所示，该实施例的填补方法包括如下的步骤S402至步骤S410：

S402：获取视频图像的虚拟视点图像；具体地，可以通过本发明实施例所提供的图像空洞的填补方法或图像空洞的填补装置来获取。

S404：对虚拟视点图像进行上采样。

S406：对上采样后的虚拟视点图像进行滤波平滑。

S408：对滤波后的虚拟视点图像进行下采样，以得到与视频图像同分辨率的虚拟视频图像。

S410：根据原视频图像和虚拟视频图像共同组成双目立体视频图像，并根据立体电视所需的显示格式进行组织，用于立体电视的显示。

从以上的描述中，可以看出，本发明实现了简化了视频图像处理过程的对空洞进行填补时的运算类型，降低了计算复杂度，达到了降低实时视频和图像处理***的成本投入的效果。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像空洞的填补方法，其特征在于，包括：

获取视频图像和所述视频图像的三维空间信息；

根据所述三维空间信息确定所述视频图像的各个像素点的视差值，其中，若所述三维空间信息为视差信息，则所述三维空间信息中包含各个像素点的视差值；

将所述视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息，

其中，所述虚拟视点图像为所述视频图像对应的虚拟视点图像；

根据所述预设常数确定绘制所述虚拟视点图像的方向；

按照确定的方向从所述三维空间信息中读取各个像素点的像素值和与所述各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制所述虚拟视点图像；

以及

在所述虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补所述空洞；

其中，根据所述预设常数确定绘制所述虚拟视点图像的方向包括：

比较所述预设常数与零的大小；

若所述预设常数大于零，则确定绘制所述虚拟视点图像的方向为第一方向，

其中，所述第一方向为从接收到的所述三维空间信息的起始数据至接收到的所述三维空间信息的终止数据的方向；以及

若所述预设常数小于零，则确定绘制所述虚拟视点图像的方向为第二方向，

其中，所述第二方向为从所述终止数据至所述起始数据的方向。

2.根据权利要求1所述的填补方法，其特征在于，在所述虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补所述空洞包括：

获取读取到的像素点中的第一类像素点，其中，所述第一类像素点中各个像素点的深度值均小于预设深度值；以及

利用所述第一类像素点中各个像素点的像素值填补所述空洞。

3.根据权利要求2所述的填补方法，其特征在于，获取读取到的像素点中的第一类像素点包括：获取读取到的像素点中预设区域内的所述第一类像素点。

4.根据权利要求2或3所述的填补方法，其特征在于，利用所述第一类像素点中各个像素点的像素值填补所述空洞包括：

计算所述第一类像素点中各个像素点的像素值的方差；

判断所述方差是否小于或等于预设值；

若判定所述方差小于或等于所述预设值，则对所述第一类像素点中各个像素点的像素值进行中值滤波得到第一像素值，并确定所述第一像素值为所述空洞的像素值；以及

若判定所述方差大于所述预设值，则对所述第一类像素点中各个像素点的像素值进行图像修复得到第二像素值，并确定所述第二像素值为所述空洞的像素值。

5.根据权利要求3所述的填补方法，其特征在于，所述预设区域为矩形区域。

6.一种视频图像的处理方法，其特征在于，包括：

通过权利要求1至5中任一项所述的图像空洞的填补方法获取视频图像的虚拟视点图像；

对所述虚拟视点图像进行上采样；

对上采样后的所述虚拟视点图像进行滤波；

对滤波后的所述虚拟视点图像进行下采样，以得到与所述视频图像同分辨率的虚拟视频图像；以及

根据所述视频图像和所述虚拟视频图像确定双目立体视频图像。

7.一种图像空洞的填补装置，其特征在于，包括：

第一获取单元，用于获取视频图像和所述视频图像的三维空间信息；

第一确定单元，用于根据所述三维空间信息确定所述视频图像的各个像素点的视差值，其中，若所述三维空间信息为视差信息，则所述三维空间信息中包含各个像素点的视差值；

计算单元，用于将所述视差值乘以预设常数得到虚拟视点图像中各个虚拟视点的位置信息，其中，所述虚拟视点图像为所述视频图像对应的虚拟视点图像；

第二确定单元，用于根据所述预设常数确定绘制所述虚拟视点图像的方向；

读取单元，用于按照确定的方向从所述三维空间信息中读取各个像素点的像素值和与所述各个像素点对应的虚拟视点的位置信息，并在读取过程中绘制所述虚拟视点图像；以及

填补单元，用于在所述虚拟视点图像出现空洞时，根据读取到的像素点的像素值填补所述空洞；

其中，所述第二确定单元包括：

比较子单元，用于比较所述预设常数与零的大小；

第一确定子单元，用于在所述预设常数大于零时，确定绘制所述虚拟视点图像的方向为第一方向，其中，所述第一方向为从接收到的所述三维空间信息的起始数据至接收到的所述三维空间信息的终止数据的方向；以及

第二确定子单元，用于在所述预设常数小于零时，确定绘制所述虚拟视点图像的方向为第二方向，其中，所述第二方向为从所述终止数据至所述起始数据的方向。

8.根据权利要求7所述的填补装置，其特征在于，所述填补单元包括：

获取子单元，用于获取读取到的像素点中的第一类像素点，其中，所述第一类像素点中各个像素点的深度值均小于预设深度值；以及

填补子单元，用于利用所述第一类像素点中各个像素点的像素值填补所述空洞。

9.根据权利要求8所述的填补装置，其特征在于，所述填补子单元包括：

计算模块，用于计算所述第一类像素点中各个像素点的像素值的方差；

判断模块，用于判断所述方差是否小于或等于预设值；

第一处理模块，用于在判定所述方差小于或等于所述预设值时，对所述第一类像素点中各个像素点的像素值进行中值滤波得到第一像素值，并确定所述第一像素值为所述空洞的像素值；以及

第二处理模块，用于在判定所述方差大于所述预设值时，对所述第一类像素点中各个像素点的像素值进行图像修复得到第二像素值，并确定所述第二像素值为所述空洞的像素值。

10.一种视频图像的处理装置，其特征在于，包括：

权利要求7至9中任一项所述的图像空洞的填补装置；

获取单元，与所述填补装置相连接，用于通过所述填补装置获取视频图像的虚拟视点图像；

第一采样单元，与所述获取单元相连接，用于对所述虚拟视点图像进行上采样；

滤波单元，与所述第一采样单元相连接，用于对上采样后的所述虚拟视点图像进行滤波；

第二采样单元，与所述滤波单元相连接，用于对滤波后的所述虚拟视点图像进行下采样，以得到与所述视频图像同分辨率的虚拟视频图像；以及

确定单元，与所述第二采样单元相连接，用于根据所述视频图像和所述虚拟视频图像确定双目立体视频图像。