CN103379351A - 一种视频处理方法及装置 - Google Patents

Abstract

本发明公开了一种视频处理方法及装置，用以解决现有技术中3D视频的数据量过大的问题。该方法接收高帧率低分辨率的第一视频数据，以及低帧率高分辨率的第二视频数据，根据高分辨率的第二视频数据恢复第一视频数据的分辨率，得到高帧率高分辨率的第一视频数据，再根据得到的高帧率高分辨率的第一视频数据，恢复第二视频数据的帧率，得到高帧率高分辨率的第二视频数据，基于得到的同样为高帧率高分辨率的第一视频数据和第二视频数据进行后续处理。通过上述方法，可以在采集视频时降低一路视频数据的分辨率以及另一路视频数据的帧率，并且可以将两路视频数据恢复为高帧率和高分辨率，因此在保证视频的显示质量的同时，降低了视频的数据量。

Description

一种视频处理方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种视频处理方法及装置。

背景技术

近年来，三维(Three Dimensions，3D)视频的应用取得了长足发展，需要进行3D视频的采集的应用场景也越来越多。

在现有技术中，为了尽量提高3D视频的显示质量，采集3D视频时需要采集两路较高且相同帧率和分辨率视频数据。例如，对于一个物体，要采集该物体的3D视频，就需要分别在该物体的两个不同的角度，以较高且相同的帧率和分辨率采集该物体的视频数据，再将得到的两路视频数据进行后续的处理，进而得到该物体的3D视频。

因此，现有技术中3D视频的数据量要远大于单视点视频的数据量，在存储3D视频时也就需要占用更多的存储资源。

发明内容

本发明实施例提供一种视频处理方法及装置，用以解决现有技术中3D视频的数据量过大，需要占用大量存储资源的问题。

本发明实施例提供的一种视频处理方法，包括：

接收第一视频数据和第二视频数据，所述第一视频数据的帧率高于所述第二视频数据的帧率，所述第一视频数据中的图像的分辨率低于所述第二视频数据中的图像的分辨率；

在所述第一视频数据中确定与所述第二视频数据中的图像对应的同步帧图像，基于所述第二视频数据中的图像，将对应的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同；

根据处理后的同步帧图像，将所述第一视频数据中的异步帧图像的分辨率处理为与处理后的同步帧图像的分辨率相同，得到处理后的第一视频数据；

根据所述处理后的第一视频数据，确定所述第二视频数据中相对于所述处理后的第一视频数据的缺失帧图像，将确定的缺失帧图像***到所述第二视频数据中，得到处理后的第二视频数据；

基于所述处理后的第一视频数据和所述处理后的第二视频数据进行后续处理。

本发明实施例提供的一种视频处理装置，包括：

接收模块，用于接收第一视频数据和第二视频数据，所述第一视频数据的帧率高于所述第二视频数据的帧率，所述第一视频数据中的图像的分辨率低于所述第二视频数据中的图像的分辨率；

分辨率恢复模块，用于在所述第一视频数据中确定与所述第二视频数据中的图像对应的同步帧图像，基于所述第二视频数据中的图像，将对应的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同，根据处理后的同步帧图像，将所述第一视频数据中的异步帧图像的分辨率处理为与处理后的同步帧图像的分辨率相同，得到处理后的第一视频数据；

帧率恢复模块，用于根据所述处理后的第一视频数据，确定所述第二视频数据中相对于所述处理后的第一视频数据的缺失帧图像，将确定的缺失帧图像***到所述第二视频数据中，得到处理后的第二视频数据；

处理模块，用于基于所述处理后的第一视频数据和所述处理后的第二视频数据进行后续处理。

本发明实施例提供一种视频处理方法及装置，该方法接收高帧率低分辨率的第一视频数据，以及低帧率高分辨率的第二视频数据，并根据第二视频数据中的每帧高分辨率图像，恢复第一视频数据中各图像的分辨率，得到高帧率高分辨率的第一视频数据，再根据得到的高帧率高分辨率的第一视频数据，恢复第二视频数据的帧率，得到高帧率高分辨率的第二视频数据，基于得到的高帧率高分辨率的第一视频数据和高帧率高分辨率的第二视频数据进行后续处理。通过上述方法，可以在采集3D视频时，降低一路视频数据的分辨率以及另一路视频数据的帧率，并且在处理采集到的两路视频数据时，将两路视频数据恢复为高帧率和高分辨率，因此可以在保证3D视频的显示质量的同时，降低3D视频的数据量，节省了存储资源。

附图说明

图1为本发明实施例提供的视频处理过程；

图2为本发明实施例提供的采集第一视频数据和第二视频数据示意图；

图3为本发明实施例提供的高帧率高分辨率的第一视频数据与低帧率高分辨率的第二视频数据对比示意图；

图4为本发明实施例提供的高帧率高分辨率的第一视频数据和高帧率高分辨率的第二视频数据对比示意图；

图5为本发明实施例提供的将高帧率低分辨率的第一视频数据恢复为高帧率高分辨率的第一视频数据的详细过程；

图6为本发明实施例提供的将低帧率高分辨率的第二视频数据恢复为高帧率高分辨率的第二视频数据的详细过程；

图7为本发明实施例提供的确定第二视频数据中两帧相邻的高分辨率图像之间的缺失帧高分辨率图像的示意图；

图8为本发明实施例提供的视频处理装置结构示意图。

具体实施方式

众所周知，帧率和分辨率是影响视频显示质量的两个重要因素。帧率是指每秒显示图像的帧数，帧率越高，视频的流畅度和逼真度也就越高。分辨率是指一帧图像的像素，分辨率越高，图像所包含的细节也就越多，其精细度也就越高。但是，对于一路视频数据而言，帧率和分辨率同样影响着该视频数据的数据量大小，帧率越高，其数据量越大，分辨率越高，其数据量越大。现有技术中为了提高3D视频的显示质量，在采集3D视频时，需要采集两路较高且相同帧率和分辨率的视频数据，无疑会使3D视频的数据量过大。

在本发明实施例中，为了降低3D视频的数据量，在采集3D视频时，采集的两路视频数据为：高帧率低分辨率的第一视频数据和低帧率高分辨率的第二视频数据。在处理采集到的两路视频数据时，通过第二视频数据恢复第一视频数据的分辨率，再根据恢复的高帧率高分辨率的第一视频数据，恢复第二视频数据的帧率，得到两路高帧率高分辨率的视频数据，以达到在保证3D视频的显示质量的同时，降低3D视频的数据量的目的。

下面结合说明书附图，对本发明实施例进行详细描述。

图1为本发明实施例提供的视频处理过程，具体包括以下步骤：

S101：接收第一视频数据和第二视频数据。

在本发明实施例中，接收到的第一视频数据和第二视频数据为针对同一个采集目标，在该采集目标的不同角度采集到的两路视频数据，并且，第一视频数据的帧率高于第二视频数据的帧率，第一视频数据中的图像的分辨率低于第二视频数据中的图像的分辨率。也即，在采集3D视频时，采用高帧率低分辨率采集第一视频数据，采用低帧率高分辨率采集第二视频数据，两路视频数据相比较而言，第一视频数据即为高帧率低分辨率的第一视频数据，第二视频数据即为低帧率高分辨率的第二视频数据，如图2所示。

图2为本发明实施例提供的采集第一视频数据和第二视频数据示意图，在图2中，对于采集目标，通过采集设备A在采集目标的左视角采集第一视频数据，通过采集设备B在采集目标的右视角采集第二视频数据，其中，采集设备A和B可以为摄像机等设备。在图2中，由于采集设备A采集的第一视频数据为高帧率低分辨率的视频数据，采集设备B采集的第二视频数据为低帧率高分辨率的视频数据，因此在相同的时间内，第一视频数据中包含的图像的帧数多于第二视频数据中包含的图像的帧数，而第二视频数据中每帧图像的尺寸要大于第一视频数据中每帧图像的尺寸。

采集到第一视频数据和第二视频数据后，则将这两路视频数据发送给视频处理装置进行处理。

S102：在第一视频数据中确定与第二视频数据中的图像对应的同步帧图像，基于第二视频数据中的图像，将对应的同步帧图像的分辨率处理为与第二视频数据中的该图像的分辨率相同。

以下将采集的第一视频数据中的图像称为低分辨率图像，将采集的第二视频数据中的图像称为高分辨率图像。也即，针对该第二视频数据中的每帧高分辨率图像，在该第一视频数据中确定与该高分辨率图像对应的同步帧低分辨率图像，基于该高分辨率图像将该同步帧低分辨率图像处理为同步帧高分辨率图像。

在本发明实施例中，由于第一视频数据的帧率高于第二视频数据的帧率，因此如果将两路视频数据单独放映，则在相同的时间内，第一视频数据显示的图像的帧数要多于第二视频数据显示的帧数。而将这两路视频数据同时放映时，也即在同一时刻开始放映两路视频数据中的第1帧图像，当放映到第二视频数据中的第2帧时，第一视频数据正在放映的图像即为第二视频数据中第2真图像对应的同步帧图像。也即，针对第二视频数据中的每帧高分辨率图像，确定放映到该高分辨率的时长，确定将第一视频数据放映该时长时所放映的图像，作为该高分辨率图像对应的同步帧低分辨率图像。

继续以图2为例，在图2中，第一视频数据中与第二视频数据中每帧高分辨率图像对应的同步帧低分辨率图像为阴影标识的图像。

具体的，针对该第二视频数据中的每帧高分辨率图像，可以采用公式

确定第一视频数据中与该高分辨率图像对应的同步帧低分辨率图像，其中a为第一视频数据的帧率，也即所述高帧率，b为第二视频数据的帧率，也即所述低帧率，M表示第二视频数据中的第M帧图像，N表示第一视频数据中的第N帧图像为第二视频数据中的第M帧图像对应的同步帧低分辨率图像，

表示以四舍五入的方式对

进行取整。

确定了第二视频数据中的高分辨率图像对应的同步帧低分辨率图像后，可以基于该高分辨率图像将对应的同步帧低分辨率图像的分辨率处理为与第二视频数据中的高分辨率图像的分辨率相同，也即恢复第一视频数据中同步帧低分辨率图像的分辨率，将同步帧低分辨率图像处理为同步帧高分辨率图像。

S103：根据处理后的同步帧图像，将第一视频数据中的异步帧图像的分辨率处理为与处理后的同步帧图像的分辨率相同，得到处理后的第一视频数据。

在本发明实施例中，将第一视频数据中的每个同步帧低分辨率图像恢复为同步帧高分辨率图像后，则可以进一步根据恢复的各同步帧高分辨率图像，将第一视频数据中每个异步帧低分辨率图像(非同步帧低分辨率图像)恢复为异步帧高分辨率图像，进而得到处理后的第一视频数据，处理后的第一视频数据即为高帧率高分辨率的第一视频数据。

继续以图2为例，步骤S102中是根据第二视频数据中的每帧高分辨率图像，将第一视频数据中每帧以阴影标识的同步帧低分辨率图像恢复为同步帧高分辨率图像。步骤S103中则是根据已恢复的同步帧高分辨率图像，将第一视频数据中未以阴影标识的每帧异步帧低分辨率图像恢复为异步帧高分辨率图像。此时，已经将第一视频数据中的每帧低分辨率图像都恢复成了高分辨率图像，因此得到了高帧率高分辨率的第一视频数据。

得到的高帧率高分辨率的第一视频数据如图3所示。图3为本发明实施例提供的高帧率高分辨率的第一视频数据与低帧率高分辨率的第二视频数据对比示意图，如图3所示，由于已经将高帧率低分辨率的第一视频数据恢复成了高帧率高分辨率的第一视频数据，因此高帧率高分辨率的第一视频数据中的每帧图像的尺寸与第二视频数据中每帧图像的尺寸相同，都是该高分辨率图像的尺寸。在图3中，得到的高帧率高分辨率的第一视频数据中与第二视频数据中的每帧高分辨率图像对应的同步帧高分辨率图像仍以阴影表示。

S104：根据处理后的第一视频数据，确定第二视频数据中相对于处理后的第一视频数据的缺失帧图像，将确定的缺失帧图像***到第二视频数据中，得到处理后的第二视频数据。

由于第二视频数据的帧率低于得到的高帧率高分辨率的第一视频数据的帧率，因此相同时间内高帧率高分辨率的第一视频数据中包含的图像的帧数要多于第二视频数据中包含的图像的帧数。如图3所示，在从高帧率高分辨率的第一视频数据的一个同步帧高分辨率图像放映到下一个同步帧高分辨率图像时，包括这两个同步帧高分辨率图像在内，一共放映5帧图像，而相同的时间内，第二视频数据只放映了相应的两帧高分辨率图像，因此，第二视频数据中该两帧高分辨率图像之间相对于第一视频数据缺失了3帧图像，即为缺失帧高分辨率图像。

在本发明实施例中，根据得到的高帧率高分辨率的第一视频数据，确定该第二视频数据中相对于高帧率高分辨率的第一视频数据的缺失帧高分辨率图像，将确定的缺失帧高分辨率图像***到该第二视频数据中，从而可以恢复第二视频数据的帧率，将低帧率高分辨率的第二视频数据恢复为高帧率高分辨率的第二视频数据，也即处理后的第二视频数据为高帧率高分辨率的第二视频数据，如图4所示。

图4为本发明实施例提供的高帧率高分辨率的第一视频数据和高帧率高分辨率的第二视频数据对比示意图，在图4中，由于第一视频数据和第二视频数据均已恢复为高帧率高分辨率，因此相同时间内两路视频数据所包含的图像的帧数相同，两路视频数据所包含的图像的分辨率也相同。

S105：基于得到的高帧率高分辨率的第一视频数据和高帧率高分辨率的第二视频数据进行后续处理。

在上述过程中，视频处理装置接收高帧率低分辨率的第一视频数据，以及低帧率高分辨率的第二视频数据，并根据第二视频数据中的每帧高分辨率图像，恢复第一视频数据中各图像的分辨率，得到高帧率高分辨率的第一视频数据，再根据得到的高帧率高分辨率的第一视频数据，恢复第二视频数据的帧率，得到高帧率高分辨率的第二视频数据，基于得到的高帧率高分辨率的第一视频数据和高帧率高分辨率的第二视频数据进行后续处理。通过上述方法，可以在采集3D视频时，降低一路视频数据的分辨率以及另一路视频数据的帧率，并且在处理采集到的两路视频数据时，将两路视频数据恢复为高帧率高分辨率，因此可以在保证3D视频的显示质量的同时，降低3D视频的数据量，节省了存储资源。并且由于本发明实施例降低了3D视频的数据量，因此在传输该3D视频时，也不需要很大的带宽，因此也节省了网络带宽资源。

在图2所示的过程中，步骤S102和S103是恢复高帧率低分辨率的第一视频数据的分辨率的过程，也即将高帧率低分辨率的第一视频数据恢复为高帧率高分辨率的第一视频数据的过程。步骤S104是恢复低帧率高分辨率的第二视频数据的帧率的过程，也即将低帧率高分辨率的第二视频数据恢复为高帧率高分辨率的第二视频数据的过程。下面分别对这两个过程进行详细说明。

在恢复高帧率低分辨率的第一视频数据的分辨率时，需要先将第一视频数据中的同步帧低分别率图像恢复为同步帧高分辨率图像，再将非同步帧低分辨率图像恢复为非同步帧高分辨率图像。

在本申请实施例中，将第一视频数据中的同步帧低分辨率图像恢复为同步帧高分辨率图像的方法具体为：将与第二视频数据中的图像(第二视频数据中的高分辨率图像)对应的同步帧图像(同步帧低分辨率图像)进行上采样处理，上采样后的同步帧图像的尺寸与该第二视频数据中的图像的尺寸相同；确定该第二视频数据中的图像与上采样后的同步帧图像的视差，基于确定的视差以及该第二视频数据中的图像，将上采样后的同步帧图像的分辨率处理为与该第二视频数据中的图像的分辨率相同。

上述将同步帧低分辨率图像恢复为同步帧高分辨率图像的过程中，由于第一视频数据和第二视频数据是由两个采集设备分别在同一采集目标的不同角度采集到的，因此对于第二视频数据中的高分辨率图像而言，该采集目标在该高分辨率图像中的相对位置，与该采集目标在第一视频数据中与该高分辨率图像对应的同步帧低分辨率图像中的相对位置有所不同。以图2为例进行说明，第一视频数据是采集设备A在采集目标的左视角采集的，而第二视频数据是采集设备B在采集目标的右视角采集的，因此该采集目标在第二视频数据中的某一帧图像中的相对位置，与该采集目标在第一视频数据中对应的同步帧图像中的相对位置有所不同。采集目标在这两帧图像中相对位置的差异就是这两帧图像的视差。

而为了确定第一视频数据中该同步帧低分辨率图像与第二视频数据中的该高分辨率图像的视差，则需要先将同步帧低分辨率图像的尺寸进行上采样处理，使上采样后的同步帧低分辨率图像的尺寸与高分辨率图像的尺寸相同，其中，对同步帧低分辨率图像进行上采样处理可以具体是插值上采样处理。在将同步帧低分辨率图像的尺寸处理为与高分辨率图像的尺寸相同后，就可以确定该高分辨率图像与上采样后的同步帧低分辨率图像的视差。

本发明实施例中为了提高确定的视差的准确性，在确定第二视频数据中的该图像与上采样后的同步帧图像的视差时，先将该第二视频数据中的图像(高分辨率图像)进行下采样处理，下采样后的图像的尺寸与采集的第一视频数据中对应的同步帧图像(同步帧低分辨率图像)的尺寸相同，再将该下采样后的图像进行上采样处理，依次经过下采样和上采样后的图像的尺寸与上采样后的同步帧图像的尺寸相同；通过图像校准和立体匹配的方法确定该依次经过下采样和上采样后的图像与该上采样后的同步帧图像的视差，作为确定的该第二视频数据中的图像与上采样后的同步帧图像的视差。其中，先将第二视频数据中的该高分辨率图像进行下采样处理的目的是为了降低该高分辨率图像的分辨率，使其与同步帧低分辨率图像的分辨率相同，再将下采样后的图像进行上采样处理是为了将降低了分辨率的图像的尺寸再次恢复为原始高分辨率图像的尺寸，也即尺寸与经过上采样处理后的同步帧低分辨率图像相同。这样，第一视频数据中经过上采样后的同步帧低分辨率图像以及第二视频数据中依次经过下采样和上采样后的图像就具有了相同的尺寸和相同的分辨率，在相同尺寸和相同分辨率的情况下确定两帧图像的视差可以提高确定的视差的准确性。

采用上述方法确定了上采样后的同步帧低分辨率图像以及依次经过下采样和上采样后的高分辨率图像的视差之后，基于确定的视差以及第二视频数据中原始的该高分辨率图像(未经过下采样和上采样的高分辨率图像)，将上采样后的同步帧图像的分辨率处理为与第二视频数据中原始的该高分辨率图像的分辨率相同的方法具体为：确定依次经过下采样和上采样后的图像中各像素点的像素值，确定第二视频数据中的图像(未经过下采样和上采样的高分辨率图像)中各像素点的像素值与依次经过下采样和上采样后的图像中相应各像素点的像素值的差值，作为该第二视频数据中的图像中各像素点的高频分量；基于确定的视差，确定该第二视频数据中的图像中各像素点与该上采样后的同步帧图像(上采样后的同步帧低分辨率图像)中各像素点的对应关系；根据确定的对应关系，将该上采样后的同步帧图像中各像素点的像素值增加该第二视频数据中的图像中对应的像素点的高频分量，得到分辨率与该第二视频中原始的图像的分辨率相同的同步帧图像，即得到同步帧高分辨率图像。

在上述过程中，依次经过下采样和上采样后的图像中各像素点的像素值即为第二视频数据中原始的高分辨率图像中各像素点的低频分量，而该高分辨率图像中各像素点的像素值为高频分量与低频分量的和值，因此，该高分辨率图像中各像素点的像素值与依次经过下采样和上采样后的图像中相应各像素点的像素值的差值即为该高分辨率图像中各像素点的高频分量。由于上采样后的同步帧低分辨率图像与该高分辨率图像的视差已经确定，因此可以据此确定该高分辨率图像中各像素点与上采样后的同步帧低分辨率图像中各像素点的对应关系，再基于该对应关系，将该高分辨率图像中各像素点的高频分量叠加到上采样后的同步帧低分辨率图像中相应的像素点上，即可得到处理后的同步帧图像，处理后的同步帧图像即为同步帧高分辨率图像。当然，也可以通过低通滤波和高通滤波的方法确定第二视频数据中原始的高分辨率图像中各像素点的低频分量和高频分量。

至此，已将第一视频数据中的各个同步帧低分别率图像恢复为同步帧高分辨率图像，下面说明恢复第一视频数据中的异步帧低分辨率图像的分辨率的过程。

本发明实施例中在恢复第一视频数据中各异步帧低分辨率图像的分辨率时，是基于第一视频数据中已经恢复的同步帧高分辨率图像进行恢复的。具体为：将异步帧图像(异步帧低分辨率图像)进行上采样处理，上采样后的异步帧图像的尺寸与处理后的同步帧图像(同步帧高分辨率图像)的尺寸相同；将上采样后的异步帧图像划分为若干个像素宏块，针对划分的每个像素宏块执行：通过运动估计的方法，在指定的处理后的同步帧图像中确定与该像素宏块最接近的像素宏块，将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量。也即，在恢复异步帧低分辨率图像的分辨率时，根据指定的同步帧高分辨率图像，分别恢复该异步帧低分辨率图像中每个像素宏块的分辨率，得到异步帧高分辨率图像。

其中，指定的处理后的同步帧图像为：第一视频数据中位于该异步帧图像之前最近的处理后的同步帧图像，以及位于该异步帧图像之后最近的处理后的同步帧图像中的至少一个。与划分的像素宏块最接近的像素宏块为：所包含的各像素点的像素值与划分的像素宏块中各像素点的像素值的最小绝对误差和值或最小均方误差值最小的像素宏块。

也即，将第一视频数据中每个同步帧低分辨率图像恢复为同步帧高分辨率图像后，针对第一视频数据中的异步帧低分辨率图像，先将该异步帧低分辨率图像的尺寸上采样处理为与同步帧高分辨率图像的尺寸相同，再将上采样后的异步帧低分辨率图像划分为若干个像素宏块，针对划分的每个像素宏块，通过运动估计的方法，在与该异步帧低分辨率图像两侧最近的同步帧高分辨率图像中，确定与该像素宏块最接近的像素宏块，将确定的最接近的像素宏块中各像素点的高频分量叠加到划分的该像素宏块中相应的各像素点上。将划分的每个像素宏块都执行上述操作后，即可将该异步帧低分辨率图像恢复为异步帧高分辨率图像。

在本发明实施例中，为了提高恢复异步帧低分辨率图像的分辨率的准确性，以提高3D视频的显示质量，在上述过程中，针对划分的每个像素宏块，将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量之前，还要根据划分的像素宏块以及确定的与其最接近的像素宏块，确定划分的像素宏块相对于与其最接近的像素宏块的运动向量，根据确定的运动向量确定划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，根据划分的像素宏块中各像素点的像素值、该最接近的像素宏块中各像素点的像素值、划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，确定划分的像素宏块与该最接近的像素宏块的差异率。

在确定差异率时，可以通过公式

确定划分的该像素宏块与该最接近的像素宏块的差异率，其中，T(i，j)为划分的该像素宏块中第i行第j列的像素点的像素值，R(i，j)为该最接近的像素宏块中第i行第j列的像素点的像素值，其中，划分的该像素宏块中第i行第j列的像素点与该最接近的像素宏块中第i行第j列的像素点具有对应关系，SAD_norm(T，R)为确定的划分的该像素宏块与该最接近的像素宏块的差异率。可见，确定的差异率越小，说明划分的该像素宏块与该最接近的像素宏块越相似。

确定了差异率后，则可以根据确定的差异率将划分的该像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量。具体可以分为以下两种情况：

情况一：当确定的差异率小于设定差异率阈值时，说明划分的该像素宏块与该最接近的像素宏块相似度很高，因此可以直接将划分的该像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量；

情况二：当确定的差异率不小于设定差异率阈值时，说明划分的该像素宏块与该最接近的像素宏块相似度并不高，因此需要根据该最接近的像素宏块，以及该最接近的像素宏块所在的处理后的同步帧图像(同步帧高分辨率图像)中与该最接近的像素宏块相邻的其他像素宏块来共同恢复划分的该像素宏块的分辨率。具体为：在该最接近的像素宏块所在的同步帧高分辨率图像中，确定与该最接近的像素宏块相邻的各相邻像素宏块；针对该最接近的像素宏块中的每个像素点，根据该像素点在该最接近的像素宏块中的位置，确定各相邻像素宏块中相应位置上的各像素点的高频分量，根据为该最近接的像素宏块中的该像素点设定的权值，以及为各相邻像素宏块中相应位置上的各像素点设定的权值，将该像素点的高频分量与各相邻像素宏块中相应位置上的各像素点的高频分量的加权平均值，重新确定为该最接近的像素宏块中该像素点的高频分量；将划分的该像素宏块中各像素点的像素值增加与其最接近的像素宏块中重新确定的各像素点的高频分量。

其中，在该最接近的像素宏块所在的同步帧高分辨率图像中，确定的与该最接近的像素宏块相邻的各相邻像素宏块包括：该最接近的像素宏块所在的同步帧高分辨率图像中位于该最接近的像素宏块上侧、下侧、左侧、右侧的像素宏块。针对该最接近的像素宏块中的每个像素点，可以采用公式

重新确定的该像素点的高频分量，其中，n表示该最接近的像素宏块以及各相邻像素宏块(位于该最接近的像素宏块上侧、下侧、左侧、右侧的4个像素宏块)这5个像素宏块中的第n个像素宏块，W_n(i，j)表示为第n个像素宏块中第i行第j列的像素点设定的权值，B_n(i，j)表示第n个像素宏块中第i行第j列的像素点的高频分量，B_new(i，j)为重新确定的该最接近的像素宏块中第i行第j列的像素点的高频分量。

采用上述方法重新确定该最接近的像素宏块中每个像素点的像素值后，则可以将划分的像素宏块中各像素点的像素值增加该最接近的像素宏块中重新确定的各像素点的高频分量，以恢复划分的该像素宏块的分辨率。

当然，确定了差异率后，根据确定的差异率将划分的该像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量时，也可以设定两个差异率阈值，即第一差异率阈值和第二差异率阈值，其中，第一差异率阈值小于第二差异率阈值。当确定的差异率小于第一差异率阈值时，按照上述情况一执行相应操作。当确定的差异率不小于第一差异率阈值且小于第二差异率阈值时，按照上述情况二执行相应操作。当确定的差异率不小于第二差异率阈值时，说明划分的该像素宏块与确定的该最接近的像素宏块的相似度较低，即使通过该最接近的像素宏块以及与该最接近的像素宏块相邻的各相邻像素宏块共同恢复划分的该像素宏块的分辨率，其恢复效果也不佳，因此直接将划分的该像素宏块作为恢复分辨率后的像素宏块即可。

图5为本发明实施例提供的将高帧率低分辨率的第一视频数据恢复为高帧率高分辨率的第一视频数据的详细过程，具体包括以下步骤：

S501：针对该第二视频数据中的每帧高分辨率图像，在该高帧率低分辨率的第一视频数据中确定与该高分辨率图像对应的同步帧低分辨率图像。

S502：将该同步帧低分辨率图像进行上采样处理，上采样后的同步帧低分辨率图像的尺寸与该高分辨率图像的尺寸相同。

S503：将该高分辨率图像进行下采样处理，下采样后的高分辨率图像的尺寸与未经过上采样处理的同步帧低分辨率图像的尺寸相同。

S504：将该下采样后的高分辨率图像进行上采样处理，依次经过下采样和上采样后的高分辨率图像的尺寸与上采样后的同步帧低分辨率图像的尺寸相同。

S505：通过图像校准和立体匹配的方法确定依次经过下采样和上采样后的高分辨率图像与上采样后的同步帧低分辨率图像的视差，作为确定的该高分辨率图像与上采样后的同步帧低分辨率图像的视差。

S506：确定依次经过下采样和上采样后的高分辨率图像中各像素点的像素值，确定未经处理的该高分辨率图像中各像素点的像素值与依次经过下采样和上采样后的高分辨率图像中相应各像素点的像素值的差值，作为未经处理的该高分辨率图像中各像素点的高频分量。

S507：基于确定的视差，确定未经处理的该高分辨率图像中各像素点与上采样后的同步帧低分辨率图像中各像素点的对应关系。

S508：根据确定的对应关系，将上采样后的同步帧低分辨率图像中各像素点的像素值增加未经处理的该高分辨率图像中对应的像素点的高频分量，得到同步帧高分辨率图像。

S509：将异步帧低分辨率图像进行上采样处理，处理后的异步帧低分辨率图像的尺寸与同步帧高分辨率图像的尺寸相同。

S510：将上采样后的异步帧低分辨率图像划分为若干个像素宏块，针对每个像素宏块执行下述步骤S511～S520。

S511：通过运动估计的方法，在指定的同步帧高分辨率图像中确定与该像素宏块最接近的像素宏块。

其中，指定的同步帧高分辨率图像为：第一视频数据中位于该异步帧低分辨率图像之前最近的同步帧高分辨率图像，以及位于该异步帧低分辨率图像之后最近的同步帧高分辨率图像中的至少一个。与划分的该像素宏块最接近的像素宏块为：所包含的各像素点的像素值与划分的该像素宏块中各像素点的像素值的最小绝对误差和值或最小均方误差值最小的像素宏块。

S512：根据划分的该像素宏块以及确定的与其最接近的像素宏块，确定划分的该像素宏块相对于与其最接近的像素宏块的运动向量。

S513：根据确定的运动向量确定划分的该像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系。

S514：根据划分的该像素宏块中各像素点的像素值、该最接近的像素宏块中各像素点的像素值、划分的该像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，确定划分的该像素宏块与该最接近的像素宏块的差异率。

S515：判断确定的差异率是否小于设定差异率阈值，若是，则执行步骤S516，否则执行步骤S517。

S516：将划分的该像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量。

S517：在该最接近的像素宏块所在的同步帧高分辨率图像中，确定与该最接近的像素宏块相邻的各相邻像素宏块。

S518：针对该最接近的像素宏块中的每个像素点，根据该像素点在该最接近的像素宏块中的位置，确定各相邻像素宏块中相应位置上的各像素点的高频分量。

S519：根据为该最近接的像素宏块中的该像素点设定的权值，以及为各相邻像素宏块中相应位置上的各像素点设定的权值，将该像素点的高频分量与各相邻像素宏块中相应位置上的各像素点的高频分量的加权平均值，重新确定为该最接近的像素宏块中该像素点的高频分量。

S520：将划分的该像素宏块中各像素点的像素值增加与其最接近的像素宏块中重新确定的各像素点的高频分量。

图5所示的步骤S501～S508为根据第二视频数据中的高分辨率图像恢复高帧率低分辨率的第一视频数据中的同步帧低分辨率图像的过程，步骤S509～S520为根据恢复的同步帧高分辨率图像恢复第一视频数据中的异步帧低分辨率图像的过程。

至此，已将第一视频数据中的每帧低分辨率图像(包括同步帧低分辨率图像和异步帧低分辨率图像)恢复为高分辨率图像(包括恢复的同步帧高分辨率图像和异步帧高分辨率图像)，进而得到了如图3所示的高帧率高分辨率的第一视频数据。

下面说明恢复低帧率高分辨率的第二视频数据的帧率的过程。

在本发明实施例中，恢复低帧率高分辨率的第二视频数据是根据已经得到的高帧率高分辨率的第一视频数据进行恢复的，其核心思想是：基于得到的高帧率高分辨率的第一视频数据，确定低帧率高分辨率的第二视频数据中相对于该高帧率高分辨率的第一视频数据的缺失帧图像，将确定的缺失帧图像***到第二视频数据中，即可恢复第二视频数据的帧率。

具体的，针对第二视频数据中两帧相邻的图像(两帧相邻的高分辨率图像)，在处理后的第一视频数据(高帧率高分辨率的第一视频数据)中，确定分别与该两帧相邻的图像对应的两帧处理后的同步帧图像(同步帧高分辨率图像)，将处理后的第一视频数据中位于确定的两帧处理后的同步帧图像之间的处理后的异步帧图像(异步帧高分辨率图像)，确定为该第二视频数据中该两帧相邻的图像之间的待调整缺失帧图像，分别确定该两帧相邻的图像与对应的处理后的同步帧图像的视差，根据确定的该两帧相邻的与对应的处理后的同步帧图像的视差，确定每个待调整缺失帧图像需要进行调整的视差，根据确定的每个待调整缺失帧图像需要进行调整的视差，调整待调整缺失帧图像，得到调整后的缺失帧图像。

由于处理后的第一视频数据中的图像是高分辨率图像，第二视频数据中的图像也是高分辨率图像，因此确定的第二视频数据中相对于高帧率高分辨率的第一视频数据的缺失帧图像同样也是高分辨率图像，也即确定的是缺失帧高分辨率图像。

得到第二视频数据中该两帧相邻的图像之间的调整后的缺失帧高分辨率图像后，则可以将缺失帧高分辨率图像***到该两帧相邻的图像中。针对低帧率高分辨率的第二视频数据中的每两帧相邻的高分辨率图像都执行上述操作后，即可恢复第二视频数据的帧率，得到高帧率高分辨率的第二视频数据。

在上述过程中，根据确定的该两帧相邻的图像与对应的同步帧高分辨率图像的视差，确定待调整缺失帧图像需要进行调整的视差的方法具体为：采用公式

确定每个待调整缺失帧图像需要进行调整的视差，其中，D_s1为该两帧相邻的图像中排序在前的图像与其对应的同步帧高分辨率图像的视差，D_s2为该两帧相邻的图像中排序在后的图像与其对应的同步帧高分辨率图像的视差，m表示该两帧相邻的图像之间有m帧待调整缺失帧图像，D_n为该两帧相邻的图像之间的第n帧待调整缺失帧图像需要进行调整的视差。

图6为本发明实施例提供的将低帧率高分辨率的第二视频数据恢复为高帧率高分辨率的第二视频数据的详细过程，具体包括以下步骤：

S601：针对第二视频数据中每两帧相邻的高分辨率图像，在得到的高帧率高分辨率的第一视频数据中，确定分别与该两帧相邻的高分辨率图像对应的两帧同步帧高分辨率图像。

图7为本发明实施例提供的确定第二视频数据中两帧相邻的高分辨率图像之间的缺失帧高分辨率图像的示意图。在图7中，得到的高帧率高分辨率的第一视频数据包括图像A1、图像A2、图像A3、图像A4、图像A5，低帧率高分辨率的第二视频数据中包括图像B1、图像B2。如图7所示，高帧率高分辨率的第一视频数据中与第二视频数据中的图像B1对应的同步帧高分辨率图像为图像A1，与第二视频数据中的图像B2对应的是图像A5。需要说明的是，由于此时已经恢复了第一视频数据的分辨率，因此图7中高帧率高分辨率的第一视频数据中每帧图像的分辨率和尺寸，与低帧率高分辨率的第二视频数据中每帧图像的分辨率和尺寸相同。

S602：将得到的高帧率高分辨率的第一视频数据中位于确定的该两帧同步帧高分辨率图像之间的每个异步帧高分辨率图像，确定为该第二视频数据中该两帧相邻的高分辨率图像之间的待调整缺失帧图像。

继续以图7为例进行说明，在图7中，高帧率高分辨率的第一视频数据中图像A2、图像A3、图像A4即为确定的第二视频数据中图像B1和图像B2之间的待调整缺失帧高分辨率图像。

S603：分别确定该两帧相邻的高分辨率图像与对应的同步帧高分辨率的视差。

继续以图7为例进行说明，也即，确定图像B1与图像A1的视差，确定图像B2与图像A5的视差，确定视差时同样可以通过图像校准和立体匹配的方法进行确定。

S604：根据确定的该两帧相邻的高分辨率图像与该两帧同步帧高分辨率图像中对应的同步帧高分辨率图像的视差，确定每个待调整缺失帧图像需要进行调整的视差。

继续以图7为例进行说明，采用公式

确定每个待调整缺失帧图像需要进行调整的视差时，D_s1为图像A1与图像B1的视差，D_s2为图像A5与图像B2的视差，由于存在3帧待调整缺失帧高分辨率图像(图像A2、图像A3、图像A4)，因此m为3，则图像A2需要调整的视差为

图像A3需要调整的视差为图像A4需要调整的视差为 $D_{s1}+\frac{3(D_{s2}-D_{s1})}{4}.$

S605：根据确定的每个待调整缺失帧图像需要进行调整的视差，相应调整每个待调整缺失帧图像，得到每个调整后的缺失帧高分辨率图像。

继续以图7为例进行说明，确定了图像A2、图像A3、图像A4需要进行调整的视差后，则基于确定的视差相应调整图像A2、图像A3、图像A4，具体调整的方法可以是基于确定的视差将待调整缺失帧图像进行相应的平移操作，得到调整后的图像A2’、图像A3’、图像A4’。

S606：将调整后的缺失帧高分辨率图像***到该两帧相邻的高分辨率图像中。

继续以图7为例进行说明，得到图像A2’、图像A3’、图像A4’后，则将图像A2’、图像A3’、图像A4’按照之前在高帧率高分辨率的第一视频数据中的排序顺序进行排序，将排序后的图像A2’、图像A3’、图像A4’***到第二视频数据中的图像B1和图像B2之前，进而恢复低帧率高分辨率的第二视频数据的帧率，得到高帧率高分辨率的第二视频数据。

至此，已将低帧率高分辨率的第二视频数据恢复为高帧率高分辨率的第二视频数据，进而得到了如图4所示的高帧率高分辨率的第二视频数据。

在后续步骤中，则可以基于得到的同样为高帧率高分辨率的第一视频数据和第二视频数据进行后续处理。

当然，本发明实施例中上述恢复低分辨率视频数据的分辨率的方法，以及恢复低帧率视频数据的帧率的方法同样适用于两路以上视频数据的场景。当存在多路视频数据时，可以采用其中分辨率最高的视频数据恢复其他视频数据的分辨率，采用其中帧率最高的视频数据恢复其他视频数据的帧率，因此同样可以降低多路视频数据中某几路视频数据的帧率和/或分辨率，达到在保证3D视频的显示质量的同时，降低3D视频的数据量的目的。

基于上述同样的思路，本发明实施例还提供一种视频处理装置，如图8所示。图8为本发明实施例提供的视频处理装置结构示意图，具体包括：

接收模块801，用于接收第一视频数据和第二视频数据，所述第一视频数据的帧率高于所述第二视频数据的帧率，所述第一视频数据中的图像的分辨率低于所述第二视频数据中的图像的分辨率；

分辨率恢复模块802，用于在所述第一视频数据中确定与所述第二视频数据中的图像对应的同步帧图像，基于所述第二视频数据中的图像，将对应的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同，根据处理后的同步帧图像，将所述第一视频数据中的异步帧图像的分辨率处理为与处理后的同步帧图像的分辨率相同，得到处理后的第一视频数据；

帧率恢复模块803，用于根据所述处理后的第一视频数据，确定所述第二视频数据中相对于所述处理后的第一视频数据的缺失帧图像，将确定的缺失帧图像***到所述第二视频数据中，得到处理后的第二视频数据；

处理模块804，用于基于所述处理后的第一视频数据和所述处理后的第二视频数据进行后续处理。

所述分辨率恢复模块802具体包括：

同步帧确定单元8021，用于采用公式

确定第一视频数据中与所述第二视频数据中的图像对应的同步帧图像，其中a为所述第一视频数据的帧率，b为所述第二视频数据的帧率，M表示所述第二视频数据中的第M帧图像，N表示所述第一视频数据中的第N帧图像为所述第二视频数据中的第M帧图像对应的同步帧图像，

表示以四舍五入的方式对

进行取整。

所述分辨率恢复模块802具体包括：

同步帧恢复单元8022，用于将所述对应的同步帧图像进行上采样处理，上采样后的同步帧图像的尺寸与所述第二视频数据中的图像的尺寸相同，确定所述第二视频数据中的图像与上采样后的同步帧图像的视差，基于确定的视差以及所述第二视频数据中的图像，将上采样后的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同。

所述同步帧恢复单元8022具体用于，将所述第二视频数据中的图像进行下采样处理，下采样后的图像的尺寸与所述对应的同步帧图像的尺寸相同，将所述下采样后的图像进行上采样处理，依次经过下采样和上采样后的图像的尺寸与所述上采样后的同步帧图像的尺寸相同，通过图像校准和立体匹配的方法确定所述依次经过下采样和上采样后的图像与所述上采样后的同步帧图像的视差，作为确定的所述第二视频数据中的图像与上采样后的同步帧图像的视差。

所述同步帧恢复单元8022具体用于，确定所述依次经过下采样和上采样后的图像中各像素点的像素值，确定所述第二视频数据中的图像中各像素点的像素值与所述依次经过下采样和上采样后的图像中相应各像素点的像素值的差值，作为所述第二视频数据中的图像中各像素点的高频分量，基于确定的视差，确定所述第二视频数据中的图像中各像素点与所述上采样后的同步帧图像中各像素点的对应关系，根据确定的对应关系，将所述上采样后的同步帧图像中各像素点的像素值增加所述第二视频数据中的图像中对应的像素点的高频分量，得到分辨率与所述第二视频数据中的图像的分辨率相同的同步帧图像。

所述分辨率恢复模块802具体包括：

异步帧恢复单元8023，用于将所述异步帧图像进行上采样处理，上采样后的异步帧图像的尺寸与处理后的同步帧图像的尺寸相同，将上采样后的异步帧图像划分为若干个像素宏块，针对划分的每个像素宏块，通过运动估计的方法，在指定的处理后的同步帧图像中确定与划分的像素宏块最接近的像素宏块，将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量；其中，所述指定的处理后的同步帧图像为：所述第一视频数据中位于所述异步帧图像之前最近的处理后的同步帧图像，以及位于所述异步帧图像之后最近的处理后的同步帧图像中的至少一个；与划分的像素宏块最接近的像素宏块为：所包含的各像素点的像素值与划分的像素宏块中各像素点的像素值的最小绝对误差和值或最小均方误差值最小的像素宏块。

所述异步帧恢复单元8023还用于，在将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量之前，根据划分的像素宏块以及确定的与其最接近的像素宏块，确定划分的像素宏块相对于与其最接近的像素宏块的运动向量，根据确定的运动向量确定划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，根据划分的像素宏块中各像素点的像素值、该最接近的像素宏块中各像素点的像素值、划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，确定划分的像素宏块与该最接近的像素宏块的差异率；在将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量时，若确定的差异率小于设定差异率阈值，则将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量，若确定的差异率不小于设定差异率阈值，则在该最接近的像素宏块所在的处理后的同步帧图像中，确定与该最接近的像素宏块相邻的各相邻像素宏块，针对该最接近的像素宏块中的像素点，根据该像素点在该最接近的像素宏块中的位置，确定各相邻像素宏块中相应位置上的各像素点的高频分量，根据为该最接近的像素宏块中的该像素点设定的权值，以及为各相邻像素宏块中相应位置上的各像素点设定的权值，将该像素点的高频分量与各相邻像素宏块中相应位置上的各像素点的高频分量的加权平均值，重新确定为该最接近的像素宏块中该像素点的高频分量，将划分的像素宏块中各像素点的像素值增加与其最接近的像素宏块中重新确定的各像素点的高频分量。

所述帧率恢复模块803具体用于，针对所述第二视频数据中两帧相邻的图像，在所述处理后的第一视频数据中，确定分别与该两帧相邻的图像对应的两帧处理后的同步帧图像，将所述处理后的第一视频数据中位于确定的两帧处理后的同步帧图像之间的处理后的异步帧图像，确定为所述第二视频数据中该两帧相邻的图像之间的待调整缺失帧图像，分别确定该两帧相邻的图像与对应的处理后的同步帧图像的视差，根据确定的该两帧相邻的图像与对应的处理后的同步帧图像的视差，确定待调整缺失帧图像需要进行调整的视差，根据确定的待调整缺失帧图像需要进行调整的视差，调整待调整缺失帧图像，得到调整后的缺失帧图像。

所述帧率恢复模块803具体用于，采用公式

确定每个待调整缺失帧图像需要进行调整的视差，其中，D_s1为该两帧相邻的图像中排序在前的图像与其对应的处理后的同步帧图像的视差，D_s2为该两帧相邻的图像中排序在后的图像与其对应的处理后的同步帧图像的视差，m表示该两帧相邻的图像之间有m帧待调整缺失帧图像，D_n为该两帧相邻的图像之间的第n帧待调整缺失帧图像需要进行调整的视差。

所述接收模块801具体用于，接收在同一采集目标的不同角度采集到的第一视频数据和第二视频数据。

本发明实施例提供一种视频处理方法及装置，该方法接收高帧率低分辨率的第一视频数据，以及低帧率高分辨率的第二视频数据，并根据第二视频数据中的每帧高分辨率图像，恢复第一视频数据中各图像的分辨率，得到高帧率高分辨率的第一视频数据，再根据得到的高帧率高分辨率的第一视频数据，恢复第二视频数据的帧率，得到高帧率高分辨率的第二视频数据，基于得到的高帧率高分辨率的第一视频数据和高帧率高分辨率的第二视频数据进行后续处理。通过上述方法，可以在采集3D视频时，降低一路视频数据的分辨率以及另一路视频数据的帧率，并且在处理采集到的两路视频数据时，将两路视频数据恢复为高帧率和高分辨率，因此可以在保证3D视频的显示质量的同时，降低3D视频的数据量，节省了存储资源。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种视频处理方法，其特征在于，包括：

接收第一视频数据和第二视频数据，所述第一视频数据的帧率高于所述第二视频数据的帧率，所述第一视频数据中的图像的分辨率低于所述第二视频数据中的图像的分辨率；

在所述第一视频数据中确定与所述第二视频数据中的图像对应的同步帧图像，基于所述第二视频数据中的图像，将对应的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同；

根据处理后的同步帧图像，将所述第一视频数据中的异步帧图像的分辨率处理为与处理后的同步帧图像的分辨率相同，得到处理后的第一视频数据；

根据所述处理后的第一视频数据，确定所述第二视频数据中相对于所述处理后的第一视频数据的缺失帧图像，将确定的缺失帧图像***到所述第二视频数据中，得到处理后的第二视频数据；

基于所述处理后的第一视频数据和所述处理后的第二视频数据进行后续处理。

2.如权利要求1所述的方法，其特征在于，在所述第一视频数据中确定与所述第二视频数据中的图像对应的同步帧图像，具体包括：

采用公式

确定第一视频数据中与所述第二视频数据中的图像对应的同步帧图像，其中a为所述第一视频数据的帧率，b为所述第二视频数据的帧率，M表示所述第二视频数据中的第M帧图像，N表示所述第一视频数据中的第N帧图像为所述第二视频数据中的第M帧图像对应的同步帧图像，

表示以四舍五入的方式对

进行取整。

3.如权利要求1所述的方法，其特征在于，基于所述第二视频数据中的图像，将对应的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同，具体包括：

将所述对应的同步帧图像进行上采样处理，上采样后的同步帧图像的尺寸与所述第二视频数据中的图像的尺寸相同；

确定所述第二视频数据中的图像与上采样后的同步帧图像的视差，基于确定的视差以及所述第二视频数据中的图像，将上采样后的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同。

4.如权利要求3所述的方法，其特征在于，确定所述第二视频数据中的图像与上采样后的同步帧图像的视差，具体包括：

将所述第二视频数据中的图像进行下采样处理，下采样后的图像的尺寸与所述对应的同步帧图像的尺寸相同；

将所述下采样后的图像进行上采样处理，依次经过下采样和上采样后的图像的尺寸与所述上采样后的同步帧图像的尺寸相同；

通过图像校准和立体匹配的方法确定所述依次经过下采样和上采样后的图像与所述上采样后的同步帧图像的视差，作为确定的所述第二视频数据中的图像与上采样后的同步帧图像的视差。

5.如权利要求4所述的方法，其特征在于，基于确定的视差以及所述第二视频数据中的图像，将上采样后的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同，具体包括：

确定所述依次经过下采样和上采样后的图像中各像素点的像素值；

确定所述第二视频数据中的图像中各像素点的像素值与所述依次经过下采样和上采样后的图像中相应各像素点的像素值的差值，作为所述第二视频数据中的图像中各像素点的高频分量；

基于确定的视差，确定所述第二视频数据中的图像中各像素点与所述上采样后的同步帧图像中各像素点的对应关系；

根据确定的对应关系，将所述上采样后的同步帧图像中各像素点的像素值增加所述第二视频数据中的图像中对应的像素点的高频分量，得到分辨率与所述第二视频中的图像的分辨率相同的同步帧图像。

6.如权利要求5所述的方法，其特征在于，根据处理后的同步帧图像，将所述第一视频数据中的异步帧图像的分辨率处理为与处理后的同步帧图像的分辨率相同，具体包括：

将所述异步帧图像进行上采样处理，上采样后的异步帧图像的尺寸与处理后的同步帧图像的尺寸相同；

将上采样后的异步帧图像划分为若干个像素宏块，针对划分的每个像素宏块执行下述步骤：

通过运动估计的方法，在指定的处理后的同步帧图像中确定与划分的像素宏块最接近的像素宏块；

其中，所述指定的处理后的同步帧图像为：所述第一视频数据中位于所述异步帧图像之前最近的处理后的同步帧图像，以及位于所述异步帧图像之后最近的处理后的同步帧图像中的至少一个；与划分的像素宏块最接近的像素宏块为：所包含的各像素点的像素值与划分的像素宏块中各像素点的像素值的最小绝对误差和值或最小均方误差值最小的像素宏块；

将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量。

7.如权利要求6所述的方法，其特征在于，将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量之前，所述方法还包括：

根据划分的像素宏块以及确定的与其最接近的像素宏块，确定划分的像素宏块相对于与其最接近的像素宏块的运动向量；

根据确定的运动向量确定划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系；

根据划分的像素宏块中各像素点的像素值、该最接近的像素宏块中各像素点的像素值、划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，确定划分的像素宏块与该最接近的像素宏块的差异率；

将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量，具体包括：

当确定的差异率小于设定差异率阈值时，将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量；

当确定的差异率不小于设定差异率阈值时，在该最接近的像素宏块所在的处理后的同步帧图像中，确定与该最接近的像素宏块相邻的各相邻像素宏块；

针对该最接近的像素宏块中的像素点，根据该像素点在该最接近的像素宏块中的位置，确定各相邻像素宏块中相应位置上的各像素点的高频分量，根据为该最接近的像素宏块中的该像素点设定的权值，以及为各相邻像素宏块中相应位置上的各像素点设定的权值，将该像素点的高频分量与各相邻像素宏块中相应位置上的各像素点的高频分量的加权平均值，重新确定为该最接近的像素宏块中该像素点的高频分量；

将划分的像素宏块中各像素点的像素值增加与其最接近的像素宏块中重新确定的各像素点的高频分量。

8.如权利要求1所述的方法，其特征在于，根据所述处理后的第一视频数据，确定所述第二视频数据中相对于所述处理后的第一视频数据的缺失帧图像，具体包括：

针对所述第二视频数据中两帧相邻的图像，在所述处理后的第一视频数据中，确定分别与该两帧相邻的图像对应的两帧处理后的同步帧图像；

将所述处理后的第一视频数据中位于确定的两帧处理后的同步帧图像之间的处理后的异步帧图像，确定为所述第二视频数据中该两帧相邻的图像之间的待调整缺失帧图像；

分别确定该两帧相邻的图像与对应的处理后的同步帧图像的视差；

根据确定的该两帧相邻的图像与对应的处理后的同步帧图像的视差，确定待调整缺失帧图像需要进行调整的视差；

根据确定的待调整缺失帧图像需要进行调整的视差，调整待调整缺失帧图像，得到调整后的缺失帧图像。

9.如权利要求8所述的方法，其特征在于，根据确定的该两帧相邻的图像与对应的处理后的同步帧图像的视差，确定待调整缺失帧图像需要进行调整的视差，具体包括：

采用公式

确定每个待调整缺失帧图像需要进行调整的视差，其中，D_s1为该两帧相邻的图像中排序在前的图像与其对应的处理后的同步帧图像的视差，D_s2为该两帧相邻的图像中排序在后的图像与其对应的处理后的同步帧图像的视差，m表示该两帧相邻的图像之间有m帧待调整缺失帧图像，D_n为该两帧相邻的图像之间的第n帧待调整缺失帧图像需要进行调整的视差。

10.如权利要求1所述的方法，其特征在于，接收第一视频数据和第二视频数据，具体包括：

接收在同一采集目标的不同角度采集到的第一视频数据和第二视频数据。

11.一种视频处理装置，其特征在于，包括：

接收模块，用于接收第一视频数据和第二视频数据，所述第一视频数据的帧率高于所述第二视频数据的帧率，所述第一视频数据中的图像的分辨率低于所述第二视频数据中的图像的分辨率；

分辨率恢复模块，用于在所述第一视频数据中确定与所述第二视频数据中的图像对应的同步帧图像，基于所述第二视频数据中的图像，将对应的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同，根据处理后的同步帧图像，将所述第一视频数据中的异步帧图像的分辨率处理为与处理后的同步帧图像的分辨率相同，得到处理后的第一视频数据；

帧率恢复模块，用于根据所述处理后的第一视频数据，确定所述第二视频数据中相对于所述处理后的第一视频数据的缺失帧图像，将确定的缺失帧图像***到所述第二视频数据中，得到处理后的第二视频数据；

处理模块，用于基于所述处理后的第一视频数据和所述处理后的第二视频数据进行后续处理。

12.如权利要求11所述的装置，其特征在于，所述分辨率恢复模块具体包括：

同步帧确定单元，用于采用公式

确定第一视频数据中与所述第二视频数据中的图像对应的同步帧图像，其中a为所述第一视频数据的帧率，b为所述第二视频数据的帧率，M表示所述第二视频数据中的第M帧图像，N表示所述第一视频数据中的第N帧图像为所述第二视频数据中的第M帧图像对应的同步帧图像，

表示以四舍五入的方式对进行取整。

13.如权利要求11所述的装置，其特征在于，所述分辨率恢复模块具体包括：

同步帧恢复单元，用于将所述对应的同步帧图像进行上采样处理，上采样后的同步帧图像的尺寸与所述第二视频数据中的图像的尺寸相同，确定所述第二视频数据中的图像与上采样后的同步帧图像的视差，基于确定的视差以及所述第二视频数据中的图像，将上采样后的同步帧图像的分辨率处理为与所述第二视频数据中的图像的分辨率相同。

14.如权利要求13所述的装置，其特征在于，所述同步帧恢复单元具体用于，将所述第二视频数据中的图像进行下采样处理，下采样后的图像的尺寸与所述对应的同步帧图像的尺寸相同，将所述下采样后的图像进行上采样处理，依次经过下采样和上采样后的图像的尺寸与所述上采样后的同步帧图像的尺寸相同，通过图像校准和立体匹配的方法确定所述依次经过下采样和上采样后的图像与所述上采样后的同步帧图像的视差，作为确定的所述第二视频数据中的图像与上采样后的同步帧图像的视差。

15.如权利要求14所述的装置，其特征在于，所述同步帧恢复单元具体用于，确定所述依次经过下采样和上采样后的图像中各像素点的像素值，确定所述第二视频数据中的图像中各像素点的像素值与所述依次经过下采样和上采样后的图像中相应各像素点的像素值的差值，作为所述第二视频数据中的图像中各像素点的高频分量，基于确定的视差，确定所述第二视频数据中的图像中各像素点与所述上采样后的同步帧图像中各像素点的对应关系，根据确定的对应关系，将所述上采样后的同步帧图像中各像素点的像素值增加所述第二视频数据中的图像中对应的像素点的高频分量，得到分辨率与所述第二视频数据中的图像的分辨率相同的同步帧图像。

16.如权利要求15所述的装置，其特征在于，所述分辨率恢复模块具体包括：

异步帧恢复单元，用于将所述异步帧图像进行上采样处理，上采样后的异步帧图像的尺寸与处理后的同步帧图像的尺寸相同，将上采样后的异步帧图像划分为若干个像素宏块，针对划分的每个像素宏块，通过运动估计的方法，在指定的处理后的同步帧图像中确定与划分的像素宏块最接近的像素宏块，将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量；其中，所述指定的处理后的同步帧图像为：所述第一视频数据中位于所述异步帧图像之前最近的处理后的同步帧图像，以及位于所述异步帧图像之后最近的处理后的同步帧图像中的至少一个；与划分的像素宏块最接近的像素宏块为：所包含的各像素点的像素值与划分的像素宏块中各像素点的像素值的最小绝对误差和值或最小均方误差值最小的像素宏块。

17.如权利要求16所述的装置，其特征在于，所述异步帧恢复单元还用于，在将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量之前，根据划分的像素宏块以及确定的与其最接近的像素宏块，确定划分的像素宏块相对于与其最接近的像素宏块的运动向量，根据确定的运动向量确定划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，根据划分的像素宏块中各像素点的像素值、该最接近的像素宏块中各像素点的像素值、划分的像素宏块中各像素点与该最接近的像素宏块中各像素点的对应关系，确定划分的像素宏块与该最接近的像素宏块的差异率；在将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量时，若确定的差异率小于设定差异率阈值，则将划分的像素宏块中各像素点的像素值增加确定的与其最接近的像素宏块中各像素点的高频分量，若确定的差异率不小于设定差异率阈值，则在该最接近的像素宏块所在的处理后的同步帧图像中，确定与该最接近的像素宏块相邻的各相邻像素宏块，针对该最接近的像素宏块中的像素点，根据该像素点在该最接近的像素宏块中的位置，确定各相邻像素宏块中相应位置上的各像素点的高频分量，根据为该最接近的像素宏块中的该像素点设定的权值，以及为各相邻像素宏块中相应位置上的各像素点设定的权值，将该像素点的高频分量与各相邻像素宏块中相应位置上的各像素点的高频分量的加权平均值，重新确定为该最接近的像素宏块中该像素点的高频分量，将划分的像素宏块中各像素点的像素值增加与其最接近的像素宏块中重新确定的各像素点的高频分量。

18.如权利要求11所述的装置，其特征在于，所述帧率恢复模块具体用于，针对所述第二视频数据中两帧相邻的图像，在所述处理后的第一视频数据中，确定分别与该两帧相邻的图像对应的两帧处理后的同步帧图像，将所述处理后的第一视频数据中位于确定的两帧处理后的同步帧图像之间的处理后的异步帧图像，确定为所述第二视频数据中该两帧相邻的图像之间的待调整缺失帧图像，分别确定该两帧相邻的图像与对应的处理后的同步帧图像的视差，根据确定的该两帧相邻的图像与对应的处理后的同步帧图像的视差，确定待调整缺失帧图像需要进行调整的视差，根据确定的待调整缺失帧图像需要进行调整的视差，调整待调整缺失帧图像，得到调整后的缺失帧图像。

19.如权利要求18所述的装置，其特征在于，所述帧率恢复模块具体用于，采用公式

确定每个待调整缺失帧图像需要进行调整的视差，其中，D_s1为该两帧相邻的图像中排序在前的图像与其对应的处理后的同步帧图像的视差，D_s2为该两帧相邻的图像中排序在后的图像与其对应的处理后的同步帧图像的视差，m表示该两帧相邻的图像之间有m帧待调整缺失帧图像，D_n为该两帧相邻的图像之间的第n帧待调整缺失帧图像需要进行调整的视差。

20.如权利要求11所述的装置，其特征在于，所述接收模块具体用于，接收在同一采集目标的不同角度采集到的第一视频数据和第二视频数据。

Images