CN110263699A - 视频图像处理方法、装置、设备及存储介质 - Google Patents

视频图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110263699A
CN110263699A CN201910522901.XA CN201910522901A CN110263699A CN 110263699 A CN110263699 A CN 110263699A CN 201910522901 A CN201910522901 A CN 201910522901A CN 110263699 A CN110263699 A CN 110263699A
Authority
CN
China
Prior art keywords
resolution image
frame
image
low
frame low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910522901.XA
Other languages
English (en)
Other versions
CN110263699B (zh
Inventor
郝飞虎
李亮
方俊武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rui Magic Intelligent Technology (shenzhen) Co Ltd
Original Assignee
Rui Magic Intelligent Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rui Magic Intelligent Technology (shenzhen) Co Ltd filed Critical Rui Magic Intelligent Technology (shenzhen) Co Ltd
Priority to CN201910522901.XA priority Critical patent/CN110263699B/zh
Publication of CN110263699A publication Critical patent/CN110263699A/zh
Priority to PCT/CN2019/120817 priority patent/WO2020253103A1/zh
Application granted granted Critical
Publication of CN110263699B publication Critical patent/CN110263699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频图像处理方法、装置、设备及存储介质。其中方法包括：A从视频图像序列中，获取第q帧低分辨率图像并获取位于第q帧低分辨率图像前的N帧低分辨率图像；B确定满足预设条件的M帧低分辨率图像；C确定M帧低分辨率图像分别对应的运动矢量矩阵；D根据运动矢量矩阵对M帧低分辨率图像进行迭代计算得到高分辨率图像矢量；E根据高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对第q帧低分辨率图像进行分辨率优化处理并得到第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕否则返回执行步骤A。该方法提高了视频图像的画面清晰度及视频图像的画质。

Description

视频图像处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种视频图像处理方法、装置、设备及存储介质。
背景技术
现如今，不同种类的电子设备均具备了视频拍摄的功能，使得用户可以随时随地的进行拍摄。实际应用中，利用电子设备拍摄视频时，可通过数码变焦对拍摄物体进行变焦，以达到想要的拍摄效果。然而，由于数码变焦是通过把图像传感器采集的视频图像进行放大，导致放大后的图像像素也被放大，使得变焦后的图像颗粒感严重，清晰度降低。对此，为了解决图像被放大后出现严重的颗粒感和画面模糊的情况。相关技术在视频图像进行数码变焦之后，通过使用线性插值方法对每帧图像进行插值处理，以增加每帧图像的像素数量，使得处理后图像的像素颜色过渡缓和，减轻颗粒感。
然而，上述通过增加图像的像素数量方式，虽然可以减轻图像的颗粒感，但由于新增的像素不属于视频图像的原始像素，使得处理后的图像画面变得模糊不清，甚至造成图像细节丢失，降低了视频图像的质量。
发明内容
本发明实施例提供一种视频图像处理方法、装置、设备及存储介质，提高了视频图像的画面清晰度，使得视频图像在显示时能够突显更多细节，从而提高了视频图像的画质，改善用户体验。
第一方面，本发明实施例提供了一种视频图像处理方法，该方法包括：A、从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；B、根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；C、确定所述M帧低分辨率图像分别对应的运动矢量矩阵；D、根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；E、根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行步骤A,其中w为大于或者等于1的正整数。
第二方面，本发明实施例还提供了一种视频图像处理装置，该装置包括：图像获取模块，用于从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；图像确定模块，用于根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；矩阵确定模块，用于确定所述M帧低分辨率图像分别对应的运动矢量矩阵；矢量计算模块，用于根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；优化处理模块，用于根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行图像获取模块，其中w为大于或者等于1的正整数。
第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，还包括：摄像头，用于采集视频图像；其中，所述处理器执行所述计算机程序时以实现第一方面实施例所述的视频图像处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机程序包括程序指令，该程序指令被处理器执行时以实现第一方面实施例所述的视频图像处理方法。
本发明实施例公开的技术方案，具有如下有益效果：
本发明通过从视频图像序列中，获取位于第q帧低分辨率图像前的N帧低分辨图像，从N帧低分辨率图像中确定满足预设条件的M帧低分辨率图像，并利用M帧低分辨率图像分别对应的运动矢量矩阵对M帧低分辨图像进行迭代处理得到高分辨率图像矢量，根据高分辨率图像矢量对第q帧低分辨率图像进行分辨率优化处理，之后将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像优化处理完毕，否则返回执行上述过程。本发明提高了视频图像的画面清晰度，使得视频图像在显示时能够突显更多细节，从而提高了视频图像的画质，改善用户体验。
附图说明
图1是本发明实施例一提供的一种视频图像处理方法的流程示意图；
图2是本发明实施例一提供的搜索模板的示意图；
图3是本发明实施例一提供的构建十字型模板的示意图；
图4是本发明实施例一提供的MBD点位于搜索模板边缘的检测点的示意图；
图5是本发明实施例一提供的对搜索模板的搜索步长缩减后的示意图；
图6是本发明实施例二提供的一种视频图像处理方法的流程示意图；
图7是本发明实施例三提供的一种视频图像处理方法的流程示意图；
图8是本发明实施例四提供的一种视频图像处理装置的结构示意图；
图9是本发明实施例五提供的一种视频图像处理装置的结构示意图；
图10是本发明实施例六提供的一种视频图像处理装置的结构示意图；
图11是本发明实施例七提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
本发明实施例针对相关技术中，通过增加图像像素数量，减轻图像颗粒感时，使得图像画面变得模糊不清，甚至造成图像细节丢失，降低视频图像的质量问题，提出一种视频图像的处理方法。
本发明实施例，通过从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，以根据N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，并确定M帧低分辨率图像分别对应的运动矢量矩阵，以根据运动矢量矩阵，对M帧低分辨率图像进行迭代计算得到高分辨率图像矢量，然后根据高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对第q帧低分辨率图像进行分辨率优化处理，并在得到第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行上述过程。由此，提高了视频图像的画面清晰度，使得视频图像在显示时能够突显更多细节，从而提高了视频图像的画质，改善用户体验。
下面参考附图描述本发明实施例的视频图像处理方法、装置、设备及存储介质进行详细说明。
实施例一
图1是本发明实施例一提供的一种视频图像处理方法的流程示意图，本发明实施例可适用于对视频图像进行处理，以提高视频图像的清晰度的场景。该方法可由视频图像处理装置来执行，以对视频图像处理过程进行控制，该装置可以由软件和/硬件实现，可集成于计算机设备的内部。在本实施例中，计算机设备可以是任意具有拍摄及数据处理功能的设备，比如智能手机、个人数字化助理等等。该方法具体包括如下：
S101，从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像。其中q、N均为大于或者等于1的正整数。
本发明从第h时刻对应的视频图像序列中，获取第q帧低分辨率图像，并获取位于第q帧低分辨率图像前的N帧低分辨率图像，根据前N帧低分辨率图像对该第q帧低分辨率图像进行优化，以得到高分辨率的图像。其中h为大于或者等于1的正整数。
假设本发明实施例中最终为了获得目标高分辨图像的图像分辨率为A,第q帧低分辨率图像的图像分辨率为a，则N应满足：N2≥A/a。比如一张像素为3*3的低分辨图像，为了达到6*6的高分辨率，那么需要的N应该大于(6*6)/(3*3)的开方，也就是要大于2。
其中，第q帧低分辨率图像可以是预先指定的，此处对其不做具体限定。例如，第13帧低分辨率图像、第20帧低分辨率图像等等。
在本实施例中，N可根据实际处理需求进行相应设置，此处对其不做具体限定。例如，10、15等等。
本发明实施例可以是对视频的实时优化，也可以是对已经录好的视频的优化。实际拍摄视频图像时，通常是利用计算机设备中的图像传感器采集对应的视频画面。因此，本实施例可直接从图像传感器中，获取第h时刻对应的视频图像序列，然后从获取的视频图像序列中，获取第q帧低分辨率图像，之后再根据获取的第q帧低分辨率图像，从所有的视频图像序列中获取位于第q帧低分辨率图像之前的N帧低分辨率图像。
需要说明的是，由于不同类型的计算机设备视频帧率不同，使得本实施例从第h时刻对应的视频图像序列中，获取第q帧低分辨率图像时的第h时刻存在差别。
举例来说，假设计算机设备的视频帧率为60帧/秒(Frames per Second，简称：FPS)，视频总长度为30秒(s)，则可确定该视频图像总共有1800帧低分辨率图像。那么当N＝10，q＝13时，可首先根据确定每隔0.166s就会从1800帧低分辨率图像中获取10帧低分辨率图像，从而当获取第13帧低分辨率图像时，可确定第4帧至第13帧低分辨率图像所对应的时刻为第h时刻。然后根据第13帧低分辨率图像，从所有视频图像序列中，获取位于第13帧低分辨率图像之前的10帧低分辨率图像。
再如，假设计算机设备的视频帧率为30FPS，视频总长度为20s，则确定该视频图像总共有600帧低分辨率图像。那么当N＝10，q＝20时，可首先根据确定每隔0.333s就从600帧低分辨率图像中获取10帧低分辨率图像，从而当获取第20帧低分辨率图像时，可确定第11帧至第20帧低分辨率图像所对应的时刻为第h时刻。然后根据第20帧低分辨率图像，从所有视频图像序列中，获取位于第20帧低分辨率图像之前的10帧低分辨率图像。
S102，根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N。
其中，预设条件可根据拍摄场景进行适应性设置，此处对其不做具体限定。例如，N帧低分辨率图像中各图像帧的相似度是否达到阈值、N帧低分辨率图像中各图像帧的方差是否小于方差阈值等等。
需要说明的是，对于本实施例中，根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像的具体实现过程，将在下面的示例中进行详细说明，此处对其不作过多赘述。
S103，确定所述M帧低分辨率图像分别对应的运动矢量矩阵。
在本实施例中，运动矢量矩阵是指最优运动矢量矩阵。
可选的，本实施例可根据预设的运动估计算法，确定M帧低分辨率图像分别对应的运动矢量矩阵。其中，预设的运动估计算法可包括：全搜索法，钻石搜索法、三步搜索法、四步搜索法、六边形搜索法等。
作为一种可选的实现方式，本实施例可运用有效的三步法搜索法E3SS，对M帧低分辨率图像中各图像帧进行块匹配运动估计，确定M帧低分辨率图像分别对应的运动矢量矩阵。
实际应用中，由于运动矢量的中心偏移特性导致匹配最优结果在中心点的概率最高，中心点周围的上、下、左、右4个相邻点的概率次高，中心点周围的左上、右上、左下、右下四个对角点的概率最低。因此，本实施例中搜索法E3SS的搜索窗口中的搜索模板采用十字形模板。其中，搜索窗口的宽度为5个像素，搜索范围为i±5、j±5，上述i代表搜索模板所包含的列数，j代表搜索模板所包含的行数。同时，设置搜索模板，搜索模板21参见图2所示。其中，搜索模板中共有13个检测点。
在设置搜索窗口及搜索模板之后，本实施例可按照以下执行步骤a～d，确定M帧低分辨率图像分别对应的运动矢量矩阵，具体内容如下：
a、利用绝对误差和算法计算搜索模板中各个检测点的绝对误差和值，并从所有检测点的绝对误差和值中选择最小值作为最小块匹配失真点；
b、判断步骤a中最小块匹配失真点是否位于搜索窗口的中心点位置，若位于搜索窗口的中心点位置，则根据此时最小块匹配失真点所在的位置确定运动矢量矩阵；若最小块匹配失真点位于搜索窗口中心点的相邻检测点时，则执行步骤c；若最小块匹配失真点位于搜索窗口中除中心点及中心点的相邻检测点之外的边缘检测点中的任一检测点，则执行步骤d；
c、以步骤a中的最小块匹配失真点为中心点，选取该中心点上下左右相邻点，构成十字型模板，然后计算该十字型模板中5个检测点的最小块匹配失真点，直至最小块匹配失真点是当前十字型模板的中心点，并根据此时最小块匹配失真点所在的位置确定运动矢量矩阵；或者，直至该十字型模板到达搜索窗口边缘为止，并根据此时最小块匹配失真点所在的位置确定运动矢量矩阵；
d、若步骤a中最小块匹配失真点位于搜索模板边缘的检测点之一时，则将搜索步长减半，重新在新的检测点进行块匹配计算和比较，重复该过程，直至搜索步长为1，根据此时最小块匹配失真点所在位置确定运动矢量矩阵。
为了更清楚的说明上述各个步骤的实现过程，下面以图2所示搜索模板为示例对上述确定M帧低分辨率图像分别对应的运动矢量矩阵的各步骤进行详细描述。
第一步，利用绝对误差和算法，计算搜索模板中13个检测点绝对误差和(Sum ofabsolute differences，简称：SAD)值，并从13个SAD值中选择最小值作为最小块匹配失真(Minimum Block Distortion，简称MBD)点。
其中，绝对误差和算法定义，如下公式(1)：
其中，SAD(i，j)代表绝度误差和值，fk(s,t)代表当前场在(s，t)处的像素值，fk-1(s+i,t+j)代表上一场在(s+i，t+j)处的像素值，m、n代表搜索模板大小。
第二步，判断第一步骤MBD点是否位于搜索窗口的中心点位置，若位于搜索窗口的中心点位置，则搜索结束，根据此时最小块匹配失真点所在的位置确定运动矢量矩阵；若位于搜索窗口中心点的4个相邻检测点时，则执行步骤三；若位于搜索窗口中除中心点及中心点的4个相邻检测点之外的8个检测点中的任一检测点(即，搜索模板边缘的8个检测点之一)，则执行步骤四。
步骤三，以第一步骤MBD点为中心点，选取该中心点上下左右相邻点，构成十字型模板，然后计算该十字型模板中5个检测点的MBD点，直至MBD点是当前十字型模板的中心点，或者，该十字型模板到达搜索窗口边缘为止。
例如，如图3所示，若第一步骤MBD点位于搜索窗口中中心点的左侧相邻点22，则在该左侧相邻点上下左右各取一点，构成十字型模板。
步骤四，若第一步中MBD点位于搜索模板边缘的8个检测点之一时，则将搜索步长减半，重新在新的13个检测点进行块匹配计算和比较，重复该过程，直至步长为1，并将此时该点所在位置，确定为运动矢量矩阵。
例如，如图4所示，若第一步MBD点位于搜索模板边缘的8个检测点中的左边缘中间检测点23时，则将搜索步长减半，得到图5。其中，如图5所示，搜索模板24变为：i±3、j±3。也就是说，将搜索模板边缘的8个检测点缩减两格。
S104，根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量。
其中，高分辨率图像矢量具体是指高分辨率图像矢量。
本实施例中，确定出M帧低分辨率图像分别对应的运动矢量矩阵之后，视频图像处理装置即可根据运动矢量矩阵，利用预设的迭代方法，对M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量。
S105，根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行步骤S101。
其中，w为大于或者等于1的正整数。本实施例中，w可以根据实际应用场景进行适应性设置，此处对其不做具体限定，例如，w可以取1、3、4、6、10等等。W为1时，即为对每一帧低分辨率图像进行优化处理，这样得到的视频清晰度最高，但是对硬件要求也高；w为3、4、6、10等时，即为对视频中的低分辨率图像进行隔帧优化处理，这样既提高视频清晰度、满足了用户对视频高清晰度的要求，也降低了对硬件的要求。
在实际应用中，任一低分辨率图像均通过像素矩阵构成，因此本实施例在获取第q帧低分辨率图像的同时，即可获取到第q帧低分辨率图像的像素矩阵。
本实施例中，在获取到第q帧低分辨率图像的像素矩阵之后，视频图像处理装置即可利用高分辨率图像矢量，对第q帧低分辨率图像对应的像素矩阵中的每一像素进行分辨率优化处理，以得到高分辨率视频图像帧。
进而，在得到第q帧高分辨率视频图像帧之后，本实施例将第q+w帧低分辨率图像作为新的第q帧低分辨率图像进行上述分辨率优化处理，直至得到所有帧低分辨率图像的处理结果，从而得到高分辨率视频图像。
例如，若w为3，q为2，那么当对第3帧低分辨率图像进行分辨率优化处理得到第3帧高分辨率图像之后，获取第3+2帧低分辨率图像，并对该第5帧低分辨率图像进行分辨率优化处理操作，得到第5帧高分辨率图像，然后获取第5+2帧低分辨率图像进行相同处理，依次类推得到整个视频中低分辨率图像对应的高分辨率图像。
也就是说，本申请通过设置不同的w，可以实现对视频图像中的低分辨率图像帧进行不同间隔的分辨率优化处理，从而不仅保证了视频图像具有高分辨率的前提下，还可提高视频图像的处理速度，减轻计算机设备的视频图像处理负担，进一步满足用户需求。
进一步的，本实施例还可将获取到的高分辨率视频图像，通过显示界面进行显示，使得用户可直观的查看优化后的视频图像，从而提高用户满意度。
本发明实施例提供的图像处理方法，通过从视频图像序列中获取位于第q帧低分辨率图像前的N帧低分辨图像，从N帧低分辨率图像中确定满足预设条件的M帧低分辨率图像，并利用M帧低分辨率图像分别对应的运动矢量矩阵对M帧低分辨图像进行迭代处理得到高分辨率图像矢量，利用高分辨率图像矢量对第q帧低分辨率图像进行分辨率优化处理，之后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像优化处理完毕，否则返回执行上述过程。由此，提高了视频图像的画面清晰度，使得视频图像在显示时能够突显更多细节，从而提高了视频图像的画质，改善用户体验。
实施例二
通过上述分析可知，本发明实施例通过确定M帧低分辨率图像，及对应运动矢量矩阵和高分辨率图像矢量，以根据高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对第q帧低分辨率图像及其他低分辨率图像帧进行分辨率优化处理。
作为本发明实施例的一种实现形式，本实施例根据N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像时，可通过计算N帧低分辨率图像中各图像帧对应的方差，以根据方差确定M帧低分辨率图像。下面结合图6,对本发明实施例的视频图像处理方法的上述情况进行说明。
图6是本发明实施例二提供的一种视频图像处理方法的流程示意图。
如图6所示，该视频图像处理方法可以包括如下：
S601，从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像。其中q、N均为大于或者等于1的正整数。
其中，S601的具体实现过程和原理，与上述实施例中S101类似，具体可参见上述实施例，此处对其不做过多赘述。
S602，计算所述N帧低分辨率图像中各图像帧的方差。
可选的，本实施例可通过以下公式(2)，计算N帧低分辨率图像中各图像帧的方差。
其中，σ2代表N帧低分辨率图像中各图像帧的方差值，RS代表各低分辨率图像的大小，f(i,j)代表各低分辨率图像的像素函数，μ代表各低分辨率图像的像素均值，i∈[0,(R-1)]，j∈[0,(S-1)]。
S603，根据所述各图像帧的方差，确定满足预设条件的M帧低分辨率图像。
由于实际拍摄视频图像时，图像传感器每秒钟可采集几十帧图像，使得每帧图像之间的间隔时间很短，从而获取的N帧低分辨率图像的内容大致相同。然而，当拍摄视频图像时，计算机设备出现抖动或其他异常情况时，则可能导致图像传感器采集到的几十帧图像中会出现模糊的图像帧。
此时，为了避免该类模糊图像帧对其他正常图像帧的优化处理造成影响，本实施例可根据N帧低分辨率图像中各图像帧的方差，对图像内容偏差较大的低分辨率图像进行剔除。
作为一种可选的实现方式，本实施例可采用如下几种方式，确定满足预设条件的M帧低分辨率图像，即剔除图像内容偏差较大的低分辨率图像。
作为一种实现方式，
将所述各图像帧的方差与方差阈值进行比对；若任一图像帧的方差大于或者等于方差阈值，则剔除该图像帧，将剩余的图像帧确定为满足条件的低分辨图像帧；
其中，方差阈值可以根据拍摄场景及设备性能进行适应性设置，此处对其不做具体限定。例如，1.0、1.5等。
例如，若方差阈值为1.5，N为10，且10帧低分辨率图像各自对应的方差分别为：0.2、0.5、0.9、0.3、0.7、1.0、1.3、1.1、0.2、1.6，那么可确定第10帧低分辨率图像的方差大于方差阈值，则剔除第10帧低分辨率图像，将剩余的九帧低分辨率图像，确定为满足预设条件的M帧低分辨率图像。
作为另一种实现方式，
计算所述各图像帧的方差均值，并将所述各帧图像的方差与方差均值进行比对；若任一图像帧的方差大于或者等于方差均值，则剔除该图像帧，将剩余的图像帧确定为满足条件的低分辨图像帧。
例如，若N为10，且10帧低分辨率图像各自对应的方差分别为：0.2、0.5、0.9、0.3、0.7、1.0、1.3、1.1、0.2、1.6，则可计算出方差均值为：0.78，那么将10帧低分辨率图像各自对应的方差，分别于0.78进行比较，确定出第3帧、第6帧、第7帧、第8帧、第10帧对应的方差大于方差均值0.78，则剔除第3帧、第6帧、第7帧、第8帧、第10帧低分辨率图像，将剩余的5帧低分辨率图像，确定为满足预设条件的M帧低分辨率图像。
S604，确定所述M帧低分辨率图像分别对应的运动矢量矩阵。
S605，根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量。
S606，根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行步骤S601。其中，w为大于或者等于1的正整数。
其中，S604-S606的具体实现过程和原理，与上述实施例中S103至S105类似，具体可参见上述实施例，此处对其不做过多赘述。
本发明实施例提供的视频图像处理方法，通过计算获取的N帧低分辨率图像各图像帧的方差，以根据各图像帧的方差，确定满足预设条件的M帧低分辨率图像，然后利用M帧低分辨率图像分别对应的运动矢量矩阵对M帧低分辨率图像进行迭代计算得到高分辨率图像矢量，然后利用高分辨率图像矢量对第q帧低分辨率图像进行分辨率优化处理，并在得到第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行上述过程。由此，实现了将获取的多帧图像中质量差的图像帧进行剔除，以避免不良图像对其他图像帧的不利影响，使得对其他图像帧进行分辨率优化效果明显，提高视频图像整体画面质量。
实施例三
通过上述分析可知，本发明实施例通过计算获取的N帧低分辨率图像中各图像帧的方差，以根据各图像帧的方差，确定满足预设条件的M帧低分辨率图像。
在本发明实施例的另一实现形式中，本实施例对M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量时，可以先对M帧低分辨率图像进行插值处理，然后再根据处理结果对M帧低分辨率图像进行迭代计算。下面结合图7,对本发明实施例的视频图像处理方法上述过程进行具体说明。
图7是本发明实施例三提供的一种视频图像处理方法的流程示意图。
如图7所示，该视频图像处理方法可以包括如下：
S701，从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像。
其中q、N均为大于或者等于1的正整数。
S702，根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N。
S703，确定所述M帧低分辨率图像分别对应的运动矢量矩阵。
S704，获取所述M帧低分辨率图像中的中间图像帧。
实际使用过程中，通常处于中间位置的视频图像帧与前面和后面的图像帧或多或少存在关联。因此，为了尽可能多的体现出视频图像中内容的细节部分，本实施例还可以获取M帧低分辨率图像中的中间图像帧，以通过获取的中间图像帧对待优化处理的图像帧提供有利条件。
可选的，由于获取的M帧低分辨率图像的数量可以是奇数，也可以是偶数。因此，本实施例从M帧低分辨率图像中，获取处于中间位置的图像帧时，可以包括以下情形：
第一种情形：
若M帧低分辨率图像为奇数，则从M帧低分辨率图像中获取位置居中的图像帧，作为中间图像帧。
例如，若M为3，则直接将第2帧低分辨率图像，作为中间图像帧。
第二种情形：
若M帧低分辨率图像为偶数，则从M帧低分辨率图像中处于居中位置的图像帧中，任选一帧图像，作为中间图像帧。
例如，若M等于6，则处于中间位置的图像帧包括：第三帧低分辨率图像和第四帧低分辨率图像，此时可将第三帧低分辨率图像，作为中间图像帧，也可将第四帧低分辨率图像，作为中间图像帧。
S705，利用双线性插值法，对所述中间图像帧进行插值处理，得到初始高分辨率图像初值。
其中，利用双线性插值法，对图像帧进行插值的具体过程可具体依据现有技术实现，此处对其不做过多赘述。
S706，利用预设的处理算法，根据所述初始高分辨率图像初值和所述运动矢量矩阵进行迭代计算，直至得到所述高分辨率图像矢量。
其中，预设的处理算法，具体参见如下公式(3)：
xk+1＝xk+[ATy-(ATA+αk+1QTQ)xk]…………………………….(3)
其中，xk+1代表第k+1次迭代得到的高分辨率图像矢量，A代表运动矢量矩阵、光学模糊矩阵B及白噪声C的综合矩阵，B和C根据拍摄镜头的参数确定，αk+1代表第k+1次迭代的正则化参数，具体可根据低分辨率图像的原始数据动态调整，例如，α∈(0.01,0.001)，Q代表线性高通滤波算子，表示为如下公式：
也就是说，当k＝0时，xk＝x0，此时可将步骤S705中得到的初始高分辨率图像初始带入上述公式(3)进行迭代处理，直至迭代结果达到优化指标为止，并将迭代结果确定为高分辨率图像矢量。其中，优化指标可根据设备性能进行适应性设置，此处对其不做具体限定。
在本实施例中，将步骤S705中得到的初始高分辨率图像初始带入上述公式(3)进行迭代计算，得到高分辨率图像矢量，可通过如下公式(4)实现。
其中，xk+1代表第k+1次迭代得到的高分辨率图像矢量，xk代表第k次迭代得到的高分辨率图像矢量，d代表优化指标。
S707，根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行步骤S701。
其中w为大于或者等于1的正整数。
本发明实施例提供的视频图像处理方法，通过获取M帧低分辨率图像中的中间图像帧，以利用双线性插值法，对中间图像帧进行插值处理，得到初始高分辨率图像初值，然后利用预设的处理算法根据初始高分辨率图像初值和矢量矩阵进行迭代计算得到高分辨率图像矢量，然后利用高分辨率图像矢量对第q帧低分辨率图像进行分辨率优化处理，并在得到第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行上述过程，从而使得最终优化处理后的视频图像分辨率更高，使得视频画面更清晰，满足了用户需求，提高了用户体验。
实施例四
为了实现上述目的，本发明实施例四还提出了一种视频图像处理装置。
图8是本发明实施例四提供的一种视频图像处理装置的结构示意图。
如图8所示，本发明实施例视频图像处理装置包括：图像获取模块11、图像确定模块12、矩阵确定模块13、矢量计算模块14及优化处理模块15。
其中，图像获取模块11用于从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；
图像确定模块12用于根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；
矩阵确定模块13用于确定所述M帧低分辨率图像分别对应的运动矢量矩阵；
矢量计算模块14用于根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；
优化处理模块15用于根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行图像获取模块，其中w为大于或者等于1的正整数。
作为本发明实施例的一种可选的实现方式，所述矩阵确定模块13具体用于：根据预设的运动估计算法，确定所述M帧低分辨率图像分别对应的运动矢量矩阵。
需要说明的是，前述对视频图像处理方法实施例的解释说明也适用于该实施例的视频图像处理装置，其实现原理类似，此处不再赘述。
本发明实施例提供的视频图像处理装置，通过从视频图像序列中获取满足预设条件的M帧低分辨率图像，根据M帧低分辨率图像分别对应的运动矢量矩阵对M帧低分辨图像进行迭代处理得到高分辨率图像矢量，以根据高分辨率图像矢量和第q低分辨率图像的像素矩阵，对第q帧低分辨率图像进行分辨率优化处理，并在得到第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行上述过程。由此，提高了视频图像的画面清晰度，使得视频图像在显示时能够突显更多细节，从而提高了视频图像的画质，改善用户体验。
实施例五
图9是本发明实施例五提供的一种视频图像处理装置的结构示意图。
如图9所示，本发明实施例视频图像处理装置包括：图像获取模块11、图像确定模块12、矩阵确定模块13、矢量计算模块14及优化处理模块15。
本实施例是基于本发明实施例四提供的视频图像处理装置实现的，相对实施例四，本实施例的区别在于：图像确定模块12，包括：计算子单元121、确定子单元122。
其中，计算子单元121用于计算所述N帧低分辨率图像中各图像帧的方差；确定子单元122用于根据所述各图像帧的方差，确定满足预设条件的M帧低分辨率图像。
作为本发明实施例的一种可选的实现方式，所述确定子单元122具体用于：将所述各图像帧的方差与方差阈值进行比对；若任一图像帧的方差大于或者等于方差阈值，则剔除该图像帧，将剩余的图像帧确定为满足条件的低分辨图像帧；
或者，计算所述各图像帧的方差均值，并将所述各帧图像的方差与方差均值进行比对；若任一图像帧的方差大于或者等于方差均值，则剔除该图像帧，将剩余的图像帧确定为满足条件的低分辨图像帧。
需要说明的是，前述对视频图像处理方法实施例的解释说明也适用于该实施例的视频图像处理装置，其实现原理类似，此处不再赘述。
本发明实施例提供的视频图像处理装置，通过计算获取的N帧低分辨率图像各图像帧的方差，以根据各图像帧的方差，确定满足预设条件的M帧低分辨率图像，根据M帧低分辨率图像分别对应的运动矢量矩阵对M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量，然后根据高分辨率图像矢量对第q帧低分辨率图像进行分辨率优化处理；将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像优化处理完毕，否则返回执行上述过程。由此，实现了将获取的多帧图像中不好的图像帧进行剔除，以避免不良图像对其他图像帧的不利影响，使得对其他图像帧进行分辨率优化效果明显，提高视频图像整体画面质量。
实施例六
图10是本发明实施例六提供的一种视频图像处理装置的结构示意图。
如图10所示，本发明实施例视频图像处理装置包括：图像获取模块11、图像确定模块12、矩阵确定模块13、矢量计算模块14、优化处理模块15、图像帧获取模块16、及插值处理模块17。
其中，图像获取模块11用于从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；
图像确定模块12用于根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；
矩阵确定模块13用于确定所述M帧低分辨率图像分别对应的运动矢量矩阵；
图像帧获取模块16用于获取所述M帧低分辨率图像中的中间图像帧；
插值处理模块17用于利用双线性插值法，对所述中间图像帧进行插值处理，得到初始高分辨率图像初值；
矢量计算模块14用于根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；
作为本发明实施例的一种可选的实现方式，所述矢量计算模块14具体用于：利用预设的处理算法，根据所述初始高分辨率图像初值和所述运动矢量矩阵进行迭代计算，直至得到所述高分辨率图像矢量；
优化处理模块15用于根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行图像获取模块,其中w为大于或者等于1的正整数。
作为本发明实施例的一种可选的实现方式，所述图像帧获取模块16，具体用于：若所述M帧低分辨率图像为奇数，则从所述M帧低分辨率图像中获取位置居中的图像帧，作为中间图像帧；若所述M帧低分辨率图像为偶数，则从所述M帧低分辨率图像中处于居中位置的图像帧中，任选一帧图像，作为中间图像帧。
需要说明的是，前述对视频图像处理方法实施例的解释说明也适用于该实施例的视频图像处理装置，其实现原理类似，此处不再赘述。
本发明实施例提供的视频图像处理装置，通过利用双线性插值法对M帧低分辨率图像中的中间图像帧进行插值处理，得到初始高分辨率图像初值，然后根据初始高分辨率图像初值和运动矢量矩阵进行迭代计算，直至迭代结果与优化指标匹配为止，并将迭代结果作为高分辨率图像矢量，再利用高分辨率图像矢量对第q帧低分辨率图像进行分辨率优化处理，并在得到第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行上述过程，从而使得最终优化处理后的视频图像分辨率更高，使得视频画面更清晰，满足了用户需求，提高了用户体验。
实施例七
为了实现上述目的，本发明实施例还提出了一种计算机设备。图11是本发明实施例七提供的一种计算机设备的结构示意图，如图11所示，该计算机设备包括处理器70、存储器71、输入装置72、输出装置73和摄像头74；计算机设备中处理器70的数量可以是一个或多个，图11中以一个处理器70为例；计算机设备中的处理器70、存储器71、输入装置72、输出装置73和摄像头74可以通过总线或其他方式连接，图11中以通过总线连接为例。其中，摄像头74用于采集视频图像。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的视频图像处理方法对应的程序指令/模块(例如，视频图像处理装置中的图像获取模块11、图像确定模块12、矩阵确定模块13、矢量计算模块14和优化处理模块15)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的视频图像处理方法，该视频图像处理方法包括：A、从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；B、根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；C、确定所述M帧低分辨率图像分别对应的运动矢量矩阵；D、根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；E、根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行步骤A,其中w为大于或者等于1的正整数。
当然,本发明实施例所提供的一种计算机设备,该计算机设备不限于如上所述的方法操作,还可以执行本发明实施例任意实施例所提供的视频图像处理方法中的相关操作。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。输入装置72可用于接收输入的数字或字符信息，及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
需要说明的是，前述对视频图像处理方法实施例的解释说明也适用于该实施例的计算机设备，其实现原理类似，此处不再赘述。
本发明实施例提供的计算机设备，通过根据高分辨率图像矢量和第q低分辨率图像的像素矩阵，对第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行上述过程。由此，提高了视频图像的画面清晰度，使得视频图像在显示时能够突显更多细节，从而提高了视频图像的画质，改善用户体验。
实施例八
为了实现上述目的，本发明实施例还提出了一种计算机可读存储介质。
本发明实施例八还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现如第一方面实施例所述的视频图像处理方法，该视频图像处理方法包括：A、从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；B、根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；C、确定所述M帧低分辨率图像分别对应的运动矢量矩阵；D、根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；E、根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行步骤A,其中w为大于或者等于1的正整数。
当然,本发明实施例所提供的一种计算机可读存储介质,其程序指令不限于如上所述的方法操作,还可以执行本发明实施例任意实施例所提供的视频图像处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明实施例可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例各个实施例所述的方法。值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims (10)

1.一种视频图像处理方法，其特征在于，包括：
A、从视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；
B、根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；
C、确定所述M帧低分辨率图像分别对应的运动矢量矩阵；
D、根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；
E、根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行步骤A,其中w为大于或者等于1的正整数。
2.根据权利要求1所述的方法，其特征在于，所述确定所述M帧低分辨率图像分别对应的运动矢量矩阵，包括：
根据预设的运动估计算法，确定所述M帧低分辨率图像分别对应的运动矢量矩阵。
3.根据权利要求2所述的方法，其特征在于，所述根据预设的运动估计算法，确定所述M帧低分辨率图像分别对应的运动矢量矩阵，包括：
a、利用绝对误差和算法计算搜索模板中各个检测点的绝对误差和值，并从所有检测点的绝对误差和值中选择最小值作为最小块匹配失真点；
b、判断步骤a中最小块匹配失真点是否位于搜索窗口的中心点位置，若位于搜索窗口的中心点位置，则根据此时最小块匹配失真点所在的位置确定运动矢量矩阵；若最小块匹配失真点位于搜索窗口中心点的相邻检测点时，则执行步骤c；若最小块匹配失真点位于搜索窗口中除中心点及中心点的相邻检测点之外的边缘检测点中的任一检测点，则执行步骤d；
c、以步骤a中的最小块匹配失真点为中心点，选取该中心点上下左右相邻点，构成十字型模板，然后计算该十字型模板中5个检测点的最小块匹配失真点，直至最小块匹配失真点是当前十字型模板的中心点，并根据此时最小块匹配失真点所在的位置确定运动矢量矩阵；或者，直至该十字型模板到达搜索窗口边缘为止，并根据此时最小块匹配失真点所在的位置确定运动矢量矩阵；
d、若步骤a中最小块匹配失真点位于搜索模板边缘的检测点之一时，则将搜索步长减半，重新在新的检测点进行块匹配计算和比较，重复该过程，直至搜索步长为1，根据此时最小块匹配失真点所在位置确定运动矢量矩阵。
4.根据权利要求1所述的方法，其特征在于，所述根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量之前，还包括：
获取所述M帧低分辨率图像中的中间图像帧；
利用双线性插值法，对所述中间图像帧进行插值处理，得到初始高分辨率图像初值。
5.根据权利要求4所述的方法，其特征在于，所述得到高分辨率图像矢量，包括：
利用预设的处理算法，根据所述初始高分辨率图像初值和所述运动矢量矩阵进行迭代计算，直至得到所述高分辨率图像矢量。
6.根据权利要求4所述的方法，其特征在于，所述获取所述M帧低分辨率图像中的中间图像帧,包括：
若所述M帧低分辨率图像为奇数，则从所述M帧低分辨率图像中获取位置居中的图像帧，作为中间图像帧；
若所述M帧低分辨率图像为偶数，则从所述M帧低分辨率图像中处于居中位置的图像帧中任选一帧图像，作为中间图像帧。
7.根据权利要求1所述的方法，其特征在于，所述根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，包括：
计算所述N帧低分辨率图像中各图像帧的方差；
根据所述各图像帧的方差，确定满足预设条件的M帧低分辨率图像。
8.一种视频图像处理装置，其特征在于，包括：
图像获取模块，用于视频图像序列中，获取第q帧低分辨率图像，并根据第q帧低分辨率图像，获取位于第q帧低分辨率图像前的N帧低分辨率图像，其中q、N均为大于或者等于1的正整数；
图像确定模块，用于根据所述N帧低分辨率图像，确定满足预设条件的M帧低分辨率图像，其中M≤N；
矩阵确定模块，用于确定所述M帧低分辨率图像分别对应的运动矢量矩阵；
矢量计算模块，用于根据所述运动矢量矩阵，对所述M帧低分辨率图像进行迭代计算，得到高分辨率图像矢量；
优化处理模块，用于根据所述高分辨率图像矢量和第q帧低分辨率图像的像素矩阵，对所述第q帧低分辨率图像进行分辨率优化处理，并在得到所述第q帧低分辨率图像的处理结果后，将第q+w帧低分辨率图像作为新的第q帧低分辨率图像，直至整个视频中的低分辨率图像处理完毕，否则返回执行图像获取模块，其中w为大于或者等于1的正整数。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，还包括：摄像头，用于采集视频图像；其中，所述处理器执行所述计算机程序时实现如权利要求1-7中任一所述的视频图像处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序包括程序指令，该程序指令被处理器执行时实现如权利要求1-7中任一所述的视频图像处理方法。
CN201910522901.XA 2019-06-17 2019-06-17 视频图像处理方法、装置、设备及存储介质 Active CN110263699B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910522901.XA CN110263699B (zh) 2019-06-17 2019-06-17 视频图像处理方法、装置、设备及存储介质
PCT/CN2019/120817 WO2020253103A1 (zh) 2019-06-17 2019-11-26 视频图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910522901.XA CN110263699B (zh) 2019-06-17 2019-06-17 视频图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110263699A true CN110263699A (zh) 2019-09-20
CN110263699B CN110263699B (zh) 2021-10-22

Family

ID=67918707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910522901.XA Active CN110263699B (zh) 2019-06-17 2019-06-17 视频图像处理方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN110263699B (zh)
WO (1) WO2020253103A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253103A1 (zh) * 2019-06-17 2020-12-24 睿魔智能科技（深圳）有限公司 视频图像处理方法、装置、设备及存储介质
CN117152026A (zh) * 2023-10-30 2023-12-01 天津恒宇医疗科技有限公司 一种血管内超声图像处理方法、装置和设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907443B (zh) * 2021-02-05 2023-06-16 深圳市优象计算技术有限公司 一种面向卫星相机的视频超分辨率重建方法及***
CN113014817B (zh) * 2021-03-04 2022-11-29 维沃移动通信有限公司 高清高帧视频的获取方法、装置及电子设备
CN115103217B (zh) * 2022-08-26 2022-11-22 京华信息科技股份有限公司 一种云智慧屏的同步更新方法及***
CN115862122A (zh) * 2022-12-27 2023-03-28 北京衔微医疗科技有限公司 眼底图像获取方法、装置、计算机设备和可读存储介质
CN117499558A (zh) * 2023-11-02 2024-02-02 北京市燃气集团有限责任公司 一种视频图像优化处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051857A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于运动补偿的1/4像素精度视频图像去隔行方法
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法
CN104063849A (zh) * 2014-06-20 2014-09-24 武汉工程大学 基于图像块自适应配准的视频超分辨重建方法
CN105007487A (zh) * 2015-05-27 2015-10-28 华南理工大学 一种基于块匹配压缩感知的视频采样复原算法
CN106851046A (zh) * 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及***
CN109255822A (zh) * 2018-07-13 2019-01-22 中国人民解放军战略支援部队航天工程大学 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法
CN109658361A (zh) * 2018-12-27 2019-04-19 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4193552B2 (ja) * 2003-04-04 2008-12-10 ソニー株式会社 画像データ記録再生装置及び方法
JP4356777B2 (ja) * 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN102360498B (zh) * 2011-10-27 2013-09-18 江苏省邮电规划设计院有限责任公司 图像超分辨率重建方法
CN110263699B (zh) * 2019-06-17 2021-10-22 睿魔智能科技（深圳）有限公司 视频图像处理方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051857A (zh) * 2013-01-25 2013-04-17 西安电子科技大学 基于运动补偿的1/4像素精度视频图像去隔行方法
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法
CN104063849A (zh) * 2014-06-20 2014-09-24 武汉工程大学 基于图像块自适应配准的视频超分辨重建方法
CN105007487A (zh) * 2015-05-27 2015-10-28 华南理工大学 一种基于块匹配压缩感知的视频采样复原算法
CN106851046A (zh) * 2016-12-28 2017-06-13 中国科学院自动化研究所 视频动态超分辨率处理方法及***
CN109255822A (zh) * 2018-07-13 2019-01-22 中国人民解放军战略支援部队航天工程大学 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法
CN109658361A (zh) * 2018-12-27 2019-04-19 辽宁工程技术大学 一种顾及运动估计误差的运动场景超分辨率重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253103A1 (zh) * 2019-06-17 2020-12-24 睿魔智能科技（深圳）有限公司 视频图像处理方法、装置、设备及存储介质
CN117152026A (zh) * 2023-10-30 2023-12-01 天津恒宇医疗科技有限公司 一种血管内超声图像处理方法、装置和设备
CN117152026B (zh) * 2023-10-30 2024-02-02 天津恒宇医疗科技有限公司 一种血管内超声图像处理方法、装置和设备

Also Published As

Publication number Publication date
CN110263699B (zh) 2021-10-22
WO2020253103A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN110263699A (zh) 视频图像处理方法、装置、设备及存储介质
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN101601279B (zh) 摄像装置以及摄像方法
CN102388402B (zh) 图像处理装置及图像处理方法
JP4653235B2 (ja) フレーム選択を用いるパノラマ画像の構成
KR101468351B1 (ko) 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
CN1838737B (zh) 帧速率变换装置、摇摄/倾斜判断装置及视频装置
CN110599400B (zh) 一种基于epi的光场图像超分辨的方法
Yu et al. Multi-level video frame interpolation: Exploiting the interaction among different levels
Kim et al. Multiple level feature-based universal blind image quality assessment model
CN101605209A (zh) 摄像装置及图像再生装置
CN101009021A (zh) 基于特征匹配与跟踪的视频稳定方法
CN109313805A (zh) 图像处理装置、图像处理***、图像处理方法和程序
CN110189390B (zh) 一种单目视觉slam方法及***
CN109313806A (zh) 图像处理装置、图像处理***、图像处理方法和程序
US9251423B2 (en) Estimating motion of an event captured using a digital video camera
CN110505398B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112449117B (zh) 一种聚焦步长确定方法、装置、存储介质及电子装置
WO2013020860A1 (en) Image mosaicing
KR102128319B1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
CN104796580A (zh) 一种基于选择集成的实时稳像视频巡检***
CN106791869A (zh) 基于光场子孔径图像相对位置关系的快速运动搜索方法
CN116823863A (zh) 一种红外图像轮廓提取方法及装置
CN117173232A (zh) 深度图像的获取方法、装置及设备
CN105141963A (zh) 图像运动估计方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant