CN116934654A - 图像模糊度的确定方法及其相关设备 - Google Patents

图像模糊度的确定方法及其相关设备 Download PDF

Info

Publication number
CN116934654A
CN116934654A CN202210334189.2A CN202210334189A CN116934654A CN 116934654 A CN116934654 A CN 116934654A CN 202210334189 A CN202210334189 A CN 202210334189A CN 116934654 A CN116934654 A CN 116934654A
Authority
CN
China
Prior art keywords
image
determining
image block
exposure
ois
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210334189.2A
Other languages
English (en)
Inventor
张田田
王宇
李智琦
王宁
朱聪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210334189.2A priority Critical patent/CN116934654A/zh
Priority to EP22896838.4A priority patent/EP4280154A4/en
Priority to PCT/CN2022/138471 priority patent/WO2023185096A1/zh
Publication of CN116934654A publication Critical patent/CN116934654A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种图像模糊度的确定方法及其相关设备，涉及图像处理领域，该图像模糊度的确定方法包括：获取原始图像，确定原始图像中沿列方向排布的每个图像块对应的单应性变换矩阵，列方向与电子设备逐行曝光时的行方向相互垂直；根据每个图像块和对应的单应性变换矩阵，确定原始图像的模糊度。本申请能够实现不受图像内容影响、快速计算图像模糊度的目的。

Description

图像模糊度的确定方法及其相关设备
技术领域
本申请涉及图像处理领域，尤其涉及一种图像模糊度的确定方法及其相关设备。
背景技术
随着电子设备的广泛使用，使用电子设备进行拍摄已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，当人们利用手机进行拍摄时，由于自身手抖、走动等，会导致拍出的图像或录制出的视频出现帧间清晰度不一致的现象，即产生运动模糊。
针对该具有运动模糊的图像，通常需要计算模糊度来对图像质量进行评价。相关技术中，模糊度的计算方法例如包括有：1)基于像素的计算方法；2)基于变换域的计算方法；3)基于图像梯度的计算方法。前述几种方法一般计算量比较大，而且计算出的模糊度大小与图像内容高度相关，由此，亟需一种计算量小、不受图像内容影响的计算图像模糊度的方法。
发明内容
本申请提供一种图像模糊度的确定方法及其相关设备，能够实现不受图像内容影响、快速计算图像模糊度的目的。
为达到上述目的，本申请采用如下技术方案：
第一方面，提供了一种图像模糊度的确定方法，包括：
获取原始图像；
确定所述原始图像中沿列方向排布的每个图像块对应的单应性变换矩阵，所述列方向与所述电子设备逐行曝光时的行方向相互垂直；
根据每个所述图像块和对应的所述单应性变换矩阵，确定所述原始图像的模糊度。
在本申请的实施例中，通过将图像按列方向划分成多个图像块，针对每个图像块来确定出对应的单应性变换矩阵，然后，根据每个图像块和对应的单应性变换矩阵，则可以确定该帧图像对应的模糊度。本申请实施例提供的图像模糊度的确定方法计算简单，也与图像内容无关，可以快速、准确的对图像质量做出评价。
在第一方面一种可能的实现方式中，所述电子设备包括陀螺仪传感器和OIS控制器，所述方法还包括：
利用所述陀螺仪传感器获取原始陀螺仪数据；
根据所述原始陀螺仪数据，确定每个所述图像块在曝光起始时刻和曝光结束时刻分别对应的第一陀螺仪数据；
利用所述OIS控制器获取原始OIS数据；
根据所述原始OIS数据，确定每个所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据。
应理解，原始陀螺仪数据指的是陀螺仪传感器所测量的角速度信息；原始OIS数据包括图像传感器的光学中心分别在图像坐标系中的x轴、y轴的位置，以及进行光学防抖时，用于实现防抖的位移数据。
在该实现方式中，由于陀螺仪传感器的工作方式是以一定频率持续获取原始陀螺仪数据的方式，OIS控制器的工作方式也是以一定频率持续获取原始OIS数据的方式，所以不一定会在每个图像块的曝光起始时刻和曝光结束时刻获取原始陀螺仪数据和原始OIS数据，因此，需要以陀螺仪传感器获取的原始陀螺仪数据为基础，来计算出每个图像块在曝光起始时刻和曝光结束时刻分别对应的第一陀螺仪数据；以及需要以OIS控制器获取的原始OIS数据为基础，来计算出每个图像块在曝光起始时刻和曝光结束时刻分别对应的第一OIS数据。
在第一方面一种可能的实现方式中，确定所述原始图像中沿列方向排布的每个图像块对应的单应性变换矩阵，包括：
针对每个所述图像块，根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一陀螺仪数据，以及所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据，确定所述图像块对应的所述单应性变换矩阵。
在该实现方式中，单应性变换矩阵通常表示图像旋转关系，在本申请实施例中，每个图像块对应的单应性变换矩阵用于表示该图像块在曝光起始时刻和曝光结束时刻，这一段曝光时间内所对应的旋转关系。
在第一方面一种可能的实现方式中，针对每个所述图像块，根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一陀螺仪数据，以及所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据，确定所述图像块对应的所述单应性变换矩阵，包括：
针对每个所述图像块，根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一陀螺仪数据，确定旋转矩阵；
根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据，确定第一相机内参矩阵；所述第一相机内参矩阵用于指示所述OIS控制器启用时对应的相机内参矩阵；
根据所述旋转矩阵和所述第一相机内参矩阵，利用公式H＝KRKois -1，确定所述单应性变换矩阵；
其中，H表示所述单应性变换矩阵，K表示标准相机内参，R表示所述旋转矩阵；Kois -1表示所述第一相机内参矩阵的逆。
在该实现方式中，在OIS和EIS都启用的情况下，确定单应性变换矩阵的公式为上述公式；在OIS未启用，EIS启用的情况下，可以根据H＝KRK-1，确定单应性变换矩阵H。其中，K-1表示标准相机内参的逆。
在第一方面一种可能的实现方式中，根据每个所述图像块和对应的所述单应性变换矩阵，确定所述原始图像对应的模糊度，还包括：
针对每个所述图像块，根据所述图像块和对应的所述单应性变换矩阵，确定所述图像块对应的模糊度；
确定所有所述图像块对应的模糊度的平均值，所述平均值为所述原始图像对应的模糊度。
在该实现方式中，由于原始图像对应的模糊度是通过确定每个图像块的模糊度，然后利用每个图像块的模糊度的平均值计算得到的，所以计算的更为准确，代表了整张图像的平均模糊水平。
在第一方面一种可能的实现方式中，
针对每个所述图像块，根据所述图像块和对应的所述单应性变换矩阵，确定所述图像块对应的模糊度，包括：
针对每个所述图像块中的任意一个目标点，确定所述目标点在所述图像块中的第一坐标；
利用所述单应性变换矩阵对所述目标点的所述第一坐标进行变换，确定变换后所述目标点对应的第二坐标；
确定所述第一坐标和所述第二坐标的坐标差值，所述坐标差值为所述图像块对应的模糊度，所述坐标差值包括沿所述行方向的坐标差值和沿所述列方向的坐标差值。
在该实现方式中，由于第二坐标是图像块中的目标点根据对应的单应性变换矩阵变换所对应的坐标，所以第二坐标表示的是曝光结束时刻图像块所达到的旋转情况下目标点的坐标，基于此，可以通过确定坐标差值，来确定平移关系，以表示图像块的模糊度。该模糊度的确定方式与图像内容无关。
第二方面，提供了一种图像处理方法，其特征在于，包括：
利用第一方面或第一方面中任一种方法中的步骤，确定图像的模糊度。
第三方面，提供了一种视频处理方法，其特征在于，包括：
利用第一方面或第一方面中任一种方法中的步骤，确定视频中图像的模糊度。
第四方面，提供了一种电子设备，包括用于执行第一方面或第一方面中任一种方法的模块/单元。
第五方面，提供了一种电子设备，包括摄像头模组、处理器和存储器；
所述摄像头模组，用于获取原始图像；
所述存储器，用于存储可在所述处理器上运行的计算机程序；
所述处理器，用于执行第一方面或第一方面中任一种方法中进行处理的步骤。
第六方面，提供了一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行第一方面或第一方面中任一种方法中进行处理的步骤。
第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行第一方面或第一方面中任一种方法中进行处理的步骤。
第八方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中任一种方法中进行处理的步骤。
本申请实施例提供的图像模糊度的确定方法及其相关设备，通过将图像按列方向划分成多个图像块，针对每个图像块，基于行方向首尾分别对应的陀螺仪数据和OIS数据来确定出每个图像块在各自相应的曝光时间内所对应的单应性变换矩阵，然后，利用单应性变换矩阵将该图像块进行变换，通过计算图像块中某一点变换前后的坐标距离，即可以表示该图像块对应的模糊度；再确定多个图像块对应的模糊度的均值，即可作为该帧图像对应的模糊度。本申请实施例提供的图像模糊度的确定方法计算简单，也与图像内容无关，可以快速、准确的对图像质量做出评价。
附图说明
图1是利用现有技术录制的视频中的2帧图像；
图2是本申请实施例提供的一种应用场景的示意图；
图3是本申请实施例提供的一种确定图像模糊度的流程示意图；
图4是本申请实施例提供的一种逐行曝光的示意图；
图5是本申请实施例提供的一种确定曝光起始时刻和曝光结束时刻的示意图；
图6是本申请实施例提供的一种确定单应性变换矩阵的流程示意图；
图7是本申请实施例提供的一种确定原始图像的模糊度的流程示意图；
图8是一种适用于本申请的装置的硬件***的示意图；
图9为本申请实施例提供的一种视频处理装置的结构示意图；
图10为申请实施例提供的一种芯片的结构示意图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、RGB(red，green，blue)颜色空间，或者RGB域，指的是一种与人的视觉***结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。
2、像素值，指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量R、绿色分量G和蓝色分量B。
3、YUV颜色空间，或者YUV域，指的是一种颜色编码方法，Y表示亮度，U和V表示的则是色度。上述RGB颜色空间着重于人眼对色彩的感应，YUV颜色空间则着重于视觉对亮度的敏感程度，RGB颜色空间和YUV颜色空间可以互相转换。
4、运动模糊
在电子设备拍摄的过程中，每帧图像的生成依靠在曝光时间内累积光子，并通过光电转化将其转化为电子，并进一步的变换为人眼可识别的图像。在这个时间内，若电子设备存在较大幅度的运动，则该运动信息也会被累积记录，生成的图像则会附带较强的运动模糊。
5、光学防抖(optical image stabilization，OIS)
光学防抖又可以称为光学稳像，OIS技术是指在拍照曝光期间，通过运动传感器(例如，陀螺仪，加速度计)检测电子设备的抖动，OIS控制器根据运动传感器检测到的抖动数据，控制推动OIS的马达，移动镜头或者图像传感器(charge-coupled device，CCD)，使得在整个曝光期间光路尽可能保持稳定不变，进而得到清晰曝光的图像。
光学防抖包括两种防抖方式，第一种为镜片移动式光学防抖，第二种为感光元件移动式光学防抖。其中，第一种镜片移动式光学防抖的原理是通过镜头内的陀螺仪传感器侦测到微小的移动，然后将信号传至微处理器，微处理器立即计算需要补偿的位移量，然后通过补偿镜片组，根据镜头的抖动方向及位移量加以补偿，从而有效地克服因相机的振动产生的影像模糊。第二种感光元件移动式光学防抖是使用图像传感器偏移来实现防抖，其原理是：首先把CCD安置在一个可以上下左右移动的支架上，然后当陀螺仪传感器检测到抖动时，就把抖动的方向、速度和移动量等参数经过处理，计算出足以抵消抖动的CCD移动量。
可选地，OIS控制器包括两轴和三轴的光学图像稳定器，本申请实施例以两轴的OIS为例进行说明，涉及水平方向数据和垂直方向数据，以下不再赘述。
6、电子防抖(electric image stabilization，EIS)
电子防抖又可以称为电子稳像，EIS技术是指基于运动传感器数据来进行防抖处理，通过每帧图像曝光期间运动传感器采集的数据，计算图像序列中图像帧之间的运动情况；并对图像帧之间的运动进行校正，生成相对稳定的图像序列。
电子防抖的全过程都没有任何元部件的辅助和参与，依靠数字处理的技术去实现的防抖，当前电子防抖主要有提高相机感光度(ISO)而实现的“自然防抖”和通过像素补偿或其他运算方式而实现的“数码防抖”两大种类。
7、快门(shutter)是控制光线进入摄像头时间长短，以决定图像曝光时间的装置。快门保持在开启状态的时间越长，进入摄像头的光线越多，图像对应的曝光时间越长。相反，快门保持在开启状态的时间越短，进入摄像头的光线越少，图像对应的曝光时间越短。
8、曝光时间是指为了将光投射到摄像头的感光材料的感光面上，快门所要打开的时间。曝光时间由感光材料的感光度和感光面上的照度确定。曝光时间越长，进入摄像头的光越多，曝光时间越短，进入摄像头的光越少。因此，暗光场景下需要长的曝光时间，逆光场景下需要短的曝光时间。
以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。
随着电子设备的广泛使用，使用电子设备进行拍摄已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，当人们利用手机进行拍摄时，由于自身手抖、走动等，会导致拍出的图像或录制出的视频出现帧间清晰度不一致的现象，即产生运动模糊。
示例性的，图1示出了利用现有技术录制的视频中的2帧图像。
如图1中的(a)所示，为视频中1帧具有运动模糊的图像。如图1中的(b)所示，为视频中1帧较为清晰的图像。
针对该具有运动模糊的图像，通常需要计算模糊度来对图像质量进行评价。相关技术中，模糊度的计算方法例如包括有：1)基于像素的计算方法；2)基于变换域的计算方法；3)基于图像梯度的计算方法。前述几种方法一般计算量比较大，而且计算出的模糊度大小与图像内容高度相关，也就是说，当图像内容发生变换时，利用前述方法计算得到的模糊度差异比较大，不准确。由此，亟需一种计算量小、不受图像内容限制的计算图像模糊度的方法。
有鉴于此，本申请实施例提供了一种图像模糊度的确定方法，通过将图像按列方向划分成多个图像块，针对每个图像块，基于行方向首尾分别对应的陀螺仪数据和OIS数据来确定出每个图像块在各自相应的曝光时间内所对应的单应性变换矩阵，然后，利用单应性变换矩阵将该图像块进行变换，通过计算图像块中某一点变换前后的坐标距离，即可以表示该图像块对应的模糊度；再确定多个图像块对应的模糊度的均值，即可作为该帧图像对应的模糊度。本申请实施例提供的图像模糊度的确定方法计算简单，也与图像内容无关，可以快速、准确的对图像质量做出评价。
首先对本申请实施例的应用场景进行简要说明。
图2是本申请实施例提供的一种应用场景的示意图。本申请提供的图像模糊度的确定方法可以应用于去除视频中的图像上的运动模糊的视频处理方法中。在该视频处理方法中，可以基于本申请确定出的图像模糊度，来对图像的质量进行评价。其中，模糊度用于指示图像的模糊程度。
在一个示例中，以电子设备是手机进行举例说明。如图2中的(a)所示，为电子设备的图形用户界面(graphical user interface，GUI)。当电子设备检测到用户点击界面上的相机应用的图标的操作后，可以启动相机应用，显示如图2中的(b)所示的另一GUI，该GUI可以称为预览界面。
该预览界面上可以包括取景窗口21。在预览状态下，该取景窗口21内可以实时显示预览图像。该预览界面还可以包括多种拍摄模式选项以及第一控件，即，拍摄键11。该多种拍摄模式选项例如包括：拍照模式、录像模式等，拍摄键11用于指示当前拍摄模式为拍照模式、录像模式或者为其他模式。其中，相机应用打开时一般默认处于拍照模式。
示例性的，如图2中的(b)所示，当电子设备启动相机应用后，电子设备运行视频处理方法对应的程序，该视频处理方法中包括有确定图像对应的模糊度的步骤；响应于用户对拍摄键11的点击操作，获取并存储视频。
应理解，在拍摄过程中，若拍摄者由于自身生理现象造成的手抖，比如呼吸时身体随胸腔震颤；并且，拍摄者也在行走，此时，待拍摄场景中的楼房、树木等静物相对于拍摄者也在运动，这样，将会导致录制的视频中帧间出现清晰度不一致的现象，若要利用视频处理方法对图像进行修复，则需要先对图像质量进行评价，此时，利用本申请实施例提供的模糊度确定方法确定图像对应的模糊度时，由于本申请提供的图像模糊度的确定方法计算简单，也与图像内容无关，因此，可以快速、准确的计算出图像对应的模糊度，以对图像质量做出准确评价。
应理解，上述图2所示的场景为对应用场景的举例说明，并不对本申请的应用场景进行任何限制。本申请实施例提供的图像模糊度的确定方法可以应用但不限于以下场景中：
拍照、视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、智能运镜应用场景、***相机录像功能录制视频、视频监控以及智能猫眼等拍摄类场景等。
下面结合说明书附图，对本申请实施例所提供的图像模糊度的确定方法进行详细介绍。
图3为本申请实施例提供的图像模糊度的确定方法的流程示意图。如图3所示，该图像模糊度的确定方法1包括以下S11～S17。
S11、获取原始图像。
其中，原始图像可以为位于RAW域的图像、位于RGB域的图像、或者为位于YUV域的图像，本申请实施例对此不进行任何限制。
应理解，该原始图像可以为电子设备利用自身设置的摄像头采集的或者从其他设备获取的，本申请实施例对此不进行任何限制。其中，当电子设备利用自身设置的摄像头采集时，摄像头应包括OIS控制器。当电子设备从其他设备获取时，其他设备需具包括OIS控制器。
示例性的，当电子设备利用自身设置的包括有OIS控制器的摄像头采集时，其过程可以包括：电子设备启动相机，显示如图2中的(b)所示的预览界面，预览界面包括第一控件，该第一控件可以为拍摄键11。当电子设备检测到用户对拍摄键11的第一操作后，响应于第一操作，包括OIS控制器的摄像头采集原始图像。当OIS控制器启用时，OIS控制器用于进行光学稳像处理，也即获取的原始图像是指经过光学稳像处理的原始图像。当OIS控制器未启用时，OIS控制器不进行光学稳像处理，也即获取的原始图像是指未经过光学稳像处理的原始图像。
应理解，该原始图像可以是直接由摄像头生成的原始图像，也可以是由对该原始图像进行一种或多种处理操作之后得到的图像。
需要说明的是，在本申请中，电子设备是通过摄像头的卷帘快门以逐行曝光的方式获取原始图像的。卷帘快门(rolling shutter)指的是通过控制芯片来控制通断电，进而控制传感器来进行逐行曝光，直至所有像素都被曝光。
请参考图4，图4示出了一种逐行曝光的示意图。
如图4所示，逐行曝光指的是对第1行像素(像素k1,1至像素k1,m)开始曝光后，间隔一定时间对第2行像素(像素k2,1至像素k2,m)进行曝光。依次类推，第n-1行像素(像素kn-1,1至像素kn-1,m)开始曝光后，间隔一定时间对第n行像素(像素kn,1至像素kn,m)进行曝光。
由于曝光方式是逐行曝光，所以不同行像素的曝光时间不同，每行像素可以对应一个曝光时间信息，该曝光时间信息可以包括曝光起始时刻和曝光结束时刻。其中，每行像素对应的曝光时间信息可以携带在图像中，也可以是与图像对应存储的。
S12、利用陀螺仪传感器获取原始陀螺仪数据。
应理解，该原始陀螺仪数据指的是陀螺仪传感器所测量的角速度信息，例如本申请实施例中陀螺仪传感器为三轴陀螺仪传感器时，该原始陀螺仪数据指的是陀螺仪传感器所测量的三轴角速度信息。需要说明的是，可以以时间为单位对角速度进行积分，利用求得的角度信息进行后续处理。
还应理解，陀螺仪传感器每次获取原始陀螺仪数据的时刻，也即原始陀螺仪数据对应的时间戳随原始陀螺仪数据一起存储。
S13、根据陀螺仪传感器获取的原始陀螺仪数据，确定出原始图像中沿列方向排布的每个图像块在曝光起始时刻和曝光结束时刻分别对应的第一陀螺仪数据。
其中，列方向与电子设备曝光生成原始图像时所沿行方向相互垂直。
应理解，每个图像块可以包括1行或者多行像素，不同图像块包括的像素行数可以相同，也可以不相同，本申请实施例对此不进行任何限制。此处，需要说明的是，不同图像块不重叠，也就是说不同图像块包括的像素不同。
由于原始图像通常尺寸较大，对应的行数较多，因此在进行划分图像块时，可以使得每个图像块包括2行、3行或3行以上的像素，以减少计算量。当然，为了提高计算的精度，也可以使得每个图像块包括1行像素，本申请实施例对此不进行任何限制。
需要说明的是，当图像块包括1行像素时，该行像素对应的曝光起始时刻和曝光结束时刻即可作为该图像块对应的曝光起始时刻和曝光结束时刻。而当图像块包括2行、3行或3行以上的像素时，由于每行像素都可确定出一个曝光起始时刻和曝光结束时刻，因此，可以将该图像块包括的多行像素所对应的曝光起始时刻的中间时刻作为该图像块对应的曝光起始时刻，同时将该图像块包括的多行像素所对应的曝光结束时刻的中间时刻作为该图像块对应的结束时刻。或者，也可以将该图像块包括的多行像素中的第1行像素所对应的曝光起始时刻作为该图像块对应的曝光起始时刻，同时将该图像块包括的多行像素中最后1行像素所对应的曝光结束时刻作为该图像块对应的曝光结束时刻。当然，也可以以其他方式确定图像块的曝光起始时刻和曝光结束时刻，本申请实施例对此不进行任何限制。
例如，某一图像块包括2行像素，上一行像素对应的曝光起始时刻为tus1'，下一行像素对应的曝光起始时刻为tus2'，则该可以确定tus1'和tus2'之间的中间时刻来作为该图像块对应的曝光起始时刻。
同理，上一行像素对应的曝光结束时刻为tue1'，下一行像素对应的曝光结束时刻为tue2'，则该可以确定tue1'和tue2'之间的中间时刻来作为该图像块对应的曝光起始时刻。
应理解，陀螺仪传感器获取原始陀螺仪数据的频率通常比较高，但是不一定会刚好在图像块对应的曝光起始时刻和曝光结束时刻获取原始陀螺仪数据，因此，确定任意一个图像块在曝光起始时刻对应的第一陀螺仪数据时，可以将离曝光起始时刻时间最近的原始陀螺仪数据，直接作为该图像块在曝光起始时刻对应的第一陀螺仪数据；或者，也可以将曝光起始时刻之前时间离得最近的原始陀螺仪数据和曝光起始时刻之后时间离得最近的原始陀螺仪数据进行插值，从而确定出曝光起始时刻对应的第一陀螺仪数据。
同理，在确定图像块在曝光结束时刻对应的第一陀螺仪数据时，可以将离曝光结束时刻时间最近的原始陀螺仪数据，直接作为曝光结束时刻对应的第一陀螺仪数据；或者，也可以将曝光结束时刻之前时间离得最近的原始陀螺仪数据和曝光结束时刻之后时间离得最近的原始陀螺仪数据进行插值，从而确定出曝光结束时刻对应的第一陀螺仪数据。
当然，也可以利用其他方式确定出图像块在曝光起始时刻和曝光结束时刻分别对应的第一陀螺仪数据，本申请实施例对此不进行任何限制。
S14、利用OIS控制器获取原始OIS数据。
应理解，该原始OIS数据包括图像传感器的光学中心分别在图像坐标系中的x轴、y轴的位置，以及进行光学防抖时，用于实现防抖的位移数据，例如位移数据为二维数据时，可以包括x轴方向上的偏移量和y轴方向上的偏移量。
当然，该原始OIS数据还可以记录OIS控制器启用时的其他数据，本申请实施例对此不进行任何限制。
还应理解，OIS控制器每次获取原始OIS数据的时刻，也即原始OIS数据对应的时间戳随原始OIS数据一起存储。
S15、根据OIS控制器获取的原始OIS数据，确定出每个图像块在曝光起始时刻和曝光结束时刻分别对应的第一OIS数据。
由于OIS控制器获取原始OIS数据的频率通常比较高，但是不一定会刚好在图像块对应的曝光起始时刻和曝光结束时刻获取原始OIS数据，因此，确定任意一个图像块在曝光起始时刻对应的第一OIS数据时，可以将离曝光起始时刻最近的原始OIS数据，直接作为该图像块在曝光起始时刻对应的第一OIS数据；或者，也可以将曝光起始时刻之前时间离得最近的原始OIS数据和曝光起始时刻之后时间离得最近的原始OIS数据进行插值，从而确定出曝光起始时刻对应的第一OIS数据。
同理，在确定图像块在曝光结束时刻对应的第一OIS数据时，可以将离曝光结束时刻时间最近的原始OIS数据，直接作为曝光结束时刻对应的第一OIS数据；或者，也可以将曝光结束时刻之前时间离得最近的原始OIS数据和曝光结束时刻之后时间离得最近的原始OIS数据进行插值，从而确定出曝光结束时刻对应的第一OIS数据。
当然，也可以利用其它方式确定出图像块在曝光起始时刻和曝光结束时刻分别对应的第一OIS数据，本申请实施例对此不进行任何限制。
S16、针对每个图像块，根据图像块在曝光起始时刻和曝光结束时刻分别对应的第一陀螺仪数据，以及图像块在曝光起始时刻和曝光结束时刻分别对应的第一OIS数据，确定图像块对应的单应性(homography)变换矩阵。
应理解，单应性变换矩阵通常表示图像旋转关系，在本申请实施例中，每个图像块对应的单应性变换矩阵用于表示该图像块在曝光起始时刻和曝光结束时刻，这一段曝光时间内所对应的旋转关系。
示例性的，图5示出了一种确定第一陀螺仪数据和第一OIS数据的示意图。
如图5所示，例如电子设备从左向右进行曝光，则行方向为水平方向，列方向为垂直方向，沿行方向的坐标轴为时间轴，沿列方向的坐标轴为传感器高度，也即为可以生成的原始图像的最大高度。
此处，以原始图像包括10行像素，每行像素被划分为一个图像块为例进行说明。每行像素左侧对应的时间可以表示该行像素开始曝光的曝光起始时刻，右侧对应的时间可以表示该行像素结束曝光的曝光结束时刻。例如，第1行像素对应的曝光起始时刻为tus1、曝光结束时刻为tue1；第2行像素对应的曝光起始时刻为tus2、曝光结束时刻为tue2；依次类推，第10行像素对应的曝光起始时刻为tus10、曝光结束时刻为tue10。
由于曝光方式是逐行曝光，因此从第1行像素的曝光起始时刻tus1到第10行像素的曝光起始时刻tus10不同，而且第2行像素的曝光起始时刻tus2晚于第1行像素的曝光起始时刻tus1，依次类推，第10行像素的曝光起始时刻tus10晚于第9行像素的曝光起始时刻tus9。第1行像素的曝光结束时刻tue1到第10行像素的曝光结束时刻tue10也不同，而且第2行像素的曝光结束时刻tue2晚于第1行像素的曝光结束时刻tue1，依次类推，第10行像素的曝光结束时刻tue10晚于第9行像素的曝光结束时刻tue9。
此处，相邻两行像素的曝光起始时刻的间隔时间不一定相同，相邻两行像素的曝光结束时刻的间隔时间也不一定相同，本申请实施例对此不进行任何限制。
结合图5所示，平行于行方向的第二个时间轴为记录OIS控制器获取原始OIS数据的时间轴，其中，每个小圆点表示在该时刻相应获取了一次原始OIS数据。
平行于行方向的第三个时间轴为记录陀螺仪(Gyro)传感器获取原始陀螺仪数据的时间轴，其中，每个小圆点表示在该时刻相应获取了一次原始陀螺仪数据。
示例性的，第1个图像块的曝光起始时刻为tus1，在第二个时间轴中，在tus1之前时间最近的原始OIS数据为t02时刻对应的原始OIS数据，在tus1之后时间最近的原始OIS数据为t03时刻对应的原始OIS数据，因此，可以将t02时刻对应的原始OIS数据和t03时刻对应的原始OIS数据进行插值，从而确定出tus1时刻对应的原始OIS数据，tus1时刻对应的原始OIS数据即为第1个图像块在曝光起始时刻tus1对应的第一OIS数据。
在第三个时间轴中，在tus1之前时间最近的原始陀螺仪数据为tg1时刻对应的原始陀螺仪数据，在tus1之后时间最近的原始陀螺仪数据为tg2时刻对应的原始陀螺仪数据，因此，可以对tg1时刻对应的原始陀螺仪数据和tg2时刻对应的原始陀螺仪数据进行插值，从而确定出tus1时刻对应的原始陀螺仪数据，tus1时刻对应的原始陀螺仪数据即为第1个图像块在曝光起始时刻tus1对应的第一陀螺仪数据。
第1个图像块的曝光结束时刻为tue1，在第二个时间轴中，由于在tue1时刻获取了原始OIS数据，由此，可以直接将该原始OIS数据作为第1个图像块在曝光结束时刻tue1对应的第一OIS数据。
在第三个时间轴中，由于在tue1时刻获取了原始陀螺仪数据，由此，可以直接将该原始陀螺仪数据作为第1个图像块在曝光结束时刻tue1对应的第一陀螺仪数据。
结合第1个图像块在曝光起始时刻tus1对应的第一OIS数据和第一陀螺仪数据，以及在曝光结束时刻tue1应的第一OIS数据和第一陀螺仪数据，可以确定出第1个图像块对应的单应性变换矩阵。
其他图像块的单应性变换矩阵的确定过程与上述类似，在此不再赘述。
结合图6所示，上述S15中确定第一参考图像和第n帧原始图像之间对应的单应性变换矩阵可以包括以下S151至S153。
S151、针对每个图像块，根据该图像块在曝光起始时刻和曝光结束时刻分别对应的第一陀螺仪数据，确定旋转矩阵R。
此处，在仅还原OIS运动的场景下，也即仅启用OIS，没有启用EIS的情况下，该旋转矩阵R可以为单位矩阵。
S152、根据该图像块在曝光起始时刻和曝光结束时刻分别对应的第一OIS数据，确定第一相机内参矩阵Kois。
第一相机内参矩阵Kois表示OIS控制器启用时对应的相机内参矩阵。
其中，Kois可以表示为：
其中，f表示相机的焦距；centerx-oisx表示图像传感器的光学中心偏移后在x轴的坐标位置；centerx表示图像传感器的光学中心在x轴的位置；oisx表示图像传感器的光学中心偏移后，在x轴的偏移量；centery-oisy表示图像传感器的光学中心偏移后，在y轴的坐标位置；centery表示图像传感器的光学中心在y轴的位置；oisy表示图像传感器的光学中心偏移后在y轴的偏移量。
S153、根据旋转矩阵、第一相机内参矩阵，利用公式H＝KRKois -1，确定单应性变换矩阵H。
其中，H表示单应性变换矩阵；K表示标准相机内参；R表示旋转矩阵；Kois -1表示第一相机内参矩阵的逆。
标准相机内参K可以表示为：
其中，f表示相机的焦距；centerx表示图像传感器的光学中心在x轴的位置；centery表示图像传感器的光学中心在y轴的位置。
需要说明的是，在OIS和EIS都启用的情况下，确定单应性变换矩阵的公式为上述公式；在OIS未启用，EIS启用的情况下，可以根据H＝KRK-1，确定单应性变换矩阵H。其中，K-1表示标准相机内参的逆。
S17、根据图像块和对应的单应性变换矩阵，确定原始图像的模糊度。
结合图5所示，如图7所示，上述S17中，根据图像块和对应的单应性变换矩阵，确定原始图像的模糊度可以包括以下S171至S174。
S171、针对每个图像块中的任意一个目标点，确定该目标点在图像块中的第一坐标。
需要说明的是，该目标点可以指示图像块中一个物理意义上的点。该第一坐标包括图像坐标系中沿x轴方向、沿y轴方向的坐标值。
示例性的，如图5所示，每个图像块中的目标点可以为对应图像块中的中间点。例如，第1个图像块中的目标点可以为中间点Po1。
S172、利用图像块对应的单应性变换矩阵对目标点的第一坐标进行变换，确定目标点的第二坐标。
应理解，单应性变换矩阵表示曝光起始时刻和曝光结束时刻两个时间点图像所对应的旋转关系，由此，可以利用该旋转关系将原来的图像块中的目标点进行变换，从而得到与曝光结束时刻的图像块保持一致位姿关系的目标点。
比如，通过将图像块中目标点的坐标值与单应性变换矩阵进行相乘，该单应性变换矩阵可以将目标点的坐标根据相机内参与相机坐标系下的运动信息进行位姿变换，换句话说，就可以将目标点按照旋转关系，旋转成与曝光结束时刻时的图像块位姿关系一致的目标点。
需要说明的是，二维坐标系可以包括二维图像坐标系，二维图像坐标系是指以像素为单位的二维坐标系。例如，相机采集图像在电子设备内可以存储为数组，数组中的每一个元素(像素，pixel)的值即是图像点的亮度(灰度)；在图像上定义直角坐标系u-v，每一个像素的坐标(u，v)可以分别表示该像素在数组中的列数和行数。
三维坐标系可以包括三维相机坐标系，三维相机坐标系是指以光心为原点的三维坐标系。
由于图像块中目标点的坐标值是二维图像坐标系下的值，所以可以将图像块与相机内参矩阵的逆Kois -1相乘，相当于将图像块从二维图像坐标系变换为三维相机坐标系下；将相乘结果再与旋转矩阵R相乘，相当于再进行旋转变换；然后，将旋转变换后对应的数据与K相乘，相当于将三维相机坐标系下的运动又还原到二维图像坐标系中，由此，可以得到相对于目标点变换了旋转关系的新的目标点，该新的目标点的内容与原来的目标点对应，但是旋转关系与曝光结束时刻时图像块的位姿关系一致。
应理解，由于曝光结束时刻相对于曝光起始时刻，图像块的位姿变换关系进行了调整，所以目标点的坐标也相应会发生变化，由此，需要确定目标点在曝光结束时刻时对应的第二坐标。
S173、根据第一坐标和第二坐标的坐标差值，确定图像块对应的模糊度。
坐标差值可以包括图像坐标系中沿x轴方向的坐标值的差值，以及沿y轴方向的坐标值的差值。其中，x轴和y轴所指示方向，与行方向和列方向的方向分别相同，具体对应关系可以根据需要进行设置，本申请实施例对此不进行任何限制。例如，x轴所指示的方向与行方向平行，y轴所指示的方向与列方向平行。
示例性的，若目标点在变换前的图像块中的第一坐标为(x100，y100)，在中间图像块中的第二坐标为(x100'，y100')，则可以计算到沿x轴方向的坐标差值为x100'-x100，沿y轴方向的坐标差值为y100'-y100，那么，该图像块对应的模糊度可以为：
应理解，通过计算目标点在图像块中的第一坐标和在中间图像块中的第二坐标的坐标差值，可以确定出图像块和已经校正了旋转关系的中间图像块中相同的物体的平移关系。
S174、确定所有图像块对应的模糊度的平均值，该平均值为原始图像对应的模糊度。
示例性的，若原始图像包括10个图像块，确定出第1个图像块对应的模糊度为第2个图像块对应的模糊度为/>依次类推，第9个图像块对应的模糊度为/>第10个图像块对应的模糊度为由此，可以确定出上述10个图像块的平均值为
那么，原始图像对应的模糊度可以为：
本申请实施例提供了一种图像模糊度的确定方法，通过将图像沿列方向划分成多个图像块，针对每个图像块，基于行方向首尾分别对应的陀螺仪数据和OIS数据来确定出每个图像块在各自相应的曝光时间内所对应的单应性变换矩阵，然后，利用单应性变换矩阵将该图像块进行变换，通过计算图像块中某一点变换前后的坐标距离，即可以表示该图像块对应的模糊度；再通过确定多个图像块对应的模糊度的均值，即可作为该帧图像对应的模糊度。本申请实施例提供的图像模糊度的确定方法计算简单，也与图像内容无关，可以快速、准确的对图像质量做出评价。
基于上述，本申请实施例还提供一种图像处理方法，包括：利用如图3所示的图像模糊度的确定方法，确定图像的模糊度。
本申请实施例还提供一种视频处理方法，包括：利用如图3所示的图像模糊度的确定方法，确定视频中图像的模糊度。
需要说明的是，通过确定图像的模糊度，可以根据图像的模糊度大小来对图像进行区分，比如可以确定图像为清晰帧或模糊帧，进而选择对清晰帧不进行处理，而仅对模糊比较严重的模糊帧进行修复处理等。
示例性的，可以通过确定图像对应的模糊度，然后，通过设置模糊度阈值，来筛选图像为清晰帧或模糊帧。
应理解，模糊度和清晰度是描述图像清晰程度(模糊程度)的两个相对但又相互关联的概念。图像越清晰，质量越高，对应清晰度越大，模糊度越小。图像越不清晰，也即越模糊，质量越低，对应清晰度越小，模糊度越大。
基于此，若图像对应的模糊度大于模糊度阈值，则该图像为模糊帧。若该图像对应的模糊度小于或等于模糊度阈值，则该图像为清晰帧。
应理解，上述过程主要是为了对图像进行初步筛选，对筛选出的清晰帧不进行处理，仅对模糊帧进行后续处理，这样可以节省一些计算量，提高处理效率。
上文结合图2至图6，对本申请实施例的视频处理方法进行了详细描述，下面将结合图8至图10，详细描述本申请适用的电子设备的硬件***、装置以及芯片。应理解，本申请实施例中的硬件***、装置以及芯片可以执行前述本申请实施例的各种视频处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
本申请实施例提供的视频处理方法可以适用于各种电子设备，对应的，本申请实施例提供的视频处理装置可以为多种形态的电子设备。
在本申请的一些实施例中，该电子设备可以为单反相机、卡片机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等，或者可以为其他能够进行图像处理的设备或装置，对于电子设备的具体类型，本申请实施例不作任何限制。
下文以电子设备为手机为例，图8示出了本申请实施例提供的一种电子设备100的结构示意图。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
需要说明的是，图8所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图8所示的部件更多或更少的部件，或者，电子设备100可以包括图8所示的部件中某些部件的组合，或者，电子设备100可以包括图8所示的部件中某些部件的子部件。图8所示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。
在本申请的实施例中，处理器110可以运行本申请实施例提供的视频处理方法的软件代码，从而拍摄得到清晰度较高的视频。
图8所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获图像或视频。可以通过应用程序指令触发开启，实现拍摄功能，如拍摄获取任意场景的视频流。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头的具体个数以及排布方式可以根据需求设置，本申请不做任何限制。
在本申请的实施例中，摄像头193可以获取视频流，该视频流包括多帧原始图像。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
示例性地，在本申请的实施例中陀螺仪传感器180B可以用于采集的角度信息，角度信息可以用于确定原始图像对应的模糊度。
加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。
可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
图9为本申请实施例提供的一种视频处理装置的结构示意图。如图9所示，该视频处理装置200包括获取模块210和处理模块220。
该视频处理装置200可以执行以下方案：
获取模块210，用于获取原始图像。
处理模块220，用于确定原始图像中沿列方向排布的每个图像块对应的单应性变换矩阵，列方向与电子设备逐行曝光时的行方向相互垂直。
处理模块220还用于根据图像块和对应的单应性变换矩阵，确定原始图像的模糊度。
需要说明的是，上述视频处理装置200以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本申请的实施例中描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例还提供另一种电子设备，包括摄像头模组、处理器和存储器。
摄像头模组，用于获取原始图像。
存储器，用于存储可在处理器上运行的计算机程序。
处理器，用于执行如上述所述的视频处理方法中进行处理的步骤。
可选地，摄像头模组可以包括广角摄像头、主摄摄像头、长焦摄像头中的至少一种。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在视频处理装置上运行时，使得该视频处理装置执行如图3所示的方法。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例还提供了一种包含计算机指令的计算机程序产品，当其在视频处理装置上运行时，使得视频处理装置可以执行图3所示的技术方案。
图10为本申请实施例提供的一种芯片的结构示意图。图10所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器301。其中，处理器301用于支持视频处理装置执行图3所示的技术方案。
可选的，该芯片还包括收发器302，收发器302用于接受处理器301的控制，用于支持通信装置执行图3所示的技术方案。
可选的，图10所示的芯片还可以包括：存储介质303。
需要说明的是，图10所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。
上述本申请实施例提供的电子设备、视频处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。
应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。
还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。
还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。
还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图像模糊度的确定方法，其特征在于，应用于电子设备，所述方法包括：
获取原始图像；
确定所述原始图像中沿列方向排布的每个图像块对应的单应性变换矩阵，所述列方向与所述电子设备逐行曝光时的行方向相互垂直；
根据每个所述图像块和对应的所述单应性变换矩阵，确定所述原始图像的模糊度。
2.根据权利要求1所述的图像模糊度的确定方法，其特征在于，所述电子设备包括陀螺仪传感器和光学稳像(optical image stabilization，OIS)控制器，所述方法还包括：
利用所述陀螺仪传感器获取原始陀螺仪数据；
根据所述原始陀螺仪数据，确定每个所述图像块在曝光起始时刻和曝光结束时刻分别对应的第一陀螺仪数据；
利用所述OIS控制器获取原始OIS数据；
根据所述原始OIS数据，确定每个所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据。
3.根据权利要求2所述的图像模糊度的确定方法，其特征在于，确定所述原始图像中沿列方向排布的每个图像块对应的单应性变换矩阵，包括：
针对每个所述图像块，根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一陀螺仪数据，以及所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据，确定所述图像块对应的所述单应性变换矩阵。
4.根据权利要求3所述的图像模糊度的确定方法，其特征在于，针对每个所述图像块，根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一陀螺仪数据，以及所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据，确定所述图像块对应的所述单应性变换矩阵，包括：
针对每个所述图像块，根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一陀螺仪数据，确定旋转矩阵；
根据所述图像块在所述曝光起始时刻和所述曝光结束时刻分别对应的第一OIS数据，确定第一相机内参矩阵；所述第一相机内参矩阵用于指示所述OIS控制器启用时对应的相机内参矩阵；
根据所述旋转矩阵和所述第一相机内参矩阵，利用公式H＝KRKois -1，确定所述单应性变换矩阵；
其中，H表示所述单应性变换矩阵，K表示标准相机内参，R表示所述旋转矩阵；Kois -1表示所述第一相机内参矩阵的逆。
5.根据权利要求1至4中任一项所述的图像模糊度的确定方法，其特征在于，根据每个所述图像块和对应的所述单应性变换矩阵，确定所述原始图像对应的模糊度，包括：
针对每个所述图像块，根据所述图像块和对应的所述单应性变换矩阵，确定所述图像块对应的模糊度；
确定所有所述图像块对应的模糊度的平均值，所述平均值为所述原始图像对应的模糊度。
6.根据权利要求5所述的图像模糊度的确定方法，其特征在于，针对每个所述图像块，根据所述图像块和对应的所述单应性变换矩阵，确定所述图像块对应的模糊度，包括：
针对每个所述图像块中的任意一个目标点，确定所述目标点在所述图像块中的第一坐标；
利用所述单应性变换矩阵对所述目标点的所述第一坐标进行变换，确定变换后所述目标点对应的第二坐标；
根据所述第一坐标和所述第二坐标的坐标差值，确定所述图像块对应的模糊度，所述坐标差值包括沿所述行方向的坐标差值和沿所述列方向的坐标差值。
7.一种电子设备，其特征在于，包括摄像头、处理器和存储器；
所述摄像头，用于获取原始图像；
所述存储器，用于存储可在所述处理器上运行的计算机程序；
所述处理器，用于执行如权利要求1至6中任一项所述的图像模糊度的确定方法的步骤。
8.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至6中任一项所述的图像模糊度的确定方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的图像模糊度的确定方法。
CN202210334189.2A 2022-03-31 2022-03-31 图像模糊度的确定方法及其相关设备 Pending CN116934654A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210334189.2A CN116934654A (zh) 2022-03-31 2022-03-31 图像模糊度的确定方法及其相关设备
EP22896838.4A EP4280154A4 (en) 2022-03-31 2022-12-12 METHOD FOR DETERMINING IMAGE BLUR AND ASSOCIATED DEVICE
PCT/CN2022/138471 WO2023185096A1 (zh) 2022-03-31 2022-12-12 图像模糊度的确定方法及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210334189.2A CN116934654A (zh) 2022-03-31 2022-03-31 图像模糊度的确定方法及其相关设备

Publications (1)

Publication Number Publication Date
CN116934654A true CN116934654A (zh) 2023-10-24

Family

ID=87060145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210334189.2A Pending CN116934654A (zh) 2022-03-31 2022-03-31 图像模糊度的确定方法及其相关设备

Country Status (3)

Country Link
EP (1) EP4280154A4 (zh)
CN (1) CN116934654A (zh)
WO (1) WO2023185096A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076977A1 (en) * 2005-10-05 2007-04-05 Kuan-Wen Chen Method for calibrating camera parameters
US20160360111A1 (en) * 2014-08-25 2016-12-08 Apple Inc. Combined Optical And Electronic Image Stabilization
US20180336704A1 (en) * 2016-02-03 2018-11-22 Sportlogiq Inc. Systems and Methods for Automated Camera Calibration
WO2018223381A1 (zh) * 2017-06-09 2018-12-13 厦门美图之家科技有限公司 一种视频防抖方法及移动设备
CN111275626A (zh) * 2018-12-05 2020-06-12 深圳市炜博科技有限公司 一种基于模糊度的视频去模糊方法、装置及设备
CN113572993A (zh) * 2020-04-27 2021-10-29 华为技术有限公司 一种视频处理方法及移动终端
CN114119678A (zh) * 2021-09-30 2022-03-01 北京旷视科技有限公司 光流估计方法、计算机程序产品、存储介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5778998B2 (ja) * 2010-06-04 2015-09-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置、画像生成方法およびコンピュータプログラム
CN105069753B (zh) * 2015-07-30 2018-06-26 华中科技大学 一种面向移动终端的抖动模糊图像复原方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076977A1 (en) * 2005-10-05 2007-04-05 Kuan-Wen Chen Method for calibrating camera parameters
US20160360111A1 (en) * 2014-08-25 2016-12-08 Apple Inc. Combined Optical And Electronic Image Stabilization
US20180336704A1 (en) * 2016-02-03 2018-11-22 Sportlogiq Inc. Systems and Methods for Automated Camera Calibration
WO2018223381A1 (zh) * 2017-06-09 2018-12-13 厦门美图之家科技有限公司 一种视频防抖方法及移动设备
CN111275626A (zh) * 2018-12-05 2020-06-12 深圳市炜博科技有限公司 一种基于模糊度的视频去模糊方法、装置及设备
CN113572993A (zh) * 2020-04-27 2021-10-29 华为技术有限公司 一种视频处理方法及移动终端
CN114119678A (zh) * 2021-09-30 2022-03-01 北京旷视科技有限公司 光流估计方法、计算机程序产品、存储介质及电子设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
RUIWEN ZHEN, ROBERT L. STEVENSON: "Semi-blind deblurring images captured with an electronic rolling shutter mechanism", 《PROCEEDINGS VOLUME 9410, VISUAL INFORMATION PROCESSING AND COMMUNICATION VI》, 4 March 2015 (2015-03-04), pages 1 - 9 *
SU S, HEIDRICH W: "Rolling Shutter Motion Deblurring", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 31 December 2015 (2015-12-31), pages 1529 - 1537 *
ZHIHANG ZHONG, YINQIANG ZHENG, IMARI SATO;: "Towards Rolling Shutter Correction and Deblurring in Dynamic Scenes", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 2 November 2021 (2021-11-02), pages 9219 - 9228 *
庞胜利: "图像模糊度评价研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 1 - 66 *
杨佳丽等: "李群流形上的在线视频稳像算法", 《模式识别与人工智能》, vol. 32, no. 4, pages 298 - 305 *
王雷，张磊: "一种符合视觉感知的视频运动模糊帧检测方法", 《中国科技论文》, pages 168 - 173 *

Also Published As

Publication number Publication date
EP4280154A4 (en) 2024-05-08
WO2023185096A1 (zh) 2023-10-05
EP4280154A1 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
CN107948519B (zh) 图像处理方法、装置及设备
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
US20210150687A1 (en) Image Processing Method, Electronic Device and Storage Medium
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
JP5843454B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN115546043B (zh) 视频处理方法及其相关设备
CN114339102B (zh) 一种录像方法及设备
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN115701125B (zh) 图像防抖方法与电子设备
CN112822412A (zh) 曝光方法和电子设备
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
EP3267675B1 (en) Terminal device and photographing method
CN113875219A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN114390186B (zh) 视频拍摄方法及电子设备
KR20170034299A (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
CN116055895B (zh) 图像处理方法及其装置、芯片***和存储介质
WO2023124202A1 (zh) 图像处理方法与电子设备
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN108520036B (zh) 图像的选取方法、装置、存储介质及电子设备
CN114449130B (zh) 一种多摄像头的视频融合方法及***
CN114339101B (zh) 一种录像方法及设备
CN116934654A (zh) 图像模糊度的确定方法及其相关设备
CN115546042B (zh) 视频处理方法及其相关设备
CN108335278B (zh) 图像的处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination