CN115103108A - 防抖处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
防抖处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN115103108A CN115103108A CN202210627303.0A CN202210627303A CN115103108A CN 115103108 A CN115103108 A CN 115103108A CN 202210627303 A CN202210627303 A CN 202210627303A CN 115103108 A CN115103108 A CN 115103108A
- Authority
- CN
- China
- Prior art keywords
- shake
- information
- compensation
- motion
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims abstract description 538
- 238000013519 translation Methods 0.000 claims abstract description 201
- 238000001914 filtration Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000004590 computer program Methods 0.000 claims abstract description 22
- 230000000875 corresponding effect Effects 0.000 claims description 177
- 238000013507 mapping Methods 0.000 claims description 35
- 230000002596 correlated effect Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 13
- 238000007499 fusion processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000005096 rolling process Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
本申请涉及一种防抖处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:确定摄像头在当前时刻的当前运动信息;获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。采用本方法能够准确对不同的抖动场景进行抖动补偿。
Description
技术领域
本申请涉及影像技术领域,特别是涉及一种防抖处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
随着影像技术的发展,人们越来越经常通过电子设备上的摄像头等图像采集设备拍摄图像或视频,记录各种信息。在进行拍摄的过程中,由于外界的抖动,会带来拍摄画面的抖动,造成图像的运动模糊。为了保证拍摄的质量,需要对拍摄过程进行防抖。
但是,传统的防抖方案往往是针对单一的运动模糊进行处理,无法适配不同的场景。
发明内容
本申请实施例提供了一种防抖处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品,可以适配不同的抖动场景。
一种防抖处理方法,包括:
确定摄像头在当前时刻的当前运动信息;
获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;
基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;
根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。
一种防抖处理装置,包括:
第一确定模块,用于确定摄像头在当前时刻的当前运动信息;
获取模块,用于获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;
第二确定模块,用于基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;
补偿模块,用于根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
确定摄像头在当前时刻的当前运动信息;
获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;
基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;
根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
确定摄像头在当前时刻的当前运动信息;
获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;
基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;
根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。
一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如下步骤:
确定摄像头在当前时刻的当前运动信息;
获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;
基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;
根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。
上述防抖处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品,通过确定摄像头在当前时刻的当前运动信息,以获取与当前运动信息对应的平移防抖强度信息和旋转防抖强度信息,从而能够基于当前运动状态适配与摄像头当前运动状态合适的平移防抖强度信息和旋转防抖强度信息。基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,能够准确地确定平移补偿信息和旋转补偿信息,从而驱动摄像头进行平移防抖补偿和旋转防抖补偿,使得对运动产生的抖动补偿更准确。并且,基于当前运动信息适配合适的平移防抖强度和旋转防抖强度,能够针对由于移动产生运动模糊和由于旋转产生运动模糊等多种场景进行针对性地、不同强度的防抖补偿处理,从而能够有效适配不同的抖动场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的图像处理电路;
图2为一个实施例中防抖处理方法的流程图;
图3为一个实施例中根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿的流程图;
图4为一个实施例中传感器进行旋转补偿操作的示意图;
图5为另一个实施例中传感器进行平移补偿操作和旋转补偿操作的示意图;
图6A为一个实施例中防抖处理方法的流程示意图;
图6B为另一个实施例中防抖处理方法的流程示意图;
图7为一个实施例中防抖处理装置的结构框图;
图8为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例中的防抖处理方法可应用于电子设备。该电子设备可为带有至少一个摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。
在一个实施例中,上述电子设备中可包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,提供了带有两个摄像头的电子设备的图像处理电路。该图像处理电路包括第一ISP处理器130、第二ISP处理器140和控制逻辑器150。第一摄像头110包括一个或多个第一透镜112和第一图像传感器114。第一图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器114可获取用第一图像传感器114的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器130处理的一组图像数据。第二摄像头120包括一个或多个第二透镜122和第二图像传感器124。第二图像传感器124可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器124可获取用第二图像传感器124的每个成像像素捕捉的光强度和波长信息,并提供可由第二ISP处理器140处理的一组图像数据。
第一摄像头110采集的第一图像传输给第一ISP处理器130进行处理,第一ISP处理器130处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150,控制逻辑器150可根据统计数据确定第一摄像头110的控制参数,从而第一摄像头110可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器130进行处理后可存储至图像存储器160中,第一ISP处理器130也可以读取图像存储器160中存储的图像以对进行处理。另外,第一图像经过ISP处理器130进行处理后可直接发送至显示器170进行显示,显示器170也可以读取图像存储器160中的图像以进行显示。
其中,第一ISP处理器130按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,第一ISP处理器130可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
图像存储器160可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自第一图像传感器114接口的图像数据时,第一ISP处理器130可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器160,以便在被显示之前进行另外的处理。第一ISP处理器130从图像存储器160接收处理数据,并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器130处理后的图像数据可输出给显示器170,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,第一ISP处理器130的输出还可发送给图像存储器160,且显示器170可从图像存储器160读取图像数据。在一个实施例中,图像存储器160可被配置为实现一个或多个帧缓冲器。
第一ISP处理器130确定的统计数据可发送给控制逻辑器150。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜112阴影校正等第一图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头110的控制参数及第一ISP处理器130的控制参数。例如,第一摄像头110的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及第一透镜112阴影校正参数。
同样地,第二摄像头120采集的第二图像传输给第二ISP处理器140进行处理,第二ISP处理器140处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150,控制逻辑器150可根据统计数据确定第二摄像头120的控制参数,从而第二摄像头120可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器140进行处理后可存储至图像存储器160中,第二ISP处理器140也可以读取图像存储器160中存储的图像以对进行处理。另外,第二图像经过ISP处理器140进行处理后可直接发送至显示器170进行显示,显示器170也可以读取图像存储器160中的图像以进行显示。第二摄像头120和第二ISP处理器140也可以实现如第一摄像头110和第一ISP处理器130所描述的处理过程。
在一个实施例中,第一摄像头110可为彩色摄像头,第二摄像头120可为TOF(TimeOf Flight,飞行时间)摄像头或结构光摄像头。TOF摄像头可获取TOF深度图,结构光摄像头可获取结构光深度图。第一摄像头110和第二摄像头120可均为彩色摄像头。通过两个彩色摄像头获取双目深度图。第一ISP处理器130和第二ISP处理器140可为同一ISP处理器。
第一摄像头110进行拍摄时,第一ISP处理器130可确定第一摄像头110在当前时刻的当前运动信息。ISP处理器可获取与当前运动信息对应的防抖强度信息,防抖强度信息包括平移防抖强度信息和旋转防抖强度信息。ISP处理器可基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息。ISP处理器根据平移补偿信息和旋转补偿信息驱动第一摄像头110进行防抖补偿。
在一个实施例中,该防抖处理是光学防抖(Optical Image Stabilization,简称OIS防抖)。光学防抖是指在拍摄过程中镜头内的陀螺仪侦测到微小的移动时,会将信号传至微处理器立即计算需要补偿的位移量,然后通过补偿镜片组,根据镜头的抖动方向及位移量加以补偿,从而能够有效克服因摄像头的抖动导致影像模糊的问题,并且能够适配不同的抖动场景。
图2为一个实施例中防抖处理方法的流程图。本实施例中的防抖处理方法,以运行于图1中的电子设备上为例进行描述。如图2所示,该防抖处理方法包括:
步骤S202,确定摄像头在当前时刻的当前运动信息。
其中,当前运动信息是指表征摄像头在当前时刻的运动状态的相关信息,当前运动信息可包括运动速度。运动速度是指摄像头在当前时刻的运动状态所产生的速度,该运动速度可包括角速度和加速度中的至少一种。角速度可转换为摄像头在世界坐标系下的旋转矩阵。因此,旋转矩阵可用于表征摄像头的当前运动信息。运动速度包括平移运动速度和旋转运动速度中的至少一种。平移运动速度是指摄像头在当前时刻移动的速度,旋转运动速度是指摄像头在当前时刻旋转的速度。
具体地,电子设备的ISP处理器或中央处理器可检测摄像头在当前时刻的运动速度,将运动速度作为当前运动信息。进一步地,可检测摄像头在当前时刻的角速度和加速度中的至少一种,将当前时刻的角速度和加速度中的至少一种作为当前时刻的运动速度。角速度可通过陀螺仪(Gyroscope,简称Gyro)传感器检测,加速度可通过加速度(acceleration transducer,简称Acc)传感器检测。其中,陀螺仪传感器是一个简单易用的基于自由空间移动和手势定位的控制***,加速度传感器是一种能够测量加速度的传感器。
在一个实施例中,电子设备的ISP处理器或中央处理器可通过摄像头在当前时刻的加速度确定当前时刻的运动速度。
在一个实施例中,电子设备的ISP处理器或中央处理器可通过陀螺仪传感器检测摄像头的角速度,以得到摄像头在当前时刻的角速度,将当前角速度信息作为摄像头的运动速度。进一步地,电子设备的ISP处理器或中央处理器可通过陀螺仪传感器获取摄像头在当前时刻的的三轴角速度,将当前时刻的三轴角速度作为摄像头在当前时刻的运动速度。或者,将该三轴角速度经过校正和在时间域上的积分处理,输出三轴角速度。
或者,电子设备的ISP处理器或中央处理器可通过加速度传感器检测摄像头的加速度,以得到摄像头在当前时刻的加速度,将当前时刻的加速度作为摄像头的在当前时刻的运动速度。
步骤S204,获取与当前运动信息对应的防抖强度信息;防抖强度信息包括平移防抖强度信息和旋转防抖强度信息。
具体地,电子设备中预先配置了不同运动信息所对应的平移防抖强度信息和旋转防抖强度信息,运动信息与平移防抖强度信息之间呈正相关关系、运动信息与旋转防抖强度信息之间呈正相关关系。例如,运动信息通过具体的数值表征,防抖强度信息通过防抖强度值表征时,表征运动信息的数值越大,所对应的平移防抖强度值越大,表征运动信息的数值越大,所对应的旋转防抖强度值越大;表征运动信息的数值越小,所对应的平移防抖强度值越小,表征运动信息的数值越小,所对应的旋转防抖强度值越小。
电子设备的ISP处理器或中央处理器可根据摄像头在当前时刻的当前运动信息,获取与该当前运动信息相对应的平移防抖强度信息和旋转防抖强度信息。
步骤S206,基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息。
其中,前序时刻是指在当前时刻之前的时刻,可以是当前时刻的前一时刻、前多个时刻,前多个时刻例如前两个时刻、前三个时刻等,但不限于此。平移补偿信息指的是对摄像头由于抖动所产生的位移量进行补偿的信息,旋转补偿信息指的是对摄像头由于抖动所产生的旋转量进行补偿的信息。滤波运动信息是指对运动信息进行滤波处理所得到的信息,具体可以是对运动信息进行低通滤波处理所得到的信息。
具体地,电子设备的ISP处理器或中央处理器可获取当前时刻的前序时刻所对应的滤波运动信息,根据基于平移防抖强度信息、当前运动信息和前序时刻所对应的滤波运动信息,确定平移补偿信息。根据基于旋转防抖强度信息、当前运动信息和前序时刻所对应的滤波运动信息,确定旋转补偿信息。
例如,根据基于平移防抖强度信息、当前运动信息和当前时刻的前一时刻所对应的滤波运动信息,确定平移补偿信息。根据基于旋转防抖强度信息、当前运动信息和当前时刻的前一时刻所对应的滤波运动信息,确定旋转补偿信息。
进一步地,电子设备的ISP处理器或中央处理器可获取当前时刻的前序时刻所对应的运动信息,对前序时刻的运动信息进行滤波处理,得到前序时刻对应的滤波运动信息。
步骤S208,根据平移补偿信息和旋转补偿信息,驱动摄像头进行防抖补偿。
具体地,电子设备的ISP处理器或中央处理器可基于平移补偿信息驱动摄像头进行平移防抖补偿,基于旋转补偿信息驱动摄像头进行旋转防抖补偿。
本实施例中,通过确定摄像头在当前时刻的当前运动信息,以获取与当前运动信息对应的平移防抖强度信息和旋转防抖强度信息,从而能够基于当前运动状态适配与摄像头当前运动状态合适的平移防抖强度信息和旋转防抖强度信息。基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,能够准确地确定平移补偿信息和旋转补偿信息,从而驱动摄像头进行平移防抖补偿和旋转防抖补偿,使得对运动产生的抖动补偿更准确。并且,基于当前运动信息适配合适的平移防抖强度和旋转防抖强度,能够针对由于移动产生运动模糊和由于旋转产生运动模糊等多种场景进行针对性地、不同强度的防抖补偿处理,从而能够有效适配不同的抖动场景。
在一个实施例中,当前运动信息包括平移运动速度和旋转运动速度,平移防抖强度信息包括平移防抖强度值,旋转防抖强度信息包括旋转防抖强度值;获取与当前运动信息对应的防抖强度信息,包括:
根据摄像头在平移方向上的平移运动速度,获取与平移运动速度相关联的平移防抖强度值,平移运动速度与平移防抖强度值正相关;根据摄像头在旋转方向上的旋转运动速度,获取与旋转运动速度相关联的旋转防抖强度值,旋转运动速度与旋转防抖强度值正相关,平移方向与旋转方向垂直。
具体地,电子设备中可预先配置平移运动速度和平移防抖强度值之间的映射关系,以及旋转运动速度和旋转防抖强度值之间的映射关系。平移运动速度与平移防抖强度值正相关,旋转运动速度与旋转防抖强度值正相关。
平移方向是指摄像头由于抖动产生位移的方向,旋转方向指的摄像头由于抖动产生旋转的方向。平移方向与旋转方向垂直。
电子设备的ISP处理器或中央处理器可检测摄像头当前时刻在平移方向上的平移运动速度,可根据平移运动速度获取对应的平移防抖强度值。
电子设备的ISP处理器或中央处理器可检测摄像头当前时刻在旋转方向上的旋转运动速度,可根据平移运动速度获取对应的旋转防抖强度值。
在一个实施例中,电子设备中预先配置了不同平移运动速度所对应的平移防抖强度值。电子设备的ISP处理器或中央处理器可检测摄像头在当前时刻的平移运动速度,基于平移运动速度与平移防抖强度值之间的映射关系,获取与该平移运动速度所对应的平移防抖强度值。
在一个实施例中,电子设备中预先配置了不同旋转运动速度所对应的旋转防抖强度值。电子设备的ISP处理器或中央处理器可检测摄像头在当前时刻的旋转运动速度,基于旋转运动速度与旋转防抖强度值之间的映射关系,获取与该旋转运动速度所对应的旋转防抖强度值。
在一个实施例中,平移方向包括第一运动方向和第二运动方向,旋转方向包括第三运动方向,第一运动方向、第二运动方向和第三运动方向相互垂直;获取与当前运动信息对应的防抖强度信息,包括:
根据摄像头分别在第一运动方向和第二运动方向上的平移运动速度,获取与第一运动方向的平移运动速度相关联的平移防抖强度值,以及获取与第二运动方向的平移运动速度相关联的平移防抖强度值,平移运动速度与平移防抖强度值正相关;根据摄像头在第三运动方向上的旋转运动速度,获取与旋转运动速度相关联的旋转防抖强度值,旋转运动速度与旋转防抖强度值正相关,平移方向与旋转方向垂直。
可以理解的是,在第一运动方向和第二运动方向上产生的运动速度称为平移运动速度,在第三运动方向上产生的运动速度称为旋转运动速度。
在一个实施例中,第一运动方向、第二运动方向和第三运动方向分别为X轴方向、Y轴方向和Z轴方向,绕X轴和绕Y轴移动所产生的运动速度称为平移运动速度,绕Z轴移动所产生的运动速度称为旋转运动速度。
本实施例中,当运动速度较小时,运动模糊不容易产生,此时产生的抖动比较小。当运动速度较大时,容易产生运动模糊,即产生的抖动比较大。并且,在平移方向上产生的抖动程度和在旋转方向上产生的抖动程度不同。本实施例中预先配置平移运动速度和旋转防抖强度值的映射关系,以及旋转运动速度和旋转防抖强度值的映射关系,确保平移运动速度和旋转防抖强度值正相关、旋转运动速度和旋转防抖强度值正相关,使得平移运动速度较小时,适配一个较小的平移防抖强度值,可计算得到较小的平移防抖补偿量,平移运动速度较大时,适配一个较大的平移防抖强度值,可计算得到较大的平移防抖补偿量,能够准确对产生的平移抖动进行针对性的平移防抖补偿,使得镜头保持在最佳补偿状态。同时,在旋转运动速度较小时,适配一个较小的旋转防抖强度值,可计算得到较小的旋转防抖补偿量,旋转运动速度较大时,适配一个较大的旋转防抖强度值,可计算得到较大的旋转防抖补偿量,能够准确对产生的旋转抖动进行针对性的旋转防抖补偿,使得镜头保持在最佳补偿状态。并且,将镜头所产生的抖动分为平移方向上的抖动和旋转方向上的抖动,使得能够根据实时运动状态对平移补偿和旋转补偿进行动态融合,提高防抖补偿的准确性。
在一个实施例中,该方法还包括:
分别采集摄像头在平移方向和旋转方向以不同运动速度进行运动所得到的样本视频;根据平移方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的平移防抖强度值;根据旋转方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的旋转防抖强度值。
其中,样本视频的模糊度是指样本视频的模糊程度。
具体地,摄像头在平移方向上以不同运动速度进行运动并进行视频采集,得到对应平移方向的样本视频。电子设备的ISP处理器或中央处理器可检测样本视频的模糊度,并确定不同运动速度在样本视频中各自对应的模糊度。电子设备的ISP处理器或中央处理器可获取候选的平移防抖强度值,通过各个候选的平移防抖强度值对样本视频进行调整,使得样本视频的模糊度降低,即使得样本视频变清晰。
电子设备的ISP处理器或中央处理器可基于各个候选的平移防抖强度值对样本视频的调整,从各个候选的平移防抖强度值中筛选出每个运动速度分别对应的平移防抖强度值。进一步地,确定将每个运动速度对应的样本视频的模糊度,调整至满足清晰条件时的候选的平移防抖强度值,作为相应运动速度所对应的平移防抖强度值。
类似地,摄像头在旋转方向上以不同运动速度进行运动并进行视频采集,得到对应旋转方向的样本视频。电子设备的ISP处理器或中央处理器可检测样本视频的模糊度,并确定不同运动速度在样本视频中各自对应的模糊度。电子设备的ISP处理器或中央处理器可获取候选的旋转防抖强度值,通过各个候选的旋转防抖强度值对样本视频进行调整,使得样本视频的模糊度降低,即使得样本视频变清晰。
电子设备的ISP处理器或中央处理器可基于各个候选的旋转防抖强度值对样本视频的调整,从各个候选的旋转防抖强度值中筛选出每个运动速度分别对应的旋转防抖强度值。进一步地,确定将每个运动速度对应的样本视频的模糊度,调整至满足清晰条件时的候选的旋转防抖强度值,作为相应运动速度所对应的旋转防抖强度值。
在一个实施例中,平移方向上的一个运动速度可采集得到一个样本视频,使得平移方向上的不同运动速度对应各自的样本视频。旋转方向上的一个运动速度可采集得到一个样本视频,使得旋转方向上的不同运动速度对应各自的样本视频。通过各个候选的平移防抖强度值,对平移方向的单个运动速度对应的样本视频进行调整,直至样本视频的模糊度满足清晰条件时停止,并将满足清晰条件时的候选平移防抖强度值作为该运动速度对应的平移防抖强度值。建立运动速度和对应的平移防抖强度值之间的映射关系。类似地,平移方向的每个运动速度和旋转方向上的每个运动速度均按照上述处理,即可得到平移方向的每个运动速度各自对应的平移防抖强度值,以及旋转方向的每个运动速度各自对应的旋转防抖强度值。
本实施例中,平移方向包括第一运动方向和第二运动方向,旋转方向包括第三运动方向,第一运动方向、第二运动方向和第三运动方向相互垂直;分别采集摄像头在平移方向和旋转方向以不同运动速度进行运动所得到的样本视频,包括:分别采集摄像头在第一运动方向、第二运动方向和第三运动方向以不同运动速度进行运动所生成的样本视频;
根据平移方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的平移防抖强度值,包括:根据第一运动方向对应的样本视频的模糊度和各运动速度,确定在第一运动方向下的每个运动速度各自对应的平移防抖强度值;根据第二运动方向对应的样本视频的模糊度和各运动速度,确定在第二运动方向下每个运动速度各自对应的平移防抖强度值;
根据旋转方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的旋转防抖强度值,包括:基于第三运动方向对应的样本视频的模糊度和各运动速度,确定在第三运动方向下每个运动速度各自对应的旋转防抖强度值。
本实施例中,分别采集摄像头在平移方向和旋转方向以不同运动速度进行运动所得到的样本视频,使得分别在产生平移抖动和旋转抖动的情况下采集视频,从而能够确定产生平移抖动情况下所拍摄得到的视频的模糊程度,以及产生旋转抖动情况下所拍摄得到的视频的模糊程度。根据平移方向对应的样本视频的模糊度和采集样本视频时的各运动速度之间的对应关系,为各运动速度分别适配各自的平移防抖强度值,以降低平移抖动所导致的视频的模糊程度。根据旋转方向对应的样本视频的模糊度和采集样本视频时的各运动速度,为各运动速度分别适配各自的旋转防抖强度值,以降低旋转抖动所导致的视频的模糊程度。预先确定平移方向上的不同运动速度和不同平移防抖强度值之间的映射关系,以及旋转方向上的不同运动速度和不同旋转防抖强度值之间的映射关系,提高后续防抖处理的效率。并且,针对平移方向和旋转方向设置各自的防抖强度,使得能够针对不同方向造成的抖动适配不同强度的抖动补偿,从而实现两方面抖动补偿的融合,提高抖动补偿的准确性。
在一个实施例中,根据平移方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的平移防抖强度值,包括
根据平移方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度;确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的平移防抖强度值,并构建不同级别的运动速度与各平移防抖强度值之间的映射关系;
根据旋转方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的旋转防抖强度值,包括:
根据旋转方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度;确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的旋转防抖强度值,并构建不同级别的运动速度与各旋转防抖强度值之间的映射关系。
具体地,电子设备的ISP处理器或中央处理器可检测不同运动速度在样本视频中各自对应的模糊度,将对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度。电子设备的ISP处理器或中央处理器确定一个级别下的运动速度所对应的模糊度,通过各个候选的平移防抖强度值对样本视频进行调整,直至一个级别下的运动速度对应的模糊度满足清晰条件时停止,并将满足清晰条件时的候选平移防抖强度值作为该级别下的运动速度对应的平移防抖强度值。构建该级别下的运动速度和对应的平移防抖强度值之间的映射关系。
按照相同的处理,对于平移方向,可得到不同级别的运动速度与各平移防抖强度值之间的映射关系。类似地,对于旋转方向,也可得到不同级别的运动速度与各旋转防抖强度值之间的映射关系。
本实施例中,根据平移方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度,以在平移方向上划分多个等级的运动速度。确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的平移防抖强度值,并构建不同级别的运动速度与各平移防抖强度值之间的映射关系,从而准确确定能够将不同平移抖动导致的视频模糊调整至清晰时的平移防抖强度值。根据旋转方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度,确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的旋转防抖强度值,并构建不同级别的运动速度与各旋转防抖强度值之间的映射关系,从而准确确定能够将不同旋转抖动导致的视频模糊调整至清晰时的旋转防抖强度值。
在一个实施例中,基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息,包括:
基于平移防抖强度信息、旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定当前时刻的滤波运动信息;基于当前运动信息和当前时刻的滤波运动信息,确定平移补偿信息和旋转补偿信息。
具体地,电子设备的ISP处理器或中央处理器可基于平移防抖强度信息、旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,将当前运动信息和前序时刻的滤波运动信息进行运动姿态融合处理,得到当前时刻的滤波运动信息。电子设备的ISP处理器或中央处理器可确定当前运动信息和当前时刻的滤波运动信息之间的差异,基于差异确定平移补偿信息和旋转补偿信息。平移防抖补偿信息是指对摄像头产生的平移抖动进行补偿的信息。旋转防抖补偿信息是指对摄像头产生的旋转抖动进行补偿的信息。
在一个实施例中,可将平移防抖强度信息、旋转防抖强度信息作为当前运动信息的权重信息,并基于平移防抖强度信息和旋转防抖强度信息确定前序时刻的滤波运动信息所对应的权重信息。当前运动信息的权重信息可表征当前运动信息在运动融合过程中所占的权重,前序时刻的滤波运动信息所对应的权重信息可表征前序时刻的滤波运动信息在运动融合过程中所占的权重。电子设备的ISP处理器或中央处理器可基于当前运动信息和对应的权重信息,以及前序时刻的滤波运动信息和对应的权重信息,将当前运动信息和前序时刻的滤波运动信息进行运动姿态融合处理,得到当前时刻的滤波运动信息。
在一个实施例中,运动姿态融合处理可以是卡尔曼滤波处理,可通过卡尔曼滤波器实现。卡尔曼滤波(Kalman filtering)是一种利用线性***状态方程,通过***输入输出观测数据,对***状态进行最优估计的算法。由于观测数据中包括***中的噪声和干扰的影响,所以最优估计也可看作是滤波过程。卡尔曼滤波器是一种由卡尔曼(Kalman)提出的用于时变线性***的递归滤波器。这个***可用包含正交状态变量的微分方程模型来描述,这种滤波器是将过去的测量估计误差合并到新的测量误差中来估计将来的误差。
本实施例中,基于平移防抖强度信息、旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,能够准确确定当前时刻的滤波运动信息,从而能够当前运动信息和当前时刻的滤波运动信息之间的差异,准确确定防抖补偿信息,以实现抖动补偿。
在一个实施例中,如图3所示,平移补偿信息包括平移补偿量和平移补偿行程,旋转补偿信息包括旋转补偿量和旋转补偿行程;基于当前运动信息和当前时刻的滤波运动信息,确定平移补偿信息和旋转补偿信息,包括步骤S302-步骤S304:
步骤S302,基于当前运动信息和当前时刻的滤波运动信息,确定平移补偿量和旋转补偿量。
具体地,平移补偿信息包括平移补偿量和平移补偿行程,旋转补偿信息包括旋转补偿量和旋转补偿行程。平移补偿量表征对摄像头产生的移动抖动进行平移补偿的数值,旋转补偿量表征对摄像头产生的旋转抖动进行旋转补偿的数值。
电子设备通过推镜头来实现光学防抖,镜头可在第一运动方向、第二运动方向和第三运动方向上被推动,第一运动方向、第二运动方向和第三运动方向相互垂直。例如镜头可在X方向、Y方向和Z方向上被推动,被推动的行程单位为code。而平移补偿行程是指摄像头产生平移抖动时,在X方向或Y方向上被推动的行程,该行程用于对摄像头产生的平移抖动进行补偿。该X方向垂直于Y方向。旋转补偿行程是指摄像头产生旋转抖动时,在Z方向被推动的行程,该行程用于对摄像头产生的旋转抖动进行补偿。X方向、Y方向和Z方向相互垂直。
电子设备的ISP处理器或中央处理器可基于当前运动信息和当前时刻的滤波运动信息,确定平移补偿量和旋转补偿量。进一步地,电子设备的ISP处理器或中央处理器可基于当前运动信息和当前时刻的滤波运动信息,分别计算出在X方向上的平移补偿量、在Y方向上的平移补偿量,以及在Z方向上的旋转补偿量。
步骤S304,获取预设校准值,基于平移补偿量和预设校准值,确定摄像头的平移补偿行程;基于旋转补偿量和预设校准值,确定摄像头的旋转补偿行程。
具体地,电子设备中预先设置了平移补偿量、预设校准值和行程中心位置三者之间的关联关系,以旋转补偿量、预设校准值和行程中心位置三者之间的关联关系。预设校准值是预先设置的经验值,能够表征平移补偿量、旋转补偿量和行程中心位置之间的关系。行程中心位置是指摄像头在可以推动的整个行程中的中心位置。可以理解的是,平移补偿量和旋转补偿量所对应的预设校准值可以相同,也可以不同,例如基于平移补偿量和第一预设校准值,确定摄像头的平移补偿行程;基于旋转补偿量和第二预设校准值,确定摄像头的旋转补偿行程。
电子设备的ISP处理器或中央处理器可确定摄像头当前所处行程的行程中心位置,并获取预设校准值,根据平移补偿量、预设校准值和行程中心位置,计算出对应的平移补偿行程。根据旋转补偿量和预设校准值,计算出对应的旋转补偿行程。
在一个实施例中,将平移补偿量和预设校准值的乘积,与行程中心位置之和,作为对应的平移补偿行程。将旋转补偿量和预设校准值的乘积,与行程中心位置之和,作为对应的旋转补偿行程。
在一个实施例中,电子设备中预先设置了在X方向上的平移补偿量、预设校准值和行程中心位置三者之间的第一关联关系、在Y方向上的平移补偿量、预设校准值和行程中心位置三者之间的第二关联关系,以及在Z方向上的旋转补偿量、预设校准值和行程中心位置三者之间的第三关联关系。电子设备的ISP处理器或中央处理器可确定摄像头所处行程在X方向上、Y方向上和Z方向上的行程中心位置。根据在X方向上的平移补偿量、X方向上的预设校准值和在X方向上的行程中心位置,计算出X方向上的平移补偿行程。根据在Y方向上的平移补偿量、Y方向上的预设校准值和在Y方向上的行程中心位置,计算出Y方向上的平移补偿行程。根据在Z方向上的旋转补偿量、Z方向上的预设校准值和在Z方向上的行程中心位置,计算出Z方向上的旋转补偿行程。
进一步地,电子设备的ISP处理器或中央处理器可将在X方向上的平移补偿量和在X方向上的预设校准值的乘积,与在X方向上的行程中心位置之和,作为在X方向上对应的平移补偿行程。将在Y方向上的平移补偿量和在Y方向上的预设校准值的乘积,与在Y方向上的行程中心位置之和,作为在Y方向上对应的平移补偿行程。将在Z方向上的平移补偿量和在Z方向上的预设校准值的乘积,与在Z方向上的行程中心位置之和,作为在Z方向上对应的平移补偿行程。
根据平移补偿信息和旋转补偿信息,驱动摄像头进行防抖补偿,包括步骤S306:
步骤S306,根据摄像头的当前行程位置、平移补偿行程和旋转补偿行程,驱动摄像头进行平移防抖补偿和旋转防抖补偿。
其中,当前行程位置是指摄像头在当前所处行程中的实际位置。
具体地,电子设备的ISP处理器或中央处理器可根据摄像头的当前行程位置,将摄像头从当前行程位置在平移方向推动平移补偿行程,以实现平移防抖补偿,在旋转方向推动旋转补偿行程,以实现旋转防抖补偿。
本实施例中,基于当前运动信息和当前时刻的滤波运动信息,能够准确计算出克服本次抖动所需要的平移补偿量和旋转补偿量。获取预设校准值,基于平移补偿量、预设校准值和摄像头当前所处行程的行程中心位置,能够准确计算出克服抖动所需要的平移补偿行程,基于旋转补偿量、预设校准值和摄像头当前所处行程的行程中心位置,能够准确计算出克服抖动所需要的旋转补偿行程,从而能够驱动摄像头准确进行防抖补偿。
在一个实施例中,根据平移补偿信息和旋转补偿信息,驱动摄像头进行防抖补偿,包括:
根据摄像头的当前行程位置、平移补偿信息和旋转补偿信息,确定摄像头的目标行程位置;驱动摄像头移动至目标行程位置。
具体地,电子设备的ISP处理器或中央处理器根据摄像头的当前行程位置、平移补偿信息和旋转补偿信息,计算摄像头的目标行程位置。其中,目标行程位置是指摄像头进行防抖补偿后的位置,即摄像头消除所产生的抖动后所处的位置。电子设备的ISP处理器或中央处理器驱动摄像头,从当前行程位置移动至目标行程位置,以消除摄像头产生的抖动。
在一个实施例中,电子设备的ISP处理器或中央处理器根据摄像头在X方向上的当前行程位置和在X方向上的平移补偿量,计算摄像头在X方向上的目标行程位置。根据摄像头在Y方向上的当前行程位置和在Y方向上的平移补偿量,计算摄像头在Y方向上的目标行程位置。根据摄像头在Z方向上的当前行程位置和在Z方向上的旋转补偿量,计算摄像头在Z方向上的目标行程位置。驱动摄像头,使得摄像头移动到X方向上的目标行程位置、Y方向上的目标行程位置、以及Z方向上的目标行程位置。
在一个实施例中,电子设备的ISP处理器或中央处理器计算出摄像头在X、Y、Z方向上的目标行程位置后,将在X、Y、Z方向上的目标行程位置下发给驱动电路,使得对应X、Y、Z方向的各个马达将摄像头的镜头推到X、Y、Z方向上的目标行程位置,以完成本次防抖补偿。
本实施例中,根据摄像头的当前行程位置、平移补偿信息和旋转补偿信息,计算出摄像头要克服本次抖动应该处于哪个位置,即目标行程位置,从而能够驱动摄像头移动至目标行程位置,以实现对本次抖动的补偿处理,使得摄像头的镜头在平移和旋转上均能够保持在最佳补偿状态。
在一个实施例中,根据摄像头的当前行程位置、平移补偿信息和旋转补偿信息,确定摄像头的目标行程位置,包括:
将摄像头的当前行程位置、平移补偿信息和旋转补偿信息进行融合处理,得到摄像头的目标行程位置。
具体地,电子设备的ISP处理器或中央处理器可确定摄像头的当前行程位置,将摄像头的当前行程位置、平移补偿信息和旋转补偿信息进行融合处理,通过融合处理得到摄像头的目标行程位置。
在一个实施例中,融合处理可以是卡尔曼滤波处理,电子设备的ISP处理器或中央处理器可将摄像头的当前行程位置、平移补偿信息和旋转补偿信息进行卡尔曼滤波处理,得到摄像头的目标行程位置。进一步地,可将当前行程位置、平移补偿信息和旋转补偿信息输入卡尔曼滤波器,通过卡尔曼滤波器输出摄像头的目标行程位置。
本实施例中,将摄像头的当前行程位置、平移补偿信息和旋转补偿信息进行融合处理,能够准确计算出摄像头处于哪个位置能够有效克服平移抖动和旋转抖动。
在一个实施例中,在基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息之前,还包括:
获取当前时刻的前序时刻所对应的运动信息,对前序时刻所对应的运动信息进行低通滤波处理,得到前序时刻对应的滤波运动信息。
其中,低通滤波(Low-pass filter)是一种过滤方式,规则为低频信号能正常通过,而超过设定临界值的高频信号则被阻隔、减弱。但是阻隔、减弱的幅度则会依据不同的频率以及不同的滤波目的而改变。低通滤波也被叫做高频去除过滤(high-cut filter)或者最高去除过滤(treble-cut filter)。
具体地,电子设备的ISP处理器或中央处理器可确定当前时刻的前序时刻,并获取前序时刻所对应的滤波运动信息。电子设备的ISP处理器或中央处理器对前序时刻的运动信息进行低通滤波处理,得到前序时刻对应的滤波运动信息。
在一个实施例中,可通过低通滤波器进行低通滤波处理。电子设备的ISP处理器或中央处理器将前序时刻的运动信息输入低通滤波器,得到低通滤波器输出的滤波运动信息。该低通滤波器可以是巴特沃斯滤波器或切比雪夫滤波器。
本实施例中,获取当前时刻的前序时刻所对应的运动信息,对前序时刻所对应的运动信息进行低通滤波处理,能够对前序时刻的运动信息进行平滑去噪处理,有效剔除了短期波动,得到前序时刻对应的平滑的滤波运动信息。
传统的防抖处理难以通过镜头做到XY轴和Z轴同时进行旋转补偿,主要存在三轴同时补偿的耦合性问题。传感器在一个有限的活动范围内,在执行XY轴的平移补偿操作后,留给传感器进行旋转补偿操作的角度范围会减少,使得旋转补偿难以达到rolling_z的目标行程位置。
造成耦合问题跟器件本身硬件条件有关,如图4所示,提供了传感器和传感器能旋转和平移的范围,当传感器没发生平移补偿操作时进行旋转补偿操作,则旋转角度θ后不会发生撞边。如图5所示,当传感器发生平移补偿操作后进行旋转补偿操作,旋转相同的角度θ时,传感器其中一个角撞边,此时若下发的补偿量rolling_z大于θ,但传感器实际上只能转到θ位置。这种耦合性问题会造成视频帧的不流畅,同时还会造成抵制运动模糊的效果不理想。
图6A所示,为一个实施例中防抖处理方法的流程示意图。
接收陀螺仪传感器gyro的运动数据,即当前运动信息,基于运动数据分析当前运动状态,确定所导致的运动模糊是由于绕X、Y轴旋转造成还是由于绕Z轴旋转造成。
若运动模糊主要是因为绕X、Y轴旋转造成,则主要以传感器平移进行防抖补偿。即对陀螺仪在X、Y轴的运动数据做滤波的时以较大的防抖强度值进行,而对陀螺仪在Z轴的运动数据做滤波的时以较小的防抖强度值进行;传感器平移即sensor shift,也称为传感器位移。
若运动模糊主要是因为绕Z轴旋转造成,则主要以传感器旋转进行防抖补偿。即对陀螺仪在Z轴的运动数据做滤波的时以较大的防抖强度值进行,而对陀螺仪在X、Y轴的运动数据做滤波的时候以较小的防抖强度进行;传感器旋转即sensor rolling。
上述各个步骤均为实时计算处理,是动态融合的过程。
陀螺仪在X、Y、Z轴的运动数据所对应的防抖强度值为预先设置的经验值,可由以下处理得到:
(1)线下分别采集陀螺仪绕X轴旋转的数据、绕Y轴旋转的数据、绕Z轴旋转的数据,绕轴的旋转速度要足够丰富多样,尽量包括用户能达到的最大速度很最小速度,数据内容具体包括陀螺仪运动数据,及与陀螺仪数据对应的视频。即陀螺仪以不同旋转速度绕X轴旋转,并进行视频采集,得到在X轴上不同旋转速度各自对应的视频。按照相同处理方式,可到在Y轴、Z轴上不同旋转速度各自对应的视频。旋转速度即为运动速度,具体可以是角速度。绕X、Y轴的旋转即为在X、Y轴上的平移,对X、Y轴的旋转补偿即为对XY轴的平移补偿。
(2)对于X轴的不同旋转速度对应的各个视频,基于视频的模糊程度对陀螺仪的X轴的各旋转速度进行分段划定,例如划分为五个等级,一级表示旋转速度较慢,所得到的视频基本不模糊,五级表示旋转速度比较大,所得到的视频画质很模糊。即等级越高旋转速度越大,视频越模糊。
(3)对于每个等级对应的旋转速度和视频,通过候选的各个防抖强度值对视频的模糊度进行调整,使得视频从模糊变为清晰,并确定使得视频变为清晰时所使用的防抖强度值,从而构建不同等级的旋转速度、视频模糊度和防抖强度值之间的映射关系。按照相同的处理方式,可分别得到X轴、Y轴、Z轴所各自对应的不同等级的旋转速度、视频模糊度和防抖强度值之间的映射关系。该映射关系可通过映射表呈现。
在获得各个轴对应的映射关系后,可将映射关系预先存储在电子设备中。在电子设备产生运动的情况下,获取陀螺仪在X轴、Y轴、Z轴当前的运动速度,基于映射关系获取X轴、Y轴、Z轴当前的运动速度各自对应的防抖强度值,例如X轴是五级,绕Y轴、Z轴的是一级,则X轴的运动速度对应的防抖强度值较大,Y轴、Z轴的运动速度对应的防抖强度值较小。防抖强度值也称防抖滤波强度值。
基于各个防抖强度值对X、Y、Z三个轴进行滤波,并计算出各个轴对应的实际下发的行程值code,行程值code包括shift_x、shift_y、rolling_z。其中shift_x、shift_y对应sensor shift马达,rolling_z对应sensor rolling马达。
如图6B所示,为一个实施例中防抖处理方法的流程示意图。通过陀螺仪传感器Gyro和加速度传感器Acc中的至少一种检测的数据,计算出目标物的实时运动,该目标物是指摄像头、摄像头的镜头或者陀螺仪。确定摄像头的镜头当前时刻在X、Y、Z方向的实时位置值,即在X方向上的当前行程位置Hall_x和在Y方向上的当前行程位置Hall_y、以及在Z方向上的当前行程位置Hall_z,通过三个值用来计算目标行程位置target Hall。具体处理过程如下:
基于Gyro传感器和Acc传感器至少一种检测的值计算目标物在当前时刻的当前运动信息,即实时运动Qi,Qi为一个向量,代表在X、Y、Z轴方向的运动。根据当前的实时运动Qi获取对应的防抖强度值alpha。
根据防抖强度值alpha,基于实时运动Qi和上一时刻的滤波运动Qfilteri-1计算当前时刻的滤波运动Qfilter,公式如下:
Qfilter=f(Qi,alpha)
Qfilter为Qi和Qfilteri-1进行运动融合的结果,其中alpha决定了融合过程中实时运动Qi和上一时刻的滤波运动Qfilteri-1各自的权重。
通过实时运动Qi和当前时刻的滤波运动Qfilter计算防抖补偿量△Q:
△Q=Qi-Qfilter
其中,防抖补偿量△Q是一个向量,可以是平移补偿量和旋转补偿量的融合。
防抖补偿量△Q包括在XYZ轴上的补偿量(△x,△y,△z);△x,△y分别代表在XY轴上的平移补偿量,△z代表在Z轴上的旋转补偿量。
获取预设校准值(gain_x,gain_y,gain_z),计算target Hall:
△code_x=(△x*gain_x)+center_code_x;
△code_y=(△y*gain_y)+center_code_y;
△code_z=(△z*gain_z)+center_code_z;
target_Hall_x=f(△code_x,Hall_x);
target_Hall_y=f(△code_y,Hall_y);
target_Hall_z=f(△code_z,Hall_z);
其中,(center_code_x,center_code_y,center_code_z)为镜头全行程的中间位置,f为当前镜头的当前行程值Hall_x、Hall_y、Hall_z与计算出来的补偿行程值△code_x、△code_y、△code_z的融合,该融合方式可以是卡尔曼滤波也可以是其他融合算法。
下发target_Hall给驱动电路driverIC,让马达VCM将镜头推到目标行程位置target_Hall_x、target_Hall_y、、target_Hall_z,完成本次的防抖补偿。
重复上述各个操作可实现防抖的处理流程,以克服摄像头的镜头所产生的抖动。
本实施例中,能够根据在XYZ轴上的运动速度,判断本次运动造成的运动模糊主要是由于XY轴的抖动造成,还是由于Z轴上的抖动造成。XY轴上的运动速度大、Z轴上的运动速度小,则表示主要由XY轴的抖动造成,则为XY轴上的运动速度适配一个较大的平移防抖强度值,为Z轴上的运动速度适配一个较小的旋转防抖强度值,使得防抖强度值更适配当前的运动状态,以在X、Y轴上得到一个较大的平移补偿量,在Z轴上得到一个较小的旋转补偿量,从而能够准确对当前的抖动进行补偿。XY轴上的运动速度小、Z轴上的运动速度大,则表示主要由Z轴的抖动造成,则为Z轴上的运动速度适配一个较大的平移防抖强度值,为X、Y轴上的运动速度适配一个较小的旋转防抖强度值,以在Z轴上得到一个较大的旋转补偿量,在X、Y轴上得到一个较小的平移补偿量,从而能够准确对当前的抖动进行补偿。通过为不同原因造成的抖动适配不同的防抖强度值,能够有效让运动模糊抑制达到预期效果,很大程度上缓解了传感器移动补偿和传感器旋转补偿耦合带来的撞边问题。
在一个实施例中,提供了一种防抖处理方法,应用于电子设备,包括:
电子设备的ISP处理器或中央处理器确定摄像头当前时刻在第一运动方向、第二运动方向的平移运动速度,以及在第三运动方向上的旋转运动速度;第一运动方向、第二运动方向和第三运动方向相互垂直。将平移运动速度和旋转运动速度作为当前运动信息。
接着,电子设备的ISP处理器或中央处理器获取与第一运动方向的平移运动速度相关联的平移防抖强度值、与第二运动方向的平移运动速度相关联的平移防抖强度值,平移运动速度与平移防抖强度值正相关;获取与旋转运动速度相关联的旋转防抖强度值,旋转运动速度与旋转防抖强度值正相关。
进一步地,电子设备的ISP处理器或中央处理器基于平移防抖强度信息、旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定当前时刻的滤波运动信息。
接着,电子设备的ISP处理器或中央处理器基于当前运动信息和当前时刻的滤波运动信息,确定平移补偿量和旋转补偿量;获取预设校准值,基于平移补偿量和预设校准值,确定摄像头的平移补偿行程;基于旋转补偿量和预设校准值,确定摄像头的旋转补偿行程。
进一步地,电子设备的ISP处理器或中央处理器根据摄像头的当前行程位置、平移补偿行程和旋转补偿行程,驱动摄像头进行平移防抖补偿和旋转防抖补偿。
当运动速度较小时,运动模糊不容易产生,此时产生的抖动比较小。当运动速度较大时,容易产生运动模糊,即产生的抖动比较大。并且,在平移方向上产生的抖动程度和在旋转方向上产生的抖动程度不同。
本实施例中预先配置平移运动速度和旋转防抖强度值的映射关系,以及旋转运动速度和旋转防抖强度值的映射关系,确保平移运动速度和旋转防抖强度值正相关、旋转运动速度和旋转防抖强度值正相关,使得平移运动速度较小时,适配一个较小的平移防抖强度值,可计算得到较小的平移防抖补偿量,平移运动速度较大时,适配一个较大的平移防抖强度值,可计算得到较大的平移防抖补偿量,能够准确对产生的平移抖动进行针对性的平移防抖补偿,使得镜头保持在最佳补偿状态。同时,在旋转运动速度较小时,适配一个较小的旋转防抖强度值,可计算得到较小的旋转防抖补偿量,旋转运动速度较大时,适配一个较大的旋转防抖强度值,可计算得到较大的旋转防抖补偿量,能够准确对产生的旋转抖动进行针对性的旋转防抖补偿,使得镜头保持在最佳补偿状态。并且,将镜头所产生的抖动分为平移方向上的抖动和旋转方向上的抖动,使得能够根据实时运动状态对平移补偿和旋转补偿进行动态融合,提高防抖补偿的准确性。
基于平移防抖强度值、旋转防抖强度值、当前运动信息和前序时刻所对应的滤波运动信息,能够准确确定当前时刻的滤波运动信息。基于当前运动信息和当前时刻的滤波运动信息,能够准确计算出克服本次抖动所需要的平移补偿量和旋转补偿量。获取预设校准值,基于平移补偿量和旋转补偿量、预设校准值和摄像头当前所处行程的行程中心位置,能够准确计算出摄像头要克服本次抖动应该处于哪个位置,即目标行程位置,从而能够驱动摄像头移动至目标行程位置,以实现对本次抖动的补偿处理,使得摄像头的镜头保持在最佳补偿状态。并且,基于当前运动信息适配合适的平移防抖强度和旋转防抖强度,能够针对由于移动产生运动模糊和由于旋转产生运动模糊等多种场景进行针对性地、不同强度的防抖补偿处理,从而能够有效适配不同的抖动场景。
应该理解的是,虽然图2-图3、图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图3、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例的防抖处理装置的结构框图。如图7所示,该防抖处理装置700包括:第一确定模块702、获取模块704、第二确定模块706和补偿模块708,其中:
第一确定模块702,用于确定摄像头在当前时刻的当前运动信息。
获取模块704,用于获取与当前运动信息对应的防抖强度信息;防抖强度信息包括平移防抖强度信息和旋转防抖强度信息。
第二确定模块706,用于基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息。
补偿模块708,用于根据平移补偿信息和旋转补偿信息,驱动摄像头进行防抖补偿。
本实施例中,通过确定摄像头在当前时刻的当前运动信息,以获取与当前运动信息对应的平移防抖强度信息和旋转防抖强度信息,从而能够基于当前运动状态适配与摄像头当前运动状态合适的平移防抖强度信息和旋转防抖强度信息。基于平移防抖强度信息和旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,能够准确地确定平移补偿信息和旋转补偿信息,从而驱动摄像头进行平移防抖补偿和旋转防抖补偿,使得对运动产生的抖动补偿更准确。并且,基于当前运动信息适配合适的平移防抖强度和旋转防抖强度,能够针对由于移动产生运动模糊和由于旋转产生运动模糊等多种场景进行针对性地、不同强度的防抖补偿处理,从而能够有效适配不同的抖动场景。
在一个实施例中,当前运动信息包括平移运动速度和旋转运动速度,平移防抖强度信息包括平移防抖强度值,旋转防抖强度信息包括旋转防抖强度值;获取模块704,还用于根据摄像头在平移方向上的平移运动速度,获取与平移运动速度相关联的平移防抖强度值,平移运动速度与平移防抖强度值正相关;根据摄像头在旋转方向上的旋转运动速度,获取与旋转运动速度相关联的旋转防抖强度值,旋转运动速度与旋转防抖强度值正相关,平移方向与旋转方向垂直。
本实施例中,当运动速度较小时,运动模糊不容易产生,此时产生的抖动比较小。当运动速度较大时,容易产生运动模糊,即产生的抖动比较大。并且,在平移方向上产生的抖动程度和在旋转方向上产生的抖动程度不同。本实施例中预先配置平移运动速度和旋转防抖强度值的映射关系,以及旋转运动速度和旋转防抖强度值的映射关系,确保平移运动速度和旋转防抖强度值正相关、旋转运动速度和旋转防抖强度值正相关,使得平移运动速度较小时,适配一个较小的平移防抖强度值,可计算得到较小的平移防抖补偿量,平移运动速度较大时,适配一个较大的平移防抖强度值,可计算得到较大的平移防抖补偿量,能够准确对产生的平移抖动进行针对性的平移防抖补偿,使得镜头保持在最佳补偿状态。同时,在旋转运动速度较小时,适配一个较小的旋转防抖强度值,可计算得到较小的旋转防抖补偿量,旋转运动速度较大时,适配一个较大的旋转防抖强度值,可计算得到较大的旋转防抖补偿量,能够准确对产生的旋转抖动进行针对性的旋转防抖补偿,使得镜头保持在最佳补偿状态。并且,将镜头所产生的抖动分为平移方向上的抖动和旋转方向上的抖动,使得能够根据实时运动状态对平移补偿和旋转补偿进行动态融合,提高防抖补偿的准确性。
在一个实施例中,该装置还包括预处理模块;该预处理模块,用于分别采集摄像头在平移方向和旋转方向以不同运动速度进行运动所得到的样本视频;根据平移方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的平移防抖强度值;根据旋转方向对应的样本视频的模糊度,以及采集样本视频时的各运动速度,确定各运动速度分别对应的旋转防抖强度值。
本实施例中,分别采集摄像头在平移方向和旋转方向以不同运动速度进行运动所得到的样本视频,使得分别在产生平移抖动和旋转抖动的情况下采集视频,从而能够确定产生平移抖动情况下所拍摄得到的视频的模糊程度,以及产生旋转抖动情况下所拍摄得到的视频的模糊程度。根据平移方向对应的样本视频的模糊度和采集样本视频时的各运动速度之间的对应关系,为各运动速度分别适配各自的平移防抖强度值,以降低平移抖动所导致的视频的模糊程度。根据旋转方向对应的样本视频的模糊度和采集样本视频时的各运动速度,为各运动速度分别适配各自的旋转防抖强度值,以降低旋转抖动所导致的视频的模糊程度。预先确定平移方向上的不同运动速度和不同平移防抖强度值之间的映射关系,以及旋转方向上的不同运动速度和不同旋转防抖强度值之间的映射关系,提高后续防抖处理的效率。并且,针对平移方向和旋转方向设置各自的防抖强度,使得能够针对不同方向造成的抖动适配不同强度的抖动补偿,从而实现两方面抖动补偿的融合,提高抖动补偿的准确性。
在一个实施例中,该预处理模块,还用于根据平移方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度;确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的平移防抖强度值,并构建不同级别的运动速度与各平移防抖强度值之间的映射关系;根据旋转方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度;确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的旋转防抖强度值,并构建不同级别的运动速度与各旋转防抖强度值之间的映射关系。
本实施例中,根据平移方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度,以在平移方向上划分多个等级的运动速度。确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的平移防抖强度值,并构建不同级别的运动速度与各平移防抖强度值之间的映射关系,从而准确确定能够将不同平移抖动导致的视频模糊调整至清晰时的平移防抖强度值。根据旋转方向对应的样本视频的模糊度,对采集样本视频时的各运动速度进行划分处理,得到各级别下的运动速度,确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的旋转防抖强度值,并构建不同级别的运动速度与各旋转防抖强度值之间的映射关系,从而准确确定能够将不同旋转抖动导致的视频模糊调整至清晰时的旋转防抖强度值。
在一个实施例中,第二确定模块706,还用于基于平移防抖强度信息、旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,确定当前时刻的滤波运动信息;基于当前运动信息和当前时刻的滤波运动信息,确定平移补偿信息和旋转补偿信息。
本实施例中,基于平移防抖强度信息、旋转防抖强度信息、当前运动信息和当前时刻的前序时刻所对应的滤波运动信息,能够准确确定当前时刻的滤波运动信息,从而能够当前运动信息和当前时刻的滤波运动信息之间的差异,准确确定防抖补偿信息,以实现抖动补偿。
在一个实施例中,第二确定模块706,还用于基于当前运动信息和当前时刻的滤波运动信息,确定平移补偿量和旋转补偿量;获取预设校准值,基于平移补偿量和预设校准值,确定摄像头的平移补偿行程;基于旋转补偿量和预设校准值,确定摄像头的旋转补偿行程;
补偿模块708,还用于根据摄像头的当前行程位置、平移补偿行程和旋转补偿行程,驱动摄像头进行平移防抖补偿和旋转防抖补偿。
本实施例中,基于当前运动信息和当前时刻的滤波运动信息,能够准确计算出克服本次抖动所需要的平移补偿量和旋转补偿量。获取预设校准值,基于平移补偿量、预设校准值和摄像头当前所处行程的行程中心位置,能够准确计算出克服抖动所需要的平移补偿行程,基于旋转补偿量、预设校准值和摄像头当前所处行程的行程中心位置,能够准确计算出克服抖动所需要的旋转补偿行程,从而能够驱动摄像头准确进行防抖补偿。
在一个实施例中,补偿模块708,还用于根据摄像头的当前行程位置、平移补偿信息和旋转补偿信息,确定摄像头的目标行程位置;驱动摄像头移动至目标行程位置。
本实施例中,根据摄像头的当前行程位置、平移补偿信息和旋转补偿信息,计算出摄像头要克服本次抖动应该处于哪个位置,即目标行程位置,从而能够驱动摄像头移动至目标行程位置,以实现对本次抖动的补偿处理,使得摄像头的镜头在平移和旋转上均能够保持在最佳补偿状态。
在一个实施例中,补偿模块708,还用于将摄像头的当前行程位置、平移补偿信息和旋转补偿信息进行融合处理,得到摄像头的目标行程位置。
本实施例中,将摄像头的当前行程位置、平移补偿信息和旋转补偿信息进行融合处理,能够准确计算出摄像头处于哪个位置能够有效克服平移抖动和旋转抖动。
在一个实施例中,第二确定模块706,还用于获取当前时刻的前序时刻所对应的运动信息,对前序时刻所对应的运动信息进行低通滤波处理,得到前序时刻对应的滤波运动信息。
本实施例中,获取当前时刻的前序时刻所对应的运动信息,对前序时刻所对应的运动信息进行低通滤波处理,能够对前序时刻的运动信息进行平滑去噪处理,有效剔除了短期波动,得到前序时刻对应的平滑的滤波运动信息。
上述防抖处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将防抖处理装置按照需要划分为不同的模块,以完成上述防抖处理装置的全部或部分功能。
图8为一个实施例中电子设备的内部结构示意图。如图8所示,该电子设备包括通过***总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种防抖处理方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的防抖处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行防抖处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行防抖处理方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory,MRAM)、铁电存储器(Ferroelectric RandomAccess Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static RandomAccess Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种防抖处理方法,其特征在于,包括:
确定摄像头在当前时刻的当前运动信息;
获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;
基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;
根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。
2.根据权利要求1所述的方法,其特征在于,所述当前运动信息包括平移运动速度和旋转运动速度,所述平移防抖强度信息包括平移防抖强度值,所述旋转防抖强度信息包括旋转防抖强度值;所述获取与所述当前运动信息对应的防抖强度信息,包括:
根据所述摄像头在平移方向上的平移运动速度,获取与所述平移运动速度相关联的平移防抖强度值,所述平移运动速度与所述平移防抖强度值正相关;
根据所述摄像头在旋转方向上的旋转运动速度,获取与所述旋转运动速度相关联的旋转防抖强度值,所述旋转运动速度与所述旋转防抖强度值正相关,所述平移方向与所述旋转方向垂直。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
分别采集所述摄像头在平移方向和旋转方向以不同运动速度进行运动所得到的样本视频;
根据所述平移方向对应的样本视频的模糊度,以及采集所述样本视频时的各运动速度,确定各所述运动速度分别对应的平移防抖强度值;
根据所述旋转方向对应的样本视频的模糊度,以及采集所述样本视频时的各运动速度,确定各所述运动速度分别对应的旋转防抖强度值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述平移方向对应的样本视频的模糊度,以及采集所述样本视频时的各运动速度,确定各所述运动速度分别对应的平移防抖强度值,包括
根据所述平移方向对应的样本视频的模糊度,对采集所述样本视频时的各运动速度进行划分处理,得到各级别下的运动速度;
确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的平移防抖强度值,并构建不同级别的运动速度与各平移防抖强度值之间的映射关系;
所述根据所述旋转方向对应的样本视频的模糊度,以及采集所述样本视频时的各运动速度,确定各所述运动速度分别对应的旋转防抖强度值,包括:
根据所述旋转方向对应的样本视频的模糊度,对采集所述样本视频时的各运动速度进行划分处理,得到各级别下的运动速度;
确定将不同级别的运动速度对应的样本视频的模糊度,调整至满足清晰条件时的旋转防抖强度值,并构建不同级别的运动速度与各旋转防抖强度值之间的映射关系。
5.根据权利要求1所述的方法,其特征在于,所述基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息,包括:
基于所述平移防抖强度信息、所述旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定所述当前时刻的滤波运动信息;
基于所述当前运动信息和所述当前时刻的滤波运动信息,确定平移补偿信息和旋转补偿信息。
6.根据权利要求5所述的方法,其特征在于,所述平移补偿信息包括平移补偿量和平移补偿行程,所述旋转补偿信息包括旋转补偿量和旋转补偿行程;所述基于基于所述当前运动信息和所述当前时刻的滤波运动信息,确定平移补偿信息和旋转补偿信息,包括:
基于所述当前运动信息和所述当前时刻的滤波运动信息,确定平移补偿量和旋转补偿量;
获取预设校准值,基于所述平移补偿量和所述预设校准值,确定所述摄像头的平移补偿行程;
基于所述旋转补偿量和所述预设校准值,确定所述摄像头的旋转补偿行程;
所述根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿,包括:
根据所述摄像头的当前行程位置、所述平移补偿行程和所述旋转补偿行程,驱动所述摄像头进行平移防抖补偿和旋转防抖补偿。
7.一种防抖处理装置,其特征在于,包括:
第一确定模块,用于确定摄像头在当前时刻的当前运动信息;
获取模块,用于获取与所述当前运动信息对应的防抖强度信息;所述防抖强度信息包括平移防抖强度信息和旋转防抖强度信息;
第二确定模块,用于基于所述平移防抖强度信息和旋转防抖强度信息、所述当前运动信息和所述当前时刻的前序时刻所对应的滤波运动信息,确定平移补偿信息和旋转补偿信息;
补偿模块,用于根据所述平移补偿信息和所述旋转补偿信息,驱动所述摄像头进行防抖补偿。
8.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210627303.0A CN115103108B (zh) | 2022-06-06 | 2022-06-06 | 防抖处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210627303.0A CN115103108B (zh) | 2022-06-06 | 2022-06-06 | 防抖处理方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115103108A true CN115103108A (zh) | 2022-09-23 |
CN115103108B CN115103108B (zh) | 2024-07-16 |
Family
ID=83288461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210627303.0A Active CN115103108B (zh) | 2022-06-06 | 2022-06-06 | 防抖处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115103108B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110300263A (zh) * | 2019-06-28 | 2019-10-01 | Oppo广东移动通信有限公司 | 陀螺仪处理方法和装置、电子设备、计算机可读存储介质 |
CN111147741A (zh) * | 2019-12-27 | 2020-05-12 | Oppo广东移动通信有限公司 | 基于对焦处理的防抖方法和装置、电子设备、存储介质 |
US20200404178A1 (en) * | 2018-03-23 | 2020-12-24 | Huawei Technologies Co., Ltd. | Video image anti-shake method and terminal |
WO2021056553A1 (zh) * | 2019-09-29 | 2021-04-01 | Oppo广东移动通信有限公司 | 防抖电路、方法、设备及存储介质 |
CN113542612A (zh) * | 2021-09-17 | 2021-10-22 | 深圳思谋信息科技有限公司 | 镜头防抖方法、装置、计算机设备和存储介质 |
CN114338994A (zh) * | 2021-12-30 | 2022-04-12 | Oppo广东移动通信有限公司 | 光学防抖方法、装置、电子设备和计算机可读存储介质 |
CN114449173A (zh) * | 2022-02-25 | 2022-05-06 | Oppo广东移动通信有限公司 | 光学防抖控制方法、装置、存储介质与电子设备 |
CN114531546A (zh) * | 2022-02-23 | 2022-05-24 | Oppo广东移动通信有限公司 | 镜头调整方法及装置、存储介质及电子设备 |
-
2022
- 2022-06-06 CN CN202210627303.0A patent/CN115103108B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200404178A1 (en) * | 2018-03-23 | 2020-12-24 | Huawei Technologies Co., Ltd. | Video image anti-shake method and terminal |
CN110300263A (zh) * | 2019-06-28 | 2019-10-01 | Oppo广东移动通信有限公司 | 陀螺仪处理方法和装置、电子设备、计算机可读存储介质 |
WO2021056553A1 (zh) * | 2019-09-29 | 2021-04-01 | Oppo广东移动通信有限公司 | 防抖电路、方法、设备及存储介质 |
CN111147741A (zh) * | 2019-12-27 | 2020-05-12 | Oppo广东移动通信有限公司 | 基于对焦处理的防抖方法和装置、电子设备、存储介质 |
CN113542612A (zh) * | 2021-09-17 | 2021-10-22 | 深圳思谋信息科技有限公司 | 镜头防抖方法、装置、计算机设备和存储介质 |
CN114338994A (zh) * | 2021-12-30 | 2022-04-12 | Oppo广东移动通信有限公司 | 光学防抖方法、装置、电子设备和计算机可读存储介质 |
CN114531546A (zh) * | 2022-02-23 | 2022-05-24 | Oppo广东移动通信有限公司 | 镜头调整方法及装置、存储介质及电子设备 |
CN114449173A (zh) * | 2022-02-25 | 2022-05-06 | Oppo广东移动通信有限公司 | 光学防抖控制方法、装置、存储介质与电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115103108B (zh) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111147741B (zh) | 基于对焦处理的防抖方法和装置、电子设备、存储介质 | |
CN111246089B (zh) | 抖动补偿方法和装置、电子设备、计算机可读存储介质 | |
CN109194876B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN110536057B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
WO2020259474A1 (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
JP2020528700A (ja) | デュアルカメラを使用する画像処理のための方法および移動端末 | |
US20110142287A1 (en) | Algorithms for estimating precise and relative object distances in a scene | |
JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
CN109598764B (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
CN107615744B (zh) | 一种图像拍摄参数的确定方法及摄像装置 | |
CN109194877A (zh) | 图像补偿方法和装置、计算机可读存储介质和电子设备 | |
CN113875219B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109660718B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN114338994B (zh) | 光学防抖方法、装置、电子设备和计算机可读存储介质 | |
CN114586337A (zh) | 视频防抖优化处理方法和装置、电子设备 | |
CN111432118A (zh) | 图像防抖处理方法、装置、电子设备和存储介质 | |
CN110351508B (zh) | 基于录像模式的防抖处理方法和装置、电子设备 | |
CN109671028B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110930440B (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
CN110519513B (zh) | 防抖方法和装置、电子设备、计算机可读存储介质 | |
US20220174217A1 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
CN115103108B (zh) | 防抖处理方法、装置、电子设备和计算机可读存储介质 | |
CN109685854A (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
CN116437207A (zh) | 光学防抖方法和装置、电子设备、计算机可读存储介质 | |
CN109672818B (zh) | 一种调整图像质量的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |