CN111246100A - 防抖参数的标定方法、装置和电子设备 - Google Patents

防抖参数的标定方法、装置和电子设备 Download PDF

Info

Publication number
CN111246100A
CN111246100A CN202010065715.0A CN202010065715A CN111246100A CN 111246100 A CN111246100 A CN 111246100A CN 202010065715 A CN202010065715 A CN 202010065715A CN 111246100 A CN111246100 A CN 111246100A
Authority
CN
China
Prior art keywords
shake
image
target
motion information
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010065715.0A
Other languages
English (en)
Other versions
CN111246100B (zh
Inventor
戴朋飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010065715.0A priority Critical patent/CN111246100B/zh
Publication of CN111246100A publication Critical patent/CN111246100A/zh
Application granted granted Critical
Publication of CN111246100B publication Critical patent/CN111246100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种防抖参数的标定方法和装置、电子设备、计算机可读存储介质。方法包括控制摄像头与参照标定物之间进行相对运动,并拍摄参照标定物,获取至少两帧目标图像;从至少两帧目标图像中分别获取相对应的特征点;获取各个特征点的运动信息;基于至少两帧目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值;根据防抖参数的至少两个代价值对防抖参数进行标定。上述方法和装置、电子设备、计算机可读存储介质,可以提高对防抖参数标定的准确性。

Description

防抖参数的标定方法、装置和电子设备
技术领域
本申请涉及影像技术领域,特别是涉及一种防抖参数的标定方法、装置、电子设备和计算机可读存储介质。
背景技术
随着智能手机和摄像机等拍摄设备的发展,出现了拍摄技术。在拍摄时,为了拍摄出更清晰更好看的图片或者视频,通常需要对智能手机和摄像机等拍照设备进行防抖处理。而为了使拍照设备更准确进行防抖处理,需要在拍摄设备出厂时对拍摄设备的各个防抖参数进行标定。
然而,传统的防抖参数的标定方法,存在标定不准确的问题。
发明内容
本申请实施例提供了一种防抖参数的标定方法、装置、电子设备、计算机可读存储介质,可以提高防抖参数标定的准确性。
一种防抖参数的标定方法,包括:
控制摄像头与参照标定物之间进行相对运动,并拍摄所述参照标定物,获取至少两帧目标图像;
从至少两帧所述目标图像中分别获取相对应的特征点;
获取各个所述特征点的运动信息;
基于至少两帧所述目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值;
根据所述防抖参数的至少两个所述代价值对所述防抖参数进行标定。
一种防抖参数的标定装置,包括:
拍摄模块,用于控制摄像头与参照标定物之间进行相对运动,并拍摄所述参照标定物,获取至少两帧目标图像;
特征点获取模块,用于从至少两帧所述目标图像中分别获取相对应的特征点;
运动信息获取模块,用于获取各个所述特征点的运动信息;
代价值确定模块,用于基于至少两帧所述目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值;
标定模块,用于根据所述防抖参数的至少两个所述代价值对所述防抖参数进行标定。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述的防抖参数的标定方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述防抖参数的标定方法、装置、电子设备和计算机可读存储介质,控制摄像头与参照标定物之间进行相对运动,并拍摄参照标定物,获取至少两帧目标图像;从至少两帧目标图像中分别获取相对应的特征点;获取各个特征点的运动信息;基于至少两帧目标图像中相对应的特征点的运动信息,可以知道至少拍摄参照标定物的两帧目标图像之间的防抖情况,从而确定防抖参数的至少两个代价值;根据防抖参数的至少两个代价值可以对防抖参数进行更准确标定。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的示意图;
图2为一个实施例中防抖参数的标定方法的流程图;
图3为一个实施例中步骤确定防抖参数的代价值的流程图;
图4为一个实施例中步骤确定目标拍摄策略的流程图;
图5为一个实施例中防抖参数的标定方法装置的结构框图;
图6为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器114也可将原始图像数据发送给传感器120,传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140,或者传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如,传感器120接口将原始图像数据发送给图像存储器130,图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器130,以便在被显示之前进行另外的处理。ISP处理器140还可从图像存储器130接收处理数据,对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。此外,ISP处理器140的输出还可发送给图像存储器130。在一个实施例中,图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140处理图像数据的步骤包括:对图像数据进行VFE(Video Front End,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编解码器来处理预览帧和记录帧。
ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数以及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
在一个实施例中,电子设备控制成像设备(照相机)110即摄像头与参照标定物之间进行相对运动,并通过控制逻辑器150控制成像设备(照相机)110拍摄参照标定物,获取至少两帧目标图像,并通过成像设备(照相机)110将至少两帧目标图像发送至ISP处理器140。ISP处理器140接收到至少两帧目标图像之后,从至少两帧目标图像中分别获取相对应的特征点;获取各个特征点的运动信息。其中,各个特征点的运动信息可以通过传感器120获取并发送至ISP处理器140。ISP处理器140基于至少两帧目标图像中相对应的特征点的运动信息,可以知道至少拍摄参照标定物的两帧目标图像之间的防抖情况,从而确定防抖参数的至少两个代价值;根据防抖参数的至少两个代价值可以对防抖参数进行更准确标定。
图2为一个实施例中防抖参数的标定方法的流程图。如图2所示,防抖参数的标定方法包括步骤202至步骤210。
步骤202,控制摄像头与参照标定物之间进行相对运动,并拍摄参照标定物,获取至少两帧目标图像。
摄像头安装在电子设备上,可以安装在电子设备的正面侧作为前置摄像头,也可以安装在电子设备的背面侧作为后置摄像头,还可以安装在电子设备的其他地方。安装在电子设备上的摄像头的数量可以为一个,也可以是多个。任一个摄像头的类型可以是深度摄像头、长焦摄像头、广角摄像头、激光摄像头、毫米波摄像头等其中的一种。
需要指出的是,本申请所述的摄像头既可以指的是透镜、也可以指的是摄像头模组。摄像头模组中包括透镜、图像传感器、马达等部件。
参照标定物指的是用于对防抖参数进行标定的参照物。例如,参照标定物可以是标定板、标定图画、人物等其中的至少一种。
可选地,可以控制摄像头保持静止,并控制参照标定物进行运动;也可以控制参照标定物保持静止,并控制摄像头进行运动;还可以控制参照标定物与摄像头同时进行运动,并且参照标定物的运动速度与摄像头的运动速度不同。
进一步地,参照标定物和摄像头均可以从前后、左右、上下三个移动自由度中的至少一个进行移动,也均可以从roll(翻滚角)、pitch(俯仰角)、yaw(偏航角)三个旋转自由度中的至少一个进行转动,还可以既从移动自由度进行移动,也从旋转自由度进行转动。
当控制摄像头与参照标定物之间进行相对运动时,电子设备控制摄像头拍摄该参照标定物,获取至少两帧目标图像。
步骤204,从至少两帧目标图像中分别获取相对应的特征点。
特征点指的是目标图像中存在某种特征的点。例如,参照标定物为标定板时,特征点可以是目标图像中标定板的黑色方格和相邻的白色方格之间的角点;当参照标定物为人物时,特征点可以是人物的眼睛、鼻子等。
在每一帧目标图像中,获取的特征点的数量并不限定,可以是一个,也可以是多个。在各个目标图像中,特征点相对应。例如,目标图像1获取的特征点为A1和B1,目标图像2获取的特征点为A2和B2,特征点A1与特征点A2相对应,特征点B1与特征点B2相对应;又如,目标图像1获取的特征点为眼睛,目标图像2获取的特征点为相对应的眼睛。
步骤206,获取各个特征点的运动信息。
特征点的运动信息可以是特征点在所在的目标图像中的坐标位置;也可以是特征点在拍摄时的运动方向,该运动方向可以通过电子设备中的陀螺仪获取;还可以是特征点在拍摄时的运动速度,该运动速度可以通过电子设备中的姿态传感器获取。
步骤208,基于至少两帧目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值。
防抖参数指的是在摄像头拍摄过程中用于摄像头防抖的参数。防抖参数可以包括陀螺仪采集的角速度数据、陀螺仪的采样频率、陀螺仪的零漂值和温漂值、陀螺仪的采集时间戳与拍摄图像的时间戳之间的延迟、图像传感器读出图像的时间、陀螺仪模组与图像传感器之间的旋转矩阵等中的至少一种。代价值用于表示采用防抖参数实际拍摄得到的目标图像与采用防抖参数拍摄应当得到的目标图像之间的相差程度。代价值越大,表示防抖参数越不准确;代价值越小,表示防抖参数防抖越准确。
从至少两帧目标图像中选取两帧目标图像,基于该选取的两帧目标图像中相对应的特征点的运动信息,可以确定防抖参数的一个代价值。再从至少两帧目标图像中选取另外两帧目标图像,基于该选取的另外两帧目标图像中相对应的特征点的运动信息,可以确定防抖参数的另一个代价值。确定的代价值越多,可以越准确对防抖参数进行标定。
步骤210,根据防抖参数的至少两个代价值对防抖参数进行标定。
标定,主要是指使用标准的计量仪器对所使用仪器的准确度(精度)进行检测是否符合标准。对防抖参数进行标定,即对防抖参数进行校准。可以理解的是,在电子设备出厂之前,需要对电子设备的防抖参数进行标定,使得用户在使用电子设备进行拍摄时,可以拍摄得到更清晰更稳定的图像或者视频。
上述防抖参数的标定方法,控制摄像头与参照标定物之间进行相对运动,并拍摄参照标定物,获取至少两帧目标图像;从至少两帧目标图像中分别获取相对应的特征点;获取各个特征点的运动信息;基于至少两帧目标图像中相对应的特征点的运动信息,可以知道至少拍摄参照标定物的两帧目标图像之间的防抖情况,从而确定防抖参数的至少两个代价值;根据防抖参数的至少两个代价值可以对防抖参数进行更准确标定。
在一个实施例中,如图3所示,基于至少两帧目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值,包括:
步骤302,从至少两帧目标图像中确定第一图像和第二图像;第二图像的拍摄时刻晚于第一图像的拍摄时刻,第一图像的特征点作为第一特征点,第二图像的特征点作为第二特征点。
第一图像和第二图像可以是相邻的两帧目标图像,也可以与间隔预设数量帧的目标图像。
步骤304,获取第一图像和第二图像之间的防抖参数的参考值。
防抖参数的参考值用于对第二图像进行防抖处理,得到防抖处理后的第二图像;将防抖处理后的第二图像与第一图像进行比较可以确定更加准确的防抖参数。其中防抖处理可以包括EIS(Electric Image Stabilization,电子防抖)、OIS(Optical ImageStabilization,光学防抖)中的至少一种。
具体地,获取第一图像的拍摄时刻和第二图像的拍摄时刻;根据第一图像的拍摄时刻获取防抖参数的第一参考值,根据第二图像的拍摄时刻获取防抖参数的第二参考值;基于第一参考值和第二参考值确定第一图像和第二图像之间的防抖参数的参考值。
可选地,可以将第一参考值和第二参考值进行差值处理,将得到的差值作为第一图像和第二图像之间的防抖参数的参考值;也可以获取第一参考值的第一权重,以及第二参考值的第二权重,将第一参考值与第一权重相乘得到第一乘积,将第二参考值与第二权重相乘得到第二乘积,再将第一乘积与第二乘积进行差值处理,将得到的差值作为第一图像和第二图像之间的防抖参数的参考值。获取第一图像和第二图像之间的防抖参数的参考值的方式并不限定。
步骤306,基于防抖参数的参考值、第一特征点的运动信息和第二特征点的运动信息,确定防抖参数的代价值。
代价值用于表示采用防抖参数实际拍摄得到的目标图像与采用防抖参数拍摄应当得到的目标图像之间的相差程度。代价值越大,表示防抖参数越不准确;代价值越小,表示防抖参数防抖越准确。
步骤308,改变防抖参数的参考值,得到新的防抖参数的参考值,返回执行上一个步骤,直到确定的防抖参数的代价值小于第一代价值阈值,或者得到的防抖参数的代价值的数量达到第一数量阈值为止。
改变防抖参数的参考值,可以提高防抖参数的参考值,也可以降低防抖参数的参考值。得到新的防抖参数的参考值之后,返回执行上一个步骤,即基于防抖参数的参考值、第一特征点的运动信息和第二特征点的运动信息,确定防抖参数的代价值,可以得到新的防抖参数的代价值。
在本实施例中,从至少两帧目标图像中确定第一图像和第二图像;第二图像的拍摄时刻晚于第一图像的拍摄时刻,第一图像的特征点作为第一特征点,第二图像的特征点作为第二特征点;获取第一图像和第二图像之间的防抖参数的参考值;基于防抖参数的参考值、第一特征点的运动信息和第二特征点的运动信息,确定防抖参数的代价值;改变防抖参数的参考值,得到新的防抖参数的参考值,返回执行上一个步骤,直到确定的防抖参数的代价值小于第一代价值阈值,或者得到的防抖参数的代价值的数量达到第一数量阈值为止。通过改变防抖参数的参考值,从而获取多个防抖参数的代价值,可以确定更准确的防抖参数,从而对防抖参数进行更准确地标定。
在一个实施例中,基于防抖参数的参考值、第一特征点的运动信息和第二特征点的运动信息,确定防抖参数的代价值,包括:基于防抖参数的参考值和第二特征点的运动信息,对第二特征点进行投影变换,得到新的第二特征点以及新的第二特征点的运动信息;将新的第二特征点的运动信息和相对应的第一特征点的运动信息进行比较,确定防抖参数的代价值。
投影变换(projection transformation)是将一个图像中点的坐标变换为另一个图像中点的坐标的过程。对第二图像进行防抖处理时,即采用防抖参数对第二图像中的第二特征点进行投影变换,得到新的第二特征点。
同样地,新的第二特征点的运动信息可以是新的第二特征点在所在的新的第二图像中的坐标位置;也可以是新的第二特征点在拍摄时的运动方向,该运动方向可以通过电子设备中的陀螺仪获取;还可以是新的第二特征点在拍摄时的运动速度,该运动速度可以通过电子设备中的姿态传感器获取。
可以理解的是,第二图像中的第二特征点与第一图像中的第一特征点相对应,对第二特征点进行投影变换得到新的第二特征点,当该新的第二特征点的运动信息与相对应的第一特征点的运动信息相同时,则防抖参数的代价值最小,进行该投影变换的防抖参数的参考值最准确;而当该新的第二特征带你的运动信息与相对应的第一特征点的运动信息相差越大时,则防抖参数的代价值越大,进行该投影变换的防抖参数的参考值越不准确。
例如,当新的第二特征点的坐标与相对应的第一特征点的坐标相同,则防抖参数的代价值最小,进行该投影变换的防抖参数的参考值最准确;当心的第二特征点的坐标与相对应的第一特征点的坐标相差越大,则防抖参数的代价值越大,进行该投影变换的防抖参数的参考值越不准确。
代价值可以通过以下的代价函数计算得到:
Figure BDA0002375907250000121
其中,J是代价值,
Figure BDA0002375907250000122
是第一图像t中的特征点i的运动信息,
Figure BDA0002375907250000123
是第二图像t+1中相对应的特征点i的运动信息,
Figure BDA0002375907250000124
是对第二特征点
Figure BDA0002375907250000125
进行投影变换之后得到新的第二特征点的运动信息。
在本实施例中,基于防抖参数的参考值和第二特征点的运动信息,对第二特征点进行投影变换,得到新的第二特征点以及新的第二特征点的运动信息;将新的第二特征点的运动信息和相对应的第一特征点的运动信息进行比较,可以确定更加准确的防抖参数的代价值。
在一个实施例中,根据防抖参数的至少两个代价值对防抖参数进行标定,包括:从至少两个代价值中确定目标代价值,并将目标代价值对应的参考值作为防抖参数的目标值;根据防抖参数的目标值对防抖参数进行标定。
可选地,可以从至少两个代价值中将最小的代价值确定为目标代价值,也可以将次小的代价值确定为目标代价值,不限于此。
确定目标代价值之后,则目标代价值对应的防抖参数的参考值即防抖参数的目标值为最终确定的对防抖参数进行标定的数值,也就是说,当用户在拍摄时,采用的防抖参数的数值为防抖参数的目标值。
在一个实施例中,从至少两个代价值中确定目标代价值,包括:将至少两个代价值进行比较,将最小的代价值作为目标代价值。
最小的代价值对应的防抖参数的参考值最准确,将最小的代价值作为目标代价值,从而可以根据最准确的防抖参数的目标值对防抖参数进行标定。
在其他实施例中,也可以从至少两个代价值的其他代价值作为目标代价值,如将次小的代价值作为目标代价值,将处于中位数位置的代价值作为目标代价值等,不限于此。
在其他实施例中。还可以通过梯度下降法、最小二乘法、粒子群算法等方法从至少两个代价值中确定目标代价值。
在一个实施例中,上述方法还包括:从至少两帧目标图像中确定新的第一图像和新的第二图像,返回执行获取第一图像和第二图像之间的防抖参数的参考值步骤,直到确定的防抖参数的代价值小于第二代价值阈值,或者确定的第一图像的数量达到第二数量阈值为止。
从至少两帧目标图像中确定第一图像和第二图像之后,可以根据第一图像和第二图像确定防抖参数对应的一个或者多个代价值。当对该第一图像和第二图像处理完成之后,可以再从至少两帧目标图像中确定新的第一图像和新的第二图像,再根据新的第一图像和新的第二图像确定防抖参数对应的一个或者多个代价值,直到确定的防抖参数的代价值小于第二代价值阈值,或者确定的第一图像的数量达到第二数量阈值为止。
在本实施例中,根据不同的第一图像和第二图像,确定防抖参数对应的代价值,可以提高确定的防抖参数对应的代价值的普遍性和稳定性,并且增加了该防抖参数的更多的代价值,可以从更多的代价值中确定更准确的目标代价值,从而更准确对防抖参数进行标定。
在一个实施例中,如图4所示,上述方法还包括:
步骤402,当防抖参数的数量至少为两个时,确定目标拍摄策略。
防抖参数可以包括陀螺仪采集的角速度数据、陀螺仪的采样频率、陀螺仪的零漂值和温漂值、陀螺仪的采集时间戳与拍摄图像的时间戳之间的延迟、图像传感器读出图像的时间、陀螺仪模组与图像传感器之间的旋转矩阵等中的至少一种。
目标拍摄策略指的是拍摄参照标定物时的策略。目标拍摄策略可以包括设定拍摄时长、拍摄帧率、拍摄成像视野范围等。例如,目标拍摄策略可以是拍摄时长为5秒的视频、拍摄帧率为10帧/秒。
步骤404,针对至少两个防抖参数中的任意一个进行标定时,均采用目标拍摄策略拍摄参照标定物。
传统的防抖参数标定方法,通常为不同的防抖参数制定不同的拍摄策略,存在标定效率低的问题。在本实施例中,当防抖参数的数量至少为两个时,针对至少两个防抖参数中的任意一个防抖参数进行标定时,均采用目标拍摄策略拍摄参照标定物,可以避免在对不同防抖参数进行标定时拍摄策略的切换,提高了标定的效率。
在一个实施例中,拍摄参照标定物,获取至少两帧目标图像,包括:拍摄参照标定物,得到至少两帧候选图像;从至少两帧候选图像中确定相邻的至少两帧目标图像。
候选图像指的是拍摄得到的图像。目标图像指的是从候选图像中确定的图像。从至少两帧候选图像中确定相邻的至少两帧目标图像,则相邻两帧目标图像之间的拍摄场景较接近,可以更准确地确定目标图像中相对应的特征点,从而更准确对防抖参数进行标定。
在另一个实施例中,还可以从至少两帧候选图像中确定间隔预设帧数量的候选图像作为至少两帧目标图像。
在其他的实施例中,以上的防抖参数的标定方法,还可以应用在工厂中其他自动化测试或者工厂中的其他参数的标定,进一步提高工厂流水线的效率。
应该理解的是,虽然图2至图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图5为一个实施例的防抖参数的标定装置的结构框图。如图5所示,一种防抖参数的标定装置500,包括:拍摄模块502、特征点获取模块504、运动信息获取模块506、代价值确定模块508和标定模块510,其中:
拍摄模块502,用于控制摄像头与参照标定物之间进行相对运动,并拍摄参照标定物,获取至少两帧目标图像。
特征点获取模块504,用于从至少两帧目标图像中分别获取相对应的特征点。
运动信息获取模块506,用于获取各个特征点的运动信息。
代价值确定模块508,用于基于至少两帧目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值。
标定模块510,用于根据防抖参数的至少两个代价值对防抖参数进行标定。
上述防抖参数的标定装置,控制摄像头与参照标定物之间进行相对运动,并拍摄参照标定物,获取至少两帧目标图像;从至少两帧目标图像中分别获取相对应的特征点;获取各个特征点的运动信息;基于至少两帧目标图像中相对应的特征点的运动信息,可以知道至少拍摄参照标定物的两帧目标图像之间的防抖情况,从而确定防抖参数的至少两个代价值;根据防抖参数的至少两个代价值可以对防抖参数进行更准确标定。
在一个实施例中,上述代价值确定模块508还用于从至少两帧目标图像中确定第一图像和第二图像;第二图像的拍摄时刻晚于第一图像的拍摄时刻,第一图像的特征点作为第一特征点,第二图像的特征点作为第二特征点;获取第一图像和第二图像之间的防抖参数的参考值;基于防抖参数的参考值、第一特征点的运动信息和第二特征点的运动信息,确定防抖参数的代价值;改变防抖参数的参考值,得到新的防抖参数的参考值,返回执行上一个步骤,直到确定的防抖参数的代价值小于第一代价值阈值,或者得到的防抖参数的代价值的数量达到第一数量阈值为止。
在一个实施例中,上述代价值确定模块508还用于基于防抖参数的参考值和第二特征点的运动信息,对第二特征点进行投影变换,得到新的第二特征点以及新的第二特征点的运动信息;将新的第二特征点的运动信息和第一特征点的运动信息进行比较,确定防抖参数的代价值。
在一个实施例中,上述标定模块510还用于从至少两个代价值中确定目标代价值,并将目标代价值对应的参考值作为防抖参数的目标值;根据防抖参数的目标值对防抖参数进行标定。
在一个实施例中,上述标定模块510还用于将至少两个代价值进行比较,将最小的代价值作为目标代价值。
在一个实施例中,上述代价值确定模块508还用于从至少两帧目标图像中确定新的第一图像和新的第二图像,返回执行获取第一图像和第二图像之间的防抖参数的参考值步骤,直到确定的防抖参数的代价值小于第二代价值阈值,或者确定的第一图像的数量达到第二数量阈值为止。
在一个实施例中,上述防抖参数的标定装置还包括目标拍摄策略确定模块,用于当防抖参数的数量至少为两个时,确定目标拍摄策略;针对至少两个防抖参数中的任意一个进行标定时,均采用目标拍摄策略拍摄参照标定物。
在一个实施例中,上述拍摄模块502还用于拍摄参照标定物,得到至少两帧候选图像;从至少两帧候选图像中确定相邻的至少两帧目标图像。
上述防抖参数的标定装置中各个模块的划分仅用于举例说明,在其他实施例中,可将防抖参数的标定装置按照需要划分为不同的模块,以完成上述防抖参数的标定装置的全部或部分功能。
关于防抖参数的标定装置的具体限定可以参见上文中对于防抖参数的标定方法的限定,在此不再赘述。上述防抖参数的标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图6为一个实施例中电子设备的内部结构示意图。如图6所示,该电子设备包括通过***总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种防抖参数的标定方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的防抖参数的标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行防抖参数的标定方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行防抖参数的标定方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种防抖参数的标定方法,其特征在于,包括:
控制摄像头与参照标定物之间进行相对运动,并拍摄所述参照标定物,获取至少两帧目标图像;
从至少两帧所述目标图像中分别获取相对应的特征点;
获取各个所述特征点的运动信息;
基于至少两帧所述目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值;
根据所述防抖参数的至少两个所述代价值对所述防抖参数进行标定。
2.根据权利要求1所述的方法,其特征在于,所述基于至少两帧所述目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值,包括:
从至少两帧所述目标图像中确定第一图像和第二图像;所述第二图像的拍摄时刻晚于所述第一图像的拍摄时刻,所述第一图像的特征点作为第一特征点,所述第二图像的特征点作为第二特征点;
获取所述第一图像和所述第二图像之间的防抖参数的参考值;
基于所述防抖参数的参考值、所述第一特征点的运动信息和所述第二特征点的运动信息,确定所述防抖参数的代价值;
改变所述防抖参数的参考值,得到新的防抖参数的参考值,返回执行上一个步骤,直到确定的所述防抖参数的代价值小于第一代价值阈值,或者得到的所述防抖参数的代价值的数量达到第一数量阈值为止。
3.根据权利要求2所述的方法,其特征在于,所述基于所述防抖参数的参考值、所述第一特征点的运动信息和所述第二特征点的运动信息,确定所述防抖参数的代价值,包括:
基于所述防抖参数的参考值和所述第二特征点的运动信息,对所述第二特征点进行投影变换,得到新的第二特征点以及新的所述第二特征点的运动信息;
将新的所述第二特征点的运动信息和所述第一特征点的运动信息进行比较,确定所述防抖参数的代价值。
4.根据权利要求2所述的方法,其特征在于,所述根据所述防抖参数的至少两个所述代价值对所述防抖参数进行标定,包括:
从至少两个所述代价值中确定目标代价值,并将所述目标代价值对应的参考值作为所述防抖参数的目标值;
根据所述防抖参数的目标值对所述防抖参数进行标定。
5.根据权利要求4所述的方法,其特征在于,所述从至少两个所述代价值中确定目标代价值,包括:
将至少两个所述代价值进行比较,将最小的代价值作为目标代价值。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
从至少两帧所述目标图像中确定新的第一图像和新的第二图像,返回执行所述获取所述第一图像和所述第二图像之间的防抖参数的参考值步骤,直到确定的所述防抖参数的代价值小于第二代价值阈值,或者确定的第一图像的数量达到第二数量阈值为止。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述防抖参数的数量至少为两个时,确定目标拍摄策略;
针对至少两个所述防抖参数中的任意一个进行标定时,均采用所述目标拍摄策略拍摄所述参照标定物。
8.根据权利要求1所述的方法,其特征在于,所述拍摄所述参照标定物,获取至少两帧目标图像,包括:
拍摄所述参照标定物,得到至少两帧候选图像;
从至少两帧候选图像中确定相邻的至少两帧目标图像。
9.一种防抖参数的标定装置,其特征在于,包括:
拍摄模块,用于控制摄像头与参照标定物之间进行相对运动,并拍摄所述参照标定物,获取至少两帧目标图像;
特征点获取模块,用于从至少两帧所述目标图像中分别获取相对应的特征点;
运动信息获取模块,用于获取各个所述特征点的运动信息;
代价值确定模块,用于基于至少两帧所述目标图像中相对应的特征点的运动信息,确定防抖参数的至少两个代价值;
标定模块,用于根据所述防抖参数的至少两个所述代价值对所述防抖参数进行标定。
10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的防抖参数的标定方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
CN202010065715.0A 2020-01-20 2020-01-20 防抖参数的标定方法、装置和电子设备 Active CN111246100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010065715.0A CN111246100B (zh) 2020-01-20 2020-01-20 防抖参数的标定方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065715.0A CN111246100B (zh) 2020-01-20 2020-01-20 防抖参数的标定方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111246100A true CN111246100A (zh) 2020-06-05
CN111246100B CN111246100B (zh) 2022-03-18

Family

ID=70864921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065715.0A Active CN111246100B (zh) 2020-01-20 2020-01-20 防抖参数的标定方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111246100B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438409A (zh) * 2021-05-18 2021-09-24 影石创新科技股份有限公司 延迟校准方法、装置、计算机设备和存储介质
CN113452919A (zh) * 2021-07-21 2021-09-28 杭州海康威视数字技术股份有限公司 用于利用光学防抖和电子防抖实现协同防抖的摄像机
CN113763485A (zh) * 2021-09-28 2021-12-07 北京的卢深视科技有限公司 温漂系数获取方法、电子设备、存储介质和图像校正方法
CN114500842A (zh) * 2022-01-25 2022-05-13 维沃移动通信有限公司 视觉惯性标定方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376572A (zh) * 2014-12-02 2015-02-25 成都理工大学 移动终端相机标定方法
CN105450907A (zh) * 2014-07-31 2016-03-30 北京展讯高科通信技术有限公司 智能终端及其视频稳像***模型参数的标定方法及装置
US20190020821A1 (en) * 2013-07-12 2019-01-17 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus
CN110225335A (zh) * 2019-06-20 2019-09-10 中国石油大学(北京) 相机稳定性评估方法及装置
CN110337668A (zh) * 2018-04-27 2019-10-15 深圳市大疆创新科技有限公司 图像增稳方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190020821A1 (en) * 2013-07-12 2019-01-17 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus
CN105450907A (zh) * 2014-07-31 2016-03-30 北京展讯高科通信技术有限公司 智能终端及其视频稳像***模型参数的标定方法及装置
CN104376572A (zh) * 2014-12-02 2015-02-25 成都理工大学 移动终端相机标定方法
CN110337668A (zh) * 2018-04-27 2019-10-15 深圳市大疆创新科技有限公司 图像增稳方法和装置
CN110225335A (zh) * 2019-06-20 2019-09-10 中国石油大学(北京) 相机稳定性评估方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113438409A (zh) * 2021-05-18 2021-09-24 影石创新科技股份有限公司 延迟校准方法、装置、计算机设备和存储介质
CN113452919A (zh) * 2021-07-21 2021-09-28 杭州海康威视数字技术股份有限公司 用于利用光学防抖和电子防抖实现协同防抖的摄像机
CN113452919B (zh) * 2021-07-21 2022-04-19 杭州海康威视数字技术股份有限公司 用于利用光学防抖和电子防抖实现协同防抖的摄像机
CN113763485A (zh) * 2021-09-28 2021-12-07 北京的卢深视科技有限公司 温漂系数获取方法、电子设备、存储介质和图像校正方法
CN113763485B (zh) * 2021-09-28 2022-07-26 合肥的卢深视科技有限公司 温漂系数获取方法、电子设备、存储介质和图像校正方法
CN114500842A (zh) * 2022-01-25 2022-05-13 维沃移动通信有限公司 视觉惯性标定方法及其装置

Also Published As

Publication number Publication date
CN111246100B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN109089047B (zh) 控制对焦的方法和装置、存储介质、电子设备
CN111147741B (zh) 基于对焦处理的防抖方法和装置、电子设备、存储介质
CN111246089B (zh) 抖动补偿方法和装置、电子设备、计算机可读存储介质
CN111246100B (zh) 防抖参数的标定方法、装置和电子设备
CN110536057B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110233970B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109600548B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110290323B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112087580B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN110213494B (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN109598764B (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN109963080B (zh) 图像采集方法、装置、电子设备和计算机存储介质
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109660718B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111432118B (zh) 图像防抖处理方法、装置、电子设备和存储介质
CN112004029B (zh) 曝光处理方法、装置、电子设备、计算机可读存储介质
CN112019734B (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN110266966A (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
CN110177212B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20220180484A1 (en) Image processing method, electronic device, and computer-readable storage medium
CN112087571A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN107465880B (zh) 对焦方法、装置、终端和计算机可读存储介质
CN112866553B (zh) 对焦方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant