CN111343360B - 一种校正参数获得方法 - Google Patents

一种校正参数获得方法 Download PDF

Info

Publication number
CN111343360B
CN111343360B CN201811544026.7A CN201811544026A CN111343360B CN 111343360 B CN111343360 B CN 111343360B CN 201811544026 A CN201811544026 A CN 201811544026A CN 111343360 B CN111343360 B CN 111343360B
Authority
CN
China
Prior art keywords
lens
corrected
image
points
lenses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811544026.7A
Other languages
English (en)
Other versions
CN111343360A (zh
Inventor
任健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811544026.7A priority Critical patent/CN111343360B/zh
Publication of CN111343360A publication Critical patent/CN111343360A/zh
Application granted granted Critical
Publication of CN111343360B publication Critical patent/CN111343360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种校正参数获得方法,该方法包括:获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像,待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像中的像素点的大小相同,待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,靶纸设置有第一标定点;针对待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中第一标定点的成像点的坐标位置;基于各第一图像中第一标定点的成像点的坐标位置,计算各第一镜头相对于第二镜头的平移校正参数。以实现获得用于校正上述多镜头设备中不同镜头所采集的图像的校正参数。

Description

一种校正参数获得方法
技术领域
本发明涉及参数标定技术领域,特别是涉及一种校正参数获得方法、装置及电子设备。
背景技术
目前,为了实现扩展摄像机以及相机等图像采集设备所支持的焦距的范围,大多采用多镜头设置的方式,以利用所设置的支持不同焦距的镜头采集该不同焦距段的图像,实现对图像采集设备所支持的焦距的范围的扩展。其中,可以称上述设置有多镜头的图像采集设备为多镜头设备。
在上述多镜头设备的镜头安装过程中,不同镜头之间难免存在拍摄角度差异的问题。由于多镜头设备中不同镜头之间的拍摄角度的差异,当多镜头设备切换镜头,以采集图像供用户查看时,该不同镜头所采集的图像之间存在差异,例如:场景中一拍摄对象成像在切换前的镜头所采集图像的左上角,该拍摄对象成像在切换后的镜头所采集图像的右下角,而该图像之间所存在的差异会给用户带来不佳的体验。
发明内容
本发明实施例的目的在于提供一种校正参数获得方法、装置及电子设备,以实现获得用于校正上述多镜头设备中不同镜头所采集的图像的校正参数。具体技术方案如下:
一方面,本发明实施例提供了一种校正参数获得方法,所述方法包括:
获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像,其中,所述待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像中的像素点的大小相同,所述待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,所述靶纸设置有第一标定点;
针对所述待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中所述第一标定点的成像点的坐标位置;
基于各第一图像中所述第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数,其中,所述第二镜头为:所述待校正镜头组中的一镜头,所述第一镜头为:所述待校正镜头组中除所述第二镜头外的镜头。
可选地,在所述基于各第一图像中所述第一标定点的成像点的坐标位置,计算各第一镜头相对于第二镜头的平移校正参数的步骤之后,所述方法还包括:
获得所述待校正镜头组中的镜头拍摄得到第一图像时的焦距和物距,作为第一焦距和第一物距;
针对所述待校正镜头组中的每一第一镜头,存储该第一镜头相对于所述第二镜头的平移校正参数与所述第一焦距和所述第一物距之间的对应关系。
可选地,所述基于各第一图像中所述第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数的步骤,包括:
从所述待校正镜头组中的镜头中选择一镜头作为第二镜头;
采用如下步骤,计算得到各第一镜头相对于所述第二镜头的平移校正参数:
确定第一目标镜头对应的第一图像中所述第一标定点的成像点的位置坐标,作为第一位置坐标,其中,所述第一目标镜头为所述第一镜头中的一镜头;
计算得到所述第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,其中,所述第二位置坐标为:所确定的所述第二镜头对应的第一图像中所述第一标定点的成像点的位置坐标;
将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
可选地,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,所述至少两个第二标定点的连线与所述至少两个第三标定点的连线垂直,且相交于所述第一标定点;
在所述将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数的步骤之前,所述方法还包括:
确定所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;
确定所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;
基于所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标、所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标以及预设平移参数计算公式,确定所述第一目标镜头对应的裁剪尺寸以及裁剪位置;
所述将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数的步骤,包括:
将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,垂直差值和垂直校正方向,所述第一目标镜头对应的裁剪尺寸和裁剪位置,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
可选地,在所述获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像的步骤之前,所述方法还包括:
获得所述待校正镜头组中的镜头各自拍摄靶纸时的第二图像,其中,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,至少两个所述第二标定点的连线与至少两个所述第三标定点的连线垂直,且相交于所述第一标定点,所述待校正镜头组中的各镜头拍摄得到第二图像时焦距相同;
针对所述待校正镜头组中的每一镜头对应的第二图像,确定该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点以及至少两个所述第三标定点各自的成像点的位置坐标;
针对所述待校正镜头组中的每一镜头对应的第二图像,基于该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点、至少两个所述第三标定点各自的成像点的位置坐标以及预设旋转误差计算公式,计算得到该第二图像对应的镜头的旋转误差;
基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数,其中,所述第四镜头为:所述待校正镜头组中的一镜头,所述第三镜头为:所述待校正镜头组中除所述第四镜头外的镜头。
可选地,所述第一标定点为所述靶纸的靶心,至少两个所述第二标定点分别位于所述第一标定点的两侧,且至少两个所述第三标定点分别位于所述第一标定点的两侧。
可选地,在所述基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数的步骤之后,所述方法还包括:
获得所述待校正镜头组中的镜头拍摄得到第二图像时的焦距,作为第二焦距;
针对所述待校正镜头组中的每一第三镜头,存储该第三镜头相对于所述第四镜头的旋转校正参数与所述第二焦距之间的对应关系。
可选地,当所述第二标定点为两个,且所述第三标定点为两个时;
所述预设旋转误差计算公式为:
Figure BDA0001908891680000041
其中,所述α(N)标识在焦距为N的情况下,第二图像对应的镜头的旋转误差,所述(Dx,Dy)和(Fx,Fy)分别标识所述第二图像中两个所述第二标定点的成像点的位置坐标,所述(Cx,Cy)和(Ex,Ey)分别标识所述第二图像中两个所述第三标定点的成像点的位置坐标,所述(Gx,Gy)标识所述第二图像中所述第一标定点的成像点的位置坐标,N为正数。
可选地,所述基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数的步骤,包括:
从所述待校正镜头组中的镜头中选择一镜头作为第四镜头;
针对每一第三镜头,计算该第三镜头的旋转误差与所述第四镜头的旋转误差的差值,作为该第三镜头的旋转差值;
针对每一第三镜头,将计算所得的该第三镜头的旋转差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
可选地,在所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数的步骤之前,所述方法还包括:
针对每一第三镜头,基于该第三镜头对应的第二图像的中心点、该第三镜头的旋转差值以及该第三镜头的分辨率,确定该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸;
所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数的步骤,包括:
针对每一第三镜头,将计算所得的该第三镜头的差值、该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
另一方面,本发明实施例提供了一种校正参数获得装置,所述装置包括:
第一获得模块,用于获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像,其中,所述待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像中的像素点的大小相同,所述待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,所述靶纸设置有第一标定点;
第一确定模块,用于针对所述待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中所述第一标定点的成像点的坐标位置;
第一计算模块,用于基于各第一图像中所述第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数,其中,所述第二镜头为:所述待校正镜头组中的一镜头,所述第一镜头为:所述待校正镜头组中除所述第二镜头外的镜头。
可选地,所述装置还包括:
第二获得模块,用于在所述基于各第一图像中所述第一标定点的成像点的坐标位置,计算各第一镜头相对于第二镜头的平移校正参数之后,获得所述待校正镜头组中的镜头拍摄得到第一图像时的焦距和物距,作为第一焦距和第一物距;
第一存储模块,用于针对所述待校正镜头组中的每一第一镜头,存储该第一镜头相对于所述第二镜头的平移校正参数与所述第一焦距和所述第一物距之间的对应关系。
可选地,所述第一计算模块,包括:
第一选择单元,用于从所述待校正镜头组中的镜头中选择一镜头作为第二镜头;
第一计算单元,用于采用如下步骤,计算得到各第一镜头相对于所述第二镜头的平移校正参数:包括:
第一确定子单元,用于确定第一目标镜头对应的第一图像中所述第一标定点的成像点的位置坐标,作为第一位置坐标,其中,所述第一目标镜头为所述第一镜头中的一镜头;
第一计算子单元,用于计算得到所述第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,其中,所述第二位置坐标为:所确定的所述第二镜头对应的第一图像中所述第一标定点的成像点的位置坐标;
第二确定子单元,用于将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
可选地,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,所述至少两个第二标定点的连线与所述至少两个第三标定点的连线垂直,且相交于所述第一标定点;
所述第一计算模块还包括:
第三确定子单元,用于在所述将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数之前,确定所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;确定所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;
第四确定子单元,用于基于所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标、所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标以及预设平移参数计算公式,确定所述第一目标镜头对应的裁剪尺寸以及裁剪位置;
所述第二确定子单元,具体用于
将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,垂直差值和垂直校正方向,所述第一目标镜头对应的裁剪尺寸和裁剪位置,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
可选地,所述装置还包括:
第三获得模块,用于在所述获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像之前,获得所述待校正镜头组中的镜头各自拍摄靶纸时的第二图像,其中,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,至少两个所述第二标定点的连线与至少两个所述第三标定点的连线垂直,且相交于所述第一标定点,所述待校正镜头组中的各镜头拍摄得到第二图像时焦距相同;
第二确定模块,用于针对所述待校正镜头组中的每一镜头对应的第二图像,确定该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点以及至少两个所述第三标定点各自的成像点的位置坐标;
第二计算模块,用于针对所述待校正镜头组中的每一镜头对应的第二图像,基于该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点、至少两个所述第三标定点各自的成像点的位置坐标以及预设旋转误差计算公式,计算得到该第二图像对应的镜头的旋转误差;
第三计算模块,用于基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数,其中,所述第四镜头为:所述待校正镜头组中的一镜头,所述第三镜头为:所述待校正镜头组中除所述第四镜头外的镜头。
可选地,所述第一标定点为所述靶纸的靶心,至少两个所述第二标定点分别位于所述第一标定点的两侧,且至少两个所述第三标定点分别位于所述第一标定点的两侧。
可选地,所述装置还包括:
第四获得模块,用于在所述基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数之后,获得所述待校正镜头组中的镜头拍摄得到第二图像时的焦距,作为第二焦距;
第二存储模块,用于针对所述待校正镜头组中的每一第三镜头,存储该第三镜头相对于所述第四镜头的旋转校正参数与所述第二焦距之间的对应关系。
可选地,当所述第二标定点为两个,且所述第三标定点为两个时;
所述预设旋转误差计算公式为:
Figure BDA0001908891680000081
其中,所述α(N)标识在焦距为N的情况下,第二图像对应的镜头的旋转误差,所述(Dx,Dy)和(Fx,Fy)分别标识所述第二图像中两个所述第二标定点的成像点的位置坐标,所述(Cx,Cy)和(Ex,Ey)分别标识所述第二图像中两个所述第三标定点的成像点的位置坐标,所述(Gx,Gy)标识所述第二图像中所述第一标定点的成像点的位置坐标,N为正数。
可选地,所述第三计算模块,包括:
第二选择单元,用于选择从所述待校正镜头组中的镜头中选择一镜头作为第四镜头;
第二计算单元,用于针对每一第三镜头,计算该第三镜头的旋转误差与所述第四镜头的旋转误差的差值,作为该第三镜头的旋转差值;
第一确定单元,用于针对每一第三镜头,将计算所得的该第三镜头的旋转差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
可选地,所述第三计算模块还包括:
第二确定单元,用于在所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数之前,针对每一第三镜头,基于该第三镜头对应的第二图像的中心点、该第三镜头的旋转差值以及该第三镜头的分辨率,确定该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸;
所述第一确定单元,具体用于:
针对每一第三镜头,将计算所得的该第三镜头的差值、该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
另一方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的计算机程序时,实现本发明实施例所提供的任一所述的校正参数获得方法步骤。
另一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的任一所述的校正参数获得方法步骤。
本发明实施例提供的技术方案中,获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像,其中,待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像中的像素点的大小相同,待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,靶纸设置有第一标定点;针对待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中第一标定点的成像点的坐标位置;基于各第一图像中第一标定点的成像点的坐标位置,计算各第一镜头相对于第二镜头的平移校正参数,其中,第二镜头为:待校正镜头组中的一镜头,第一镜头为:待校正镜头组中除第二镜头外的镜头。
可见,本发明实施例中,可以利用第一图像中靶纸设置的第一标定点的成像点的位置坐标,确定出待校正镜头组中的各镜头之间的拍摄角度的差异,将待校正镜头组中的一镜头作为基准,基于待校正镜头组中的各镜头之间的拍摄角度的差异,得到除作为基准的镜头外的其他镜头即第一镜头,相对于该作为基准的镜头即第二镜头的平移校正参数。使得后续的图像校正过程中,利用上述第一镜头相对于第二镜头的平移校正参数,对第一镜头采集的图像进行校正,使得所得的校正后的图像和第二镜头所采集的图像的拍摄角度相同,即使得所拍摄场景中各点在所得的校正后的图像的位置,与在第二镜头所采集的图像中的位置相同。并且,本发明实施例中,该靶纸中的第一标定点可以占据第一图像中的一个完整的像素点,可以使得基于包含该靶纸的第一图像所确定的校正参数更准确,保证后续的利用该校正参数校正后的图像效果更好。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为一多镜头设备中存在安装距离两个镜头之间的一种位置关系示意图;
图1B为多镜头设备中两个存在安装距离的镜头所采集图像所表征图像内容的一种位置关系示意图;
图2为本发明实施例提供了一种校正参数获得方法的流程示意图;
图3为本发明实施例所提供的靶纸的一种示意图;
图4A和图4B,为待校正镜头组中镜头所采集的第一图像(包含第一标定点的成像点)的一种示意图;
图4C为图4A和图4B所示的第一图像二进行平移后所得的第一图像二,与平移前的第一图像二之间的位置关系示意图;
图5为存在相对旋转误差的两个镜头所采集图像所表征图像内容的一种位置关系示意图;
图6为本发明实施例提供旋转校正参数获得流程的一种示意图;
图7为本发明实施例提供一种校正参数获得装置的结构示意图;
图8为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
可以理解的是,为了更好的满足用户的需求,即扩展图像采集设备所支持的拍摄图像时的焦距的范围,目前可以在一图像采集设备中设置多个分别支持不同焦距的镜头,该图像采集设备可以根据实际情况,自动或基于用户指示切换镜头,以利用不同镜头针对其所监控的目标场景进行拍摄,保证拍摄效果,即所采集图像的图像效果,例如保证所采集的图像的清晰度值不低于预设清晰度值,且切换的两个镜头对应的采集区域存在重合区域。本发明实施例中,可以称设置有多个分别支持不同焦距的镜头的图像采集设备为多镜头设备。该多镜头设备所设置的多个镜头的分辨率可以均相同。
多镜头设备可以利用其内部所设置的支持不同焦距的不同镜头,针对一场景进行拍摄,多镜头设备中各镜头对应的采集区域存在重合区域。在忽略微小差异的前提下,可以认为多镜头设备内部所设置的不同镜头与所拍摄场景中目标的距离相等,即物距相等。其中,上述微小差异中的微小,是相对于多镜头设备内部所设置的镜头,与其他外部设备的镜头之间的差异而言的。
为了保证所拍摄的图像的质量,例如清晰度值不低于预设清晰度值,在切换镜头时,须通过驱动两镜头各自对应的Zoom电机和Focus电机,使两镜头的焦距保持一致且画面清晰。其中,Zoom电机和Focus电机为镜头中的零部件,Zoom电机用于控制镜头的变倍,Focus电机用于控制镜头的聚焦,使镜头对应的成像画面清晰。此时,可以认为切换镜头时,须保证进行切换的两镜头的焦距相等,且,场景中的拍摄对象在两镜头对应的成像画面中所占据像素点的数量相等。其中,需保证两镜头各自拍摄所得的图像中的像素点的大小相同。
在一种情况中,多镜头设备中的镜头之间的安装距离是不可避免的。因为无法保证多个镜头的光轴在同一直线上,进而导致镜头之间存在安装距离。镜头之间存在安装距离,进而导致利用不同镜头针对同一场景拍摄时,不同镜头对应的采集区域存在差异,即不同镜头所采集图像表征的采集区域存在差异。其中,该类差异在近焦距场景下比较明显,在远焦距场景下不明显。上述近焦距场景为:利用相同分辨率的镜头,为了拍摄得到质量较高的图像,例如:拍摄得到清晰度值超过预设清晰度值的图像,所需焦距不超过预设焦距的场景;上述远焦距场景为:利用相同分辨率的镜头,为了拍摄得到质量较高的图像,例如:拍摄得到清晰度值超过预设清晰度值的图像,所需焦距超过预设焦距的场景。
如图1A所示,为一多镜头设备中存在安装距离R的镜头A和镜头B两个镜头之间的位置关系示意图。由于镜头A和镜头B两个镜头之间存在安装距离R,使得镜头A和镜头B拍摄图像时存在拍摄角度上的差异,如图1A中所示的,F所标识的区域为镜头A对应的采集区域,E所标识的区域为镜头B对应的采集区域,S所标识的区域为镜头A和镜头B对应的采集区域的重合区域,P标识镜头A和镜头B的焦距,T标识镜头A和镜头B的物距,“SensorA”标识镜头A的图像传感器,“SensorB”标识镜头B的图像传感器。如图1B所示,为两个存在安装距离的镜头所采集图像所表征图像内容的一种位置关系示意图,该两个图像可以表征出所对应两个镜头的采集区域存在差异,即两个镜头在水平方向上相差K,在垂直方向上相差J,两个镜头所采集图像的尺寸相同,且两个镜头所采集图像表征两个镜头对应的采集区域存在重合区域,但拍摄角度存在差异。由于镜头之间存在拍摄角度差异,当切换镜头时,会出现所展示图像出现跳变的情况,会给用户带来不佳的使用体验。
因此,在切换镜头时,为了避免镜头之间的拍摄角度上的差异,为用户带来不佳的使用体验。本发明实施例提供了一种校正参数获得方法、装置及电子设备,以实现获得用于校正上述多镜头设备中不同镜头所采集的图像的校正参数。
其中,本发明实施例所提供的校正参数获得方法,可以应用于任一类型的电子设备,该电子设备可以为与上述多镜头设备连接的设备,例如电脑、手机等等;也可以是上述多镜头设备。实现本发明实施例所提供的校正参数获得方法的功能软件可以以专门的客户端软件的形式存在,也可以以现有的应用软件的插件的形式存在,这都是可以的。
对于存在安装距离的多镜头设置中的镜头来说,其各镜头的光轴均平行,且其各镜头对应的采集区域存在平移误差,如图1A和图1B所示。在某一焦距和物距的情况下,切换镜头时,对进行切换的两镜头所采集图像进行校正,是为了使得场景中同一拍摄对象的成像点位于校正后的图像的相同位置处,即校正后的图像之间不存在相对平移误差。一种情况中,可以将进行切换的两镜头中的一个镜头作为基准镜头,认为该基准镜头不存在平移误差,继而确定出进行切换的两镜头中的另一个镜头,与该基准镜头之间的相对平移误差,基于该另一个镜头,与该基准镜头之间的相对平移误差,对该另一个镜头所采集的图像进行校正即可。即可以将进行切换的两镜头中一个镜头所采集的图像作为基准图像,即无需进行校正的图像,对另一个镜头所采集的图像进行校正,使得校正后的图像中拍摄对象所在位置,与基准图像中该拍摄对象所在位置相同。例如:均以图像(包括基准图像和校正后的图像)的左上角的像素点所处位置为坐标原点,一拍摄对象在基准图像中的位置为(x1,y1),该拍摄对象在校正后的图像中的位置为(x1,y1)。本发明实施例则需要针对该焦距和物距,获得并存储可以使得校正后的图像中拍摄对象所在位置,与基准图像中该拍摄对象所在位置相同的校正参数。基于上述原理,如图2所示,本发明实施例提供了一种校正参数获得方法,可以包括如下步骤:
S201:获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像;
其中,待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像的像素点的大小相同,待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,靶纸设置有第一标定点;
一种情况中,该多镜头设备中所设置的镜头都可以为变焦镜头,即每一镜头均可以支持多个焦距,可以将每一镜头所支持的多个焦距称为一个焦距段,即每一镜头对应一焦距段。另一种情况中,该多镜头设备中所设置的镜头中可以既包括变焦镜头又包括定焦,即既包括可以支持多个焦距的镜头,又包括支持一个焦距的镜头,这都是可以的。
本发明实施例中,在多镜头设备中,存在至少每两个镜头对应的焦距段存在重合。举例而言:多镜头设备甲包含镜头一、镜头二、镜头三和镜头四,其中,镜头一对应焦距段[a,c]、镜头二对应焦距段[b,e]、镜头三对应焦距段[e,m]和镜头四对应焦距段[m,n],其中,存在a<b<c<e<m<n。存在镜头一对应的焦距段与镜头二对应的焦距段存在重合为[b,c],镜头二对应的焦距段与镜头三对应的焦距段存在重合为[e],镜头三对应的焦距段与镜头四对应的焦距段存在重合为[m]。理论上,在多镜头设备中,也可以存在三个或更多镜头对应的焦距段存在重合,这也是可以的。
其中,多镜头设备中的所对应焦距段存在重合的镜头可以组成一待校正镜头组。承接上述例子,上述镜头一和镜头二可以称为一待校正镜头组,镜头二和镜头三可以称为一待校正镜头组,镜头三和镜头四可以称为一待校正镜头组。
在多镜头设备出厂前,针对多镜头设备执行本发明实施例所提供的校正参数获得流程,以针对多镜头设备,获得用于校正该多镜头设备中不同镜头所采集的图像的校正参数。
本发明实施例中,可以利用多镜头设备中的各镜头,针对靶纸进行拍摄,尽量使得靶纸完整的填充各镜头的成像画面。在拍摄之前,将多镜头设备对准靶纸,进行聚焦操作,使得待校正镜头组中各镜头对应的成像画面聚焦清晰,例如成像画面的清晰度均超过预设清晰度值;调节待校正镜头组中各镜头的焦距,使得各镜头对应的成像画面中靶纸占据的像素点数量相同,且各镜头对应的成像画面中像素点的大小均相同,即调节待校正镜头组中各镜头的焦距相同。在相同焦距以及物距的情况下,利用待校正镜头组中的各镜头对靶纸进行拍摄,并发送至电子设备,电子设备获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像。其中,在待校正镜头组中的镜头各自拍摄靶纸时,该待校正镜头组中的镜头的相对位置不发生变化。上述待校正镜头组中各镜头均是针对同一靶纸进行拍摄,可以确定待校正镜头组中各镜头与靶纸之间的距离相等,即待校正镜头组中各镜头对应的物距相等。
其中,靶纸的材质可以为透明的塑料板,该靶纸可以为方形(包括正方形和长方形)或圆形等。该靶纸的表面可以刻制有以该塑料板的中心为圆心,以预设长度为半径的圆;并且该圆内刻制有相互垂直的两条直径。该靶纸中该圆的外侧刻制有预设尺寸的方格。当该靶纸为方形时,该相互垂直的两条直径分别与该靶纸的边平行或垂直。在一种情况中,为了更好的区分出靶纸上的各个方向,可以针对该靶纸上的各个方向设置不同的标识符,例如,靶纸为方形时,针对靶纸的四个角分别设置不同的标识符。以保证后续的所得的校正参数的准确性。
本发明实施例中,上述靶纸中设置有第一标定点,该第一标定点可以为该靶纸所刻制的圆的圆心即靶纸的靶心,或者,可以是该靶纸的任一位置。当待校正镜头组中的镜头针对该靶纸进行拍摄时,得到图像,该第一标定点可以占据该图像中一个完整的像素点。一种情况,如图3所示,为本发明实施例所提的靶纸的一种示意图。其中,上述靶纸可以为方形,该靶纸表面刻制有一以靶纸的中心为圆心,以预设长度为半径的圆;该靶纸表面所刻制的圆的外侧,刻制有预设尺寸的方格,靶纸的每一角均设置有不同标识,如图3所示,通过实心方格的数量,标识靶纸的四个角,和,通过O、X、Y和Z分别标识靶纸的四个角。
基于上述图3所示的靶纸的示意图,对上述调节待校正镜头组中各镜头的焦距,使得各镜头对应的成像画面中靶纸占据的像素点数量相同,且各镜头对应的成像画面中像素点的大小均相同的过程,进行说明:
假设待校正镜头组包括镜头C和镜头D,记录镜头C对应的成像画面中,O点对应的成像点O1点的坐标
Figure BDA0001908891680000151
X点对应的成像点X1点的坐标
Figure BDA0001908891680000152
Y点对应的成像点Y1点的坐标
Figure BDA0001908891680000153
计算得到O1点与X1点之间的距离,作为第一距离
Figure BDA0001908891680000154
O1点与Y1点之间的距离,作为第二距离
Figure BDA0001908891680000155
调节镜头D的焦距,使得镜头D对应的成像画面中,O点对应的成像点O2点与X点对应的成像点X2点之间的距离等于第一距离,且O点对应的成像点O2点与Y点对应的成像点Y2点之间的距离,等于第二距离,即使得靶纸在镜头D对应的成像画面中所占据的像素点数量与靶纸在镜头D对应的成像画面中所占据的像素点数量相等。
S202:针对待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中第一标定点的成像点的坐标位置;
S203:基于各第一图像中第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数。
其中,第二镜头为:待校正镜头组中的一镜头,第一镜头为:待校正镜头组中除第二镜头外的镜头。
可以理解的是,待校正镜头组中的镜头各自拍摄靶纸时,靶纸所设置的第一标定点在每一镜头对应的成像画面中均会存在一对应的成像点,即每一第一图像中均包括第一标定点的成像点。本发明实施例中,可以采用任一可行的位置确定方式,在每一第一图像中,确定该第一标定点的成像点的位置坐标。
本发明实施例中,待校正镜头组中各镜头对应的分辨率均相同,在拍摄得到第一图像时,待校正镜头组中各镜头的物距和焦距均相同,且第一图像中的像素点的大小均相同。为了更好的保证所确定出的各第一图像之间的位置关系的准确性,可以统一设置各第一图像所在坐标系。一种情况,可以设置各第一图像所在坐标系,均为以第一图像中第P行第M列的像素点为坐标原点,且各第一图像所在坐标系的横轴方向相同,纵轴方向相同。其中,P和M均为正整数。为了计算方便,可以设置各第一图像中左上角(或左下角、或右上角或右下角)的像素点所在位置作为坐标原点,以该作为坐标原点的像素点所在行作为横轴,以该作为坐标原点的像素点所在列作为纵轴。
在一种情况中,可以通过第一标定点的成像点在各第一图像中的位置,来表征各第一图像之间的位置关系,进而,可以基于各第一图像之间的位置关系,确定出各第一图像之间的平移关系,使得各第一图像中同一拍摄对象对应的成像点重合。基于所确定出的各第一图像之间的平移关系,可以确定得到各第一镜头相对于第二镜头的平移校正参数。
其中,在切换镜头时,对进行镜头切换的两个镜头中一个镜头采集的图像进行校正的目的是:使得场景中同一拍摄对象(如第一标定点),在不同镜头对应的图像中的成像位置相同。一种情况,可以首先认为待校正镜头组中一镜头不存在平移误差,即作为第二镜头,进而以第二镜头为基准,计算得到待校正镜头组中其他镜头,即第一镜头,相对于第二镜头的相对平移误差;进而,上述相对平移误差,即可作为各待校正镜头组中各第一镜头相对于该不存在平移误差的镜头的平移校正参数。
在一种实现方式中,所述基于各第一图像中第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数的步骤,可以包括:
从待校正镜头组中的镜头中选择一镜头作为第二镜头;
采用如下步骤,计算得到各第一镜头相对于第二镜头的平移校正参数:
确定第一目标镜头对应的第一图像中第一标定点的成像点的位置坐标,作为第一位置坐标,其中,第一目标镜头为第一镜头中的一镜头;
计算得到第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,其中,第二位置坐标为:所确定的第二镜头对应的第一图像中第一标定点的成像点的位置坐标;
将计算所得的第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为第一目标镜头相对于第二镜头的平移校正参数。
其中,在从待校正镜头组中的镜头中选择一个镜头作为第二镜头时,可以随机选择一镜头作为第二镜头,也可以选择待校正镜头组中,所支持的焦距包含最大焦距的镜头,作为第二镜头,这都是可以的。其中,选择待校正镜头组中,所支持的焦距包含最大焦距的镜头,作为第二镜头,在一定程度上,可以便于对校正参数的管理,并便利后续的图像校正过程。
如图4A和图4B所示,为待校正镜头组中镜头所采集的第一图像(包含第一标定点的成像点)的示意图,其中,图4A和图4B可以表征出每一第一图像中第一标定点的成像点的位置以及各第一图像中第一标定点的成像点之间的位置关系,待校正镜头组中镜头各自采集的图像分别为:第一图像一和第一图像二,第一图像一和第一图像二的尺寸均为4*4,第一图像一的边框用实线标识,第一图像二的边框用虚线标识。黑色方格标识第一标定点的成像点。图4A和图4B中的实线与虚线仅是为了区分不同第一图像,并不具有限定意义。
基于图4A和图4B,对上述计算得到第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向的过程,进行说明:
以每一第一图像的左下角的像素点所在位置为原点,且以该像素点所在行为横轴,该像素点所在列为纵轴建立坐标系,第一图像一中第一标定点的成像点的位置坐标为(1,1),第一图像二中第一标定点的成像点的位置坐标为(0,2)。
以第一图像一对应的镜头作为第二镜头,为了使得第一图像二中第一标定点的成像点的位置,与该第一标定点的成像点在第一图像一中的位置相同,需要将第一图像二中第一标定点的成像点的位置坐标从(0,2),转换到(1,1),此时,可以计算得到第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向;第一位置坐标与第二位置坐标之间的水平差值为1个像素点,水平校正方向标识为负,第一位置坐标与第二位置坐标之间的垂直差值为1个像素点,垂直校正方向标识为正。具体的,可以标识为:基于该第一图像二所在坐标系,将第一图像二中第一标定点的成像点的位置,向横轴坐标值增大的方向平移1个像素点,向纵轴坐标值减小的方向平移1个像素点,即基于该第一图像二所在坐标系中,将第一图像二向横轴坐标值增大的方向平移1个像素点,向纵轴坐标值减小的方向平移1个像素点。
第一图像二与平移后的第一图像二之间的位置关系,如图4C所示。其中,平移后的第一图像二的像素点所在位置与第一图像二的像素点所在位置存在重叠区域,如图4C中浅灰色方格与黑色方格位置处,平移后的第一图像二的像素点所在位置与第一图像二的像素点所在位置存在不重叠区域,如深灰色方格位置处。
在一种实现方式中,由于每一镜头对应的分辨率是固定的,为了使得第一标定点在待校正镜头组中每一镜头对应的第一图像中的成像位置相同,即第一标定点的成像点在各第一图像中的位置坐标相同,此时,需要对第一目标镜头对应的第一图像进行裁剪,以使得可以将第一目标图像中第一标定点的成像点平移到,与第二镜头对应的第一图像中第一标定点的成像点的位置坐标相同的位置坐标处。靶纸还设置有至少两个第二标定点和至少两个第三标定点,至少两个第二标定点的连线与至少两个第三标定点的连线垂直,且相交于第一标定点;在所述将计算所得的第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为第一目标镜头相对于第二镜头的平移校正参数的步骤之前,所述方法还可以包括:
确定第一目标镜头对应的第一图像中至少两个第二标定点的成像点和至少两个第三标定点的成像点的位置坐标;
确定第二镜头对应的第一图像中至少两个第二标定点的成像点和至少两个第三标定点的成像点的位置坐标;
基于第一目标镜头对应的第一图像中至少两个第二标定点的成像点和至少两个第三标定点的成像点的位置坐标、第二镜头对应的第一图像中至少两个第二标定点的成像点和至少两个第三标定点的成像点的位置坐标以及预设平移参数计算公式,确定第一目标镜头对应的裁剪尺寸以及裁剪位置;
所述将计算所得的第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为第一目标镜头相对于第二镜头的平移校正参数的步骤,可以包括:
将计算所得的第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,垂直差值和垂直校正方向,第一目标镜头对应的裁剪尺寸和裁剪位置,确定为第一目标镜头相对于第二镜头的平移校正参数。
本发明实施例中,上述预设平移参数计算公式可以标识如下,公式(1)为:
Figure BDA0001908891680000191
由以上公式可以推导出如下公式(2):
Figure BDA0001908891680000192
其中,(xa,ya)标识第一目标镜头对应的第一图像中第一标定点的成像点的位置坐标;wa标识第一目标镜头对应的第一图像中至少两个第三标定点的成像点中距离最远的两个成像点之间的距离(如图3中所示的D点和F点的成像点);ha标识第一目标镜头对应的第一图像中至少两个第二标定点的成像点中距离最远的两个成像点之间的距离(如图3中所示的C点和E点的成像点);(xb,yb)标识第二镜头对应的第一图像中第一标定点的成像点的位置坐标;wb标识第二镜头对应的第一图像中至少两个第三标定点的成像点中距离最远的两个成像点之间的距离(如图3中所示的D点和F点的成像点);hb标识第二镜头对应的第一图像中至少两个第二标定点的成像点中距离最远的两个成像点之间的距离(如图3中所示的C点和E点的成像点);(L0,M0)标识第一目标镜头和第二镜头的分辨率;down标识第一目标镜头对应的第一图像的下边框所需被裁剪的尺寸;up标识第一目标镜头对应的第一图像的上边框所需被裁剪的尺寸;left标识第一目标镜头对应的第一图像的左边框所需被裁剪的尺寸,right标识第一目标镜头对应的第一图像的右边框所需被裁剪的尺寸。
进而可以将计算所得的第一目标镜头对应的第一图像每个边(下边框、上边框、左边框以及右边框)所需被裁剪的尺寸,作为第一目标镜头对应的裁剪尺寸,进而,可以根据每个边所需被裁剪的尺寸,确定出第一目标镜头对应的裁剪位置。后续的,结合计算所得的第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,垂直差值和垂直校正方向,作为第一目标镜头相对于第二镜头的平移校正参数。
以第一目标镜头对应的第一图像的上边框为例,说明根据每个边所需被裁剪的尺寸,确定出第一目标镜头对应的裁剪位置的过程:确定第一目标镜头对应的第一图像的上边框所需被裁剪的尺寸为up,从上边框所在行所包含的像素点为起始行,确定第up行和第up+1行,将第up行和第up+1行之间的位置确定为一目标镜头对应的第一图像的上边框的裁剪位置。
其中,靶纸为矩形时,可以针对矩形的靶纸的四个角进行标记,进而针对该靶纸进行拍摄时,可以通过矩形的靶纸的四个角的标记,区分第一图像中的下边框、上边框、左边框以及右边框。其中,上述下边框、上边框、左边框以及右边框均是相对而言的。例如:针对图3所示的保证进行拍摄,得到的第一图像中,可以将“O”和“X”标识的边对应的图像边框作为第一图像的上边框,将“O”和“Y”标识的边对应的图像边框作为第一图像的左边框,将“X”和“Z”标识的边对应的图像边框作为第一图像的右边框,将“Y”和“Z”标识的边对应的图像边框作为第一图像的下边框。
可以理解的是,在图像校正阶段,当基于上述平移校正参数,对第一目标镜头所采集的图像进行裁剪后,还需要将裁剪后的图像进行拉伸。例如:将1920*1080的图像裁剪100像素变成1820*980的原始图像,但在显示时仍然输出1920*1080。
本发明实施例并不对多镜头设备中的镜头的分辨率进行限定,只要各镜头的分辨率均相同即可。上述多镜头设备中的镜头的分辨率可以为1920*1080也可以是3840*2160或者其他尺寸。
在进行拍摄的过程中,焦距相同,而物距不同时,镜头的成像效果存在不同,本发明实施例中,为了更好的提高多镜头设备的性能以及用户使用体验,在焦距相同的前提下,需要针对不同物距,获得不同的校正参数,即在焦距相同的前提下,针对不同物距,执行本发明实施例所提供的校正参数获得流程。以在多镜头设备使用过程中,在切换镜头时,可以根据实际的物距,使用该实际的物距对应的校正参数,所切换的镜头所采集的图像进行校正。在一种情况中,可以利用增距镜,来改变多镜头设备对应的物距,即待校正镜头组中各镜头对应的物距。
在进行拍摄的过程中,物距相同,而焦距不同时,镜头的成像效果也会存在不同。在一种情况中,多镜头设备中的镜头可以均为变焦镜头,且待校正镜头组中的镜头之间可能存在多个焦距是重合的,为了保证待校正镜头组中的镜头在任一焦距的情况下,进行切换,均可以达到较好的切换效果,使得图像之间的差异较小。本发明实施例中,为了更好的提高多镜头设备的性能以及用户使用体验,在物距相同的前提下,需要针对不同焦距,获得不同的校正参数,即在物距相同的前提下,针对不同焦距,执行本发明实施例所提供的校正参数获得流程。以在多镜头设备使用过程中,在切换镜头时,可以根据实际的焦距,使用该实际的焦距对应的校正参数,所切换的镜头所采集的图像进行校正。
其中,上述利用校正参数对图像进行校正的过程,可以灵活的采用任一可行的校正方式,本发明实施例并不对上述利用校正参数对图像进行校正的过程中所采用的校正方式进行限定。
考虑到针对每一物距或焦距,均利用本发明实施例所提供的校正参数获得方法,获得一组校正参数时,工作量较大。为了减少工作量,本发明实施例中,可以在焦距固定的情况下,针对第一预设数量的物距,利用本发明实施例所提供的校正参数获得方法,获得该第一预设数量的物距中每一物距对应的、各第一镜头相对于第二镜头的平移校正参数,对于其他物距对应的平移校正参数,可以通过计算已得的平移校正参数以及预设等比例算法计算得到。一种情况,上述第一预设数量可以为3,可以利用本发明实施例所提供的校正参数获得方法,获得物距6米、30米以及100米各自对应的各第一镜头相对于第二镜头的平移校正参数,进而基于预设等比例算法,以及已得的上述3个物距对应的各第一镜头相对于第二镜头的平移校正参数,计算得到其他物距对应的各第一镜头相对于第二镜头的平移校正参数,例如,当物距M在6至30米之间时,预设等比例算法(1)可以标识如下:
Figure BDA0001908891680000221
Figure BDA0001908891680000222
其中,(WM,HM)标识物距M对应的第一镜头相对于第二镜头的水平差值以及垂直差值,(W6,H6)标识物距6米对应的该第一镜头相对于第二镜头的水平差值以及垂直差值,(W30,H30)标识物距30米对应的该第一镜头相对于第二镜头的水平差值以及垂直差值。
对于同一第一镜头来说,在任一物距、焦距下,该第一镜头相对于第二镜头的平移校正参数中的水平校正方向和垂直校正方向均相同。
同理的,可以在物距固定的情况下,针对第二预设数量个焦距,利用本发明实施例所提供的校正参数获得方法,获得该第二预设数量的焦距中每一焦距对应的、各第一镜头相对于第二镜头的平移校正参数。进而基于预设等比例算法,以及已得的上述第二预设数量个物距对应的各第一镜头相对于第二镜头的平移校正参数,计算得到其他物距对应的各第一镜头相对于第二镜头的平移校正参数。计算过程与上述计算得到其他物距对应的各第一镜头相对于第二镜头的平移校正参数的过程相似,在此不再赘述。
本发明实施例中,可以利用第一图像中靶纸设置的第一标定点的成像点的位置坐标,确定出待校正镜头组中的各镜头之间的拍摄角度的差异,将待校正镜头组中的一镜头作为基准,基于待校正镜头组中的各镜头之间的拍摄角度的差异,得到除作为基准的镜头外的其他镜头即第一镜头,相对于该作为基准的镜头即第二镜头的平移校正参数。使得后续的图像校正过程中,利用上述第一镜头相对于第二镜头的平移校正参数,对第一镜头采集的图像进行校正,使得所得的校正后的图像和第二镜头所采集的图像的拍摄角度相同,即使得所拍摄场景中各点在所得的校正后的图像的位置,与在第二镜头所采集的图像中的位置相同。并且,本发明实施例中,该靶纸中的第一标定点可以占据第一图像中的一个完整的像素点,可以使得基于包含该靶纸的第一图像所确定的校正参数更准确,保证后续的利用该校正参数校正后的图像效果更好。
在一种实现方式中,在所述基于各第一图像中第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数的步骤之后,所述方法还可以包括:
获得待校正镜头组中的镜头拍摄得到第一图像时的焦距和物距,作为第一焦距和第一物距;
针对待校正镜头组中的每一第一镜头,存储该第一镜头相对于第二镜头的平移校正参数与第一焦距和第一物距之间的对应关系。
本发明实施例中,为了便于后续的多镜头设备的拍摄过程中,镜头切换时,基于镜头切换时的实际物距和实际焦距,快速地确定出准确的平移校正参数,在计算得到各第一镜头相对于第二镜头的平移校正参数之后,还需要获得拍摄得到第一图像时的第一焦距和第一物距,进而,针对待校正镜头组中的每一第一镜头,存储第一焦距和第一物距,该第一镜头相对于第二镜头的平移校正参数,建立并存储该第一镜头相对于第二镜头的平移校正参数,与第一焦距和第一物距之间的对应关系。
在一种实现方式中,在多镜头设备的镜头安装时,镜头之间除了存在安装距离之后,还可能存在旋转误差。并且,由于多镜头设备中设置有多个镜头,每一镜头的旋转误差可能存在不同,即多镜头设备的镜头之间存在相对旋转误差。当切换镜头时,进行切换的两个镜头之间存在相对旋转误差,所采集的图像之间也存在相对旋转误差,此时,会给用户带来不佳的体验。那么,在切换镜头时,需要对进行切换的两个镜头所采集的图像进行旋转误差校正。如图5所示,为存在相对旋转误差的两个镜头所采集图像所表征图像内容的一种位置关系示意图。在所述获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像的步骤之前,如图6所示,所述方法还可以包括:
S601:获得待校正镜头组中的镜头各自拍摄靶纸时的第二图像;
其中,靶纸还设置有至少两个第二标定点和至少两个第三标定点,至少两个第二标定点的连线与至少两个第三标定点的连线垂直,且相交于第一标定点,待校正镜头组中的各镜头拍摄得到第二图像时焦距相同;
本发明实施例中,可以利用多镜头设备中的各镜头,针对靶纸进行拍摄,尽量使得靶纸完整的填充各镜头的成像画面。在拍摄之前,将多镜头设备对准靶纸,进行聚焦操作,使得待校正镜头组中各镜头对应的成像画面聚焦清晰,例如成像画面的清晰度均超过预设清晰度值;利用待校正镜头组中各镜头针对靶纸进行拍摄,并发送至电子设备,电子设备获得待校正镜头组中的镜头各自拍摄靶纸时的第二图像。其中,在待校正镜头组中的镜头各自拍摄靶纸时,该待校正镜头组中的镜头的相对位置不发生变化。上述待校正镜头组中各镜头均是针对同一靶纸进行拍摄,可以确定待校正镜头组中各镜头与靶纸之间的距离相等,即待校正镜头组中各镜头对应的物距相等。
在一种实现方式中,为了更便于后续的计算过程,第一标定点可以为靶纸的靶心,即为靶纸表面所刻制的圆的圆心,至少两个第二标定点分别位于第一标定点的两侧,且至少两个第三标定点分别位于第一标定点的两侧。为了更好的保证计算所得的校正参数的准确性,上述第一标定点分别与至少两个第二标定点、至少两个第三标定点之间的距离不低于预设距离。一种情况中,上述第一标定点分别与至少两个第二标定点、至少两个第三标定点之间的距离可以相等。
S602:针对待校正镜头组中的每一镜头对应的第二图像,确定该第二图像中第一标定点的成像点、至少两个第二标定点各自的成像点以及至少两个第三标定点各自的成像点的位置坐标;
S603:针对待校正镜头组中的每一镜头对应的第二图像,基于该第二图像中第一标定点的成像点、至少两个第二标定点各自的成像点、至少两个第三标定点各自的成像点的位置坐标以及预设旋转误差计算公式,计算该第二图像对应的镜头的旋转误差;
本发明实施例中,为了计算方便,可以设置各第一图像中左上角(或左下角、或右上角或右下角)的像素点所在位置作为坐标原点,以该作为坐标原点的像素点所在行作为横轴,以该作为坐标原点的像素点所在列作为纵轴。
理论上,待校正镜头组中的每一镜头对应的第二图像中,第一标定点的成像点、至少两个第二标定点各自的成像点、至少两个第三标定点各自的成像点之间的关系,可以存在如下两种情况:第一种情况,待校正镜头组中的每一镜头对应的第二图像中,该靶纸中所设置的第一标定点的成像点与至少两个第二标定点各自的成像点为同一列像素点,且第一标定点的成像点与至少两个第三标定点各自的成像点为同一行像素点;或者,第二种情况,待校正镜头组中的每一镜头对应的第二图像中,该靶纸中所设置的第一标定点的成像点与至少两个第二标定点各自的成像点为同一行像素点,且第一标定点的成像点与至少两个第三标定点各自的成像点为同一列像素点。
当多镜头设备中的镜头存在旋转误差时,待校正镜头组中的每一镜头对应的第二图像中,第一标定点的成像点、至少两个第二标定点各自的成像点、至少两个第三标定点各自的成像点之间的关系,不满足上述两种情况。
并且,多镜头设备中的镜头存在的旋转误差越大,该镜头对应的第二图像中第一标定点的成像点与至少两个第二标定点各自的成像点所在直线,与理论上的第一标定点的成像点、至少两个第二标定点各自的成像点所在直线之间的夹角越大,以第一种情况为例:该镜头对应的第二图像中第一标定点的成像点与至少两个第二标定点各自的成像点所在直线与坐标轴之间的纵轴之间的夹角越大;且该镜头对应的第二图像中第一标定点的成像点与至少两个第三标定点各自的成像点所在直线,与理论上的第一标定点的成像点与至少两个第三标定点各自的成像点所在直线之间的夹角越大,以第一种情况为例:该镜头对应的第二图像中第一标定点的成像点与至少两个第三标定点各自的成像点所在直线与坐标轴之间的纵轴之间的夹角越大。相应的,该镜头对应的旋转角度越大。
并且,当两镜头之间存在相对旋转误差时,两镜头对应的第二图像中第一标定点的成像点与至少两个第二标定点各自的成像点所在直线之间存在夹角,且两镜头对应的第二图像中第一标定点的成像点与至少两个第三标定点各自的成像点所在直线之间存在夹角。
本发明实施例中,多镜头设备中各镜头的旋转误差可以表征:各镜头实际的安装时的绕镜头的光轴的旋转角度。多镜头设备中各镜头之间的相对旋转误差可以表征:各镜头实际的安装时的绕镜头的光轴的旋转角度之间的差异。其中,多镜头设备中各镜头的光轴均平行。当镜头对应的第二图像中,第一标定点的成像点、至少两个第二标定点各自的成像点、至少两个第三标定点各自的成像点之间的关系,满足上述两种情况中的任一种情况时,认为镜头的旋转误差为0。
基于上述原理,本发明实施例中,可以针对每一第二图像,通过该第二图像第一标定点的成像点、至少两个第二标定点各自的成像点以及至少两个第三标定点各自的成像点的位置坐标,确定出第一标定点的成像点与至少两个第二标定点各自的成像点之间的位置关系,以及第一标定点的成像点与至少两个第三标定点各自的成像点之间的位置关系;进而得到第二图像对应的旋转误差。
在一种实现方式中,如图3所示,靶纸中可以包括两个第二标定点,分别为点C和点E,以及两个第三标定点,分别为点D和点F,当第二标定点为两个,且第三标定点为两个时;
预设旋转误差计算公式(2)为:
Figure BDA0001908891680000261
其中,α(N)标识在焦距为N的情况下,第二图像对应的镜头的旋转误差,(Dx,Dy)和(Fx,Fy)分别标识第二图像中两个第二标定点的成像点的位置坐标,(Cx,Cy)和(Ex,Ey)分别标识第二图像中两个第三标定点的成像点的位置坐标,(Gx,Gy)标识第二图像中第一标定点的成像点的位置坐标,N为正数。
S604:基于待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数。
其中,第四镜头为:待校正镜头组中的一镜头,第三镜头为:待校正镜头组中除第四镜头外的镜头。
本发明实施例中,对进行切换的两个镜头所采集的图像进行旋转误差校正的目的是:使得进行切换的两个镜头所采集的图像之间不存在相对旋转误差,例如:进行切换的两个镜头所采集的图像的中线不存在夹角。基于上述目的,可以将进行切换的两个镜头中的一镜头作为基准镜头,认为基准镜头不存在旋转误差,针对进行切换的两个镜头中除基准镜头外的另一镜头,计算该另一镜头相对于基准镜头的相对旋转误差,进而,基于计算所得的该另一镜头相对于基准镜头的相对旋转误差,确定该另一镜头相对于基准镜头的旋转校正参数。
如图5所示,左侧所示为第四镜头对应的成像画面,右侧所示为第三镜头对应的成像画面,认为第四镜头不存在旋转误差,如图5所示,第三镜头相对于第四镜头的相对旋转误差为角α。
基于上述原理,所述基于待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数的步骤,可以包括:
从待校正镜头组中的镜头中选择一镜头作为第四镜头;
针对每一第三镜头,计算该第三镜头的旋转误差与第四镜头的旋转误差的差值,作为该第三镜头的旋转差值;
针对每一第三镜头,将计算所得的该第三镜头的旋转差值,确定为该第三镜头相对于第四镜头的旋转校正参数。
其中,在从待校正镜头组中的镜头中选择一个镜头作为第四镜头时,可以随机选择一镜头作为第四镜头,也可以选择待校正镜头组中,所支持的焦距包含最大焦距的镜头,作为第四镜头,这都是可以的。其中,选择待校正镜头组中,所支持的焦距包含最大焦距的镜头,作为第四镜头,在一定程度上,可以便于对校正参数的管理,并便利后续的图像校正过程。在一种情况中,在从待校正镜头组中的镜头中选择一镜头作为第四镜头时,可以选择上述作为第二镜头的镜头,作为第四镜头。
具体的,上述针对每一第三镜头,计算该第三镜头的旋转误差与第四镜头的旋转误差的差值,作为该第三镜头的旋转差值,所采用公式(3)可以是:
α相对=α1-α2 (3)
其中,α相对标识该第三镜头的旋转差值,α1标识该第三镜头的旋转误差,α2标识第四镜头的旋转误差。
在进行拍摄的过程中,存在旋转误差的镜头,焦距不同时,其所拍摄的图像之间的旋转误差存在不同。在一种情况中,多镜头设备中的镜头可以均为变焦镜头,且待校正镜头组中的镜头之间可能存在多个焦距是重合的,为了保证待校正镜头组中的镜头在任一焦距的情况下,进行切换,均可以达到较好的切换效果,使得图像之间的差异较小。理论上,可以针对待校正镜头组中的每一第三镜头,分别利用本发明实施例所提供的校正参数获得方法,获得该第三镜头在不同焦距下,相对于第四镜头的旋转校正参数。其中,上述不同焦距指的是:第三镜头所支持的焦距与第四镜头所支持的焦距存在重合的焦距。
由于针对每一第三镜头,分别利用本发明实施例所提供的校正参数获得方法,获得该第三镜头在不同焦距下,相对于第四镜头的旋转校正参数,其工作量较大,为了在一定程度上减少工作量,可以针对每一第三镜头,利用本发明实施例所提供的校正参数获得方法,获得该第三镜头在目标焦距下,相对于第四镜头的旋转校正参数;而该第三镜头在其他焦距下,相对于第四镜头的旋转校正参数,可以通过上述所获得的在目标焦距下,相对于第四镜头的旋转校正参数计算获得。其中,上述目标焦距可以包括:第三镜头所支持的焦距与第四镜头所支持的焦距存在重合的焦距中的最大焦距和最小焦距,以及最大焦距和最小焦距的平均焦距。
其中,上述通过上述所获得的在目标焦距下,相对于第四镜头的旋转校正参数计算获得,可以采用预设等比例算法计算得到。
可以理解的是,对于镜头之间的旋转误差而言,其受物距的影响不大,可以在一定程度上忽略物距对镜头之间的旋转误差的影响。
本发明实施例中,当多镜头设备中的镜头之间存在相对旋转误差时,为了保证所获得的镜头之间的平移校正参数的准确性,需要首先确保待校正镜头组中的镜头之间的旋转误差被校正后,在计算待校正镜头组中的镜头之间的平移校正参数。
在一种实现方式中,在所述基于待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数的步骤之后,所述方法还可以包括:
获得待校正镜头组中的镜头拍摄得到第二图像时的焦距,作为第二焦距;
针对待校正镜头组中的每一第三镜头,存储该第三镜头相对于第四镜头的旋转校正参数与第二焦距之间的对应关系。
本发明实施例中,为了便于后续的多镜头设备的拍摄过程中,镜头切换时,基于镜头切换时的实际物距和实际焦距,快速地确定出准确的旋转校正参数,在计算得到各第三镜头相对于第四镜头的旋转校正参数之后,还需要获得拍摄得到第二图像时的第二焦距,进而,针对待校正镜头组中的每一第三镜头,存储第二焦距,该第三镜头相对于第四镜头的旋转校正参数,建立并存储该第三镜头相对于第四镜头的旋转校正参数,与第二焦距之间的对应关系。
在一种实现方式中,在所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于第四镜头的旋转校正参数的步骤之前,所述方法还可以包括:
针对每一第三镜头,基于该第三镜头对应的第二图像的中心点、该第三镜头的旋转差值以及该第三镜头的分辨率,确定该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸;
所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于第四镜头的旋转校正参数的步骤,可以包括:
针对每一第三镜头,将计算所得的该第三镜头的差值、该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸,确定为该第三镜头相对于第四镜头的旋转校正参数。
在对图像进行旋转校正时,对于镜头来说,其所设置的采集图像的传感器的尺寸是固定的,在第三镜头基于第三镜头的旋转差值进行旋转后,会使得所采集的图像中可能会出现黑边,为了避免旋转后所采集的图像出现黑边,可以在旋转所采集的图像之后,对旋转后的图像进行裁剪,以将黑边裁剪掉。
本发明实施例中,可以通过第三镜头的旋转差值以及第三镜头的分辨率即裁剪前的第二图像的分辨率(即行像素点的数量以及列像素点的数量),计算得到相对于第四镜头,第三镜头裁剪后的第二图像的分辨率(即行像素点的数量以及列像素点的数量)。进而可以基于计算得到的第三镜头裁剪后的第二图像的分辨率,以中心对称原则,得到对第三镜头的裁剪前的成像画面上下左右的裁剪尺寸,以及裁剪位置。
在一种情况中,为了保证画质,需要确定出使得裁剪后的第二图像的分辨率最大的裁剪尺寸和裁剪位置。确定过程可以如下:如图5所示,图5中右侧所示的实线矩形为第三镜头对应的裁剪前的第二图像,图5中右侧所示的虚线矩形为裁剪后所得的第二图像,此时,可以保证裁剪后的第二图像的分辨率最大。此时,该上述两个图像之间的分辨率,即行像素点的数量与列像素点的数量,存在如下关系式(4):
Figure BDA0001908891680000301
其中,L1标识裁剪后所得的第二图像的行像素点的数量,M1标识裁剪后所得的第二图像的列像素点的数量,L标识第三镜头对应的裁剪前的第二图像的行像素点的数量,M标识第三镜头对应的裁剪前的第二图像的列像素点的数量,α标识第三镜头相对于第四镜头的相对旋转误差。
上述如下关系式(4)变形后,得到公式(5):
Figure BDA0001908891680000302
此时,需要对第三镜头对应的裁剪前的第二图像,以该裁剪前的第二图像的中心点为对称中心,对裁剪前的第二图像的上下裁剪(M-M1/2)行像素点,对裁剪前的第二图像的左右裁剪(L-L1/2)列像素点,以得到裁剪后的第二图像。
相应于上述方法实施例,本发明实施例提供了一种校正参数获得装置,如图7所示,所述装置包括:
第一获得模块710,用于获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像,其中,所述待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像中的像素点的大小相同,所述待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,所述靶纸设置有第一标定点;
第一确定模块720,用于针对所述待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中所述第一标定点的成像点的坐标位置;
第一计算模块730,用于基于各第一图像中所述第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数,其中,所述第二镜头为:所述待校正镜头组中的一镜头,所述第一镜头为:所述待校正镜头组中除所述第二镜头外的镜头。
本发明实施例中,可以利用第一图像中靶纸设置的第一标定点的成像点的位置坐标,确定出待校正镜头组中的各镜头之间的拍摄角度的差异,将待校正镜头组中的一镜头作为基准,基于待校正镜头组中的各镜头之间的拍摄角度的差异,得到除作为基准的镜头外的其他镜头即第一镜头,相对于该作为基准的镜头即第二镜头的平移校正参数。使得后续的图像校正过程中,利用上述第一镜头相对于第二镜头的平移校正参数,对第一镜头采集的图像进行校正,使得所得的校正后的图像和第二镜头所采集的图像的拍摄角度相同,即使得所拍摄场景中各点在所得的校正后的图像的位置,与在第二镜头所采集的图像中的位置相同。并且,本发明实施例中,该靶纸中的第一标定点可以占据第一图像中的一个完整的像素点,可以使得基于包含该靶纸的第一图像所确定的校正参数更准确,保证后续的利用该校正参数校正后的图像效果更好。
在一种实现方式中,所述装置还包括:
第二获得模块,用于在所述基于各第一图像中所述第一标定点的成像点的坐标位置,计算各第一镜头相对于第二镜头的平移校正参数之后,获得所述待校正镜头组中的镜头拍摄得到第一图像时的焦距和物距,作为第一焦距和第一物距;
第一存储模块,用于针对所述待校正镜头组中的每一第一镜头,存储该第一镜头相对于所述第二镜头的平移校正参数与所述第一焦距和所述第一物距之间的对应关系。
在一种实现方式中,所述第一计算模块730,包括:
第一选择单元,用于从所述待校正镜头组中的镜头中选择一镜头作为第二镜头;
第一计算单元,用于采用如下步骤,计算得到各第一镜头相对于所述第二镜头的平移校正参数:包括:
第一确定子单元,用于确定第一目标镜头对应的第一图像中所述第一标定点的成像点的位置坐标,作为第一位置坐标,其中,所述第一目标镜头为所述第一镜头中的一镜头;
第一计算子单元,用于计算得到所述第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,其中,所述第二位置坐标为:所确定的所述第二镜头对应的第一图像中所述第一标定点的成像点的位置坐标;
第二确定子单元,用于将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
在一种实现方式中,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,所述至少两个第二标定点的连线与所述至少两个第三标定点的连线垂直,且相交于所述第一标定点;
所述第一计算模块730还包括:
第三确定子单元,用于在所述将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数之前,确定所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;确定所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;
第四确定子单元,用于基于所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标、所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标以及预设平移参数计算公式,确定所述第一目标镜头对应的裁剪尺寸以及裁剪位置;
所述第二确定子单元,具体用于
将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,垂直差值和垂直校正方向,所述第一目标镜头对应的裁剪尺寸和裁剪位置,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
在一种实现方式中,所述装置还包括:
第三获得模块,用于在所述获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像之前,获得所述待校正镜头组中的镜头各自拍摄靶纸时的第二图像,其中,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,至少两个所述第二标定点的连线与至少两个所述第三标定点的连线垂直,且相交于所述第一标定点,所述待校正镜头组中的各镜头拍摄得到第二图像时焦距相同;
第二确定模块,用于针对所述待校正镜头组中的每一镜头对应的第二图像,确定该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点以及至少两个所述第三标定点各自的成像点的位置坐标;
第二计算模块,用于针对所述待校正镜头组中的每一镜头对应的第二图像,基于该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点、至少两个所述第三标定点各自的成像点的位置坐标以及预设旋转误差计算公式,计算得到该第二图像对应的镜头的旋转误差;
第三计算模块,用于基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数,其中,所述第四镜头为:所述待校正镜头组中的一镜头,所述第三镜头为:所述待校正镜头组中除所述第四镜头外的镜头。
在一种实现方式中,所述第一标定点为所述靶纸的靶心,至少两个所述第二标定点分别位于所述第一标定点的两侧,且至少两个所述第三标定点分别位于所述第一标定点的两侧。
在一种实现方式中,所述装置还包括:
第四获得模块,用于在所述基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数之后,获得所述待校正镜头组中的镜头拍摄得到第二图像时的焦距,作为第二焦距;
第二存储模块,用于针对所述待校正镜头组中的每一第三镜头,存储该第三镜头相对于所述第四镜头的旋转校正参数与所述第二焦距之间的对应关系。
在一种实现方式中,当所述第二标定点为两个,且所述第三标定点为两个时;
所述预设旋转误差计算公式为:
Figure BDA0001908891680000341
其中,所述α(N)标识在焦距为N的情况下,第二图像对应的镜头的旋转误差,所述(Dx,Dy)和(Fx,Fy)分别标识所述第二图像中两个所述第二标定点的成像点的位置坐标,所述(Cx,Cy)和(Ex,Ey)分别标识所述第二图像中两个所述第三标定点的成像点的位置坐标,所述(Gx,Gy)标识所述第二图像中所述第一标定点的成像点的位置坐标,N为正数。
在一种实现方式中,所述第三计算模块,包括:
第二选择单元,用于选择从所述待校正镜头组中的镜头中选择一镜头作为第四镜头;
第二计算单元,用于针对每一第三镜头,计算该第三镜头的旋转误差与所述第四镜头的旋转误差的差值,作为该第三镜头的旋转差值;
第一确定单元,用于针对每一第三镜头,将计算所得的该第三镜头的旋转差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
在一种实现方式中,所述第三计算模块还包括:
第二确定单元,用于在所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数之前,针对每一第三镜头,基于该第三镜头对应的第二图像的中心点、该第三镜头的旋转差值以及该第三镜头的分辨率,确定该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸;
所述第一确定单元,具体用于:
针对每一第三镜头,将计算所得的该第三镜头的差值、该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
相应于上述方法实施例,本发明实施例还提供了一种电子设备,如图8所示,包括处理器810、通信接口820、存储器830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信,
存储器830,用于存放计算机程序;
处理器810,用于执行存储器830上所存放的计算机程序时,实现本发明实施例所提供的上述任一所述的校正参数获得方法步骤:
获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像,其中,所述待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像中的像素点的大小相同,所述待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,所述靶纸设置有第一标定点;
针对所述待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中所述第一标定点的成像点的坐标位置;
基于各第一图像中所述第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数,其中,所述第二镜头为:所述待校正镜头组中的一镜头,所述第一镜头为:所述待校正镜头组中除所述第二镜头外的镜头。
本发明实施例中,可以利用第一图像中靶纸设置的第一标定点的成像点的位置坐标,确定出待校正镜头组中的各镜头之间的拍摄角度的差异,将待校正镜头组中的一镜头作为基准,基于待校正镜头组中的各镜头之间的拍摄角度的差异,得到除作为基准的镜头外的其他镜头即第一镜头,相对于该作为基准的镜头即第二镜头的平移校正参数。使得后续的图像校正过程中,利用上述第一镜头相对于第二镜头的平移校正参数,对第一镜头采集的图像进行校正,使得所得的校正后的图像和第二镜头所采集的图像的拍摄角度相同,即使得所拍摄场景中各点在所得的校正后的图像的位置,与在第二镜头所采集的图像中的位置相同。并且,本发明实施例中,该靶纸中的第一标定点可以占据第一图像中的一个完整的像素点,可以使得基于包含该靶纸的第一图像所确定的校正参数更准确,保证后续的利用该校正参数校正后的图像效果更好。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的上述任一所述的校正参数获得方法步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种校正参数获得方法,其特征在于,所述方法包括:
获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像,其中,所述待校正镜头组中的镜头为:多镜头设备中的所对应焦距段存在重合的镜头,各第一图像中的像素点的大小相同,所述待校正镜头组中的镜头拍摄得到第一图像时焦距和物距相同,所述靶纸设置有第一标定点;
针对所述待校正镜头组中的每一镜头对应的第一图像,确定该第一图像中所述第一标定点的成像点的坐标位置;
基于各第一图像中所述第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数,其中,所述第二镜头为:所述待校正镜头组中的一镜头,所述第一镜头为:所述待校正镜头组中除所述第二镜头外的镜头。
2.根据权利要求1所述的方法,其特征在于,在所述基于各第一图像中所述第一标定点的成像点的坐标位置,计算各第一镜头相对于第二镜头的平移校正参数的步骤之后,所述方法还包括:
获得所述待校正镜头组中的镜头拍摄得到第一图像时的焦距和物距,作为第一焦距和第一物距;
针对所述待校正镜头组中的每一第一镜头,存储该第一镜头相对于所述第二镜头的平移校正参数与所述第一焦距和所述第一物距之间的对应关系。
3.根据权利要求1所述的方法,其特征在于,所述基于各第一图像中所述第一标定点的成像点的坐标位置,计算得到各第一镜头相对于第二镜头的平移校正参数的步骤,包括:
从所述待校正镜头组中的镜头中选择一镜头作为第二镜头;
采用如下步骤,计算得到各第一镜头相对于所述第二镜头的平移校正参数:
确定第一目标镜头对应的第一图像中所述第一标定点的成像点的位置坐标,作为第一位置坐标,其中,所述第一目标镜头为所述第一镜头中的一镜头;
计算得到所述第一位置坐标与第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,其中,所述第二位置坐标为:所确定的所述第二镜头对应的第一图像中所述第一标定点的成像点的位置坐标;
将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
4.根据权利要求3所述的方法,其特征在于,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,所述至少两个第二标定点的连线与所述至少两个第三标定点的连线垂直,且相交于所述第一标定点;
在所述将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数的步骤之前,所述方法还包括:
确定所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;
确定所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标;
基于所述第一目标镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标、所述第二镜头对应的第一图像中所述至少两个第二标定点的成像点和所述至少两个第三标定点的成像点的位置坐标以及预设平移参数计算公式,确定所述第一目标镜头对应的裁剪尺寸以及裁剪位置;
所述将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,以及垂直差值和垂直校正方向,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数的步骤,包括:
将计算所得的所述第一位置坐标与所述第二位置坐标之间的水平差值和水平校正方向,垂直差值和垂直校正方向,所述第一目标镜头对应的裁剪尺寸和裁剪位置,确定为所述第一目标镜头相对于所述第二镜头的平移校正参数。
5.根据权利要求1-4任一项所述的方法,其特征在于,在所述获得待校正镜头组中的镜头各自拍摄靶纸时的第一图像的步骤之前,所述方法还包括:
获得所述待校正镜头组中的镜头各自拍摄靶纸时的第二图像,其中,所述靶纸还设置有至少两个第二标定点和至少两个第三标定点,至少两个所述第二标定点的连线与至少两个所述第三标定点的连线垂直,且相交于所述第一标定点,所述待校正镜头组中的各镜头拍摄得到第二图像时焦距相同;
针对所述待校正镜头组中的每一镜头对应的第二图像,确定该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点以及至少两个所述第三标定点各自的成像点的位置坐标;
针对所述待校正镜头组中的每一镜头对应的第二图像,基于该第二图像中所述第一标定点的成像点、至少两个所述第二标定点各自的成像点、至少两个所述第三标定点各自的成像点的位置坐标以及预设旋转误差计算公式,计算得到该第二图像对应的镜头的旋转误差;
基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数,其中,所述第四镜头为:所述待校正镜头组中的一镜头,所述第三镜头为:所述待校正镜头组中除所述第四镜头外的镜头。
6.根据权利要求5所述的方法,其特征在于,所述第一标定点为所述靶纸的靶心,至少两个所述第二标定点分别位于所述第一标定点的两侧,且至少两个所述第三标定点分别位于所述第一标定点的两侧。
7.根据权利要求5所述的方法,其特征在于,在所述基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数的步骤之后,所述方法还包括:
获得所述待校正镜头组中的镜头拍摄得到第二图像时的焦距,作为第二焦距;
针对所述待校正镜头组中的每一第三镜头,存储该第三镜头相对于所述第四镜头的旋转校正参数与所述第二焦距之间的对应关系。
8.根据权利要求5所述的方法,其特征在于,当所述第二标定点为两个,且所述第三标定点为两个时;
所述预设旋转误差计算公式为:
Figure FDA0001908891670000031
其中,所述α(N)标识在焦距为N的情况下,第二图像对应的镜头的旋转误差,所述(Dx,Dy)和(Fx,Fy)分别标识所述第二图像中两个所述第二标定点的成像点的位置坐标,所述(Cx,Cy)和(Ex,Ey)分别标识所述第二图像中两个所述第三标定点的成像点的位置坐标,所述(Gx,Gy)标识所述第二图像中所述第一标定点的成像点的位置坐标,N为正数。
9.根据权利要求5所述的方法,其特征在于,所述基于所述待校正镜头组中的每一镜头的旋转误差,计算得到各第三镜头相对于第四镜头的旋转校正参数的步骤,包括:
从所述待校正镜头组中的镜头中选择一镜头作为第四镜头;
针对每一第三镜头,计算该第三镜头的旋转误差与所述第四镜头的旋转误差的差值,作为该第三镜头的旋转差值;
针对每一第三镜头,将计算所得的该第三镜头的旋转差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
10.根据权利要求9所述的方法,其特征在于,在所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数的步骤之前,所述方法还包括:
针对每一第三镜头,基于该第三镜头对应的第二图像的中心点、该第三镜头的旋转差值以及该第三镜头的分辨率,确定该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸;
所述针对每一第三镜头,将计算所得的该第三镜头的差值,确定为该第三镜头相对于所述第四镜头的旋转校正参数的步骤,包括:
针对每一第三镜头,将计算所得的该第三镜头的差值、该第三镜头对应的裁剪位置以及该第三镜头对应的裁剪尺寸,确定为该第三镜头相对于所述第四镜头的旋转校正参数。
CN201811544026.7A 2018-12-17 2018-12-17 一种校正参数获得方法 Active CN111343360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811544026.7A CN111343360B (zh) 2018-12-17 2018-12-17 一种校正参数获得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811544026.7A CN111343360B (zh) 2018-12-17 2018-12-17 一种校正参数获得方法

Publications (2)

Publication Number Publication Date
CN111343360A CN111343360A (zh) 2020-06-26
CN111343360B true CN111343360B (zh) 2022-05-17

Family

ID=71186882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811544026.7A Active CN111343360B (zh) 2018-12-17 2018-12-17 一种校正参数获得方法

Country Status (1)

Country Link
CN (1) CN111343360B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592956B (zh) * 2021-07-30 2023-12-19 武汉精测电子集团股份有限公司 一种基于显微检测机台的多镜头联合标定方法和装置
CN113752260B (zh) * 2021-09-07 2023-12-26 京东方科技集团股份有限公司 一种取料定位修正方法及装置
CN117014733B (zh) * 2023-10-08 2024-04-12 荣耀终端有限公司 拍摄校正方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835159A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于连续变焦距光学成像***的数字图像校正方法
CN106454015A (zh) * 2015-08-04 2017-02-22 宁波舜宇光电信息有限公司 多镜头摄像模组的图像合成方法
TW201800822A (zh) * 2016-06-24 2018-01-01 聚晶半導體股份有限公司 多鏡頭模組的調校方法及其系統

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US20180007345A1 (en) * 2015-01-16 2018-01-04 Imra Europe S.A.S. Self-rectification of stereo camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835159A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于连续变焦距光学成像***的数字图像校正方法
CN106454015A (zh) * 2015-08-04 2017-02-22 宁波舜宇光电信息有限公司 多镜头摄像模组的图像合成方法
TW201800822A (zh) * 2016-06-24 2018-01-01 聚晶半導體股份有限公司 多鏡頭模組的調校方法及其系統

Also Published As

Publication number Publication date
CN111343360A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
US9316840B2 (en) Methods and apparatus for reducing plenoptic camera artifacts
WO2018214365A1 (zh) 图像校正方法、装置、设备、***及摄像设备和显示设备
US9325899B1 (en) Image capturing device and digital zooming method thereof
WO2021208371A1 (zh) 多摄变焦控制方法、装置、电子***及存储介质
US7962033B2 (en) Methods and apparatus for full-resolution light-field capture and rendering
CN109474780B (zh) 一种用于图像处理的方法和装置
US20180213217A1 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
CN111343360B (zh) 一种校正参数获得方法
CN109409147B (zh) 一种条码识别方法和装置
JP2010226157A (ja) カメラおよび画像補正方法
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN110099220B (zh) 一种全景拼接方法及装置
WO2018228466A1 (zh) 对焦区域显示方法、装置及终端设备
CN111445537A (zh) 一种摄像机的标定方法及***
CN109785225B (zh) 一种用于图像矫正的方法和装置
US20070024714A1 (en) Whiteboard camera apparatus and methods
CN109087253B (zh) 一种图像校正方法及装置
CN105472263B (zh) 影像撷取方法及使用此方法的影像撷取设备
CN110136205B (zh) 多目相机的视差校准方法、装置及***
JP2013126135A (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
CN114363522A (zh) 拍照方法及相关装置
JP6283329B2 (ja) 拡張現実対象認識装置
CN111279393A (zh) 相机标定方法、装置、设备及存储介质
JP5964772B2 (ja) レンズ情報登録システム,レンズ情報登録システムに用いられるレンズ情報サーバおよびカメラ本体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant