CN113096192B - 图像传感器内参标定方法、装置、设备及存储介质 - Google Patents

图像传感器内参标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113096192B
CN113096192B CN202110449131.8A CN202110449131A CN113096192B CN 113096192 B CN113096192 B CN 113096192B CN 202110449131 A CN202110449131 A CN 202110449131A CN 113096192 B CN113096192 B CN 113096192B
Authority
CN
China
Prior art keywords
distortion
preset
image
parameter
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110449131.8A
Other languages
English (en)
Other versions
CN113096192A (zh
Inventor
葛君霞
薛宇飞
吴晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Navinfo Information Technology Co ltd
Original Assignee
Xi'an Navinfo Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Navinfo Information Technology Co ltd filed Critical Xi'an Navinfo Information Technology Co ltd
Priority to CN202110449131.8A priority Critical patent/CN113096192B/zh
Publication of CN113096192A publication Critical patent/CN113096192A/zh
Application granted granted Critical
Publication of CN113096192B publication Critical patent/CN113096192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种图像传感器内参标定方法、装置、设备及存储介质，该方法包括：从图像传感器中获取原始图像，所述原始图像为带有畸变的图像；根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示所述矫正后图像的像主点位置；根据所述目标畸变中心坐标确定所述图像传感器的传感器内参。本申请实施例提供的方法能够克服现有技术的图像传感器内参标定方法存在局限性的问题。

Description

图像传感器内参标定方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像传感器内参标定技术领域，尤其涉及一种图像传感器内参标定方法、装置、设备及存储介质。
背景技术
图像传感器的传感器内参的标定在计算机视觉测量领域有着十分重要的地位，其标定速度及精度直接决定测量的速度及精度。
图像传感器的传感器以摄像机为例，目前，摄像机内参标定一般采用张正友内参标定方法，即绘制一个具有精确定位点阵的模板，然后模板和摄像机作任意的相互运动，获得最少3个不同方位的模板图像，通过确定图像和模板上的点的匹配，计算出图像和模板之间的单应性矩阵，并利用该单应性矩阵线性解出摄像机内参。
但是，上述张正友内参标定方法只能针对有条件拍射特定模板的摄像机，若无拍摄特定模板图像的条件，通过张正友内参标定方法将无法实现。因此，现有技术的传感器内参标定方法存在局限性，进而无法实现针对不同摄像机、不同拍摄环境下的内参标定。
发明内容
本申请实施例提供一种图像传感器内参标定方法、装置、设备及存储介质，以克服现有技术的图像传感器的传感器内参标定方法存在局限性的问题。
第一方面，本申请实施例提供一种图像传感器内参标定方法，包括：
从图像传感器中获取原始图像，所述原始图像为带有畸变的图像；
根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示所述矫正后图像的像主点位置；
根据所述目标畸变中心坐标确定所述图像传感器的传感器内参。
第二方面，本申请实施例提供一种图像传感器内参标定装置，包括：
获取模块，用于从图像传感器中获取原始图像，所述原始图像为带有畸变的图像；
畸变矫正模块，用于根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示所述矫正后图像的像主点位置；
内参确定模块，用于根据所述目标畸变中心坐标确定所述图像传感器的传感器内参。
第三方面，本申请实施例提供一种图像传感器内参标定设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的图像传感器内参标定方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的图像传感器内参标定方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的图像传感器内参标定方法。
本实施例提供的图像传感器内参标定图像传感器内参标定方法、装置、设备及存储介质，首先从图像传感器中获取原始图像，这里的原始图像为带有畸变的图像；然后根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示所述矫正后图像的像主点位置；再根据所述目标畸变中心坐标确定所述图像传感器的传感器内参，因此，通过对原始图像去畸变，确定目标畸变中心坐标，然后利用目标畸变中心坐标，实现图像传感器的传感器内参的标定，无需限制拍摄环境、图像传感器(比如摄像机)等因素，即可实现图像传感器的传感器内参的标定，解决了现有技术中图像传感器的传感器内参标定方法具有局限性的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像传感器内参标定方法的流程示意图；
图2A为本申请实施例提供的图像传感器内参标定方法的场景示意图；
图2B为本申请再一实施例提供的图像传感器内参标定方法的场景示意图；
图2C为本申请另一实施例提供的图像传感器内参标定方法的场景示意图；
图2D为本申请又一实施例提供的图像传感器内参标定方法的场景示意图；
图3为本申请实施例提供的正常图像和径向畸变图像的示意图；
图4为本申请又一实施例提供的图像传感器内参标定方法的流程示意图；
图5为本申请实施例提供的图像传感器内参标定装置的结构示意图；
图6为本申请实施例提供的图像传感器内参标定设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图像传感器以摄像机为例，目前，摄像机内参标定一般采用张正友内参标定方法，即绘制一个具有精确定位点阵的模板，然后模板和摄像机作任意的相互运动，获得最少3个不同方位的模板图像，通过确定图像和模板上的点的匹配，计算出图像和模板之间的单应性矩阵，并利用该单应性矩阵线性解出摄像机内参。但是，上述张正友内参标定方法只能针对有条件拍射特定模板的摄像机，若无拍摄特定模板图像的条件，通过张正友内参标定方法将无法实现。因此，现有技术的图像传感器内参标定方法存在局限性，进而无法实现针对不同摄像机、不同拍摄环境下的内参标定。
因此，针对上述问题，本申请的技术构思是由于受摄像机镜头制造精度的影响，计算机视觉***拍摄的图像会出现不同程度的畸变，因此首先选取的原始图像是带畸变的图像，通过对原始图像不断地进行畸变矫正，确定原始图像得到有效矫正，然后获取畸变矫正过程中得到的畸变中心坐标，然后利用畸变中心坐标，求解图像传感器的传感器内参，无需限制拍摄环境、图像传感器(比如摄像机)等因素，即可实现图像传感器内参的标定，解决了现有技术中图像传感器内参标定方法具有局限性的问题。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请实施例提供的图像传感器内参标定方法的流程示意图，该方法可以包括：
S101、从图像传感器中获取原始图像，所述原始图像为带有畸变的图像。
其中，该图像传感器包括但不限于：相机、摄像机、行车记录仪等等可通过视觉捕捉或感知事物像的设备。下述以摄像机为例，摄像机拍摄的是视频，可以从视频中选取一帧带有畸变的图像作为需要纠正的原始图像。
本实施例中，执行主体可以是图像传感器内参标定装置，比如服务器。服务器对输入的原始图像进行畸变矫正处理，基于处理后的参数确定摄像机内参。在实际应用中，该图像传感器内参标定方法对摄相机没有特殊要求，普通相机或行车记录仪均可适用。为了保证摄像机内参标定的精度，原始图像选取可以满足以下要求：图像内有直线线条元素(边缘四周尽量都有直线线条)，且有可以获取到图像点与对应三维物点坐标的要素。比如，可以选取一个龙门架场景图像(参见图2A所示)，一方面龙门架横纵线条丰富，另一方面，可轻松找到标牌角点对应的三维坐标点(有原始地图制作数据)。需要说明的是，龙门架场景图像的选取仅仅是示例性的，本申请对场景图像的选取不做具体限定。
S102、根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标。其中，所述目标畸变中心坐标用于表示矫正后图像的像主点位置。这里矫正后图像是对原始图像进行畸变矫正得到的。
其中，畸变是指光学***对物体所成的像相对于物体本身而言的失真程度。受摄像机镜头制造精度的影响，计算机视觉***拍摄的图像会出现不同程度的畸变，这种畸变可以分为径向畸变和切向畸变两种。由于切向畸变远远小于径向畸变，对一般精度要求不高的场合，只考虑径向畸变即可，因此，本实施例只考虑径向畸变。其中，径向畸变是指正中心位置的畸变最小，随着半径的增大，畸变增大。径向畸变可以分为枕形畸变和桶形畸变，参见图3所示，图3为本申请实施例提供的正常图像和径向畸变图像的示意图。
本实施例中，首先对原始图像进行边缘检测，然后基于边缘检测结果进行直线提取，进而计算目标畸变参数以及目标畸变中心(坐标)，实现原始图像的畸变矫正，得到矫正后图像。
S103、根据所述目标畸变中心坐标确定所述图像传感器的传感器内参。
具体地，可以通过以下步骤实现：
步骤a1、根据获取到的目标畸变参数和所述目标畸变中心坐标，对所述原始图像进行畸变校正，得到矫正后图像。
本实施例中，得到矫正后图像的具体实施方式可以参见下述步骤b4，在此不再赘述。
步骤a2、获取所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标。
本实施例中，以龙门架场景图像为例，可以根据矫正后图像的拍摄点坐标对应找到地图中的相应位置，选取龙门架中牌子的每个角点像素坐标，与三维世界坐标建立一一对应关系，此时就得到了图像与三维世界的对应点对即矫正后图像的图像点的坐标和图像点对应的三维物点的坐标，其中，图像点的坐标为图像坐标系下的二维坐标点，三维物点的坐标为世界坐标系下的三维坐标点。
步骤a3、根据所述目标畸变中心坐标、所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标，通过直接线性变换算法，确定所述图像传感器的传感器内参。
本实施例中，通过畸变矫正，得到了畸变参数(即目标畸变参数)和畸变中心(即目标畸变中心)，畸变中心可以作为内参中的光学中心，相机内参中还需要求取x、y方向的焦距fx、fy。要求取焦距，可以通过获取到的图像上二维像素点对应物点在世界坐标中的三维坐标确定。
具体地，已知图像点(即二维图像点)与三维物点的坐标点对，以及畸变中心(即目标畸变中心坐标)。三维世界坐标下的点(即三维物点)，经过相机成像***，变成二维图像中像素点(即图像点)，可以通过下述步骤得到摄像机内参：
三维物点在世界坐标系下的齐次坐标记为：
二维投影点在图像坐标系下的齐次坐标记为：
相机的内参数(即摄像机内参)为：
其中，fx、fy表示摄像机内参中的摄像机焦点；cx、cy表示摄像机内参中的目标畸变中心坐标。
则三维点到二维点投影可表示为：
其中[R|t]表示相机外参，表示从世界坐标系到相机坐标系的转换矩阵，R表示外参的旋转矩阵，t表示外参的平移矩阵。
根据直接线性变换算法(Direct Linear Transformation，DLT)，通过获取大于等于6对的三维点和二维点对，即可解算出内参k和外参R、t，此时解算的内参矩阵中的光心并不一定等于畸变中心。因此，可以将内参中的光心替换为畸变中心后，采用非线性最小二乘方式做了进一步优化迭代，得出最终准确的内参矩阵。其中，还可以采用PNP求取内参。
具体地，根据三维物点世界坐标系下的坐标根据公式(4)可解算出投影到图像后的二维像素点，通过优化相机内外参数使得估计二维像素点与观测二维像素点无限逼近，待两点距离差小于阈值时，迭代结束，该结果即为最终的内参结果。
本实施例提供的图像传感器内参标定方法，通过从图像传感器中获取原始图像，这里的原始图像为带有畸变的图像；然后根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示所述矫正后图像的像主点位置；再根据所述目标畸变中心坐标确定所述图像传感器的传感器内参，因此，通过对原始图像去畸变，确定目标畸变中心坐标，然后利用目标畸变中心坐标，实现图像传感器的传感器内参的标定，无需限制拍摄环境、图像传感器(比如摄像机)等因素，即可实现图像传感器的传感器内参的标定，解决了现有技术中图像传感器的传感器内参标定方法具有局限性的问题。
在一种可能的设计中，在上述实施例的基础上，对如何畸变矫正进行了详细说明。其中，所述原始图像内含有直线线条元素；所述对所述原始图像进行畸变矫正，得到矫正后图像以及目标畸变中心坐标，可以通过以下步骤实现：
步骤b1、通过边缘检测，提取所述原始图像中畸变的边缘线。
本实施例中，边缘检测采用Canny边缘检测算法实现，目的是通过检测出来的边缘用于下一步的直线提取。其实现基本流程为：1)使用高斯滤波器，以平滑图像，滤除噪声；2)计算图像中每个像素点的梯度强度和方向；3)应用非极大值抑制，以消除边缘检测带来的杂散响应；4)应用双阈值检测来确定真实的和潜在的边缘；5)通过抑制孤立的弱边缘最终完成边缘检测，参见图2B所示。
步骤b2、根据预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过径向畸变模型，对所述畸变的边缘线中的每个边缘点进行畸变矫正，得到畸变矫正后的直线。
本实施例中，若畸变得到有效矫正，则三维空间中的直线投影到图像平面内还应该是直线，但在畸变存在的情况下三维空间中的直线投影在图像平面内就会出现弯曲现象，畸变越大直线越弯曲，即曲率越大。利用该特点，通过找到图像中是直线投影过来的曲线，即可通过将曲线还原为直线的原理求出畸变参数。
具体地，利用径向畸变模型，对带畸变的像素点进行矫正。其中，径向畸变的通用数学模型表达式如公式(5)所示：
其中，(cx,cy)表示畸变中心点像素坐标，(x,y)表示无畸变的像素坐标点，是带畸变的相应坐标点，r＝||(x,y)-(cx,cy)||表示点(x,y)到点(cx,cy)的距离，L(r)表示畸变模型。对于普通相机我们考虑两参数的畸变模型即可，两参数的L(r)表达式如公式(6)所示。
L(r)＝1+k1r2+k2r4 (6)
通过确定了畸变参数k1(即第一畸变参数)、k2(即第二畸变参数)以及畸变中心(cx,cy)即可实现对图像的畸变矫正。
在一种可能的设计中，参见图4所示，图4为本申请又一实施例提供的图像传感器内参标定方法的流程示意图，本实施例在上述实施例的基础上，对如何得到畸变矫正后的直线进行了详细说明，可以通过以下步骤实现：
步骤c1、获取所述畸变的边缘线中的每个边缘点的坐标。
步骤c2、根据所述畸变的边缘线中的每个边缘点的坐标、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过对所述预设的第一畸变参数的步长累加，计算经过畸变矫正的边缘点投票到最相似直线对应的最大得分，所述最大得分对应的畸变参数为更新后的第一畸变参数。
步骤c3、根据所述更新后的第一畸变参数、所述预设的第二畸变参数以及与所述更新后的第一畸变参数对应的新的畸变中心坐标，通过径向畸变模型，对每个所述边缘点进行畸变矫正，得到目标直线方程，所述目标直线方程用于表示畸变矫正后的直线。
其中，计算经过畸变矫正的边缘点投票到最相似直线对应的最大得分是一个不断循环迭代的过程，可以通过以下步骤实现：
步骤d1、判断所述预设的第一畸变参数是否大于阈值，若大于，则重复以下步骤，直至确定每个所述经过畸变矫正的边缘点投票到最相似直线对应的最大得分：
步骤d2、根据所述畸变的边缘线中的每个边缘点的坐标、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过径向畸变模型，对每个所述边缘点进行畸变校正，得到每个经过畸变矫正的边缘点。
步骤d3、通过霍夫变换，计算每个所述经过畸变矫正的边缘点投票到最相似直线对应的投票结果，投票结果之和为本次迭代中每个所述经过畸变矫正的边缘点投票到最相似直线对应的得分，所述得分用于表示提取的最相似直线的线条长度及经过畸变矫正的边缘点到最相似直线的贴近程度。
具体地，通过霍夫变换，确定每个所述经过畸变矫正的边缘点对应的最相似直线；计算每个所述经过畸变矫正的边缘点投票到所述最相似直线对应的投票结果。
步骤d4、将所述预设的第一畸变参数按照预设步长累加，得到累加后的畸变参数，并将所述累加后的畸变参数作为所述预设的第一畸变参数。
本实施例中，图像边缘检测完毕之后，就需要进行图像中直线提取。传统霍夫变换可以提取出没有畸变的图像中的直线线条，但有畸变的图像中直线会呈现弯曲现象，不再是一条直线，直接利用霍夫变换会导致一根畸变的直线被辨识为多根。为了提取畸变后的直线，可以采用一种改进的霍夫变换，即将畸变参数作为霍夫变换的一个参数参与直线检测，本次用于直线检测仅考虑畸变参数k1。
其中，实现方式为：畸变中心设定为图像像主点，畸变参数k1初值设定为0，并以一定步进递增，用每次的畸变参数矫正每一个边缘检测点，矫正后的边缘点再利用普通霍夫变换原则进行投票，所有投票结果相加，作为本次迭代的得分，该得分用于反映提取的直线线条长度及点到直线的贴近程度，得分越高直线线条越长，点到直线距离越短，去畸变效果越好。
具体地，在计算k1的过程中，k2默认为0。在边缘检测结果的基础上，首先判断k1是否小于阈值(第一轮迭代将k1初值设定为0即预设的第一畸变参数初始为0)，若是，则基于k1＝0，结合k2＝0以及预设的畸变中心坐标(即原始图像或边缘化后的图像的像主点所在位置)，通过径向畸变模型，对每个边缘点畸变矫正，然后每个点投票到最相似直线，计算得分，然后将k1按照预设的步长累加作为k1即k1＝k1+预设的步长；然后继续判断判断k1是否小于阈值，若是，则基于k1＝0+预设的步长，结合k2＝0以及预设的畸变中心坐标，通过径向畸变模型，对每个边缘点畸变矫正，然后每个点投票到最相似直线，计算得分，以此类推，直到获取最大得分，并将得到最大得分的迭代中对应的k1作为直线提取过程中得到的第一畸变参数，然后基于该第一畸变参数重新对边缘点畸变矫正，重现计算直线方程，并且通过合并相似直线，过滤短小直线，得到直线检测结果，效果图可以参见图2C所示。
步骤b3、根据所述畸变矫正后的直线、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，确定目标畸变中心坐标。
在一种可能的设计中，如何确定目标畸变参数以及目标畸变中心坐标可以通过以下步骤实现：
根据所述畸变矫正后的直线、所述预设的第二畸变参数、所述预设的第一畸变参数对应的更新后的第一畸变参数以及预设的畸变中心坐标，通过径向畸变模型以及能量函数，计算得到图像传感器内参中的目标畸变参数和目标畸变中心坐标。
其中，所述能量函数用于表示矫正后的边缘点到对应直线的距离和，所述目标畸变参数包括第一目标畸变参数和第二目标畸变参数。
具体地，可以通过以下步骤实现：
步骤e1、根据所述更新后的第一畸变参数、预设的第二畸变参数以及与所述新的畸变中心坐标，通过所述径向畸变模型，对所述原始图像中的边缘点进行畸变矫正，得到所述矫正后的边缘点；
步骤e2、根据所述畸变矫正后的直线和所述矫正后的边缘点，通过所述能量函数，确定矫正后的边缘点到对应的所述畸变矫正后的直线的距离和最小值，所述距离和最小值对应的第二畸变参数为第二目标畸变参数，所述距离和最小值对应的畸变中心坐标为目标畸变中心坐标。
本实施例中，在直线提取的过程中，已经获得了畸变参数k1的初值，畸变中心的初值也设定为了图像像主点，接下来需要使用上述公式(5)和(6)的畸变模型，来迭代优化畸变参数k1、k2和畸变中心点cx、cy，其中k2初值设定为0。
优化迭代的目的是找到最优的畸变参数k1、k2和畸变中心点cx、cy，使得矫正后点到对应直线的距离和最小。将(k1,k2,cx,cy)作为一组数据，用a代替，则最优化的过程可以表示为能量最小化的过程，其中能量函数表示矫正后点到对应直线的距离和，用公式(7)表示为：
其中，E(a)表示参数设定为a时的能量值，NL表示直线数量，N(i)表示第i条线的点数，dis(pj，Li)表示畸变矫正后直线上第j个点pj到直线i的距离。
迭代参数a使得能量E(a)达到最优，即结束迭代，则畸变参数k1、k2和畸变中心点cx、cy可得。
步骤b4、根据所述目标畸变参数和目标畸变中心坐标，对所述原始图像进行畸变校正，得到矫正后图像。
本实施例中，从无畸变的像素位置变换到畸变的位置这一正向过程比较简单，直接套用公式(5)就可以得到。从畸变的像素位置得到去畸变后的像素位置是比较复杂的，这是一个逆向的过程，由于函数关系是单调的，可以采用常用的迭代法完成图像的去畸变，其中，去畸变效果如图2D所示。
因此，本申请采用了一种根据直线曲率确定畸变参数的方式，而非传统的标定板方式确定畸变；其中，带畸变图像中直线提取，采用了一种改进的霍夫变换，该算法将畸变参数作为霍夫变换的一个参数参与运算，通过检测直线的过程确定畸变参数k1，且适用于普通环境下摄像机内参标定，只要图像中含有较丰富的直线线条，即可完成图像畸变矫正，图像中再有一张可以获取到二维到三维坐标点的对应点对(大于等于6对)，即可完成相机标定，无需限制拍摄环境、摄像机等因素，即可实现摄像机内参(即图像传感器内参)的标定，解决了现有技术中图像传感器内参标定方法具有局限性的问题。
为了实现所述图像传感器内参标定方法，本实施例提供了一种图像传感器内参标定装置。参见图5，图5为本申请实施例提供的图像传感器内参标定装置的结构示意图；所述图像传感器内参标定装置50，包括：获取模块501、畸变矫正模块502以及内参确定模块503；获取模块501，用于从图像传感器中获取原始图像，所述原始图像为带有畸变的图像；畸变矫正模块502，用于根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示所述矫正后图像的像主点位置；内参确定模块503，用于根据所述目标畸变中心坐标确定所述图像传感器的传感器内参。
本实施例中，通过设置获取模块501、畸变矫正模块502以及内参确定模块503，用于获取带有畸变的原始图像，然后对该原始图像进行畸变矫正，得到矫正后图像以及矫正后图像对应的目标畸变中心坐标，其中，该目标畸变中心坐标表示该矫正后图像的像主点位置；再通过获取所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标，根据所述目标畸变中心坐标、所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标，通过直接线性变换算法，确定摄像机内参，因此，通过对原始图像去畸变，确定目标畸变中心坐标，然后针对矫正后图像对应的物点与像点同名点结合目标畸变中心坐标，利用直接线性变换算法，实现摄像机内参的标定，无需限制拍摄环境、摄像机等因素，即可实现摄像机内参的标定，解决了现有技术中图像传感器内参标定方法具有局限性的问题。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
在一种可能的设计中，内参确定模块503包括矫正后图像确定单元、位置获取单元、内参确定单元；矫正后图像确定单元，用于根据获取到的目标畸变参数和所述目标畸变中心坐标，对所述原始图像进行畸变校正，得到矫正后图像；位置获取单元，用于获取所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标；内参确定单元，用于根据所述目标畸变中心坐标、所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标，通过直接线性变换算法，确定所述图像传感器的传感器内参。
在一种可能的设计中，所述原始图像内含有直线线条元素，所述预设的畸变参数包括预设的第一畸变参数、预设的第二畸变参数；所述畸变矫正模块502，包括：边缘线提取单元、第一矫正单元以及第二矫正单元；边缘线提取单元，用于通过边缘检测，提取所述原始图像中畸变的边缘线；第一矫正单元，用于根据预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过径向畸变模型，对所述畸变的边缘线中的每个边缘点进行畸变矫正，得到畸变矫正后的直线；第二矫正单元，用于根据所述畸变矫正后的直线、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，确定目标畸变中心坐标。
在一种可能的设计中，所述第一矫正单元，具体用于：获取所述畸变的边缘线中的每个边缘点的坐标；根据所述畸变的边缘线中的每个边缘点的坐标、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过对所述预设的第一畸变参数的步长累加，计算经过畸变矫正的边缘点投票到最相似直线对应的最大得分，所述最大得分对应的畸变参数为更新后的第一畸变参数；根据所述更新后的第一畸变参数、所述预设的第二畸变参数以及与所述更新后的第一畸变参数对应的新的畸变中心坐标，通过径向畸变模型，对每个所述边缘点进行畸变矫正，得到目标直线方程，所述目标直线方程用于表示畸变矫正后的直线。
在一种可能的设计中，所述第一矫正单元，具体用于：判断所述预设的第一畸变参数是否大于阈值，若大于，则重复以下步骤，直至确定每个所述经过畸变矫正的边缘点投票到最相似直线对应的最大得分：根据所述畸变的边缘线中的每个边缘点的坐标、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过径向畸变模型，对每个所述边缘点进行畸变校正，得到每个经过畸变矫正的边缘点；通过霍夫变换，计算每个所述经过畸变矫正的边缘点投票到最相似直线对应的投票结果，投票结果之和为本次迭代中每个所述经过畸变矫正的边缘点投票到最相似直线对应的得分，所述得分用于表示提取的最相似直线的线条长度及经过畸变矫正的边缘点到最相似直线的贴近程度；将所述预设的第一畸变参数按照预设步长累加，得到累加后的畸变参数，并将所述累加后的畸变参数作为所述预设的第一畸变参数。
在一种可能的设计中，所述第一矫正单元，具体用于：通过霍夫变换，确定每个所述经过畸变矫正的边缘点对应的最相似直线；计算每个所述经过畸变矫正的边缘点投票到所述最相似直线对应的投票结果。
在一种可能的设计中，所述第二矫正单元包括矫正子单元；矫正子单元，用于根据所述畸变矫正后的直线、所述预设的第二畸变参数、所述预设的第一畸变参数对应的更新后的第一畸变参数以及预设的畸变中心坐标，通过径向畸变模型以及能量函数，计算得到图像传感器内参中的目标畸变参数和目标畸变中心坐标；其中，所述能量函数用于表示矫正后的边缘点到对应直线的距离和，所述目标畸变参数包括第一目标畸变参数和第二目标畸变参数。
在一种可能的设计中，所述矫正子单元，具体用于：根据所述更新后的第一畸变参数、预设的第二畸变参数以及与所述新的畸变中心坐标，通过所述径向畸变模型，对所述原始图像中的边缘点进行畸变矫正，得到所述矫正后的边缘点；根据所述畸变矫正后的直线和所述矫正后的边缘点，通过所述能量函数，确定矫正后的边缘点到对应的所述畸变矫正后的直线的距离和最小值，所述距离和最小值对应的第二畸变参数为第二目标畸变参数，所述距离和最小值对应的畸变中心坐标为目标畸变中心坐标。
为了实现所述图像传感器内参标定方法，本实施例提供了一种图像传感器内参标定设备。图6为本申请实施例提供的图像传感器内参标定设备的结构示意图。如图6所示，本实施例的图像传感器内参标定设备60包括：处理器601以及存储器602；其中，存储器602，用于存储计算机执行指令；处理器601，用于执行存储器存储的计算机执行指令，以实现上述实施例中所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像传感器内参标定方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的图像传感器内参标定方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(PeripheralComponent，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种图像传感器内参标定方法，其特征在于，包括：
从图像传感器中获取原始图像，所述原始图像为带有畸变的图像；
根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示矫正后图像的像主点位置；
根据所述目标畸变中心坐标确定所述图像传感器的传感器内参；
所述根据所述目标畸变中心坐标确定所述图像传感器的传感器内参包括：
根据获取到的目标畸变参数和所述目标畸变中心坐标，对所述原始图像进行畸变校正，得到矫正后图像；
获取所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标；
根据所述目标畸变中心坐标、所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标，通过直接线性变换算法，确定所述图像传感器的传感器内参。
2.根据权利要求1所述的方法，其特征在于，所述原始图像内含有直线线条元素，所述预设的畸变参数包括预设的第一畸变参数、预设的第二畸变参数；
所述根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标，包括：
通过边缘检测，提取所述原始图像中畸变的边缘线；
根据预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过径向畸变模型，对所述畸变的边缘线中的每个边缘点进行畸变矫正，得到畸变矫正后的直线；
根据所述畸变矫正后的直线、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，确定目标畸变中心坐标。
3.根据权利要求2所述的方法，其特征在于，所述根据预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过径向畸变模型，对所述畸变的边缘线中的每个边缘点进行畸变矫正，得到畸变矫正后的直线，包括：
获取所述畸变的边缘线中的每个边缘点的坐标；
根据所述畸变的边缘线中的每个边缘点的坐标、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过对所述预设的第一畸变参数的步长累加，计算经过畸变矫正的边缘点投票到最相似直线对应的最大得分，所述最大得分对应的畸变参数为更新后的第一畸变参数；
根据所述更新后的第一畸变参数、所述预设的第二畸变参数以及与所述更新后的第一畸变参数对应的新的畸变中心坐标，通过径向畸变模型，对每个所述边缘点进行畸变矫正，得到目标直线方程，所述目标直线方程用于表示畸变矫正后的直线。
4.根据权利要求3所述的方法，其特征在于，所述根据所述畸变的边缘线中的每个边缘点的坐标、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过对所述预设的第一畸变参数的步长累加，计算经过畸变矫正的边缘点投票到最相似直线对应的最大得分，包括：
判断所述预设的第一畸变参数是否大于阈值，若大于，则重复以下步骤，直至确定每个所述经过畸变矫正的边缘点投票到最相似直线对应的最大得分：
根据所述畸变的边缘线中的每个边缘点的坐标、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，通过径向畸变模型，对每个所述边缘点进行畸变校正，得到每个经过畸变矫正的边缘点；
通过霍夫变换，计算每个所述经过畸变矫正的边缘点投票到最相似直线对应的投票结果，投票结果之和为本次迭代中每个所述经过畸变矫正的边缘点投票到最相似直线对应的得分，所述得分用于表示提取的最相似直线的线条长度及经过畸变矫正的边缘点到最相似直线的贴近程度；
将所述预设的第一畸变参数按照预设步长累加，得到累加后的畸变参数，并将所述累加后的畸变参数作为所述预设的第一畸变参数。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述畸变矫正后的直线、所述预设的第一畸变参数、预设的第二畸变参数以及预设的畸变中心坐标，确定目标畸变中心坐标，包括：
根据所述畸变矫正后的直线、所述预设的第二畸变参数、所述预设的第一畸变参数对应的更新后的第一畸变参数以及预设的畸变中心坐标，通过径向畸变模型以及能量函数，计算得到目标畸变参数和目标畸变中心坐标；
其中，所述能量函数用于表示矫正后的边缘点到对应直线的距离和，所述目标畸变参数包括第一目标畸变参数和第二目标畸变参数。
6.一种图像传感器内参标定装置，其特征在于，包括：
获取模块，用于从图像传感器中获取原始图像，所述原始图像为带有畸变的图像；
畸变矫正模块，用于根据预设的畸变参数以及预设的畸变中心坐标，通过径向畸变模型对所述原始图像进行畸变矫正，确定目标畸变中心坐标；其中，所述目标畸变中心坐标用于表示矫正后图像的像主点位置；
内参确定模块，用于根据所述目标畸变中心坐标确定所述图像传感器的传感器内参；
所述内参确定模块，具体用于：
根据获取到的目标畸变参数和所述目标畸变中心坐标，对所述原始图像进行畸变校正，得到矫正后图像；
获取所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标；
根据所述目标畸变中心坐标、所述矫正后图像的图像点的坐标和所述图像点对应的三维物点的坐标，通过直接线性变换算法，确定所述图像传感器的传感器内参。
7.一种图像传感器内参标定设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5任一项所述的图像传感器内参标定方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的图像传感器内参标定方法。
9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任一项所述的图像传感器内参标定方法。
CN202110449131.8A 2021-04-25 2021-04-25 图像传感器内参标定方法、装置、设备及存储介质 Active CN113096192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110449131.8A CN113096192B (zh) 2021-04-25 2021-04-25 图像传感器内参标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110449131.8A CN113096192B (zh) 2021-04-25 2021-04-25 图像传感器内参标定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113096192A CN113096192A (zh) 2021-07-09
CN113096192B true CN113096192B (zh) 2024-05-07

Family

ID=76679937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110449131.8A Active CN113096192B (zh) 2021-04-25 2021-04-25 图像传感器内参标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113096192B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570518B (zh) * 2021-07-22 2023-11-14 上海明略人工智能(集团)有限公司 一种图像矫正方法、***、计算机设备和存储介质
CN113435412B (zh) * 2021-07-26 2022-09-20 张晓寒 一种基于语义分割的水泥布料区域检测方法
CN114302121B (zh) * 2021-12-28 2024-07-23 深圳市火乐科技发展有限公司 图像校正检验方法、装置、电子设备及存储介质
CN117111046B (zh) * 2023-10-25 2024-01-12 深圳市安思疆科技有限公司 畸变矫正方法、***、设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种实用的平板高精度摄像机标定方法;范勇;周敬滨;王传珂;董建军;;计算机测量与控制(01);全文 *

Also Published As

Publication number Publication date
CN113096192A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113096192B (zh) 图像传感器内参标定方法、装置、设备及存储介质
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及***
CN109064428B (zh) 一种图像去噪处理方法、终端设备及计算机可读存储介质
Jeon et al. Accurate depth map estimation from a lenslet light field camera
CN110969668A (zh) 一种长焦双目相机的立体标定算法
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN108182708B (zh) 一种双目相机的标定方法、标定装置及终端设备
CN110619660A (zh) 一种物体定位方法、装置、计算机可读存储介质及机器人
CN112750168A (zh) 事件相机内参的标定方法、装置、计算机设备和存储介质
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN114549652A (zh) 一种相机标定方法、装置、设备及计算机可读介质
CN111951335A (zh) 确定相机标定参数的方法、装置、处理器和图像采集***
CN110136048B (zh) 一种图像配准方法及***、存储介质及终端
CN115205383A (zh) 相机位姿的确定方法、装置、电子设备及存储介质
CN111161348A (zh) 一种基于单目相机的物***姿估计方法、装置及设备
CN113627210A (zh) 条形码图像的生成方法、装置、电子设备及存储介质
CN107256563B (zh) 基于差异液位图像序列的水下三维重建***及其方法
CN116402903A (zh) 一种相机外参标定方法、装置、设备、介质及程序产品
CN115661258A (zh) 标定方法及装置、畸变校正方法及装置、存储介质、终端
CN113497886B (zh) 视频处理方法、终端设备及计算机可读存储介质
CN112233185B (zh) 相机标定方法、图像配准方法及摄像器件、存储装置
CN113920196A (zh) 视觉定位方法、装置及计算机设备
KR20220144456A (ko) Svm 원 영상을 기반으로 근접 주행 환경을 인식하는 방법 및 시스템
CN113838075A (zh) 单目测距方法、装置及计算机可读存储介质
Hughes et al. Validation of polynomial-based equidistance fish-eye models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant