CN113935905A - 畸变指数确定方法、装置、设备及存储介质 - Google Patents

畸变指数确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113935905A
CN113935905A CN202111021730.6A CN202111021730A CN113935905A CN 113935905 A CN113935905 A CN 113935905A CN 202111021730 A CN202111021730 A CN 202111021730A CN 113935905 A CN113935905 A CN 113935905A
Authority
CN
China
Prior art keywords
distortion
key points
color
color block
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111021730.6A
Other languages
English (en)
Inventor
董波
季良元
石景怡
丁悦
姜宇航
顾礼将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xurui Software Technology Co ltd
Original Assignee
Nanjing Xurui Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xurui Software Technology Co ltd filed Critical Nanjing Xurui Software Technology Co ltd
Priority to CN202111021730.6A priority Critical patent/CN113935905A/zh
Publication of CN113935905A publication Critical patent/CN113935905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种畸变指数确定方法、装置、设备及可读存储介质。所述方法包括：基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像；对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征；根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点；基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数；基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数。本申请实施例可以提高鱼眼相机畸变预测的精度和效率。

Description

畸变指数确定方法、装置、设备及存储介质
技术领域
本申请实施例涉及相机畸变测试技术领域，特别涉及一种畸变指数确定方法、装置、设备及存储介质。
背景技术
智能物联网行业的视觉技术迅速发展，依托于宽视场角的镜头、相机，环视监控、视觉设备可以达到高信息量、低硬件投入的目的。
虽然宽视角镜头能够帮助拓展视场，但是径向畸变带来的物体扭曲、变形问题也比较明显，这使得智能识别算法(人脸识别、跟踪、车牌检测等)适配能力大大降低。这种情况对于鱼眼镜头尤为严重。
鱼眼镜头的拍摄视角多在180°左右，甚至超过180°。当前典型的产品大多用于环视拍摄、特殊视频拍摄。考虑宽视角与几何畸变的平衡，就需要对镜头几何畸变状态做评估，同时基于畸变状态来做校正。
目前的畸变测试方式通常是拍摄几何畸变图像(以网格图为例)，使图像尽可能填充完整视角，利用图像分割，将图像基本内容(网格线)做自动提取，然后针对提取的目标做特征降维(网格线交点坐标)，基于网格线坐标进行径向高次曲线拟合，比如3阶、5阶等，然后基于拟合曲线系数作为评估指标。
然而，上述畸变测试方式会存在图像内容提取精度不足，引起评估模型的交点坐标计算误差，导致畸变评测精度较低，且180°的视场角会存在无穷远点，可能会导致高阶曲线拟合失败，导致无法评测畸变程度。
发明内容
本申请实施例提供了一种相机畸变确定方法、装置、设备及存储介质，可用于提高鱼眼相机畸变测试的精度和效率。技术方案如下：
一方面，本申请实施例提供一种畸变指数确定方法，所述方法包括：
基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像；所述测试箱体为正方体结构，所述测试箱体的第一侧面预留有图像采集孔，所述测试箱体的除所述第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，所述两种颜色包括白色和除白色外的其它颜色，且所述测试箱体正对的两个内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)，所述畸变测试图像为包括所述五个内表面上的其它颜色的图像；
对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征；
根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点；
基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数；
基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数。
另一方面，本申请实施例提供一种畸变指数确定装置，所述装置包括：
畸变测试图像获取模块，用于基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像；所述测试箱体为正方体结构，所述测试箱体的第一侧面预留有图像采集孔，所述测试箱体的除所述第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，所述两种颜色包括白色和除白色外的其它颜色，且所述测试箱体正对的两个内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)，所述畸变测试图像为包括所述五个内表面上的其它颜色的图像；
色块信息特征获取模块，用于对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征；
排序关键点获取模块，用于根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点；
色块畸变指数获取模块，用于基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数；
目标畸变指数确定模块，用于基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数。
再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的方法。
又一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述方面所述的方法。
本申请实施例提供的技术方案中，通过提供特殊的测试箱体，以消除边界无穷远点的特征提取精度低甚至特征提取失败导致评测精度低的问题，可以提高畸变评测的精度。而且，采用本实施例提供的方案，仅需拍摄一幅图像即可完成畸变评测过程，评测效率较高。
附图说明
图1是本申请实施例提供的一种畸变指数确定方法的步骤流程图；
图2是本申请实施例提供的一种测试箱体的示意图；
图3是本申请实施例提供的一种测试箱体展开面的示意图；
图4是本申请实施例提供的一种测试箱体内表面成像的示意图；
图5是本申请实施例提供的一种畸变测试图像的示意图；
图6是本申请实施例提供的一种畸变指数确定装置的结构示意图；
图7是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请实施方式作进一步地详细描述。
参照图1，示出了本申请实施例提供的一种畸变指数确定方法的步骤流程图，如图1所示，该畸变指数确定方法可以包括以下步骤：
步骤101：基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像。
本申请实施例可以应用于对鱼眼相机的几何畸变程度进行测试的场景中。
本实施例提供了一种专用的测试箱体，该测试箱体可以结合图2和3进行如下详细描述。
参照图2，示出了本申请实施例提供的一种测试箱体的示意图，如图2所示，该测试箱体为正方体结构，测试箱体的长宽高参数可以鱼眼相机焦平面距离为准，例如，鱼眼相机的焦平面为0.5m，则该测试箱体的长宽高为0.5m等。在测试箱体的一个侧面(即第一侧面)预留有图像采集孔，该图像采集孔可以用于鱼眼相机对箱体内表面进行图像采集。
参照图3，示出了本申请实施例提供的一种测试箱体展开面的示意图，如图3所示，测试箱体上除第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，两种颜色包括白色和除白色外的其它颜色，且测试箱体正对的内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)。每个内表面的成像图像可以如图4所示。
畸变测试图像为包括五个内表面上的其它颜色的图像，如图3所示，内表面的样式可以为棋盘格样式，也可以为点图样式或网格样式等，具体地，可以根据业务需求而定，本实施例对此不加以限制。在第一侧面上还设置有相机固定装置，以在鱼眼相机拍摄时对鱼眼相机进行固定，外部电源接入口，以提供电能，还设置有光源调整设备，以在鱼眼相机进行内表面的图像采集时，对光源进行调整，以避免拍摄的图像出现过曝现象。标准面(即第一侧面)光源需要固定色温，亮度采用硬件控制电路控制，支持亮度可调，典型的色温为6500K，亮度控制在200～2000lux即可，相机固定装置需要与根据相机设备大小做可控收缩，具体地可控收缩方式可以采用惯用的方式，本实施例对此不加以限制。
在采用鱼眼相机对测试箱体的内表面进行图像拍摄时，可以将鱼眼相机放置到固定装置，打开光源，调整光源至鱼眼相机拍摄画面没有明显过曝，调整鱼眼相机位置，确保视野内每个棋盘格(也可以为网格或点图等)都能看清，同时视轴方向需要调整到拍摄棋盘格(也可以为网格或点图等)中心并固定鱼眼相机，确保鱼眼相机在拍摄过程中不会发生移动，然后执行拍摄过程，得到畸变测试图像，在拍摄完成之后，即可关闭光源电源，解除鱼眼相机的固定。
采用鱼眼相机拍摄的图像可以如图5所示，拍摄的图像同时包含除第一侧面外的其它侧面的内表面，从而可以形成一张包含五个侧面内表面的畸变测试图像。
在基于鱼眼相机对测试箱体的内表面进行图像拍摄得到畸变测试图像之后，执行步骤102。
步骤102：对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征。
在得到畸变测试图像之后，可以提取畸变测试图像中不同色块的特征，以得到畸变测试图像上的不同色块的色块信息特征，对于色块信息的获取过程可以结合下述具体实现方式进行详细描述。
在本申请的一种具体实现方式中，上述步骤102可以包括：
子步骤A1：基于预置聚类算法，对所述畸变测试图像的图像像素进行聚类处理。
在本实施例中，在得到畸变测试图像之后，可以基于预置聚类算法对畸变测试图像的图像像素进行聚类处理，具体地聚类处理过程可以为：利用畸变测试图像的RGB色彩信息进行聚类，可以采用典型的K-means聚类算法进行聚类，首先，聚类目标可以为4类，聚类初始中心分别为：(255，255，255)、(255，0，0)、(0，0，0)、(0，0，255)。
在基于预置聚类算法对畸变测试图像的图像像素进行聚类处理之后，执行子步骤A2。
子步骤A2：依据聚类结果，对所述畸变测试图像进行二值化处理，生成二值化图像。
在基于预置聚类算法对畸变测试图像的图像像素进行聚类处理之后，可以依据聚类结果对畸变测试图像进行二值化处理，以得到二值化图像，具体地，可以筛选聚类中心靠近其它颜色中任一种颜色的所有像素位置，对原图图像(即畸变测试图像)进行二值化处理，处理得到二值化图像，处理方式为：归类到任一种颜色的所有像素位置设为1，其它像素位置设为0。
在依据聚类结果对畸变测试图像进行二值化图像生成二值化图像之后，执行子步骤A3。
子步骤A3：对所述二值化图像进行形态学开处理，得到处理图像。
形态学开处理是指对图像进行先腐蚀后膨胀处理，以使图像的轮廓变得光滑，还可以使图像上狭窄的连接断开和消除细毛刺等。
在得到二值化图像之后，可以对二值化图像进行形态学开处理，以得到处理图像，进而，执行子步骤A4。
子步骤A4：获取所述处理图像中的凸包，并根据所述凸包的轮廓，确定不同色块的色块信息特征。
凸包(Convex Hull)是一个计算几何(图形学)中的概念，在给定二维平面上的点集，凸包即是将最外层的点连接起来构成的凸多边形，它即包含点击中所有的点。
在获取到处理图像之后，可以计算处理后的每个凸包，并根据凸包的轮廓确定不同色块的色块信息特征，即凸包的轮廓即为不同色块的色块信息特征。
在对畸变测试图像进行特征提取处理得到畸变测试图像上的不同色块的色块信息特征之后，执行步骤103。
步骤103：根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点。
在提取到畸变测试图像上不同色块的色块信息特征信息之后，可以根据不同色块的色块信息特征，提取不同色块内的像素关键点，并对像素关键点按照行列的方式进行排序，以得到不同色块对应的排序关键点，具体地，可以结合下述具体实现方式进行详细描述。
在本申请的另一种具体实现方式中，上述步骤103可以包括：
子步骤B1：根据相同颜色的色块的色块信息特征，计算得到所述相同颜色的色块的色块中心点。
在本实施例中，在获取到畸变测试图像上不同色块的色块信息特征之后，可以对于同色块的信息特征，计算每个色块的色块中心点，具体地计算方式可以参照下述公式(1)：
Figure BDA0003241708100000061
上述公式(1)中，
Figure BDA0003241708100000062
为色块中心点，i∈[1,100]，代表色块标号。
在根据相同颜色的色块的色块信息特征计算得到相同颜色的色块的色块中心点之后，执行子步骤B2。
子步骤B2：获取所述相同颜色的色块上的关键点。
在提取不同色块的色块信息特征之后，可以获取相同颜色的色块上的关键点。
在获取相同颜色的色块上的关键点之后，执行子步骤B3。
子步骤B3：基于所述关键点至所述色块中心点之间的欧式距离，确定所述关键点中的旋转关键点。
在获取到相同颜色的色块中心点和关键点之后，可以关键点与色块中心点之间的欧式距离，并根据欧式距离确定出关键点中的旋转关键点，具体地，可以选择色块面上距离色块中心点最远的1个关键点(xt,yt)作为旋转关键点。
在基于关键点与色块中心点之间的欧式距离确定出关键点中的旋转关键点之后，执行子步骤B4。
子步骤B4：基于所述旋转关键点对所有色块面上的关键点进行旋转校正处理。
在获取到旋转关键点之后，可以基于旋转关键点对所有色块面上的关键点进行旋转校正，具体地，可以结合每个色块面上的旋转关键点对该色块面上的关键点进行旋转校正。
Figure BDA0003241708100000071
为旋转角对所有面上的关键点进行校正，如下述公式(2)：
Figure BDA0003241708100000072
在基于旋转关键点对所有色块面上的关键点进行旋转校正处理之后，执行子步骤B5。
子步骤B5：根据校正结果，获取校正中心点和校正关键点。
在基于旋转关键点对所有色块面上的关键点进行旋转校正处理之后，可以根据校正结果获取色块面上的校正中心点和校正关键点。
在得到校正中心点和校正关键点之后，执行子步骤B6。
子步骤B6：基于所述校正中心点，获取所述校正关键点在行方向、列方向的关键点位置信息。
子步骤B7：基于所述关键点位置信息，确定所述排序关键点。
在得到校正中心点之后，可以基于校正中心点，获取校正关键点在行方向、列方向的关键点位置信息，并基于关键点位置信息确定排序关键点，具体地，基于校正后的中心坐标(xc′,yc′)按照中心行方向，筛选出距离y方向最近的校正后关键点集，然后，按照y轴正方向寻找最接近原点的关键点，定义标号为(0，1)，然后按同方向查找最接近(0，1)关键点的校正后点，定义标号为(0，2)，以此类推，直至正方向查找完毕；按照同样的方式，按照y轴负方向，寻找关键点，分别定义坐标为(0，-1)，(0，-2)，……同理，x轴方向的关键点位置也可以如此确认；找到最接近的四个点；
通过上述计算，可以组成坐标系4个象限，每个象限首先找到并定义45度方向离原点最近关键点位置，然后以找到的关键点作为参考点，以上述相同的查找方式，找到并定义参考点x，y方向的关键点，然后依次找到第一象限不同参考方向的点位置；同理，可以找到并定义第二、三、四象限的关键点；经过该步骤处理后，可以得到垂直面所有关键点的校正后坐标以及每个关键点在行、列方向的位置信息，基于该位置信息即可得到所有校正关键点进行排序，即可得到排序关键点。
在根据色块信息特征提取不同色块内的像素关键点，并对像素关键点进行排序得到不同色块对应的排序关键点之后，执行步骤104。
步骤104：基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数。
色块畸变指数是指不同颜色的色块面上的畸变指数。该色块畸变指数可以用于指示色块面的畸变程度，色块畸变指数越大表示色块面的畸变程度越高。
在获取到不同色块对应的排序关键点之后，可以基于预置畸变模型对排序关键点进行处理，以得到不同色块对应的色块畸变指数，具体地，对于视轴方向、横轴方向和纵轴方向上的色块畸变指数的获取方式可以结合下述三种方式进行。
1、对于视轴垂直方向上的色块畸变指数
可以基于SMTA TV畸变模型对处于视轴垂直方向上的排序关键点和校正关键点进行处理，以得到视轴垂直方向上的色块的色块畸变指数，具体地，对于视轴垂直方向的点信息，按照SMIA TV畸变模型、基于校正后的点集
Figure BDA0003241708100000081
以及行、列定义关系计算基本畸变率，即视轴垂直方向上的色块畸变指数。
2、对于横轴方向上的色块畸变指数
可以基于径向畸变模型对处于横轴侧面方向上的排序关键点和校正关键点进行处理，以得到横轴侧面方向上的色块的色块畸变指数，具体地，对于横轴侧面方向的点信息，按照径向基畸变模型、基于校正后的点集
Figure BDA0003241708100000091
以及行、列定义关系计算基本畸变率，中心点仍然以(xc,yc)为准(即以校正中心点为准)。
3、对于纵轴方向上的色块畸变指数
可以获取纵轴侧面方向上的排序关键点和校正关键点，并对纵轴侧面方向上的排序关键点和校正关键点横纵轴转换处理，然后，基于径向畸变模型对转换处理的排序关键点和校正关键点进行处理，得到纵轴方向上的色块的色块畸变指数，具体地，对于纵轴上下面方向的点信息，考虑到模型求解过程，对校正后的点集以及行、列定义关系进行横、纵轴的置换，即(xr′,yr′)＝(y′,x′)，然后通过径向基畸变模型计算基本畸变率，中心点以(yc,xc)为准。
在获取到三个方向上的色块畸变指数之后，执行步骤105。
步骤105：基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数。
在获取到三个方向上的色块畸变指数之后，可以基于色块畸变指数确定出鱼眼相机的目标畸变指数，具体地，可以获取三个色块畸变指数中的最大指数值，并将最大指数值作为目标畸变指数，也可以获取三个色块畸变指数的畸变指数和值，并将畸变指数和值作为目标畸变指数等，具体地获取目标畸变指数的方式可以根据业务需求而定，本实施例对此不加以限制。
本申请实施例提供的畸变指数确定方法，通过基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像，测试箱体为正方形箱体，测试箱体的第一侧面预留有图像采集孔，测试箱体的除第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，两种颜色包括白色和除白色外的其它颜色，且测试箱体正对的两个内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)，畸变测试图像为包括五个内表面上的其它颜色的图像，对畸变测试图像进行特征提取处理，得到畸变测试图像上的不同色块的色块信息特征，根据色块信息特征，提取不同色块内的像素关键点，并对像素关键点进行排序，得到不同色块对应的排序关键点，基于预置畸变模型对排序关键点进行处理，得到不同色块对应的色块畸变指数，基于色块畸变指数，确定鱼眼相机的目标畸变指数。本申请实施例通过提供特殊的测试箱体，以消除边界无穷远点的特征提取精度低甚至特征提取失败导致评测精度低的问题，可以提高畸变评测的精度。而且，采用本实施例提供的方案，仅需拍摄一幅图像即可完成畸变评测过程，评测效率较高。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
参照图6，示出了本申请实施例提供的一种畸变指数确定装置的结构示意图，如图6所示，该畸变指数确定装置600可以包括如下模块：
畸变测试图像获取模块610，用于基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像；所述测试箱体为正方体结构，所述测试箱体的第一侧面预留有图像采集孔，所述测试箱体的除所述第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，所述两种颜色包括白色和除白色外的其它颜色，且所述测试箱体正对的两个内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)，所述畸变测试图像为包括所述五个内表面上的其它颜色的图像；
色块信息特征获取模块620，用于对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征；
排序关键点获取模块630，用于根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点；
色块畸变指数获取模块640，用于基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数；
目标畸变指数确定模块650，用于基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数。
可选地，所述色块信息特征获取模块包括：
像素聚类处理单元，用于基于预置聚类算法，对所述畸变测试图像的图像像素进行聚类处理；
二值化图像生成单元，用于依据聚类结果，对所述畸变测试图像进行二值化处理，生成二值化图像；
处理图像获取单元，用于对所述二值化图像进行形态学开处理，得到处理图像；
色块信息特征确定单元，用于获取所述处理图像中的凸包，并根据所述凸包的轮廓，确定不同色块的色块信息特征。
可选地，所述排序关键点获取模块包括：
色块中心点计算单元，用于根据相同颜色的色块的色块信息特征，计算得到所述相同颜色的色块的色块中心点；
关键点获取单元，用于获取所述相同颜色的色块上的关键点；
旋转关键点确定单元，用于基于所述关键点至所述色块中心点之间的欧式距离，确定所述关键点中的旋转关键点；
旋转校正处理单元，用于基于所述旋转关键点对所有色块面上的关键点进行旋转校正处理；
校正点获取单元，用于根据校正结果，获取校正中心点和校正关键点；
关键点位置获取单元，用于基于所述校正中心点，获取所述校正关键点在行方向、列方向的关键点位置信息；
排序关键点确定单元，用于基于所述关键点位置信息，确定所述排序关键点。
可选地，所述色块畸变指数获取模块包括：
视轴畸变指数获取单元，用于基于SMTA TV畸变模型对处于视轴垂直方向上的排序关键点和校正关键点进行处理，得到视轴垂直方向上的色块的色块畸变指数。
可选地，所述色块畸变指数获取模块包括：
横轴畸变指数获取单元，用于基于径向畸变模型对处于横轴侧面方向上的排序关键点和校正关键点进行处理，得到横轴侧面方向上的色块的色块畸变指数。
可选地，所述色块畸变指数获取模块包括：
校正关键点获取单元，用于获取纵轴方向上的排序关键点和校正关键点；
关键点校正处理单元，用于对纵轴方向上的排序关键点和校正关键点进行横纵轴转换处理；
纵轴畸变指数获取单元，用于基于径向畸变模型对转换处理的排序关键点和校正关键点进行处理，得到纵轴方向上的色块的色块畸变指数。
可选地，所述目标畸变指数确定模块包括：
第一目标畸变指数获取单元，用于获取所述色块畸变指数的和值，并将所述和值作为所述目标畸变指数。
可选地，所述目标畸变指数确定模块包括：
第二目标畸变指数获取单元，用于获取色块畸变指数中指数值最大的色块畸变指数，并将所述指数值最大的色块畸变指数作为所述目标畸变指数。
本申请实施例提供的畸变指数确定装置，通过基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像，测试箱体为正方形箱体，测试箱体的第一侧面预留有图像采集孔，测试箱体的除第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，两种颜色包括白色和除白色外的其它颜色，且测试箱体正对的两个内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)，畸变测试图像为包括五个内表面上的其它颜色的图像，对畸变测试图像进行特征提取处理，得到畸变测试图像上的不同色块的色块信息特征，根据色块信息特征，提取不同色块内的像素关键点，并对像素关键点进行排序，得到不同色块对应的排序关键点，基于预置畸变模型对排序关键点进行处理，得到不同色块对应的色块畸变指数，基于色块畸变指数，确定鱼眼相机的目标畸变指数。本申请实施例通过提供特殊的测试箱体，以消除边界无穷远点的特征提取精度低甚至特征提取失败导致评测精度低的问题，可以提高畸变评测的精度。而且，采用本实施例提供的方案，仅需拍摄一幅图像即可完成畸变评测过程，评测效率较高。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图7，其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可用于实施上述实施例中提供的人脸关键点定位模型的训练方法。该计算机设备可以是PC或者服务器，或者其它具备数据处理和存储能力的设备。具体来讲：
所述计算机设备700包括中央处理单元(CPU)701、包括随机存取存储器(RAM)702和只读存储器(ROM)703的***存储器704，以及连接***存储器704和中央处理单元701的***总线705。所述计算机设备700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)706，和用于存储操作***713、应用程序714和其他程序模块715的大容量存储设备707。
所述基本输入/输出***706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到***总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出***706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备707通过连接到***总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器704和大容量存储设备707可以统称为存储器。
根据本申请的各种实施例，所述计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备700可以通过连接在所述***总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程计算机***(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述人脸关键点定位模型的训练方法的指令。
在示例中实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由一个或者一个以上处理器执行，以实现上述畸变指数确定方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述畸变指数确定方法。
可选地，上述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述人脸关键点定位模型的训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种畸变指数确定方法，其特征在于，所述方法包括：
基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像；所述测试箱体为正方体结构，所述测试箱体的第一侧面预留有图像采集孔，所述测试箱体的除所述第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，所述两种颜色包括白色和除白色外的其它颜色，且所述测试箱体正对的两个内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)，所述畸变测试图像为包括所述五个内表面上的其它颜色的图像；
对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征；
根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点；
基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数；
基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数。
2.根据权利要求1所述的方法，其特征在于，所述对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征，包括：
基于预置聚类算法，对所述畸变测试图像的图像像素进行聚类处理；
依据聚类结果，对所述畸变测试图像进行二值化处理，生成二值化图像；
对所述二值化图像进行形态学开处理，得到处理图像；
获取所述处理图像中的凸包，并根据所述凸包的轮廓，确定不同色块的色块信息特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点，包括：
根据相同颜色的色块的色块信息特征，计算得到所述相同颜色的色块的色块中心点；
获取所述相同颜色的色块上的关键点；
基于所述关键点至所述色块中心点之间的欧式距离，确定所述关键点中的旋转关键点；
基于所述旋转关键点对所有色块面上的关键点进行旋转校正处理；
根据校正结果，获取校正中心点和校正关键点；
基于所述校正中心点，获取所述校正关键点在行方向、列方向的关键点位置信息；
基于所述关键点位置信息，确定所述排序关键点。
4.根据权利要求3所述的方法，其特征在于，所述基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数，包括：
基于SMTA TV畸变模型对处于视轴垂直方向上的排序关键点和校正关键点进行处理，得到视轴垂直方向上的色块的色块畸变指数。
5.根据权利要求3所述的方法，其特征在于，所述基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数，包括：
基于径向畸变模型对处于横轴侧面方向上的排序关键点和校正关键点进行处理，得到横轴侧面方向上的色块的色块畸变指数。
6.根据权利要求3所述的方法，其特征在于，所述基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数，包括：
获取纵轴方向上的排序关键点和校正关键点；
对纵轴方向上的排序关键点和校正关键点进行横纵轴转换处理；
基于径向畸变模型对转换处理的排序关键点和校正关键点进行处理，得到纵轴方向上的色块的色块畸变指数。
7.根据权利要求1所述的方法，其特征在于，所述基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数，包括：
获取所述色块畸变指数的和值，并将所述和值作为所述目标畸变指数。
8.根据权利要求1所述的方法，其特征在于，所述基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数，包括：
获取色块畸变指数中指数值最大的色块畸变指数，并将所述指数值最大的色块畸变指数作为所述目标畸变指数。
9.一种畸变指数确定装置，其特征在于，所述装置包括：
畸变测试图像获取模块，用于基于鱼眼相机对测试箱体的内表面进行图像拍摄，得到畸变测试图像；所述测试箱体为正方体结构，所述测试箱体的第一侧面预留有图像采集孔，所述测试箱体的除所述第一侧面外的其它五个侧面的内表面为两种颜色交替均匀设置的表面，所述两种颜色包括白色和除白色外的其它颜色，且所述测试箱体正对的两个内表面的颜色相同，五个内表面的暗区打印RGB值包括三种，分别为：(0，0，255)、(255，0，0)和(0，0，0)，所述畸变测试图像为包括所述五个内表面上的其它颜色的图像；
色块信息特征获取模块，用于对所述畸变测试图像进行特征提取处理，得到所述畸变测试图像上的不同色块的色块信息特征；
排序关键点获取模块，用于根据所述色块信息特征，提取不同色块内的像素关键点，并对所述像素关键点进行排序，得到不同色块对应的排序关键点；
色块畸变指数获取模块，用于基于预置畸变模型对所述排序关键点进行处理，得到不同色块对应的色块畸变指数；
目标畸变指数确定模块，用于基于所述色块畸变指数，确定所述鱼眼相机的目标畸变指数。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的畸变指数确定方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的畸变指数确定方法。
CN202111021730.6A 2021-09-01 2021-09-01 畸变指数确定方法、装置、设备及存储介质 Pending CN113935905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111021730.6A CN113935905A (zh) 2021-09-01 2021-09-01 畸变指数确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111021730.6A CN113935905A (zh) 2021-09-01 2021-09-01 畸变指数确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113935905A true CN113935905A (zh) 2022-01-14

Family

ID=79274769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111021730.6A Pending CN113935905A (zh) 2021-09-01 2021-09-01 畸变指数确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113935905A (zh)

Similar Documents

Publication Publication Date Title
US8494297B2 (en) Automatic detection and mapping of symmetries in an image
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
CN111815715A (zh) 变焦云台摄像机的标定方法、装置及存储介质
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
Ji et al. An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
CN113298885A (zh) 双目标定方法及装置、设备和存储介质
CN104322057B (zh) 图案处理装置、图案处理方法和图案处理程序
CN111325218B (zh) 基于光场图像的Hog特征检测与匹配方法
CN113096016A (zh) 一种低空航拍图像拼接方法和***
CN113840135B (zh) 色偏检测方法、装置、设备及存储介质
CN110245674B (zh) 模板匹配方法、装置、设备及计算机存储介质
CN113935905A (zh) 畸变指数确定方法、装置、设备及存储介质
JP6770363B2 (ja) 顔方向推定装置及びそのプログラム
CN113873223A (zh) 相机清晰度确定方法、装置、设备及存储介质
JP4298283B2 (ja) パターン認識装置、パターン認識方法、及びプログラム
CN113834638A (zh) 视场角确定方法、装置、设备及存储介质
CN109727287B (zh) 一种适用于增强现实的改进注册方法及其***
CN116091366B (zh) 一种多维度拍摄手术视频及消除摩尔纹的方法
CN113409370B (zh) 图像配准方法及相关装置、设备
CN110599517A (zh) 一种基于局部特征和全局hsv特征组合的目标特征描述方法
CN110852352A (zh) 一种用于目标检测深度神经网络模型训练的数据增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination