CN117853382B - 基于稀疏标记物的图像矫正方法、装置及存储介质 - Google Patents

基于稀疏标记物的图像矫正方法、装置及存储介质 Download PDF

Info

Publication number
CN117853382B
CN117853382B CN202410242270.7A CN202410242270A CN117853382B CN 117853382 B CN117853382 B CN 117853382B CN 202410242270 A CN202410242270 A CN 202410242270A CN 117853382 B CN117853382 B CN 117853382B
Authority
CN
China
Prior art keywords
marker
image
markers
processed
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410242270.7A
Other languages
English (en)
Other versions
CN117853382A (zh
Inventor
易东
吴凌翔
朱贵波
王金桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Artificial Intelligence Research Institute
Institute of Automation of Chinese Academy of Science
Original Assignee
Wuhan Artificial Intelligence Research Institute
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Artificial Intelligence Research Institute, Institute of Automation of Chinese Academy of Science filed Critical Wuhan Artificial Intelligence Research Institute
Priority to CN202410242270.7A priority Critical patent/CN117853382B/zh
Publication of CN117853382A publication Critical patent/CN117853382A/zh
Application granted granted Critical
Publication of CN117853382B publication Critical patent/CN117853382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供一种基于稀疏标记物的图像矫正方法、装置及存储介质，涉及计算机视觉技术领域。该方法包括：获取待处理图像中的标记物的位置信息；基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。本申请提供的基于稀疏标记物的图像矫正方法、装置及存储介质，利用了标记物的几何特点来获取对应标记物的位置偏移量，使基于随意摆放的小型标记物便能实现图像矫正，增强了操作的便利性和灵活性，提升了用户体验。

Description

基于稀疏标记物的图像矫正方法、装置及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种基于稀疏标记物的图像矫正方法、装置及存储介质。
背景技术
图像正射矫正（Image Orth-Rectification）是计算机视觉（Computer Vision）领域中的一项重要技术，其任务是从“非正面拍摄”图像中恢复出“正面拍摄”效果。在矫正后的图像中物体之间的相对大小关系得以恢复，方便物体尺寸测量、型号识别以及精确地图构建等下游任务。
正射矫正一般通过在工作区域放置预定义规格的标记物来实现，为控制全图的矫正误差，标记物需覆盖或包围整个工作区域，但基于这些标记物的图像矫正方法，对标记物形态的要求和使用要求较为固定且专业，使得用户体验下降。
发明内容
本申请实施例提供一种基于稀疏标记物的图像矫正方法、装置及存储介质，用以解决现有技术中用户体验感差的技术问题。
第一方面，本申请实施例提供一种基于稀疏标记物的图像矫正方法，包括：
获取待处理图像中的标记物的位置信息；
基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。
在一些实施例中，所述基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量，包括：
基于所述标记物的位置信息获取射影变换矩阵表达式；所述射影变换矩阵表达式是用未知的位置偏移参数表示的；所述射影变换矩阵用于将待处理图像变换为矫正后的待处理图像；
根据预定义几何约束以及所述射影变换矩阵表达式确定损失函数；所述损失函数用于评价对所述待处理图像进行正射矫正的准确度；
通过最小化所述损失函数求解所述标记物的位置偏移量。
在一些实施例中，所述基于所述标记物的位置信息获取射影变换矩阵表达式，包括：
根据所述标记物的中心点坐标确定单应矩阵表达式；所述单应矩阵表达式是用未知的位置偏移参数表示的；
根据所述标记物的关键点坐标和所述单应矩阵表达式计算射影变换矩阵表达式。
在一些实施例中，在所述标记物为多个尺寸相同的正方形的情况下，所述预定义几何约束包括以下多种：
所有标记物的边长相等；
所有标记物的内角为直角。
在一些实施例中，在所述标记物为多个尺寸相同的圆形的情况下，所述预定义几何约束包括以下多种：
每一标记物的中心点到同一标记物的边缘等距离；
所有标记物的半径相等。
在一些实施例中，所述基于所述标记物的位置偏移量对所述待处理图像进行正射矫正，包括：
基于所述标记物的位置偏移量获取单应矩阵；
根据所述单应矩阵对所述待处理图像进行正射矫正。
在一些实施例中，所述获取待处理图像中的标记物的位置信息，包括：
采用预训练好的关键点检测器对待处理图像中的标记物进行关键点检测，得到所述标记物的位置信息。
第二方面，本申请实施例提供一种基于稀疏标记物的图像矫正装置，包括：
第一获取模块，用于获取待处理图像中的标记物的位置信息；
第二获取模块，用于基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
矫正模块，用于基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的基于稀疏标记物的图像矫正方法。
第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的基于稀疏标记物的图像矫正方法。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于稀疏标记物的图像矫正方法。
本申请实施例提供的基于稀疏标记物的图像矫正方法、装置及存储介质，首先获取待处理图像中的标记物的位置信息，然后基于预定义几何约束和标记物的位置信息获取标记物的位置偏移量，并基于标记物的位置偏移量对待处理图像进行正射矫正，利用了标记物的几何特点来获取对应标记物的位置偏移量，使基于随意摆放的小型标记物便能实现图像矫正，增强了操作的便利性和灵活性，提升了用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于稀疏标记物的图像矫正方法的流程示意图；
图2是本申请实施例提供的一种基于稀疏标记物的图像矫正装置的结构示意图；
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
目前的正射矫正方法中，首先在工作区域（或拍摄区域）放置预定义规格的标记物，然后采用图像处理、深度学习等技术自动检测标记物上的关键点后，即可估计出图像与标记物模板间的单应矩阵（Homography Matrix），通过射影变换完成矫正。
为保证矫正效果，标记物应具有不易形变的特点（最好为刚体），且最好能覆盖整个拍摄区域。而在某些应用场景中，标记物的便携性非常重要，如：当拍摄范围较大（如1×1米）时，同等大小的刚性标记物携带非常麻烦。
一种很自然的方案是采用多块小型标记物，将拍摄区域包围起来，但稀疏放置的标记物之间没有刚体结构连接，因此需测量它们之间的位置关系方能求解矫正矩阵，而位置的测量过程比较专业，对普通用户不友好。在稀疏标记物位置未知的情况下，现有技术无法求解矫正矩阵。
因此，现有的基于标记物的正射矫正方法，对标记物使用的限制条件较多，如标记物的形态大小、摆放位置和专业位置测量等，这导致用户在使用现有的正射矫正方法时体验感下降。
基于上述技术问题，本申请实施例提出一种基于稀疏标记物的图像矫正方法，首先获取待处理图像中的标记物的位置信息，然后基于预定义几何约束和标记物的位置信息获取标记物的位置偏移量，并基于标记物的位置偏移量对待处理图像进行正射矫正，利用了标记物的几何特点来获取对应标记物的位置偏移量，使基于随意摆放的小型标记物便能实现图像矫正，增强了操作的便利性和灵活性，提升了用户体验。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例提供的基于稀疏标记物的图像矫正方法的流程示意图，如图1所示，本申请实施例提供一种基于稀疏标记物的图像矫正方法。该方法包括：
步骤101、获取待处理图像中的标记物的位置信息。
具体地，在待测区域中放置的标记物，可以是多个（一般至少四个）固定规格、同等大小的小型标记物（称稀疏标记物）。
例如，在待测区域中放置四个2×2cm的正方形二维码。
再例如，在待测区域中放置多个小型的圆形标记物。
标记物的个数可以大于4，标记物数量越多矫正精度越高。
当对待测区域的拍摄角度不正（非正面拍摄）得到待处理图像时，为了将待处理图像进行正射校正以得到待测区域的正面图像，首先需要获取待处理图像中的标记物的位置信息，该位置信息可以是标记物的关键点坐标。
例如，利用目标检测算法检测待处理图像中的标记物的关键点，采用的目标检测模型可以为YOLO（You Only Look Once）模型、基于卷积神经网络的目标检测模型（RCNN模型）或单镜头多盒检测器（Single Shot MultiBox Detector，SSD）模型等。
步骤102、基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量。
具体地，预定义几何约束是与选择的标记物对应的，是根据标记物的几何特征来定义的，基于标记物对应的预定义几何约束和标记物的位置信息获取标记物的位置偏移量。
例如，待处理图像中的标记物是多个同等大小的正方形，则基于正方形的预定义几何约束（如正方形的边长相等且内角为90度），结合获得的标记物的位置信息，求解标记物的位置偏移量。
再例如，待处理图像中的标记物是多个同等大小的圆形，则基于圆形的预定义几何约束（如圆形的中心到圆形边缘的距离相等、各个圆形的半径相等），结合获得的标记物的位置信息，求解标记物的位置偏移量。
标记物的位置偏移量，即从待处理图像变换至正面图像这一过程的标记物的位置偏移量。
步骤103、基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。
具体地，得到标记物的位置偏移量后，便可以获得从待处理图像变换至正面图像的变换，从而将待处理图像变换至正面图像，完成正射校正。
例如，得到标记物的位置偏移量后，基于待处理图像中的标记物的关键点坐标，和标记物的位置偏移量，求解单应矩阵，然后根据该单应矩阵对待处理图像进行影射变换，得到正射校正后的正面图像。
本申请实施例提供的基于稀疏标记物的图像矫正方法，基于预定义几何约束，和待处理图像中的标记物的位置信息，获取标记物的位置偏移量，然后基于标记物的位置偏移量对待处理图像进行正射矫正，利用了标记物的几何特点来获取对应标记物的位置偏移量，而无需用单个刚体标记物覆盖拍摄区域，用多个小型标记物包围拍摄区域即可，提升了标记物的便携性，且多个标记物可随意放置在拍摄区域边缘，无需测量他们的相对位置关系，降低了矫正过程的操作门槛，增强了操作的便利性和灵活性，提升了用户体验。
在一些实施例中，所述获取待处理图像中的标记物的位置信息，包括：
采用预训练好的关键点检测器对待处理图像中的标记物进行关键点检测，得到所述标记物的位置信息。
具体地，采用目标检测算法对待处理图像中的标记物进行关键点检测，得到所述标记物的位置信息。
例如，采用预训练好的关键点检测器对待处理图像中的标记物进行关键点检测，得到标记物的位置信息，包括标记物的关键点的坐标等。其中，关键点检测器可采用YOLOv7目标检测模型等。
当标记物为正方形时，预训练好的关键点检测器用于检测待处理图像中的正方形标记物的关键点；当标记物为圆形时，预训练好的关键点检测器用于检测待处理图像中的圆形标记物的关键点。
本申请实施例提供的基于稀疏标记物的图像矫正方法，采用如YOLOv7的关键点检测模型，实现对待处理图像中的标记物关键点的自动高效检测，提高了标记物位置信息获取的速度，从而提高图像矫正的效率，提升用户体验。
在一些实施例中，所述基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量，包括：
基于所述标记物的位置信息获取射影变换矩阵表达式；所述射影变换矩阵表达式是用未知的位置偏移参数表示的；所述射影变换矩阵用于将待处理图像变换为矫正后的待处理图像；
根据预定义几何约束以及所述射影变换矩阵表达式确定损失函数；所述损失函数用于评价对所述待处理图像进行正射矫正的准确度；
通过最小化所述损失函数求解所述标记物的位置偏移量。
具体地，获得标记物的位置信息后，即获得标记物关键点的坐标，设置未知的标记物的位置偏移参数O，基于标记物关键点的坐标以及未知的位置偏移参数O求解射影变换矩阵表达式，即基于标记物关键点的坐标，用未知的位置偏移参数来表示射影变换矩阵，该射影变换矩阵用于将待处理图像变换为矫正后的待处理图像，矫正后的待处理图像即所需要的正面图像。
得到射影变换矩阵表达式后，根据标记物对应的预定义几何约束，以及射影变换矩阵表达式确定用于评价对所述待处理图像进行正射矫正的准确度的损失函数，可知，该损失函数也是用未知的标记物的位置偏移参数O表示的，因此，通过最小化该损失函数便可求解出最优的标记物的位置偏移量。
本申请实施例提供的基于稀疏标记物的图像矫正方法，通过设置未知的标记物的位置偏移参数O并求解射影变换矩阵表达式和损失函数的表达式，结合预定义几何约束来反推出最优的标记物的位置偏移量，计算简便，准确性高。
在一些实施例中，所述基于所述标记物的位置信息获取射影变换矩阵表达式，包括：
根据所述标记物的中心点坐标确定单应矩阵表达式；所述单应矩阵表达式是用未知的位置偏移参数表示的；
根据所述标记物的关键点坐标和所述单应矩阵表达式计算射影变换矩阵表达式。
具体地，获得标记物的位置信息后，设置未知的标记物的位置偏移参数O，基于标记物中心点的坐标以及未知的位置偏移参数O求解单应矩阵表达式。
例如，待处理图像中的标记物是四个等尺寸的正方形标记物，假设四个正方形的顶点为Kij，中心点为Ci，其中i为正方形序号，j为顶点序号（i,j =0,1,2,3）。定义待求解的偏移量为Oi，其中i为正方形序号。
首先，待处理图像中的标记物的中心点为Ci，则该标记物偏移后的中心点为Ci+Oi，根据点对Ci和(Ci+Oi)，i =0,1,2,3，构建求解单应矩阵H的线性方程组，求出单应矩阵表达式。
然后，将正方形的顶点Kij通过H，射影变换为D，即得到射影变换矩阵表达式。
对于正方形标记物，D需满足等边长和邻边垂直的几何约束，故损失函数定义为：
L(O) = mean(abs (edge_length(D) - edge_length_ref))
+ lambda × mean(abs(cos_corner(D)))
其中，L(O)为损失函数；edge_length（）为边长计算函数；edge_length_ref为参考边长，可根据应用场景指定，如设为32像素；lambda为角度约束权重；cos_corner为角余弦计算函数；abs（）为取绝对值函数；mean（）为取均值函数。
本申请实施例中，可以通过随机梯度下降SGD（Stochastic Gradient Descent）、Adam等优化器来最小化损失函数求出最优的标记物的位置偏移量。除SGD、Adam外，还可以采用其他常见的优化器，如：AdamW、AdaDelta、RMSprop（Root Mean Square prop）和LBFGS（Limited-memory BFGS）优化器等。
本申请实施例提供的基于稀疏标记物的图像矫正方法，基于待处理图像的标记物中心点和偏移后的标记物中心点求出对应变换的单应矩阵表达式，并根据标记物关键点求出影射变换表达式，使能够获得用未知的标记物的位置偏移参数O表示的损失函数，从而通过简便的计算便能推导出最终的标记物的位置偏移量。
在一些实施例中，在所述标记物为多个尺寸相同的正方形的情况下，所述预定义几何约束包括以下多种：
所有标记物的边长相等；
所有标记物的内角为直角。
具体地，标记物可以为多个尺寸相同的正方形，此时，预定义几何约束包括所有标记物的边长相等、所有标记物的内角为直角和/或其它几何约束。
标记物可以是除了正方形以外的其他形状，如圆形、正多边形或其他形状。
在一些实施例中，在所述标记物为多个尺寸相同的圆形的情况下，所述预定义几何约束包括以下多种：
每一标记物的中心点到同一标记物的边缘等距离；
所有标记物的半径相等。
具体地，当标记物为多个尺寸相同的圆形时，预定义几何约束包括每一标记物的中心点到同一标记物的边缘等距离、所有标记物的半径相等和/或其它几何约束。
本申请实施例提供的基于稀疏标记物的图像矫正方法，根据选取的标记物的几何特征来确定预定义的几何约束，从而可以利用任意摆放的稀疏标记物来进行待处理图像的正射校正，提升了标记物的便携性，降低了矫正过程的操作门槛，增强了操作的便利性和灵活性，从而提升了用户体验。
在一些实施例中，所述基于所述标记物的位置偏移量对所述待处理图像进行正射矫正，包括：
基于所述标记物的位置偏移量获取单应矩阵；
根据所述单应矩阵对所述待处理图像进行正射矫正。
具体地，在得到最优的标记物的位置偏移量O后，即可基于待处理图像中的标记物的关键点K，以及偏移后的关键点K+O，求解对应的单应矩阵，根据该单应矩阵对待处理图像进行影射变换，得到正射矫正后的图像。
在矫正后的图像中，预定义几何约束能较好地满足，且图像中的各物体间的大小关系也得到了恢复。
本申请实施例提供的基于稀疏标记物的图像矫正方法，基于预定义几何约束，和待处理图像中的标记物的位置信息，获取标记物的位置偏移量，然后基于标记物的位置偏移量对待处理图像进行正射矫正，利用了标记物的几何特点来获取对应标记物的位置偏移量，而无需用单个刚体标记物覆盖拍摄区域，用多个小型标记物包围拍摄区域即可，提升了标记物的便携性，且多个标记物可随意放置在拍摄区域边缘，无需测量他们的相对位置关系，降低了矫正过程的操作门槛，增强了操作的便利性和灵活性，提升了用户体验。
图2是本申请实施例提供的一种基于稀疏标记物的图像矫正装置的结构示意图，如图2所示，本申请实施例提供一种基于稀疏标记物的图像矫正装置，包括第一获取模块201、第二获取模块202和矫正模块203。
第一获取模块201用于获取待处理图像中的标记物的位置信息；
第二获取模块202用于基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
矫正模块203用于基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。
在一些实施例中，所述第二获取模块包括：
第一获取单元，用于基于所述标记物的位置信息获取射影变换矩阵表达式；所述射影变换矩阵表达式是用未知的位置偏移参数表示的；所述射影变换矩阵用于将待处理图像变换为矫正后的待处理图像；
确定单元，用于根据预定义几何约束以及所述射影变换矩阵表达式确定损失函数；所述损失函数用于评价对所述待处理图像进行正射矫正的准确度；
求解单元，用于通过最小化所述损失函数求解所述标记物的位置偏移量。
在一些实施例中，所述第一获取单元包括：
确定子单元，用于根据所述标记物的中心点坐标确定单应矩阵表达式；所述单应矩阵表达式是用未知的位置偏移参数表示的；
计算子单元，用于根据所述标记物的关键点坐标和所述单应矩阵表达式计算射影变换矩阵表达式。
在一些实施例中，在所述标记物为多个尺寸相同的正方形的情况下，所述预定义几何约束包括以下多种：
所有标记物的边长相等；
所有标记物的内角为直角。
在一些实施例中，在所述标记物为多个尺寸相同的圆形的情况下，所述预定义几何约束包括以下多种：
每一标记物的中心点到同一标记物的边缘等距离；
所有标记物的半径相等。
在一些实施例中，所述矫正模块包括：
第二获取单元，用于基于所述标记物的位置偏移量获取单应矩阵；
矫正单元，用于根据所述单应矩阵对所述待处理图像进行正射矫正。
在一些实施例中，所述第一获取模块包括：
关键点检测单元，用于采用预训练好的关键点检测器对待处理图像中的标记物进行关键点检测，得到所述标记物的位置信息。
具体地，本申请实施例提供的上述基于稀疏标记物的图像矫正装置，能够实现上述基于稀疏标记物的图像矫正方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
需要说明的是，本申请上述各实施例中对单元/模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
图3是本申请实施例提供的一种电子设备的结构示意图，如图3所示，所述电子设备可以包括：处理器（processor）301、通信接口（Communications Interface）302、存储器（memory）303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行基于稀疏标记物的图像矫正方法，该方法包括：
获取待处理图像中的标记物的位置信息；
基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。
具体地，处理器301可以是中央处理器（Central Processing Unit，CPU）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，FPGA）或复杂可编程逻辑器件（Complex Programmable LogicDevice，CPLD），处理器也可以采用多核架构。
存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory ，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
在一些实施例中，还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例提供的基于稀疏标记物的图像矫正方法，该方法包括：
获取待处理图像中的标记物的位置信息；
基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。
具体地，本申请实施例提供的上述计算机程序产品，能够实现上述各方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
在一些实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述各方法实施例提供的基于稀疏标记物的图像矫正方法，
获取待处理图像中的标记物的位置信息；
基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
基于所述标记物的位置偏移量对所述待处理图像进行正射矫正。
具体地，本申请实施例提供的上述计算机可读存储介质，能够实现上述各方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
需要说明的是：所述计算机可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NAND FLASH）、固态硬盘（SSD））等。
另外需要说明的是：本申请实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
本申请中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如，“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中，使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于稀疏标记物的图像矫正方法，其特征在于，包括：
获取待处理图像中的标记物的位置信息；
基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
基于所述标记物的位置偏移量对所述待处理图像进行正射矫正；
所述基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量，包括：
基于所述标记物的位置信息获取射影变换矩阵表达式；所述射影变换矩阵表达式是用未知的位置偏移参数表示的；所述射影变换矩阵用于将待处理图像变换为矫正后的待处理图像；
根据预定义几何约束以及所述射影变换矩阵表达式确定损失函数；所述损失函数用于评价对所述待处理图像进行正射矫正的准确度；
通过最小化所述损失函数求解所述标记物的位置偏移量。
2.根据权利要求1所述的基于稀疏标记物的图像矫正方法，其特征在于，所述基于所述标记物的位置信息获取射影变换矩阵表达式，包括：
根据所述标记物的中心点坐标确定单应矩阵表达式；所述单应矩阵表达式是用未知的位置偏移参数表示的；
根据所述标记物的关键点坐标和所述单应矩阵表达式计算射影变换矩阵表达式。
3.根据权利要求1所述的基于稀疏标记物的图像矫正方法，其特征在于，在所述标记物为多个尺寸相同的正方形的情况下，所述预定义几何约束包括以下多种：
所有标记物的边长相等；
所有标记物的内角为直角。
4.根据权利要求1所述的基于稀疏标记物的图像矫正方法，其特征在于，在所述标记物为多个尺寸相同的圆形的情况下，所述预定义几何约束包括以下多种：
每一标记物的中心点到同一标记物的边缘等距离；
所有标记物的半径相等。
5.根据权利要求1所述的基于稀疏标记物的图像矫正方法，其特征在于，所述基于所述标记物的位置偏移量对所述待处理图像进行正射矫正，包括：
基于所述标记物的位置偏移量获取单应矩阵；
根据所述单应矩阵对所述待处理图像进行正射矫正。
6.根据权利要求1所述的基于稀疏标记物的图像矫正方法，其特征在于，所述获取待处理图像中的标记物的位置信息，包括：
采用预训练好的关键点检测器对待处理图像中的标记物进行关键点检测，得到所述标记物的位置信息。
7.一种基于稀疏标记物的图像矫正装置，其特征在于，包括：
第一获取模块，用于获取待处理图像中的标记物的位置信息；
第二获取模块，用于基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量；
矫正模块，用于基于所述标记物的位置偏移量对所述待处理图像进行正射矫正；
所述基于预定义几何约束和所述标记物的位置信息获取所述标记物的位置偏移量，包括：
基于所述标记物的位置信息获取射影变换矩阵表达式；所述射影变换矩阵表达式是用未知的位置偏移参数表示的；所述射影变换矩阵用于将待处理图像变换为矫正后的待处理图像；
根据预定义几何约束以及所述射影变换矩阵表达式确定损失函数；所述损失函数用于评价对所述待处理图像进行正射矫正的准确度；
通过最小化所述损失函数求解所述标记物的位置偏移量。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于稀疏标记物的图像矫正方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于稀疏标记物的图像矫正方法。
CN202410242270.7A 2024-03-04 2024-03-04 基于稀疏标记物的图像矫正方法、装置及存储介质 Active CN117853382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410242270.7A CN117853382B (zh) 2024-03-04 2024-03-04 基于稀疏标记物的图像矫正方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410242270.7A CN117853382B (zh) 2024-03-04 2024-03-04 基于稀疏标记物的图像矫正方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN117853382A CN117853382A (zh) 2024-04-09
CN117853382B true CN117853382B (zh) 2024-05-28

Family

ID=90548400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410242270.7A Active CN117853382B (zh) 2024-03-04 2024-03-04 基于稀疏标记物的图像矫正方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN117853382B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1662538A2 (en) * 2004-11-30 2006-05-31 Jeol Ltd. Method and apparatus for correcting drift during automated fib processing
CN1952599A (zh) * 2005-10-20 2007-04-25 中国科学院自动化研究所 一种平面叶片面积无损测量***及其方法
JP3914256B1 (ja) * 2006-10-02 2007-05-16 株式会社エヌ・ティ・ティ・データ 画像補正装置、画像補正方法及びプログラム
CN101738605A (zh) * 2009-12-17 2010-06-16 中国测绘科学研究院 Sar影像多项式正射纠正方法
JP2010198554A (ja) * 2009-02-27 2010-09-09 Acutelogic Corp 画像補正装置及び画像補正方法
JP2013235166A (ja) * 2012-05-10 2013-11-21 Konica Minolta Inc 画像形成装置及び位置ずれの補正方法
WO2022027191A1 (zh) * 2020-08-03 2022-02-10 Oppo广东移动通信有限公司 平面矫正方法及装置、计算机可读介质和电子设备
CN114418869A (zh) * 2021-12-22 2022-04-29 华南理工大学 一种文档图像几何校正方法、***、装置及介质
CN115018720A (zh) * 2022-05-18 2022-09-06 深圳市安健科技股份有限公司 一种用于多层平板探测器的几何校正方法及装置
CN115797616A (zh) * 2022-09-23 2023-03-14 深圳市亚略特科技股份有限公司 一种图像校正点获取方法、装置、电子设备及介质
CN115830604A (zh) * 2021-09-16 2023-03-21 顺丰科技有限公司 面单图像矫正方法、装置、电子设备及可读存储介质
CN116739908A (zh) * 2022-03-02 2023-09-12 华为技术有限公司 图像处理方法、装置及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628967B2 (en) * 2017-12-21 2020-04-21 Facebook, Inc. Calibration for multi-camera systems

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1662538A2 (en) * 2004-11-30 2006-05-31 Jeol Ltd. Method and apparatus for correcting drift during automated fib processing
CN1952599A (zh) * 2005-10-20 2007-04-25 中国科学院自动化研究所 一种平面叶片面积无损测量***及其方法
JP3914256B1 (ja) * 2006-10-02 2007-05-16 株式会社エヌ・ティ・ティ・データ 画像補正装置、画像補正方法及びプログラム
JP2010198554A (ja) * 2009-02-27 2010-09-09 Acutelogic Corp 画像補正装置及び画像補正方法
CN101738605A (zh) * 2009-12-17 2010-06-16 中国测绘科学研究院 Sar影像多项式正射纠正方法
JP2013235166A (ja) * 2012-05-10 2013-11-21 Konica Minolta Inc 画像形成装置及び位置ずれの補正方法
WO2022027191A1 (zh) * 2020-08-03 2022-02-10 Oppo广东移动通信有限公司 平面矫正方法及装置、计算机可读介质和电子设备
CN115830604A (zh) * 2021-09-16 2023-03-21 顺丰科技有限公司 面单图像矫正方法、装置、电子设备及可读存储介质
CN114418869A (zh) * 2021-12-22 2022-04-29 华南理工大学 一种文档图像几何校正方法、***、装置及介质
CN116739908A (zh) * 2022-03-02 2023-09-12 华为技术有限公司 图像处理方法、装置及设备
CN115018720A (zh) * 2022-05-18 2022-09-06 深圳市安健科技股份有限公司 一种用于多层平板探测器的几何校正方法及装置
CN115797616A (zh) * 2022-09-23 2023-03-14 深圳市亚略特科技股份有限公司 一种图像校正点获取方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
环境减灾卫星多光谱CCD影像自动几何精纠正与正射校正***;边金虎 等;《生态学报》;20141231;第34卷(第24期);7181-7191 *

Also Published As

Publication number Publication date
CN117853382A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN110307838B (zh) 机器人重定位方法、装置、计算机可读存储介质及机器人
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
CN111199564A (zh) 智能移动终端的室内定位方法、装置与电子设备
US10810718B2 (en) Method and device for three-dimensional reconstruction
CN110136177B (zh) 一种图像配准方法、设备和存储介质
dos Santos et al. Extraction of building roof boundaries from LiDAR data using an adaptive alpha-shape algorithm
CN113298870B (zh) 一种物体的姿态跟踪方法、装置、终端设备和存储介质
Zheng et al. Minimal solvers for 3d geometry from satellite imagery
CN113870215B (zh) 中线提取方法及装置
CN105787897A (zh) 一种模糊二维码图像的处理方法及装置
CN112966711A (zh) 基于卷积神经网络的指针式仪表示数识别方法及***
CN111459269A (zh) 一种增强现实显示方法、***及计算机可读存储介质
CN112215887B (zh) 一种位姿确定方法、装置、存储介质及移动机器人
CN111340042B (zh) 物体轮廓识别方法、装置、设备及存储介质
CN117274255B (zh) 数据检测方法、装置、电子设备及存储介质
CN113658194B (zh) 一种基于参照物的点云拼接方法、装置及存储介质
Mayer Efficient hierarchical triplet merging for camera pose estimation
CN117853382B (zh) 基于稀疏标记物的图像矫正方法、装置及存储介质
CN112212851B (zh) 一种位姿确定方法、装置、存储介质及移动机器人
JP6163868B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN116563096A (zh) 用于图像配准的形变场的确定方法、装置以及电子设备
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法
CN115797616A (zh) 一种图像校正点获取方法、装置、电子设备及介质
CN114387353A (zh) 一种相机标定方法、标定装置及计算机可读存储介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant