CN112906708B - 一种图片处理方法、装置、电子设备和计算机存储介质 - Google Patents
一种图片处理方法、装置、电子设备和计算机存储介质 Download PDFInfo
- Publication number
- CN112906708B CN112906708B CN202110332466.1A CN202110332466A CN112906708B CN 112906708 B CN112906708 B CN 112906708B CN 202110332466 A CN202110332466 A CN 202110332466A CN 112906708 B CN112906708 B CN 112906708B
- Authority
- CN
- China
- Prior art keywords
- corner
- picture
- boundary point
- processed
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 47
- 239000013598 vector Substances 0.000 claims description 38
- 238000003062 neural network model Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图片处理方法、装置、电子设备和计算机存储介质，包括：对待处理图片进行特征提取，获得用于表征待处理图片的图片内容的左上角信息的第一角点特征图、用于表征图片内容的左下角信息的第二角点特征图、用于表征图片内容的右上角信息的第三角点特征图、用于表征图片内容的右下角信息的第四角点特征图、用于表征图片内容对应的两条相对边的第五角点特征图和第六角点特征图；根据至少六通道特征图，确定图片内容的左上角位置、左下角位置、右上角位置、右下角位置、第一边界点位置和第二边界点位置；根据角点位置对待处理图片矫正处理获得矫正后的图片。本方案能够更好地保留图片中的原始内容。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种图片处理方法、装置、电子设备和计算机存储介质。
背景技术
图片在人们的工作和生活中被广泛使用，但是在常用场景中，很多图片尤其是用户拍摄的带有文字或图画等内容的图片会带有一定的畸形角度，使得其中的内容呈现一定程度的畸变，例如，呈现一定的角度（如上窄下宽、上宽下窄等等）。因此，为了更好地获取图片中携带的图片内容，需要对图片进行矫正处理。
目前，图片矫正处理的一种常用方法是通过霍夫变换找到图片内容的边缘的4条直线，进而将图片进行透视变换，得到最终的结果。
但是，上述通过边缘的4条直线对图片内容进行裁剪，很容易将图片内容中位于边缘的信息裁减掉，从而不利于保留图片中的原始内容。
发明内容
有鉴于此，本申请实施例提供了一种图片处理方法、装置、电子设备和计算机存储介质，以至少部分解决上述问题。
第一方面，本申请实施例提供了一种图片处理方法，包括：
对待处理图片进行特征提取，获得至少六通道特征图，其中，所述至少六通道特征图包括：用于表征所述待处理图片的图片内容的左上角信息的第一角点特征图、用于表征所述待处理图片的图片内容的左下角信息的第二角点特征图、用于表征所述待处理图片的图片内容的右上角信息的第三角点特征图、用于表征所述待处理图片的图片内容的右下角信息的第四角点特征图、用于表征所述待处理图片的图片内容对应的两条相对边的边界点信息的第五角点特征图和第六角点特征图；
根据所述至少六通道特征图，确定所述待处理图片的图片内容的角点位置，包括：左上角位置、左下角位置、右上角位置、右下角位置以及所述两条相对边上的第一边界点位置和第二边界点位置；
根据所述角点位置，对所述待处理图片进行矫正处理，获得矫正后的图片。
第二方面，本申请实施例还提供了一种图片处理装置，包括：
一个处理模块，用于对待处理图片进行特征提取，获得至少六通道特征图，其中，所述至少六通道特征图包括：用于表征所述待处理图片的图片内容的左上角信息的第一角点特征图、用于表征所述待处理图片的图片内容的左下角信息的第二角点特征图、用于表征所述待处理图片的图片内容的右上角信息的第三角点特征图、用于表征所述待处理图片的图片内容的右下角信息的第四角点特征图、用于表征所述待处理图片的图片内容对应的两条相对边的边界点信息的第五角点特征图和第六角点特征图；
一个确定模块，用于根据所述处理模块获取的所述至少六通道特征图，确定所述待处理图片的图片内容的角点位置，包括：左上角位置、左下角位置、右上角位置、右下角位置以及所述两条相对边上的第一边界点位置和第二边界点位置；
一个矫正模块，用于根据所述确定模块确定的所述角点位置，对所述待处理图片进行矫正处理，获得矫正后的图片。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序实现上述第一方面的任一可能实现方式提供的图片处理方法。
第四方面，本申请实施例还提供了一种计算机存储介质，包括：所述计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时，实现上述第一方面的任一可能实现方式提供的图片处理方法。
由上述技术方案可知，因待处理图片可能存在畸形角度，使得后续对该待处理图片进行相应处理时产生问题，有可能损失原始图片内容。为此，本申请实施例的方案，首先对待处理图片进行特征提取，可提取出待处理图片中的特征信息，尤其是表征图片内容所在部分的角点的信息的特征图，包括第一角点特征图、第二角点特征图、第三角点特征图、第四角点特征图、第五角点特征图和第六角点特征图的至少六通道特征图。再基于至少六通道特征图确定出待处理图片中的图片内容的左上角位置、左下角位置、右上角位置、右下角位置、第一边界点位置和第二边界点位置。以便基于角点位置确定图片内容在待处理图片中的畸形角度，进而确定待处理图片的矫正方式，以确保可以有效避免裁剪掉位于图片内容边缘的信息，从而能够更好地保留图片的原始内容。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种图片处理方法的流程图；
图2是本申请实施例二提供的另一种图片处理方法的流程图；
图3是本申请实施例二提供的七通道特征图的示意图；
图4是本申请实施例二提供的待处理图片中的图片内容的角点位置的示意图；
图5是本申请实施例二提供的划分出的第一子图片的示意图；
图6是本申请实施例二提供的划分出的第二子图片的示意图；
图7是本申请实施例二提供的第一子图片和第二子图片拼接后的示意图；
图8是本申请实施例三提供的一种图片处理装置的示意图；
图9是本申请实施例四提供的一种电子设备的示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请所提供的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
实施例一
图1是本申请实施例一提供的一种图片处理方法的流程图。参见图1，该方法包括如下步骤：
101、对待处理图片进行特征提取，获得至少六通道特征图，其中，至少六通道特征图包括：用于表征待处理图片的图片内容的左上角信息的第一角点特征图、用于表征待处理图片的图片内容的左下角信息的第二角点特征图、用于表征待处理图片的图片内容的右上角信息的第三角点特征图、用于表征待处理图片的图片内容的右下角信息的第四角点特征图、用于表征待处理图片的图片内容对应的两条相对边的边界点信息的第五角点特征图和第六角点特征图。
本申请实施例中，待处理图片的图片内容对应的两条相对边，可以是待处理图片的图片内容的上边界、下边界、左边界或右边界。
图片内容对应的两条相对边为相对的两条边，且两条边之间的夹角大于预设的夹角阈值。例如，由于用户拍摄角度问题，使得待处理的图片内容形状畸形，如，形状为四边形（例如，梯形）、五边形（例如，四边形缺少任意一个角）或六边形（例如，四边形缺少任意两个角）的图片内容。那么两条相对边可以是梯形的两条腰，或者在竖直方向或水平方向相对的两条边。由于待处理图片的图片内容可以包括文字、图画等，但不限于此。而图片内容的显示方向可能是便于人们查阅的正向方向，或者是不便于人们查阅的具有一定偏转角度的方向，因此，为了便于在对待处理图片的图片内容进行矫正过程中，最大程度降低图片内容的畸形，两条相对边还可以是在图片内容的正向方向上相对的两条边。
所述待处理图片可以为任意适当的图片，包括但不限于携带文本信息的图片、包括图画信息的图片等。
对待处理图片的特征提取可由本领域技术人员采用适当方式实现，本申请实施例中可采用神经网络模型的方式进行待处理图片的特征提取，该神经网络模型具有目标对象检测尤其是图片内容的角点的检测的功能。该神经网络模型可采用诸如CNN、RESNET等结构实现。
通过特征提取获得的至少六通道特征图包括第一角点特征图、第二角点特征图、第三角点特征图、第四角点特征图、第五角点特征图和第六角点特征图。不同特征图可以有效表征不同角点所在区域的特征。
102、根据至少六通道特征图，确定待处理图片的图片内容的角点位置，包括：左上角位置、左下角位置、右上角位置、右下角位置以及两条相对边上的第一边界点位置和第二边界点位置。
至少六通道特征图中的每一个特征图表征待处理图片的图片内容的一个角点的信息或边界点的信息，因此，通过至少六通道特征图可以确定图片内容的角点位置和边界点位置，进而在后续可以据此确定图片内容的畸形程度，便于进一步对待处理图片采用适当的方式进行矫正处理。
上述左上角位置、左下角位置、右上角位置、右下角位置分别表征图片内容的最上最左位置、最下最左位置、最上最右位置和最下最右位置；而第一边界点位置和第二边界点位置则可以为图片内容的边界上的某一位置（除左上角位置、左下角位置、右上角位置和右下角位置外），例如，第一边界点位置或第二边界点位置，位于左上角位置与右上角位置之间的边界上，或者位于右上角位置与右下角位置之间的边界上，或者位于左下角位置与右下角位置之间的边界上，或者位于左上角位置与左下角位置之间的边界上。但第一边界点位置和第二边界点位置不在图片内容的同一条边界上。
举例来说，第一边界点位置可以为图片内容的左侧边界与待处理图片的左侧边界的交点位置（如图4中的位置6），第二边界点位置可以为图片内容的右侧边界与待处理图片的右侧边界的交点位置（如图4中的位置3）。但在某些待处理图片中。图片内容的边界与待处理图片的边界可能没有交点，此种情况下，第一边界点位置和第二边界点位置可为图片内容的左侧边界、上的适当位置和右侧边界上的适当位置。在一种可行方式中，可为接近对应的左下角位置和右下角位置的位置。这种情况下，本申请实施例不对边界点位置与角点位置的接近程度进行限定，例如，可以在左上角位置和左下角位置连线的下1/3、或1/4、或1/5等位置。
103、根据角点位置，对待处理图片进行矫正处理，获得矫正后的图片。
根据角点位置，可以判断出图片内容的边界与待处理图片的边界的关系，进而可以根据该关系确定适当的矫正处理策略，进行矫正处理。
例如，若根据角点位置，确定图片内容的边界与待处理图片的边界在中段相交，则可对待处理图片进行适当拆分后再分别进行矫正处理；而若根据角点位置，确定图片内容的边界与待处理图片的边界不相交或仅在左下角或右下角相交，则可直接对待处理图片进行矫正处理。由此，保证矫正处理后的图片尽可能多地保留原始内容。
本申请实施例提供的方案，因待处理图片可能存在畸形角度，使得后续对该待处理图片进行相应处理时产生问题，有可能损失原始图片内容。为此，本申请实施例的方案，首先对待处理图片进行特征提取，可提取出待处理图片中的特征信息，尤其是表征图片内容所在部分的角点的信息的特征图，包括第一角点特征图、第二角点特征图、第三角点特征图、第四角点特征图、第五角点特征图和第六角点特征图的至少六通道特征图。再基于至少六通道特征图确定出待处理图片中的图片内容的左上角位置、左下角位置、右上角位置、右下角位置、第一边界点位置和第二边界点位置。以便基于角点位置确定图片内容在待处理图片中的畸形角度，进而确定待处理图片的矫正方式，以确保可以有效避免裁剪掉位于图片内容边缘的信息，从而能够更好地保留图片的原始内容。
实施例二
本实施例中，以七通道特征图、第一边界点位置为位于待处理图片的图片内容的左边界上的左边界点位置，以及第二边界点位置为位于待处理图片的图片内容的右边界上的右边界点位置为例，对本申请实施例二提供的一种图片处理方法的进行详细说明。但本领域技术人员应当明了的是，采用如实施例一中所述的六通道特征图或者比七通道特征图更多通道的特征图，或者，第一边界点位置、第二边界点位置为待处理图片的图片内容其他边界上的位置均可参照本实施例实现本申请的图片处理方案。此外，本实施例中，采用角点检测神经网络模型的方式对待处理图片进行特征提取，为此，首先对该角点检测神经网络模型的训练过程进行说明。
参见图2，该方法包括如下步骤：
（一）角点检测神经网络模型的训练过程：
201、将图片训练样本输入角点检测神经网络模型进行特征提取，获得七通道的样本特征图。
首先，获取包含有图片内容的角点位置标注信息的图片训练样本，其中，角点位置标注信息包括图片内容的左上角位置信息、左下角位置信息、右上角位置信息、右下角位置信息、第一边界点位置信息和第二边界点位置信息。该角点标注信息可以是经过人工标注获得的，也可以是经过除角点检测神经网络模型之外的其他模型标注获得的信息。其中，第一边界点位置信息和第二边界点位置信息可由本领域技术人员根据实际需求适当设置，例如，第一边界点位置信息或第二边界点位置信息，可以是图片内容的左上角与右上角之间的边界上的边界点信息，或者是图片内容的左上角与左下角之间的边界上的边界点信息，或者图片内容的左上角与右下角之间的边界上的边界点信息，或者图片内容的右上角与右下角之间的边界上的边界点信息，本申请实施例对此不作限制。
其次，将图片训练样本输入至角点检测神经网络模型中，通过角点检测神经网络模型对图片训练样本进行特征提取，进而得到七通道的样本特征图，其中，七通道的样本特征图包括图片训练样本的图片内容的左上角信息的第一角点样本特征图、用于表征图片训练样本的图片内容的左下角信息的第二角点样本特征图、用于表征图片训练样本的图片内容的右上角信息的第三角点样本特征图、用于表征图片训练样本的图片内容的右下角信息的第四角点样本特征图、用于表征图片训练样本的图片内容对应的两条相对边的边界点信息的第五角点样本特征图、第六角点样本特征图，以及用于表征图片训练样本的图片内容的背景信息的背景样本特征图。
需要说明的是，本申请实施例不对角点检测神经网络模型采用的具体形式和结构进行限定，只要可检测出图片内容的所述至少六个角点的位置即可。例如，可通过卷积神经网络CNN模型实现角点检测神经网络模型，通过CNN模型的卷积层对待处理图片进行特征提取；或者，可通过残差网络模型RESNET实现角点检测神经网络模型，通过其中的卷积层和残差层对待处理图片进行特征提取，等等。以RESNET为例，通过对其卷积层部分进行算法、通道和参数等设置，可使得其对图片进行特征提取，并最终输出七通道的特征图。
需要说明的是，与实施例一中所述的六通道特征图相比，增加背景特征图可使角点检测神经网络模型更为准确地确定图片内容，进而更好地预测待处理图片的角点位置。但如前所述，在实际应用中，也可以没有背景特征图。
202、根据七通道的样本特征图，预测获得图片训练样本的图片内容的角点预测位置。
如前所述，可以通过对角点检测神经网络模型的设置，使其输出七通道的特征图。在训练阶段，输出七通道的样本特征图。针对七通道的样本特征图中的每个样本特征图，其可有效对某一区域内的角点位置进行预测，获得相应的角点预测位置。在该过程中，因各个区域内对应的待处理图片的相应部分中的像素点数量通常较多，因此，为了提高角点预测位置的准确性，可通过高斯分布进行角点区域预测，得到预测的角点区域中的每个像素点为角点的概率。进而，将每个角点区域中概率最大的像素点确定为该区域的角点，获得确定的角点的角点位置。
在一种可行方式中，在将每个角点区域中概率最大的像素点确定为角点时，可以对每个像素点为角点的概率进行归一化处理，以消除特征之间量级不同导致的影响，使得每个像素点为角点的概率统一在（0,1）之间。可选地，归一化处理可以采用sigmod函数的方式。
在进行了归一化处理后，可以根据归一化处理的结果，将各个角点区域中概率最大的像素点作为预测的角点。最后确定该角点在图片训练样本的位置，即为角点预测位置。
203、根据角点预测位置和角点位置标注信息，以及预设的损失函数，获得对应的损失值。
本实施例中，通过下述损失函数计算损失值：
其中，MSE表征损失函数的损失值，y i表征图片训练样本的角点预测位置的第i个坐标点的坐标值，表征图片训练样本的角点标注信息的第i个坐标点的坐标值，n表征角点位置标注信息的坐标点的数量。
204、根据损失值对角点检测神经网络模型进行训练。
在获得了损失值后，可以依据该损失值进行反向传播，以调整角点检测神经网络模型的各个模型参数。
需要说明的是，因角点检测神经网络模型需要通过大量图片训练样本进行训练，因此，上述步骤201-204迭代执行，直至达到训练终止条件，如损失值达到预设阈值或者训练次数达到预设训练次数等。
通过上述过程，完成了角点检测神经网络模型的训练，在后续可长期使用。基于该训练完成的角点检测神经网络模型，可进行后续的推理阶段，即，使用该角点检测神经网络模型进行图片的角点检测。
（二）角点检测神经网络模型的推理过程：
205、使用预先训练完成的角点检测神经网络模型对待处理图片进行特征提取，获得七通道特征图。
在角点检测神经网络模型训练完成后，可利用其对待处理图片角点位置进行检测。
例如，可通过RESNET50模型对尺寸为512*512*3的待处理图片进行特征提取，得到尺寸为128*128*7的七通道特征图。该七通道特征图包括用于表征待处理图片的图片内容的左上角信息的第一角点特征图、用于表征待处理图片的图片内容的左下角信息的第二角点特征图、用于表征待处理图片的图片内容的右上角信息的第三角点特征图、用于表征待处理图片的图片内容的右下角信息的第四角点特征图、用于表征待处理图片的图片内容的左边界点信息的第五角点特征图和用于表征待处理图片的图片内容的右边界点信息的第六角点特征图以及用于表征待处理图片的背景信息的背景特征图。
206、针对七通道特征图中除背景特征图中的每个特征图，通过高斯分布进行角点区域预测，得到角点区域中的每个像素点为角点的概率。
高斯分布是一种正态分布，为进行角点区域的准确预测，可以对每个特征图对应的特征向量数据，使用高斯分布函数进行处理，从而获得每个特征图对应的中心区域，该中心区域即角点区域，在该区域中存在着可能为角点的像素点。而某个像素点是否为角点的可能性通过该角点的概率表征。
207、对每个像素点为角点的概率进行归一化处理，根据归一化处理的结果，将每个角点区域中概率最大的像素点确定为角点，并获得确定的角点的角点位置。
其中，角点位置包括：左上角位置、左下角位置、右上角位置、右下角位置、第一边界点位置和第二边界点位置。确定了每个角点区域中的角点，即可确定其对应的角点位置。
下面以用于表征待处理图片的图片内容的左上角信息的第一角点特征图为例，对左上角位置确定进行举例说明。
由于第一角点特征图中预测出的中心区域内的像素点为左上角点的概率同样较高，因此，可采用高斯分布进行角点区域预测，得到角点区域中每个像素点为左上角点的概率。
进而，通过sigmod函数，将得到的概率映射到（0,1）区间。进而，通过比对每个像素点的概率的大小，从中选取概率最大的像素点作为左上角点。进一步地，可通过后续步骤如步骤208确定该左上角点在该特征图中的坐标，即可确定该左上角点的角点位置。
图3是预测出的角点的位置的示意图。其中，图3中的标识a表征待处理图片的图片内容的左上角位置、标识b表征图片内容的右上角位置、标识c表征图片内容的第二边界点位置、标识d表征图片内容的右下角位置、标识e表征图片内容的左下角位置、标识f表征图片内容的第一边界点位置以及标识g表征待处理图片的背景信息。
208、确定左边界点位置及与其同侧的两个角点位置，以及右边界点位置与其同侧的两个角点位置分别在待处理图片中对应的坐标。
在本实施例中，由于左边界点位置位于图片内容的左侧边界上，因此，与左侧边界点位置同侧的两个角点位置则为图片内容的左边界的两个端点，即左上角和左下角。
由于右边界点位置位于图片内容的右边界上，因此，与右侧边界点位置同侧的两个角点位置则为图片内容的右边界的两个端点，即右上角和右下角。
可以理解的是，若第一边界点位置位于左上角位置与右上角位置之间的边界上，而该边界为待处理图片的图片内容的上边界，则，与该第一边界点位置同侧的两个角点位置即为左上角位置和右上角位置。若第一边界点位置位于左下角位置与右下角位置之间的边界上，该边界即为待处理图片的图片内容的下边界，因此，与该第一边界点位置同侧的两个角点位置即为左下角位置和右下角位置。
需要说明的是，在某些角点检测神经网络模型进行特征提取时，会进行下采样操作。例如，通过RESNET50模型进行特征提取获得的特征图通常为与原图相比缩小4倍的特征图。在此情况下，若左上角点在第一角点特征图的坐标为（x，y）时，该左上角点的在第一角点特征图的坐标映射至待处理图片的坐标即为（4x，4y），坐标（4x，4y）即为该左上角点在待处理图片中的左上角位置。
209、根据确定出的坐标，计算左边界点位置及与其同侧的两个角点位置对应的第一向量和第二向量。
210、根据确定出的坐标，计算右边界点位置及与其同侧的两个角点位置对应的第三向量和第四向量。
在一种可行方式中，可通过直接进行坐标相减的方式，得到坐标的差值，作为相应的向量。
需要说明的是，本实施例中，以先获得第一向量和第二向量，后获得第三向量和第四向量为例，但在实际应用中，步骤208和210的执行可以不分先后顺序，也可以并行执行。
211、根据第一向量和第二向量，确定左边界点位置与其对应的两个角点之间的第一位置关系。
具体到本实施例，该第一位置关系用于表征左边界点、左上角和左下角是否共线。
212、根据第三向量和第四向量确定右边界点位置与其对应的两个角点之间的第二位置关系。
具体到本实施例，该第二位置关系用于表征右边界点、右上角和右下角是否共线。
在确定出待处理图片的图片内容的角点位置关系后，还需要判断图片内容的左上角、右上角、左下角和右下角是否存在被遮挡的情况。以左上角位置、左边界点位置和左下角位置为例，基于向量（左边界点位置的坐标-左上角位置的坐标）记为向量a。基于（左边界点位置的坐标-左下角位置的坐标）记为向量b。根据向量a和向量b判断图片内容的左上角位置、左边界点位置和左下角位置的位置关系有如下两种方式：
第一种方式为：通过确定向量a与向量b的夹角是否在预设的第一区间内，若该夹角位于第一区间内，则左上角位置、左边界点位置和左下角位置共线，该直线为左上角位置到左下角位置。否则，认为左上角位置、左边界点位置和左下角位置不可以组成一条直线。其中，第一区间如[175,180]或者[178,180]。可以理解的是，第一区间可由本领域技术人员根据实际需求适当设置。
第二种方式为：通过确定向量a与向量b的斜率是否在预设的第二区间内，若该斜率位于第二区间内，则左上角位置、左边界点位置和左下角位置共线，该直线为左上角位置到左下角位置。否则，认为左上角位置、左边界点位置和左下角位置不可以组成一条直线。其中，第二区间如[-0.5,0.5]或者[-0.1,0.1]。可以理解的是，第二区间可由本领域技术人员根据实际需求适当设置。
右上角位置、右边界点位置和右下角位置之间的位置关系的计算方式同上，此处不再赘述。
213、根据第一位置关系和第二位置关系，对待处理图片进行矫正处理，获得矫正后的图片。
待处理图片的图片内容的第一边界点位置、左上角位置和左下角位置的位置关系可能是在同一条线上或者未在同一条线上。同样地，待处理图片的图片内容的右边界点位置、右上角位置和右下角位置的位置关系也可能是在同一条线上或者未在同一条线上。因此，可确定角点位置之间的位置关系可能存在以下几种情况：
情况一：图片内容的左边界点位置、左上角位置和左下角位置的位置关系为共线，且图片内容的右边界点位置、右上角位置和右下角位置的位置关系为未共线（即，右上角位置或右下角位置存在被遮挡的情况）。
情况二：图片内容的左边界点位置、左上角位置和左下角位置的位置关系为未共线（即，左上角位置或左下角位置存在被遮挡的情况），且图片内容的右边界点位置、右上角位置和右下角位置的位置关系为共线。
情况三：图片内容的左边界点位置、左上角位置和左下角位置的位置关系为未共线（即，左上角位置或左下角位置存在被遮挡的情况），且图片内容的右边界点位置、右上角位置和右下角位置的位置关系为未共线（即，右上角位置或右下角位置存在被遮挡的情况）。
情况四：图片内容的左边界点位置、左上角位置和左下角位置的位置关系为共线，且图片内容的右边界点位置、右上角位置和右下角位置的位置关系为共线，即，左上角位置、左下角位置和第一边界点位置在同一条线上，右上角位置、右下角位置和第二边界点位置在同一条线上。
针对情况一、情况二和情况三：
当存在情况一、二和三时，表明待处理图片中存在着角点不共线的情况，也即，图片内容的左上角、左下角、右上角和右下角中的至少一个边角存在被遮挡的情况，此时，待处理图片中的图片内容的左上角位置、右上角位置、第二边界点位置、右下角位置、左下角位置和左边界点位置依次连接可形成六边形，需要对待处理图片进行拆分、对拆分后的子图片分别矫正再进行拼接处理。
例如，将待处理图片中的图片内容的左上角位置、右上角位置、右边界点位置和第一边界点位置依次连接，可以得到一个四边形，从待处理图片中划分出该四边形，即可得到针对左上角位置、右上角位置、右边界点位置和左边界点位置的第一子图片。
将左边界点位置、右边界点位置、右下角位置和左下角位置依次连接，可以得到另一个四边形，从待处理图片中划分出将该四边形，即可得到针对左边界点位置、右边界点位置、右下角位置和左下角位置的第二子图片。
确定第一子图片和第二子图片分别对应的宽度，基于数值最大的宽度对第一子图片和第二子图片进行矫正。通过该种方式，一方面可以统一矫正的基准，另一方面也可以使得进行了矫正后的图片更容易进行拼接。
例如，第一子图片的左上角位置至右上角位置之间的距离为13cm，第一子图片的第一边界点位置至第二边界点位置之间的距离为18cm。第二子图片的第一边界点位置至第二边界点位置之间的距离为18cm，第二子图片的左下角位置至右下角位置之间的距离为16cm。第一边界点位置至第二边界点位置之间的距离最大，因此，基于左边界点位置至右边界点位置之间的距离对第一子图片和第二子图片进行矫正处理。但不限于此，其它任意适当的对图片进行拆分和矫正，以及确定矫正基准的方式均适用于本申请实施例的方案。
将矫正处理后的第一子图片和第二子图片，按照在待处理图片时的相对位置进行拼接。
针对情况四：
若待处理图片的图片内容的左边界点位置、左上角位置和左下角位置的位置关系为共线，且图片内容的右边界点位置、右上角位置和右下角位置的位置关系为共线时，表征图片内容的形状为四边形。该图片内容形状的畸形通常是由于用户的拍摄角度造成的，而图片内容的左上角、左下角、右下角和右上角均在待处理图片中，因此，无需对图片内容进行拆分，可基于角点位置直接对图片内容的形状进行矫正即可。
此时，可基于角点位置从待处理图片中划分出图片内容。例如，将待处理图片中的图片内容的左上角位置、右上角位置、右边界点位置、右下角位置、左下角位置和左边界点位置依次连接，框定出相应的图片内容区域进行矫正处理。
图4是检测出的待处理图片的图片内容的左上角位置1、右上角位置2、右边界点位置3、右下角位置4、左下角位置5和左边界点位置6，标识7表征待处理图片的背景信息，标识8表征待处理图片的图片内容，其中，该待处理图片中的图片内容的左下角和右下角由于拍摄角度问题被遮挡住。
图5是当图片内容的左下角和右下角被遮挡住时，按照图片内容的左上角位置、右上角位置、右边界点位置和左边界点位置，从待处理图片中划分出的第一子图片的示意图。
图6是当图片内容的左下角和右下角被遮挡住时，按照图片内容的左边界点位置、右边界点位置、右下角位置和左下角位置，从待处理图片中划分出的第二子图片的示意图。
图7是对从待处理图片中划分出的第一子图片Z1和第二子图片Z2分别进行矫正处理和拼接后的示意图。
需要说明的是，上述矫正处理和拼接处理的具体实现手段，可由本领域技术人员根据实际需求适当设置，本申请实施例对此不作限制。
通过本实施例，因待处理图片可能存在畸形角度，使得后续对该待处理图片进行相应处理时产生问题，有可能损失原始图片内容。为此，本申请实施例的方案，首先对待处理图片进行特征提取，可提取出待处理图片中的特征信息，尤其是表征图片内容所在部分的角点的信息的特征图，包括第一角点特征图、第二角点特征图、第三角点特征图、第四角点特征图、第五角点特征图和第六角点特征图的至少六通道特征图。再基于至少六通道特征图确定出待处理图片中的图片内容的左上角位置、左下角位置、右上角位置、右下角位置、第一边界点位置和第二边界点位置。以便基于角点位置确定图片内容在待处理图片中的畸形角度，进而确定待处理图片的矫正方式，以确保可以有效避免裁剪掉位于图片内容边缘的信息，从而能够更好地保留图片的原始内容。
实施例三
图8是本申请实施例三提供的一种图片处理装置的示意图，参见图8，该装置包括：
一个处理模块801，用于对待处理图片进行特征提取，获得至少六通道特征图，其中，所述至少六通道特征图包括：用于表征所述待处理图片的图片内容的左上角信息的第一角点特征图、用于表征所述待处理图片的图片内容的左下角信息的第二角点特征图、用于表征所述待处理图片的图片内容的右上角信息的第三角点特征图、用于表征所述待处理图片的图片内容的右下角信息的第四角点特征图、用于表征所述待处理图片的图片内容对应的两条相对边的边界点信息的第五角点特征图和第六角点特征图；
一个确定模块802，用于根据所述处理模块801获取的所述至少六通道特征图，确定所述待处理图片的图片内容的角点位置，包括：左上角位置、左下角位置、右上角位置、右下角位置以及所述两条相对边上的第一边界点位置和第二边界点位置；
一个矫正模块803，用于根据所述确定模块802确定的所述角点位置，对所述待处理图片进行矫正处理，获得矫正后的图片。
在本申请实施例中，因待处理图片可能存在畸形角度，使得后续对该待处理图片进行相应处理时产生问题，有可能损失原始图片内容。为此，本申请实施例的方案，首先对待处理图片进行特征提取，可提取出待处理图片中的特征信息，尤其是表征图片内容所在部分的角点的信息的特征图，包括第一角点特征图、第二角点特征图、第三角点特征图、第四角点特征图、第五角点特征图和第六角点特征图的至少六通道特征图。再基于至少六通道特征图确定出待处理图片中的图片内容的左上角位置、左下角位置、右上角位置、右下角位置、第一边界点位置和第二边界点位置。以便基于角点位置确定图片内容在待处理图片中的畸形角度，进而确定待处理图片的矫正方式，以确保可以有效避免裁剪掉位于图片内容边缘的信息，从而能够更好地保留图片的原始内容。
在一种可能的实现方式中，处理模块801用于针对所述至少六通道特征图中的每个特征图，通过高斯分布进行角点区域预测，得到角点区域中的每个像素点为角点的概率；将每个角点区域中概率最大的像素点确定为角点，获得确定的所述角点的角点位置。
在一种可能的实现方式中，处理模块801用于对每个像素点为角点的概率进行归一化处理，并根据归一化处理的结果，将每个角点区域中概率最大的像素点确定为角点。
在一种可能的实现方式中，矫正模块803，用于分别确定与所述第一边界点位置同侧的两个角点位置，和与所述第二边界点位置同侧的两个角点位置；根据所述第一边界点位置与其同侧的两个角点位置之间的坐标关系，以及所述第二边界点位置与其同侧的两个角点位置之间的坐标关系，确定第一边界点与其对应的两个角点之间的第一位置关系，以及，第二边界点与其对应的两个角点之间的第二位置关系；根据所述第一位置关系和所述第二位置关系，对所述待处理图片进行矫正处理，获得矫正后的图片。
在一种可能的实现方式中，矫正模块803，用于确定所述第一边界点位置及与其同侧的两个角点位置，以及所述第二边界点位置与其同侧的两个角点位置分别在所述待处理图片中对应的坐标；根据所述坐标，计算所述第一边界点位置及与其同侧的两个角点位置对应的第一向量和第二向量，所述第二边界点位置及与其同侧的两个角点位置对应的第三向量和第四向量；根据所述第一向量和所述第二向量，确定第一边界点与其对应的两个角点之间的第一位置关系；根据所述第三向量和所述第四向量，确定所第一边界点与其对应的两个角点之间的第二位置关系。
在一种可能的实现方式中，矫正模块803用于若与所述第一边界点位置同侧的两个角点位置分别为左上角位置和左下角位置，与所述第二边界点位置同侧的两个角点位置分别为右上角位置和右下角位置；
若所述第一位置关系表征所述第一边界点位置、所述左上角位置和所述左下角位置共线，且所述第二位置关系表征所述第二边界点位置、所述右上角位置和所述右下角位置共线时，则按照所述角点位置，获得包括所述图片内容的待处理图片，并对所述待处理图片进行矫正处理。
在一种可能的实现方式中，矫正模块803用于若与所述第一边界点位置同侧的两个角点位置分别为左上角位置和左下角位置，与所述第二边界点位置同侧的两个角点位置分别为右上角位置和右下角位置；
若所述第一位置关系表征所述第一边界点位置、所述左上角位置和所述左下角位置未共线，或所述第二位置关系表征所述第二边界点位置、所述右上角位置和所述右下角位置未共线时，则按照所述角点位置对所述待处理图片进行拆分，获得拆分后的至少两张子图片，并对拆分后的所述至少两张子图片进行矫正处理。
在一种可能的实现方式中，矫正模块803用于按照所述角点位置中的左上角位置、右上角位置、第二边界点位置和第一边界点位置，从所述待处理图片中拆分出第一子图片；按照所述角点位置中的第一边界点位置、第二边界点位置、右下角位置和左下角位置，从所述待处理图片中拆分出第二子图片；对所述第一子图片和所述第二子图片进行矫正处理；按照所述第一子图片和所述第二子图片在所述待处理图片中的相对位置，对进行矫正处理后的所述第一子图片和进行矫正处理后的所述第二子图片进行拼接。
在一种可能的实现方式中，处理模块801用于使用预先训练完成的角点检测神经网络模型对待处理图片进行特征提取，获取至少六通道特征图；其中，所述角点检测神经网络模型使用包含有角点位置标注信息的图片训练样本进行训练，所述角点位置标注信息包括：图片内容的左上角位置信息、左下角位置信息、右上角位置信息、右下角位置信息、第一边界点位置信息和第二边界点位置信息。
在一种可能的实现方式中，处理模块801用于将所述图片训练样本输入所述角点检测神经网络模型进行特征提取，获得至少六通道的样本特征图；根据所述至少六通道的样本特征图，预测获得所述图片训练样本的图片内容的角点预测位置；根据所述角点预测位置和所述角点位置标注信息，以及预设的损失函数，获得对应的损失值；根据所述损失值对所述角点检测神经网络模型进行训练。
在一种可能的实现方式中，所述损失函数为：
其中，MSE表征所述损失函数的损失值，y i表征所述图片训练样本的所述角点预测位置的第i个坐标点的坐标值，表征所述图片训练样本的所述角点标注信息的第i个坐标点的坐标值，n表征所述角点位置标注信息的坐标点的数量。
在一种可能的实现方式中，所述至少六通道特征图为七通道特征图，所述七通道特征图还包括用于表征所述待处理图片的背景信息的背景特征图。
在一种可能的实现方式中，所述两条相对边为夹角大于预设的夹角阈值且相对的两条边。
在一种可能的实现方式中，所述两条相对边为所述图片内容正向方向上相对的两条边。
实施例四
基于上述实施例一和实施例二所描述的图片处理方法，本申请实施例提供了一种电子设备，用于执行上述实施例一和实施例二中的图片处理方法。图9是本申请实施例四提供的一种电子设备的示意图。参见图9，本申请实施例八提供的电子设备90包括：至少一个处理器(processor)902、存储器(memory)904、总线906及通信接口(CommunicationsInterface)908。其中，
处理器902、通信接口908、以及存储器904通过通信总线906完成相互间的通信。
通信接口908，用于与其它设备进行通信。
处理器902，用于执行程序910，具体可以执行上述实施例一、实施例二和实施例三所描述的方法中的相关步骤。
具体地，程序910可以包括程序代码，该程序代码包括计算机操作指令。
处理器902可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器904，用于存放程序910。存储器904可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
实施例五
本申请实施例提供一种计算机存储介质，包括：计算机存储介质存储有计算机程序，在处理器执行计算机程序时，实现如本申请任一实施例所描述的图片处理方法。
本申请实施例中，因待处理图片可能存在畸形角度，使得后续对该待处理图片进行相应处理时产生问题，有可能损失原始图片内容。为此，本申请实施例的方案，首先对待处理图片进行特征提取，可提取出待处理图片中的特征信息，尤其是表征图片内容所在部分的角点的信息的特征图，包括第一角点特征图、第二角点特征图、第三角点特征图、第四角点特征图、第五角点特征图和第六角点特征图的至少六通道特征图。再基于至少六通道特征图确定出待处理图片中的图片内容的左上角位置、左下角位置、右上角位置、右下角位置、第一边界点位置和第二边界点位置。以便基于角点位置确定图片内容在待处理图片中的畸形角度，进而确定待处理图片的矫正方式，以确保可以有效避免裁剪掉位于图片内容边缘的信息，从而能够更好地保留图片的原始内容。
至此，已经对本申请的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种图片处理方法，其特征在于，包括：
对待处理图片进行特征提取，获得至少六通道特征图，其中，所述至少六通道特征图包括：用于表征所述待处理图片的图片内容的左上角信息的第一角点特征图、用于表征所述待处理图片的图片内容的左下角信息的第二角点特征图、用于表征所述待处理图片的图片内容的右上角信息的第三角点特征图、用于表征所述待处理图片的图片内容的右下角信息的第四角点特征图、用于表征所述待处理图片的图片内容对应的两条相对边的边界点信息的第五角点特征图和第六角点特征图；
根据所述至少六通道特征图，确定所述待处理图片的图片内容的角点位置，包括：左上角位置、左下角位置、右上角位置、右下角位置以及所述两条相对边上的第一边界点位置和第二边界点位置；
分别确定与所述第一边界点位置同侧的两个角点位置，和与所述第二边界点位置同侧的两个角点位置，根据所述第一边界点位置与其同侧的两个角点位置之间的坐标关系，以及所述第二边界点位置与其同侧的两个角点位置之间的坐标关系，确定第一边界点与其对应的两个角点之间的第一位置关系，以及，第二边界点与其对应的两个角点之间的第二位置关系，根据所述第一位置关系和所述第二位置关系，对所述待处理图片进行矫正处理，获得矫正后的图片，其中：
在与所述第一边界点位置同侧的两个角点位置分别为左上角位置和左下角位置，与所述第二边界点位置同侧的两个角点位置分别为右上角位置和右下角位置的情况下：
若所述第一位置关系表征所述第一边界点位置、所述左上角位置和所述左下角位置共线，所述第二位置关系表征所述第二边界点位置、所述右上角位置和所述右下角位置共线时，则按照所述角点位置，获得包括所述图片内容的待处理图片，并对所述待处理图片进行矫正处理；
若所述第一位置关系表征所述第一边界点位置、所述左上角位置和所述左下角位置未共线，或所述第二位置关系表征所述第二边界点位置、所述右上角位置和所述右下角位置未共线时，则按照所述角点位置对所述待处理图片进行拆分，获得拆分后的至少两张子图片，并对拆分后的所述至少两张子图片进行矫正处理，对进行矫正处理后的所述至少两张子图片进行拼接。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少六通道特征图，确定所述待处理图片的图片内容的角点位置，包括：
针对所述至少六通道特征图中的每个特征图，通过高斯分布进行角点区域预测，得到角点区域中的每个像素点为角点的概率；将每个角点区域中概率最大的像素点确定为角点，获得确定的所述角点的角点位置。
3.根据权利要求2所述的方法，其特征在于，所述将每个角点区域中概率最大的像素点确定为角点，包括：
对每个像素点为角点的概率进行归一化处理，并根据归一化处理的结果，将每个角点区域中概率最大的像素点确定为角点。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一边界点位置与其同侧的两个角点位置之间的坐标关系，以及所述第二边界点位置与其同侧的两个角点位置之间的坐标关系，确定第一边界点与其对应的两个角点之间的第一位置关系，以及，第二边界点与其对应的两个角点之间的第二位置关系，包括：
确定所述第一边界点位置及与其同侧的两个角点位置，以及所述第二边界点位置与其同侧的两个角点位置分别在所述待处理图片中对应的坐标；
根据所述坐标，计算所述第一边界点位置及与其同侧的两个角点位置对应的第一向量和第二向量，所述第二边界点位置及与其同侧的两个角点位置对应的第三向量和第四向量；
根据所述第一向量和所述第二向量，确定第一边界点与其对应的两个角点之间的第一位置关系；
根据所述第三向量和所述第四向量，确定所第一边界点与其对应的两个角点之间的第二位置关系。
5.根据权利要求1所述的方法，其特征在于，
所述按照所述角点位置对所述待处理图片进行拆分，获得拆分后的至少两张子图片，并对拆分后的所述至少两张子图片进行矫正处理，包括：按照所述角点位置中的左上角位置、右上角位置、第二边界点位置和第一边界点位置，从所述待处理图片中拆分出第一子图片；按照所述角点位置中的第一边界点位置、第二边界点位置、右下角位置和左下角位置，从所述待处理图片中拆分出第二子图片；对所述第一子图片和所述第二子图片进行矫正处理；
所述对进行矫正处理后的所述至少两张子图片进行拼接，包括：按照所述第一子图片和所述第二子图片在所述待处理图片中的相对位置，对进行矫正处理后的所述第一子图片和进行矫正处理后的所述第二子图片进行拼接。
6.根据权利要求1所述的方法，其特征在于，所述对待处理图片进行特征提取，获取至少六通道特征图，包括：
使用预先训练完成的角点检测神经网络模型对待处理图片进行特征提取，获取至少六通道特征图；
其中，所述角点检测神经网络模型使用包含有角点位置标注信息的图片训练样本进行训练，所述角点位置标注信息包括：图片内容的左上角位置信息、左下角位置信息、右上角位置信息、右下角位置信息、第一边界点信息和第二边界点信息。
7.根据权利要求6所述的方法，其特征在于，所述角点检测神经网络模型通过以下方式进行训练：
将所述图片训练样本输入所述角点检测神经网络模型进行特征提取，获得至少六通道的样本特征图；
根据所述至少六通道的样本特征图，预测获得所述图片训练样本的图片内容的角点预测位置；
根据所述角点预测位置和所述角点位置标注信息，以及预设的损失函数，获得对应的损失值；
根据所述损失值对所述角点检测神经网络模型进行训练。
8.根据权利要求7所述的方法，其特征在于，所述损失函数为：
其中，MSE表征所述损失函数的损失值，y i表征所述图片训练样本的所述角点预测位置的第i个坐标点的坐标值，表征所述图片训练样本的所述角点标注信息的第i个坐标点的坐标值，n表征所述角点位置标注信息的坐标点的数量。
9.根据权利要求1至8中任一所述的方法，其特征在于，
所述至少六通道特征图为七通道特征图，所述七通道特征图还包括用于表征所述待处理图片的背景信息的背景特征图。
10.根据权利要求1至8中任一所述的方法，其特征在于，
所述两条相对边为夹角大于预设的夹角阈值且相对的两条边；
或者，
所述两条相对边为所述图片内容正向方向上相对的两条边。
11.一种图片处理装置，其特征在于，包括：
一个处理模块，用于对待处理图片进行特征提取，获得至少六通道特征图，其中，所述至少六通道特征图包括：用于表征所述待处理图片的图片内容的左上角信息的第一角点特征图、用于表征所述待处理图片的图片内容的左下角信息的第二角点特征图、用于表征所述待处理图片的图片内容的右上角信息的第三角点特征图、用于表征所述待处理图片的图片内容的右下角信息的第四角点特征图、用于表征所述待处理图片的图片内容对应的两条相对边的边界点信息的第五角点特征图和第六角点特征图；
一个确定模块，用于根据所述处理模块获取的所述至少六通道特征图，确定所述待处理图片的图片内容的角点位置，包括：左上角位置、左下角位置、右上角位置、右下角位置以及所述两条相对边上的第一边界点位置和第二边界点位置；
一个矫正模块，用于分别确定与所述第一边界点位置同侧的两个角点位置，和与所述第二边界点位置同侧的两个角点位置，根据所述第一边界点位置与其同侧的两个角点位置之间的坐标关系，以及所述第二边界点位置与其同侧的两个角点位置之间的坐标关系，确定第一边界点与其对应的两个角点之间的第一位置关系，以及，第二边界点与其对应的两个角点之间的第二位置关系，根据所述第一位置关系和所述第二位置关系，对所述待处理图片进行矫正处理，获得矫正后的图片；其中，
在与所述第一边界点位置同侧的两个角点位置分别为左上角位置和左下角位置，与所述第二边界点位置同侧的两个角点位置分别为右上角位置和右下角位置的情况下：
若所述第一位置关系表征所述第一边界点位置、所述左上角位置和所述左下角位置共线，所述第二位置关系表征所述第二边界点位置、所述右上角位置和所述右下角位置共线时，则按照所述角点位置，获得包括所述图片内容的待处理图片，并对所述待处理图片进行矫正处理；
若所述第一位置关系表征所述第一边界点位置、所述左上角位置和所述左下角位置未共线，或所述第二位置关系表征所述第二边界点位置、所述右上角位置和所述右下角位置未共线时，则按照所述角点位置对所述待处理图片进行拆分，获得拆分后的至少两张子图片，并对拆分后的所述至少两张子图片进行矫正处理，对进行矫正处理后的所述至少两张子图片进行拼接。
12.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序实现上述权利要求1至10中任一项所述的图片处理方法。
13.一种计算机存储介质，其特征在于，包括：所述计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时，实现上述权利要求1至10中任一项所述的图片处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110332466.1A CN112906708B (zh) | 2021-03-29 | 2021-03-29 | 一种图片处理方法、装置、电子设备和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110332466.1A CN112906708B (zh) | 2021-03-29 | 2021-03-29 | 一种图片处理方法、装置、电子设备和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112906708A CN112906708A (zh) | 2021-06-04 |
| CN112906708B true CN112906708B (zh) | 2023-10-24 |
Family
ID=76109204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110332466.1A Active CN112906708B (zh) | 2021-03-29 | 2021-03-29 | 一种图片处理方法、装置、电子设备和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906708B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850238B (zh) * | 2021-11-29 | 2022-03-04 | 北京世纪好未来教育科技有限公司 | 文档检测方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63232677A (ja) * | 1987-03-20 | 1988-09-28 | Fuji Xerox Co Ltd | 領域認識装置 |
| JPH01307879A (ja) * | 1988-06-06 | 1989-12-12 | Hitachi Software Eng Co Ltd | パターン認識装置 |
| CN111241808A (zh) * | 2020-01-07 | 2020-06-05 | 北大方正集团有限公司 | 字符笔画拆分方法和装置 |
| CN111339846A (zh) * | 2020-02-12 | 2020-06-26 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN111598884A (zh) * | 2020-05-21 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 图像数据处理方法、设备及计算机存储介质 |
| WO2020223859A1 (zh) * | 2019-05-05 | 2020-11-12 | 华为技术有限公司 | 一种检测倾斜文字的方法、装置及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5129012A (en) * | 1989-03-25 | 1992-07-07 | Sony Corporation | Detecting line segments and predetermined patterns in an optically scanned document |
| US8310539B2 (en) * | 2009-05-29 | 2012-11-13 | Mori Seiki Co., Ltd | Calibration method and calibration device |
| JP6152821B2 (ja) * | 2014-03-31 | 2017-06-28 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
-
2021
- 2021-03-29 CN CN202110332466.1A patent/CN112906708B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63232677A (ja) * | 1987-03-20 | 1988-09-28 | Fuji Xerox Co Ltd | 領域認識装置 |
| JPH01307879A (ja) * | 1988-06-06 | 1989-12-12 | Hitachi Software Eng Co Ltd | パターン認識装置 |
| WO2020223859A1 (zh) * | 2019-05-05 | 2020-11-12 | 华为技术有限公司 | 一种检测倾斜文字的方法、装置及设备 |
| CN111241808A (zh) * | 2020-01-07 | 2020-06-05 | 北大方正集团有限公司 | 字符笔画拆分方法和装置 |
| CN111339846A (zh) * | 2020-02-12 | 2020-06-26 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN111598884A (zh) * | 2020-05-21 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 图像数据处理方法、设备及计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Using skeleton and Hough transform variant to correct skew in historical documents;Omar Boudraa等;Mathematics and Computers in Simulation;第167卷;389-403 * |
| 一种基于边缘检测的图像倾斜校正算法;牛青;;中国科技信息(第19期);116-117 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112906708A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11164323B2 (en) | Method for obtaining image tracking points and device and storage medium thereof | |
| CN111582021B (zh) | 场景图像中的文本检测方法、装置及计算机设备 | |
| US9305360B2 (en) | Method and apparatus for image enhancement and edge verification using at least one additional image | |
| CN109479082B (zh) | 图象处理方法及装置 | |
| CN111612834B (zh) | 生成目标图像的方法、装置及设备 | |
| CN111091123A (zh) | 文本区域检测方法及设备 | |
| CN110298858B (zh) | 一种图像裁剪方法及装置 | |
| CN112511767B (zh) | 一种视频拼接方法及设备、存储介质 | |
| CN110708568B (zh) | 一种视频内容突变检测方法及装置 | |
| US20150220804A1 (en) | Image processor with edge selection functionality | |
| CN112906708B (zh) | 一种图片处理方法、装置、电子设备和计算机存储介质 | |
| US20190130600A1 (en) | Detection Method and Device Thereof | |
| CN112509003A (zh) | 解决目标跟踪框漂移的方法及*** | |
| CN108960247B (zh) | 图像显著性检测方法、装置以及电子设备 | |
| CN115937003A (zh) | 图像处理方法、装置、终端设备和可读存储介质 | |
| CN112634286A (zh) | 图像的裁剪方法及装置 | |
| CN112149745A (zh) | 确定难例样本的方法、装置、设备及存储介质 | |
| CN116894849A (zh) | 图像分割方法和装置 | |
| CN112580638B (zh) | 文本检测方法、装置、存储介质及电子设备 | |
| CN116311135A (zh) | 语义信息的数据降维方法、数据降维***及控制器 | |
| CN112750065A (zh) | 载体对象处理和水印嵌入方法、装置及电子设备 | |
| CN107239776B (zh) | 倾斜图像校正的方法和装置 | |
| CN110866928B (zh) | 基于神经网络的目标边界分割及背景噪声抑制方法及设备 | |
| CN115239612A (zh) | 电路板定位方法、装置、设备及存储介质 | |
| CN109003245B (zh) | 坐标处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |