CN108305260B - 一种图像中角点的检测方法、装置及设备 - Google Patents
一种图像中角点的检测方法、装置及设备 Download PDFInfo
- Publication number
- CN108305260B CN108305260B CN201810174954.2A CN201810174954A CN108305260B CN 108305260 B CN108305260 B CN 108305260B CN 201810174954 A CN201810174954 A CN 201810174954A CN 108305260 B CN108305260 B CN 108305260B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolution neural
- full convolution
- network classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 238000013528 artificial neural network Methods 0.000 claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- BZUNJUAMQZRJIP-UHFFFAOYSA-N CPDA Natural products OCCCCCCCCCCCCCCC(O)=O BZUNJUAMQZRJIP-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- GISJHCLTIVIGLX-UHFFFAOYSA-N n-[4-[(4-chlorophenyl)methoxy]pyridin-2-yl]-2-(2,6-difluorophenyl)acetamide Chemical compound FC1=CC=CC(F)=C1CC(=O)NC1=CC(OCC=2C=CC(Cl)=CC=2)=CC=N1 GISJHCLTIVIGLX-UHFFFAOYSA-N 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 101000951325 Homo sapiens Mitoferrin-1 Proteins 0.000 description 1
- 102100037984 Mitoferrin-1 Human genes 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像中角点的检测方法，包括：获取受检图像；利用预先建立的全卷积神经网络分类器，对受检图像中的图像区域进行分类，并生成图像区域分割图；全卷积神经网络分类器预先由图像数据库训练生成，图像数据库包括标注有图像区域分类标签的标准图像数据；采用角点检测算法对图像区域分割图进行角点检测，以便获取受检图像的角点。本申请利用全卷积神经网络分类器实现图像语义分割，克服了受检图像中障碍物或阴影对角点检测的干扰，从而有效提高了检测精确度。本申请还公开了一种图像中角点的检测装置、设备及计算机可读存储介质，也具有上述有益效果。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像中角点的检测方法、装置、设备及计算机可读存储介质。
背景技术
角点是图像很重要的特征，在图像处理过程中可帮助对图像图形的理解和分析，因此常被用于运动检测、图像配准、图像拼接、三维建模和目标识别等应用场合。
现有技术中针对于图像中角点的检测有多种算法，例如基于灰度强度的Harris算法和基于边缘轮廓的Curvature Scale-Space算法等，但它们都存在一定的局限性。这是因为，在实际应用中，需要进行角点检测的图像，例如对建筑物等的航拍影像中，总是会存在许多干扰，例如图像中的一些树木等阴影对建筑物角点的遮盖等。由此，现有的角点检测总是会出现大量对待检测角点的假阳性结果，导致检测结果精确度降低，效果较差。
由此可见，采用何种图像中角点的检测方法，以便有效地减少错误检测结果、保障检测精确度，是本领域技术人员所亟待解决的技术问题。
发明内容
本申请的目的在于提供一种图像中角点的检测方法、装置、设备及计算机可读存储介质，以便有效减少错误检测结果、提高检测精确度。
为解决上述技术问题，本申请提供一种图像中角点的检测方法，包括：
获取受检图像；
利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类，并生成图像区域分割图；所述全卷积神经网络分类器预先由图像数据库训练生成，所述图像数据库包括标注有图像区域分类标签的标准图像数据；
采用角点检测算法对所述图像区域分割图进行角点检测，以便获取所述受检图像的角点。
可选地，所述图像区域分类标签包括前景和背景。
可选地，所述图像数据库为标注有所述图像区域分类标签的Vaihingen数据库。
可选地，所述利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类包括：
利用预先建立的所述全卷积神经网络分类器，对多个不同尺度的同一所述受检图像分别进行图像特征值计算，并对图像特征值的计算结果进行融合，以便根据图像特征值融合结果对图像区域进行分类。
可选地，在所述利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类之后、所述生成图像区域分割图之前，还包括：
采用条件随机场算法，计算所述全卷积神经网络分类器输出的图像区域的分类结果的合理程度指标；
判断所述合理程度指标是否超出预设合理范围；
若是，则对所述图像区域的分类结果进行调整。
可选地，在所述生成图像区域分割图之后、所述采用角点检测算法对所述图像区域分割图进行角点检测之前，还包括：
对所述图像区域分割图进行形态学开操作处理，以便平滑图像区域的轮廓。
可选地，所述角点检测算法为Curvature Scale Space算法。
本申请还提供了一种图像中角点的检测装置，包括：
获取模块：用于获取受检图像；
图像区域分类模块：用于利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类，并生成图像区域分割图；所述全卷积神经网络分类器预先由图像数据库训练生成，所述图像数据库包括标注有图像区域分类标签的标准图像数据；
角点检测模块：用于采用角点检测算法对所述图像区域分割图进行角点检测，以便获取所述受检图像的角点。
本申请还提供了一种图像中角点的检测设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序以实现如上所介绍的任一种图像中角点的检测方法的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序在被处理器执行时实现如上所介绍的任一种图像中角点的检测方法的步骤。
本申请所提供的图像中角点的检测方法包括：获取受检图像；利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类，并生成图像区域分割图；所述全卷积神经网络分类器预先由图像数据库训练生成，所述图像数据库包括标注有图像区域分类标签的标准图像数据；采用角点检测算法对所述图像区域分割图进行角点检测，以便获取所述受检图像的角点。
可见，相比于现有技术，本申请所提供的图像中角点的检测方法中，利用全卷积神经网络分类器对受检图像进行图像区域分类，克服了受检图像中障碍物或阴影对角点检测的干扰，在此基础上结合角点检测算法，即可得到相对准确的角点检测结果，从而有效地减少了错误检测结果、提高了检测精确度。本申请所提供的图像中角点的检测装置、设备及计算机可读存储介质可以实现上述图像中角点的检测方法，同样具有上述有益效果。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
图1为本申请实施例所提供的一种图像中角点的检测方法的流程图；
图2为本申请实施例所提供的一种图像中角点的检测方法与其他方法的检测性能的对比图；
图3为本申请实施例所提供的一种图像中角点的检测装置的结构框图。
具体实施方式
本申请的核心在于提供一种图像中角点的检测方法、装置、设备及计算机可读存储介质，以便有效减少错误检测结果、提高检测精确度。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种图像中角点的检测方法的流程图，主要包括以下步骤：
步骤1：获取受检图像。
具体地，受检图像即需要接受角点检测的图像。在三维建模和目标识别等领域中，通常会有大量的航拍图像需要进行角点检测。
步骤2：利用预先建立的全卷积神经网络分类器，对受检图像中的图像区域进行分类，并生成图像区域分割图；全卷积神经网络分类器预先由图像数据库训练生成，图像数据库包括标注有图像区域分类标签的标准图像数据。
具体地，本申请实施例所提供的图像中角点的检测方法，是在对受检图像进行图像语义分割之后再结合现有的角点检测算法，利用语义分割可以对即使存在障碍物或阴影等干扰的图像区域也实现准确分类，从而在已知图像区域类型的基础上，准确地检测出图像中的角点。
为了实现图像语义分割，本申请实施例预先通过大量数据训练而建立了全卷积神经网络分类器。全卷积网络(Fully Convolutional Networks，FCN)可对图像进行像素级的分类，从而解决了语义级别的图像分割问题。与经典的卷积神经网络(ConvolutionalNeural Network，CNN)在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺度的输入图像，采用反卷积层对最后一个卷积层的feature map进行上采样，使它恢复到输入图像相同的尺度，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。
具体地，用于训练该全卷积神经网络分类器的训练数据是标注了图像区域分类标签的标准图像数据，它们构成了图像数据库。当然，这些标准图像数据的像素大小和格式等均是统一且适用的。
图像区域分类标签指明了对图像区域的各种分类，用带有图像区域分类标签的标准图像数据训练出来的全卷积神经网络分类器，即可将任意受检图像的图像区域按照所说的图像区域分类标签进行分类。至于具体设置哪些图像区域分类标签，本领域技术人员可以自行根据实际应用情况自行选择。
具体地，本申请实施例所说的全卷积神经网络分类器具体可在一些现有的全卷积神经网络语义分割模型的基础上设计实现，例如DeepLab模型，它是一个目前性能较为优越的、基于深度卷积的语义图像分割模型，具体提供了基于VGG16和ResNet-101两种改进版的用于语义分割的网络，优选地，可以选取性能较为优越的ResNet-101作为算法使用的基础网络。
DeepLab语义分割模型具体是采用空洞卷积(atrous convolution)或者称为扩张卷积策略改进全卷积神经网络来得到指定分辨率的网络输出结果的。需要注意的是，虽然全卷积神经网络可以实现图像语义分割，在像素级进行分类，但是其连续的池化操作将会丢失掉一些像素级的空间信息，降低对图像特征的分辨率。因此，可以进一步利用空洞卷积运算来提高分辨率。空洞卷积运算的定义为：
其中，w[k]为滤波器；r为速率参数，表征输入信号被采样的步幅；x[i]为输入信号；y[i]为输出信号。事实上，当速率参数r＝1时，空洞卷积就退化为标准的卷积操作。
相关实验结果表明，使用空洞卷积对原始的全卷积神经网络进行改进，最终可实现将输出分辨率从原始输入的受检图像分辨率的1/32提高到1/8。其中，图像分辨率是指图像中存储的信息量，是每英寸图像内有多少个像素点，单位为PPI(Pixels Per Inch)，即像素每英寸。
步骤3：采用角点检测算法对图像区域分割图进行角点检测，以便获取受检图像的角点。
当通过全卷积神经网络分类器对受检图像进行了语义分割并获得了图像区域分割图之后，即可采用现有技术中经典的角点检测算法对图像区域分割图进行角点检测，从而得到受检图像中的角点。
可见，本申请实施例所提供的图像中角点的检测方法中，利用全卷积神经网络分类器对受检图像进行图像区域分类，克服了受检图像中障碍物或阴影对角点检测的干扰，在此基础上结合角点检测算法，即可得到相对准确的角点检测结果，从而有效地减少了错误检测结果、提高了检测精确度。
本申请所提供的图像中角点的检测方法，在上述实施例的基础上：
作为一种优选实施例，图像区域分类标签包括前景和背景。
一般地，可将图像区域具体分为两类：对角点检测有价值、用户感兴趣的目标对象——图片的前景，以及对角点检测没有价值、用户不感兴趣的干扰对象——图片的背景。更具体地，对于建筑类图像，前景可具体设为建筑物。
作为一种优选实施例，图像数据库为标注有图像区域分类标签的Vaihingen数据库。
具体地，Vaihingen是一个关于航拍影像的数据集，包含大量的地表信息。Vaihingen数据库共公开了16张长宽两千左右的高分辨的航拍图像，其中拥有丰富的地表信息，包括建筑物区域和其他干扰选项，比如，树木、道路、不透水地面、车辆、灌木。这些图片采集自真实世界，因而测试结果具有普遍说明性。
此外，在获取标准图像数据时，为了数据的丰富性，还可以辅以数据增强(DataAugmentation)技术来进一步增加图像数据数量。常用的数据增强技术包括多种图像的几何变换，例如翻转变换、缩放变化、平移变换、尺度变换和旋转变换等，常用的变换包括翻转变换和旋转变换，其中旋转变换还可以进一步选择旋转角度，例如90度、180度和270度等。
在本申请实施例所提供的一种角点检测方法中，具体是通过对Vaihingen数据库中的图像数据进行翻转变换和旋转变换得到了11700张航拍图像的标准图像数据用于训练，以及450张航拍图像的标准图像数据用于测试。并且，在进行全卷积神经网络分类器的训练时，具体是采用基础网络ResNet-101在语义分割公开数据集MS-COCO上先进行了预训练，然后再在所说的11700张的航拍图像的标准图像数据集上进行了训练：初始学习率设为0.00025，采用“poly”学习率衰减策略，动量和权重衰减分别为0.9和0.0005s，共完成了batch为1张的40000次迭代，最终得到了分类效果较为理想的全卷积神经网络分类器。
作为一种优选实施例，利用预先建立的全卷积神经网络分类器，对受检图像中的图像区域进行分类包括：
利用预先建立的全卷积神经网络分类器，对多个不同尺度的同一受检图像分别进行图像特征值计算，并对图像特征值的计算结果进行融合，以便根据图像特征值融合结果对图像区域进行分类。
具体地，为了加强全卷积神经网络分类器融合局部和全局信息的能力，本申请实施例采用了多尺度输入策略，即，使用多个不同尺度的输入，然后融合随之产生的多个特征图，以便进一步提高检测方法的精确度。
作为一种优选实施例，在利用预先建立的全卷积神经网络分类器，对受检图像中的图像区域进行分类之后、生成图像区域分割图之前，还包括：
采用条件随机场算法，计算全卷积神经网络分类器输出的图像区域的分类结果的合理程度指标；
判断合理程度指标是否超出预设合理范围；
若是，则对图像区域的分类结果进行调整。
具体地，所说的合理程度指标即为条件随机场算法的能力函数：
其中，E(x)为合理程度指标；xi是第i个像素的标签分配结果；θi(xi)是全卷积神经网络的输出对条件随机场输出的影响因子，其定义为：
θi(xi)＝-log P(xi)；
P(xi)为全卷积神经网络为第i个像素输出的分类结果的标签分配概率；θij(xi,xj)是受检图像原图中像素间的距离p、颜色信息I对条件随机场输出的影响因子，其定义为：
其中，
和
均为高斯分布方差；w1和w2均为权重系数。从式中可以看出，该式子的第一项与像素位置信息和RGB颜色信息均相关；而第二项则只与像素位置信息相关。
作为一种优选实施例，在生成图像区域分割图之后、采用角点检测算法对图像区域分割图进行角点检测之前，还包括：
对图像区域分割图进行形态学开操作处理，以便平滑图像区域的轮廓。
其中，开操作在计算机视觉和图像处理中被作为形态噪声消除的基本操作，通常可以起到平滑图像轮廓的作用，能够去掉图像区域轮廓上的毛刺，切断狭窄的山谷，从而进一步提高检测结果精确度。其具体操作是对一幅图像先进行腐蚀操作再进行膨胀操作，定义如下：
其中，A代表输入信号，B代表结构元素，
表示开操作，
和
分别表示腐蚀操作和膨胀操作。
作为一种优选实施例，角点检测算法为Curvature Scale Space算法。
具体地，本申请实施例所提供的角点检测方法优选采用Curvature Scale-Space(CSS)算法来进行最后的角点检测。Curvature Scale Space算法是基于曲率尺度空间的角点检测算法，此算法在高尺度下进行角点检测，然后对检测到的候选角点进行细节恢复，最终可以获得良好的定位。
请参阅图2，图2为本申请实施例所提供的一种图像中角点的检测方法与其他方法的检测性能的对比图。
从图2中给出了本发明实施例所提供的检测方法和ANDD方法、CPDA方法、通用CSS方法、Fast CPDA方法、GCM方法、He&Yung方法和MSCP方法的检测性能的数值对比图，所说的检测性能包括各方法实验的精确度(Precision)、召回率(Recall)和准确率(Accuracy)的评测结果。参与比较的所有方法均调整了内部参数，以获得最佳的检测结果。
可以看出，其他的7种方法的召回率高，可以检测大部分图像中的角点；然而，它们也产生大量的误报，导致了精度和准确率值很低。而本申请实施例所提出的方法由于融合了图像语义分割，有效降低了误报，在精确度和准确率方面都优于其他7种方法。
下面对本申请实施例所提供的图像中角点的检测装置进行介绍。
请参阅图3，图3为本申请所提供的一种图像中角点的检测装置的结构框图；包括获取模块1、图像区域分类模块2和角点检测模块3；
获取模块1用于获取受检图像；
图像区域分类模块2用于利用预先建立的全卷积神经网络分类器，对受检图像中的图像区域进行分类，并生成图像区域分割图；全卷积神经网络分类器在卷积层采用空洞卷积进行卷积计算，并预先由图像数据库训练生成，图像数据库包括标注有图像区域分类标签的标准图像数据；
角点检测模块3用于采用角点检测算法对图像区域分割图进行角点检测，以便获取受检图像的角点。
可见，本申请所提供的图像中角点的检测装置，通过利用全卷积神经网络分类器对受检图像进行图像区域分类，克服了受检图像中障碍物或阴影对角点检测的干扰，并利用空洞卷积运算避免了全卷积神经网络自身在分辨率、精确度方面的缺陷，在此基础上结合角点检测算法，即可得到相对准确的角点检测结果，从而有效地减少了错误检测结果、提高了检测精确度。
本申请还提供了一种图像中角点的检测设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行计算机程序以实现如上任一实施例所介绍的图像中角点的检测方法的步骤。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序在被处理器执行时实现如上任一实施例所介绍的图像中角点的检测方法的步骤。
本申请所提供的图像中角点的检测装置、设备及计算机可读存储介质的具体实施方式与上文所描述的图像中角点的检测方法可相互对应参照，这里就不再赘述。
本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需说明的是，在本申请文件中，诸如“第一”和“第二”之类的关系术语，仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (8)
1.一种图像中角点的检测方法，其特征在于，包括：
获取受检图像；
利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类，并生成图像区域分割图；所述全卷积神经网络分类器预先由图像数据库训练生成，所述图像数据库包括标注有图像区域分类标签的标准图像数据；
采用角点检测算法对所述图像区域分割图进行角点检测，以便获取所述受检图像的角点；
所述利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类包括：
利用预先建立的所述全卷积神经网络分类器，对多个不同尺度的同一所述受检图像分别进行图像特征值计算，并对图像特征值的计算结果进行融合，以便根据图像特征值融合结果对图像区域进行分类；
在所述利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类之后、所述生成图像区域分割图之前，还包括：
采用条件随机场算法，计算所述全卷积神经网络分类器输出的图像区域的分类结果的合理程度指标；
判断所述合理程度指标是否超出预设合理范围；
若是，则对所述图像区域的分类结果进行调整。
2.根据权利要求1所述的检测方法，其特征在于，所述图像区域分类标签包括建筑物前景和背景。
3.根据权利要求2所述的检测方法，其特征在于，所述图像数据库为标注有所述图像区域分类标签的Vaihingen数据库。
4.根据权利要求1至3任一项所述的检测方法，其特征在于，在所述生成图像区域分割图之后、所述采用角点检测算法对所述图像区域分割图进行角点检测之前，还包括：
对所述图像区域分割图进行形态学开操作处理，以便平滑图像区域的轮廓。
5.根据权利要求4所述的检测方法，其特征在于，所述角点检测算法为CurvatureScale Space算法。
6.一种图像中角点的检测装置，其特征在于，包括：
获取模块：用于获取受检图像；
图像区域分类模块：用于利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类，并生成图像区域分割图；所述全卷积神经网络分类器预先由图像数据库训练生成，所述图像数据库包括标注有图像区域分类标签的标准图像数据；
角点检测模块：用于采用角点检测算法对所述图像区域分割图进行角点检测，以便获取所述受检图像的角点；
所述利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类包括：
利用预先建立的所述全卷积神经网络分类器，对多个不同尺度的同一所述受检图像分别进行图像特征值计算，并对图像特征值的计算结果进行融合，以便根据图像特征值融合结果对图像区域进行分类；
在所述利用预先建立的全卷积神经网络分类器，对所述受检图像中的图像区域进行分类之后、所述生成图像区域分割图之前，还包括：
采用条件随机场算法，计算所述全卷积神经网络分类器输出的图像区域的分类结果的合理程度指标；
判断所述合理程度指标是否超出预设合理范围；
若是，则对所述图像区域的分类结果进行调整。
7.一种图像中角点的检测设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序以实现如权利要求1至5任一项所述的图像中角点的检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至5任一项所述的图像中角点的检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810174954.2A CN108305260B (zh) | 2018-03-02 | 2018-03-02 | 一种图像中角点的检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810174954.2A CN108305260B (zh) | 2018-03-02 | 2018-03-02 | 一种图像中角点的检测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108305260A CN108305260A (zh) | 2018-07-20 |
| CN108305260B true CN108305260B (zh) | 2022-04-12 |
Family
ID=62849245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810174954.2A Active CN108305260B (zh) | 2018-03-02 | 2018-03-02 | 一种图像中角点的检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108305260B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109285162A (zh) * | 2018-08-30 | 2019-01-29 | 杭州电子科技大学 | 一种基于局部区域条件随机场模型的图像语义分割方法 |
| CN111077166A (zh) * | 2018-10-19 | 2020-04-28 | 北京金山云网络技术有限公司 | 液晶屏的瑕疵检测方法、装置及终端设备 |
| CN109544560B (zh) * | 2018-10-31 | 2021-04-27 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111161274B (zh) * | 2018-11-08 | 2023-07-07 | 上海市第六人民医院 | 腹部图像分割方法、计算机设备 |
| CN109767458B (zh) * | 2018-12-21 | 2023-01-20 | 西北大学 | 一种半自动分段的顺序优化配准方法 |
| CN109682381B (zh) * | 2019-02-22 | 2020-09-25 | 山东大学 | 基于全向视觉的大视场场景感知方法、***、介质及设备 |
| CN110427820B (zh) * | 2019-06-26 | 2022-11-29 | 深圳职业技术学院 | 一种基于神经网络的ppt边框识别方法及相关设备 |
| CN110796649B (zh) * | 2019-10-29 | 2022-08-30 | 北京市商汤科技开发有限公司 | 目标检测方法及装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732499A (zh) * | 2015-04-01 | 2015-06-24 | 武汉工程大学 | 基于多尺度多方向的视网膜图像增强算法 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及*** |
| CN106250852A (zh) * | 2016-08-01 | 2016-12-21 | 乐视控股（北京）有限公司 | 虚拟现实终端及手型识别方法和装置 |
| CN107025457A (zh) * | 2017-03-29 | 2017-08-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
-
2018
- 2018-03-02 CN CN201810174954.2A patent/CN108305260B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732499A (zh) * | 2015-04-01 | 2015-06-24 | 武汉工程大学 | 基于多尺度多方向的视网膜图像增强算法 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及*** |
| CN106250852A (zh) * | 2016-08-01 | 2016-12-21 | 乐视控股（北京）有限公司 | 虚拟现实终端及手型识别方法和装置 |
| CN107025457A (zh) * | 2017-03-29 | 2017-08-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108305260A (zh) | 2018-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| Wei et al. | Toward automatic building footprint delineation from aerial images using CNN and regularization | |
| CN108171112B (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
| CN108229397B (zh) | 基于Faster R-CNN的图像中文本检测方法 | |
| Bautista et al. | Convolutional neural network for vehicle detection in low resolution traffic videos | |
| CN107341517B (zh) | 基于深度学习层级间特征融合的多尺度小物体检测方法 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN111738110A (zh) | 基于多尺度注意力机制的遥感图像车辆目标检测方法 | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
| US20210081695A1 (en) | Image processing method, apparatus, electronic device and computer readable storage medium | |
| CN109711416B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN105989334B (zh) | 基于单目视觉的道路检测方法 | |
| CN111461039B (zh) | 基于多尺度特征融合的地标识别方法 | |
| CN111709416A (zh) | 车牌定位方法、装置、***及存储介质 | |
| CN109165658B (zh) | 一种基于Faster-RCNN的强负样本水下目标检测方法 | |
| Xiao et al. | Defocus blur detection based on multiscale SVD fusion in gradient domain | |
| CN106778633B (zh) | 一种基于区域分割的行人识别方法 | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| CN113111722A (zh) | 基于改进Mask R-CNN的自动驾驶目标识别方法 | |
| Ding et al. | Efficient vanishing point detection method in complex urban road environments | |
| CN111898659A (zh) | 一种目标检测方法及*** | |
| CN113591719A (zh) | 一种自然场景任意形状文本检测方法、装置和训练方法 | |
| CN111695373A (zh) | 斑马线的定位方法、***、介质及设备 | |
| CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231106 Address after: Room 4908, building 2, dongfangzhimen building, 199 Xinggang street, Suzhou Industrial Park, Suzhou, Jiangsu 215000 Patentee after: Suzhou tengshuicheng Technology Co.,Ltd. Address before: 215104 No. 1188 Wuzhong Road, Wuzhong District, Suzhou, Jiangsu Patentee before: SOOCHOW University |
|
| TR01 | Transfer of patent right |