CN109063774B - 图像追踪效果评价方法、装置、设备及可读存储介质 - Google Patents

图像追踪效果评价方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109063774B
CN109063774B CN201810878766.8A CN201810878766A CN109063774B CN 109063774 B CN109063774 B CN 109063774B CN 201810878766 A CN201810878766 A CN 201810878766A CN 109063774 B CN109063774 B CN 109063774B
Authority
CN
China
Prior art keywords
determining
texture
target image
image
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810878766.8A
Other languages
English (en)
Other versions
CN109063774A (zh
Inventor
刘赵梁
陈思利
张永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810878766.8A priority Critical patent/CN109063774B/zh
Publication of CN109063774A publication Critical patent/CN109063774A/zh
Priority to US16/510,164 priority patent/US11023781B2/en
Application granted granted Critical
Publication of CN109063774B publication Critical patent/CN109063774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像追踪效果评价方法、装置、设备及可读存储介质。方法包括：根据预设算法提取目标图像的特征点；根据特征点确定目标图像的第一纹理信息；根据预设处理规则对目标图像进行处理得到对比图像，根据对比图像确定目标图像的第二纹理信息；根据第一纹理信息、第二纹理信息对目标图像进行评分。本发明提供的方案，能够根据提取的特征点得到纹理信息，还能够对目标图像进行处理，并基于处理后的图像得到纹理信息，再根据纹理信息对目标图像的追踪效果进行评分，无需将目标图像放置到实际产品中，就可以获知目标图像的追踪效果，无需等到产品制作完成后再确定图像的追踪效果，并且能够提高对图像追踪效果评价的效率。

Description

图像追踪效果评价方法、装置、设备及可读存储介质
技术领域
本发明涉及图像处理技术，尤其涉及一种图像追踪效果评价方法、装置、设备及可读存储介质。
背景技术
图像跟踪是指识别目标图像，并对其进行跟踪的技术。例如，用户用手机拍摄目标图像时，***可以识别该目标图像，并框选该目标图像。另外，在AR技术中也需要对目标图像进行追踪，再将AR中的3D模型在摄像头图像中进行展示，因此，图像追踪技术在现有技术中被大范围的使用。
一般情况下，将目标图像应用在产品中之前，需要对目标图像的追踪效果进行评价，从而确定出该目标图像是否易追踪。现有技术的方案中，通过将目标图像应用在实际的产品中，再确定目标图像的追踪效果。
但是，现有技术的方案中，需要先制作完成产品，才能够基于该产品测试图像的追踪效果，并且，需要将产品的模型上线，才能够通过产品对图像进行测试。因此，现有技术中对图像的追踪效果进行评价的效率较低，且图像评价滞后于产品制作。
发明内容
本发明提供一种图像追踪效果评价方法、装置、设备及可读存储介质，以解决现有技术中对图像的追踪效果进行评价的效率较低，且图像评价滞后于产品制作的问题。
本发明的第一个方面是提供一种图像追踪效果评价方法，包括：
根据预设算法提取目标图像的特征点；
根据所述特征点确定所述目标图像的第一纹理信息；
根据预设处理规则对所述目标图像进行处理得到对比图像，根据所述对比图像确定所述目标图像的第二纹理信息；
根据所述第一纹理信息、所述第二纹理信息对所述目标图像的追踪效果进行评分。
本发明的另一个方面是提供一种图像追踪效果评价装置，包括：
提取模块，用于根据预设算法提取目标图像的特征点；
纹理信息确定模块，用于根据所述特征点确定所述目标图像的第一纹理信息；
所述纹理信息确定模块还用于根据预设处理规则对所述目标图像进行处理得到对比图像，根据所述对比图像确定所述目标图像的第二纹理信息；
评分模块，用于根据所述第一纹理信息、所述第二纹理信息对所述目标图像的追踪效果进行评分。
本发明的又一个方面是提供一种图像追踪效果评价设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如上述第一方面所述的图像追踪效果评价方法。
本发明的再一个方面是提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述第一方面所述的图像追踪效果评价方法。
本发明提供的图像追踪效果评价方法、装置、设备及可读存储介质的技术效果是：
本发明提供的图像追踪效果评价方法、装置、设备及可读存储介质，包括：根据预设算法提取目标图像的特征点；根据特征点确定目标图像的第一纹理信息；根据预设处理规则对目标图像进行处理得到对比图像，根据对比图像确定目标图像的第二纹理信息；根据第一纹理信息、第二纹理信息对目标图像进行评分。本发明提供的图像追踪效果评价方法、装置、设备及可读存储介质，能够根据提取的特征点得到纹理信息，还能够对目标图像进行处理，并基于处理后的图像得到纹理信息，再根据纹理信息对目标图像的追踪效果进行评分，无需将目标图像放置到实际产品中，就可以获知目标图像的追踪效果，无需等到产品制作完成后再确定图像的追踪效果，并且能够提高对图像追踪效果评价的效率。
附图说明
图1为本发明一示例性实施例示出的图像追踪效果评价方法的流程图；
图2为本发明另一示例性实施例示出的图像追踪效果评价方法的流程图；
图2A为本发明一示例性实施例示出的确定纹理分布评分的方法的流程图；
图2B为本发明另一示例性实施例示出的确定纹理分布评分的方法的流程图；
图2C为本发明一示例性实施例示出的确定纹理重复性评分的方法的流程图；
图2D为本发明一示例性实施例示出的确定纹理对比度评分的方法的流程图；
图3为本发明一示例性实施例示出的图像追踪效果评价装置的结构图；
图4为本发明另一示例性实施例示出的图像追踪效果评价装置的结构图；
图5为本发明一示例性实施例示出的图像追踪效果评价设备的结构图。
具体实施方式
图1为本发明一示例性实施例示出的图像追踪效果评价方法的流程图。
如图1所示，本实施例提供的图像追踪效果评价方法包括：
步骤101，根据预设算法提取目标图像的特征点。
其中，目标图像是需要确定追踪效果的图像，由用户进行选择，并基于该图像执行本实施例提供的方法。可以由评价装置执行本实施例提供的方法，用户可以向评价装置输入目标图像。
具体的，可以预先设置用于提取图像特征点的算法，例如可以是ORB(OrientedFAST and Rotated BRIEF)算法，也可以是sift(Scale-invariant feature transform)算法，可以基于这些算法提取目标图像中的特征点。特征点可以简单的理解为图像中比较显著的点，如轮廓点，较暗区域的亮点，较亮区域的暗点等。
进一步的，在提取特征点时，还可以根据该预设算法获取各个特征点对应的特征描述子，特征描述子用于描述各个特征点的性质。
步骤102，根据特征点确定目标图像的第一纹理信息。
纹理信息描述了图像或图像区域所对应景物的表面性质，图像中包括的纹理越丰富越容易追踪，因此，可以获取图像的纹理信息，进而根据纹理信息对目标图像的追踪效果进行评价。
实际应用时，可以基于提取的特征点确定目标图图像的第一纹理信息。图像的纹理信息可以表现为纹理丰富程度、纹理分布情况以及纹理重复性情况，因此，可以基于提取的特征点确定这些纹理信息。
其中，可以用获取的特征点数量确定纹理丰富程度，若特征点多，则目标图像的纹理较丰富。
具体的，可以基于特征点在目标图像上分布的是否均匀确定纹理分布情况，特征点分布的越均匀，则纹理分布的也越均匀。
进一步的，可以两两比对特征点及其周边特征，从而确定两个特征点是否相同，例如，可以比对两个特征点的特征描述子及其位置，并根据特征描述子及位置共同判断这两个特征点是否为相似特征点。若相同的特征点较多，则目标图像中的纹理重复度较高。
步骤103，根据预设处理规则对目标图像进行处理得到对比图像，根据对比图像确定目标图像的第二纹理信息。
其中，还可以预先设置处理规则，用于对目标图像进行处理，再基于处理得到的对比图像确定第二纹理信息。
具体的，可以对目标图像进行加噪声、加背景图片的处理，再用原目标图像与处理后的图像进行比对，通过比对结果确定目标图像的纹理对比度信息。
进一步的，可以通过图像识别算法识别处理后的对比图像与原目标图像，若对比图像与原目标图像的相似度较高，则可以认为目标图像的对比度较高，使得目标图像即使被处理过，也能够将其识别为目标图像。
步骤101-102与步骤103的时序不做限制，可以先执行获取第一纹理信息的步骤，也可以先执行获取第二纹理信息的步骤，还可以同时获取第一纹理信息和第二纹理信息。
步骤104，根据第一纹理信息、第二纹理信息对目标图像的追踪效果进行评分。
由于图像中包括的纹理越丰富越容易追踪，因此，可以基于获取的第一纹理信息、第二纹理信息确定目标图像的追踪效果。具体可以根据第一纹理信息、第二纹理信息对目标图像进行打分，并根据评分结果确定目标图像的追踪效果。
其中，还可以确定第一纹理信息、第二纹理信息对应的分值，并将其中的最低分确定为目标图像的评分。当第一纹理信息中包括多个纹理信息时，如包括纹理丰富程度，还包括纹理分布情况等，则可以确定每个纹理信息的分值，并将其中的最低分确定为第一纹理信息的分值。由于任一项纹理信息的指标差都可能造成目标图像追踪效果差的原因，因此，可以根据各个纹理信息的最低分评估目标图像的追踪效果。
实际应用时，还可以设置分数与追踪效果的对应关系，例如0-30分对应的追踪效果为极差，30-60分对应的追踪效果为较差，60-85分对应的追踪效果为良好，85-100分对应的追踪效果为非常好。
本实施例提供的方法用于评价目标图像的追踪效果，该方法由安装有本实施例提供的方法的设备执行，其中，该设备通常以硬件和/或软件的方式来实现。
本实施例提供的图像追踪效果评价方法，包括：根据预设算法提取目标图像的特征点；根据特征点确定目标图像的第一纹理信息；根据预设处理规则对目标图像进行处理得到对比图像，根据对比图像确定目标图像的第二纹理信息；根据第一纹理信息、第二纹理信息对目标图像进行评分。本实施例提供的图像追踪效果评价方法，能够根据提取的特征点得到纹理信息，还能够对目标图像进行处理，并基于处理后的图像得到纹理信息，再根据纹理信息对目标图像的追踪效果进行评分，无需将目标图像放置到实际产品中，就可以获知目标图像的追踪效果，无需等到产品制作完成后再确定图像的追踪效果，并且能够提高对图像追踪效果评价的效率。
图2为本发明另一示例性实施例示出的图像追踪效果评价方法的流程图。
如图2所示，本实施例提供的图像追踪效果评价方法，包括：
步骤201，根据预设算法提取目标图像的特征点。
步骤201与步骤101的原理及功能类似，不再赘述。
步骤202，根据特征点确定目标图像的以下至少一种纹理评分：
纹理丰富程度评分、纹理分布评分、纹理重复性评分。
其中，可以根据目标图像的特征点确定目标图像的纹理丰富程度评分。特征点越多纹理越丰富，因此，可以基于特征点的数量确定纹理丰富程度评分。具体可以是：
获取特征点的数量，根据数量确定纹理丰富程度评分。
进一步的，可以设置计算公式，用于将特征点的数量转换为纹理丰富程度评分，还可以设置特征点数量与纹理丰富程度评分的对应关系，例如，100个特征点对应50分。
实际应用时，由于目标图像的尺寸大小也会影响纹理丰富程度，同样数量的特征点在小幅尺寸的图像中可能表现出的纹理会丰富一些，但是将同样的特征点放置在大幅尺寸的图像中，则表现出的纹理会单调一些，因此，还可以结合特征点数量以及目标图像的尺寸，共同确定目标图像的纹理丰富程度评分。
其中，可以目标图像单位面积所包括的特征点数量，例如用特征点数量除以目标图像的面积，从而得到单位面积特征点数量值。再基于该值确定目标图像的纹理丰富程度评分，单位面积的特征点数量越多，则纹理丰富程度评分越高。
具体的，若目标图像的纹理分布较均匀，则便于识别***对该图像进行识别进而对其进行追踪，因此，还可以根据提取的特征点确定目标图像的文理分布评分。
图2A为本发明一示例性实施例示出的确定纹理分布评分的方法的流程图。
如图2A所示，本实施例提供的确定纹理分布评分的方法，包括：
步骤2021，将目标图像等分为若干个格子。
其中，可以预先设置格子个数，并根据格子数量等分目标图像；还可以预先设置格子尺寸k×k，并根据格子尺寸将目标图像等分为Q个格子。
步骤2022，获取每个格子中特征点的数量，将特征点的数量大于数量阈值的格子确定为有效格子。
具体的，获取各个格子中的特征点数量。由于特征点是目标图像中的点，因此，其必定在目标图像中有位置信息，可以根据特征点的位置信息确定特征点属于的格子。
进一步的，可以预先设置数量阈值，若格子内的特征点数量大于数量阈值，则将这个格子确定为有效格子。若格子内的特征点小于等于数量阈值，则认为这个格子无效。
步骤2023，根据有效格子的数量、格子的总数量确定纹理分布评分。
实际应用时，可以将有效格子数量与格子总数量的比值作为纹理分布评分。若该比值较高，则说明有效格子的数量比较多，也就是包括较多特征点的格子比较多，那么可以说明目标图像的特征点分布较均匀，也就是纹理分布均匀。若比值较低，则说明特征点集中在少数格子中，那么目标图像的纹理分布不均匀。
图2B为本发明另一示例性实施例示出的确定纹理分布评分的方法的流程图。
如图2B所示，本实施例提供的确定纹理分布评分的方法，包括：
步骤2024，根据预设角度确定特征点在目标图像的对角线上的投影点。
其中，可以预先设置投影角度，并根据该角度将各个特征点投影到目标图像的对角线上，得到各个特征点的投影点，例如，以30度确定各个特征点的投影点。
具体的，可以设置经过特征点且与对角线为预设角度的线，这条线与对角线的角点即为特征点的投影点。若两个特征点的投影点相同，则记录该点为两个投影点，从而准确的确定每个特征点的投影点。
步骤2025，根据投影点在对角线上的分布情况确定纹理分布评分。
进一步的，可以将对角线分为若干个线段，确定每条线段上的投影点数量，若大部分线段中的数量比较相近，则可以认为投影点分布均匀，若投影点集中在少部分线段中，则认为投影点分布不均匀。还可以计算线段平均投影点数，若每条线段中包括的投影点数与平均投影点数的差值都不超过点数阈值，或是大部分线段中包括的投影点数不超过点数阈值，则认为投影点分布较平均。
实际应用时，若投影点在对角线上分布的比较平均，则认为特征点在目标图像中分布的比较平均。因此，可以根据投影点在对角线上的分布情况确定纹理分布评分，若投影点分布较平均，则纹理分布评分较高，若投影点分布不平均，则纹理分布评分较低。
其中，若仅根据一个角度的投影结果确定纹理分布情况，可能会造成判断不准确的情况，因此，还可以设置多个预设角度，并根据各个预设角度分别确定特征点的投影点，确定各个角度投影点对应的纹理分布评分。此时，能够得到不同投影角度对应的纹理分布评分，可以将其中的最低分确定为最终的纹理分布评分。
可以采用图2A或2B中的方法确定目标图像的纹理分布评分，也可以同时采用这两种方式确定出两个目标图像的纹理分布评分，将其中较低的分数作为目标图像的最终的纹理分布评分，或者还可以设置两种评分方式的权重值，并将两个评分加权再相加得到目标图像最终的纹理分布得分。
具体的，目标图像的重复性也会影响***对目标图像的追踪，若重复度过高，不利于从整体上识别出目标图像，因此，还可以根据提取的特征点确定目标图像的重复性评分。
进一步的，可以将提取的特征点进行两两比对，确定目标图像的重复性评分。在比对图像的相似性时，若仅比对特征点本身的值没有意义，例如在图像中有很多黑色的像素点，但并不代表每个黑色像素点所在的图形都是相同的，因此，在比对过程中，可以以特征点为中心，获取其周边范围的特征值，再根据周边范围值进行比对，确定两个特征点是否相似。
图2C为本发明一示例性实施例示出的确定纹理重复性评分的方法的流程图。
如图2C所示，本实施例提供的确定纹理重复性评分的方法，包括：
步骤2026，获取第一特征点预设范围内的第一特征值，获取第二特征点预设范围内的第二特征值。
其中，可以将一个特征点确定为第一特征点，其他特征点均作为第二特征点，从而判断是否有与第一特征点相似的第二特征点。
具体的，可以预先设置范围，并以第一特征点为中心，获取预设范围内的第一特征值；相似的，可以以第二特征点为中心，获取第二特征点预设范围内的第二特征值。
进一步的，特征值可以包括预设范围内每个像素点的信息，也可以仅包括预设范围边缘的像素点信息，例如，预设范围是半径为r的圆，则第一特征值可以包括以第一特征点为中心半径为r的圆周上的像素点的信息。
步骤2027，根据第一特征值、第二特征值确定第一特征点与第二特征点是否为相似特征点。
实际应用时，比对第一特征值与第二特征值是否相近，若相近，则确定第一特征点与第二特征点相似。
其中，特征值可以是向量形式，例如多维向量的形式。若多维向量是二值的，那么可以用汉明距离来计算特征值之间的距离，如果多维向量是浮点，那么可以用欧氏距离、余弦距离等方式计算二者的距离。
具体的，还可以确定第一特征值与第二特征值之间的欧氏距离，若欧氏距离较小，则确定两个特征值相近。
可选的，本实施例提供的方法还可以包括：
确定第一特征点与第二特征点的空间距离。
若第一特征值、第二特征值的差值小于第一阈值，空间距离大于第二阈值，则确定第一特征点、第二特征点为相似特征点。
在图像中，可能存在着局部图形重复的情况，而这不影响目标图像的追踪效果，因此，本实施例提供的方法还可以确定第一特征点与第二特征点的空间距离，若两个特征点的空间距离较远，但是特征值相近，则确定第一特征与第二特征为相似特征点。
其中，第一特征值、第二特征值的差值可以是二者的欧氏距离，即若第一特征值与第二特征值的欧氏距离小于第一阈值，第一特征点与第二特征点的空间距离大于第二阈值，则二者是相似点。其中，确定第一特征点与第二特征点的空间距离时，也可以采用欧氏距离算法，本实施例对此不进行限制。
步骤2028，根据相似特征点的数量与特征点的总数量，确定特征点确定纹理重复性评分。
具体的，可以计算相似特征点的数量与特征点的总数量的比值，再用1减去这个比值，确定出纹理重复性评分。若两个特征点相似，则这两个特征点均为相似特征点，则相似特征点数量为2。
进一步的，若相似特征点太多，则相似特征点的数量与特征点的总数量的比值就会较多，那么纹理重复性评分就较低，因此，若相似特征点多，则重复性评分低，若相似特征点少，则重复性评分高，可以利用这种计算方式衡量纹理重复程度。
步骤203，将预设图像作为目标图像的背景图像，得到参考图像。
步骤204，对参考图像进行加噪声处理，得到对比图像。
实际应用时，可以将目标图像叠加在预设图像之上，形成参考图像，从而使预设图像作为目标图像的背景图像。为了提高背景图像对目标图像的干扰效果，可以设置纹理较为丰富的图像作为预设图像。还可以对目标图像进行仿射变换，例如旋转一定角度、平移、缩放等，再将其叠加在预设图像之上。
然后可以对参考图像进行加噪声处理，具体在参考图像上增加光照噪声，或者光照噪声以及高斯噪声。光照噪声用于模拟光照造成图像像素值的变化，在目标图像实际应用时，光线对其影响较大，因此，优先增加光照噪声得到对比图像。高斯噪声用来模拟图像采集装置中传感器产生的噪声，还可以在参考图像上加高斯噪声，得到对比图像。还可以同时在参考图像上加光照噪声以及高斯噪声。
步骤205，根据对比图像确定目标图像的纹理对比度评分。
可以直接比对对比图像以及目标图像，若通过现有的图像识别方法能够在对比图像中识别出目标图像，则说明目标图像的对比度较好，相应的对比度评分也会较高。
图2D为本发明一示例性实施例示出的确定纹理对比度评分的方法的流程图。
如图2D所示，本实施例提供的确定纹理对比度评分的方法，包括：
步骤2051，根据参考图像、目标图像确定第一相似度。
其中，可以两两比对参考图像与目标图像之间的像素，并根据像素周边一定范围内的像素点共同确定两个像素点是否相同，并用相同的像素点数量除以参考图像或目标图像中包括的像素点数量，得到第一相似度。具体可以采用现有技术中的图像比对方式确定两个图像的相似度。
步骤2052，根据对比图像、目标图像确定第二相似度。
步骤2052与步骤2051的实现方式类似，不再赘述。
步骤2053，根据第一相似度、第二相似度确定目标图像的纹理对比度评分。
步骤2051与步骤252的时序不做限制。
具体的，可以计算第一相似度与第二相似度的比值，并根据比值确定纹理对比度评分。若第一相似度与第二相似度的比值较小，也就是参考图像在加噪声前后的差异不大，那么可以认为目标图像的纹理对比度较好，则纹理对比度评分较高。例如，可以用1减去第一相似度与第二相似度的比值的绝对值作为纹理对比度评分。
步骤201-202与步骤203-205的时序不做限制。
步骤206，将第一纹理评分、纹理对比度评分中最低的评分确定为目标图像的评分。
由于任一项纹理信息的指标差都可能造成目标图像追踪效果差的原因，因此，可以根据各个纹理信息的最低分评估目标图像的追踪效果。
其中，还可以设置评分与追踪效果的对应关系，并根据目标图像的评分确定与该目标图像的追踪效果。
图3为本发明一示例性实施例示出的图像追踪效果评价装置的结构图。
如图3所示，本实施例提供的图像追踪效果评价装置，包括：
提取模块31，用于根据预设算法提取目标图像的特征点；
纹理信息确定模块32，用于根据所述特征点确定所述目标图像的第一纹理信息；
所述纹理信息确定模块32还用于根据预设处理规则对所述目标图像进行处理得到对比图像，根据所述对比图像确定所述目标图像的第二纹理信息；
评分模块33，用于根据所述第一纹理信息、所述第二纹理信息对所述目标图像的追踪效果进行评分。
本实施例提供的图像追踪效果评价装置，包括提取模块，用于根据预设算法提取目标图像的特征点；纹理信息确定模块，用于根据特征点确定目标图像的第一纹理信息；纹理信息确定模块还用于根据预设处理规则对目标图像进行处理得到对比图像，根据对比图像确定目标图像的第二纹理信息；评分模块，用于根据第一纹理信息、第二纹理信息对目标图像的追踪效果进行评分。本实施例提供的图像追踪效果评价装置，能够根据提取的特征点得到纹理信息，还能够对目标图像进行处理，并基于处理后的图像得到纹理信息，再根据纹理信息对目标图像的追踪效果进行评分，无需将目标图像放置到实际产品中，就可以获知目标图像的追踪效果，无需等到产品制作完成后再确定图像的追踪效果，并且能够提高对图像追踪效果评价的效率。
本实施例提供的图像追踪效果评价装置的具体原理和实现方式均与图1所示的实施例类似，此处不再赘述。
图4为本发明另一示例性实施例示出的图像追踪效果评价装置的结构图。
如图4所示，在上述实施例的基础上，本实施例提供的图像追踪效果评价装置，所述纹理信息确定模块32，包括：
第一确定单元321，用于根据所述特征点确定所述目标图像的以下至少一种纹理评分：
纹理丰富程度评分、纹理分布评分、纹理重复性评分；
第二确定单元322，用于根据所述对比图像确定所述目标图像的纹理对比度评分；
所述评分模块33，包括：
评分单元331，用于将所述第一纹理评分、所述纹理对比度评分中最低的评分确定为所述目标图像的评分。
可选的，所述第一确定单元321具体用于：
获取所述特征点的数量，根据所述数量确定所述纹理丰富程度评分。
可选的，所述第一确定单元321具体用于：
将所述目标图像等分为若干个格子；
获取每个所述格子中所述特征点的数量，将所述特征点的数量大于数量阈值的所述格子确定为有效格子；
根据所述有效格子的数量、所述格子的总数量确定所述纹理分布评分。
可选的，所述第一确定单元321具体用于：
根据预设角度确定所述特征点在所述目标图像的对角线上的投影点；
根据所述投影点在所述对角线上的分布情况确定所述纹理分布评分。
可选的，所述第一确定单元321具体用于：
获取第一特征点预设范围内的第一特征值，获取第二特征点预设范围内的第二特征值；
根据所述第一特征值、所述第二特征值确定所述第一特征点与所述第二特征点是否为相似特征点；
根据所述相似特征点的数量与所述特征点的总数量，确定所述特征点确定所述纹理重复性评分；
所述第一确定单元321还用于：
确定所述第一特征点与所述第二特征点的空间距离；
所述根据所述第一特征值、所述第二特征值确定所述第一特征点与所述第二特征点是否为相似特征点，包括：
若所述第一特征值、所述第二特征值的差值小于第一阈值，所述空间距离大于第二阈值，则确定所述第一特征点、所述第二特征点为相似特征点。
可选的，所述纹理信息确定模块32，包括处理单元323，用于：
将预设图像作为所述目标图像的背景图像，得到参考图像；
对所述参考图像进行加噪声处理，得到对比图像。
可选的，所述第二确定单元322具体用于：
根据所述参考图像、所述目标图像确定第一相似度；
根据所述对比图像、所述目标图像确定第二相似度；
根据所述第一相似度、所述第二相似度确定所述目标图像的所述纹理对比度评分。
本实施例提供的装置的具体原理和实现方式均与图2-2D所示的实施例类似，此处不再赘述。
图5为本发明一示例性实施例示出的图像追踪效果评价设备的结构图。
如图5所示，本实施例提供的图像追踪效果评价设备包括：
存储器51；
处理器52；以及
计算机程序；
其中，所述计算机程序存储在所述存储器51中，并配置为由所述处理器52执行以实现如上所述的任一种图像追踪效果评价方法。
本实施例还提供一种可读存储介质，其上存储有计算机程序，
所述计算机程序被处理器执行以实现如上所述的任一种图像追踪效果评价方法。
其中，可读存储介质可以是计算机可读存储介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种图像追踪效果评价方法，其特征在于，包括：
根据预设算法提取目标图像的特征点；
根据所述特征点确定所述目标图像的第一纹理信息；
根据预设处理规则对所述目标图像进行处理得到对比图像，根据所述对比图像确定所述目标图像的第二纹理信息；
根据所述第一纹理信息、所述第二纹理信息对所述目标图像的追踪效果进行评分；
所述根据所述特征点确定所述目标图像的第一纹理信息，包括：
根据所述特征点确定所述目标图像的以下至少一种纹理评分：
纹理丰富程度评分、纹理分布评分、纹理重复性评分；
所述根据所述对比图像确定所述目标图像的第二纹理信息，包括：
根据所述对比图像确定所述目标图像的纹理对比度评分；
相应的，所述根据所述第一纹理信息、所述第二纹理信息对所述目标图像的追踪效果进行评分，包括：
将所述第一纹理评分、所述纹理对比度评分中最低的评分确定为所述目标图像的评分。
2.根据权利要求1所述的方法，其特征在于，根据所述特征点确定所述纹理丰富程度评分，包括：
获取所述特征点的数量，根据所述数量确定所述纹理丰富程度评分。
3.根据权利要求1所述的方法，其特征在于，根据所述特征点确定所述纹理分布评分，包括：
将所述目标图像等分为若干个格子；
获取每个所述格子中所述特征点的数量，将所述特征点的数量大于数量阈值的所述格子确定为有效格子；
根据所述有效格子的数量、所述格子的总数量确定所述纹理分布评分。
4.根据权利要求1所述的方法，其特征在于，根据所述特征点确定所述纹理分布评分，包括：
根据预设角度确定所述特征点在所述目标图像的对角线上的投影点；
根据所述投影点在所述对角线上的分布情况确定所述纹理分布评分。
5.根据权利要求1所述的方法，其特征在于，根据所述特征点确定所述纹理重复性评分，包括：
获取第一特征点预设范围内的第一特征值，获取第二特征点预设范围内的第二特征值；
根据所述第一特征值、所述第二特征值确定所述第一特征点与所述第二特征点是否为相似特征点；
根据所述相似特征点的数量与所述特征点的总数量，确定所述特征点确定所述纹理重复性评分。
6.根据权利要求5所述的方法，其特征在于，还包括：
确定所述第一特征点与所述第二特征点的空间距离；
所述根据所述第一特征值、所述第二特征值确定所述第一特征点与所述第二特征点是否为相似特征点，包括：
若所述第一特征值、所述第二特征值的差值小于第一阈值，所述空间距离大于第二阈值，则确定所述第一特征点、所述第二特征点为相似特征点。
7.根据权利要求1所述的方法，其特征在于，根据预设处理规则对所述目标图像进行处理得到对比图像，包括：
将预设图像作为所述目标图像的背景图像，得到参考图像；
对所述参考图像进行加噪声处理，得到对比图像。
8.根据权利要求7所述的方法，其特征在于，所述对所述参考图像进行加噪声处理，包括：
对所述参考图像加光照噪声和/或高斯噪声。
9.根据权利要求7或8所述的方法，其特征在于，所述根据所述对比图像确定所述目标图像的纹理对比度评分，包括：
根据所述参考图像、所述目标图像确定第一相似度；
根据所述对比图像、所述目标图像确定第二相似度；
根据所述第一相似度、所述第二相似度确定所述目标图像的所述纹理对比度评分。
10.一种图像追踪效果评价装置，其特征在于，包括：
提取模块，用于根据预设算法提取目标图像的特征点；
纹理信息确定模块，用于根据所述特征点确定所述目标图像的第一纹理信息；
所述纹理信息确定模块还用于根据预设处理规则对所述目标图像进行处理得到对比图像，根据所述对比图像确定所述目标图像的第二纹理信息；
评分模块，用于根据所述第一纹理信息、所述第二纹理信息对所述目标图像的追踪效果进行评分；
所述纹理信息确定模块，包括：
第一确定单元，用于根据所述特征点确定所述目标图像的以下至少一种纹理评分：
纹理丰富程度评分、纹理分布评分、纹理重复性评分；
第二确定单元，用于根据所述对比图像确定所述目标图像的纹理对比度评分；
所述评分模块，包括：
评分单元，用于将所述第一纹理评分、所述纹理对比度评分中最低的评分确定为所述目标图像的评分。
11.根据权利要求10所述的装置，其特征在于，所述第一确定单元具体用于：
获取所述特征点的数量，根据所述数量确定所述纹理丰富程度评分。
12.根据权利要求10所述的装置，其特征在于，所述第一确定单元具体用于：
将所述目标图像等分为若干个格子；
获取每个所述格子中所述特征点的数量，将所述特征点的数量大于数量阈值的所述格子确定为有效格子；
根据所述有效格子的数量、所述格子的总数量确定所述纹理分布评分。
13.根据权利要求10所述的装置，其特征在于，所述第一确定单元具体用于：
根据预设角度确定所述特征点在所述目标图像的对角线上的投影点；
根据所述投影点在所述对角线上的分布情况确定所述纹理分布评分。
14.根据权利要求10所述的装置，其特征在于，所述第一确定单元具体用于：
获取第一特征点预设范围内的第一特征值，获取第二特征点预设范围内的第二特征值；
根据所述第一特征值、所述第二特征值确定所述第一特征点与所述第二特征点是否为相似特征点；
根据所述相似特征点的数量与所述特征点的总数量，确定所述特征点确定所述纹理重复性评分；
所述第一确定单元还用于：
确定所述第一特征点与所述第二特征点的空间距离；
所述根据所述第一特征值、所述第二特征值确定所述第一特征点与所述第二特征点是否为相似特征点，包括：
若所述第一特征值、所述第二特征值的差值小于第一阈值，所述空间距离大于第二阈值，则确定所述第一特征点、所述第二特征点为相似特征点。
15.根据权利要求10所述的装置，其特征在于，所述纹理信息确定模块，包括处理单元，用于：
将预设图像作为所述目标图像的背景图像，得到参考图像；
对所述参考图像进行加噪声处理，得到对比图像。
16.根据权利要求15所述的装置，其特征在于，所述第二确定单元具体用于：
根据所述参考图像、所述目标图像确定第一相似度；
根据所述对比图像、所述目标图像确定第二相似度；
根据所述第一相似度、所述第二相似度确定所述目标图像的所述纹理对比度评分。
17.一种图像追踪效果评价设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-9任一种所述的方法。
18.一种可读存储介质，其特征在于，其上存储有计算机程序，
所述计算机程序被处理器执行以实现如权利要求1-9任一种所述的方法。
CN201810878766.8A 2018-08-03 2018-08-03 图像追踪效果评价方法、装置、设备及可读存储介质 Active CN109063774B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810878766.8A CN109063774B (zh) 2018-08-03 2018-08-03 图像追踪效果评价方法、装置、设备及可读存储介质
US16/510,164 US11023781B2 (en) 2018-08-03 2019-07-12 Method, apparatus and device for evaluating image tracking effectiveness and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810878766.8A CN109063774B (zh) 2018-08-03 2018-08-03 图像追踪效果评价方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109063774A CN109063774A (zh) 2018-12-21
CN109063774B true CN109063774B (zh) 2021-01-12

Family

ID=64833186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810878766.8A Active CN109063774B (zh) 2018-08-03 2018-08-03 图像追踪效果评价方法、装置、设备及可读存储介质

Country Status (2)

Country Link
US (1) US11023781B2 (zh)
CN (1) CN109063774B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150405A (zh) * 2019-06-28 2020-12-29 Oppo广东移动通信有限公司 一种图像质量分析方法及装置、存储介质
CN110322569B (zh) * 2019-07-03 2023-03-31 百度在线网络技术（北京）有限公司 多模态ar处理方法、装置、设备和可读存储介质
CN112288040B (zh) * 2020-01-10 2021-07-23 牧今科技 执行用于物体识别的图像分类的方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101652784A (zh) * 2007-03-02 2010-02-17 宝洁公司 模拟面部皮肤老化和去老化的方法及装置
CN107818313A (zh) * 2017-11-20 2018-03-20 腾讯科技（深圳）有限公司 活体识别方法、装置、存储介质和计算机设备
CN108288027A (zh) * 2017-12-28 2018-07-17 新智数字科技有限公司 一种图像质量的检测方法、装置及设备
CN108447058A (zh) * 2018-03-30 2018-08-24 北京理工大学 一种图像质量评价方法及***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3975530B2 (ja) * 1996-12-27 2007-09-12 富士ゼロックス株式会社 画像処理装置
CN101996406A (zh) * 2010-11-03 2011-03-30 中国科学院光电技术研究所 无参考结构清晰度图像质量评价方法
CN102075786B (zh) * 2011-01-19 2012-10-24 宁波大学 一种图像客观质量评价方法
JP6261199B2 (ja) * 2013-06-21 2018-01-17 キヤノン株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
US9436893B2 (en) * 2013-11-27 2016-09-06 Adobe Systems Incorporated Distributed similarity learning for high-dimensional image features
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
US9400939B2 (en) * 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
US20160012594A1 (en) * 2014-07-10 2016-01-14 Ditto Labs, Inc. Systems, Methods, And Devices For Image Matching And Object Recognition In Images Using Textures
US9558405B2 (en) * 2015-01-16 2017-01-31 Analogic Corporation Imaging based instrument event tracking
CN105205820A (zh) * 2015-09-21 2015-12-30 昆明理工大学 一种改进的特征相似性图像质量评估方法
CN107346409B (zh) * 2016-05-05 2019-12-17 华为技术有限公司 行人再识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101652784A (zh) * 2007-03-02 2010-02-17 宝洁公司 模拟面部皮肤老化和去老化的方法及装置
CN107818313A (zh) * 2017-11-20 2018-03-20 腾讯科技（深圳）有限公司 活体识别方法、装置、存储介质和计算机设备
CN108288027A (zh) * 2017-12-28 2018-07-17 新智数字科技有限公司 一种图像质量的检测方法、装置及设备
CN108447058A (zh) * 2018-03-30 2018-08-24 北京理工大学 一种图像质量评价方法及***

Also Published As

Publication number Publication date
US20200042830A1 (en) 2020-02-06
CN109063774A (zh) 2018-12-21
US11023781B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
KR102641115B1 (ko) 객체 검출을 위한 영상 처리 방법 및 장치
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
CN106897675B (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN109063774B (zh) 图像追踪效果评价方法、装置、设备及可读存储介质
US10679364B2 (en) Image matching method, image matching apparatus, image matching system, and storage medium
KR20070016849A (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
CN108550166B (zh) 一种空间目标图像匹配方法
US20120057791A1 (en) Information processing apparatus and control method thereof
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
KR20120089527A (ko) 홍채 인식 방법 및 시스템
CN106600613B (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
Tombari et al. Evaluation of stereo algorithms for 3d object recognition
Chao et al. Performance comparison of various feature detector-descriptor combinations for content-based image retrieval with JPEG-encoded query images
Seib et al. Object recognition using hough-transform clustering of surf features
KR102421604B1 (ko) 이미지 처리 방법, 장치 및 전자 기기
Liu et al. Iris recognition in visible spectrum based on multi-layer analogous convolution and collaborative representation
CN105139013A (zh) 一种融合形状特征和兴趣点的物体识别方法
CN113129332A (zh) 执行目标对象跟踪的方法和装置
WO2015031350A1 (en) Systems and methods for memory utilization for object detection
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
Heisterklaus et al. Image-based pose estimation using a compact 3d model
Pflug et al. Segmentation and normalization of human ears using cascaded pose regression
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
Fatichah et al. Optical flow feature based for fire detection on video data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant