CN116452837A - 特征匹配方法、装置、终端及存储介质 - Google Patents

特征匹配方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN116452837A
CN116452837A CN202210004294.XA CN202210004294A CN116452837A CN 116452837 A CN116452837 A CN 116452837A CN 202210004294 A CN202210004294 A CN 202210004294A CN 116452837 A CN116452837 A CN 116452837A
Authority
CN
China
Prior art keywords
target
image
point information
depth
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210004294.XA
Other languages
English (en)
Inventor
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202210004294.XA priority Critical patent/CN116452837A/zh
Publication of CN116452837A publication Critical patent/CN116452837A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种特征匹配方法、装置、终端及存储介质，特征匹配方法包括：确定相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像；根据目标彩色图像、目标深度图像、目标红外图像和目标灰度图像，对目标彩色图像和目标深度图像进行特征匹配。该方法中，不再仅仅根据彩色图像(或灰度图像)和深度图像，进行彩色图像与深度图像的特征匹配，而是同时根据相互对应的目标彩色图像、目标灰度图像、目标红外图像以及目标深度图像，完成目标彩色图像与目标深度图像之间的特征匹配，可提升特征对应的可靠性和精度。

Description

特征匹配方法、装置、终端及存储介质
技术领域
本公开涉及终端技术领域，尤其涉及一种特征匹配方法、装置、终端及存储介质。
背景技术
特征匹配在视觉导航和视觉定位中具有广泛应用。
目前，在得到了相互对应的深度图像和彩色图像(或灰度图像)后，一般对彩色图像(或灰度图像)进行特征检测，确定特征点，然后再基于彩色图像(或灰度图像)与深度图像的对应关系，从深度图像确定与特征点对应的匹配点，从而完成深度图像与彩色图像的特征匹配。
但是，由于深度图像与彩色图像(或灰度图像)的物理意义不同，直接基于彩色图像(或灰度图像)图像检测的特征点完成特征匹配，导致特征对应的精度较差。
发明内容
为克服相关技术中存在的问题，本公开提供一种特征匹配方法、装置、终端及存储介质。
根据本公开实施例的第一方面，提供一种特征匹配方法，应用于终端，所述方法包括：
确定相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像；
根据所述目标彩色图像、所述目标深度图像、所述目标红外图像和所述目标灰度图像，对所述目标彩色图像和所述目标深度图像进行特征匹配。
可选地，所述根据所述目标彩色图像、所述目标深度图像、所述目标红外图像和所述目标灰度图像，对所述目标彩色图像和所述目标深度图像进行特征匹配，包括：
对所述目标彩色图像进行特征检测，确定至少一个彩色特征点信息；
从所述目标灰度图像中，确定与所述彩色特征点信息对应的灰度特征点信息；
从所述目标红外图像中，确定与所述灰度特征点信息对应的红外特征点信息；
根据所述灰度特征点信息和所述红外特征点信息，确定所述红外特征点信息对应的第一置信度；
从所述目标深度图像中，确定与所述红外特征点信息对应的深度特征点信息；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标彩色图像，确定所述深度特征点信息对应的第二置信度；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标灰度图像，确定所述深度特征点信息对应的第三置信度；
根据所述红外特征点信息、所述第一置信度、所述深度特征点信息、所述第二置信度和所述第三置信度，确定所述目标匹配点信息，以实现对所述目标彩色图像和所述目标深度图像的特征匹配。
可选地，所述根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标彩色图像，确定所述深度特征点信息对应的第二置信度，包括：
根据所述彩色特征点信息和第一设定尺寸，从所述目标彩色图像确定彩色图像区域；
以第一设定区间数量，对所述彩色图像区域进行概率直方图统计，确定至少一个颜色通道对应的通道概率直方图；
根据所述红外特征点信息和所述第一设定尺寸，从所述目标红外图像确定第一红外图像区域；
从所述目标深度图像中，确定与所述第一红外图像区域对应的第一深度图像区域；
以所述第一设定区间数量，对所述第一深度图像区域进行概率直方图统计，确定深度信息对应的第一深度概率直方图；
根据所述第一深度概率直方图以及所述至少一个颜色通道对应的通道概率直方图，确定至少一个第一交叉熵，所述至少一个第一交叉熵与所述至少一个颜色通道对应的通道概率直方图一一对应；
根据所述至少一个第一交叉熵，确定所述第二置信度。
可选地，所述根据所述至少一个第一交叉熵，确定所述第二置信度，包括：
将所述至少一个第一交叉熵中的最大值，确定为所述第二置信度。
可选地，所述根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标灰度图像，确定所述深度特征点信息对应的第三置信度，包括：
根据所述灰度特征点信息和第二设定尺寸，从所述目标灰度图像确定灰度图像区域；
以第二设定区间数量，对所述灰度图像区域进行概率直方图统计，确定灰度信息对应的灰度概率直方图；
根据所述红外特征点信息和所述第二设定尺寸，从所述目标红外图像确定第二红外图像区域；
从所述目标深度图像中，确定与所述第二红外图像区域对应的第二深度图像区域；
以所述第二设定区间数量，对所述第二深度图像区域进行概率直方图统计，确定深度信息对应的第二深度概率直方图；
根据所述第二深度概率直方图以及所述灰度概率直方图，确定第二交叉熵；
将所述第二交叉熵，确定为所述第三置信度。
可选地，所述根据所述红外特征点信息、所述第一置信度、所述深度特征点信息、所述第二置信度和所述第三置信度，确定所述目标匹配点信息，包括：
将所述红外特征点信息与所述第一置信度的乘积、所述深度特征点信息与所述第二置信度的乘积以及所述深度特征点信息与所述第三置信度的乘积之和，确定为所述目标匹配点信息。
根据本公开实施例的第二方面，提供一种特征匹配装置，应用于终端，所述装置包括：
确定模块，用于确定相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像；
特征匹配模块，用于根据所述目标彩色图像、所述目标深度图像、所述目标红外图像和所述目标灰度图像，对所述目标彩色图像和所述目标深度图像进行特征匹配。
可选地，所述特征匹配模块，用于：
对所述目标彩色图像进行特征检测，确定至少一个彩色特征点信息；
从所述目标灰度图像中，确定与所述彩色特征点信息对应的灰度特征点信息；
从所述目标红外图像中，确定与所述灰度特征点信息对应的红外特征点信息；
根据所述灰度特征点信息和所述红外特征点信息，确定所述红外特征点信息对应的第一置信度；
从所述目标深度图像中，确定与所述红外特征点信息对应的深度特征点信息；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标彩色图像，确定所述深度特征点信息对应的第二置信度；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标灰度图像，确定所述深度特征点信息对应的第三置信度；
根据所述红外特征点信息、所述第一置信度、所述深度特征点信息、所述第二置信度和所述第三置信度，确定所述目标匹配点信息，以实现对所述目标彩色图像和所述目标深度图像的特征匹配。
可选地，所述特征匹配模块，用于：
根据所述彩色特征点信息和第一设定尺寸，从所述目标彩色图像确定彩色图像区域；
以第一设定区间数量，对所述彩色图像区域进行概率直方图统计，确定至少一个颜色通道对应的通道概率直方图；
根据所述红外特征点信息和所述第一设定尺寸，从所述目标红外图像确定第一红外图像区域；
从所述目标深度图像中，确定与所述第一红外图像区域对应的第一深度图像区域；
以所述第一设定区间数量，对所述第一深度图像区域进行概率直方图统计，确定深度信息对应的第一深度概率直方图；
根据所述第一深度概率直方图以及所述至少一个颜色通道对应的通道概率直方图，确定至少一个第一交叉熵，所述至少一个第一交叉熵与所述至少一个颜色通道对应的通道概率直方图一一对应；
根据所述至少一个第一交叉熵，确定所述第二置信度。
可选地，所述特征匹配模块，用于：
将所述至少一个第一交叉熵中的最大值，确定为所述第二置信度。
可选地，所述特征匹配模块，用于：
根据所述灰度特征点信息和第二设定尺寸，从所述目标灰度图像确定灰度图像区域；
以第二设定区间数量，对所述灰度图像区域进行概率直方图统计，确定灰度信息对应的灰度概率直方图；
根据所述红外特征点信息和所述第二设定尺寸，从所述目标红外图像确定第二红外图像区域；
从所述目标深度图像中，确定与所述第二红外图像区域对应的第二深度图像区域；
以所述第二设定区间数量，对所述第二深度图像区域进行概率直方图统计，确定深度信息对应的第二深度概率直方图；
根据所述第二深度概率直方图以及所述灰度概率直方图，确定第二交叉熵；
将所述第二交叉熵，确定为所述第三置信度。
可选地，所述特征匹配模块，用于：
将所述红外特征点信息与所述第一置信度的乘积、所述深度特征点信息与所述第二置信度的乘积以及所述深度特征点信息与所述第三置信度的乘积之和，确定为所述目标匹配点信息。
根据本公开实施例的第三方面，提供一种终端，所述终端包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行如第一方面任意一项所述的方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如第一方面任意一项所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：该方法中，不再仅仅根据彩色图像(或灰度图像)和深度图像，进行彩色图像与深度图像的特征匹配，而是同时根据相互对应的目标彩色图像、目标灰度图像、目标红外图像以及目标深度图像，完成目标彩色图像与目标深度图像之间的特征匹配，可提升特征对应的可靠性和精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的特征匹配方法的流程图。
图2是根据一示例性实施例示出的特征匹配方法的流程图。
图3是根据一示例性实施例示出的特征匹配方法的流程图。
图4是根据一示例性实施例示出的特征匹配方法的流程图。
图5是根据一示例性实施例示出的特征匹配装置的框图。
图6是根据一示例性实施例示出的终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供了一种特征匹配方法，应用于终端。该方法中，不再仅仅根据彩色图像(或灰度图像)和深度图像，进行彩色图像与深度图像的特征匹配，而是同时根据相互对应的目标彩色图像、目标灰度图像、目标红外图像以及目标深度图像，完成目标彩色图像与目标深度图像之间的特征匹配，可提升特征对应的可靠性和精度。
例如，当该方法应用于VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强显示)、无人驾驶、三维重建、视觉导航等需要位姿估计的场景时，由于特征对应的可靠性和精度更好，因此，可以提高VR、AR、无人驾驶、三维重建、视觉导航等场景中位姿估计的可靠性，提升用户的使用体验。
需要说明的是，特征对应的结果不仅仅可以应用于位姿估计，也可应用于其他场景，在此不作限定。
在一个示例性实施例中，提供了一种特征匹配方法，应用于终端。参考图1所示，该方法包括：
S110、确定相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像；
S120、根据目标彩色图像、目标深度图像、目标红外图像和目标灰度图像，对目标彩色图像和目标深度图像进行特征匹配。
在步骤S110中，终端可包括相机组件，相机组件可包括彩色(RGB)摄像组件和深度(Depth)摄像组件，其中，当相机组件拍摄图像时，彩色摄像组件可输出拍摄目标的源彩色(RGB)图像，深度摄像组件可输出拍摄目标的源深度(Depth)图像和源红外(IR)图像。
终端获取了上述源彩色图像、源彩深度图像和源彩红外图像后，可基于设定标定信息，对源彩彩色图像、源彩深度图像和源彩红外图像进行立体矫正处理，以得到相互对应的目标彩色图像、目标深度图像和目标红外图像。其中，目标彩色图像为源彩色图像立体矫正后的图像，目标深度图像为源深度图像立体矫正后的图像，目标红外图像为源红外图像立体矫正后的图像。
其中，设定标定信息可以是深度摄像组件与彩色摄像组件的离线标定信息，该离线标定信息可基于张正友标定确定。
终端在得到了目标彩色图像后，可对目标彩色图像进行灰度化处理，得到对应的目标灰度图像。由此，终端便确定了相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像。目标彩色图像的像素点、目标灰度图像的像素点、目标深度图像的像素点以及目标红外图像的像素点之间存在对应关系。
需要说明的是，终端也可通过其他方式确定相互对应的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像，在此不作限定。例如，此终端可从其它终端获取相互对应的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像。
在步骤S120中，可对目标彩色图像进行特征检测，从而确定目标彩色图像中的至少一个彩色特征点，当确定的彩色特征点为两个或更多个时，两个或更多个彩色特征点可构成彩色特征点集合。其中，彩色特征点在目标彩色图像中图像信息可记为彩色特征点信息，彩色特征点信息可以是目标彩色图像中的坐标信息。
此步骤中，可根据目标彩色图像、目标灰度图像、目标深度图像和目标红外图像，从目标深度图像中确定与彩色特征点信息对应的深度特征点信息，此深度特征点信息便可作为目标匹配点信息。其中，目标匹配点信息可以是目标深度图像中的坐标信息。
然后根据彩色特征点信息和目标匹配点信息，便可完成对目标彩色图像和目标深度图像的特征匹配，确定对应的点对集合。对应的点对集合中包括至少一对相互对应的彩色特征点和深度特征点，其中，彩色特征点可根据彩色特征点信息确定，彩色特征点属于目标彩色图像，深度特征点可根据目标匹配点信息确定，深度特征点属于目标深度图像。
该方法中，根据相互对应的目标彩色图像、目标灰度图像、目标红外图像以及目标深度图像，完成目标彩色图像与目标深度图像之间的特征匹配，可提升特征对应的可靠性和精度。当该方法应用于VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强显示)、无人驾驶、三维重建、视觉导航等需要位姿估计的场景时，由于特征对应的可靠性和精度更好，因此，可以提高VR、AR、无人驾驶、三维重建、视觉导航等场景中位姿估计的可靠性，提升用户的使用体验。
在一个示例性实施例中，提供了一种特征匹配方法，应用于终端。参考图2所示，该方法中，根据目标彩色图像、目标深度图像、目标红外图像和目标灰度图像，对目标彩色图像和目标深度图像进行特征匹配，可包括：
S210、对目标彩色图像进行特征检测，确定至少一个彩色特征点信息；
S220、从目标灰度图像中，确定与彩色特征点信息对应的灰度特征点信息；
S230、从目标红外图像中，确定与灰度特征点信息对应的红外特征点信息；
S240、根据灰度特征点信息和红外特征点信息，确定红外特征点信息对应的第一置信度；
S250、从目标深度图像中，确定与红外特征点信息对应的深度特征点信息；
S260、根据深度特征点信息、红外特征点信息、目标深度图像和目标彩色图像，确定深度特征点信息对应的第二置信度；
S270、根据深度特征点信息、红外特征点信息、目标深度图像和目标灰度图像，确定深度特征点信息对应的第三置信度；
S280、根据红外特征点信息、第一置信度、深度特征点信息、第二置信度和第三置信度，确定目标匹配点信息，以实现对目标彩色图像和目标深度图像的特征匹配。
在步骤S210中，特征检测时使用的特征可包括Sift(Scale Invariant FeatureTransform)特征、surf(Speeded Up Robust Feature)特征、光流特征等等，在此不作限定。
此步骤中，终端可对目标彩色图像进行特征检测，从目标彩色图像中确定至少一个彩色特征点，该彩色特征点在目标彩色图像的图像信息，可以确定为彩色特征点信息。例如，可将彩色特征点在目标彩色图像中的坐标信息，确定为该彩色特征点的彩色特征点信息。
在步骤S220中，目标灰度图像中的像素点与目标彩色图像中的像素点存在对应关系，该对应关系可记为第一对应关系。在确定了彩色特征点后，便可基于第一对应关系，从目标灰度图像中，确定与彩色特征点对应的灰度特征点。该灰度特征点在目标灰度图像的图像信息，记为灰度特征点信息。此灰度特征点信息与彩色特征点信息对应。由此，便可从目标灰度图像中，确定与彩色特征点信息对应的灰度特征点信息。
需要说明的是，当彩色特征点信息为相应的彩色特征点在目标彩色图像的坐标信息时，彩色特征点信息对应的灰度特征点信息也可以是坐标信息，其中，灰度特征点信息可以是相应的灰度特征点在目标灰度图像的坐标信息。
在步骤S230中，目标红外图像中的像素点与目标灰度图像中的像素点存在对应关系，该对应关系可记为第二对应关系。在确定了灰度特征点信息后，便可基于第二对应关系，从目标红外图像中，确定与灰度特征点信息对应的红外特征点。该红外特征点在目标红外图像的图像信息，记为红外特征点信息。此红外特征点信息与灰度特征点信息对应。由此，便可从目标红外图像中，确定与灰度特征点信息对应的红外特征点信息。
需要说明的是，当灰度特征点信息为相应的灰度特征点在目标灰度图像的坐标信息时，上述灰度特征点信息对应的红外特征点信息也可以是坐标信息，其中，红外特征点信息可以是相应的红外特征点在目标红外图像的坐标信息。
在步骤S240中，将对应的灰度特征点信息与红外特征点信息之间的匹配度，确定为第一置信度。也就是，第一置信度用于表征对应的灰度特征点信息与红外特征点信息之间的匹配度。
此步骤中，可基于灰度特征点信息和设定尺寸，从目标灰度图像中确定灰度图像区域，并可基于相应的红外特征点信息和设定尺寸，从目标红外图像中确定红外图像区域，然后确定灰度图像区域与红外图像区域的匹配度，该匹配度即为第一置信度。上述设定尺寸可记为第三设定尺寸。
其中，第三设定尺寸可以是终端出厂前设置的，也可以是终端出厂后的设置的，另外，第三设定尺寸设置完成后，后续可对其进行修改，以更好地满足于用户需求。第三设定尺寸的具体值可根据实际情况确定，在此不作限定。
示例1，
灰度特征点信息对应的灰度特征点记为红外特征点信息对应的红外特征点记为/>其中，上述灰度特征点信息与红外特征点信息对应，也就是，灰度特征点/>与红外特征点/>对应。第三设定尺寸为W个像素。
在目标灰度图像中，以灰度特征点为中心，以W个像素为半径，确定灰度图像区域/>在目标红外图像中，以红外特征点/>为中心，以W个像素为半径，确定红外图像区域/>
然后对灰度图像区域和红外图像区域/>作匹配度的计算，从而确定灰度图像区域/>和红外图像区域/>的匹配度，然后将计算得到的匹配度确定为上述红外特征点信息对应的第一置信度。
需要说明的是，除上述示例的方式外，也可通过其它方式确定第一置信度，在此不作限定。
在步骤S250中，目标红外图像中的像素点与目标深度图像中的像素点存在对应关系，该对应关系可记为第三对应关系。在确定了红外特征点信息后，便可基于第三对应关系，从目标深度图像中，确定与红外特征点信息对应的深度特征点。该深度特征点在目标深度图像的图像信息，记为深度特征点信息。此深度特征点信息与红外特征点信息对应。由此，便可从目标深度图像中，确定与红外特征点信息对应的深度特征点信息。
需要说明的是，当红外特征点信息为相应的红外特征点在目标红外图像的坐标信息时，上述红外特征点信息对应的深度特征点信息也可以是坐标信息，其中，深度特征点信息可以是相应的深度特征点在目标深度图像的坐标信息。
在步骤S260中，第二置信度用于表征相互对应的深度特征点信息与彩色特征点信息之间的匹配程度。
需要说明的是，采用步骤S220确定彩色特征点信息对应的灰度特征点信息，然后基于步骤S230确定灰度特征点信息对应的红外特征点信息，再基于步骤S250确定红外特征点信息对应的深度特征点信息，深度特征点信息与彩色特征点信息变为相互对应的特征点信息。然后计算相互对应的深度特征点信息与彩色特征点信息之间的匹配度，计算得到匹配度便可作为第二置信度。
在步骤S270中，第三置信度用于表征相互对应的深度特征点信息与灰度特征点信息之间的匹配程度。
需要说明的是，采用步骤S230确定灰度特征点信息对应的红外特征点信息，再基于步骤S250确定红外特征点信息对应的深度特征点信息，深度特征点信息与灰度特征点信息变为相互对应的特征点信息。然后计算相互对应的深度特征点信息与灰度特征点信息之间的匹配度，计算得到匹配度便可作为第二置信度。
在步骤S280中，可将红外特征点信息与第一置信度的乘积、深度特征点信息与第二置信度的乘积以及深度特征点信息与第三置信度的乘积之和，确定为目标匹配点信息。
示例2，
彩色特征点信息记为其对应的彩色特征点记为/>彩色特征点信息对应的灰度特征点信息记为/>其对应的灰度特征点记为/>灰度特征点信息对应的红外特征点信息记为/>其对应的红外特征点记为/>红外特征点信息对应的深度特征点信息记为/>其对应的深度特征点记为/>
第一置信度可记为第一置信度/>可表征红外特征点信息与灰度特征点信息/>之间的匹配度。第二置信度可记为/>第二置信度可表征深度特征点信息/>与彩色特征点信息/>之间的匹配度。第三置信度可记为/>第三置信度/>可表征深度特征点信息/>与灰度特征点信息/>之间的匹配度。
其中，红外特征点信息可以是红外特征点/>在目标红外图像中的坐标信息 深度特征点信息/>可以是深度特征点/>在目标深度图像中的坐标信息
该示例中，目标匹配点信息由以下公式确定：
也就是，目标匹配点信息中的/>由以下公式确定：
目标匹配点信息中的/>由以下公式确定：
该示例中，根据第一置信度、第二置信度和第三置信度等信息，从目标深度图像中，确定与彩色特征点信息对应的目标匹配点信息，综合考虑了目标彩色图像、目标灰度图像，目标红外图像和目标深度图像的物理意义和特性，从而更加准确地完成目标深度图像与目标彩色图像之间的特征匹配。
需要说明的是，除了上述示例中的方式外，也可通过其他方式确定目标匹配点信息，在此不作限定。
该方法中，相互对应的灰度特征点信息与红外特征点信息之间的匹配度(即第一置信度)、相互对应的彩色特征点信息与深度特征点信息之间的匹配度(即第二置信度)以及相互对应的灰度特征点信息与深度特征点信息之间的匹配度(即第三置信度)，从目标深度图像中，确定彩色特征点信息对应的目标匹配点信息，以完成目标彩色图像与目标深度图像之间的特征匹配，可提升特征对应的可靠性和精度。
在一个示例性实施例中，提供了一种特征匹配方法，应用于终端。参考图3所示，该方法中，根据深度特征点信息、红外特征点信息、目标深度图像和目标彩色图像，确定深度特征点信息对应的第二置信度，可包括：
S310、根据彩色特征点信息和第一设定尺寸，从目标彩色图像确定彩色图像区域；
S320、以第一设定区间数量，对彩色图像区域进行概率直方图统计，确定红色通道、绿色通道和蓝色通道对应的至少一个通道概率直方图；
S330、根据红外特征点信息和第一设定尺寸，从目标红外图像确定第一红外图像区域；
S340、从目标深度图像中，确定与第一红外图像区域对应的第一深度图像区域；
S350、以第一设定区间数量，对第一深度图像区域进行概率直方图统计，确定深度信息对应的第一深度概率直方图；
S360、根据第一深度概率直方图以及至少一个通道概率直方图，确定至少一个第一交叉熵，至少一个第一交叉熵与至少一个通道概率直方图一一对应；
S370、根据至少一个第一交叉熵，确定第二置信度。
在步骤S310中，第一设定尺寸的设置可参考第三设定尺寸。第一设定尺寸可以是终端出厂前设置的，也可以是终端出厂后的设置的，另外，第一设定尺寸设置完成后，后续可对其进行修改，以更好地满足于用户需求。第一设定尺寸的具体值可根据实际情况确定，在此不作限定。
其中，第一设定尺寸与第三设定尺寸可以相同，也可以不同，对此不作限定。
示例1，
彩色特征点信息对应的彩色特征点记为第一设定尺寸为W个像素。
在目标彩色图像中，以彩色特征点为中心，以W个像素为半径，确定彩色图像区域/>
需要说明的是，除上述示例的方式外，也可通过其它方式确定彩色图像区域，在此不作限定。
在步骤S320中，第一设定区间数量可以是终端出厂前设置的，也可以是终端出厂后的设置的，另外，第一设定区间数量设置完成后，后续可对其进行修改，以更好地满足于用户需求。第一设定区间数量的具体值可根据实际情况确定，在此不作限定。
一般情况下，颜色通道的取值一般为0至255，因此，第一设定区间数量为256个，分别对应0至255的通道值。此情况下得到的通道概率直方图(又可称为通道频率直方图)的横坐标表示通道值，依次为0至255，纵坐标表示此彩色图像区域中相应通道值的像素点个数在整个彩色图像区域的像素点总数的占比。
例如，彩色图像区域的像素点总数为一百万，其中，通道值为156的红色通道对应的像素点个数为十万，则红色通道对应的概率直方图中，横坐标156对应的纵坐标为0.1。
此步骤中，可基于第一设定区间数量，对彩色图像区域进行概率直方图统计，从而确定至少一个颜色通道对应的通道概率直方图。颜色通道的具体颜色不作限定。
例如，可确定红色通道(R)对应的红色通道概率直方图，也可确定绿色通道(G)对应的绿色通道概率直方图，也可确定蓝色通道(B)对应的蓝色通道概率直方图，也可同时确定上述红色通道概率直方图、绿色通道概率直方图和蓝色通道概率直方图，在此不作限定。
在步骤S330中，第一红外图像区域的确定方式可参考彩色图像区域的确定方式，在此不作赘述。
示例2，
红外特征点信息对应的彩色特征点记为第一设定尺寸为W个像素。
在目标彩色图像中，以彩色特征点为中心，以W个像素为半径，确定红外图像区域/>
需要说明的是，除上述示例的方式外，也可通过其它方式确定红外图像区域，在此不作限定。
在步骤S340中，可基于第三对应关系，从目标深度图像中，确定与第一红外图像区域对应的第一深度图像区域。其中，第三对应关系指，目标红外图像中的像素点与目标深度图像中的像素点的对应关系。因此，在确定第一红外图像区域后，便可基于第三对应关系确定第一深度图像区域。
在步骤S350中，第一深度概率直方图的确定方式，可参考通道概率直方图的确定方式，在此不作赘述。需要说明的是，概率直方图又可称为频率直方图。
示例3，
第一设定区间数量为256个，可将深度信息的取值范围分成256深度值范围，然后对第一深度图像区域进行概率直方图统计，确定第一深度图像区域中像素点的总数，以及每个深度值范围对应的像素点个数，进而确定每个深度值范围对应的像素点概率，以得到第一深度概率直方图。
在步骤S360中，在确定了第一深度概率直方图以及通道概率直方图后，便可基于第一深度概率直方图和通道概率直方图进行交叉熵运算，确定第一交叉熵。
交叉熵运算的公式如下：
其中，CrossE为交叉熵；Prgb(x)指，通道值x在相应的通道概率直方图中对应的概率(即纵坐标y)；pdepth(x)指，通道值x对应的深度值范围在第一深度概率直方图中对应的概率(即纵坐标y)。
需要说明的是，若步骤S320中确定了不止一个通道概率直方图，则此步骤S360可确定不止一个第一交叉熵。若步骤S320中确定了不一个通道概率直方图，则此步骤S360可确定一个第一交叉熵。
在步骤S370中，若步骤S360确定了一个第一交叉熵，则可直接将上述第一交叉熵确定为第二置信度。若步骤S360确定了不止一个第一交叉熵，则可将上述不止一个交叉熵中的最大值，确定为第二置信度。
示例4，
第一设定区间数量为256个。
基于第一设定区间数量，对彩色图像区域进行概率直方图统计，确定了红色通道对应的红色通道概率直方图、绿色通道对应的绿色通道概率直方图以及蓝色通道对应的蓝色通道概率直方图。
基于第一设定区间数量，将深度信息分为256等份的深度值范围，然后对第一深度图像区域进行概率直方图统计，确定深度信息对应的第一深度概率直方图。
该示例中，基于红色通道概率直方图和第一深度概率直方图，确定第一交叉熵，此第一交叉熵可记为第一红色通道交叉熵。基于绿色通道概率直方图和第一深度概率直方图，确定第一交叉熵，此第一交叉熵可记为第一绿色通道交叉熵。基于蓝色通道概率直方图和第一深度概率直方图，确定第一交叉熵，此第一交叉熵可记为第一蓝色通道交叉熵。
该示例中，便可将第一红色通道交叉熵、第一绿色通道交叉熵和第一蓝色通道交叉熵中的最大的第一交叉熵，确定为第二置信度。
需要说明的是，除上市方式外，也可通过其他方式确定第二置信度，在此不作限定。例如，可将至少一个第一交叉熵的平均值，确定为第二置信度。
该方法中，基于概率直方图统计和交叉熵运算，来确定相互对应的彩色特征点信息与深度特征点信息之间的匹配度(即第二置信度)，然后基于上述匹配度完成目标彩色图像与目标深度图像的特征匹配，可进一步提升特征匹配的可靠性。
在一个示例性实施例中，提供了一种特征匹配方法，应用于终端。参考图4所示，该方法中，根据深度特征点信息、红外特征点信息、目标深度图像和目标灰度图像，确定深度特征点信息对应的第三置信度，可包括：
S410、根据灰度特征点信息和第二设定尺寸，从目标灰度图像确定灰度图像区域；
S420、以第二设定区间数量，对灰度图像区域进行概率直方图统计，确定灰度信息对应的灰度概率直方图；
S430、根据红外特征点信息和第二设定尺寸，从目标红外图像确定第二红外图像区域；
S440、从目标深度图像中，确定与第二红外图像区域对应的第二深度图像区域；
S450、以第二设定区间数量，对第二深度图像区域进行概率直方图统计，确定深度信息对应的第二深度概率直方图；
S460、根据第二深度概率直方图以及灰度概率直方图，确定第二交叉熵；
S470、将第二交叉熵，确定为第三置信度。
在步骤S410中，第二设定尺寸的设置可参考第一设定尺寸。第二设定尺寸可以是终端出厂前设置的，也可以是终端出厂后的设置的，另外，第二设定尺寸设置完成后，后续可对其进行修改，以更好地满足于用户需求。第二设定尺寸的具体值可根据实际情况确定，在此不作限定。
其中，第二设定尺寸与第一设定尺寸可以相同，也可以不同，对此不作限定。
示例1，
灰色特征点信息对应的灰色特征点记为第二设定尺寸为W个像素。
在目标灰度图像中，以灰度特征点为中心，以W个像素为半径，确定灰度图像区域/>
需要说明的是，除上述示例的方式外，也可通过其它方式确定灰度图像区域，在此不作限定。
在步骤S420中，第二设定区间数量的设置可参考第一设定区间数量。第二设定区间数量可以是终端出厂前设置的，也可以是终端出厂后的设置的，另外，第二设定区间数量设置完成后，后续可对其进行修改，以更好地满足于用户需求。第二设定区间数量的具体值可根据实际情况确定，在此不作限定。
其中，第二设定区间数量与第一设定区间数量可以相同，也可以不同，对此不作限定。
一般情况下，灰度值的取值范围为0至255，因此，第二设定区间数量可以设置为256个，分别对应0至255的灰度值。此情况下得到的灰度概率直方图(又可称为灰度频率直方图)的横坐标表示灰度值，依次为0至255，纵坐标表示此灰度图像区域中相应灰度值的像素点个数在整个灰度图像区域的像素点总数的占比。
步骤S430至步骤S450可参考步骤S320至步骤S340，在此不作赘述。
在步骤S460中，在确定了第一深度概率直方图以及通道概率直方图后，便可基于第一深度概率直方图和通道概率直方图进行交叉熵运算，确定第一交叉熵。
交叉熵运算的公式如下：
其中，CrossE为交叉熵；pgray(x)指，灰度值x在灰度概率直方图中对应的概率(即纵坐标y)；pdepth(x)指，灰度值x对应的深度值范围在第二深度概率直方图中对应的概率(即纵坐标y)。
此步骤中，可通过上述交叉熵运算公式，以及灰度概率直方图和第二深度概率直方图，确定第二交叉熵。
需要说明的是，当第二设定尺寸与第一设定尺寸相同，且第二设定区间数量与第一设定区间数量相同时，第二深度概率直方图与第一深度概率直方图相同，也就是，此情况下，该方法仅仅确定一个深度概率直方图即可，以提高此方法的效率。
在步骤S470中，可直接将第二交叉熵，确定为第三置信度。
示例2，
灰色特征点信息对应的灰色特征点记为深度特征点信息对应的深度特征点记为/>其中，上述灰度特征点信息与深度特征点信息对应。第二设定尺寸为W个像素，第二设定区间数量为256个。
在目标灰度图像中，以灰度特征点为中心，以W个像素为半径，确定灰度图像区域/>然后基于第二设定区间数量对灰度图像区域作概率直方图统计，确定灰度概率直方图。灰度概率直方图的横坐标为0至255的灰度值，纵坐标为相应灰度值对应的概率。
基于第二设定区间数量，将深度信息等分为256个深度值范围，分别对应于256个灰度值。在目标深度图像中，以深度特征点为中心，以W个像素为半径，确定第二深度图像区域/>然后基于上述256个深度值范围，对第二深度图像区域作概率直方图统计，确定第二深度概率直方图。第二深度概率直方图的横坐标为0至255的灰度值对应的256个深度值范围，纵坐标为相应深度值范围对应的概率。
然后根据灰度概率直方图和第二深度概率直方图作交叉熵运算，确定第二交叉熵，此第二交叉熵便可作为第三置信度。
该方法中，基于概率直方图统计和交叉熵运算，来确定相互对应的灰度特征点信息与深度特征点信息之间的匹配度(即第三置信度)，然后基于上述匹配度完成目标彩色图像与目标深度图像的特征匹配，可进一步提升特征匹配的可靠性。
在一个示例性实施例中，提供了一种特征匹配方法，应用于终端。
该方法中，第一设定尺寸、第二设定尺寸和第三设定尺寸相同，均为W个像素。第一设定区间数量和第二设定区间数量相同，均为256个。
终端可包括相机组件，相机组件可包括彩色(RGB)摄像组件和深度(Depth)摄像组件，其中，当相机组件拍摄图像时，彩色摄像组件可输出拍摄目标的源彩色(RGB)图像，深度摄像组件可输出拍摄目标的源深度(Depth)图像和源红外(IR)图像。
终端获取了上述源彩色图像、源彩深度图像和源彩红外图像后，可基于设定标定信息，对源彩彩色图像、源彩深度图像和源彩红外图像进行立体矫正处理，以得到相互匹配的目标彩色图像、目标深度图像和目标红外图像。其中，目标彩色图像为源彩色图像立体矫正后的图像，目标深度图像为源深度图像立体矫正后的图像，目标红外图像为源红外图像立体矫正后的图像。
其中，设定标定信息可以是深度摄像组件与彩色摄像组件的离线标定信息，该离线标定信息可基于张正友标定确定。
终端在得到了目标彩色图像后，可对目标彩色图像进行灰度化处理，得到对应的目标灰度图像。由此，终端便确定了相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像。目标彩色图像的像素点、目标灰度图像的像素点、目标深度图像的像素点以及目标红外图像的像素点之间存在对应关系。
然后，可对目标彩色图像进行特征检测，从而确定目标彩色图像中的n个彩色特征点，n为大于0的正整数。其中，第i个彩色特征点记为i为大于0且小于或等于n的正整数。
彩色特征点在目标彩色图像中坐标信息可记为彩色特征点信息/>
然后，可基于第一对应关系，从目标灰度图像中，确定与彩色特征点对应的灰度特征点/>该灰度特征点/>在目标灰度图像的坐标信息，记为灰度特征点信息此灰度特征点信息/>与彩色特征点信息/>对应。
然后，可基于第二对应关系，从目标红外图像中，确定与灰度特征点对应的红外特征点/>该红外特征点/>在目标红外图像的坐标信息，记为红外特征点信息/>此红外特征点信息/>与灰度特征点信息/>对应。
然后，可基于第三对应关系，从目标深度图像中，确定与红外特征点对应的深度特征点/>该深度特征点/>在目标深度图像的坐标信息，记为深度特征点信息此深度特征点信息/>与红外特征点信息/>对应。
由此，便确定了相互对应的n组特征点信息组，特征点信息组包括相互对应的彩色特征点信息、灰度特征点信息、红外特征点信息和深度特征点信息。其中，第i组特征点信息组对应于第i个彩色特征点信息
然后，在目标彩色图像中，以彩色特征点为中心，以W个像素为半径，确定彩色图像区域/>在目标灰度图像中，以灰度特征点/>为中心，以W个像素为半径，确定灰度图像区域/>在目标红外图像中，以红外特征点/>为中心，以W个像素为半径，确定红外图像区域/>在目标深度图像中，以深度特征点/>为中心，以W个像素为半径，确定深度图像区域/>
对灰度图像区域和红外图像区域/>作匹配度的计算，从而确定灰度图像区域/>和红外图像区域/>的匹配度，然后将计算得到的匹配度确定为上述红外特征点信息对应的第一置信度/>
基于0至255的256个通道值，对彩色图像区域作概率直方图统计，确定红色通道对应的红色通道(R)概率直方图P_h_R、绿色通道(G)对应的绿色通道概率直方图P_h_G以及蓝色通道(B)对应的蓝色通道概率直方图P_h_B。其中，红色通道概率直方图P_h_R中，横坐标为0至255的红色通道值，纵坐标为相应红色通道值对应的概率；绿色通道概率直方图P_h_G中，横坐标为0至255的绿色通道值，纵坐标为相应绿色通道值对应的概率；蓝色通道概率直方图P_h_B中，横坐标为0至255的蓝色通道值，纵坐标为相应蓝色通道值对应的概率。
基于0至255的256个灰度值，对灰度图像区域作概率直方图统计，确定灰度概率直方图P_h_gray。灰度概率直方图P_h_gray的横坐标为0至255的灰度值，纵坐标为相应灰度值对应的概率。
基于0至255的256个灰度值对应的256个深度值范围，对深度图像区域作概率直方图统计，确定深度概率直方图P_h_depth。深度概率直方图P_h_depth的横坐标为0至255的灰度值对应的256个深度值范围，纵坐标为相应深度值范围对应的概率。
根据红色通道概率直方图P_h_R和深度概率直方图P_h_depth作交叉熵运算，确定第一交叉熵，此第一交叉熵可记为第一红色通道交叉熵。基于绿色通道概率直方图P_h_G和深度概率直方图P_h_depth作交叉熵运算，确定第一交叉熵，此第一交叉熵可记为第一绿色通道交叉熵。基于蓝色通道概率直方图P_h_B和深度概率直方图P_h_depth作交叉熵运算，确定第一交叉熵，此第一交叉熵可记为第一蓝色通道交叉熵。然后将上述三个第一交叉熵中的最大值，确定为第二置信度
根据灰度概率直方图P_h_gray和深度概率直方图P_h_depth作交叉熵运算，确定第二交叉熵，此第二交叉熵便可作为第三置信度
然后，将红外特征点信息与第一置信度/>的乘积、深度特征点信息与第二置信度/>的乘积以及深度特征点信息/>与第三置信度的乘积之和，确定为目标匹配点信息/>此目标匹配点信息/>便是与彩色特征点信息/>匹配的深度特征点信息。也就是，基于该目标匹配点信息便可从目标深度图像中确定目标特征点，此目标特征点与彩色特征点/>匹配。
通过上述方法，便可从目标深度图像中，确定每个彩色特征点对应的目标匹配点。相互匹配的彩色特征点和目标匹配点构成匹配的特征点对，由此，便可确定匹配的特征点对集，以实现目标深度图像与目标彩色图像的特征匹配。
该方法可提升特征对应的可靠性和精度。当该方法应用于VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强显示)、无人驾驶、三维重建、视觉导航等需要位姿估计的场景时，由于特征对应的可靠性和精度更好，因此，可以提高VR、AR、无人驾驶、三维重建、视觉导航等场景中位姿估计的可靠性，提升用户的使用体验。
在一个示例性实施例中，提供了一种特征匹配装置，应用于终端。该装置用于实施上述的方法。示例地，参考图5所示，该装置可包括确定模块101和特征匹配模块102。该装置在实施上述方法的过程中，
确定模块101，用于确定相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像；
特征匹配模块102，用于根据目标彩色图像、目标深度图像、目标红外图像和目标灰度图像，对目标彩色图像和目标深度图像进行特征匹配。
在一个示例性实施例中，提供了一种特征匹配装置，应用于终端。参考图5所示，该装置中，特征匹配模块102，用于：
对目标彩色图像进行特征检测，确定至少一个彩色特征点信息；
从目标灰度图像中，确定与彩色特征点信息对应的灰度特征点信息；
从目标红外图像中，确定与灰度特征点信息对应的红外特征点信息；
根据灰度特征点信息和红外特征点信息，确定红外特征点信息对应的第一置信度；
从目标深度图像中，确定与红外特征点信息对应的深度特征点信息；
根据深度特征点信息、红外特征点信息、目标深度图像和目标彩色图像，确定深度特征点信息对应的第二置信度；
根据深度特征点信息、红外特征点信息、目标深度图像和目标灰度图像，确定深度特征点信息对应的第三置信度；
根据红外特征点信息、第一置信度、深度特征点信息、第二置信度和第三置信度，确定目标匹配点信息，以实现对目标彩色图像和目标深度图像的特征匹配。
在一个示例性实施例中，提供了一种特征匹配装置，应用于终端。参考图5所示，该装置中，特征匹配模块102，用于：
根据彩色特征点信息和第一设定尺寸，从目标彩色图像确定彩色图像区域；
以第一设定区间数量，对彩色图像区域进行概率直方图统计，确定至少一个颜色通道对应的通道概率直方图；
根据红外特征点信息和第一设定尺寸，从目标红外图像确定第一红外图像区域；
从目标深度图像中，确定与第一红外图像区域对应的第一深度图像区域；
以第一设定区间数量，对第一深度图像区域进行概率直方图统计，确定深度信息对应的第一深度概率直方图；
根据第一深度概率直方图以及至少一个颜色通道对应的通道概率直方图，确定至少一个第一交叉熵，至少一个第一交叉熵与至少一个颜色通道对应的通道概率直方图一一对应；
根据至少一个第一交叉熵，确定第二置信度。
在一个示例性实施例中，提供了一种特征匹配装置，应用于终端。参考图5所示，该装置中，特征匹配模块102，用于：
将至少一个第一交叉熵中的最大值，确定为第二置信度。
在一个示例性实施例中，提供了一种特征匹配装置，应用于终端。参考图5所示，该装置中，特征匹配模块102，用于：
根据灰度特征点信息和第二设定尺寸，从目标灰度图像确定灰度图像区域；
以第二设定区间数量，对灰度图像区域进行概率直方图统计，确定灰度信息对应的灰度概率直方图；
根据红外特征点信息和第二设定尺寸，从目标红外图像确定第二红外图像区域；
从目标深度图像中，确定与第二红外图像区域对应的第二深度图像区域；
以第二设定区间数量，对第二深度图像区域进行概率直方图统计，确定深度信息对应的第二深度概率直方图；
根据第二深度概率直方图以及灰度概率直方图，确定第二交叉熵；
将第二交叉熵，确定为第三置信度。
在一个示例性实施例中，提供了一种特征匹配装置，应用于终端。参考图5所示，该装置中，特征匹配模块102，用于：
将红外特征点信息与第一置信度的乘积、深度特征点信息与第二置信度的乘积以及深度特征点信息与第三置信度的乘积之和，确定为目标匹配点信息。
在一个示例性实施例中，提供了一种终端，终端例如为手机、笔记本电脑、平板电脑以及可穿戴设备等。
参考图6所示，终端400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制终端400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在终端400的操作。这些数据的示例包括用于在终端400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为终端400的各种组件提供电力。电源组件406可以包括电源管理***，一个或多个电源，及其他与为终端400生成、管理和分配电力相关联的组件。
多媒体组件408包括在终端400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置相机模组和/或后置相机模组。当终端400处于操作模式，如拍摄模式或视频模式时，前置相机模组和/或后置相机模组可以接收外部的多媒体数据。每个前置相机模组和后置相机模组可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当终端400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为终端400提供各个方面的状态评估。例如，传感器组件414可以检测到终端400的打开/关闭状态，组件的相对定位，例如组件为终端400的显示器和小键盘，传感器组件414还可以检测终端400或终端400一个组件的位置改变，用户与终端400接触的存在或不存在，终端400方位或加速/减速和终端400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于终端400和其他终端之间有线或无线方式的通信。终端700可以接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理终端(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的方法。
在一个示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由终端400的处理器420执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储终端等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述实施例中示出的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种特征匹配方法，应用于终端，其特征在于，所述方法包括：
确定相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像；
根据所述目标彩色图像、所述目标深度图像、所述目标红外图像和所述目标灰度图像，对所述目标彩色图像和所述目标深度图像进行特征匹配。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标彩色图像、所述目标深度图像、所述目标红外图像和所述目标灰度图像，对所述目标彩色图像和所述目标深度图像进行特征匹配，包括：
对所述目标彩色图像进行特征检测，确定至少一个彩色特征点信息；
从所述目标灰度图像中，确定与所述彩色特征点信息对应的灰度特征点信息；
从所述目标红外图像中，确定与所述灰度特征点信息对应的红外特征点信息；
根据所述灰度特征点信息和所述红外特征点信息，确定所述红外特征点信息对应的第一置信度；
从所述目标深度图像中，确定与所述红外特征点信息对应的深度特征点信息；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标彩色图像，确定所述深度特征点信息对应的第二置信度；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标灰度图像，确定所述深度特征点信息对应的第三置信度；
根据所述红外特征点信息、所述第一置信度、所述深度特征点信息、所述第二置信度和所述第三置信度，确定所述目标匹配点信息，以实现对所述目标彩色图像和所述目标深度图像的特征匹配。
3.根据权利要求2所述的方法，其特征在于，所述根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标彩色图像，确定所述深度特征点信息对应的第二置信度，包括：
根据所述彩色特征点信息和第一设定尺寸，从所述目标彩色图像确定彩色图像区域；
以第一设定区间数量，对所述彩色图像区域进行概率直方图统计，确定至少一个颜色通道对应的通道概率直方图；
根据所述红外特征点信息和所述第一设定尺寸，从所述目标红外图像确定第一红外图像区域；
从所述目标深度图像中，确定与所述第一红外图像区域对应的第一深度图像区域；
以所述第一设定区间数量，对所述第一深度图像区域进行概率直方图统计，确定深度信息对应的第一深度概率直方图；
根据所述第一深度概率直方图以及所述至少一个颜色通道对应的通道概率直方图，确定至少一个第一交叉熵，所述至少一个第一交叉熵与所述至少一个颜色通道对应的通道概率直方图一一对应；
根据所述至少一个第一交叉熵，确定所述第二置信度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述至少一个第一交叉熵，确定所述第二置信度，包括：
将所述至少一个第一交叉熵中的最大值，确定为所述第二置信度。
5.根据权利要求2所述的方法，其特征在于，所述根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标灰度图像，确定所述深度特征点信息对应的第三置信度，包括：
根据所述灰度特征点信息和第二设定尺寸，从所述目标灰度图像确定灰度图像区域；
以第二设定区间数量，对所述灰度图像区域进行概率直方图统计，确定灰度信息对应的灰度概率直方图；
根据所述红外特征点信息和所述第二设定尺寸，从所述目标红外图像确定第二红外图像区域；
从所述目标深度图像中，确定与所述第二红外图像区域对应的第二深度图像区域；
以所述第二设定区间数量，对所述第二深度图像区域进行概率直方图统计，确定深度信息对应的第二深度概率直方图；
根据所述第二深度概率直方图以及所述灰度概率直方图，确定第二交叉熵；
将所述第二交叉熵，确定为所述第三置信度。
6.根据权利要求2所述的方法，其特征在于，所述根据所述红外特征点信息、所述第一置信度、所述深度特征点信息、所述第二置信度和所述第三置信度，确定所述目标匹配点信息，包括：
将所述红外特征点信息与所述第一置信度的乘积、所述深度特征点信息与所述第二置信度的乘积以及所述深度特征点信息与所述第三置信度的乘积之和，确定为所述目标匹配点信息。
7.一种特征匹配装置，应用于终端，其特征在于，所述装置包括：
确定模块，用于确定相互匹配的目标彩色图像、目标灰度图像、目标深度图像和目标红外图像；
特征匹配模块，用于根据所述目标彩色图像、所述目标深度图像、所述目标红外图像和所述目标灰度图像，对所述目标彩色图像和所述目标深度图像进行特征匹配。
8.根据权利要求7所述的装置，其特征在于，所述特征匹配模块，用于：
对所述目标彩色图像进行特征检测，确定至少一个彩色特征点信息；
从所述目标灰度图像中，确定与所述彩色特征点信息对应的灰度特征点信息；
从所述目标红外图像中，确定与所述灰度特征点信息对应的红外特征点信息；
根据所述灰度特征点信息和所述红外特征点信息，确定所述红外特征点信息对应的第一置信度；
从所述目标深度图像中，确定与所述红外特征点信息对应的深度特征点信息；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标彩色图像，确定所述深度特征点信息对应的第二置信度；
根据所述深度特征点信息、所述红外特征点信息、所述目标深度图像和所述目标灰度图像，确定所述深度特征点信息对应的第三置信度；
根据所述红外特征点信息、所述第一置信度、所述深度特征点信息、所述第二置信度和所述第三置信度，确定所述目标匹配点信息，以实现对所述目标彩色图像和所述目标深度图像的特征匹配。
9.根据权利要求8所述的装置，其特征在于，所述特征匹配模块，用于：
根据所述彩色特征点信息和第一设定尺寸，从所述目标彩色图像确定彩色图像区域；
以第一设定区间数量，对所述彩色图像区域进行概率直方图统计，确定至少一个颜色通道对应的通道概率直方图；
根据所述红外特征点信息和所述第一设定尺寸，从所述目标红外图像确定第一红外图像区域；
从所述目标深度图像中，确定与所述第一红外图像区域对应的第一深度图像区域；
以所述第一设定区间数量，对所述第一深度图像区域进行概率直方图统计，确定深度信息对应的第一深度概率直方图；
根据所述第一深度概率直方图以及所述至少一个颜色通道对应的通道概率直方图，确定至少一个第一交叉熵，所述至少一个第一交叉熵与所述至少一个颜色通道对应的通道概率直方图一一对应；
根据所述至少一个第一交叉熵，确定所述第二置信度。
10.根据权利要求9所述的装置，其特征在于，所述特征匹配模块，用于：
将所述至少一个第一交叉熵中的最大值，确定为所述第二置信度。
11.根据权利要求8所述的装置，其特征在于，所述特征匹配模块，用于：
根据所述灰度特征点信息和第二设定尺寸，从所述目标灰度图像确定灰度图像区域；
以第二设定区间数量，对所述灰度图像区域进行概率直方图统计，确定灰度信息对应的灰度概率直方图；
根据所述红外特征点信息和所述第二设定尺寸，从所述目标红外图像确定第二红外图像区域；
从所述目标深度图像中，确定与所述第二红外图像区域对应的第二深度图像区域；
以所述第二设定区间数量，对所述第二深度图像区域进行概率直方图统计，确定深度信息对应的第二深度概率直方图；
根据所述第二深度概率直方图以及所述灰度概率直方图，确定第二交叉熵；
将所述第二交叉熵，确定为所述第三置信度。
12.根据权利要求8所述的装置，其特征在于，所述特征匹配模块，用于：
将所述红外特征点信息与所述第一置信度的乘积、所述深度特征点信息与所述第二置信度的乘积以及所述深度特征点信息与所述第三置信度的乘积之和，确定为所述目标匹配点信息。
13.一种终端，其特征在于，所述终端包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行如权利要求1至6中任意一项所述的方法。
14.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由终端的处理器执行时，使得所述终端能够执行如权利要求1至6中任意一项所述的方法。
CN202210004294.XA 2022-01-04 2022-01-04 特征匹配方法、装置、终端及存储介质 Pending CN116452837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210004294.XA CN116452837A (zh) 2022-01-04 2022-01-04 特征匹配方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210004294.XA CN116452837A (zh) 2022-01-04 2022-01-04 特征匹配方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN116452837A true CN116452837A (zh) 2023-07-18

Family

ID=87120661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210004294.XA Pending CN116452837A (zh) 2022-01-04 2022-01-04 特征匹配方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN116452837A (zh)

Similar Documents

Publication Publication Date Title
CN106651955B (zh) 图片中目标物的定位方法及装置
CN104156947B (zh) 图像分割方法、装置及设备
CN106778773B (zh) 图片中目标物的定位方法及装置
CN108010060B (zh) 目标检测方法及装置
CN112001321A (zh) 网络训练、行人重识别方法及装置、电子设备和存储介质
CN107563994B (zh) 图像的显著性检测方法及装置
CN107944367B (zh) 人脸关键点检测方法及装置
CN106131441B (zh) 拍照方法及装置、电子设备
CN111461182B (zh) 图像处理方法、图像处理装置及存储介质
CN109034150B (zh) 图像处理方法及装置
CN112927122A (zh) 水印去除方法、装置及存储介质
CN112219224A (zh) 图像处理方法及装置、电子设备和存储介质
CN113920465A (zh) 片尾识别方法、装置、电子设备及存储介质
CN110796012B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN106372663B (zh) 构建分类模型的方法及装置
CN113261011A (zh) 图像处理方法及装置、电子设备和存储介质
CN110876014B (zh) 图像处理方法及装置、电子设备及存储介质
CN107292901B (zh) 边缘检测方法及装置
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质
CN113656627A (zh) 肤色分割方法、装置、电子设备及存储介质
CN111311588B (zh) 重定位方法及装置、电子设备和存储介质
CN106469446B (zh) 深度图像的分割方法和分割装置
CN116452837A (zh) 特征匹配方法、装置、终端及存储介质
CN107067392B (zh) 识别花屏图像的方法及装置
CN108647594B (zh) 信息处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination