CN108109164B - 一种信息处理方法及电子设备 - Google Patents
一种信息处理方法及电子设备 Download PDFInfo
- Publication number
- CN108109164B CN108109164B CN201711296624.2A CN201711296624A CN108109164B CN 108109164 B CN108109164 B CN 108109164B CN 201711296624 A CN201711296624 A CN 201711296624A CN 108109164 B CN108109164 B CN 108109164B
- Authority
- CN
- China
- Prior art keywords
- feature
- target object
- characteristic
- database
- databases
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种信息处理方法及电子设备,其中,方法包括:构建目标对象在不同环境特征下的多个特征数据库;所述特征数据库至少包括所述目标对象的多帧图像的特征点信息;对所述目标对象进行图像采集,并对采集的图像进行特征点提取;基于预设策略从所述多个特征数据库中选取一个特征数据库;将提取的特征点信息与所选取的特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别。
Description
技术领域
本发明涉及信息处理技术领域,尤其涉及一种信息处理方法及电子设备。
背景技术
在图像处理领域中,物体识别被应用在各个方面,如增强现实(AR,AugmentedReality)。在物体识别过程中,为了能从二维图像中准确估计三维物体的姿态,通常采用特征点匹配的方法进行识别,目前,相关技术方案中对于特征点的匹配往往忽略当前的环境特征(如光照强度)所造成的影响,致使在某些环境下特征点匹配失败,无法实现稳定的物体识别。
发明内容
本发明实施例提供一种信息处理方法及电子设备,能够提高在不同的环境特征下对物体的识别率。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种信息处理方法,所述方法包括:
构建目标对象在不同环境特征下的多个特征数据库;所述特征数据库至少包括所述目标对象的多帧图像的特征点信息;
对所述目标对象进行图像采集,并对采集的图像进行特征点提取;
基于预设策略从所述多个特征数据库中选取一个特征数据库;
将提取的特征点信息与所选取的特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别。
上述方案中,所述基于预设策略从所述多个特征数据库中选取一个特征数据库,包括:
确定所述采集的图像的环境特征;
基于所述采集的图像的环境特征,从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库。
上述方案中,所述从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库,包括:
响应于所述环境特征为光照强度,从所述多个特征数据库中选取光照强度与所采集的图像对应的光照强度最接近的特征数据库。
上述方案中,所述方法还包括:
响应于选取的所述特征数据库作为第一主特征数据库,剩余的其它特征数据库作为辅特征数据库,
确定对所述目标对象的物体识别失败时,从所述辅特征数据库中选取一个特征数据库作为第二主特征库;
基于所述第二主特征库对所述目标对象进行物体识别。
上述方案中,所述构建目标对象在不同环境特征下的多个特征数据库之后,所述方法还包括:
对所述多个特征数据库中的特征点进行三维点云配准,实现所述目标对象对于所述多个特征数据库的坐标系相同。
上述方案中,所述构建目标对象在不同环境特征下的多个特征数据库,包括:
在不同的环境特征下,采集所述目标对象在不同视点下的多帧图像;
分别对所述不同的环境特征下的不同视点下的多帧图像进行特征点信息提取;
对提取的同一环境特征下的不同视点下的帧图像进行特征点信息匹配,得到匹配信息;
基于得到的不同的环境特征下的匹配信息,对所述目标对象进行三维重建,得到对应所述目标对象在不同环境特征下的三维重建结果;
基于所述三维重建结果,构建所述目标对象在不同环境特征下的多个特征数据库。
上述方案中,所述将提取的特征点信息与所选取的特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别,包括:
逐一将选取的特征数据库中各帧图像的特征点与提取的特征点进行匹配;
确定匹配成功的特征点的数量大于预设阈值时,表征对所述目标对象的物体识别成功。
本发明实施例还提供了一种电子设备,所述电子设备包括:
存储器,用于存储可执行程序;
处理器,用于通过执行所述存储器中存储的可执行程序时实现:
构建目标对象在不同环境特征下的多个特征数据库;所述特征数据库至少包括所述目标对象的多帧图像的特征点信息;
对所述目标对象进行图像采集,并对采集的图像进行特征点提取;
基于预设策略从所述多个特征数据库中选取一个特征数据库;
将提取的特征点信息与所选取的特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别。
上述方案中,所述处理器,还用于确定所述采集的图像的环境特征;
基于所述采集的图像的环境特征,从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库。
上述方案中,所述处理器,还用于响应于选取的所述特征数据库作为第一主特征数据库,剩余的其它特征数据库作为辅特征数据库,
确定对所述目标对象的物体识别失败时,从所述辅特征数据库中选取一个特征数据库作为第二主特征库;
基于所述第二主特征库对所述目标对象进行物体识别。
应用本发明实施例中上述信息处理方法及电子设备,由于构建了目标对象在不同环境特征下的多个特征数据库,使得当目标对象处于所述不同环境特征下时,均可准确的被识别,提高了目标对象在不同环境特征中的识别率。
附图说明
图1为本发明实施例提供的信息处理方法的流程示意图一;
图2为本发明实施例提供的信息处理方法的流程示意图二;
图3为本发明实施例提供的电子设备的组成结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例作进一步地详细描述,应当理解,此处所提供的实施例仅仅用以解释本发明,并不用于限定本发明。另外,以下所提供的实施例是用于实施本发明的部分实施例,而非提供实施本发明的全部实施例,在本领域技术人员不付出创造性劳动的前提下,对以下实施例的技术方案进行重组所得的实施例、以及基于对发明所实施的其他实施例均属于本发明的保护范围。
需要说明的是,在本发明实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其他要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤)。
需要说明的是,本发明实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
对本发明进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)物体识别(Object Recognition),指的是在一张图像或一组视频序列中识别出(找到)给定的物体。
2)目标跟踪,在一个视频或帧图像序列中,对目标对象实现物体识别,并追踪目标对象的运动轨迹。
3)特征点,指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点),能够反映图像本质特征,能够标识图像中目标对象(物体)。
4)描述子(Descriptors),即特征点描述子(Feature Descriptors),用于描述特征点的属性。
实施例一
作为实现本发明实施例信息处理方法的一个可选实施例,参见图1,图1为本发明实施例提供的信息处理方法的一个可选的流程示意图,本发明实施例中信息处理方法涉及步骤101至步骤104,以下分别进行说明。
步骤101:构建目标对象在不同环境特征下的多个特征数据库;特征数据库至少包括目标对象的多帧图像的特征点信息。
在一实施例中,可通过如下方式构建目标对象在不同环境特征下的多个特征数据库:
在不同的环境特征下,采集所述目标对象的多帧图像;分别对所述不同的环境特征下的多帧图像进行特征点信息提取;对提取的同一环境特征下的帧图像进行特征点信息匹配,得到匹配信息;基于得到的不同的环境特征下的匹配信息,对所述目标对象进行三维重建,得到对应所述目标对象在不同环境特征下的三维重建结果;基于所述三维重建结果,构建所述目标对象在不同环境特征下的多个特征数据库。发明人在研究过程中发现,即使对于具有光照不变性的特征点,如harris、sift及orb特征,在光照环境变化很大的情况下,使用相机采样得到的二维图像的特征变化也比较明显,尤其具有强反光的物体表面在强光下会产生过曝的情况,这种情况下得到的图像特征和正常光照环境下得到的图像特征差别巨大,导致图像特征匹配失败,因此,本发明实施例中不同的环境特征可以为不同的光照强度,而不同的光照强度的选定可以依据经验值。
接下来对特定环境特征(如某光照强度)下,目标对象特征数据库的构建进行说明。
在一实施例中,采集目标对象的多帧图像;分别对采集的多帧图像进行特征点信息提取;对提取的帧图像进行特征点信息匹配,得到匹配信息;基于得到的匹配信息,对目标对象进行三维重建,得到三维重建结果;基于三维重建结果,构建特征数据库。
其中,对帧图像进行特征点提取可以为:对帧图像提取ORB(Oriented FAST andRotated BRIEF)特征点(Key points)及其描述子。在实际应用中,可采用FAST(featuresfrom accelerated segment test)算法进行ORB特征点提取。
对提取的帧图像进行特征点信息匹配,得到匹配信息可以包括:对于帧图像序列中的每帧图像,将其与自身前面相邻N(N为正整数,如5)帧图像进行特征点匹配,得到匹配信息,即匹配成功的特征点对信息。
在一实施方式中,基于得到的匹配信息,对目标对象进行三维重建,得到三维重建结果,可以包括:基于得到的上述匹配信息,采用SFM(Structure from Motion)算法对目标对象进行稀疏3D模型重建,如通过上述得到的匹配特征点集,使用数值方法恢复相机参数与三维信息,得到稀疏3D模型(sparse 3D model)及重建特征点的3D坐标(空间位置信息)。
在一实施例中,基于三维重建结果构建特征数据库,可以包括:
基于三维重建结果得到重建特征点的空间位置信息构建包括帧图像、帧图像上的特征点、帧图像上特征点的空间位置信息的特征数据库。
采用上述方法构建目标对象在不同环境特征下的多个特征数据库。
在一实施例中,构建目标对象在不同环境特征下的多个特征数据库之后,所述方法还包括:
对构建的多个特征数据库中的特征点进行三维点云配准,实现目标对象对于多个特征数据库的坐标系相同。
步骤102:对目标对象进行图像采集,并对采集的图像进行特征点提取。
在一实施例中,使用相机对目标对象进行图像采集,然后提取当前帧图像中的ORB特征点及其描述子。
步骤103:基于预设策略从多个特征数据库中选取一个特征数据库。
在一实施例中,可通过如下方式从多个特征数据库中选取一个特征数据库:
确定采集的图像的环境特征;基于采集的图像的环境特征,从构建的多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库。示例性地,环境特征为光照强度,则从构建的多个特征数据库中选取光照强度与所采集的图像对应的光照强度最接近的特征数据库。
在一实施例中,还可随机从多个特征数据库中选取一个作为主特征数据库,其它的作为辅特征数据库,采用主特征数据库对目标对象进行物体识别。
步骤104:将提取的特征点信息与所选取的特征数据库中的特征点信息进行匹配,以对目标对象进行物体识别。
在一实施例中,可通过如下方式实现提取的特征点信息与特征数据库中的特征点信息的匹配:
逐一将特征数据库中各帧图像的特征点与提取的特征点进行匹配;确定匹配成功的特征点的数量大于预设阈值时,表征对目标对象的物体识别成功。例如,将提取的目标对象的当前帧图像与特征数据库中的各个参考帧图像逐一进行特征点匹配,当匹配成功的特征点的数量大于15时,视为对目标对象的物体识别成功。
在一实施例中,当从多个特征数据库中选取了主特征数据库后,利用主特征数据库中的特征点信息进行物体识别时,若识别失败则从剩余的辅特征数据库中从新选取一个主特征数据库进行物体识别,如此,直至物体识别成功。
在一实施例中,对目标对象的物体识别成功后,还可进一步对目标对象进行目标跟踪,即在连续采集的目标对象的帧图像中识别所述目标对象。
在一实施例中,对目标对象的物体识别成功后,还可进一步确定采集的目标对象的图像的采集位姿(相机姿态),基于确定的相机姿态可将虚拟对象叠加至目标对象的预设位置,实现虚拟对象与真实物体的叠加。
应用本发明上述实施例,由于构建了目标对象在不同环境特征下的多个特征数据库,使得当目标对象处于所述不同环境特征下时,均可准确的被识别,提高了目标对象在不同环境特征中的识别率。
实施例二
作为实现本发明实施例信息处理方法的一个可选实施例,图2为本发明实施例提供的信息处理方法的一个可选的流程示意图,参见图2,本发明实施例中信息处理方法包括:
步骤201:构建目标对象在不同光照强度下的多个特征数据库。
这里,在实际实施时,对于不同光照强度的选定可以基于经验值或实际需要,构建的特征数据库的数量也可以依据实际需要进行设定。
接下来对某一光照强度下的特征数据库的构建过程进行说明。在一实施例中,可通过如下方式构建特征数据库:通过将相机围绕目标对象录像,获得包括目标对象在不同视点下的图像信息的视频,得到目标对象的一个连续的帧图像序列;提取每个帧图像中的ORB特征点及其描述子,然后对于每一帧图像,将其与其前面相邻5帧图像进行特征点匹配,得到匹配信息(即匹配成功的特征点对信息);采用SFM算法对目标对象进行稀疏3D模型重建,得到目标对象的稀疏3D模型及重建特征点的空间位置信息(3D坐标);构建包括帧图像、帧图像上的特征点、帧图像上特征点的空间位置信息的特征数据库。
步骤202:对构建的多个特征数据库中的特征点进行三维点云配准,实现目标对象对于多个特征数据库的坐标系相同。
这里,点云配准过程,就是求一个两个点云之间的旋转平移矩阵(刚性变换或欧式变换),将源点云(source cloud)变换到目标点云(target cloud)相同的坐标系下。在本发明实施例中,可采用迭代最近点(ICP,Iterative Closest Point)算法对构建的多个特征数据库中的特征点进行三维点云配准,实现目标对象所在的坐标系与构建的多个特征数据库的坐标系相同。
步骤203:采集目标对象的图像,提取采集图像中的ORB特征点及其描述子。
在实际实施时,对采集的图像进行ORB特征点检测,可通过FAST算法进行ORB特征点的检测及提取;具体地,可基于特征点周围的图像灰度值,检测候选特征点周围一圈的像素值,如果候选点周围领域内有足够多(如周围圆圈点的四分之三)的像素点与该候选点的灰度值差别够大(如超过给定灰度阈值),则认为该候选点为一个特征点。同时,在实际实施时,可采用BRIEF(Binary Robust Independent Elementary Features)算法计算一个特征点的描述子。
步骤204:从构建的多个特征数据库中选取第一主特征数据库。
在实际应用中,可从多个特征数据库中随机选取一个特征数据库作为第一主特征数据库,剩余的作为辅特征数据库。
步骤205:将采集图像与第一主特征数据库中的图像进行图像匹配,判断是否匹配成功,如果匹配失败,执行步骤206;如果匹配成功,执行步骤209。
这里,在实际实施时,将采集图像与第一主特征数据库中的图像进行图像匹配,包括:
将采集的目标对象的图像与第一主特征数据库中的图像逐一进行特征点匹配,若第一主特征数据库中存在匹配成功的特征点超过预设阈值(如15个)的图像,则视为匹配成功;若对第一主特征数据库中的图像逐一进行图像匹配后不存在匹配成功的特征点超过预设阈值的图像,视为匹配失败。在实际应用中,图像匹配成功即对目标对象的物体识别成功。若采集的目标对象的图像与当前选取的第一主特征数据库中的图像匹配失败,则选取(如随机选取)第一主特征数据库中另一图像进行图像匹配,若采集的目标对象的图像与第一主特征数据库中所有的图像均匹配失败,视为本步骤的匹配失败。
步骤206:从构建的多个特征数据库中选取第二主特征数据库。
在实际应用中,可从选取第一主特征数据库后得到的多个辅特征数据库中随机选取一个特征数据库作为第二主特征数据库,剩余的作为辅特征数据库。
步骤207:将采集图像与第二主特征数据库中的图像进行图像匹配,判断是否匹配成功,如果匹配失败,执行步骤208;如果匹配成功,执行步骤209。
这里,在实际实施时匹配过程同步骤205中相同,在此不做赘述。
步骤208:从构建的多个特征数据库中选取第三主特征数据库。
在实际应用中,可从选取第二主特征数据库后得到的多个辅特征数据库中随机选取一个特征数据库作为第三主特征数据库,剩余的作为辅特征数据库,并基于选取的第三主特征数据库与采集图像进行图像匹配,以此类推,直至选取的主特征数据库与采集图像的图像匹配成功,即对目标对象的物体识别成功。
步骤209:结束本次处理流程。
应用本发明上述实施例,由于构建了目标对象在不同光照强度下的多个特征数据库,使得当目标对象处于所述不同光照强度下时,均可准确的被识别,提高了目标对象在不同光照强度下的识别率。
实施例三
作为实现本发明实施例电子设备的一个可选实施例,参见图3、图3为本发明实施例电子设备的组成结构示意图,电子设备包括:处理器21、存储器22以及至少一个外部通信接口23;所述处理器21、存储器22以及外部通信接口23均通过总线24连接;其中,
存储器22,用于存储可执行程序;
处理器21,用于通过执行所述存储器中存储的可执行程序时实现:
构建目标对象在不同环境特征下的多个特征数据库;所述特征数据库至少包括所述目标对象的多帧图像的特征点信息;
对所述目标对象进行图像采集,并对采集的图像进行特征点提取;
基于预设策略从所述多个特征数据库中选取一个特征数据库;
将提取的特征点信息与所选取的特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别。
在一实施例中,所述处理器21,还用于确定所述采集的图像的环境特征;
基于所述采集的图像的环境特征,从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库。
在一实施例中,所述处理器21,还用于响应于所述环境特征为光照强度,从所述多个特征数据库中选取光照强度与所采集的图像对应的光照强度最接近的特征数据库。
在一实施例中,所述处理器21,还用于响应于选取的所述特征数据库作为第一主特征数据库,剩余的其它特征数据库作为辅特征数据库,
确定对所述目标对象的物体识别失败时,从所述辅特征数据库中选取一个特征数据库作为第二主特征库;
基于所述第二主特征库对所述目标对象进行物体识别。
在一实施例中,所述处理器21,还用于对所述多个特征数据库中的特征点进行三维点云配准,实现所述目标对象对于所述多个特征数据库的坐标系相同。
在一实施例中,所述处理器21,还用于在不同的环境特征下,采集所述目标对象在不同视点下的多帧图像;
分别对所述不同的环境特征下的不同视点下的多帧图像进行特征点信息提取;
对提取的同一环境特征下的不同视点下的帧图像进行特征点信息匹配,得到匹配信息;
基于得到的不同的环境特征下的匹配信息,对所述目标对象进行三维重建,得到对应所述目标对象在不同环境特征下的三维重建结果;
基于所述三维重建结果,构建所述目标对象在不同环境特征下的多个特征数据库。
在一实施例中,所述处理器21,还用于逐一将选取的特征数据库中各帧图像的特征点与提取的特征点进行匹配;
确定匹配成功的特征点的数量大于预设阈值时,表征对所述目标对象的物体识别成功。
需要说明的是:上述实施例提供的电子设备与信息处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。对于本发明所述电子设备实施例中未披露的技术细节,请参照本发明方法实施例的描述。
基于上述对信息处理方法及电子设备的说明,本发明实施例还提供了一种存储介质,其上存储有计算机指令,该指令被处理器执行时实现:
构建目标对象在不同环境特征下的多个特征数据库;所述特征数据库至少包括所述目标对象的多帧图像的特征点信息;
对所述目标对象进行图像采集,并对采集的图像进行特征点提取;
基于预设策略从所述多个特征数据库中选取一个特征数据库;
将提取的特征点信息与所选取的特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别。
在一实施例中,上述指令被处理器执行时还实现:
确定所述采集的图像的环境特征;
基于所述采集的图像的环境特征,从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库。
在一实施例中,上述指令被处理器执行时还实现:
响应于所述环境特征为光照强度,从所述多个特征数据库中选取光照强度与所采集的图像对应的光照强度最接近的特征数据库。
在一实施例中,上述指令被处理器执行时还实现:
响应于选取的所述特征数据库作为第一主特征数据库,剩余的其它特征数据库作为辅特征数据库,
确定对所述目标对象的物体识别失败时,从所述辅特征数据库中选取一个特征数据库作为第二主特征库;
基于所述第二主特征库对所述目标对象进行物体识别。
在一实施例中,上述指令被处理器执行时还实现:
对所述多个特征数据库中的特征点进行三维点云配准,实现所述目标对象对于所述多个特征数据库的坐标系相同。
在一实施例中,上述指令被处理器执行时还实现:
在不同的环境特征下,采集所述目标对象在不同视点下的多帧图像;
分别对所述不同的环境特征下的不同视点下的多帧图像进行特征点信息提取;
对提取的同一环境特征下的不同视点下的帧图像进行特征点信息匹配,得到匹配信息;
基于得到的不同的环境特征下的匹配信息,对所述目标对象进行三维重建,得到对应所述目标对象在不同环境特征下的三维重建结果;
基于所述三维重建结果,构建所述目标对象在不同环境特征下的多个特征数据库。
在一实施例中,上述指令被处理器执行时还实现:
逐一将选取的特征数据库中各帧图像的特征点与提取的特征点进行匹配;
确定匹配成功的特征点的数量大于预设阈值时,表征对所述目标对象的物体识别成功。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种信息处理方法,其特征在于,所述方法包括:
构建目标对象在不同环境特征下的多个特征数据库;所述特征数据库包括所述目标对象的多帧图像的特征点信息;
对所述多个特征数据库中的特征点进行三维点云配准,实现所述目标对象对于所述多个特征数据库的坐标系相同;
对所述目标对象进行图像采集,并对采集的图像进行特征点提取;
基于预设策略从所述多个特征数据库中选取一个特征数据库作为第一主特征数据库;
将提取的特征点信息与所述第一主特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别;
确定对所述目标对象的物体识别失败时,从剩余的其它特征数据库中选取一个特征数据库作为第二主特征库;
基于所述第二主特征库对所述目标对象进行物体识别。
2.如权利要求1所述的方法,其特征在于,所述基于预设策略从所述多个特征数据库中选取一个特征数据库作为第一主特征数据库,包括:
确定所述采集的图像的环境特征;
基于所述采集的图像的环境特征,从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库作为所述第一主特征数据库。
3.如权利要求2所述的方法,其特征在于,所述从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库作为第一主特征数据库,包括:
响应于所述环境特征为光照强度,从所述多个特征数据库中选取光照强度与所采集的图像对应的光照强度最接近的特征数据库作为所述第一主特征数据库。
4.如权利要求1所述的方法,其特征在于,所述构建目标对象在不同环境特征下的多个特征数据库,包括:
在不同的环境特征下,采集所述目标对象在不同视点下的多帧图像;
分别对所述不同的环境特征下的不同视点下的多帧图像进行特征点信息提取;
对提取的同一环境特征下的不同视点下的帧图像进行特征点信息匹配,得到匹配信息;
基于得到的不同的环境特征下的匹配信息,对所述目标对象进行三维重建,得到对应所述目标对象在不同环境特征下的三维重建结果;
基于所述三维重建结果,构建所述目标对象在不同环境特征下的多个特征数据库。
5.如权利要求1所述的方法,其特征在于,所述将提取的特征点信息与所述第一主特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别,包括:
逐一将所述第一主特征数据库中各帧图像的特征点与提取的特征点进行匹配;
确定匹配成功的特征点的数量大于预设阈值时,表征对所述目标对象的物体识别成功。
6.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存储可执行程序;
处理器,用于通过执行所述存储器中存储的可执行程序时实现:
构建目标对象在不同环境特征下的多个特征数据库;所述特征数据库至少包括所述目标对象的多帧图像的特征点信息;
对所述多个特征数据库中的特征点进行三维点云配准,实现所述目标对象对于所述多个特征数据库的坐标系相同;
对所述目标对象进行图像采集,并对采集的图像进行特征点提取;
基于预设策略从所述多个特征数据库中选取一个特征数据库作为第一主特征数据库;
将提取的特征点信息与所述第一主特征数据库中的特征点信息进行匹配,以对所述目标对象进行物体识别;
确定对所述目标对象的物体识别失败时,从剩余的其它特征数据库中选取一个特征数据库作为第二主特征库;
基于所述第二主特征库对所述目标对象进行物体识别。
7.根据权利要求6所述的电子设备,其特征在于,
所述处理器,还用于确定所述采集的图像的环境特征;
基于所述采集的图像的环境特征,从所述多个特征数据库中选取与所采集的图像的环境特征相似度最高的特征数据库作为所述第一主特征数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711296624.2A CN108109164B (zh) | 2017-12-08 | 2017-12-08 | 一种信息处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711296624.2A CN108109164B (zh) | 2017-12-08 | 2017-12-08 | 一种信息处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108109164A CN108109164A (zh) | 2018-06-01 |
CN108109164B true CN108109164B (zh) | 2021-04-13 |
Family
ID=62209434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711296624.2A Active CN108109164B (zh) | 2017-12-08 | 2017-12-08 | 一种信息处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108109164B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711370B (zh) * | 2018-12-29 | 2021-03-26 | 北京博睿视科技有限责任公司 | 一种基于wifi探测和人脸聚类的数据融合方法 |
CN112348885A (zh) * | 2019-08-09 | 2021-02-09 | 华为技术有限公司 | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 |
CN111931720B (zh) * | 2020-09-23 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 跟踪图像特征点的方法、装置、计算机设备和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101464945A (zh) * | 2008-11-14 | 2009-06-24 | 清华大学深圳研究生院 | 基于指背关节纹理的身份特征识别方法 |
JP2012203668A (ja) * | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
KR101511050B1 (ko) * | 2014-07-25 | 2015-04-13 | 오드컨셉 주식회사 | 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
CN105320710B (zh) * | 2014-08-05 | 2018-11-27 | 北京大学 | 抗光照变化的车辆检索方法及装置 |
-
2017
- 2017-12-08 CN CN201711296624.2A patent/CN108109164B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108109164A (zh) | 2018-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107742311B (zh) | 一种视觉定位的方法及装置 | |
CN111274977B (zh) | 多任务卷积神经网络模型及使用方法、装置和存储介质 | |
JP5940453B2 (ja) | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 | |
CN109325964B (zh) | 一种人脸追踪方法、装置及终端 | |
CN113033465B (zh) | 活体检测模型训练方法、装置、设备以及存储介质 | |
JP5726125B2 (ja) | 奥行き画像内の物体を検出する方法およびシステム | |
CN105164700B (zh) | 使用概率模型在视觉数据中检测对象 | |
CN111126379A (zh) | 一种目标检测方法与装置 | |
EP3813661A1 (en) | Human pose analysis system and method | |
KR20120048370A (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
Cheng et al. | Person re-identification by articulated appearance matching | |
JP6756406B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN108109164B (zh) | 一种信息处理方法及电子设备 | |
WO2017168462A1 (en) | An image processing device, an image processing method, and computer-readable recording medium | |
CN104951440B (zh) | 一种图像处理方法及电子设备 | |
US11354923B2 (en) | Human body recognition method and apparatus, and storage medium | |
CN109711287B (zh) | 人脸采集方法及相关产品 | |
CN113610967B (zh) | 三维点检测的方法、装置、电子设备及存储介质 | |
CN111353385A (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
CN110458177B (zh) | 图像深度信息的获取方法、图像处理装置以及存储介质 | |
CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
CN115018886B (zh) | 运动轨迹识别方法、装置、设备及介质 | |
CN111339973A (zh) | 一种对象识别方法、装置、设备及存储介质 | |
Avazov et al. | Automatic moving shadow detection and removal method for smart city environments | |
KR20160148806A (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |