CN102324042B - 视觉识别***及视觉识别方法 - Google Patents
视觉识别***及视觉识别方法 Download PDFInfo
- Publication number
- CN102324042B CN102324042B CN2011102702999A CN201110270299A CN102324042B CN 102324042 B CN102324042 B CN 102324042B CN 2011102702999 A CN2011102702999 A CN 2011102702999A CN 201110270299 A CN201110270299 A CN 201110270299A CN 102324042 B CN102324042 B CN 102324042B
- Authority
- CN
- China
- Prior art keywords
- local feature
- class
- coupling
- identified
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供一种视觉识别***及视觉识别方法,采用局部特征提取和模板特征训练,通过提取出的待识别图像中局部特征点匹配模板特征训练中的局部特征点来确定候选类,在通过全局空间结构信息进行候选类的验证,以确定所述待识别图像中的要是别的目标物体,本发明基于局部特征和全局空间结构信息来识别一待识别图像中一个物体,召回率比较高,误识别率比较低,识别速度较快,实现了比较好的物体识别效果。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种视觉识别***及视觉识别方法。
背景技术
任何物体都是有一定的特征来进行表述的,人类认知原理基本是从物体的局部信息和全局信息进行整合认知的。局部特征从总体上说是图像或在视觉领域中一些有别于其周围的地方。局部特征通常是描述一块区域,使其能具有高可区分度。局部特征的好坏直接会决定着后面分类、识别是否会得到一个好的结果。全局空间主要是从图像的局部特征的相互之间的方位和满足一定的仿射变换原理的来进行进一步的验证,在模板匹配过程中,如果把不满足的全局结构信息和仿射变换的局部特征去除,如果没有达到一个匹配点个数,就认为不是所述类物体。
目前,在网络游戏当中,为了提高玩家的体验,也为了商家的广告利益,常常需要进行真实和虚拟世界的互动游戏,在此类游戏中,经常会遇到通过拍照作为桥梁把真实的物体转换成虚拟的玩家道具,来进行互动体验。因此,对于真实物体的图像里面的内容进行识别变得尤其关键,只有识别好了里面的目标图像才能产生对应的虚拟道具。
发明内容
本发明的目的在于提供一种视觉识别***及视觉识别方法,基于局部特征和全局空间结构信息来识别一待识别图像中一个物体,来实现达到比较好的物体识别效果。
为解决上述问题,本发明提供一种视觉识别***,包括:
模板训练模块,用于准备所有类的模板并提取所有模板的局部特征;
局部特征提取模块,用于提取一待识别图像的局部特征,所述局部特征包括空间结构信息;
类识别模块,用于将所述待识别图像的局部特征与所有模板的局部特征进行匹配,找到所述模板训练模块中局部特征匹配最多的类作为候选类;
类验证模块,用于根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
进一步的,所述模板训练模块的模板训练方法包括:
准备所有类的模板;
提取所有模板的局部特征;
对所有局部特征建立局部特征索引。
进一步的,所述模板训练模块还为每个模板建立了K-D树索引结构,所述类识别模块使用所述K-D树索引结构找到所述模板训练模块中局部特征匹配最多的类作为候选类。
进一步的,所述局部特征提取模块提取一待识别图像的局部特征的步骤包括:
生成所述待识别图像的特征尺度空间;
在所述特征尺度空间中寻找极值点,所述极值点为局部特征点;
提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子。
进一步的,所述局部特征提取模块提取的局部特征的空间结构信息包括位置、尺度和旋转不变量。
进一步的,所述类验证模块根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,包括:
使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵;
对特征空间匹配矩阵进行异或计算,去掉错误位置的匹配的局部特征;
使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息,去掉有错误信息的匹配的局部特征;
计算剩余匹配的局部特征的数目,当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
相应的,本发明还提供一种视觉识别方法,包括:
准备所有类的模板并提取所有模板的局部特征;
提取一待识别图像的局部特征,所述局部特征包括空间结构信息;
将所述待识别图像的局部特征与所有模板的局部特征进行匹配,找到局部特征匹配最多的类作为候选类;
根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
与现有技术相比,本发明提供的视觉识别***及视觉识别方法,采用局部特征提取和模板特征训练,通过提取出的待识别图像中局部特征点匹配模板特征训练中的局部特征点来确定候选类,再通过全局空间结构信息进行候选类的验证,以确定所述待识别图像中的要识别的目标物体,本发明基于局部特征和全局空间结构信息来识别一待识别图像中一个物体,召回率比较高,误识别率比较低,识别速度较快,实现了较好的物体识别效果。
附图说明
图1是本发明实施例一的视觉识别***的架构示意图;
图2是本发明实施例一的模式训练方法流程图;
图3是本发明实施例一的提取局部特征的方法流程图;
图4是本发明实施例一的验证匹配的局部特征的方法流程图
图5是本发明实施例二的视觉识别方法流程图。
具体实施方式
以下结合附图和具体实施例对本发明提出的视觉识别***及视觉识别方法作进一步详细说明。
实施例一
如图1所示,本实施例提供一种视觉识别***,包括:
模板训练模块11,用于准备所有类的模板并提取所有模板的局部特征;
局部特征提取模块12,用于提取一待识别图像的局部特征,所述局部特征包括空间结构信息;
类识别模块13,用于将所述待识别图像的局部特征与所有模板的局部特征进行匹配,找到所述模板训练模块11中局部特征匹配最多的类作为候选类;
类验证模块14,用于根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
如图2所示,本实施中,所述模板训练模块11的模板训练方法包括:
步骤S21,准备所有类的模板;
步骤S22,提取所有模板的局部特征;
步骤S23,对所有局部特征建立局部特征索引。
本实施例中,所述模板训练模块11还为每个模板建立了K-D树索引结构,所述类识别模块13使用所述K-D树索引结构找到所述模板训练模块11中局部特征匹配最多的类作为候选类。
如图3所示,本实施例中,所述局部特征提取模块12提取一待识别图像的局部特征的步骤包括:
步骤S31,生成所述待识别图像的特征尺度空间;
步骤S32,在所述特征尺度空间中寻找极值点,所述极值点为局部特征点;
步骤S33,提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子,所述局部特征提取模块12提取的局部特征的空间结构信息包括位置、尺度和旋转不变量。
本实施例中,可使用类似SIFT算子的算法进行局部性特征提取,它在特征尺度空间中寻找极值点作为局部特征点,并提取出其位置、尺度、旋转不变量,可以局部特征点为中心取16*16像素的邻域作为采样窗口,将采样点与局部特征点的相对方向通过高斯加权后归入包含8个区间的方向直方图,以获得所述局部特征点的4*4*8的128维的特征描述子。本实施提取的局部特征所具备以下特性:1.重复性;2.可区分性;3.准确性;4.数量以及效率;5.不变性。
需要说明的是,所述模板训练模块11和局部特征提取模块12的局部特征提取方法相同,对所有的模板进行局部特征点的提取后为所有的局部特征点建立索引结构。所述模板训练模块11进一步为每个模板建立了K-D树索引结构,以便后期类识别模块13快速识别候选类需要。K-D树索引结构中,K表示空间的维数,它的每一层通过检测不同的属性(关键字)值以决定选择分枝的方向,例如在二维空间中(也就是2-D树),在根和偶数层比较X坐标值(假设根的深度为0),在奇数层比较Y坐标值,也就是说每一层所比较的是不同的属性。
如图4所示,所述类验证模块14根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,包括:
步骤S41,使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵;
步骤S42,对特征空间匹配矩阵进行异或计算,去掉错误位置的匹配的局部特征;
步骤S43,使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息,去掉有错误信息的匹配的局部特征;
步骤S44,计算剩余匹配的局部特征的数目,当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
本实施例中,类识别模块13把待识别图像的局部特征与所有的模板中的局部特征进行匹配,使用K-D树索引结构找到匹配点最多的类,那么这个候选类可能就属于要识别的目标物体,但是是否为真正的目标物体还需要进一步的验证,在类验证模块14验证的过程中使用了全局空间结构信息来进行区分,所谓全局结构信息就是所有匹配的局部特征的空间结构信息中的位置构成的位置矩阵。例如:
有N对匹配的局部特征点,则N对匹配的局部特征点的位置可以形成了一个特征空间匹配矩阵,对特征空间匹配矩阵进行异或计算,可以去掉错误位置的匹配的局部特征点;
接下来,再使用基于随机采样算法的单应矩阵进行估计N对匹配的局部特征点中的错误信息,一般计算单应矩阵(线性解)需要4对不共线的点,来得到精确、鲁棒(Robus)的结果;
通过上述步骤去掉了N对匹配的局部特征点中错误匹配的局部特征点,最后得到一个正确的匹配局部特征点个数,如果满足一定的阈值,就认为候选类是待识别图像中要识别的目标物体。
实施例二
如图5所示,本实施例提供一种视觉识别方法,包括以下步骤:
步骤S51,准备所有类的模板并提取所有模板的局部特征;
步骤S52,提取一待识别图像的局部特征,所述局部特征包括空间结构信息;
步骤S53,将所述待识别图像的局部特征与所有模板的局部特征进行匹配,找到局部特征匹配最多的类作为候选类;
步骤S54,根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
本实施例还进行了结果测试,测试过程中使用了大量的正样本和负样本,并且还使用了召回率和拒绝率作为衡量指标,本实施中选取的正样本一共10个类别,每个类别有1000张照片;选取的负样本总共两万张不同种类的照片。经测试发现正样本的召回率在97.5%以上,负样本的拒绝率在98.5%以上。从测试结果看本发明的视觉识别方法识别率已经达到很高的鲁棒性,具有很高的实用价值。
需要说明的是,本发明可以应用于各种应用的目标识别任务,比如说在AR(Augmented Reality,增强现实)互动游戏领域。其中AR(Augmented Reality,增强现实)技术是采用对真实场景利用虚拟物体进行“增强”显示的技术,与虚拟现实相比,具有真实感强、建模工作量小的优点。
以下是本发明的一种具体的应用:
某游戏运营商和某饮料厂商签订协议,协助其在游戏内推广饮料。游戏运营商在其游戏服务器上接入本发明的视觉识别***,在模板训练模块11准备好真实的饮料瓶的所有模板,提取所有模板的局部特征,并根据饮料的特性和游戏的特点,建立其在游戏内显示的虚拟标识库;同时向游戏玩家发布信息,激励游戏玩家到现实生活中去拍摄真实的饮料瓶的照片并上传,用户到现实世界中拍摄了饮料瓶的照片,并将其上传到游戏服务器,局部特征提取模块12会对照片的局部特征进行提取,类识别模块13会将提取的照片中的局部特征与模板训练模块11中的局部特征进行匹配,对照片中饮料瓶进行识别,类验证模块13进一步判定识别出的饮料瓶是否为活动所需要的饮料瓶。当确认所述饮料瓶之后,游戏玩家再登陆到游戏中,可以在游戏的人物周围,显示那个和饮料瓶相对应的虚拟标识,比如是所述饮料厂的Logo。同时,游戏玩家能够看到自己以及自己身边的人身上都是显示的什么Logo。
综上所述,本发明提供的视觉识别***及视觉识别方法,采用局部特征提取和模板特征训练,通过提取出的待识别图像中局部特征点匹配模板特征训练中的局部特征点来确定候选类,再通过全局空间结构信息进行候选类的验证,以确定所述待识别图像中的要识别的目标物体,本发明基于局部特征和全局空间结构信息来识别一待识别图像中一个物体,召回率比较高,误识别率比较低,识别速度较快,实现了比较好的物体识别效果。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言,由于与实施例公开的***相对应,所以描述的比较简单,相关之处参见***部分说明即可。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种视觉识别***,其特征在于,包括:
模板训练模块,用于准备所有类的模板并提取所有模板的局部特征,其中,所述模板训练模块的模板训练方法包括:准备所有类的模板;提取所有模板的局部特征;对所有局部特征建立局部特征索引,所述模板训练模块还用于为每个模板建立了K-D树索引结构;
局部特征提取模块,用于提取一待识别图像的局部特征,所述局部特征包括空间结构信息;
类识别模块,用于将所述待识别图像的局部特征与所有模板的局部特征进行匹配,找到所述模板训练模块中局部特征匹配最多的类作为候选类,其中,所述类识别模块使用所述K-D树索引结构找到所述模板训练模块中局部特征匹配最多的类作为候选类;
类验证模块,用于根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
2.如权利要求1所述的视觉识别***,其特征在于,所述局部特征提取模块用于生成所述待识别图像的特征尺度空间;在所述特征尺度空间中寻找极值点,所述极值点为局部特征点;提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子。
3.如权利要求1或2所述的视觉识别***,其特征在于,所述局部特征提取模块提取的局部特征的空间结构信息包括位置、尺度和旋转不变量。
4.如权利要求3所述的视觉识别***,其特征在于,所述类验证模块根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,包括:
使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵;
对所述特征空间匹配矩阵进行异或计算,去掉错误位置的匹配的局部特征;
使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息,去掉有错误信息的匹配的局部特征;
计算剩余匹配的局部特征的数目,当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
5.一种视觉识别方法,其特征在于,包括:
准备所有类的模板并提取所有模板的局部特征,其中,在准备所有类的模板并提取所有模板的局部特征之后,还包括:对所有局部特征建立局部特征索引,为每个模板建立了K-D树索引结构;
提取一待识别图像的局部特征,所述局部特征包括空间结构信息;
将所述待识别图像的局部特征与所有模板的局部特征进行匹配,找到局部特征匹配最多的类作为候选类,其中,使用所述K-D树索引结构找到所有模板的局部特征中局部特征匹配最多的类作为候选类;
根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,当剩余匹配的局部特征的数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
6.如权利要求5所述的视觉识别方法,其特征在于,提取一待识别图像的局部特征的步骤包括:
生成所述待识别图像的特征尺度空间;
在所述特征尺度空间中寻找极值点,所述极值点为局部特征点;
提取出所述局部特征点的空间结构信息并生成所述局部特征点的特征描述子。
7.如权利要求5或6所述的视觉识别方法,其特征在于,所述空间结构信息包括位置、尺度和旋转不变量。
8.如权利要求7所述的视觉识别方法,其特征在于,根据所有匹配的局部特征的空间结构信息去除错误匹配的局部特征,包括:
使用所有匹配的局部特征的空间结构信息形成特征空间匹配矩阵;
对特征空间匹配矩阵进行异或计算,去掉错误位置的匹配的局部特征;
使用基于随机采样算法的单应矩阵估算匹配的局部特征的错误信息,去掉有错误信息的匹配的局部特征;
计算剩余匹配的局部特征的数目,当所述数目达到一定阈值时确认所述候选类为所述待识别图像中要识别的目标物体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011102702999A CN102324042B (zh) | 2011-09-13 | 2011-09-13 | 视觉识别***及视觉识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011102702999A CN102324042B (zh) | 2011-09-13 | 2011-09-13 | 视觉识别***及视觉识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102324042A CN102324042A (zh) | 2012-01-18 |
CN102324042B true CN102324042B (zh) | 2013-11-27 |
Family
ID=45451781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102702999A Active CN102324042B (zh) | 2011-09-13 | 2011-09-13 | 视觉识别***及视觉识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102324042B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102855493A (zh) * | 2012-08-02 | 2013-01-02 | 成都众合云盛科技有限公司 | 一种物体识别*** |
CN105590086A (zh) * | 2014-11-17 | 2016-05-18 | 西安三茗科技有限责任公司 | 一种基于视觉标签识别的物品防盗检测方法 |
CN105469402B (zh) * | 2015-11-24 | 2019-03-29 | 大连楼兰科技股份有限公司 | 基于空间形状上下文特征的汽车零件识别方法 |
KR102387767B1 (ko) | 2017-11-10 | 2022-04-19 | 삼성전자주식회사 | 사용자 관심 정보 생성 장치 및 그 방법 |
CN112307827B (zh) * | 2019-07-31 | 2024-04-26 | 梅特勒-托利多(常州)测量技术有限公司 | 对象识别装置,***和方法 |
CN110720983B (zh) * | 2019-09-05 | 2021-05-25 | 北京万特福医疗器械有限公司 | 一种视觉识别方法和*** |
CN111291819B (zh) * | 2020-02-19 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、电子设备及存储介质 |
CN111489356B (zh) * | 2020-05-25 | 2024-01-30 | 南京航空航天大学苏州研究院 | 基于视觉的汽车门锁弹簧有无检测方法 |
CN112183371A (zh) * | 2020-09-29 | 2021-01-05 | 杭州光明汽车有限公司 | 一种汽车故障智能检测*** |
CN112292022A (zh) * | 2020-10-28 | 2021-01-29 | 江苏贺鸿智能科技有限公司 | 一种电子元器件的安装方法 |
CN112686123A (zh) * | 2020-12-25 | 2021-04-20 | 科大讯飞股份有限公司 | 虚假视频检测方法和装置、电子设备及存储介质 |
CN115339879B (zh) * | 2022-10-19 | 2023-03-31 | 昆明理工大学 | 一种基于机器视觉的长材小方坯智能输送跟踪方法及*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101923646A (zh) * | 2010-07-07 | 2010-12-22 | 周曦 | 一种基于分层矢量化的图像信息表达体系 |
CN102156887A (zh) * | 2011-03-28 | 2011-08-17 | 湖南创合制造有限公司 | 一种基于局部特征学习的人脸识别方法 |
-
2011
- 2011-09-13 CN CN2011102702999A patent/CN102324042B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102324042A (zh) | 2012-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102324042B (zh) | 视觉识别***及视觉识别方法 | |
CN106203242B (zh) | 一种相似图像识别方法及设备 | |
Gao et al. | View-based 3D object retrieval: challenges and approaches | |
CN105243374B (zh) | 三维人脸识别方法、***及应用其的数据处理装置 | |
Spreeuwers | Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
CN105740779B (zh) | 人脸活体检测的方法和装置 | |
CN104050475A (zh) | 基于图像特征匹配的增强现实的***和方法 | |
CN110546644B (zh) | 识别装置、识别方法以及记录介质 | |
CN105512627A (zh) | 一种关键点的定位方法及终端 | |
CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
CN107977656A (zh) | 一种行人重识别方法及*** | |
CN104036287A (zh) | 一种基于人类运动显著轨迹的视频分类方法 | |
CN105320954A (zh) | 人脸认证装置和方法 | |
CN108154066B (zh) | 一种基于曲率特征递归神经网络的三维目标识别方法 | |
CN104615996B (zh) | 一种多视角二维人脸特征点自动定位方法 | |
CN103632142A (zh) | 基于局部坐标系特征描述的图像匹配方法 | |
CN109241901A (zh) | 一种对具有孔洞的三维点云的检测与识别方法 | |
CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及*** | |
CN103729631A (zh) | 一种基于视觉的连接器表面特征自动识别方法 | |
WO2021031446A1 (zh) | 一种基于二维动态特征的离线笔迹个体识别***及方法 | |
Tang et al. | Research on 3D human pose estimation using RGBD camera | |
CN113095187A (zh) | 一种基于图像特征匹配对齐的试卷批改方法 | |
CN117870659A (zh) | 基于点线特征的视觉惯性组合导航算法 | |
CN117237681A (zh) | 图像处理方法、装置及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190225 Address after: 201203 7, 1 Lane 666 lane, Zhang Heng Road, Pudong New Area, Shanghai. Patentee after: SHANGHAI ZHANGMEN TECHNOLOGY CO., LTD. Address before: Room 102, Building 3, No. 356 Guoshoujing Road, Zhangjiang High-tech Park, Pudong New District, Shanghai, 201203 Patentee before: Shengle Information Technology (Shanghai) Co., Ltd. |