CN102231188A - 结合文字识别和图像匹配的名片识别方法 - Google Patents

Abstract

本发明提供一种结合文字识别和图像匹配的名片识别方法，应用于由网站服务器和客户端构建的网络***中，至少包括以下步骤：客户端撷取一请求名片的名片图像并上传至网站服务器请求识别；网站服务器提取所述名片图像上的文字信息和图像特征后检索与该文字信息相匹配的预存名片，并进行图像特征匹配以筛选出候选名片，对应每一候选名片生成一个度量值；网站服务器依据度量值判断是否确定匹配结果，若是，则反馈匹配结果给客户端；若否，将候选名片的名片图像通过网络发送至一经由该网站服务器授权的客服端，由该客服端判断匹配结果后反馈信息给客户端，进而可以实现结合文字识别和图像匹配的名片识别技术，以提高名片识别的准确率和识别速度。

Description

结合文字识别和图像匹配的名片识别方法

技术领域

本发明涉及属于图像处理和网络应用的技术领域，特别是涉及一种结合文字识别和图像匹配的名片识别方法。

背景技术

名片是人们经常使用的一种记载和传递联系方式的媒体，在日常商务活动中往往会涉及大量的名片交换，人们通过名片交换的方式来传递联系方式，跟其他人建立联系。

目前已经在手机和微机中广泛使用的名片识别技术，即利用图像处理和光学字符识别(OCR，Optical Character Recognition)的原理，对数码相机拍摄或扫描仪扫描得到的名片图像自动进行处理和识别，然后自动提取出其中的姓名、电话、E-mail等有用信息来加入到地址簿中去，为人们在电子设备中输入名片上记载的联系信息提供了很大的方便。例如多普达Touch Diamond手机中预装的名片识别软件。

基于光学字符识别原理的名片识别技术具有至少以下三方面的局限性，其一，是识别结果是不可能达到100％的准确率，因而总是需要用户在保存识别出来的信息之前先对识别结果进行人工的检查和校正，以保证所保存信息的正确性，否则的话，保存下来的电话号码、E-mail地址、网址等等中间哪怕仅仅错了一个符号，也成为无效的信息了；其二，是对很多个性化的背景复杂的名片，以及包含较多艺术字体的名片几乎无法识别，即便能够识别出来其错误率也特别高；其三，是光学字符识别技术跟特定的语言的基本字符集密切相关，需要针对每一种语言开发专门的光学字符识别技术，比如说只支持中文字符集的光学字符识别技术就不能用来识别例如韩语、日语等其他语言的名片。

为解决上述问题，业内已有的做法是，把经过光学字符识别获得的可能包含错误的文字信息传递给特定网站的服务器，由网站的服务器利用这些可能包含错误的文字信息来在网站的服务器所预存的名片的文字信息库中进行查找，找出最相似的文字信息来，替换掉可能包含错误的文字信息，虽然这是一种减少错误的方法，但是，上述方法的问题在于：在很多情况下网站的服务器不能根据由光学字符识别得到的文字来唯一确定这些文字属于网站的服务器所保存的名片中的哪一张，或者是否属于网站的服务器所保存的名片。比如说，同一个用户可能有多张名片，在这多张名片中只有公司和职务的信息是不同的，其它姓名、电话号码、E-mail这些信息都是相同的，这样如果对公司和职务的识别有误，只是正确的识别出了姓名、电话号码、E-mail这些信息，网站的服务器就不能唯一确定这些信息属于该用户的哪一张名片，因而，就无法确定应该反馈哪一张名片对应的真实文字信息给提交名片识别请求的用户。

所谓的图像匹配是指判断两张图像中拍摄的物体是不是同一个物体，学术界对图像匹配的研究已经有很多年了，一般的做法是找出图像中所拍摄物体的一些特征点，然后依据这些特征点周边一定范围内的像素值来得到一个特征向量，通过特征点和特征向量的匹配来判断图像中拍摄的物体是不是同一个物体，如论文“Speed-up Robust Feautre(SURF)”(HerbertBay，Andreas Ess，Tinne Tuytelaars，Luc Van Gool，Computer Vision and ImageUnderstanding 110(2008)346-359)中就比较详细描述了这样一种方法；在另一篇学术论文“Rate-efficient，real-time cd cover recognition on a camera-phone”(Sam S.Tsai，David Chen，Jatinder Pal Singh，Bernd Girod，Proceeding of the 16th ACM internationalconference on Multimedia)中则描述了一个利用图像匹配来在10000张存在于数据库中的CD封面图像中查找出与输入的图像最接近的那张CD封面的实际***。

把图像匹配的方法用到名片识别中来，简单直观的做法是对每张传送给网站服务器要求进行识别获得其中包含的文字的名片图像，提取特征然后用某种图像匹配的算法来在服务器包含的所有名片的图像中查找跟输入的名片图像最相似的那张名片，返回那张名片的文字信息给用户。但是，这种做法存在的问题主要是：

其一，图像匹配的方法速度太慢，由于服务器的数据库中保存的名片图像会非常庞大，一般可能需要从几百万，几千万，甚至几个亿的不同名片的图像中查找出与输入的图像相同的那张名片来，另一个方面，在实际应用中，网站的服务器可能每天需要处理几十万甚至几百万次的识别名片的请求，这个工作量是目前的计算硬件和图像匹配的算法几乎不可能完成的任务。

其二，图像匹配的方法准确率不够高。名片中包含了用户的姓名、电话号码、电子邮件、地址、公司名称和职务等等，这些都是隐私性比较强的信息，如果用户请求识别的是一张名片，而网站的服务器返回的是另一张名片对应的文字信息，就涉及到侵犯返回的那张名片主人的隐私了。所以用图像匹配的方法来做名片识别对识别准确率的要求可以说是100％的，这里识别准确率我们是指100次成功得到了网站的服务器返回的文字信息的识别请求中，有多少次网站的服务器返回的文字信息确实就是要求进行识别的名片图像所包含的文字信息。但是，在保证识别准确率的前提下，拒识率还要越低越好，否则这个名片识别就失去了实际使用的价值了。上述的拒识率我们是指提交给网站的服务器的100次名片识别请求中，有多少次被网站的服务器告知不能识别，不能识别的原因可能是网站的服务器中没有保存所提交的那张图像所拍摄的名片的图像和对应的文字信息，也可能是网站的服务器不能确定所提交的那张图像拍摄的是哪张名片，因而拒绝返回对应的文字信息。目前的图像匹配算法要保证识别准确率100％，但是，其拒识率通常会比较高。

因而，如何提供一种可以结合文字识别和图像匹配的名片识别技术，以解决现有技术中的种种问题，已经成为本技术领域从业者亟待解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种结合文字识别和图像匹配的名片识别方法，可以结合文字识别和图像匹配的名片识别技术，以提高名片识别的准确率和识别速度。

为实现上述目的及其他相关目的，本发明提供一种结合文字识别和图像匹配的名片识别方法，应用于至少由网站服务器和客户端构建的网络***中，所述网站服务器具有预存多张名片信息的名片资料库，所述客户端具有名片图像撷取及名片识别请求功能，其特征在于，所述名片识别方法至少包括以下步骤：1)所述客户端撷取一请求名片的名片图像，并将所述名片图像上传至所述网站服务器，并发送名片识别请求；2)所述网站服务器接受到该名片识别请求后，提取所述名片图像上的文字信息和图像特征；3)所述网站服务器依据提取的文字信息从所述名片资料库中检索与该文字信息相匹配的所有预存名片，并将检索出的各该预存名片分别与该请求名片进行图像特征匹配，以自所述预存名片中筛选出候选名片；4)所述网站服务器依据该请求名片和各该候选名片的相似度，对应每一候选名片生成一个相似程度的度量值；5)所述网站服务器依据所述度量值判断是否确定匹配结果，若是，则反馈匹配结果给所述客户端；若否，所述网站服务器将与该度量值相对应的候选名片的名片图像通过网络发送至经由所述网站服务器授权的一客服端，由该客服端判断匹配成功或匹配失败后反馈信息给所述网站服务器，再由所述网站服务器反馈匹配结果给所述客户端。

在本发明的名片识别方法中，所述网站服务器中分别预设有用于与所述度量值相比对的肯定值和否定值，且所述肯定值大于所述否定值，并所述肯定值与否定值之间具有度量区间。所述度量值、肯定值、和否定值均为整数。

在本发明的名片识别方法的步骤5)中，当所述网站服务器确定匹配结果时，所述匹配结果包括匹配成功及匹配失败，则为，当所述度量值大于或等于所述肯定值时，所述网站服务器判断匹配成功；当所述度量值小于或等于所述否定值时，所述网站服务器判断匹配失败。具体地，当所述匹配结果为匹配成功时，所述网站服务器反馈与该度量值相对应的候选名片中的文字信息给所述客户端，当所述匹配结果为匹配失败时，所述网站服务器反馈名片识别失败信息给所述客户端。

在本发明的名片识别方法的步骤5)中，当所述网站服务器不能确定匹配结果时，为所述度量值落入所述度量区间中。

在本发明的名片识别方法的步骤1)中，所述客户端是通过数码拍摄装置或扫描装置撷取请求名片的名片图像。

在本发明的名片识别方法的步骤2)中，所述网站服务器是利用光学字符识别技术提取所述名片图像上的文字信息和图像特征。

在本发明的名片识别方法的步骤3)中，所述图像特征匹配是匹配所述预存名片的名片图像和请求名片的名片图像二者的特征点和各该特征点对应的特征向量。

在本发明的名片识别方法中，所述名片资料库中的名片信息包括预存名片的名片图像和文字信息，所述文字信息是名片上的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种。

如上所述，本发明的结合文字识别和图像匹配的名片识别方法，是透过预先将名片图像上传到特定网站的服务器，由这个服务器对上传的名片图像结合文字识别的结果来在该网站已有的名片图像中查找出对应的图像，并返回这个对应的图像中所包含的名片信息的方法，该方法结合光学字符识别技术和图像匹配的技术，能有效的处理基于光学字符识别技术无法准确识别的名片，提高了使用名片识别软件来输入名片信息的通用性，可靠性和便利性，同时也提高了名片识别的准确率和识别速度。

附图说明

图1显示为本发明的结合文字识别和图像匹配的名片识别方法的具体实施步骤流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。

请参阅图1，显示为本发明的结合文字识别和图像匹配的名片识别方法的具体实施步骤流程图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图所示，本发明提供一种结合文字识别和图像匹配的名片识别方法，应用于至少由网站服务器(未予以图示)和客户端(未予以图示)构建的网络***中，需要说明的是，在本实施例中，所述网络***还包括一个被该网站服务器授权的客服端(未予以图示)，在具体的实施过程中，所述客服端可以是与该网站服务器同一网站的站点，也可以是经由所述网站服务器授权的第三方网站站点，在本实施例中，所述客服端暂以一台由操作人员操作的计算机为例进行说明，但并不局限于此。

所述网站服务器具有预存多张名片信息的名片资料库，所述客户端具有名片图像撷取及名片识别请求功能。所述名片资料库中的名片信息包括预存名片的名片图像和文字信息，所述文字信息是名片上的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种。

在本实施例中，所述网站服务器的网站为一个具有维护联系人信息功能的网站，该网站的注册用户可以将自己的一张或多张名片的名片信息包括文字信息和名片图像一起保存到名片资料库，并与自己的账户相互关联，所保存的名片文字信息是经过用户自己或者网站管理人员的检查校正，保证正确的，所保存的对应同样的文字信息的名片图像可以有一张或者多张，例如同一个用户可能有多张名片，在这多张名片中只有公司和职务的信息是不同的，其它姓名、电话、电子信箱等信息都是相同的。

在本实施例中，所述客户端可以是智能手机、平板电脑、PDA等具有数据处理功能的电子设备。

如图1所示，所述名片识别方法至少包括以下步骤：

首先执行步骤S1，所述客户端撷取一请求名片的名片图像，并将所述名片图像上传至所述网站服务器，并发送名片识别请求；在本实施例中，所述客户端可以通过数码拍摄装置或扫描装置撷取请求名片的名片图像，再经由网络向所述网站服务器发送名片识别请求。接着执行步骤S2。

在另一种实施例中(未予以图示)，所述步骤S1也可以是，所述客户端撷取一请求名片的名片图像，并利用光学字符识别技术提取所述名片图像上的文字信息和图像特征，将所述图像特征上传至所述网站服务器，并发送名片识别请求，换言之，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行相应地修饰或改变。

在步骤S2中，所述网站服务器接受到该名片识别请求后，提取所述名片图像上的文字信息和图像特征；在本实施例中，所述网站服务器是利用光学字符识别技术提取所述名片图像上的文字信息和图像特征，具体地，所述图像特征为图像中的特征点和每个特征点对应的特征向量。接着执行步骤S3。

在步骤S3中，所述网站服务器依据提取的文字信息从所述名片资料库中检索与该文字信息相匹配的所有预存名片，在本实施例中，所述网站服务器利用识别出来的文字信息在该网站的注册用户保存的名片的文字信息中进行检索，文字检索的目的是大幅度减少在下一步中需要依据图像特征来进行图像匹配的图像的数量，从而提高图像匹配的速度和匹配的准确率。所述利用识别出来的文字信息进行文字检索具体的做法就是在该网站的名片资料库中注册用户保存的名片的文字信息中查找跟识别出来的文字中包含的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种完全一致的预存名片。接着执行步骤S4。

需要说明的是，即使在步骤S3中利用识别出来的文字信息从所述名片资料库中进行检索之后，得到的是唯一的一张与请求名片的名片图像中识别出来的文字一致的名片，也仍然需要到步骤S4中去进行验证，这是因为存在某些情况下网站服务器不能根据由光学字符识别得到的文字来唯一确定这些文字属于网站服务器所保存的名片中的哪一张，或者是否属于网站服务器所保存的名片。比如说，同一个用户可能有多张名片，在这多张名片中只有公司和职务的信息是不同的，其它姓名，电话，电子信箱这些信息都是相同的，这样如果对公司和职务的识别有误，只是正确的识别出了姓名，电话，电子信箱等信息，网站服务器就不能唯一确定这些信息属于用户的哪一张名片。

在步骤S4中，将检索出的各该预存名片分别与该请求名片进行图像特征匹配，以自所述预存名片中筛选出候选名片；在本实施例中，所述图像特征匹配具体是指匹配所述预存名片的名片图像和请求名片的名片图像二者的特征点和各该特征点对应的特征向量。接着执行步骤S5。

在步骤S5中，所述网站服务器依据该请求名片和各该候选名片的相似度，对应每一候选名片生成一个相似程度的度量值；在本实施例中，所述网站服务器中分别预设有用于与所述度量值相比对的肯定值和否定值，且所述肯定值大于所述否定值，并所述肯定值与否定值之间具有度量区间，且所述度量值、肯定值、和否定值均为整数。也就是说，所述对应的表示相似性程度的度量值是一个大于或等于0的整数，两张图像之间相似的程度越高，或者说越有可能所拍摄的是同一个物体，则这个整数的值就越大。接着执行步骤S6。

在步骤S6中，所述网站服务器依据所述度量值判断是否确定匹配结果，若是，则进至步骤S7，若否，则进至步骤S8，在本实施例中，当所述网站服务器确定匹配结果时，包括匹配成功及匹配失败两种匹配结果，因而，步骤S6中判断是否确定匹配结果的实际执行分为两个判断步骤，相应地，所述步骤S7反馈匹配结果给客户端也包括两种结果，即匹配成功和匹配失败，请参阅图1中的步骤S61及S62和S71及S72。

在步骤S61中，判断所述度量值是否大于或等于所述肯定值，若是，则所述网站服务器判断匹配成功，进至步骤S71，若否，则进至步骤S62。

在步骤S71中，所述网站服务器反馈与该度量值相对应的候选名片中的文字信息给所述客户端，至此完成名片识别过程。

在步骤S62中，判断所述度量值是否小于或等于所述否定值，若是，则所述网站服务器判断匹配失败，进至步骤S72，若否，则进至步骤S8。

在步骤S72中，所述网站服务器反馈名片识别失败信息给所述客户端，至此完成名片识别过程。

在步骤S8中，所述网站服务器不能确定匹配结果，也就是说，所述度量值落入所述度量区间中，接着执行步骤S9。

在步骤S9中，所述网站服务器将与该度量值相对应的候选名片的名片图像通过网络发送至一经由该网站服务器授权的客服端，诚如前述，所述客服端可以是与该网站服务器同一网站的站点，也可以是经由该网站服务器授权的第三方网站站点，在本实施例中，所述客服端以一台由操作人员操作的计算机为例进行说明，由该计算机的操作人员人工判断或选择是不是正确的找到了与输入的名片图像相对应的名片的图像，然后根据人工选择的结果返回给网站服务器。在具体的实施方式中，该计算机上只显示请求名片的名片图像和与该度量值相对应的候选名片的名片图像，操作人员决定这两张名片图像是不是确实拍摄了同一张名片，做出是或者否的选择，即进至步骤S10。

在步骤S10中，如果客服端的操作人员选择是，也就是说这两张名片图像确实拍摄了同一张名片，则向网站服务器反馈匹配成功的信息，由所述网站服务器反馈与该度量值相对应的候选名片中的文字信息给所述客户端，至此完成名片识别过程；如果客服端的操作人员选择否，也就是说这两张图像拍摄的不是同一张名片，则网站服务器返回给用户名片识别失败，即不能在网站服务器上找到与输入的图像相对应的名片，则由所述网站服务器反馈名片识别失败信息给所述客户端，至此完成名片识别过程。

本发明结合文字识别的结果和图像匹配来进行名片识别，利用识别出的文字来进行检索，缩小需要进行匹配的图像的数量，并提高图像匹配的准确率，而且，本发明的方法中由一客户端的操作人员在小范围内选择和决定图像匹配的结果，从而实现了人工可以介入海量检索工作的可能性，进一步保证识别的可靠性。

综上所述，本发明的结合文字识别和图像匹配的名片识别方法，是透过预先将名片图像上传到特定网站的服务器，由这个服务器对上传的名片图像结合文字识别的结果来在该网站已有的名片图像中查找出对应的图像，并返回这个对应的图像中所包含的名片信息的方法，该方法结合光学字符识别技术和图像匹配的技术，能有效的处理基于光学字符识别技术无法准确识别的名片，提高了使用名片识别软件来输入名片信息的通用性，可靠性和便利性，同时也提高了名片识别的准确率和识别速度。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种结合文字识别和图像匹配的名片识别方法，应用于至少由网站服务器和客户端构建的网络***中，所述网站服务器具有预存多张名片信息的名片资料库，所述客户端具有名片图像撷取及名片识别请求功能，其特征在于，所述名片识别方法至少包括以下步骤：

1)所述客户端撷取一请求名片的名片图像，并将所述名片图像上传至所述网站服务器，并发送名片识别请求；

2)所述网站服务器接受到该名片识别请求后，提取所述名片图像上的文字信息和图像特征；

3)所述网站服务器依据提取的文字信息从所述名片资料库中检索与该文字信息相匹配的所有预存名片，并将检索出的各该预存名片分别与该请求名片进行图像特征匹配，以自所述预存名片中筛选出候选名片；

4)所述网站服务器依据该请求名片和各该候选名片的相似度，对应每一候选名片生成一个相似程度的度量值；

5)所述网站服务器依据所述度量值判断是否确定匹配结果，若是，则反馈匹配结果给所述客户端；若否，所述网站服务器将与该度量值相对应的候选名片的名片图像通过网络发送至经由所述网站服务器授权的一客服端，由该客服端判断匹配成功或匹配失败后反馈信息给所述网站服务器，再由所述网站服务器反馈匹配结果给所述客户端。

2.根据权利要求1所述的结合文字识别和图像匹配的名片识别方法，其特征在于：所述网站服务器中分别预设有用于与所述度量值相比对的肯定值和否定值，且所述肯定值大于所述否定值，并所述肯定值与否定值之间具有度量区间。

3.根据权利要求2所述的结合文字识别和图像匹配的名片识别方法，其特征在于：所述度量值、肯定值、和否定值均为整数。

4.根据权利要求3所述的结合文字识别和图像匹配的名片识别方法，其特征在于：于步骤5)中，当所述网站服务器确定匹配结果时，所述匹配结果包括匹配成功及匹配失败，则为，当所述度量值大于或等于所述肯定值时，所述网站服务器判断匹配成功；当所述度量值小于或等于所述否定值时，所述网站服务器判断匹配失败。

5.根据权利要求4所述的结合文字识别和图像匹配的名片识别方法，其特征在于：当所述匹配结果为匹配成功时，所述网站服务器反馈与该度量值相对应的候选名片中的文字信息给所述客户端，当所述匹配结果为匹配失败时，所述网站服务器反馈名片识别失败信息给所述客户端。

6.根据权利要求3所述的结合文字识别和图像匹配的名片识别方法，于步骤5)中，当所述网站服务器不能确定匹配结果时，为所述度量值落入所述度量区间中。

7.根据权利要求1所述的结合文字识别和图像匹配的名片识别方法，其特征在于：于步骤1)中，所述客户端是通过数码拍摄装置或扫描装置撷取请求名片的名片图像。

8.根据权利要求1所述的结合文字识别和图像匹配的名片识别方法，其特征在于：于步骤2)中，所述网站服务器是利用光学字符识别技术提取所述名片图像上的文字信息和图像特征。

9.根据权利要求1或8所述的结合文字识别和图像匹配的名片识别方法，其特征在于：所述名片资料库中的名片信息包括预存名片的名片图像和文字信息，所述文字信息是名片上的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种。

10.根据权利要求1所述的结合文字识别和图像匹配的名片识别方法，其特征在于：于步骤3)中，所述图像特征匹配是匹配所述预存名片的名片图像和请求名片的名片图像二者的特征点和各该特征点对应的特征向量。

Images