CN102395966A - 用于使用移动装置进行图像辨识的***和方法 - Google Patents

用于使用移动装置进行图像辨识的***和方法 Download PDF

Info

Publication number
CN102395966A
CN102395966A CN2010800168360A CN201080016836A CN102395966A CN 102395966 A CN102395966 A CN 102395966A CN 2010800168360 A CN2010800168360 A CN 2010800168360A CN 201080016836 A CN201080016836 A CN 201080016836A CN 102395966 A CN102395966 A CN 102395966A
Authority
CN
China
Prior art keywords
image
visual search
metadata
mobile device
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800168360A
Other languages
English (en)
Inventor
约瑟夫·于惠·黄
张勇
李翔尊
丹佛德尔·秋乐·山河
若泽·理查多·多斯桑托斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN201710141570.6A priority Critical patent/CN107092646A/zh
Publication of CN102395966A publication Critical patent/CN102395966A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

实施方案涉及用于实时的图像辨识和移动视觉搜索的***和方法。例如蜂窝式电话等移动装置获取图像且预处理所述所获取的图像以基于所述所获取的图像中检测到的对象而产生视觉搜索查询。所述视觉搜索查询包含所述所获取的图像或从中提取的查询图像以及与所述检测到的对象相关联的元数据。所述移动装置将所述视觉搜索查询无线地传送到远程服务器，且响应于所述视觉搜索查询，所述远程服务器基于所述相关联的元数据而辨识所述查询图像中的对象。所述远程服务器随后基于所述所辨识的对象而产生信息内容，且将所述信息内容传送到所述移动装置以经由所述移动装置进行呈现。

Description

用于使用移动装置进行图像辨识的***和方法
根据35U.S.C.§119主张优先权
本专利申请案主张Ricardo dos Santos、Yong Chang、Joseph Huang、Hsiang-Tsun Li和Dev Yamakawa在2009年4月14日申请的标题为“用于使用移动装置进行图像辨识的***和方法(Systems and Methods for Image Recognition Using Mobile Devices)”的第61/169,295号临时申请案的优先权，所述临时申请案转让给或义务转让给与本申请案相同的实体，且在此明确以引用的方式并入本文中。
技术领域
背景技术
本发明的技术大体上涉及用于使用移动装置来执行图像辨识和视觉搜索的方法和设备，且更特定来说，涉及平台和技术，其用于预处理在移动装置上提取的图像以提取图像参数的缩减的集合，所述图像参数的缩减的集合可被传送到网络辨识***以识别所关注的对象，且基于所述识别来搜寻相关内容。
蜂窝式通信技术和移动通信装置中的进步(例如，相机和视频记录技术集成到此类通信装置上、电子邮件和短消息接发服务集成到蜂窝式通信网络中等)将更大的灵活性、处理能力和通信能力添加到已到处存在的移动通信装置。结果，此类移动通信装置已在消费者市场中变得更普遍，且许多消费者如今依赖于其移动通信装置(例如，蜂窝式电话)来拍照片和摄取视频、在其社交网络中交换消息、作出购买决策、进行金融交易，以及实行其它行为。
基于受广告内容和其投送的时机影响的既定接收方对内容的点击和转换速率，可对准、投送并定价广告和其它信息内容。举例来说，在日本，大量消费者已使用其蜂窝式电话来拍摄所印刷广告中的条形码的照片来获得与所广告的产品或服务相关联的信息，且如果相关的广告内容被迅速地发送到潜在的消费者的蜂窝式电话，则此广告内容可能具有较高的转换速率。潜在的消费者使用其蜂窝式电话来拍摄所印刷的广告的照片，其随后将具有所印刷的广告的照片的多媒体消息接发服务(MMS)消息发送到服务器。服务器执行所述图片与广告数据库的一对一匹配，且在大约三十到六十秒之后，服务器将含有与所印刷的广告相关联的web链接的短消息接发服务(SMS)消息发送到潜在的消费者。然而，此类广告和信息内容对准和递送***需要大量的带宽来传输所印刷的广告的图片，且花费大量资源来匹配图片与整个广告数据库。
发明内容
以下内容呈现一个或一个以上方面的简化概要以便提供对此些方面的基本理解。此概述并非所有所涵盖方面的广泛综述，且既定不识别所有方面的关键或决定性要素，也不描绘任何或所有方面的范围。其唯一目的是以简化形式来呈现一个或一个以上方面的一些概念以作为稍后所呈现的更详细描述的序言。
根据一个或一个以上方面中的本发明的教示，提供用于执行图像辨识和移动视觉搜索的方法和设备，其中移动装置用户经由移动装置来获取图像并接收与所述图像相关联的信息内容。在本发明的教示的一个或一个以上实施方案中，移动装置可基于所获取的图像中的突出特征群集而检测、分类，和/或辨识一个或一个以上对象，且基于所述对象而产生视觉搜索查询。所述视觉搜索查询可包含所述所获取的图像或从中提取的查询图像以及与所述对象相关联的元数据。移动装置可将视觉搜索查询无线地传送到远程服务器，远程服务器可响应于所述视觉搜索查询而产生信息内容，且其后，移动装置可接收并呈现所述信息内容。
根据一个实施方案，移动装置可检测对象并向用户突出显示所述对象，且接收指示至少一个选定对象的输入。对象可包含，例如，标志、设计、面部、地标、服装、记号、自然或人造对象等。移动装置可随后基于选定对象而产生特征向量，且将所述特征向量与训练图像的图像系数的集合进行比较以确定与选定对象匹配的匹配的训练图像。图像系数的所述集合可存储在移动装置中。移动装置可其后基于匹配的训练图像而分类和/或辨识选定对象，且基于匹配的训练图像而产生元数据。移动装置还可例如通过修剪所获取的图像、压缩所获取的图像、缩放所获取的图像以及将所获取的图像转换到灰度级而基于选定对象从所获取的图像中提取查询图像。
根据一个实施方案，移动装置可包括传感器，所述传感器获取与所获取的图像相关联的上下文数据，且将所述上下文数据包含于视觉搜索查询中。上下文数据可包含(例如)全球定位***(GPS)定位、辅助式GPS(A-GPS)定位、伽利略***定位、塔式三边测量法定点、用户输入的文本或编辑信息、加速计读数、陀螺仪读数、温度读数等。
根据一个实施方案，移动装置可将视觉搜索查询无线地传送到图像辨识***中的远程服务器。在接收到包含查询图像和与所述查询图像中的至少一个对象相关联的元数据的视觉搜索查询后，远程服务器可即刻基于所述相关联的元数据而辨识所述查询图像中的对象。举例来说，远程服务器可基于相关联的元数据而选择训练图像的集合，将所述查询图像与所述训练图像的集合进行比较以确定与所述查询图像匹配的匹配的训练图像，且基于所述匹配的训练图像而辨识图像中的对象。远程服务器可随后基于所辨识的对象而产生信息内容，且响应于视觉搜索查询而传送信息内容。信息内容可包含(例如)名称、价格、制造商、评论、优惠券和广告。
根据一个实施方案，远程服务器可接收视觉搜索查询，所述视觉搜索查询除了查询图像和相关联的元数据之外还包含与查询图像相关联的上下文数据。在此实施方案中，远程服务器可基于所辨识的对象和上下文数据而产生信息内容，且其后响应于视觉搜索查询而将信息内容传送到移动装置。
根据一个实施方案，在一方面，因为移动装置在无线地传送视觉搜索查询之前预处理所获取的图像，所以移动装置可提取并发送所获取的图像的相关部分而不是整个所获取的图像，且因而提高传送视觉搜索查询的速度，且降低通信带宽要求。另外，远程服务器可利用与查询图像相关联的元数据和/或上下文数据来辅助辨识查询图像中的关注对象，其使得远程服务器能够集中于视觉搜索的范围，且因而改进远程服务器以及整个图像辨识***的准确性、速度和效率。此外，远程服务器可使用相关联的元数据和/或上下文数据来集中于或以其它方式裁剪信息内容，其可使得远程服务器且因此图像辨识***能够响应于视觉搜索查询而实时地或准实时地提供相关的信息内容。
为了实现上述和相关目的，一个或一个以上方面包括在下文全面描述且在权利要求书中特定指出的特征。以下描述和附图详细陈述一个或一个以上方面的某些说明性特征。然而，这些特征仅指示其中可采用各种方面的原理的数种方式，且此描述意在包含所有此些方面和其等效物。
附图说明
并入本说明书中并构成本说明书的一部分的附图说明本发明的教示的各方面，且与描述一起用以阐释本发明的教示的原理。在图中：
图1说明与本发明的教示的一个方面相一致的示范性图像辨识***，其包含具有便携式图像传感器的移动装置和图像辨识***的后端中的远程服务器；
图2说明根据本发明的教示的一个实施方案的移动装置的示范性配置；
图3说明与本发明的教示的一个实施方案相一致的用于促进并参与移动视觉搜索和图像辨识的图像辨识***的后端的示范性配置；
图4说明根据本发明的教示的另一实施方案的由移动装置执行以实现移动视觉搜索并促进图像辨识的处理流程图；
图5说明根据本发明的教示的又一实施方案的由图像辨识***执行以实现移动视觉搜索并促进图像辨识的处理流程图；以及
图6A到图6D说明根据本发明的教示的再一实施方案的示范性移动视觉搜索的处理序列。
具体实施方式
现将详细参考本发明的教示的一个实施方案，其实例说明于附图中。只要可能，将在整个图式中使用相同的参考标号来指代相同或相似的部分。
现在参考图式来描述各个方面。在以下描述中，出于阐释的目的，陈述大量特定细节以便提供对一个或一个以上方面的透彻理解。然而，可明显地看出，所述方面可在没有这些特定细节的情况下得以实践。
在本描述中，词“示范性”用于指充当实例、例子或说明。任何在本文中被描述为“示范性”的方面或设计不一定被理解为比其它方面或设计优选或有利。事实上，词“示范性”的使用希望以具体方式来展现概念。
另外，术语“或”意在指包含性的“或”而非排它性的“或”。即，除非另有指定或从上下文清楚地看出，否则短语“X使用A或B”意在指自然包含性排列中的任一者。即，以下例子中的任一者均满足短语“X使用A或B”：X使用A；X使用B；或X使用A及B两者。此外，如本申请案及所附权利要求书中所使用的冠词“一”通常应被理解成表示“一个或一个以上”，除非另有指定或从上下文清楚地看出其是针对单数形式。
另外，将按照可包含许多装置、组件、模块等的***来呈现各个方面或特征。应理解和了解，各种***可包含额外装置、组件、模块等，和/或可不包含结合图所论述的装置、组件、模块等中的全部。也可使用这些方法的组合。
本发明的教示的方面涉及用于经由移动装置来执行视觉搜索和图像辨识的***和方法。更特定来说，在一个或一个以上方面中，且例如如图1中大体上展示，提供在其中经由移动装置130来起始移动视觉搜索和图像辨识的平台和技术，且其在时间图像辨识***120中执行。根据一个实施方案，且例如如图1和图2中大体上展示，移动装置130获取并预处理图像100以起始移动视觉搜索。移动装置130可基于图像100中的突出特征的群集或所关注的特征来检测一个或一个以上对象，且突出显示检测到的对象，例如图案115，且将所述对象与训练图像进行比较以分类或辨识所述对象。移动装置可基于所分类或所辨识的对象而从所获取的图像中提取子图像。移动装置130还可基于所分类或所辨识的对象而产生元数据并获取与图像100相关联的上下文数据(例如，全球定位***(GPS)位置)。移动装置130可产生包含所获取的图像或从中提取的子图像以及相关联的元数据和/或上下文数据的视觉搜索查询，且经由无线连接132和无线服务提供商150而将所述视觉搜索查询传送到远程服务器140。在一个或一个以上实例中，所提取的子图像具有比所获取的图像的文件大小小的文件大小。因此，传送包含所提取的子图像而不是整个所获取的图像的视觉搜索查询。此图像缩减可提高传送视觉搜索查询的速度，并降低到服务器或其它目的地的通信带宽要求。
根据一个实施方案，且例如如图1和图3中所展示，图像辨识***120的远程服务器140可接收视觉搜索查询，且产生待经由移动装置130呈现的信息内容。在接收到包含查询图像和与所述查询图像相关联的元数据和/或上下文数据的视觉搜索查询后，远程服务器140可即刻基于相关联的元数据而辨识查询图像中的至少一个对象。远程服务器可基于所辨识的对象和相关联的上下文数据而产生信息内容，且随后将所述信息内容传送到移动装置130。其后，移动装置130可响应于视觉搜索查询而呈现所述信息内容。
受益于与查询图像相关联的元数据和/或上下文数据，远程服务器140可集中于视觉搜索的范围，且因而改进远程服务器140以及整个图像辨识***120的准确性、速度和效率。此外，远程服务器140可使用相关联的元数据和/或上下文数据来裁剪信息内容，其可使得远程服务器140且因此图像辨识***120能够响应于视觉搜索查询而实时地或准实时地提供相关的信息内容。
移动装置130所俘获的图像100或图像100内的图案115可含有对应于一个或一个以上对象的突出特征的一个或一个以上群集(例如，特征、所关注的对象等)。对象可包含(例如，但无任何限制)标志、设计、面部、地标、服装(例如，t恤、帽子、鞋子、口袋等)、记号(例如，路牌、酒店记号等)、条形码、广告、杂志、报纸、海报(例如，“一张”等)、广告牌、布告、油画、素描、其上显示或投影图像的背景幕、零售商品保养说明书、数字视频光盘(DVD)盒、张贴物、票、压缩光盘(CD)盒、棒球卡、苏打罐等，或其任何组合。在一个实例中，图像100或图案115可为二维的，即使图像100中所俘获的对象或对象的表面不平坦和/或是二维的也如此。图1展示图像辨识***120的一个实施方案，其中由具有便携式图像传感器的移动装置130俘获图像100和一个或一个以上图案115。
图像辨识***120可经提供以实现视觉搜索并递送与图像100中的对象和/或图像100内的图案115相关联的信息内容。与对象相关联的信息内容可包括视觉、听觉或感官内容，或使得可访问此类内容的位置描述符。举例来说，信息内容可呈以下形式：图像、文本、串流或非串流视频、串流或非串流音频、通用资源定位符(URL)、无线应用协议(WAP)页、超文本标记语言(HTML)页、可扩展标记语言(XML)文档、可执行程序、文件名称、因特网协议(IP)地址、电话呼叫、装置或其它内容。可经由通信协议将信息内容传送到移动装置130，所述通信协议例如为(无任何限制)电子邮件(e-mail)、多媒体消息接发服务(MMS)、增强型消息接发服务(EMS)、短消息接发服务(SMS)、WAP推送、应用程序推送(例如，推送注册等)、标准电话显示，或例如传输控制协议(TCP)、IP、用户数据报协议(UDP)、超文本传递协议(HTTP)和文件传递协议(FTP)等标准因特网协议。
如图1中所示，图像辨识***120包括移动装置130，移动装置130俘获、产生、获取或以其它方式复制图像100(其子图像包含包含一个或一个以上对象的图案115)，且基于对象而产生视觉搜索查询。图像100是由移动装置130俘获的对象的电子表示。举例来说，图像100可为包括二维像素信息阵列的数据结构。移动装置130的实例可包括任何移动电子装置，例如(无任何限制)蜂窝式电话(“手机”)、个人数字助理(PDA)、数码相机，或适于在无线接入网络(例如使用IEEE 802.16标准(WiMAX)或IEEE 802.11标准(Wi-Fi)操作的无线接入网络)上操作的无线电话，或这些装置中的两者或两者以上的电耦合集合，例如与PDA有线或无线通信的数码相机。
移动装置130包括便携式图像传感器(例如，如图2中所示的图像传感器200等)，其可为能够产生图像100的任何电子装置。举例来说，便携式图像传感器可包括电荷耦合装置(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，以及用以将光图案传达到传感器上并进而产生图像100的一组光学镜头。在一个实施方案中，便携式图像传感器被建置到移动装置130上。在操作中，用户在目标的大体方向上对准移动装置130的便携式图像传感器，且移动装置130在俘获覆盖目标的区域后产生图像100。移动装置130还可检索一个或一个以上所存储的图像或俘获视频的一个或一个以上帧以产生图像100。举例来说，作为使用便携式图像传感器产生图像的替代，移动装置130可检索存储在130中的或经由通信协议(例如，电子邮件、MMS、EMS、SMS、HTTP、UDP等)发送的图像以产生图像100。在一个实施方案中，所检索的图像或所俘获的帧可包含来自先前进行的视觉搜索的视觉搜索结果和/或用户信息，且移动装置130可独立于或结合(例如，重叠于其上)图像100来显示视觉搜索结果和/或用户注解。如将在下文更详细地描述，移动装置130可检测图像100中的对象，且实时地或准实时地向用户突出显示或以其它方式指示对象中的一者或一者以上。关于在移动装置130中集成的方面，可使用购自加利福尼亚州圣地亚哥市的高通公司的BREW
Figure BPA00001446912200071
编程接口(BREW
Figure BPA00001446912200072
API)来执行或增加对象检测。其它图像检测和辨识API或服务可用于将对象检测集成于移动装置130中，例如可在Java平台、来自Sun微***的微型编辑(Java METM)、来自Symbian有限公司的SymbianTM OS，来自Adobe***的Flash LiteTM，来自微软公司的WindowsMobileTM，来自苹果公司的iPhoneTM OS，来自开放手持机联盟的AndroidTM等下执行的API和服务。
移动装置130还可包含用以检测位置、定位、定向、移动和/或与移动装置130在产生图像100时相关联的其它上下文数据的能力。对移动装置130的位置或定位的检测和识别可例如使用各种定位服务来执行，例如全球定位***(GPS)、辅助式GPS(A-GPS)、基于蜂窝式电话基站对经注册的蜂窝式电话的三角测量法或三边测量法的基站三角测量法或三边测量法、欧洲伽利略定位***，或其它定位或位置服务或技术。对移动装置130的定向或移动的检测和识别可例如使用各种服务来执行，例如内置传感器(例如，如图2中所示的传感器290等)，所述内置传感器包含(例如)GPS单元、加速计、陀螺仪，和/或其它定向和移动检测服务或技术。移动装置130可进一步包含用户输入接口(例如，小键盘、麦克风等)，所述用户输入接口可接收用户输入的文本或听觉信息并提供所述文本或听觉信息作为上下文数据。移动装置130还可包含其它类型的传感器，例如温度传感器，所述传感器可提供其它类型的上下文数据。如图1中所示，移动装置130可经由无线连接132和由在图像辨识***120内操作的一个或一个以上无线服务器支持的一个或一个以上基站135与无线服务提供商150通信。无线服务提供商150可随后与一组资源通信，所述资源包含例如存储用户相关预订、配置、定位和其它信息的用户数据库。
在一个实施方案中，图像辨识***120可进一步包括远程服务器140，远程服务器140与移动装置130和无线服务提供商150联合操作以实现视觉搜索并实时地、准实时地或以其它方式递送与图像100中的对象相关的信息内容。远程服务器140包括一个或一个以上服务器142、144和146，其可通过跨越例如局域网(LAN)、内联网或因特网等一个或一个以上通信网络的连接148而耦合。举例来说，远程服务器140可包含消息接发服务器142中的一者或一者以上，以处置与无线服务提供商150和/或移动装置130的通信，且响应于视觉搜索查询而向移动装置130递送信息内容或提供对信息内容的访问权，所述视觉搜索查询可包含图像数据、元数据和/或与图像100相关联的上下文数据；远程服务器140可包含内容服务器144以存储并提供信息内容；且远程服务器140可包含图像辨识服务器146以确定递送何信息内容和/或递送信息内容的方式。在一个实施方案中，消息接发服务器142、内容服务器144和图像辨识服务器146可驻留于不同物理位置处，且经由因特网148上的连接而以通信方式耦合。举例来说，消息接发服务器142和图像辨识服务器146可物理上驻留于由还管理无线服务提供商150的蜂窝式电话公司管理的位置处。同时，内容服务器144可物理上驻留于广告销售网络、销售提供商、内容提供商、媒体提供商，或其它提供商或待递送到移动装置130的内容的源处。
远程服务器140可经由一个或一个以上通信连接170耦合到无线服务提供商150，所述一个或一个以上通信连接170可包含有线电链路(例如，T1或T3线路等)、无线链路、光学链路或其它通信耦合模式。无线服务提供商150可将蜂窝式电话或其它数字通信服务提供给电子装置(例如，移动装置130)的用户。举例来说，无线服务提供商150可为蜂窝式电话服务提供商(例如，Sprint Nextel公司等)、个人通信服务(PCS)提供商，或其它无线服务提供商。无线服务提供商150可包含一个或一个以上无线服务器和基站135的网络。移动装置130可使用无线连接132上的多层次(例如，客户端-服务器等)软件架构经由基站135与无线服务提供商150的无线服务器通信。因而，移动装置130可经由无线服务提供商150与远程服务器140通信，且远程服务器140可经由无线服务提供商150将相关的信息内容递送到移动装置130。递送信息内容可包含向图像辨识***120的用户呈现信息内容。举例来说，可将信息内容传输到移动装置130以例如在视觉显示器上或在音频扬声器上向用户呈现。
现将参考图2来说明与本发明的教示的一个或一个以上实施方案相一致的移动装置130的示范性配置。移动装置130(如图1中所示)可包含：至少一个天线202(例如，发射接收器或包括输入接口等的此类接收器的群组)，其接收信号(例如，关于移动呼叫起始或其它信号交换、信号交换响应、移动应用数据传递、数据事件、数据事件响应、信号交换终止等)；以及接收器204，其对所接收信号执行若干动作(例如，滤波、放大、下变频等)。天线202可例如发射或接收对信号交换请求、数据事件请求等的响应。天线202和接收器204还可与解调器206耦合，解调器206可解调所接收的信号，并将其提供给处理器208以进行处理。移动装置130可另外包含存储器210，其包含一个或一个以上计算机可读媒体，其在操作上耦合到处理器208且可存储待执行的指令和待发射、接收、处理的数据等。
处理器208可分析由天线202和/或移动装置130的用户输入接口(未描绘)接收的信息，且/或产生供发射器218经由调制器216发射的信息。另外，处理器208可控制和/或参考移动装置130的一个或一个以上资源或组件，所述资源或组件例如包含图像传感器200、解调器206、存储器210、调制器216、发射器218、图像检测单元250、图像辨识单元260和传感器290。处理器208还可执行运行时环境212(例如高通公司的BREW
Figure BPA00001446912200091
、来自Sun微***的Java METM、来自Symbian有限公司的SymbianTM OS，来自Adobe***的Flash LiteTM，来自微软公司的Windows MobileTM，来自苹果公司的iPhoneTM OS，来自开放手持机联盟的AndroidTM等)，以及应用程序集合214，或其它软件、模块、应用程序、逻辑、代码等。
在一个实施方案中，移动装置130包含存储器210以存储计算机可读数据(例如，如图1中所示的图像100、图像系数库262等)和计算机可执行软件指令(例如，图像检测/辨识软件270、运行时环境212、应用程序集合214等)。存储器210可包括固态存储器(例如，只读存储器、随机存取存储器、快闪存储器等)、磁性硬盘驱动器、光学可读媒体(例如，压缩光盘(CD)或数字视频光盘(DVD))等中的一者或一者以上。移动装置130还可包括至少一个处理器208来执行存储在存储器210中的软件指令。所述指令经执行以配置处理器208来控制和/或执行(例如)图像传感器200、图像检测单元250和图像辨识单元260的功能，如下文将例如关于图4更详细地描述。
在一个实施方案中，将图像感测能力和图像检测和/或辨识功能性展示为涉及由移动装置130的图像传感器200、图像检测单元250和图像辨识单元260进行的处理。举例来说，图像传感器200可包括CCD传感器或CMOS传感器，以及一组光学镜头，其将光图案传达到传感器上且进而产生图像100。在操作中，用户在目标的大体方向上对准移动装置130的图像传感器200，且图像传感器200在俘获了覆盖目标的区域后产生图像100。移动装置130还可检索一个或一个以上所存储的图像或俘获视频的一个或一个以上帧以产生图像100。在一个实施方案中，图像传感器200被建置到移动装置130中。然而，图像检测和图像辨识的功能性可完全驻留于移动装置130中、远程服务器140中，或其任何组合中。举例来说，图像检测单元250和图像辨识单元260可实施为存储于移动装置130的存储器210中并可由处理器208执行的图像处理软件的一个或一个以上集合(例如，图像检测/辨识软件270等)。
在一个实施方案中，图像检测/辨识软件270可为移动装置130及其组件提供到图像传感器200、图像检测单元250和/或图像辨识单元260的功能性的接口。图像检测/辨识软件270可包含用于检测图像中的一种或一种以上对象类别和/或基于突出特征群集而辨识图像中的对象的算法。所述算法可包含(例如)标度不变特征转变(例如，SIFT、SIFT++、LTI-lib SIFT等)、加速稳健特征(例如，SURF、SURF-d等)、扩张现实(例如，BazAR等)，和所属领域的技术人员已知的其它图像检测和辨识算法。图像检测/辨识软件270还可包含用于基于对应于图像中的对象的突出特征群集来检测图像中的一个或一个以上对象的类别或对其进行分类的算法，例如生物视觉皮质网络(例如，体系最大化架构、HMAX等)，和所属领域的技术人员已知的其它对象分类算法。对象类别可包含(例如)自然对象，例如面部、动物、植物、陆地特征等。对象类别还可包含(例如)人造对象，例如标志、设计、建筑物、地标、服装、记号、交通工具等。虽然术语“对象的类别”和“对象类别”用于描述共享某些特性的对象集合，但可互换地使用所属领域的技术人员已知的其它相似术语，例如对象的等级、对象的种类、对象的类型等。
在一个实施方案中，移动装置130可使用一个或一个以上算法来检测图像中的对象，使用相同或不同算法来检测对象的类别，且/或使用相同或不同算法来辨识所述对象。在一个实施方案中，移动装置130可基于检测到的对象类别来选择辨识算法。举例来说，移动装置130可使用HMAX来检测并分类图像100中的对象，且随后使用SIFT来辨识图像100中的被分类为人造对象的对象。
在一个实施方案中，图像检测/辨识软件270可包含用于检测标志的算法。标志出现在几乎每个用于销售目的的产品尚，且标志检测算法可通过检测标志图案及其在图像内的边界而促进移动视觉搜索。标志可具有高度的对比度但有限的亮度和/或色彩水平，且因而标志图案的亮度和/或色度直方图可具有两个主峰。基于这些检测到的特性，可通过例如使用表1中所示的公式1获取亮度(或在RGB分量被伽马压缩的情况下，为luma)和色度分量的直方图，而有效地检测标志图案。
表1-公式1：亮度和色度分量获取
亮度和色度分量的直方图可具有任何数目的bin。在一个实例中，16bin直方图提供充分的分辨率来区分标志图案的主峰。在获取亮度和色度分量的直方图之后，标志检测算法可定位直方图中的最强的峰，通常为两个。标志检测算法可确保直方图的不同bin处的表示为(peak1，bin1)和(peak2，bin2)的两个最强峰满足表2中所提供的准则。
表2
Figure BPA00001446912200102
在检测到标志图案后，标志检测算法可使用一维(1-D)投影算法来检测标志图案边界。1-D投影算法可使用(例如)表3中所提供的公式2来获得最大联合分量和最小联合分量在X和Y方向上的增量。
表3-公式2：1-D投影算法
Figure BPA00001446912200111
标志检测算法可基于X投影和Y投影来确定标志图案边界。在一个实例中，由于标志图案的X投影和Y投影波形尚的显著增量，标志检测算法可有效地且在高置信度的情况下确定标志图案边界。可由图像检测单元250使用存储在图像检测/辨识软件270中的标志检测算法，以检测和/或定位图像100内的一个或一个以上标志，如下文将例如关于图4更详细地描述。
在一个实施方案中，图像处理软件可存取图像系数库262，图像系数库262可存储可能的图像候选者或训练图像的图像系数。训练图像中的每一者可具有唯一地表示所述训练图像的系数或图像系数的对应向量。图像系数可包含形成对应训练图像的签名的编号集合，且图像系数的大小大体上对应于训练图像的类别。举例来说，标志(BREWGAMING MONKEYTM标志等)的图像系数可具有约22x18x32字节或约12千字节的大小，且人面部的图像系数可具有大于一兆字节的大小。训练图像可使用分类算法(例如，HMAX、K-最近邻、支持向量机、神经网络、随机化树，或所属领域的技术人员已知的其它分类算法)基于包含于其中的对象而被分类。训练图像的图像系数可存储在图像系数库262中，且还可根据训练图像中的对象的类别、元数据(例如，对象类别、商标等)，和/或与训练图像相关联的上下文数据(例如，GPS位置、位置识别符等)而被编制索引。存储在图像系数库262中的训练图像的图像系数可由图像检测单元250和图像辨识单元260用来分类、辨识，或以其它方式识别图像100和/或图案115内的一个或一个以上对象，如下文将例如关于图4更详细地描述。
移动装置130中的图像处理软件可进一步包括图像编辑软件，所述图像编辑软件可用于修剪、压缩、缩放、转换到灰度级，或以其它方式处理由图像传感器200俘获的图像100，以提取或以其它方式产生包含图案115的子图像。举例来说，可基于检测到的、经分类的和/或所辨识出的对象来修剪或以其它方式处理图像100。替代地或另外，可根据从移动装置130的用户接收到的或由所述用户指定的指令或根据先前已由移动装置130接收到的计算机可读指令来修剪或以其它方式处理图像100。可在任何合适的编程语言和/或开发环境(例如，BREW
Figure BPA00001446912200121
、Java METM、SymbianTM OS、Flash LiteTM、WindowsMobileTM、iPhoneTM OS、AndroidTM)中编写图像处理软件。替代地或另外，图像检测单元250和图像辨识单元260可实施为移动装置130中的硬件。所述硬件可包括包含无源和/或有源电子组件的电子电路。举例来说，在一个实施方案中，所述硬件可实施于至少一个专用集成电路(ASIC)中。
现将参看图3来说明与本发明的教示的实施方案相一致的图像辨识***120的后端300的示范性配置，图像辨识***120包含可促进和/或参与图像辨识和视觉搜索的远程服务器140和无线服务提供商150。在一个实施方案中，后端300可包含无线服务提供商150，无线服务提供商150具有：接收器310，其经由接收天线306接收来自一个或一个以上移动装置(例如，如图1中所示的移动装置130等)的一个或一个以上信号；以及发射器322，其经由发射天线308将由调制器320调制的一个或一个以上信号发射到移动装置。接收器310可接收来自接收天线306的信息，且可进一步包含接收与未接收或不能破译的数据包相关的反馈数据的信号接收方(未图示)。另外，接收器310在操作上与解调所接收的信息的解调器312相关联。处理器314可分析由解调器312提供的经解调的符号和信息。
处理器314进一步耦合到存储器316，存储器316可存储促进和/或参与移动装置、无线服务提供商150和/或远程服务器140之间的远程通信的一个或一个以上应用程序318。举例来说，应用程序318可包含主要应用程序，所述主要应用程序经配置以起始信号交换并将数据事件请求(例如，关于诊断信息、数据分析等)发送到移动装置上操作的接收方应用程序。或者，应用程序318可包含次要应用程序，所述次要应用程序可接收信号交换请求并鉴定移动装置上的起始应用程序。应用程序318可进一步包含用于产生和/或验证识别应用程序318到移动装置上的对应应用程序或移动装置上的对应应用程序到应用程序318的识别符，或此些识别符的识别特定往返行程通信的递增的规则。此外，所述规则可指定用于重新传输未确认的传输、重新起始信号交换请求和/或响应以及终止信号交换等的政策。因此，应用程序318可加入与驻留于移动装置上的一个或一个以上应用程序(例如，如图2中所示的应用程序集合214等)的移动通信，和/或与执行本文中所陈述的各种动作和功能相关的任何其它合适活动。
在一个实施方案中，后端300可包含远程服务器140，远程服务器140与移动装置(例如，移动装置130等)和无服务提供商150联合操作以实现图像辨识和视觉搜索。远程服务器140可包含消息接发服务器142以处置与移动装置和/或无线服务提供商150的通信，且响应于视觉搜索查询而向移动装置递送信息内容或提供对信息内容的访问权。举例来说，消息接发服务器142可接收视觉搜索查询，所述视觉搜索查询可包含图像100或从图像100中提取的一个或一个以上子图像(例如，图案115等)，以及元数据和/或与图像100相关联且由移动装置产生的上下文数据，且随后将所述视觉搜索查询传输到图像辨识服务器146。对于另一实例，消息接发服务器142可接收视觉搜索结果，所述视觉搜索结果可包含由内容服务器144响应于视觉搜索查询而产生的与图像100或所提取的子图像相关的信息内容，且随后将所述视觉搜索结果传输到无线服务提供商150以用于传输到移动装置。
远程服务器140可包含图像辨识服务器146或与其通信以基于图像数据、元数据，与图像100相关联的上下文数据，和/或针对先前为了类似的视觉搜索查询而提供的搜索结果的用户反馈来辨识或以其它方式识别图像100内的一个或一个以上对象或所提取的子图像中的一者或一者以上。针对搜索结果的用户反馈可例如包含关于搜索结果的准确性或相关性的二进制响应(例如，是/否、真/假、好/坏等)或缩放的响应(例如，从1到10的比例)、针对搜索结果的用户注解、响应于搜索结果的用户后续动作(例如，点击搜索结果中提供的链接或广告等)等。图像辨识服务器146可进一步基于至少一个所辨识的对象、元数据，和/或与图像100相关联的上下文数据，以及针对先前提供的搜索结果的任何用户反馈而产生语义搜索结果。在一个实施方案中，图像辨识服务器146包含处理器360和存储器362，存储器362包含一个或一个以上计算机可读媒体，所述一个或一个以上计算机可读媒体在操作上耦合到处理器360且可存储待执行的指令和待发射、接收、处理的数据等。存储器362可包括固态存储器、磁性硬盘驱动器、例如CD或DVD等光学可读媒体等中的一者或一者以上。存储在其中的指令经执行以配置处理器360来与图像辨识***120的其它组件联合地控制和/或执行(例如)视觉搜索和图像辨识。举例来说，存储器362可存储图像辨识软件364以及图像数据和系数库366。图像辨识软件364可存取图像系数库366，图像系数库366可存储图像数据和/或可能的图像候选者或训练图像的系数并为其编制索引。可使用分类算法(例如，HMAX、K-最近邻、支持向量机、神经网络、随机化树，或所属领域的技术人员已知的其它分类算法)基于包含于训练图像中的对象而将训练图像分类。图像系数库366可根据训练图像中的对象的类别、元数据(例如，对象类别、商标等)，和与训练图像相关联的上下文数据(例如，GPS位置、位置识别符等)而为训练图像编制索引。训练图像中的每一者具有唯一地表示训练图像的数据和/或系数向量，所述数据和/或系数向量可存储在图像数据和系数库366中且由图像辨识软件364使用来辨识图像100或图案115内的一个或一个以上对象，如下文将例如关于图5更详细地描述。
远程服务器140可进一步包含内容服务器144或与其通信，以存储、编制索引和提供信息内容，例如产品信息(例如，名称、价格、制造商、规格、评论、广告、优惠券、促销等)、到产品信息的引导链接、动作链接(例如，用于比较商店、保存到意愿列表、与朋友共享、即时购买等的到线上零售商的链接)、名人信息(例如，与名人相关联的姓名、个人简介、产品和/或服务等)。地标信息(例如，与地标相关联的名称、历史、产品和/或服务等)，或其任何组合。内容服务器144可响应于(例如)由图像辨识服务器146基于至少一个对象、元数据和/或与图像100相关联的上下文数据而产生的语义搜索查询而提供相关信息内容。
在一个实施方案中，内容服务器144包含处理器340和存储器342，存储器342包含一个或一个以上计算机可读媒体，所述一个或一个以上计算机可读媒体在操作上耦合到处理器340且可存储待执行的指令和待发射、接收、处理的数据等。存储器342可包括固态存储器、磁性硬盘驱动器、例如CD或DVD等光学可读媒体等中的一者或一者以上。存储在其中的指令经执行以配置处理器340来与图像辨识***120的其它组件联合地基于图像100或图案115而搜寻和提供相关信息内容。举例来说，存储器342可存储用于搜索引擎344和信息内容数据库346的指令。
搜索引擎344可响应于来自移动装置和/或图像辨识服务器146的搜索查询而定位和提供相关信息内容。在所展示的实施方案中，在接收搜索查询之前，内容服务器144可执行对信息内容数据库346和/或耦合到远程服务器140的其它计算机可读数据存储媒体的蠕动，以定位存储在其中的信息内容并为其编制索引。因而，搜索引擎344可响应于搜索查询通过存取索引而定位相关信息内容。因此，信息内容服务器144可基于由图像辨识服务器146产生的语义搜索查询而确定将何信息内容递送到移动装置和/或如何递送信息内容，例如信息内容和通信协议等的形式，如下文将例如关于图5更详细地描述。
图4和图5说明根据本发明的教示的一个或一个以上方面的方法和/或流程图。为了易于阐释，将方法描绘和描述为一系列动作。应理解并了解，本创新不受所说明的动作及/或动作次序的限制。举例来说，动作可以各种次序及/或同时发生，且与本文中未呈现并描述的其它动作一起发生。此外，可能不需要所有所说明的动作来实施根据所主张的标的物的方法。此外，所属领域的技术人员将理解并了解，方法可替代地经由状态图或事件而表示为一系列相关状态。此外，应进一步了解，下文中及贯穿本说明书所揭示的方法能够存储于制品上以促进将所述方法运输并传送到计算机。如本文中所使用的术语“制品”既定涵盖可从任何计算机可读装置、载体或媒体存取的计算机程序。
图4说明根据本发明的教示的一个或一个以上实施方案的可由移动装置130(如图1和图2中所展示)执行以使用图像辨识***120(如图1中展示)来搜索并促进图像辨识的处理的流程图。在410中，移动装置130可通过获取图像(例如，如图1中所示的图像100，如图6A中所示的图像600等)而起始视觉搜索和图像辨识。举例来说，移动装置130的用户在目标的大体方向上对准移动装置130的图像传感器200，且移动装置130可俘获、产生、获取或以其它方式复制表示所述目标的图像。移动装置130还可检索一个或一个以上所存储的图像或俘获视频的一个或一个以上帧以产生图像。举例来说，作为使用图像传感器200产生图像的替代，移动装置130可检索存储在移动装置130中的或经由通信协议(例如，电子邮件、MMS、EMS、SMS、HTTP、UDP等)发送的图像以产生图像。在一个实施方案中，所检索的图像或所俘获的帧可包含来自先前进行的视觉搜索的视觉搜索结果和/或用户信息，且移动装置130可独立于或结合(例如，重叠于其上)图像100来显示视觉搜索结果和/或用户注解。
接下来，在415中，移动装置130可基于对应于所获取的图像中的对象的突出特征群集而检测一个或一个以上对象的存储和位置。在一个实施方案中，移动装置130可在不具有来自用户的肯定输入或其它动作(例如，按下快门)的情况下开始检测对象；而是，移动装置130可将连续获取的图像进行比较以确定图像传感器200何时静止或已静止了阈值时间周期，且因此可开始检测对象。在另一实施方案中，移动装置130可在来自用户的肯定输入或其它动作之后开始检测对象。
在一个实施方案中，可通过使用存储在移动装置130中的一个或一个以上图像检测算法(例如，存储在如图2中所示的图像检测/辨识软件270和图像检测单元250中且由其执行的检测算法等)来执行或增强对象检测。可例如通过将关键点(例如，线、边、脊、隅角、滴、T形交叉点或其它突出特征)定位在图像上来检测对象，且随后基于与关键点中的每一者相关联的点或区来产生关键点向量。通过使用关键点向量，移动装置130可定位图像中的对象，且随后针对对象中的每一者，移动装置130可产生唯一地表示对应对象的特征向量。可使用其它图像检测算法，包含(例如)HMAX、SIFT、SIFT++、LTI-lib SIFT、SURF、SURF-d、BazAR，或所属领域的技术人员已知的其它图像检测算法。
在一个实施方案中，可针对各种类别的对象执行对象检测，例如，标志、设计、面部、地标、服装、记号、对象等。在一个方面中，可仅针对一个或一个以上预先选择或用户选择的类别的对象来执行对象检测。举例来说，对象检测可利用存储在图像检测/辨识软件270中的标志检测算法来检测和/或定位图像中的仅标志或类似于标志的图案。替代地或另外，移动装置130可通过实时地产生对应于检测到的对象的特征向量，且将所述特征向量与用于存储在图像系数库262中的选定类别的对象的可能的图像候选者或训练图像的图像系数进行比较，而确定检测到的对象的类别。训练图像中的每一者具有唯一地表示训练图像中的特征的对应系数向量。在一个实施方案中，移动装置130可通过计算向量之间的距离(例如，曼哈拉若尼斯(Manhalanobis)距离、欧几里得距离等)而将检测到的对象的特征向量与选定类别的训练图像的系数向量进行比较，以确定检测到的对象的类别。
在一个实施方案中，移动装置130可检测所获取的图像中的对象，之后增强所获取的图像以供人类观看(例如，增强图像的锐度、亮度和色彩的动态范围等)，且在移动装置130的取景器或显示器上显示经增强的图像。虽然经增强的图像在美学上更令用户愉悦，但此类增强可妨碍或甚至阻止移动装置130准确地并有效地检测图像中的对象。
在420中，移动装置130可通过将指示符重叠于图像上而突出显示或以其它方式指示图像的检测到的对象。举例来说，指示符可包含各种形式的扩张的现实图形，例如，围绕如图1中所示的图案115以及围绕如图6A和图6B中所示的图案610到620的指示符、方框、靶心超链接等。如果移动装置130在415中已确定检测到的对象的类别，则移动装置130可仅突出显示经分类为一个或一个以上预先选定或用户选定的类别的检测到的对象。接下来，在425中，移动装置130可接收来自用户的输入以选择经突出显示的对象中的至少一者，例如，如图6B中所示的选定图案610。用户输入可包含肯定输入或来自用户的经由用户输入接口的其它动作。用户输入还可包含用户静止地握住移动装置130，使得图像传感器200集中于检测到的对象中的一者上并持续阈值时间周期。
接下来，在430中，移动装置130可分类、辨识或以其它方式确定选定对象的特性。移动装置130可任选地精细化对应于选定对象的所产生的特征向量。移动装置130可通过将选定对象的特征向量与用于存储在图像系数库262中的一种或一种以上特征的训练图像的图像系数进行比较而确定选定对象的类别。如果移动装置130已将选定对象分类(在415中)，则移动装置130可保持选定对象的类别而不进一步将选定对象分类。在一个实施方案中，移动装置130可将选定对象的特征向量与存储在图像系数库262中的训练图像的图像系数进行比较，以辨识或以其它方式确定选定对象的特性。在一个实施方案中，移动装置130可通过计算向量之间的距离(例如，曼哈拉若尼斯(Manhalanobis)距离、欧几里得距离等)而将选定对象的特征向量与训练图像的系数向量进行比较，以找到与选定对象匹配的训练图像。如果移动装置130找到与选定对象匹配的训练图像，则移动装置130可基于匹配的训练图像来辨识选定对象。特征向量的维度的数目直接与使特征向量匹配所需的时间和处理功率相关，且因此可能需要最小化特征向量的维度的数目。然而，特征向量应具有足够维度以具有区别且还对噪声、检测错误以及几何和光度变形稳健。
在435中，移动装置130可基于与选定对象匹配的训练图像而产生与选定对象相关联的元数据。举例来说，如果移动装置130使选定对象与BREW GAMING MONKEYTM标志的训练图像匹配，则移动装置130可产生指示所述选定对象为BREW GAMINGMONKEYTM标志或包含BREW GAMINGTM产品的元数据。或者，如果移动装置130不可使选定对象与训练图像匹配，则移动装置130可产生包含选定对象的特征向量的元数据。
在440中，移动装置可获取与所获取的图像相关联的上下文数据。移动装置130可在获取图像或处理所述图像以检测对象时获取与移动装置130相关联的位置、定位、定向、移动和/或其它上下文数据。举例来说，上下文数据可包含在曾获取图像的地方的GPS位置。对于另一实例，上下文数据可包含在曾获取图像时移动装置130的定向(例如，在广告牌处向上、在杂志处向下等)或环境温度。对于又一实例，上下文数据可包含用户输入的文本或听觉信息，例如类似于“在U.S.Open处”的文本或话音消息，类似于背景噪声的被动信息，和类似于“左边的女士是谁？”或“左边的女士穿的什么”的指示。在一个实施方案中，移动装置130可在440中独立地获取上下文数据，或与在410到435中所执行的处理中的任一者同时进行。
接下来，在445中，移动装置130可基于所获取的图像而产生视觉搜索查询，且将所述视觉搜索查询传送到图像辨识***120的后端300。视觉搜索查询可包含到后端300中的处理器或服务器或在其中运行的进程的目的地地址，且可基于选定对象的类别而裁定所述目的地地址。在一个实施方案中，视觉搜索查询可包含所获取的图像或基于选定对象从所获取的图像中提取的子图像，以及与所获取的图像或所提取的子图像相关联的元数据和/或上下文数据。移动装置130可基于选定对象来修剪、压缩、缩放、转换到灰度级或以其它方式处理所获取的图像以提取或以其它方式产生至少一个子图像。
举例来说，如图1和图6C中所说明，如果在430中将选定对象辨识为BREWGAMING MONKEYTM标志，则移动装置130可修剪或以其它方式处理所获取的图像以提取包含所述标志或其上附加了所述标志的对象的子图像(例如，t恤630、广告、优惠券、帽子、一双鞋等)。替代地或另外，移动装置130可根据从移动装置130的用户接收到的或由所述用户指定的指令，或根据先前已由移动装置130接收到的计算机可读指令来修剪或以其它方式处理所获取的图像。在产生了视觉搜索查询(其包含所获取的图像或所提取的子图像以及与所获取的图像或所提取的子图像相关联的元数据和/或上下文数据)之后，移动装置130可将视觉搜索查询传送到图像辨识***120的后端300。所提取的子图像具有比所获取的图像的文件大小小的文件大小。因此，传送包含所提取的子图像而不是整个所获取的图像的视觉搜索查询。此图像缩减可再次提高传送视觉搜索查询的速度。另外，传送包含所提取的子图像而不是整个所获取的图像的视觉搜索查询还可降低到服务器或其它目的地的通信带宽要求。
在450中，移动装置130可从后端300接收响应于视觉搜索查询的视觉搜索结果并将其呈现给用户。移动装置130还可存储视觉搜索结果和/或使所述视觉搜索结果于所述视觉搜索查询相关联，且可接收并存储来自用户的关于所述视觉搜索结果的注解。其后，移动装置130可经由通信协议来发射视觉搜索结果、视觉搜索查询和/或用户注解。视觉搜索结果可包含与所获取的图像中的选定对象相关联的信息内容。举例来说，如果选定对象是标志(例如，如图6B中所示的选定图案610中的标志等)，则所述信息内容可包含产品信息(例如，产品商标650和产品类型660，如图6D中所示)，到产品信息的引导链接(例如，信息链接670)、相关产品(例如，相关产品690和广告695)、用于比较商店、保存到意愿列表、与朋友共享或即时购买的到线上零售商的链接(例如，购买链接680)等，或其任何组合。如果选定对象是名人的面部，则信息内容可例如包含名人的名字、他或她的个人简介，与名人相关联的产品和/或服务，以及其它相关信息，或其任何组合。如果选定对象是地标，则信息内容可包含地标的名称、历史、与地标相关联的产品和/或服务，以及其它相关信息，或其任何组合。在一个实施方案中，移动装置130可从后端300接收关于视觉搜索结果的反馈请求，例如让用户对搜索结果的准确性或相关性进行评价的确认对话框、让用户对搜索结果进行注解的输入对话框等。对各种类别和类型的图像、元数据、上下文数据、视觉搜索查询和结果、信息内容和用户反馈机制的以上列举仅用于说明目的，且并不打算以任何方式限制本发明的教示。
图5说明根据本发明的教示的一个实施方案的可由后端300(如图3中所示)执行以使用图像辨识***120(如图1中所示)来实现视觉搜索并促进图像辨识的处理的流程图。在510中，后端300中的远程服务器140(如图1和图3中所示)可经由无线连接132和无线服务提供商150或所属领域的技术人员已知的其它数据发射手段来接收视觉搜索查询。如上文所描述，视觉搜索查询可包含含有至少一个所关注的对象的图像，和与所述图像相关联的元数据和/或上下文数据。出于说明的目的，基于图像600(如图6C中所示)而产生的示范性视觉搜索查询可包含t恤630的图像、指示所述图像与BREWGAMINGTM相关联的元数据，和指示曾在特定GPS位置处获取所述图像的上下文数据。
接下来，在515中，远程服务器140可基于所述视觉搜索查询而辨识或以其它方式识别图像中的所关注的对象。远程服务器140可利用与图像相关联的元数据和/或上下文数据，以及与先前针对类似的视觉搜索查询而提供的搜索结果相关联的任何用户反馈来辅助辨识所关注的对象，其使得远程服务器140能够集中于或以其它方式限制视觉搜索的范围，且因而改进图像辨识***120的准确性、速度和/或效率。在一个实施方案中，远程服务器140可执行存储在图像辨识服务器146中的图像辨识软件364，以执行所述图像与存储在图像数据和系数库366中的图像数据(例如，图像光栅数据、图像系数等)的一对一的匹配。远程服务器140可基于与所述图像相关联的元数据和/或上下文数据而集中于一对一的匹配。举例来说，在接收到基于图像600而产生的示范性视觉搜索查询之后，远程服务器140可集中于t恤630与和BREW GAMINGTM相关联的所存储的图像数据的一对一的匹配。
作为一对一的匹配的替代或除其之外，在515中，远程服务器140可执行图像辨识软件364以检测图像中的所关注的至少一个对象，且计算唯一地表示所关注的对象的特征向量。远程服务器140可通过将特征向量与存储在图像数据和系数库366中的可能的图像候选者或训练图像的图像系数进行比较，而基于所计算的特征向量来辨识所关注的对象。在一个实施方案中，远程服务器140可通过计算向量之间的距离(例如，曼哈拉若尼斯(Manhalanobis)距离、欧几里得距离等)而使所计算的特征向量与训练图像的系数向量匹配，以辨识所关注的对象。远程服务器140可随后基于匹配的训练图像来辨识所关注的对象。远程服务器140可基于与所述图像相关联的元数据和/或上下文数据而集中于向量匹配。举例来说，在接收到基于图像600而产生的示范性视觉搜索查询之后，远程服务器140可集中于从t恤630计算的特征向量与和BREW GAMINGTM相关联的所存储的图像系数的匹配。
在520中，远程服务器140可响应于视觉搜索查询而基于所辨识的所关注的对象产生包含信息内容的视觉搜索结果。远程服务器140可基于所辨识的对象、元数据，和/或与图像相关联的上下文数据，以及与先前针对类似的视觉搜索查询而提供的搜索结果相关联的任何用户反馈而执行语义搜索，以检索与所辨识的对象相关联和/或相关的信息内容。通过使用相关联的元数据和/或上下文数据来集中于或以其它方式限制语义搜索的范围，远程服务器140和因此图像辨识***120可响应于视觉搜索查询提供更准确和/或更相关的信息内容。
在一个实施方案中，远程服务器140可执行存储在内容服务器144中的搜索引擎344以执行针对存储在信息内容数据库346中的信息内容的语义搜索。远程服务器140可基于与所述图像相关联的元数据和/或上下文数据而集中于语义搜索。举例来说，在接收到基于图像600而产生的示范性视觉搜索查询并辨识出t恤630包含BREW GAMINGMONKEYTM标志的图像之后，远程服务器140可执行对BREW GAMINGTM的语义搜索以检索相关信息内容，例如产品信息(例如，产品商标650和产品类型660，如图6D中所示)，到产品信息的引导链接(例如，信息链接670)、相关产品(例如，相关产品690)、用于比较商店、保存到意愿列表、与朋友共享或即时购买的到线上零售商的链接(例如，购买链接680)等，或其任何组合。对于进一步实例，远程服务器140可利用相关联的上下文数据(例如，GPS位置、用户输入的文本或听觉信息等)集中于语义搜索，以基于GPS位置来检索相关信息内容，例如用于在所述GPS位置附近的商店处的相关产品690的广告695(如图6D中所示)、在对应于所述GPS位置的附近商店处可得的优惠券和促销等。对各种类型的搜索查询、图像、所关注的对象、元数据、上下文数据、视觉搜索查询和结果和信息内容的以上列举仅用于说明目的，且并不打算以任何方式限制本发明的教示。
接下来，在525中，远程服务器140可经由无线连接132和无线服务提供商150或所属领域的技术人员已知的其它数据发射手段来将包含相关信息内容的视觉搜索结果传送或以其它方式提供给移动装置130。移动装置140还可传送对关于视觉搜索结果的用户反馈的请求，例如让用户对搜索结果的准确性或相关性进行评价的确认对话框、让用户对搜索结果进行注解的输入对话框等。在530中，远程服务器140可出于任何目的而记录视觉搜索查询，所述目的例如为费用收集、报告、数据开采、用户或产品简档、未来的销售等。此外，远程服务器140可出于任何目的记录与对应的视觉搜索查询相关联的或与视觉搜索查询无关的视觉搜索结果。远程服务器140还可出于任何目的记录对视觉搜索结果的用户反馈和/或使用户反馈与视觉搜索结果相关联，所述目的例如为训练图像辨识软件364和/或搜索引擎344、费用收集、报告、数据开采、用户或产品简档、未来的销售等。另外，远程服务器140可高速缓冲视觉搜索结果以响应于与所述视觉搜索查询等同或几乎等同的未来的视觉搜索查询而快速地提供搜索结果并最小化冗余处理。此外，远程服务器140可与由图像辨识***120进行的对视觉搜索查询的处理相关联的统计数据，例如搜索时间、视觉搜索结果中的信息内容的相关性方面的置信度水平等。
当本文中所描述的实施方案以软件、固件、中间件、微代码和/或程序代码或代码段实施时，其可存储于例如存储组件等计算机可读存储媒体中。代码段可表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类，或者指令、数据结构或程序语句的任何组合。可通过传递和/或接收信息、数据、自变量、参数或存储器内容而将一代码段耦合到另一代码段或硬件电路。可使用包含存储器共享、消息传递、权标传递、网络发射等的任何合适手段来传递、转发或发射信息、自变量、参数、数据等。对于软件实施方案来说，可通过执行本文中所描述的功能的模块(例如，程序、函数等)来实施本文中所描述的技术。软件代码可存储于存储器单元中且由处理器执行。存储器单元可实施于处理器内或处理器外部，在实施于处理器外部的情况下，存储器单元可经由此项技术中已知的各种手段以通信方式耦合到处理器。
前述描述是说明性的，且所属领域的技术人员可想到配置和实施方案方面的变化。举例来说，可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑、逻辑块、模块和电路。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器与DSP核心的联合，或任何其它此类配置。
在一个或一个以上示范性实施方案中，可以硬件、软件、固件或其任何组合实施所描述的功能。对于软件实施方案来说，可通过执行本文中所描述的功能的模块(例如，程序、函数等)来实施本文中所描述的技术。软件代码可存储于存储器单元中且由处理器执行。存储器单元可实施于处理器内或处理器外部，在实施于处理器外部的情况下，存储器单元可经由此项技术中已知的各种手段以通信方式耦合到处理器。如果以软件实施，则可将所述功能作为一个或一个以上指令或代码存储于计算机可读媒体上或经由计算机可读媒体来传输。计算机可读媒体包括计算机存储媒体与通信媒体两者，通信媒体包括促进将计算机程序从一处传递到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用的有形媒体。以实例而非限制的方式，此类有形计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于载送或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输软件，则所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包括于媒体的定义中。上述各者的组合也应包括在计算机可读媒体的范围内。
本文中所描述的技术可用于各种无线通信***中，例如，CDMA、TDMA、FDMA、OFDMA、SC-FDMA和其它***。术语“***”和“网络”常常可互换使用。CDMA***可实施例如通用陆地无线电接入(UTRA)、cdma2000等无线电技术。UTRA包含宽带CDMA(W-CDMA)和CDMA的其它变体。此外，cdma2000涵盖IS-2000、IS-95和IS-856标准。TDMA***可实施例如全球移动通信***(GSM)等无线电技术。OFDMA***可实施例如演进式UTRA(E-UTRA)、超移动宽带(UMB)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、Flash-OFDM等。UTRA和E-UTRA是全球移动电信***(UMTS)的部分。3GPP长期演进(LTE)是使用E-UTRA的UMTS的版本，其在下行链路上采用OFDMA且在上行链路上采用SC-FDMA。UTRA、E-UTRA、UMTS、LTE及GSM被描述于来自名为“第三代合作伙伴计划”(3GPP)的组织的文献中。另外，来自名为“第三代合作伙伴计划2”(3GPP2)的组织的文献中描述了cdma2000和UMB。另外，所述无线通信***可另外包括对等(例如，移动装置到移动装置)专用网络***，其经常使用不成对的未经许可的频谱、802.xx无线LAN、蓝牙(BLUETOOTH)及任何其它短程或长程无线通信技术。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接以硬件、以由处理器执行的软件模块或以所述两者的组合来体现。虽然已通过实例描述了方法，但可以与所说明的次序不同的次序或同时地执行所述方法的步骤。软件模块可驻留于RAM存储器、快闪存储器、ROM、EPROM、EEPROM、寄存器、硬盘、可装卸磁盘、CD-ROM，或此项技术中已知的任何其它形式的计算机可读存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息以及将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中。ASIC可驻留于移动装置中。在替代方案中，处理器和存储媒体可作为离散组件驻留于移动装置中。描述为单数或集成的其它资源可在一个实施方案中为复数或分布的，且描述为多个或分布的资源可在若干实施方案中为组合的。相应地，本发明的教示的范围既定仅受所附权利要求书限制。

Claims (57)

1.一种移动装置，其包括：
到服务器的无线接口；以及
处理器，其与所述无线接口通信，所述处理器经配置以起始处理，所述处理包括：
获取图像；
检测所述所获取的图像中的一个或一个以上对象；
产生与所述检测到的对象中的至少一者相关联的元数据；
基于所述至少一个对象从所述所获取的图像中提取查询图像；
产生视觉搜索查询，其中所述视觉搜索查询包含所述查询图像和所述元数据；
经由所述无线接口将所述视觉搜索查询传送到所述服务器；以及
响应于所述视觉搜索查询而接收并呈现与所述至少一个对象相关联的信息内容。
2.根据权利要求1所述的移动装置，其中产生元数据进一步包括：
将所述检测到的对象中的一者或一者以上分类为一对象类别；
突出显示所述经分类的对象；
接收指示所述经分类的对象中的选定一者的输入；以及
基于所述选定对象的所述对象类别而产生所述元数据。
3.根据权利要求2所述的移动装置，其中将所述检测到的对象中的一者或一者以上分类进一步包括：
基于所述检测到的对象中的至少一者而产生特征向量；
将所述特征向量与所述对象类别中的训练图像的图像系数的集合进行比较，以确定所述对象类别中的与所述至少一个检测到的对象匹配的匹配的训练图像，其中图像系数的所述集合存储在所述移动装置中；以及
基于所述匹配的训练图像而将所述检测到的对象分类。
4.根据权利要求3所述的移动装置，其中所述处理器实时地执行所述获取、检测、突出显示和分类的操作。
5.根据权利要求3所述的移动装置，其中所述对象类别包含标志、设计、面部、地标、服装、记号、自然对象或人造对象。
6.根据权利要求1所述的移动装置，其中产生元数据进一步包括：
突出显示所述检测到的对象；
接收指示所述检测到的对象中的选定一者的输入；以及
基于所述选定对象而产生所述元数据。
7.根据权利要求6所述的移动装置，其中基于所述选定对象而产生所述元数据进一步包括：
将所述选定对象分类为一对象类别；以及
基于所述选定对象的所述对象类别而产生所述元数据。
8.根据权利要求7所述的移动装置，其中将所述视觉搜索查询传送到所述服务器进一步包括：
基于所述选定对象的所述对象类别而产生用于所述视觉搜索查询的目的地地址；以及
根据所述目的地地址而将所述视觉搜索查询传送到所述服务器。
9.根据权利要求1所述的移动装置，其中从所述所获取的图像中提取查询图像进一步包括修剪所述所获取的图像、压缩所述所获取的图像、缩放所述所获取的图像，或
将所述所获取的图像转换到灰度级。
10.根据权利要求1所述的移动装置，其中产生元数据进一步包括：
基于所述检测到的对象中的至少一者而产生特征向量；
将所述特征向量与训练图像的图像系数的集合进行比较，以确定与所述检测到的对象匹配的匹配的训练图像，其中图像系数的所述集合存储在所述移动装置中；
基于所述匹配的训练图像而辨识所述检测到的对象；以及
基于所述匹配的训练图像而产生与所述所辨识的对象相关联的所述元数据。
11.根据权利要求1所述的移动装置，其中所述移动装置包括上下文数据传感器，且其中获取图像进一步包括：
经由所述上下文数据传感器而获取与所述所获取的图像相关联的上下文数据，其中所述视觉搜索查询进一步包含所述上下文数据。
12.根据权利要求11所述的移动装置，其中所述上下文数据包括全球定位***GPS定位、辅助全球定位***A-GPS定位、伽利略***定位、塔式三边测量法定点、文本信息、听觉信息、加速计读数、陀螺仪读数，或温度读数。
13.根据权利要求1所述的移动装置，其中所述信息内容包含名称、价格、制造商、评论、优惠券，或广告。
14.一种执行图像辨识的方法，其包括：
通过移动装置获取图像；
检测所述所获取的图像中的一个或一个以上对象；
产生与所述检测到的对象中的至少一者相关联的元数据；
基于所述至少一个对象从所述所获取的图像中提取查询图像；
产生视觉搜索查询，其中所述视觉搜索查询包含所述查询图像和所述元数据；
无线地传送所述视觉搜索查询；以及
响应于所述视觉搜索查询而接收并呈现与所述至少一个对象相关联的信息内容。
15.根据权利要求14所述的方法，其中产生元数据进一步包括：
将所述检测到的对象中的一者或一者以上分类为一对象类别；
突出显示所述经分类的对象；
接收指示所述经分类的对象中的选定一者的输入；以及
基于所述选定对象的所述对象类别而产生所述元数据。
16.根据权利要求15所述的方法，其中将所述检测到的对象中的一者或一者以上分类进一步包括：
基于所述检测到的对象中的至少一者而产生特征向量；
将所述特征向量与所述对象类别中的训练图像的图像系数的集合进行比较，以确定所述对象类别中的与所述至少一个检测到的对象匹配的匹配的训练图像，其中图像系数的所述集合存储在所述移动装置中；以及
基于所述匹配的训练图像而将所述检测到的对象分类。
17.根据权利要求16所述的方法，其中所述移动装置实时地执行所述获取、检测、突出显示和分类的操作。
18.根据权利要求14所述的方法，其中产生元数据进一步包括：
突出显示所述检测到的对象；
接收指示所述检测到的对象中的选定一者的输入；以及
基于所述选定对象而产生所述元数据。
19.根据权利要求18所述的方法，其中基于所述选定对象而产生所述元数据进一步包括：
将所述选定对象分类为一对象类别；以及
基于所述选定对象的所述对象类别而产生所述元数据。
20.根据权利要求19所述的方法，其中无线地传送所述视觉搜索查询进一步包括：
基于所述选定对象的所述对象类别而产生用于所述视觉搜索查询的目的地地址；以及
根据所述目的地地址而将所述视觉搜索查询传送到目的地。
21.根据权利要求14所述的方法，其中获取图像进一步包括：
经由所述移动装置的上下文数据传感器而获取与所述所获取的图像相关联的上下文数据，所述视觉搜索查询进一步包含所述上下文数据。
22.一种用于执行图像辨识的***，其包括：
用于通过移动装置获取图像的装置；
用于检测所述所获取的图像中的一个或一个以上对象的装置；
用于产生与所述检测到的对象中的至少一者相关联的元数据的装置；
用于基于所述至少一个对象从所述所获取的图像中提取查询图像的装置；
用于产生视觉搜索查询的装置，其中所述视觉搜索查询包含所述查询图像和所述元数据；
用于无线地传送所述视觉搜索查询的装置；以及
用于响应于所述视觉搜索查询而接收并呈现与所述至少一个对象相关联的信息内容的装置。
23.根据权利要求22所述的***，其中所述用于产生元数据的装置进一步包括：
用于将所述检测到的对象中的一者或一者以上分类为一对象类别的装置；
用于突出显示所述经分类的对象的装置；
用于接收指示所述经分类的对象中的选定一者的输入的装置；以及
用于基于所述选定对象的所述对象类别而产生所述元数据的装置。
24.根据权利要求23所述的***，其中所述用于将所述检测到的对象中的一者或一者以上分类的装置进一步包括：
用于基于所述检测到的对象中的至少一者而产生特征向量的装置；
用于将所述特征向量与所述对象类别中的训练图像的图像系数的集合进行比较，以确定所述对象类别中的与所述至少一个检测到的对象匹配的匹配的训练图像的装置；以及
用于基于所述匹配的训练图像而将所述检测到的对象分类的装置。
25.根据权利要求24所述的***，其中所述用于获取、检测、突出显示和分类的装置实时地执行。
26.根据权利要求22所述的***，其中所述用于产生元数据的装置进一步包括：
用于突出显示所述检测到的对象的装置；
用于接收指示所述检测到的对象中的选定一者的输入的装置；以及
用于基于所述选定对象而产生所述元数据的装置。
27.根据权利要求26所述的***，其中所述用于基于所述选定对象而产生所述元数据的装置进一步包括：
用于将所述选定对象分类为一对象类别的装置；以及
用于基于所述选定对象的所述对象类别而产生所述元数据的装置。
28.根据权利要求27所述的***，其中所述用于无线地传送所述视觉搜索查询的装置进一步包括：
用于基于所述选定对象的所述对象类别而产生用于所述视觉搜索查询的目的地地址的装置；以及
用于根据所述目的地地址而将所述视觉搜索查询传送到目的地的装置。
29.根据权利要求22所述的***，其中所述用于获取图像的装置进一步包括：
用于经由所述移动装置的上下文数据传感器而获取与所述所获取的图像相关联的上下文数据的装置，所述视觉搜索查询进一步包含所述上下文数据。
30.一种计算机程序产品，其包含：
计算机可读媒体，所述计算机可读媒体存储在由计算机执行时致使所述计算机执行图像辨识的指令，所述指令包括：
用于致使所述计算机获取图像的至少一个指令；
用于致使所述计算机检测所述所获取的图像中的一个或一个以上对象的至少一个指令；
用于致使所述计算机产生与所述检测到的对象中的至少一者相关联的元数据的至少一个指令；
用于致使所述计算机基于所述至少一个对象而从所述所获取的图像中提取查询图像的至少一个指令；
用于致使所述计算机产生视觉搜索查询的至少一个指令，其中所述视觉搜索查询包含所述查询图像和所述元数据；
用于致使所述计算机无线地传送所述视觉搜索查询的至少一个指令；以及
用于致使所述计算机响应于所述视觉搜索查询而接收并呈现与所述至少一个对象相关联的信息内容的至少一个指令。
31.根据权利要求30所述的计算机程序产品，其中所述用于致使所述计算机产生元数据的至少一个指令进一步包括：
用于致使所述计算机将所述检测到的对象中的一者或一者以上分类为一对象类别的至少一个指令；
用于致使所述计算机突出显示所述经分类的对象的至少一个指令；
用于致使所述计算机接收指示所述经分类的对象中的选定一者的输入的至少一个指令；以及
用于致使所述计算机基于所述选定对象的所述选定对象类别而产生所述元数据的至少一个指令。
32.根据权利要求31所述的计算机程序产品，其中所述用于致使所述计算机将所述检测到的对象中的一者或一者以上分类的至少一个指令进一步包括：
用于致使所述计算机基于所述检测到的对象中的至少一者而产生特征向量的至少一个指令；
用于致使所述计算机将所述特征向量与所述对象类别中的训练图像的图像系数的集合进行比较，以确定所述对象类别中的与所述至少一个检测到的对象匹配的匹配的训练图像的至少一个指令，其中图像系数的所述集合存储在所述计算机中；以及
用于致使所述计算机基于所述匹配的训练图像而将所述检测到的对象分类的至少一个指令。
33.根据权利要求32所述的计算机程序产品，其中所述用于致使所述计算机获取、检测、突出显示和分类的至少一个指令致使所述计算机实时地获取、检测、突出显示和分类。
34.根据权利要求30所述的计算机程序产品，其中所述用于致使所述计算机产生元数据的至少一个指令进一步包括：
用于致使所述计算机突出显示所述检测到的对象的至少一个指令；
用于致使所述计算机接收指示所述突出显示的对象中的选定一者的输入的至少一个指令；以及
用于致使所述计算机基于所述选定对象而产生所述元数据的至少一个指令。
35.根据权利要求34所述的计算机程序产品，其中所述用于致使所述计算机基于所述选定对象而产生所述元数据的至少一个指令进一步包括：
用于致使所述计算机将所述选定对象分类为一对象类别的至少一个指令；以及
用于致使所述计算机基于所述选定对象的所述对象类别而产生所述元数据的至少一个指令。
36.根据权利要求35所述的计算机程序产品，其中所述用于致使所述计算机无线地传送所述视觉搜索查询的至少一个指令进一步包括：
用于致使所述计算机基于所述选定对象的所述对象类别而产生用于所述视觉搜索查询的目的地地址的至少一个指令；以及
用于致使所述计算机根据所述目的地地址而将所述视觉搜索查询传送到目的地的至少一个指令。
37.根据权利要求30所述的计算机程序产品，其中所述用于致使所述计算机获取图像的至少一个指令进一步包括：
用于致使所述计算机经由所述移动装置的上下文数据传感器而获取与所述所获取的图像相关联的上下文数据的至少一个指令，所述视觉搜索查询进一步包含所述上下文数据。
38.一种用于执行图像辨识的***，其包括：
服务器，其经配置以：
从移动装置接收视觉搜索查询，其中所述视觉搜索查询包含图像和与所述图像中的至少一个对象相关联的元数据，
基于所述元数据而辨识与所述至少一个对象相关联的所述图像中的对象，
基于所述所辨识的对象而产生信息内容，以及
响应于所述视觉搜索查询而传送所述信息内容。
39.根据权利要求38所述的***，其中
所述视觉搜索查询进一步包含与所述图像相关联的上下文数据；且
进一步其中所述服务器经配置以基于所述所辨识的对象和所述上下文数据而产生所述信息内容。
40.根据权利要求39所述的***，其中所述上下文数据包括全球定位***GPS定位、辅助式全球定位***A-GPS定位、伽利略***定位、塔式三边测量法定点、文本信息、听觉信息、加速计读数、陀螺仪读数，或温度读数。
41.根据权利要求38所述的***，其中所述服务器进一步经配置以：
将所述图像与训练图像进行比较以确定与所述图像匹配的匹配的训练图像，其中所述训练图像是基于所述元数据而被选定，以及
基于所述匹配的训练图像而辨识所述图像中的所述对象。
42.根据权利要求38所述的***，其中所述服务器进一步经配置以：
基于所述元数据而检测所述图像中的所述对象，
产生所述对象的特征向量，
将所述特征向量与训练图像的图像系数进行比较以确定与所述对象匹配的匹配的训练图像，其中所述图像系数是基于所述元数据而被选定，以及
基于所述匹配的训练图像而辨识所述对象。
43.根据权利要求38所述的***，其中所述对象包含标志、设计、面部、地标、服装、记号、自然对象或人造对象。
44.根据权利要求38所述的***，其中所述信息内容包含名称、价格、制造商、评论、优惠券，或广告。
45.根据权利要求38所述的***，其中所述服务器进一步经配置以：
存储所述视觉搜索查询，以及
使所述信息内容与所述视觉搜索查询相关联。
46.一种执行图像辨识的方法，其包括：
从移动装置接收视觉搜索查询，其中所述视觉搜索查询包含图像和与所述图像中的至少一个对象相关联的元数据；
基于所述元数据而辨识与所述至少一个对象相关联的所述图像中的对象；
基于所述所辨识的对象而产生信息内容；以及
响应于所述视觉搜索查询而传送所述信息内容。
47.根据权利要求46所述的方法，其中所述视觉搜索查询进一步包含与所述图像相关联的上下文数据，且进一步其中产生信息内容包括基于所述所辨识的对象和所述上下文数据而产生所述信息内容。
48.根据权利要求47所述的***，其中所述上下文数据包括全球定位***GPS定位、辅助式全球定位***A-GPS定位、伽利略***定位、塔式三边测量法定点、文本信息、听觉信息、加速计读数、陀螺仪读数，或温度读数。
49.根据权利要求46所述的方法，其中辨识所述图像中的对象进一步包括：
将所述图像与训练图像的集合进行比较以确定与所述图像匹配的匹配的训练图像，其中基于所述元数据而选择训练图像的所述集合；以及
基于所述匹配的训练图像而辨识所述图像中的所述对象。
50.一种执行图像辨识的***，其包括：
用于从移动装置接收视觉搜索查询的装置，其中所述视觉搜索查询包含图像和与所述图像中的至少一个对象相关联的元数据，
用于基于所述元数据而辨识与所述至少一个对象相关联的所述图像中的对象的装置；
用于基于所述所辨识的对象而产生信息内容的装置；以及
用于响应于所述视觉搜索查询而传送所述信息内容的装置。
51.根据权利要求50所述的***，其中所述视觉搜索查询进一步包含与所述图像相关联的上下文数据，且进一步其中所述用于产生信息内容的装置包括用于基于所述所辨识的对象和所述上下文数据而产生所述信息内容的装置。
52.根据权利要求51所述的***，其中所述上下文数据包括全球定位***GPS定位、辅助式全球定位***A-GPS定位、伽利略***定位、塔式三边测量法定点、文本信息、听觉信息、加速计读数、陀螺仪读数，或温度读数。
53.根据权利要求50所述的***，其中所述用于辨识所述图像中的对象的装置进一步包括：
用于将所述图像与训练图像的集合进行比较以确定与所述图像匹配的匹配的训练图像的装置，其中训练图像的所述集合是基于所述元数据而被选定；以及
用于基于所述匹配的训练图像而辨识所述图像中的所述对象的装置。
54.一种计算机程序产品，其包括：
计算机可读媒体，所述计算机可读媒体存储在由计算机执行时致使所述计算机执行图像辨识的指令，所述指令包括：
用于致使所述计算机从移动装置接收视觉搜索查询的至少一个指令，其中所述视觉搜索查询包含图像和与所述图像中的至少一个对象相关联的元数据，
用于致使所述计算机基于所述元数据而辨识与所述至少一个对象相关联的所述图像中的对象的至少一个指令；
用于致使所述计算机基于所述所辨识的对象而产生信息内容的至少一个指令；以及
用于致使所述计算机响应于所述视觉搜索查询而传送所述信息内容的至少一个指令。
55.根据权利要求54所述的计算机程序产品，其中所述视觉搜索查询进一步包含与所述图像相关联的上下文数据，且进一步其中所述用于致使所述计算机产生信息内容的至少一个指令包括用于致使所述计算机基于所述所辨识的对象和所述上下文数据而产生所述信息内容的至少一个指令。
56.根据权利要求55所述的计算机程序产品，其中所述上下文数据包括全球定位***GPS定位、辅助式全球定位***A-GPS定位、伽利略***定位、塔式三边测量法定点、文本信息、听觉信息、加速计读数、陀螺仪读数，或温度读数。
57.根据权利要求54所述的计算机程序产品，其中所述用于致使所述计算机辨识所述图像中的对象的至少一个指令进一步包括：
用于致使所述计算机将所述图像与训练图像的集合进行比较以确定与所述图像匹配的匹配的训练图像的至少一个指令，其中训练图像的所述集合是基于所述元数据而被选定；以及
用于致使所述计算机基于所述匹配的训练图像而辨识所述图像中的所述对象的至少一个指令。
CN2010800168360A 2009-04-14 2010-04-14 用于使用移动装置进行图像辨识的***和方法 Pending CN102395966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710141570.6A CN107092646A (zh) 2009-04-14 2010-04-14 用于使用移动装置进行图像辨识的***和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16929509P 2009-04-14 2009-04-14
US61/169,295 2009-04-14
US12/537,520 2009-08-07
US12/537,520 US9195898B2 (en) 2009-04-14 2009-08-07 Systems and methods for image recognition using mobile devices
PCT/US2010/031059 WO2010120901A1 (en) 2009-04-14 2010-04-14 Systems and methods for image recognition using mobile devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710141570.6A Division CN107092646A (zh) 2009-04-14 2010-04-14 用于使用移动装置进行图像辨识的***和方法

Publications (1)

Publication Number Publication Date
CN102395966A true CN102395966A (zh) 2012-03-28

Family

ID=42934449

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710141570.6A Pending CN107092646A (zh) 2009-04-14 2010-04-14 用于使用移动装置进行图像辨识的***和方法
CN2010800168360A Pending CN102395966A (zh) 2009-04-14 2010-04-14 用于使用移动装置进行图像辨识的***和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710141570.6A Pending CN107092646A (zh) 2009-04-14 2010-04-14 用于使用移动装置进行图像辨识的***和方法

Country Status (6)

Country Link
US (1) US9195898B2 (zh)
EP (1) EP2419841A1 (zh)
JP (1) JP5801792B2 (zh)
KR (2) KR20130055029A (zh)
CN (2) CN107092646A (zh)
WO (1) WO2010120901A1 (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014005451A1 (zh) * 2012-04-25 2014-01-09 腾讯科技（深圳）有限公司 基于云服务的视觉搜索方法和***、计算机存储介质
CN103530649A (zh) * 2013-10-16 2014-01-22 北京理工大学 一种适用于移动终端的视觉搜索方法
CN103646371A (zh) * 2013-11-27 2014-03-19 深圳先进技术研究院 网络共享犯罪取证***及方法
CN103679129A (zh) * 2012-09-21 2014-03-26 中兴通讯股份有限公司 一种图像中的目标物体识别方法及装置
CN103793520A (zh) * 2014-02-14 2014-05-14 齐齐哈尔大学 一种嵌入图像处理软件的移动视觉搜索方法
CN103841438A (zh) * 2012-11-21 2014-06-04 腾讯科技（深圳）有限公司 信息推送方法、信息推送***及数字电视接收终端
CN104412064A (zh) * 2012-07-11 2015-03-11 哈曼国际工业有限公司 导航***以及其方法
CN105009113A (zh) * 2012-12-18 2015-10-28 微软技术许可有限责任公司 基于情境的无查询搜索
CN105027116A (zh) * 2012-12-12 2015-11-04 微软技术许可有限责任公司 电子阅读器内平面书籍到富书籍的转换
CN105095398A (zh) * 2015-07-03 2015-11-25 北京奇虎科技有限公司 一种信息提供方法和装置
CN105144197A (zh) * 2013-03-14 2015-12-09 高通股份有限公司 基于图像的应用程序启动器
CN105808635A (zh) * 2015-01-15 2016-07-27 三星电子株式会社 用于图像分析的方法和装置
CN106164934A (zh) * 2014-02-10 2016-11-23 谷歌公司 智能相机用户界面
CN106462539A (zh) * 2014-06-27 2017-02-22 英特尔公司 用于使用相机接口进行跨设备文件传输和共享的机制
CN107251049A (zh) * 2015-03-20 2017-10-13 谷歌公司 基于语义指示检测移动装置的位置
CN107924495A (zh) * 2015-09-02 2018-04-17 因温特奥股份公司 使用移动装置维护建筑物内的运输设备
CN108021601A (zh) * 2016-10-28 2018-05-11 奥多比公司 使用数字画布来进行数字视觉媒体的空间语义搜索
CN108073890A (zh) * 2016-11-14 2018-05-25 安讯士有限公司 视频序列中的动作识别
CN108256100A (zh) * 2018-01-31 2018-07-06 维沃移动通信有限公司 一种信息搜索方法、移动终端及云服务器
CN108351973A (zh) * 2015-09-24 2018-07-31 维塔利·维塔利耶维奇·阿韦里亚诺夫 控制图像处理设备的方法
CN109154980A (zh) * 2016-05-19 2019-01-04 大陆汽车有限责任公司 用于验证交通标志的内容和安装地点的方法
CN109716327A (zh) * 2016-09-08 2019-05-03 Aiq私人股份有限公司 视觉搜索平台的视频摄取框架
CN109844767A (zh) * 2016-10-16 2019-06-04 电子湾有限公司 基于图像分析和预测的可视化搜索
CN109906455A (zh) * 2016-09-08 2019-06-18 Aiq私人股份有限公司 视觉搜索查询中的对象检测
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10412030B2 (en) 2016-09-20 2019-09-10 Google Llc Automatic response suggestions based on images received in messaging applications
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
US10530723B2 (en) 2015-12-21 2020-01-07 Google Llc Automatic suggestions for message exchange threads
US10547574B2 (en) 2016-09-20 2020-01-28 Google Llc Suggested responses based on message stickers
CN111434118A (zh) * 2017-11-10 2020-07-17 三星电子株式会社 用户感兴趣信息生成的装置和方法
US10757043B2 (en) 2015-12-21 2020-08-25 Google Llc Automatic suggestions and other content for messaging applications
CN111988991A (zh) * 2018-04-26 2020-11-24 豪夫迈·罗氏有限公司 用于追踪动物种群中的动物的方法和***
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
CN112088377A (zh) * 2018-05-07 2020-12-15 谷歌有限责任公司 实时对象检测和跟踪
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
CN112740715A (zh) * 2018-09-20 2021-04-30 诺基亚技术有限公司 一种用于人工智能的装置和方法

Families Citing this family (229)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7565008B2 (en) * 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US8684265B1 (en) 2006-05-25 2014-04-01 Sean I. Mcghie Rewards program website permitting conversion/transfer of non-negotiable credits to entity independent funds
US7703673B2 (en) 2006-05-25 2010-04-27 Buchheit Brian K Web based conversion of non-negotiable credits associated with an entity to entity independent negotiable funds
US8668146B1 (en) 2006-05-25 2014-03-11 Sean I. Mcghie Rewards program with payment artifact permitting conversion/transfer of non-negotiable credits to entity independent funds
US10062062B1 (en) 2006-05-25 2018-08-28 Jbshbm, Llc Automated teller machine (ATM) providing money for loyalty points
US9704174B1 (en) 2006-05-25 2017-07-11 Sean I. Mcghie Conversion of loyalty program points to commerce partner points per terms of a mutual agreement
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
WO2011031331A1 (en) * 2009-09-14 2011-03-17 Thomson Licensing Interactive tone mapping for high dynamic range video
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US9462318B2 (en) * 2009-11-03 2016-10-04 At&T Intellectual Property I, L.P. System for media program management
US8570358B2 (en) 2009-11-06 2013-10-29 Sony Corporation Automated wireless three-dimensional (3D) video conferencing via a tunerless television device
US8687046B2 (en) * 2009-11-06 2014-04-01 Sony Corporation Three-dimensional (3D) video for two-dimensional (2D) video messenger applications
KR101601280B1 (ko) * 2009-11-25 2016-03-08 엘지전자 주식회사 일반 물체를 이용한 멀티미디어 컨텐츠 관리 방법
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US20110191150A1 (en) * 2010-01-29 2011-08-04 Bank Of America Corporation Mobile integrated merchant offer program and customer shopping using product level information
US9276986B2 (en) * 2010-04-27 2016-03-01 Nokia Technologies Oy Systems, methods, and apparatuses for facilitating remote data processing
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US8897816B2 (en) * 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
JP6282863B2 (ja) 2010-06-25 2018-02-21 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ハイダイナミックレンジ映像をトーンマッピングするためのグラフィカルユーザインターフェース
US8706572B1 (en) * 2010-07-23 2014-04-22 Amazon Technologies, Inc. Generating product image maps
US9936333B2 (en) 2010-08-10 2018-04-03 Microsoft Technology Licensing, Llc Location and contextual-based mobile application promotion and delivery
US8576184B2 (en) * 2010-08-19 2013-11-05 Nokia Corporation Method and apparatus for browsing content files
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US9484046B2 (en) 2010-11-04 2016-11-01 Digimarc Corporation Smartphone-based methods and systems
JP5693162B2 (ja) * 2010-11-09 2015-04-01 キヤノン株式会社 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US8550903B2 (en) 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
WO2012079617A1 (de) * 2010-12-13 2012-06-21 Incca Gmbh Vorrichtung und verfahren zur unterstuetzung der durchfuehrung eines wartungs- und/oder bedienvorgangs
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US20120173577A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Searching recorded video
KR101062929B1 (ko) * 2011-01-04 2011-09-07 (주)올라웍스 생성된 이미지에 포함된 객체에 대한 콜렉션을 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9384408B2 (en) 2011-01-12 2016-07-05 Yahoo! Inc. Image analysis system and method using image recognition and text search
US8468052B2 (en) 2011-01-17 2013-06-18 Vegas.Com, Llc Systems and methods for providing activity and participation incentives
KR101590494B1 (ko) 2011-01-18 2016-02-01 에이치에스엔아이 엘엘씨 미디어 데이터에 있는 아이템을 인식하고 이와 관련된 정보를 전달하기 위한 시스템 및 방법
KR101295544B1 (ko) * 2011-01-25 2013-08-16 주식회사 팬택 증강 현실 통합정보 제공 장치와 그 방법 및, 이를 포함하는 시스템
US8737746B2 (en) 2011-01-31 2014-05-27 Bluebeam Software, Inc. Method for multiple pass symbol and components-based visual object searching of documents
KR101772543B1 (ko) * 2011-02-14 2017-08-29 엘지전자 주식회사 가전기기, 가전기기 진단시스템 및 가전기기 진단방법
WO2012118976A2 (en) 2011-03-01 2012-09-07 Ebay Inc Methods and systems of providing a supplemental experience based on concurrently viewed content
US8908911B2 (en) 2011-03-04 2014-12-09 Qualcomm Incorporated Redundant detection filtering
US20120232987A1 (en) * 2011-03-10 2012-09-13 Everingham James R Image-based search interface
JP2012190349A (ja) * 2011-03-11 2012-10-04 Omron Corp 画像処理装置、画像処理方法および制御プログラム
US20120246148A1 (en) * 2011-03-22 2012-09-27 Intergraph Technologies Company Contextual Display and Scrolling of Search Results in Graphical Environment
JP5668587B2 (ja) * 2011-04-19 2015-02-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20120278322A1 (en) * 2011-04-26 2012-11-01 International Business Machines Corporation Method, Apparatus and Program Product for Personalized Video Selection
US9295070B2 (en) * 2011-05-09 2016-03-22 Telefonaktiebolaget L M Ericsson (Publ) Quality of service level adaptation for visual services in mobile communication networks
US8860787B1 (en) 2011-05-11 2014-10-14 Google Inc. Method and apparatus for telepresence sharing
US8553981B2 (en) * 2011-05-17 2013-10-08 Microsoft Corporation Gesture-based visual search
US9678992B2 (en) * 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
EP2724262A4 (en) * 2011-06-21 2015-04-01 Ericsson Telefon Ab L M INTERMEDIATE STORAGE SUPPORT FOR VISUAL SEARCH AND EXTENDED REALITY IN MOBILE NETWORKS
WO2013020102A1 (en) 2011-08-04 2013-02-07 Dane Glasgow User commentary systems and methods
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
US8635519B2 (en) 2011-08-26 2014-01-21 Luminate, Inc. System and method for sharing content based on positional tagging
US8600102B1 (en) * 2011-09-19 2013-12-03 Google Inc. System and method of identifying advertisement in images
US20130086112A1 (en) 2011-10-03 2013-04-04 James R. Everingham Image browsing system and method for a digital content platform
US8737678B2 (en) 2011-10-05 2014-05-27 Luminate, Inc. Platform for providing interactive applications on a digital content platform
USD736224S1 (en) 2011-10-10 2015-08-11 Yahoo! Inc. Portion of a display screen with a graphical user interface
USD737290S1 (en) 2011-10-10 2015-08-25 Yahoo! Inc. Portion of a display screen with a graphical user interface
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
ES2407105B1 (es) * 2011-11-07 2014-04-29 Universidad De Alicante Metodo y sistema de recuperacion de informacion de imagenes en dispositivos moviles usando metadatos.
TWI451347B (zh) * 2011-11-17 2014-09-01 Univ Nat Chiao Tung 物品資料查詢系統及方法
US8485430B2 (en) 2011-12-06 2013-07-16 Honeywell International, Inc. Hand held bar code readers or mobile computers with cloud computing services
US8903181B2 (en) * 2011-12-28 2014-12-02 Venkatesh Gangadharan Low cost unique identification generation using combination of patterns and unique code images
US9052804B1 (en) * 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
JP2013168132A (ja) * 2012-01-17 2013-08-29 Toshiba Corp 商品検索装置、方法、及びプログラム
US8862664B1 (en) 2012-01-18 2014-10-14 Google Inc. Using a digital image in a social networking system
US8977680B2 (en) 2012-02-02 2015-03-10 Vegas.Com Systems and methods for shared access to gaming accounts
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101329102B1 (ko) * 2012-02-28 2013-11-14 주식회사 케이쓰리아이 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
CN103309895B (zh) * 2012-03-15 2018-04-10 中兴通讯股份有限公司 移动增强现实搜索方法、客户端、服务器及搜索***
EP2639745A1 (en) * 2012-03-16 2013-09-18 Thomson Licensing Object identification in images or image sequences
US8255495B1 (en) 2012-03-22 2012-08-28 Luminate, Inc. Digital image and content display systems and methods
US9081798B1 (en) 2012-03-26 2015-07-14 Amazon Technologies, Inc. Cloud-based photo management
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US8234168B1 (en) 2012-04-19 2012-07-31 Luminate, Inc. Image content and quality assurance system and method
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9129179B1 (en) * 2012-05-10 2015-09-08 Amazon Technologies, Inc. Image-based object location
US9558386B2 (en) 2012-05-15 2017-01-31 Honeywell International, Inc. Encoded information reading terminal configured to pre-process images
US8495489B1 (en) 2012-05-16 2013-07-23 Luminate, Inc. System and method for creating and displaying image annotations
US9064254B2 (en) 2012-05-17 2015-06-23 Honeywell International Inc. Cloud-based system for reading of decodable indicia
US8825368B2 (en) 2012-05-21 2014-09-02 International Business Machines Corporation Physical object search
CN104508697A (zh) * 2012-05-31 2015-04-08 英特尔公司 用于提供增强现实服务的方法、服务器和计算机可读记录介质
WO2013184131A1 (en) 2012-06-08 2013-12-12 Intel Corporation Device, system and method of orientation estimation of a mobile device
US20130328760A1 (en) * 2012-06-08 2013-12-12 Qualcomm Incorporated Fast feature detection by reducing an area of a camera image
US20140002643A1 (en) * 2012-06-27 2014-01-02 International Business Machines Corporation Presentation of augmented reality images on mobile computing devices
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US9092683B2 (en) 2012-07-10 2015-07-28 Honeywell International Inc. Cloud-based system for processing of decodable indicia
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
JP5675722B2 (ja) * 2012-07-23 2015-02-25 東芝テック株式会社 認識辞書処理装置及び認識辞書処理プログラム
US9667700B2 (en) * 2012-08-12 2017-05-30 Apple Inc. Rendering a redeemable document
US9361540B2 (en) * 2012-08-15 2016-06-07 Augmented Reality Lab LLC Fast image processing for recognition objectives system
US20140067542A1 (en) * 2012-08-30 2014-03-06 Luminate, Inc. Image-Based Advertisement and Content Analysis and Display Systems
EP2891068A4 (en) * 2012-08-31 2016-01-20 Hewlett Packard Development Co ACTIVE REGIONS OF AN IMAGE COMPRISING ACCESSIBLE LINKS
US9201974B2 (en) * 2012-08-31 2015-12-01 Nokia Technologies Oy Method and apparatus for incorporating media elements from content items in location-based viewing
RU2533445C2 (ru) * 2012-10-02 2014-11-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Автоматическое распознавание и съемка объекта
WO2014053194A1 (en) * 2012-10-05 2014-04-10 Vidinoti Sa Annotation method and apparatus
KR101715966B1 (ko) * 2012-10-05 2017-03-13 주식회사 엘지유플러스 이미지를 이용한 컨텐츠 제공 장치 및 방법
US9830632B2 (en) 2012-10-10 2017-11-28 Ebay Inc. System and methods for personalization and enhancement of a marketplace
KR101259957B1 (ko) * 2012-11-16 2013-05-02 (주)엔써즈 이미지 매칭을 이용한 부가 정보 제공 시스템 및 방법
JP2014110560A (ja) * 2012-12-03 2014-06-12 Toshiba Corp 情報処理装置、サーバ装置およびプログラム
TWI501172B (zh) * 2012-12-04 2015-09-21 Inst Information Industry 依據影像以於社群網站發佈訊息的系統、方法及其記錄媒體
CN103049911B (zh) * 2012-12-20 2015-07-29 成都理想境界科技有限公司 轮廓检测稳定性判断方法及图像检索方法
US20140223319A1 (en) * 2013-02-04 2014-08-07 Yuki Uchida System, apparatus and method for providing content based on visual search
JP5868881B2 (ja) * 2013-02-12 2016-02-24 日本電信電話株式会社 有用情報提示システム及び有用情報提示システムの制御方法
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US10062096B2 (en) 2013-03-01 2018-08-28 Vegas.Com, Llc System and method for listing items for purchase based on revenue per impressions
US9384217B2 (en) 2013-03-11 2016-07-05 Arris Enterprises, Inc. Telestration system for command processing
IL298018B2 (en) 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
US11743431B2 (en) * 2013-03-15 2023-08-29 James Carey Video identification and analytical recognition system
EP2973532A4 (en) 2013-03-15 2017-01-18 Magic Leap, Inc. Display system and method
US9756138B2 (en) * 2013-04-08 2017-09-05 Here Global B.V. Desktop application synchronization to process data captured on a mobile device
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US9195896B2 (en) * 2013-07-10 2015-11-24 Tencent Technology (Shenzhen) Company Limited Methods and systems for image recognition
US20150030241A1 (en) * 2013-07-24 2015-01-29 Intuit Inc. Method and system for data identification and extraction using pictorial representations in a source document
US9384497B2 (en) 2013-07-26 2016-07-05 Bank Of America Corporation Use of SKU level e-receipt data for future marketing
US10769362B2 (en) 2013-08-02 2020-09-08 Symbol Technologies, Llc Method and apparatus for capturing and extracting content from documents on a mobile device
US10140257B2 (en) 2013-08-02 2018-11-27 Symbol Technologies, Llc Method and apparatus for capturing and processing content from context sensitive documents on a mobile device
US11042607B2 (en) * 2013-08-23 2021-06-22 Nant Holdings Ip, Llc Recognition-based content management, systems and methods
EP3044731A4 (en) * 2013-09-11 2017-02-22 See-Out Pty Ltd. Image searching method and apparatus
US10084869B2 (en) * 2013-10-04 2018-09-25 Verto Analytics Oy Metering user behaviour and engagement with user interface in terminal devices
DE102013111527A1 (de) * 2013-10-18 2015-04-23 Thomas Daub System zur Erfassung eines Prüfmerkmals eines Prüfobjekts
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
KR102166728B1 (ko) * 2013-12-09 2020-10-16 삼성전자주식회사 모바일 디바이스, 이를 이용한 알람 설정 방법 및 알람 방법
EP2887259A1 (en) * 2013-12-17 2015-06-24 Alcatel Lucent Method for annotating an object in a multimedia asset
KR102157399B1 (ko) * 2013-12-19 2020-09-17 주식회사 알티캐스트 연속적인 쿼리 이미지를 이용하는 연관 서비스 제공 시스템 및 방법
KR102159331B1 (ko) * 2014-02-06 2020-09-23 십일번가 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP6208898B2 (ja) * 2014-02-10 2017-10-04 ジーニー ゲゼルシャフト ミット ベシュレンクテル ハフツング 画像特徴式認識のためのシステムおよび方法
KR102213856B1 (ko) * 2014-02-12 2021-02-08 에스케이플래닛 주식회사 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102213861B1 (ko) * 2014-02-25 2021-02-08 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102207514B1 (ko) * 2014-02-26 2021-01-26 십일번가 주식회사 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102256057B1 (ko) * 2014-03-17 2021-05-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
US9600720B1 (en) * 2014-03-18 2017-03-21 Amazon Technologies, Inc. Using available data to assist in object recognition
EP3129896B1 (en) * 2014-04-09 2024-02-14 Entrupy Inc. Authenticating physical objects using machine learning from microscopic variations
KR102223205B1 (ko) 2014-06-11 2021-03-08 삼성전자주식회사 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템
DE102014009686A1 (de) * 2014-07-02 2016-01-07 Csb-System Ag Verfahren zur Erfassung schlachttierbezogener Daten an einem Schlachttier
CA2958888C (en) 2014-08-28 2023-02-28 Retailmenot, Inc. Reducing the search space for recognition of objects in an image based on wireless signals
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10152540B2 (en) 2014-10-10 2018-12-11 Qualcomm Incorporated Linking thumbnail of image to web page
US20160112479A1 (en) * 2014-10-16 2016-04-21 Wipro Limited System and method for distributed augmented reality
US10798428B2 (en) * 2014-11-12 2020-10-06 Sony Corporation Method and system for providing coupon
JP6614457B2 (ja) * 2014-12-15 2019-12-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US9721185B2 (en) * 2015-01-13 2017-08-01 Arris Enterprises Llc Automatic detection of logos in video sequences
US10776816B2 (en) * 2015-01-30 2020-09-15 Walmart Apollo, Llc System and method for building a targeted audience for an online advertising campaign
US10360583B2 (en) 2015-02-05 2019-07-23 Direct Path, Llc System and method for direct response advertising
CN105989628A (zh) * 2015-02-06 2016-10-05 北京网梯科技发展有限公司 通过移动终端获取信息的方法及***设备
US9684831B2 (en) 2015-02-18 2017-06-20 Qualcomm Incorporated Adaptive edge-like feature selection during object detection
US10142375B2 (en) 2015-02-25 2018-11-27 Pin-Han Ho Content enabling system
WO2016157076A1 (en) * 2015-03-30 2016-10-06 Ghoson Ziad Information processing system and method using image recognition
JP6549898B2 (ja) * 2015-05-20 2019-07-24 株式会社日立製作所 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
WO2016187681A1 (pt) * 2015-05-28 2016-12-01 Universidade Estadual De Campinas - Unicamp Método de construção de uma base de imagens, método de reconhecimento de imagens, sistema de reconhecimento de imagens e seus usos
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US10088549B2 (en) * 2015-06-25 2018-10-02 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
US10423657B2 (en) * 2015-07-15 2019-09-24 Rewardstyle, Inc. Systems and methods for screenshot linking
EP3331227A4 (en) * 2015-07-30 2018-12-26 LG Electronics Inc. Mobile terminal and method for controlling same
US10866984B2 (en) 2015-08-03 2020-12-15 Orand S.A. Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
CN108431829A (zh) * 2015-08-03 2018-08-21 奥兰德股份公司 用于在目录中搜索产品的***和方法
US10191891B2 (en) * 2015-08-26 2019-01-29 Microsoft Technology Licensing, Llc Interactive preview teasers in communications
US10063751B2 (en) * 2015-09-24 2018-08-28 Qualcomm Incorporated System and method for accessing images with a captured query image
US10169684B1 (en) 2015-10-01 2019-01-01 Intellivision Technologies Corp. Methods and systems for recognizing objects based on one or more stored training images
CN105245609A (zh) * 2015-10-23 2016-01-13 小米科技有限责任公司 推送信息的方法、装置、设备及***
US10216868B2 (en) * 2015-12-01 2019-02-26 International Business Machines Corporation Identifying combinations of artifacts matching characteristics of a model design
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
US9818031B2 (en) * 2016-01-06 2017-11-14 Orcam Technologies Ltd. Crowd-sourced vision-based information collection
US10120635B2 (en) 2016-03-09 2018-11-06 Samsung Electronics Co., Ltd. Configuration and operation of display devices including device management
KR101796506B1 (ko) * 2016-07-20 2017-11-14 엔에이치엔엔터테인먼트 주식회사 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
CN117056558A (zh) * 2016-08-08 2023-11-14 内特拉戴因股份有限公司 使用边缘计算的分布式视频存储和搜索
US12020174B2 (en) 2016-08-16 2024-06-25 Ebay Inc. Selecting next user prompt types in an intelligent online personal assistant multi-turn dialog
US11004131B2 (en) 2016-10-16 2021-05-11 Ebay Inc. Intelligent online personal assistant with multi-turn dialog based on visual search
US11748978B2 (en) 2016-10-16 2023-09-05 Ebay Inc. Intelligent online personal assistant with offline visual search database
US11200273B2 (en) * 2016-10-16 2021-12-14 Ebay Inc. Parallel prediction of multiple image aspects
US10970768B2 (en) 2016-11-11 2021-04-06 Ebay Inc. Method, medium, and system for image text localization and comparison
US11032523B2 (en) * 2016-11-30 2021-06-08 Ncr Corporation Automated image metadata processing
KR101927078B1 (ko) * 2017-02-21 2018-12-10 고현승 사용자와 관련한 이미지 기반의 정보를 제공하는 방법 및 디바이스
KR101901454B1 (ko) * 2017-03-24 2018-09-21 박수범 방송에서의 영상인식을 통한 실시간 쇼핑방법 및 이를 구현하는 애플리케이션이 설치된 스마트폰
US10521784B2 (en) 2017-04-24 2019-12-31 Square, Inc. Analyzing layouts using sensor data
KR102313755B1 (ko) * 2017-06-07 2021-10-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
WO2019027258A1 (en) * 2017-08-01 2019-02-07 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE ELECTRONIC DEVICE
KR102026475B1 (ko) * 2017-08-20 2019-09-30 네이버 주식회사 시각적 입력의 처리
US10769906B2 (en) 2017-08-31 2020-09-08 Hanwha Techwin Co., Ltd. Doorbell, security system including doorbell apparatus, and method of operating the same
KR101930488B1 (ko) * 2017-09-22 2018-12-18 에스케이 텔레콤주식회사 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
CN107832662B (zh) * 2017-09-27 2022-05-27 百度在线网络技术（北京）有限公司 一种获取图片标注数据的方法和***
KR102383129B1 (ko) * 2017-09-27 2022-04-06 삼성전자주식회사 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
KR102431817B1 (ko) * 2017-10-12 2022-08-12 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 서버
CN111492374A (zh) * 2017-10-24 2020-08-04 耐克创新有限合伙公司 图像识别***
KR102599947B1 (ko) 2017-10-27 2023-11-09 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
KR101887216B1 (ko) * 2017-11-24 2018-08-09 한태재 이미지 재구성 서버 및 방법
US10861162B2 (en) 2017-12-08 2020-12-08 Ebay Inc. Object identification in digital images
CN107993106B (zh) * 2017-12-14 2020-04-10 阿里巴巴集团控股有限公司 电子***生成方法及装置
KR102062248B1 (ko) * 2017-12-26 2020-01-03 주식회사 와이즈넛 온라인 신문기사의 아티클 이미지를 분석하여 매칭되는 커머셜 이미지를 노출하는 방법
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
KR102125402B1 (ko) * 2018-06-20 2020-06-23 라인플러스 주식회사 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR102407665B1 (ko) * 2018-06-20 2022-06-15 라인플러스 주식회사 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR102661596B1 (ko) 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
CN117238224A (zh) 2018-08-31 2023-12-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US20200082001A1 (en) * 2018-09-07 2020-03-12 Salesforce.Com, Inc. Action-Based Image Searching and Identification System
US11126845B1 (en) * 2018-12-07 2021-09-21 A9.Com, Inc. Comparative information visualization in augmented reality
EP3908876A4 (en) 2019-01-11 2022-03-09 Magic Leap, Inc. TIME MULTIPLEXED DISPLAY OF VIRTUAL CONTENT AT VARIOUS DEPTHS
KR20200092742A (ko) 2019-01-25 2020-08-04 삼성전자주식회사 보이스 어시스턴트 서비스를 제공하는 시스템 및 방법
US11036785B2 (en) 2019-03-05 2021-06-15 Ebay Inc. Batch search system for providing batch search interfaces
JP7386890B2 (ja) * 2019-04-08 2023-11-27 グーグル エルエルシー 製品ソースリンクを使用したメディア注釈
JP7403263B2 (ja) * 2019-09-05 2023-12-22 株式会社メルカリ 端末装置、検索方法及び検索プログラム
WO2021046801A1 (zh) * 2019-09-12 2021-03-18 鸿合科技股份有限公司 一种图像识别方法、装置、设备及存储介质
CN111008297B (zh) * 2019-12-11 2023-12-15 维沃移动通信有限公司 寻址方法及服务器
EP4087265A4 (en) * 2020-01-03 2023-08-16 LG Electronics Inc. DISPLAY DEVICE AND DISPLAY SYSTEM
SG10202000322YA (en) 2020-01-14 2021-08-30 Mastercard International Inc A method and system for providing access to a service from a mobile computing device
US12025786B2 (en) 2020-02-07 2024-07-02 H2Ok Innovations Inc. Magnification scope and analysis tools
US11188746B1 (en) * 2020-03-25 2021-11-30 Verizon Media Inc. Systems and methods for deep learning based approach for content extraction
KR102384419B1 (ko) * 2020-03-31 2022-04-12 주식회사 세컨핸즈 객체에 관한 정보를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11521334B2 (en) 2020-04-01 2022-12-06 Snap Inc. Augmented reality experiences of color palettes in a messaging system
US11915305B2 (en) 2020-04-01 2024-02-27 Snap Inc. Identification of physical products for augmented reality experiences in a messaging system
EP4128026A1 (en) * 2020-04-01 2023-02-08 Snap Inc. Identification of physical products for augmented reality experiences in a messaging system
KR102485811B1 (ko) * 2020-06-11 2023-01-06 라인플러스 주식회사 이미지에서 추출된 키워드를 이용하여 이미지를 필터링하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US11226725B1 (en) * 2020-08-04 2022-01-18 Kaskada, Inc. User interface for machine learning feature engineering studio
US11620731B2 (en) * 2021-03-14 2023-04-04 Bi Science (2009) Ltd System and a method for surveying graphical objects on a screen display
US11810343B2 (en) * 2021-05-11 2023-11-07 Asio Advanced Control Solutions Ltd Artificial intuition based visual data extraction for distributed systems
KR102663992B1 (ko) * 2024-01-22 2024-05-10 주식회사 딥핑소스 비디오 분석을 통해 사람의 행동을 검출하는 딥러닝 기반의 행동 검출 모델을 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1413424A (zh) * 1999-12-23 2003-04-23 诺基亚公司 通过通信网络提供精确位置的方法和装置
US20050015370A1 (en) * 2003-07-14 2005-01-20 Stavely Donald J. Information management system and method
WO2005114476A1 (en) * 2004-05-13 2005-12-01 Nevengineering, Inc. Mobile image-based information retrieval system
US20060251339A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling the use of captured images through recognition
CN1914611A (zh) * 2004-01-29 2007-02-14 泽塔普利株式会社 信息检索***、信息检索方法、信息检索装置、信息检索程序、图像识别装置、图像识别方法及图像识别程序、以及销售***
US20080080745A1 (en) * 2005-05-09 2008-04-03 Vincent Vanhoucke Computer-Implemented Method for Performing Similarity Searches
US20080209010A1 (en) * 2007-02-26 2008-08-28 Microsoft Corporation Information sharing between images
CN101288077A (zh) * 2005-08-15 2008-10-15 埃韦里克斯技术股份有限公司 使用图像导出信息作为因特网和其他搜索引擎的搜索标准
WO2009037605A1 (en) * 2007-09-20 2009-03-26 Nokia Corporation Method, apparatus and computer program product for providing a visual search interface

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4949388A (en) 1987-02-19 1990-08-14 Gtx Corporation Method and apparatus for recognition of graphic symbols
US5031228A (en) 1988-09-14 1991-07-09 A. C. Nielsen Company Image recognition system and method
US5497314A (en) 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
GB2366033B (en) * 2000-02-29 2004-08-04 Ibm Method and apparatus for processing acquired data and contextual information and associating the same with available multimedia resources
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
JP2002245048A (ja) 2001-02-20 2002-08-30 Mitsubishi Electric Corp 画像検索方法および画像検索装置
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP2004220082A (ja) 2003-01-09 2004-08-05 Ntt Data Corp 文書検索プログラム、文書検索方法および文書検索装置
JP2004297143A (ja) 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 撮影システム
EP1484692B1 (en) 2003-06-04 2013-07-24 Intel Corporation Content recommendation device with user feedback
EP1484693A1 (en) 2003-06-04 2004-12-08 Sony NetServices GmbH Content recommendation device with an arrangement engine
TWI240538B (en) 2003-08-18 2005-09-21 Primax Electronics Ltd Mobile phone with image recognition function
JP2006227810A (ja) 2005-02-16 2006-08-31 Casio Comput Co Ltd 画像送信装置、及びプログラム
JP2006293912A (ja) 2005-04-14 2006-10-26 Toshiba Corp 情報表示システム、情報表示方法および携帯端末装置
US7702681B2 (en) * 2005-06-29 2010-04-20 Microsoft Corporation Query-by-image search and retrieval system
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8861898B2 (en) 2007-03-16 2014-10-14 Sony Corporation Content image search
JP4986225B2 (ja) * 2007-03-26 2012-07-25 富士フイルム株式会社 登録制コミュニケーションサイトの提供装置及び方法
JP4979070B2 (ja) 2007-03-28 2012-07-18 Ｋｄｄｉ株式会社 動画像提示システム
WO2008139734A1 (ja) 2007-05-14 2008-11-20 Ssd Company Limited リモートコードリーダシステム
JP5013982B2 (ja) 2007-06-12 2012-08-29 キヤノン株式会社 画像送信装置及びその制御方法、プログラム
JP2009076977A (ja) 2007-09-18 2009-04-09 Brother Ind Ltd 画像通信システム、これに使用する端末装置及び画像通信システムの駆動方法
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1413424A (zh) * 1999-12-23 2003-04-23 诺基亚公司 通过通信网络提供精确位置的方法和装置
US20050015370A1 (en) * 2003-07-14 2005-01-20 Stavely Donald J. Information management system and method
CN1914611A (zh) * 2004-01-29 2007-02-14 泽塔普利株式会社 信息检索***、信息检索方法、信息检索装置、信息检索程序、图像识别装置、图像识别方法及图像识别程序、以及销售***
WO2005114476A1 (en) * 2004-05-13 2005-12-01 Nevengineering, Inc. Mobile image-based information retrieval system
US20060251339A1 (en) * 2005-05-09 2006-11-09 Gokturk Salih B System and method for enabling the use of captured images through recognition
US20080080745A1 (en) * 2005-05-09 2008-04-03 Vincent Vanhoucke Computer-Implemented Method for Performing Similarity Searches
CN101288077A (zh) * 2005-08-15 2008-10-15 埃韦里克斯技术股份有限公司 使用图像导出信息作为因特网和其他搜索引擎的搜索标准
US20080209010A1 (en) * 2007-02-26 2008-08-28 Microsoft Corporation Information sharing between images
WO2009037605A1 (en) * 2007-09-20 2009-03-26 Nokia Corporation Method, apparatus and computer program product for providing a visual search interface

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411849B2 (en) 2012-04-25 2016-08-09 Tencent Technology (Shenzhen) Company Limited Method, system and computer storage medium for visual searching based on cloud service
WO2014005451A1 (zh) * 2012-04-25 2014-01-09 腾讯科技（深圳）有限公司 基于云服务的视觉搜索方法和***、计算机存储介质
CN104412064A (zh) * 2012-07-11 2015-03-11 哈曼国际工业有限公司 导航***以及其方法
CN103679129A (zh) * 2012-09-21 2014-03-26 中兴通讯股份有限公司 一种图像中的目标物体识别方法及装置
CN103841438A (zh) * 2012-11-21 2014-06-04 腾讯科技（深圳）有限公司 信息推送方法、信息推送***及数字电视接收终端
US9596520B2 (en) 2012-11-21 2017-03-14 Tencent Technology (Shenzhen) Company Limited Method and system for pushing information to a client
CN103841438B (zh) * 2012-11-21 2016-08-03 腾讯科技（深圳）有限公司 信息推送方法、信息推送***及数字电视接收终端
CN105027116A (zh) * 2012-12-12 2015-11-04 微软技术许可有限责任公司 电子阅读器内平面书籍到富书籍的转换
CN105009113A (zh) * 2012-12-18 2015-10-28 微软技术许可有限责任公司 基于情境的无查询搜索
US9977835B2 (en) 2012-12-18 2018-05-22 Microsoft Technology Licensing, Llc Queryless search based on context
CN105144197A (zh) * 2013-03-14 2015-12-09 高通股份有限公司 基于图像的应用程序启动器
CN103530649A (zh) * 2013-10-16 2014-01-22 北京理工大学 一种适用于移动终端的视觉搜索方法
CN103646371A (zh) * 2013-11-27 2014-03-19 深圳先进技术研究院 网络共享犯罪取证***及方法
CN106164934A (zh) * 2014-02-10 2016-11-23 谷歌公司 智能相机用户界面
US10701272B2 (en) 2014-02-10 2020-06-30 Google Llc Smart camera user interface
US11967299B2 (en) 2014-02-10 2024-04-23 Google Llc Smart camera user interface
US10440279B2 (en) 2014-02-10 2019-10-08 Google Llc Smart camera user interface
US11570365B2 (en) 2014-02-10 2023-01-31 Google Llc Smart camera user interface
CN114745479B (zh) * 2014-02-10 2023-01-17 谷歌有限责任公司 智能相机用户界面
US11032478B2 (en) 2014-02-10 2021-06-08 Google Llc Smart camera user interface
CN114745479A (zh) * 2014-02-10 2022-07-12 谷歌有限责任公司 智能相机用户界面
CN103793520A (zh) * 2014-02-14 2014-05-14 齐齐哈尔大学 一种嵌入图像处理软件的移动视觉搜索方法
CN106462539A (zh) * 2014-06-27 2017-02-22 英特尔公司 用于使用相机接口进行跨设备文件传输和共享的机制
CN105808635A (zh) * 2015-01-15 2016-07-27 三星电子株式会社 用于图像分析的方法和装置
CN107251049A (zh) * 2015-03-20 2017-10-13 谷歌公司 基于语义指示检测移动装置的位置
CN105095398A (zh) * 2015-07-03 2015-11-25 北京奇虎科技有限公司 一种信息提供方法和装置
CN105095398B (zh) * 2015-07-03 2018-10-19 北京奇虎科技有限公司 一种信息提供方法和装置
CN107924495A (zh) * 2015-09-02 2018-04-17 因温特奥股份公司 使用移动装置维护建筑物内的运输设备
CN108351973A (zh) * 2015-09-24 2018-07-31 维塔利·维塔利耶维奇·阿韦里亚诺夫 控制图像处理设备的方法
US11418471B2 (en) 2015-12-21 2022-08-16 Google Llc Automatic suggestions for message exchange threads
US10530723B2 (en) 2015-12-21 2020-01-07 Google Llc Automatic suggestions for message exchange threads
US10757043B2 (en) 2015-12-21 2020-08-25 Google Llc Automatic suggestions and other content for messaging applications
US11502975B2 (en) 2015-12-21 2022-11-15 Google Llc Automatic suggestions and other content for messaging applications
CN109154980A (zh) * 2016-05-19 2019-01-04 大陆汽车有限责任公司 用于验证交通标志的内容和安装地点的方法
US10387461B2 (en) 2016-08-16 2019-08-20 Google Llc Techniques for suggesting electronic messages based on user activity and other context
CN109906455A (zh) * 2016-09-08 2019-06-18 Aiq私人股份有限公司 视觉搜索查询中的对象检测
CN109716327A (zh) * 2016-09-08 2019-05-03 Aiq私人股份有限公司 视觉搜索平台的视频摄取框架
CN109716327B (zh) * 2016-09-08 2023-08-11 吴树城 视觉搜索平台的视频摄取框架
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
US10547574B2 (en) 2016-09-20 2020-01-28 Google Llc Suggested responses based on message stickers
US10979373B2 (en) 2016-09-20 2021-04-13 Google Llc Suggested responses based on message stickers
US11700134B2 (en) 2016-09-20 2023-07-11 Google Llc Bot permissions
US10412030B2 (en) 2016-09-20 2019-09-10 Google Llc Automatic response suggestions based on images received in messaging applications
US11336467B2 (en) 2016-09-20 2022-05-17 Google Llc Bot permissions
US10862836B2 (en) 2016-09-20 2020-12-08 Google Llc Automatic response suggestions based on images received in messaging applications
US11303590B2 (en) 2016-09-20 2022-04-12 Google Llc Suggested responses based on message stickers
CN109844767A (zh) * 2016-10-16 2019-06-04 电子湾有限公司 基于图像分析和预测的可视化搜索
US11914636B2 (en) 2016-10-16 2024-02-27 Ebay Inc. Image analysis and prediction based visual search
CN109844767B (zh) * 2016-10-16 2023-07-11 电子湾有限公司 基于图像分析和预测的可视化搜索
US11604951B2 (en) 2016-10-16 2023-03-14 Ebay Inc. Image analysis and prediction based visual search
CN108021601A (zh) * 2016-10-28 2018-05-11 奥多比公司 使用数字画布来进行数字视觉媒体的空间语义搜索
CN108021601B (zh) * 2016-10-28 2023-12-05 奥多比公司 使用数字画布来进行数字视觉媒体的空间语义搜索
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
CN108073890A (zh) * 2016-11-14 2018-05-25 安讯士有限公司 视频序列中的动作识别
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
US11574470B2 (en) 2017-05-16 2023-02-07 Google Llc Suggested actions for images
US10891485B2 (en) 2017-05-16 2021-01-12 Google Llc Image archival based on image categories
US11451499B2 (en) 2017-06-15 2022-09-20 Google Llc Embedded programs and interfaces for chat conversations
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10880243B2 (en) 2017-06-15 2020-12-29 Google Llc Embedded programs and interfaces for chat conversations
US11050694B2 (en) 2017-06-15 2021-06-29 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
CN111434118A (zh) * 2017-11-10 2020-07-17 三星电子株式会社 用户感兴趣信息生成的装置和方法
US11678012B2 (en) 2017-11-10 2023-06-13 Samsung Electronics Co., Ltd. Apparatus and method for user interest information generation
US11829404B2 (en) 2017-12-22 2023-11-28 Google Llc Functional image archiving
US10891526B2 (en) 2017-12-22 2021-01-12 Google Llc Functional image archiving
CN108256100A (zh) * 2018-01-31 2018-07-06 维沃移动通信有限公司 一种信息搜索方法、移动终端及云服务器
US11559044B2 (en) 2018-04-26 2023-01-24 Hoffmann-La Roche Inc. Method of and system for tracking an animal in a population of animals
CN111988991B (zh) * 2018-04-26 2023-09-15 豪夫迈·罗氏有限公司 用于追踪动物种群中的动物的方法和***
CN111988991A (zh) * 2018-04-26 2020-11-24 豪夫迈·罗氏有限公司 用于追踪动物种群中的动物的方法和***
CN112088377A (zh) * 2018-05-07 2020-12-15 谷歌有限责任公司 实时对象检测和跟踪
CN112740715A (zh) * 2018-09-20 2021-04-30 诺基亚技术有限公司 一种用于人工智能的装置和方法
CN112740715B (zh) * 2018-09-20 2024-04-16 诺基亚技术有限公司 一种用于人工智能的装置和方法

Also Published As

Publication number Publication date
JP2012524343A (ja) 2012-10-11
KR20120007045A (ko) 2012-01-19
KR101523811B1 (ko) 2015-05-29
EP2419841A1 (en) 2012-02-22
WO2010120901A1 (en) 2010-10-21
JP5801792B2 (ja) 2015-10-28
US9195898B2 (en) 2015-11-24
KR20130055029A (ko) 2013-05-27
CN107092646A (zh) 2017-08-25
US20100260426A1 (en) 2010-10-14

Similar Documents

Publication Publication Date Title
CN102395966A (zh) 用于使用移动装置进行图像辨识的***和方法
US9785859B2 (en) Image capture and identification system and process
US9576195B2 (en) Integrated image searching system and service method thereof
US9959467B2 (en) Image processing client
WO2016044442A1 (en) Identification of individuals in images and associated content delivery
US20090088202A1 (en) Service Discovery Via Mobile Imaging Systems And Methods
TW201018298A (en) Data access based on content of image recorded by a mobile device
US20160342624A1 (en) Image Tagging System
JP6773344B2 (ja) ギフト・システム
US10140631B2 (en) Image processing server
CN102289643A (zh) 智能标记阅读器
US20130339271A1 (en) Evaluation system, evaluation method, and storage medium
US20140019378A1 (en) Evaluation system, method, and computer-readable recording medium
EP2682908A2 (en) Method for providing an advertisement using collection information, server, and computer-readable recording medium
KR101861813B1 (ko) 사용자의 현재 위치에 기반한 할인 정보 포스팅 시스템, 방법 및 컴퓨터로 독출 가능한 기록 매체
KR20100012541A (ko) 기기 판독 가능한 코드를 이용하여 사용자 단말 장치에광고 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 판독가능한 기록 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20120328

RJ01 Rejection of invention patent application after publication