CN106095089A - 一种获取感兴趣目标信息的方法 - Google Patents

Abstract

一种获取感兴趣目标的信息的方法和装置，基于增强现实眼镜***，通过对人眼焦点的检测，发现目光注视的目标，并根据目光注视目标时间判断是否对该目标感兴趣，如果判断对该目标感兴趣，则开启增强现实眼镜的摄像头获取目标图像，通过图像识别***识别感兴趣目标，增强现实眼镜连接互联网，对目标图像和识别结果进行搜索，返回目标在互联网上的销售价格。

Description

一种获取感兴趣目标信息的方法

技术领域：

本发明涉及一种获取感兴趣目标的信息的方法，尤其自动识别并获取感兴趣的目标和信息的方法。

背景技术：

随着智能硬件、无线通讯技术的发展，VR(Virtual Reality，即虚拟现实)技术和AR(Augmented Reality，增强现实)技术能够实现并得到实际应用，例如，HTC公司的VIVE虚拟现实设备，谷歌公司的***眼镜，microsoft的hololens技术等。虚拟现实和增强现实技术均是通过将虚拟的图像或物体模拟实际物体的光线投向人眼，从而在人眼中模拟实际物体成像。虚拟现实技术完全虚拟情景，在虚拟现实设备显示器中看到的场景完全是虚拟场景，而AR技术则不同，AR技术将虚拟物体和场景与实际物体相结合，一方面，用户能够通过增强现实设备直接观察到真实物体与场景，另一方面，增强现实设备会将虚拟物体与真实场景叠加，从而在真实场景中同时看到虚拟物体与信息，获取信息的方式发生革命性的变化。

另一方面，图像处理、识别以及人工智能的发展，使得计算机对于图像信息的识别和理解成为可能，目前的图像识别算法能够快速的从图像中识别人脸，或者识别图像中物体的种类，而借助于人工智能、机器学习技术，识别准确率也在快速提升，例如在搜索引擎中，上传图像可以直接在互联网检索类似图像，而在购物网站中，也可以通过图像进行商品检索，例如在淘宝app中，可以对物品进行拍照，app会通过图像识别返回图片中的商品。

但是目前增强现实技术更多实现信息的显示，而无法实现信息获取的功能，特别是跟随人的实现位置实时获取人眼视觉信息，并进行处理。

发明内容：

本发明的目的在于提出一种能够通过增强现实***获取人眼感兴趣目标的信息的方法，具体包括：

S1：检测并追踪人眼视线焦点；

S2：判断人眼当前焦点处的目标是否为感兴趣目标；

S3：如果是感兴趣目标，获取目标图像；

S4：识别图像中的目标；

S5：获取图像中目标的信息。

如前所述的方法，其特征在于：所述判断人眼当前焦点处的目标是否为感兴趣目标的步骤包括：检测人眼焦点在所述目标停留的时间是否超过预设阈值。

如前所述的方法，其特征在于：所述判断人眼当前焦点处的目标是否为感兴趣目标的步骤包括：检测人眼动作是否符合预设的感兴趣动作。

如前所述的方法，其特征在于：所述预设的感兴趣动作包括：连续眨眼两次。

如前所述的方法，其特征在于：所述获取目标图像的步骤包括：对人眼焦点处的目标拍照。

如前所述的方法，其特征在于：所述识别图像中目标的步骤包括：提取图像中心处的感兴趣目标图像，并计算感兴趣目标图像的特征值。

如前所述的方法，其特征在于：所述获取图像中目标的信息的步骤包括：

S51：将感兴趣目标图像的特征值与商品信息图像数据库中的商品图像特征值进行对比，判断是否存在匹配的商品图像特征值。

如前所述的方法，其特征在于，所述获取图像中目标信息的步骤还包括：

S52：如果存在匹配的商品图像特征值，获取该商品的信息作为感兴趣目标信息。

附图说明：

图1是用于实现本发明方法的增强现实装置的示意图；

图2是本发明方法的流程图；

具体实施方式：

本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。

实施方式一：

本发明的方法实施的硬件基础典型的如图1所示的增强现实眼镜，其可以是如中国发明专利公开CN105188516A“用于增强和虚拟现实的***与方法”中公开的增强现实***，也可以是如*** glass、hololens等增强现实眼镜，其包括第一成像单元，用于检测眼球运动方向和眼睛焦点位置，并检测眼睛动作，如；第二成像单元，用于获取感兴趣目标的图像并进行测距；投影装置，用于将增强现实的虚拟物品投影显示在眼镜镜片上；通信装置，用于无线连接到互联网；处理器和存储器，用于增强现实眼镜的控制、图像处理的计算等。

其中第一成像单元可以包括一个或多个成像元件，成像元件可以是可见光或者红外线摄像头，其硬件结构及视线追踪算法可参考中国发明专利公开CN103561635A“视线追踪***”、CN104126143A“包含眼睛追踪的抬头显示器”，上述文献全文引入本发明，通过第一成像单元获得的眼睛实时图像，可以通过计算获得精确的视线方向，从而引导第二成像单元跟随眼睛视线，从而精确获取人眼正在观察的目标的图像。其中第二成像单元可以包括一个或多个成像元件，典型的，第二成像单元包括两颗摄像头，从而模拟人眼构建3d视觉，并根据视差计算目标距离，并且可以使用辅助的深度感测技术，例如中国发明专利公开CN105409212A“具有多视图图像捕捉和深度感测的电子设备”中公开的深度技术装置及方法，从而确定目标的距离以及相对深度。

基于上述硬件及方法，构成能够实施本发明技术方案的基础，本发明的获取感兴趣目标信息的方法具体包括以下步骤：

S1：检测并追踪人眼视线焦点；

S2：判断人眼当前焦点处的目标是否为感兴趣目标；

S3：如果是感兴趣目标，获取目标图像；

S4：识别图像中的目标；

S5：获取图像中目标的信息。

其中步骤S1通过上述的硬件及方法实现，除上述提到的方法外，任何现有技术中对于人眼焦点检测及追踪的方法均可用于本发明，包括但不限于通过可见光图像、红外图像进行处理获得人眼视线方向及焦点位置的方法，以及通过近红外激光进行眼睛焦点检测和标定的方法。算法可以通过增强现实装置的嵌入式处理器或GPU进行运算处理得到，也可以是通过增强现实装置的专门用于视线追踪的硬件电路实现，如FPGA、ASIC、DSP以及其他专用芯片。

步骤S1得到的结果可以是视线在三维空间的方向，也可以是视线在三维空间的方向和视线焦点的距离的组合，其目的在于获得人眼注视的目标相对于人眼或增强现实装置的位置，相对位置的表示可以仅通过人眼视线方向表示，也可以通过人眼视线方向和目标距离人眼距离的组合来表示。

步骤S1获得的结果用于指引第二成像单元跟随人眼视线的移动而移动，从而保持对人眼注视目标的跟踪及目标图像的捕捉。步骤S1的结果同时用于步骤S2中对感兴趣目标的判断。

步骤S2可以通过对步骤S1中检测到的视线焦点进行监控实现，通过增强现实装置中的运动传感器，可以检测人本身的运动以及头部运动，结合头部运动信息和眼睛视线信息，可以判断人眼视线的实际位置是否发生变化，即，判断人眼是否持续观察同一目标物体，计算人眼持续观察同一目标物体的时间，如果超过预先设定的时间阈值，则判断当前观察的目标为感兴趣目标。时间阈值的设定可以根据不同用户的习惯进行设定，例如，可以设定为5s、8s、10s、12s、15s等时间，而且用户可以根据自己的使用习惯进行设定和调整，从而更准确的进行感兴趣目标的判断。

此外，步骤S2中对感兴趣目标的判断还可以通过对预先设定的感兴趣动作的检测实现，例如，用户在预设时间到达前可能已经确定对当前观察的目标感兴趣，而不想等待预设时间到达，此时可以设定增强现实装置可感知的动作作为感兴趣动作，当增强现实装置检测到用户做出感兴趣动作时，即判断当前注视的目标为感兴趣目标。典型的感兴趣动作可以为：连续眨眼两次(眨眼动作可以通过增强现实装置的第一成像单元检测)，用户点头、用户摇头等头部动作(头部动作可以通过增强现实装置的运动传感器及加速度传感器检测)，用户手势动作(用户手势动作通过第二成像单元获取并检测)。

此外，步骤S2中对感兴趣目标的判断还可以通过脑机接口实现，脑机接口(Brain-ComputerInterface，BCI)作为一种能将大脑思维意识直接转换成外部设备控制指令的新型人机交互技术，典型的脑机接口的实现通过脑电传感器采集脑电信号，并对脑电信号进行处理识别，识别出大脑思维意识，目前国内外的研究者已经能够实现通过脑电进行数字或字符输入、控制轮椅、控制假肢等，除了采集脑电信号外，脑机接口还可以通过采集脑磁信号实现，如中国发明专利CN105455806A“基于GMI效应的脑磁信号探头、传感器及采集***”中公开的脑磁信号传感器及采集***。

人在观察物体时，如果对一个目标产生了“感兴趣”的想法，那么其脑电或脑磁信号将不同于“不感兴趣”的目标，可以通过模式识别、机器学习等算法对这两类脑电信号进行分类和识别。典型的，使用机器学习算法，首先采集大量已知为“感兴趣”的脑电信号和“不感兴趣”的脑电信号对机器学习的模型进行训练，从而得到判断模型，在进行感兴趣目标判断时，增强现实装置需要增加脑机接口装置，从而获得脑电或脑磁信号，然后使用训练好的模型进行判断，得到人脑对当前观察的目标是否感兴趣的结果。

如果在步骤S2中判断为当前观察目标为感兴趣目标，则进入步骤S3，通过增强现实装置的第二成像单元获取感兴趣目标的图像。第二成像单元的光学镜头一般具有和人眼类似的等效焦距，从而使获取的图像能够更接近人眼实际看到的图像。第二成像单元镜头成像时一般采用中心点对焦，由于第二成像单元跟随第一成像单元检测到的视线方向调整成像方向，因此位于成像中心位置的物体即人眼正在观察的物体。第二成像单元的另一种对焦方式时，直接根据第一成像单元检测到的人眼对焦点的距离进行对焦，从而和人眼的焦点保持一致。

第二成像单元还可以进行动态变焦，如果物体与人眼的距离较远，成像镜头的焦距仍然保持和人眼焦距一致，那么目标物体在成像画面中的比例将比较小，通过对第二成像单元的镜头进行变焦，使目标在画面中比例变大，更加清晰。光学变焦的过程可以根据第二成像单元对目标的识别进行自动控制。

步骤S3中获取的图像一般为彩色图像，在另外的实施例中，步骤S3中获取的目标图像也可以包括近红外图像。

步骤S4对图像中的目标进行识别，图像识别的具体算法本发明不再赘述，本发明可以使用现有技术中已经存在的任何图像识别算法，包括但不限于特征提取、机器学习、模糊集识别、统计识别、神经网络识别、结构识别、模版匹配和支持向量机等方法。

优选的，步骤S4在进行图像识别前，还包括步骤：

S41：识别目标图像中是否存在目标的条形码或二维码图像。

对于商品而言，一般具有商品标签，上面印有用于商品标示的条码或二维码，用于指示商品信息，而通过对条形码或二维码的识别，可以直接获取目标的商品信息。

另一个优选实施方式中，步骤S4还可以进一步包括步骤：

S43：识别感兴趣目标上的商标信息及字符信息。

商品上的商标和文字信息可以帮助对商品进行更精确的识别，例如，如果用户看到了一个足球，并且对足球感兴趣，增强现实***通过本发明的算法确定足球为感兴趣目标，并获取足球的图像，通过步骤S4的图像识别算法，识别除了图像中的感兴趣目标为“足球”，进一步的，为了获取感兴趣目标更精确的信息，通过对感兴趣目标图像中的足球图像中的商标和文字进行识别，识别出该足球的品牌为“nike”，则可以在步骤S5中获取更精确的感兴趣目标信息。

在本申请又一个优选的实施方式中，步骤S4中感兴趣目标识别的方法使用机器学习算法，算法中用于对机器学习进行训练的图像来自购物网站的商品图像。例如，在淘宝、京东、亚马逊等购物网站，对于出售的物品均具有多个不同角度的图片展示，而且我们已经可以明确获知图片对应的商品种类以及购买链接、价格、型号等多种信息，使用这些图片和图片信息对机器学习模型进行大数据量的训练，从而获取能够识别感兴趣目标图像的机器学习模型。使用该方式对感兴趣目标进行识别，不仅可以识别感兴趣目标的种类，还可以直接识别出感兴趣目标在不同购物网站的相应对应商品。

本发明提到的目标识别的具体方法，可以参考中国发明专利CN104991954A、CN105096180A、CN105373938A和CN103578098A的公开文本，上述文献全文引入本发明。

完成目标识别步骤后，进入步骤S5，增强现实装置通过无线通信装置连接互联网，从互联网获取感兴趣目标的信息，这些信息包括但不限于：感兴趣目标在购物网站的对应商品、售出价格、型号、优惠信息、同类商品中评价最好的商品、同类商品中销量最高的商品、同类商品中价格最低的商品等信息。感兴趣目标的信息的获取通过对购物网站的数据库进行检索获得。

实施方式二：

本发明的另一个实施例中，所述感兴趣目标信息获取的方法还可以包括步骤

S6：将获取的感兴趣目标的信息通过增强现实装置显示在实际感兴趣目标上方。

将信息以虚拟图像的形式现实在现实物体附近的增强现实显示技术可以通过增强现实装置实现，所述增强现实装如本发明前述的虚拟现实装置，其具体的投影显示算法如中国发明专利CN101911050A“实时注释器”、CN103472909A“用于头戴式、增强现实显示器的逼真遮挡”、CN105144236A“实时立体匹配”中公开的装置及方法，上述专利全文引入本发明。

感兴趣目标信息显示在增强现实装置后，用户可以通过增强现实的人机交互功能访问感兴趣目标对应商品在购物网站的购买链接，并直接完成下单，此外，用户还可以自定义一个下单操作，增强现实装置识别到用户的下单操作后，可以直接在购物网站完成购物操作。

增强现实的人机交互同样可以通过前述的脑机接口实现，即，通过采集用户脑电或脑磁信号，增强现实装置可以通过对脑电或脑磁信号的识别获取用户在大脑中发出的“购买”指令，从而完成购买操作。

作为替换或补充，本发明所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑器件(CPLD)，图形处理单元(GPU)。

可以使用可由增强现实装置访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器等计算机存储介质和通信介质。诸如存储器等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机构等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在增强现实装置中示出了计算机存储介质(存储器)，然而应当理解，该存储可以是分布式的或位于远程并经由网络或其他通信链路来访问。

可以提供的NUI技术的示例包括但不限于依赖于语音和/或话音识别、触摸和/或指示笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、语音和话音、视觉、触摸、姿势以及机器智能的那些技术。可被使用NUI技术的其他示例包括意图和目的理解***，使用深度相机(如立体相机***、红外相机***、rgb相机***以及这些的组合)的运动姿势检测***，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示，头部、眼睛和注视跟踪，沉浸式增强现实和虚拟现实***，以及用于使用电场传感电极(EEG和相关方法)的感测大脑活动的技术。

此处所使用的术语‘计算机’或‘基于计算的设备’是指带有处理能力以便它可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备，并且因此术语每个“计算机”和“基于计算的设备”包括个人计算机、服务器、移动电话(包括智能电话)、平板计算机、机顶盒、媒体播放器、游戏控制台、个人数字助理和许多其它设备。

本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。

这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。

本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。

对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。

此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。

此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。

可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种获取感兴趣目标信息的方法，其特征在于，包括以下步骤：

S1：检测并追踪人眼视线焦点；

S2：判断人眼当前焦点处的目标是否为感兴趣目标；

S3：如果判断是感兴趣目标，获取目标图像；

S4：识别所述目标图像中的感兴趣目标；

S5：获取所述感兴趣目标的信息。

2.如权利要求1所述的方法，其特征在于：所述判断人眼当前焦点处的目标是否为感兴趣目标的步骤包括：检测人眼焦点在所述目标停留的时间是否超过预设阈值。

3.如权利要求1所述的方法，其特征在于：所述判断人眼当前焦点处的目标是否为感兴趣目标的步骤包括：检测用户动作是否符合预设的感兴趣动作。

4.如权利要求3所述的方法，其特征在于：所述预设的感兴趣动作包括：连续眨眼两次或点头。

5.如权利要求2-4之一所述的方法，其特征在于：所述获取目标图像的步骤包括：对人眼焦点处的目标拍照。

6.如权利要求2-4之一所述的方法，其特征在于：所述识别图像中目标的步骤包括：提取图像中心处的感兴趣目标图像，通过机器学习模型对所述感兴趣目标进行识别。

7.如权利要求6所述的方法，其特征在于：所述机器学习模型使用购物网站商品数据库中的商品图像进行训练。

8.如权利要求7所述的方法，其特征在于：所述步骤S4还包括：

S41：识别目标图像中的条形码或二维码图像。

9.如权利要求7或8所述的方法，其特征在于，所述步骤S4还包括：

S43：识别图像中感兴趣目标上的商标信息及字符信息。

10.如权利要求9所述的方法，其特征在于，所述方法还包括：

S6：将获取的感兴趣目标的信息通过增强现实装置显示在实际感兴趣目标上方。