CN106155288A - 信息获取方法、信息获取装置及用户设备 - Google Patents

信息获取方法、信息获取装置及用户设备 Download PDF

Info

Publication number
CN106155288A
CN106155288A CN201510169143.XA CN201510169143A CN106155288A CN 106155288 A CN106155288 A CN 106155288A CN 201510169143 A CN201510169143 A CN 201510169143A CN 106155288 A CN106155288 A CN 106155288A
Authority
CN
China
Prior art keywords
information
user
movable information
moment
movable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510169143.XA
Other languages
English (en)
Other versions
CN106155288B (zh
Inventor
丁大勇
于魁飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510169143.XA priority Critical patent/CN106155288B/zh
Priority to PCT/CN2016/078724 priority patent/WO2016161954A1/en
Priority to US15/565,365 priority patent/US10394321B2/en
Publication of CN106155288A publication Critical patent/CN106155288A/zh
Application granted granted Critical
Publication of CN106155288B publication Critical patent/CN106155288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种信息获取方法、信息获取装置及用户设备，所述方法包括：响应于处于运动状态的一用户的一眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。本申请实施例的实施方案可以通过对用户一眼睛的追踪来便捷地确定运动中用户的感兴趣对象的位置。

Description

信息获取方法、信息获取装置及用户设备
技术领域
本申请涉及人机交互技术领域，尤其涉及一种信息获取方法、信息获取装置及用户设备。
背景技术
在一些应用场景中，确定用户感兴趣的对象相对于用户的位置可以用于进行诸如：确定用户的感兴趣对象、自动的拍摄对焦、根据坐标已知的对象进行所述用户的定位、确定用户的注意力是否被分散等动作。在一用户注视运动中的对象时，一般会出现平滑追踪眼动(Smooth Pursuit Eye Movement)现象，其中，所述平滑追踪眼动是用户对环境中感兴趣的运动对象进行持续视觉追踪的眼动行为。
发明内容
本申请实施例可能的目的是：提供一种信息获取技术方案。
第一方面，本申请的一可能的实施方案提供了一种信息获取方法，包括：
响应于处于运动状态的一用户的一眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；
根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。
结合第一方面，在第二种可能的实施方式中，所述获取所述角度变化信息包括：
至少根据所述用户的所述眼睛的转动信息获取所述角度变化信息。
结合第一方面的上述任一种可能的实施方式，在第三种可能的实施方式中，所述用户位于一运动载体上；
所述获取所述角度变化信息包括：
至少根据所述用户的所述眼睛的转动信息以及所述运动载体的方向变化信息获取所述角度变化信息。
结合第一方面的上述任一种可能的实施方式，在第四种可能的实施方式中，所述获取所述角度变化信息包括：
至少根据所述用户头部的运动姿态信息以及所述眼睛的转动信息获取所述角度变化信息。
结合第一方面的上述任一种可能的实施方式，在第四种可能的实施方式中，获取所述运动信息包括：
获取所述用户的第一运动信息；
至少根据所述第一运动信息得到所述运动信息。
结合第一方面的上述任一种可能的实施方式，在第六种可能的实施方式中，获取所述运动信息还包括：
获取所述注视点所对应的对象的第二运动信息；
所述至少根据所述第一运动信息得到所述运动信息包括：
根据所述第一运动信息和所述第二运动信息得到所述运动信息。
结合第一方面的上述任一种可能的实施方式，在第七种可能的实施方式中，所述用户位于一运动载体上；
所述获取所述第一运动信息包括：
获取所述运动载体的第三运动信息作为所述第一运动信息。
结合第一方面的上述任一种可能的实施方式，在第八种可能的实施方式中，所述用户位于一运动载体上，所述用户为所述运动载体的驾驶者。
结合第一方面的上述任一种可能的实施方式，在第九种可能的实施方式中，所述方法还包括：
确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
结合第一方面的上述任一种可能的实施方式，在第十种可能的实施方式中，所述确定所述用户的眼睛是否处于所述平滑追踪眼动状态包括：
获取至少一图像，所述至少一图像包含与所述用户眼睛对应的眼睛区域；
分析所述至少一图像，确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
第二方面，本申请的一可能的实施方案提供了一种信息获取装置，包括：
信息获取模块，用于响应于处于运动状态的一用户的一眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；
距离获取模块，用于根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。
结合第二方面，在第二种可能的实施方式中，所述信息获取模块包括：
角度变化信息获取子模块，用于至少根据所述用户的所述眼睛的转动信息获取所述角度变化信息。
结合第二方面的上述任一种可能的实施方式，在第三种可能的实施方式中，所述用户位于一运动载体上；
所述角度变化信息获取子模块包括：
第一角度变化信息获取单元，用于至少根据所述用户的所述眼睛的转动信息以及所述运动载体的方向变化信息获取所述角度变化信息。
结合第二方面的上述任一种可能的实施方式，在第四种可能的实施方式中，所述角度变化信息获取子模块包括：
第二角度变化信息获取单元，用于至少根据所述用户头部的运动姿态信息以及所述眼睛的转动信息获取所述角度变化信息。
结合第二方面的上述任一种可能的实施方式，在第五种可能的实施方式中，所述信息获取模块包括运动信息获取子模块；
所述运动信息获取子模块包括：
第一运动信息获取单元，用于获取所述用户的第一运动信息；
运动信息获取单元，用于至少根据所述第一运动信息得到所述运动信息。
结合第二方面的上述任一种可能的实施方式，在第六种可能的实施方式中，所述运动信息获取子模块还包括：
第二运动信息获取单元，用于获取所述注视点所对应的对象的第二运动信息；
所述运动信息获取单元，进一步用于根据所述第一运动信息和所述第二运动信息得到所述运动信息。
结合第二方面的上述任一种可能的实施方式，在第七种可能的实施方式中，所述用户位于一运动载体上；
所述第一运动信息获取单元包括：
第三运动信息获取子单元，用于获取所述运动载体的第三运动信息作为所述第一运动信息。
结合第二方面的上述任一种可能的实施方式，在第八种可能的实施方式中，所述用户位于一运动载体上，所述用户为所述运动载体的驾驶者。
结合第二方面的上述任一种可能的实施方式，在第九种可能的实施方式中，所述装置还包括：
平滑追踪确定模块，用于确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
结合第二方面的上述任一种可能的实施方式，在第十种可能的实施方式中，所述平滑追踪确定模块包括：
图像获取子模块，用于获取至少一图像，所述至少一图像包含与所述用户眼睛对应的眼睛区域；
图像处理子模块，用于分析所述至少一图像，确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
第三方面，本申请的一可能的实施方案提供了一种用户设备，其包括上面所述的信息获取装置。
本申请实施例的至少一个实施方案通过在运动中用户的一眼睛处于平滑追踪眼动状态时获取其眼动信息和运动信息来确定用户眼睛注视点相对于用户的距离，进而可以通过对用户一眼睛的追踪来便捷地确定运动中用户的感兴趣对象的位置。
附图说明
图1为本申请实施例的一种信息获取方法的流程图；
图2a和2b为本申请实施例的两种信息获取方法的应用场景示意图；
图3为本申请实施例的一种信息获取装置的结构示意框图；
图4a为本申请实施例的一种信息获取装置的结构示意框图；
图4b为本申请实施例的一种信息获取装置的平滑追踪确定模块的结构示意框图；
图4c为本申请实施例的一种信息获取装置的信息获取模块的结构示意框图；
图4d和4e为本申请实施例的两种信息获取装置的角度变化信息获取子模块的结构示意框图；
图4f为本申请实施例的一种信息获取装置的信息获取模块的结构示意框图；
图4g为本申请实施例的一种信息获取装置的信息获取模块的结构示意框图；
图4h为本申请实施例的一种信息获取装置的第一运动信息获取单元的结构示意框图；
图5为本申请实施例的一种信息获取装置的结构示意框图；
图6为本申请实施例的一种用户设备的结构示意框图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
本申请的发明人发现，在例如用户驾驶或乘坐行进中的交通工具的场景中，用户本身是处于运动状态的，在此过程中，如果用户对所述交通工具以外的其它对象(例如路边的静止对象)感兴趣而一直注视时，可以将所述其它对象看成是相对于所述用户运动，此时，用户的眼动也会出现所述平滑追踪眼动状态。因此，本申请的发明人发现，可以通过所述运动中用户的平滑追踪眼动来确定所述用户有感兴趣对象，并且可以通过下面的方法或装置来确定所述对象相对于所述用户的位置。
如图1所示，本申请实施例一种可能的实施方式提供了一种信息获取方法，包括：
S110响应于处于运动状态的一用户的眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；
S120根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。
举例来说，本申请提供的信息获取装置作为本实施例的执行主体，执行S110～S120。具体地，所述信息获取装置可以以软件、硬件或软硬件结合的方式设置在用户设备中，或者，所述信息获取装置本身就是所述用户设备；所述用户设备包括但不限于：智能手机、智能眼镜、智能头盔等，其中智能眼镜又分为智能框架眼镜和智能隐形眼镜。
本申请实施例的实施方案通过在运动中用户的一眼睛处于平滑追踪眼动状态时，获取其眼动信息和运动信息来确定用户眼睛注视点相对于用户的距离，进而可以通过对用户一眼睛的追踪来便捷地确定运动中用户的感兴趣对象的位置。
通过下面的实施方式进一步说明本申请的各步骤。
在一种可能的实施方式中，可选地，所述方法在所述步骤S110之前还可以包括：
确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
在一种可能的实施方式中，可选地，所述确定所述用户的眼睛是否处于所述平滑追踪眼动状态可以包括：
获取至少一图像，所述至少一图像包含与所述用户眼睛对应的眼睛区域；
分析所述至少一图像，确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
在一种可能的实施方式中，所述信息获取装置例如可以为设置在一头戴设备上，所述信息获取装置上设有一图像采集器件，用于采集用户眼睛的所述至少一图像。
当然，在其它可能的实施方式中，所述信息获取装置可以通过通信的方式从至少一外部设备(例如上面所述的头戴设备)获取所述至少一图像。
本领域的技术人员可以知道，其它可能的用于确定用户的眼睛是否处于平滑追踪眼动状态的方法也可以被应用在本申请实施例的实施方式中。例如，在一种可能的实施方式中，可以通过在用户眼部设置的检测线圈(Search Coil)，根据所述检测线圈电流的变化来确定所述平滑追踪眼动。
在一种可能的实施方式中，所述获取所述角度变化信息包括：
至少根据所述用户的眼睛的转动信息获取所述角度变化信息。
在一种可能的应用场景中，例如，在所述至少一时刻中所述用户的运动方向不变并且所述用户的头部方向也不变，此时，根据所述转动信息即可获取所述角度变化信息。
在一种可能的实施方式中，可选地，所述角度变化信息可以包括：在第一时刻所述用户的视线相对于用户注视对象的第一角度信息、以及在第二时刻所述用户的视线相对于所述对象的第二角度信息。其中，所述至少一时刻包括所述第一时刻和所述第二时刻。在一些可能的实施方式中，所述第一时刻和所述第二时刻之间的时间差可以在一预设的时间范围内。
在一种可能的实施方式中，可选地，所述角度变化信息可以包括：在所述至少一时刻中的任一时刻所述用户的视线相对于所述对象的角速度信息，所述角速度信息包括角速度大小信息和角速度方向信息。
在一种可能的实施方式中，可选地，可以通过两个时刻分别对应的所述用户的视线相对于所述对象的两个角度信息来确定一时刻的角速度信息。
本领域技术人员可以看出，在上面所述的实施方式中，可以通过现有的头戴式设备对用户的一眼睛表面进行拍摄即可确定用户的视线方向信息以及眼睛的转动信息，进而可以通过下面的方式注视点信息。
在另一种可能的实施方式中，可选地，可以通过用户眼睛上的运动检测器件直接获取一时刻所述用户的视线相对于所述对象的角速度信息。
在一种可能的应用场景中，例如，在所述至少一时刻中，所述用户的运动方向不变，而所述用户的头部可以运动，此时，所述获取所述角度变化信息可以包括：
根据所述用户头部的运动姿态信息以及所述眼睛的转动信息获取所述角度变化信息。
其中，例如，可以根据用户的头戴设备的运动姿态传感器来获得所述运动姿态信息。
在一种可能的实施方式中，例如，所述用户位于一运动载体上；
所述获取所述角度变化信息包括：
根据所述用户的所述眼睛的转动信息以及所述运动载体的方向变化信息获取所述角度变化信息。
当然，在一种可能的应用场景中，例如，所述运动载体的运动方向可能改变，同时所述用户的头部姿态也可能改变，此时，例如需要根据所述用户的所述眼睛的转动信息、所述用户的头部的运动姿态信息以及所述运动载体的方向变化信息获取所述角度变化信息。
在一种可能的应用场景中，例如，所述用户感兴趣的对象是静止的，此时，在一种可能的实施方式中，获取所述运动信息包括：获取所述用户的第一运动信息作为所述运动信息。
这里，所述第一运动信息例如可以包括所述用户的运动方向信息和运动速度信息。
其中，所述第一运动信息例如可以通过用户身上的位置或运动传感器来获取。
在另一种可能的应用场景中，例如，所述用户感兴趣的对象也可能是运动的，此时，在一种可能的实施方式中，获取所述运动信息还可以包括：
获取所述注视点所对应的对象的第二运动信息；
根据所述第一运动信息和所述第二运动信息得到所述运动信息。
在一种可能的实施方式中，例如，可以通过与所述对象之间的通信来获取所述第二运动信息。
在另一种可能的实施方式中，例如，还可以通过所述用户侧的运动传感器来获取所述对象的第二运动信息。所述运动传感器例如可以为用于获取所述对象图像的图像采集器件。
如上面所述的，在一种可能的实施方式中，所述用户位于一运动载体上。在本实施方式中，所述获取所述第一运动信息包括：
获取所述运动载体的第三运动信息作为所述第一运动信息。
例如，在一种可能的实施方式中，所述运动载体为一汽车，可以通过所述汽车上的测速装置和方向检测装置来得到所述第三运动信息。
当然，在一种可能的实施方式中，所述用户也可能在所述运动载体上运动，此时所述第一运动信息可以根据所述第三运动信息和所述用户相对于所述运动载体的第四运动信息得到。当然，在一种可能的实施方式中，在所述第四运动信息与所述第三运动信息相比可以忽略时，可以仅将所述第三运动信息作为所述第一运动信息。
可选地，在一种可能的实施方式中，所述根据所述角度变化信息以及所述运动信息获取所述距离信息包括：
根据所述角度变化信息获得所述至少一其它时刻中任一时刻所述用户相对于所述注视点的角速度大小信息和角速度方向；
根据所述运动信息获得所述任一时刻所述用户在所述角速度方向上的线速度信息；
根据所述角速度大小信息和所述线速度信息得到所述任一时刻所述注视点相对于所述用户的距离。
在一种可能的实施方式中，所述至少一时刻包括：第一时刻和第二时刻。
可选地，在一种可能的实施方式中，所述根据所述角度变化信息以及所述运动信息获取所述距离信息包括：
根据所述角度变化信息获得：所述第一时刻所述视线方向相对于所述注视点的第一角度信息以及所述第二时刻所述视线方向相对于所述注视点的第二角度信息；
根据所述运动信息获得所述第一时刻所述用户相对于所述注视点的第一位置和所述第二时刻所述用户相对于所述注视点的第二位置之间的位移信息；
根据所述第一角度信息、所述第二角度信息和所述位移信息获取与所述第一时刻和/或所述第二时刻对应的所述距离信息。
通过下面的应用场景进一步说明本申请的方法：
如图2a和2b所示，一用户210为一运动载体220的驾驶者。在本应用场景中，所述运动载体220为汽车，所述汽车以速度大小v向运动方向d1匀行驶。当然，本领域的技术人员可以知道，在其它可能的应用场景中，所述运动载体还可以为其它机动车、自行车、滑雪板、滑板、轮滑鞋、船、飞行器等可以承载用户运动的载体。
在所述汽车行驶的过程中，所述用户210查看路边的路标230上的指示，此时可以检测到用户210的眼睛处于平滑追踪眼动状态。
在检测到所述用户210的眼睛处于所述平滑追踪眼动状态时，获取所述用户210的视线相对于所述路标230的角度变化信息以及所述用户210相对于所述路标230的运动信息。
在本应用场景中，由于所述路标230是静止的，因此所述用户210相对于所述路标230的运动信息即为所述汽车的运动信息：运动方向d1；速度大小v。
在本应用场景中，例如，所述汽车的方向不变，用户在驾驶过程中看所述路标230时头部姿势基本保持不变。因此，本应用场景中，所述角度变化信息可以通过用户的眼动信息得到。
在一种可能的实施方式中，如图2a所示，通过上面的实施方式所述的方法获取到的一时刻对应的所述角度变化信息例如为角速度大小为ω，角速度方向d2与所述视线方向d3垂直。
由图2a可以看出，在所述时刻，所述速度大小v可以分解所述角速度方向d2上的第一分量v1和所述视线方向d3的第二分量v2。其中，所述第一分量v1＝vsinθ。
在所述时刻，设所述路标230与所述用户210之间的距离为R，根据角速度计算公式ω＝v1/R，可以得到R＝vsinθ/ω。
在另一种可能的实施方式中，如图2b所示，在第一时刻t1所述用户210在第一位置P1处，在第二时刻t2所述用户210在第二位置P2处。
根据所述汽车的运动信息可以得到，所述第一位置P1与所述第二位置P2之间的位移S＝v*(t2-t1)。
根据所述用户的眼动信息可以得到，所述第一时刻t1对应的第一视线与第二时刻t2对应的第二视线之间的夹角为α。
根据用户的视线方向与所述汽车的运动方向可以得到：在所述第一时刻t1所述用户的运动方向d1与第一视线方向d31之间的夹角为β，在所述第二时刻t2所述用户的运动方向d1与第二视线方向d32之间的夹角为δ。
根据三角形的性质，可以得到所述第一位置P1与所述路标230之间的第一距离R1，以及所述第二位置P2与所述路标230之间的第二距离R2。
本领域技术人员可以知道，通过上面的方法，可以得到所述用户的眼睛在平滑追踪眼动状态下任一时刻用户的注视点到用户的距离信息，结合用户的在所述任一时刻的注视方向就可以方便的对用户的注视点进行定位。
本领域技术人员可以理解，在本申请具体实施方式的上述方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。
如图3所示，本申请实施例一种可能的实施方式提供了一种信息获取装置300，包括：
信息获取模块310，用于响应于处于运动状态的一用户的一眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；
距离获取模块320，用于根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。
本申请实施例的实施方案通过在运动中用户的一眼睛处于平滑追踪眼动状态时，获取其眼动信息和运动信息来确定用户眼睛注视点相对于用户的距离，进而可以通过对用户一眼睛的追踪来便捷地确定运动中用户的感兴趣对象的位置。
通过下面的实施方式进一步说明本申请的各模块、单元。
如图4a所示，在一种可能的实施方式中，可选地，所述装置300还包括：
平滑追踪确定模块330，用于确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
在一种可能的实施方式中，可选地，如图4b所示，所述平滑追踪确定模块330包括：
图像获取子模块331，用于获取至少一图像，所述至少一图像包含与所述用户眼睛对应的眼睛区域；
图像处理子模块332，用于分析所述至少一图像，确定所述用户的眼睛是否处于所述平滑追踪眼动状态。
其中，在一种可能的实施方式中，所述图像获取子模块331可以为至少一图像采集装置，用于采集所述至少一图像。
在另一种可能的实施方式中，所述图像获取子模块331可以包括一通信单元，用于从至少一外部设备获取所述至少一图像。
本领域的技术人员可以知道，其它可能的用于确定用户的眼睛是否处于平滑追踪眼动状态的平滑追踪确定模块也可以被应用在本申请实施例的实施方式中。
如图4c所示，在一种可能的实施方式中，所述信息获取模块310包括：
角度变化信息获取子模块311，用于至少根据所述用户的所述眼睛的转动信息获取所述角度变化信息。
在一种可能的实施方式中，例如，所述角度变化信息获取子模块311可以包括一图像采集器件，用于采集用户眼睛表面的图像来确定所述眼睛的转动信息。
当然，在其他可能实施方式中，可选地，还可以通过其它眼动传感器件来获取所述转动信息。例如，可以通过眼电检测装置来获取所述转动信息。
在另一种可能的实施方式中，可选地，所述角度变化信息获取子模块311还可以包括一通信单元，用于从至少一外部设备获取所述转动信息。
所述角度变化信息进一步的描述参见图1所示实施例中对应的描述。
在一种可能的应用场景中，例如，在所述至少一时刻中，所述用户的运动方向不变，而所述用户的头部可以运动。此时，在一种可能的实施方式中，可选地，如图4d所示，所述角度变化信息获取子模块311包括：
第二角度变化信息获取单元3111，用于至少根据所述用户头部的运动姿态信息以及所述眼睛的转动信息获取所述角度变化信息。
其中，例如，可以根据用户的头戴设备的运动姿态传感器来获得所述运动姿态信息。
在一种可能的应用场景中，所述用户位于一运动载体上。
在本应用场景中，可选地，如图4e所示，所述角度变化信息获取子模块311可以包括：
第一角度变化信息获取单元3112，用于至少根据所述用户的所述眼睛的转动信息以及所述运动载体的方向变化信息获取所述角度变化信息。
当然，在一种可能的应用场景中，例如，所述运动载体的运动方向可能改变，同时所述用户的头部姿态也可能改变，此时，例如需要根据所述用户的所述眼睛的转动信息、所述用户的头部的运动姿态信息以及所述运动载体的方向变化信息获取所述角度变化信息。
在一种可能的应用场景中，例如，所述用户感兴趣的对象是静止的，此时，如图4f所示，可选地，所述信息获取模块310包括运动信息获取子模块312；
所述运动信息获取子模块312包括：
第一运动信息获取单元3121，用于获取所述用户的第一运动信息；
运动信息获取单元3122，用于根据所述第一运动信息得到所述运动信息。
这里，所述第一运动信息例如可以包括所述用户的运动方向信息和线速度信息。
第一运动信息获取单元3121例如可以为用户身上的位置传感器或运动传感器。
在另一种可能的应用场景中，例如，所述用户感兴趣的对象也可能是运动的，此时，在一种可能的实施方式中，如图4g所示，所述运动信息获取子模块312还包括：
第二运动信息获取单元3123，用于获取所述注视点所对应的对象的第二运动信息；
所述运动信息获取单元3122，进一步用于根据所述第一运动信息和所述第二运动信息得到所述运动信息。
在一种可能的实施方式中，例如，所述第二运动信息获取单元3123可以包括一通信器件，用于通过与所述对象之间的通信来获取所述第二运动信息。
在另一种可能的实施方式中，例如，所述第二运动信息获取单元3123还可以是所述用户侧的运动传感器。所述运动传感器例如可以为用于获取所述对象图像的图像采集器件。
在一种可能的应用场景中，所述用户位于一运动载体上。此时，在一种可能的实施方式中，如图4h所示，所述第一运动信息获取单元3121包括：
第三运动信息获取子单元3121a，用于获取所述运动载体的第三运动信息作为所述第一运动信息。
例如，在一种可能的实施方式中，所述运动载体为一汽车，所述第三运动信息获取子单元3121a例如可以包括所述汽车上的测速装置和方向检测装置。
在一种可能的应用场景中，所述用户为所述运动载体的驾驶者。
本申请实施例各模块、单元的功能的进一步描述参见图1、图2a和图2b所示实施例中对应的描述，这里不再赘述。
图5为本申请实施例提供的又一种信息获取装置500的结构示意图，本申请具体实施例并不对信息获取装置500的具体实现做限定。如图5所示，该信息获取装置500可以包括：
处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530、以及通信总线540。其中：
处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。
通信接口520，用于与比如客户端等的网元通信。
处理器510，用于执行程序532，具体可以执行上述方法实施例中的相关步骤。
具体地，程序532可以包括程序代码，所述程序代码包括计算机操作指令。
处理器510可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器530，用于存放程序532。存储器530可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序532具体可以用于使得所述信息获取装置500执行以下步骤：
响应于处于运动状态的一用户的一眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；
根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。
程序532中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
如图6所示，本申请实施例一种可能的实施方式提供了一种用户设备600，包括一信息获取装置610。所述信息获取装置610可以为图3或图4a～图4h所示实施例中记载的信息获取装置。
所述用户设备600包括但不限于以下的至少一个：智能手机、智能眼镜、智能头盔等，其中智能眼镜又分为智能框架眼镜和智能隐形眼镜。
本申请实施例的实施方案通过在运动中用户的一眼睛处于平滑追踪眼动状态时，获取其眼动信息和运动信息来确定用户眼睛注视点相对于用户的距离，进而可以通过对用户一眼睛的追踪来便捷地确定运动中用户的感兴趣对象的位置。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种信息获取方法，其特征在于，包括：
响应于处于运动状态的一用户的一眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；
根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。
2.如权利要求1所述的方法，其特征在于，所述获取所述角度变化信息包括：
至少根据所述用户的所述眼睛的转动信息获取所述角度变化信息。
3.如权利要求1所述的方法，其特征在于，获取所述运动信息包括：
获取所述用户的第一运动信息；
至少根据所述第一运动信息得到所述运动信息。
4.如权利要求3所述的方法，其特征在于，获取所述运动信息还包括：
获取所述注视点所对应的对象的第二运动信息；
所述至少根据所述第一运动信息得到所述运动信息包括：
根据所述第一运动信息和所述第二运动信息得到所述运动信息。
5.如权利要求3或4所述的方法，其特征在于，所述用户位于一运动载体上；
所述获取所述第一运动信息包括：
获取所述运动载体的第三运动信息作为所述第一运动信息。
6.一种信息获取装置，其特征在于，包括：
信息获取模块，用于响应于处于运动状态的一用户的一眼睛处于平滑追踪眼动状态，获取至少一时刻所述用户的视线方向相对于所述用户的注视点的角度变化信息、以及所述至少一时刻所述用户相对于所述注视点的运动信息；
距离获取模块，用于根据所述角度变化信息以及所述运动信息获取所述至少一时刻中的至少一时刻所述注视点相对于所述用户的距离信息。
7.如权利要求6所述的装置，其特征在于，所述信息获取模块包括：
角度变化信息获取子模块，用于至少根据所述用户的所述眼睛的转动信息获取所述角度变化信息。
8.如权利要求6所述的装置，其特征在于，所述信息获取模块包括运动信息获取子模块；
所述运动信息获取子模块包括：
第一运动信息获取单元，用于获取所述用户的第一运动信息；
运动信息获取单元，用于至少根据所述第一运动信息得到所述运动信息。
9.如权利要求8所述的装置，其特征在于，所述运动信息获取子模块还包括：
第二运动信息获取单元，用于获取所述注视点所对应的对象的第二运动信息；
所述运动信息获取单元，进一步用于根据所述第一运动信息和所述第二运动信息得到所述运动信息。
10.一种用户设备，其特征在于，包括权利要求6～9中的任一项所述的信息获取装置。
CN201510169143.XA 2015-04-10 2015-04-10 信息获取方法、信息获取装置及用户设备 Active CN106155288B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510169143.XA CN106155288B (zh) 2015-04-10 2015-04-10 信息获取方法、信息获取装置及用户设备
PCT/CN2016/078724 WO2016161954A1 (en) 2015-04-10 2016-04-07 Information acquiring method, information acquiring apparatus, and user equipment
US15/565,365 US10394321B2 (en) 2015-04-10 2016-04-07 Information acquiring method, information acquiring apparatus, and user equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510169143.XA CN106155288B (zh) 2015-04-10 2015-04-10 信息获取方法、信息获取装置及用户设备

Publications (2)

Publication Number Publication Date
CN106155288A true CN106155288A (zh) 2016-11-23
CN106155288B CN106155288B (zh) 2019-02-12

Family

ID=57073072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510169143.XA Active CN106155288B (zh) 2015-04-10 2015-04-10 信息获取方法、信息获取装置及用户设备

Country Status (3)

Country Link
US (1) US10394321B2 (zh)
CN (1) CN106155288B (zh)
WO (1) WO2016161954A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725714A (zh) * 2018-11-14 2019-05-07 北京七鑫易维信息技术有限公司 视线确定方法、装置、***、以及头戴式眼动设备
CN113536909A (zh) * 2021-06-08 2021-10-22 吉林大学 一种基于眼动数据的预瞄距离计算方法、***和设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155459B (zh) * 2015-04-01 2019-06-14 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
EP3521977B1 (en) * 2018-02-06 2020-08-12 Smart Eye AB A method and a system for visual human-machine interaction
CN109118714B (zh) * 2018-08-28 2021-09-14 北京七鑫易维信息技术有限公司 基于眼动信息的报警方法、装置、设备及存储介质
GB2582775B (en) * 2019-04-02 2022-04-06 Jaguar Land Rover Ltd Attention level determination
CN110969116B (zh) * 2019-11-28 2023-06-23 Oppo广东移动通信有限公司 注视点位置确定方法及相关装置
EP4134867A4 (en) * 2020-04-30 2023-05-31 Huawei Technologies Co., Ltd. IDENTIFICATION METHOD AND DEVICE FOR IDENTIFICATION OF AN OBJECT OF INTEREST OF A USER

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705454A (zh) * 2002-10-15 2005-12-07 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
US20100201621A1 (en) * 2007-08-07 2010-08-12 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
CN103135762A (zh) * 2011-11-29 2013-06-05 三星电子株式会社 用于基于眼睛跟踪操作用户功能的方法及其移动装置
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位***
CN103604412A (zh) * 2013-10-30 2014-02-26 北京智谷睿拓技术服务有限公司 定位方法及定位装置
US20140098198A1 (en) * 2012-10-09 2014-04-10 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
US20140154650A1 (en) * 2012-12-04 2014-06-05 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN103988149A (zh) * 2011-12-14 2014-08-13 英特尔公司 注视激活的内容传输***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005098777A1 (en) * 2004-03-22 2005-10-20 Volvo Technology Corporation Method and system for perceptual suitability test of a driver
WO2008141460A1 (en) 2007-05-23 2008-11-27 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8317328B1 (en) * 2009-07-30 2012-11-27 Enforcement Innovations Device for administering a gaze nystagmus field sobriety test
US9298985B2 (en) * 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8864310B2 (en) * 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
ES2898981T3 (es) * 2012-08-09 2022-03-09 Tobii Ab Activación rápida en un sistema de seguimiento de la mirada
US20140055339A1 (en) * 2012-08-22 2014-02-27 David Stanasolovich Adaptive visual output based on motion compensation of a mobile device
US9975483B1 (en) * 2013-02-08 2018-05-22 Amazon Technologies, Inc. Driver assist using smart mobile devices
US9035874B1 (en) * 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US10635167B2 (en) * 2013-05-30 2020-04-28 Umoove Services Ltd. Smooth pursuit gaze tracking
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705454A (zh) * 2002-10-15 2005-12-07 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
US20100201621A1 (en) * 2007-08-07 2010-08-12 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
CN103135762A (zh) * 2011-11-29 2013-06-05 三星电子株式会社 用于基于眼睛跟踪操作用户功能的方法及其移动装置
CN103988149A (zh) * 2011-12-14 2014-08-13 英特尔公司 注视激活的内容传输***
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
US20140098198A1 (en) * 2012-10-09 2014-04-10 Electronics And Telecommunications Research Institute Apparatus and method for eye tracking
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
US20140154650A1 (en) * 2012-12-04 2014-06-05 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位***
CN103604412A (zh) * 2013-10-30 2014-02-26 北京智谷睿拓技术服务有限公司 定位方法及定位装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725714A (zh) * 2018-11-14 2019-05-07 北京七鑫易维信息技术有限公司 视线确定方法、装置、***、以及头戴式眼动设备
CN113536909A (zh) * 2021-06-08 2021-10-22 吉林大学 一种基于眼动数据的预瞄距离计算方法、***和设备

Also Published As

Publication number Publication date
CN106155288B (zh) 2019-02-12
WO2016161954A1 (en) 2016-10-13
US10394321B2 (en) 2019-08-27
US20180067549A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN106155288A (zh) 信息获取方法、信息获取装置及用户设备
CN107564363B (zh) 一种用于驾驶模式切换的方法和装置
Martinez et al. Beyond grand theft auto V for training, testing and enhancing deep learning in self driving cars
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
Fletcher et al. Correlating driver gaze with the road scene for driver assistance systems
Martin et al. Body pose and context information for driver secondary task detection
CN110377025A (zh) 用于自动驾驶车辆的传感器聚合框架
EP3690846A1 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
WO2015155029A1 (de) Lokalisierung eines head-mounted displays (hmd) im fahrzeug
CN109219551A (zh) 道路状况抬头显示器
CN107992188A (zh) 虚拟现实交互方法、装置与***
CN103426172B (zh) 基于视觉的目标跟踪方法及装置
Chen et al. Learning on-road visual control for self-driving vehicles with auxiliary tasks
CN108089695A (zh) 一种控制可移动设备的方法和装置
Martin et al. Real time driver body pose estimation for novel assistance systems
Hasan et al. Traffic sign recognition system (TSRS): SVM and convolutional neural network
Codd-Downey et al. Finding divers with scubanet
CN110288629A (zh) 基于移动物体检测的目标检测自动标注方法及装置
Lotfi et al. Smartphone based driving style classification using features made by discrete wavelet transform
Ali et al. Augmented reality based online application for e-shopping
Bieshaar et al. Starting movement detection of cyclists using smart devices
CN104422441B (zh) 一种电子设备及定位方法
Karunathilaka et al. Road sign identification application using image processing and augmented reality
CN112232317A (zh) 用于目标朝向识别的目标检测方法及装置、设备及介质
Chen et al. Drive safe inspector: A wearable-based fine-grained technique for driver hand position detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant