CN106575160A - 根据用户视点识别动作的界面提供方法及提供装置 - Google Patents

根据用户视点识别动作的界面提供方法及提供装置 Download PDF

Info

Publication number
CN106575160A
CN106575160A CN201580042708.6A CN201580042708A CN106575160A CN 106575160 A CN106575160 A CN 106575160A CN 201580042708 A CN201580042708 A CN 201580042708A CN 106575160 A CN106575160 A CN 106575160A
Authority
CN
China
Prior art keywords
user
picture
dimensional local
local information
summit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580042708.6A
Other languages
English (en)
Other versions
CN106575160B (zh
Inventor
全洙永
权志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Star Ship Vending Machine Co
Original Assignee
Star Ship Vending Machine Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Star Ship Vending Machine Co filed Critical Star Ship Vending Machine Co
Publication of CN106575160A publication Critical patent/CN106575160A/zh
Application granted granted Critical
Publication of CN106575160B publication Critical patent/CN106575160B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据本发明一个实施例，在三维上也实现所述二维指向技术而提供直观的三维用户界面。具体是，根据本发明的一个实施例，实现用户的眼睛、手指、画面上的动作点排列于一条直线上的动作点，从而提供直观的用户界面。

Description

根据用户视点识别动作的界面提供方法及提供装置
技术领域
本发明涉及根据用户视点识别动作的界面提供方法和提供装置，具体是，使用户的视点和用户界面显示的画面上的动作地点一致而提供用户界面的界面提供方法及提供装置方法及装置。
背景技术
UNI作为Natural User Interface的缩写，指通过用户的语音或者手势等对人类而言更加直观的方式命令电脑的界面，区别于表示通过文本输入的命令***的TUI(TextUser Interface)或通过画面中图片触摸板和鼠标给电脑命令的GUI(Graphic UserInterface)。
NUI设备是实现以上说明的NUI所必需的输入设备，通常由用于识别用户语音的话筒和识别用户手势的彩色相机(RGB Camera)和/或者深度相机(Depth Camera)等组成。NUI装置的设备规格不同，但通常拍摄用户身体的全部或一部分后，应用程序应用该3D NUI大致识别用户的手或手指的三维位置如鼠标的游标般应用。具体是，用户在画面面前将手上下左右移动时可以移动画面的游标位置，手进一步伸展按下位于画面上的按钮而执行命令。公开韩国专利公报第10-2012-0070133号(公开日:2012.06.29)也提出了这些内容。
但所述方式一般存在以下问题。从用户的视点，手的位置画面上的游标位置不一样，用户自然以画面上的游标为准看着画面进行互动，因此用户看不了自己的手。用户为了移动画面中的游标，会比较不自然地移动自己的手，而且为了鼠标等输入，要使用更长的时间和付出努力。
上述背景技术是发明人为得到本发明而所拥有或者本发明的研究过程中掌握的技术信息，并不一定是本发明申请前已向普通公众公开的公知技术。
发明内容
技术问题
本发明一个实施例的目的在于，使从用户的视点上看时用户手的位置和画面上显示的用户界面的动作点的位置一体化。
技术方案
作为本发明的技术方案，第一方面是：作为通过直观的界面提供装置执行的根据用户视点识别的界面提供方法，包括：(A)采集用户的眼睛三维位置信息、用户的手三维位置信息以及图像显示装置画面顶点的三维位置信息的步骤；(B)将所述手的三维位置信息映射到所述眼睛和画面之间预先设定的体积正规空间内的步骤；(C)将映射于所述正规空间内的手的三维位置信息投影到所述图像显示装置的画面而转换为所述画面内虚拟空间位置信息的步骤；以及(D)将所述画面内的虚拟空间位置信息决定为提供于所述画面的用户界面操作所需动作点位置的步骤。
根据本发明第二方面涉及的根据用户视点识别动作的界面提供装置包括：采集用户的眼睛三维位置信息、用户的手三维位置信息和图像显示装置画面顶点的三维位置信息的位置信息采集部；将所述手的三维位置信息映射到所述眼睛和画面之间预先设置的体积的正规空间内的映射部；将映射于所述正规空间内的手的三维位置信息投影到所述图像显示装置画面而转换为所述画面内虚拟空间位置信息的画面位置信息生成部；以及，将所述画面内的虚拟空间位置信息决定为提供于所述画面的用户界面操作所需动作点位置的用户界面操作部。
根据本发明的第三方面，为执行第一方面的根据用户视点识别动作的界面提供方法可以提供存储于计算机可读记录介质的计算程序。
根据本发明的第四方面，为了执行第一方面的根据用户视点识别动作的界面提供方法可以提供计算程序被存储的计算机可读记录介质。
有益效果
本发明的有益效果在于，现有的通过眼睛-手指方向的直观指示技术只能应用于在二维上输入坐标(如触摸屏)，若想输入三维上的坐标，则眼睛和手指方向与画面显示的动作点不一致而无法实现直观界面。但本发明的一个实施例是在三维上也实现所述二维指向技术，从而提供直观的三维用户界面；
本发明一个实施例的装置的用途多样，可以在基于GUI的程序中代替鼠标使用，或者在TV画面上代遥控器使用，或者在演示画面上代替激光指示器使用；
为利用直观的三维用户界面而执行指定画面多个顶点的初始设置动作以后，计算画面多个顶点的三维位置信息时，会根据少数变量进行运算，从而减少用户执行初始设置动作所需的时间。
附图说明
图1是本发明一个实施例的根据用户视点识别动作的界面提供***的组成图；
图2是图示本发明一个实施例的根据用户视点识别动作的界面提供装置的内部结构的框图；
图3是图示图2的位置信息采集部的内部结构的框图；
图4和图6是显示本发明一个实施例的用户的眼睛和手指与画面上的动作点映射的概念图；
图5是显示视锥体内形成的正规空间的概念图；
图7是说明本发明一个实施例的根据用户视点识别动作的界面提供方法的顺序图；
图8是具体说明图7的S120步骤的顺序图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。但本发明可以以各种不同形态实现，并不限于在此说明的实施例。而且为明确说明本发明，与说明无关的部分予以省略，对于说明书中相似的部分在图中使用了相似的符号。
说明书中描述某一个部件“连接于”其它部分时，不仅包括“直接连接”，还会包括其中间通过其它元件“用电连接”的情况。描述某一部分包括某个组件时，在没有特别叙述的前提下，不是排除其它组件，而是包括其它组件。
下面结合附图详述本发明。
根据图1，本发明一个实施例的***10包括NUI装置100、界面提供装置200和图像显示装置300。
NUI装置100是指利用图像传感器、深度检测传感器和语音识别传感器中的至少一个识别用户的动作或者姿势或语音后应用于软件程序或者应用程序命令的所有装置。其中比较代表性的NUI装置100为，用于识别用户语音或手势等的话筒和彩色相机以及深度相机等。本发明一个实施例的NUI装置100是优选地，深度相机和/或彩色相机等拍摄用户动作后提取动作识别信息的装置。
NUI装置100会拍摄用户身体的全部或一部分而生成包括用户的手、手指或关节的位置信息、用户的手、手指或关节的旋转信息以及用户的手伸开或握拳信息中至少一个的识别信息(例如，深度值，颜色值)，并通过有/无线通信装置传输给界面提供装置200。
界面提供装置200是通过图像显示装置300提供直观的用户界面。界面提供装置200通过从NUI装置100接收的识别信息分析用户的动作后生成动作信息，根据生成的动作信息运行用户界面，将相应信息传递给图像显示装置300。就是说，界面提供装置200是分析用户的动作后将符合用户动作的用户界面的动作结果通过有/无线通信装置传送给图像显示装置300。
所述界面提供装置200可以用可与其它终端或服务器连接的计算机或便携式终端机、电视机、可穿戴设备(Wearable Device)等实现。在此，计算机包括如安装Web浏览器(WEB Browser)的笔记本电脑、台式电脑(desktop)、便携式电脑(laptop)等，便携式终端机是如可携带和移动的无线通信装置，包括如智能手机(Smart Phone)等任何种类的手持型(Handheld)无线通信装置。进一步，可穿戴设备是如手表、眼镜、首饰、服装、鞋等人体可穿戴的信息处理装置，可以直接或者通过其它信息处理装置经过网络访问远程服务器或者连接到其它终端。
图像显示装置300是根据从图像提供装置200接收的运行信息显示交互界面的装置，包括电脑显示器、TV、投影器、谷歌眼镜等可以显示图像的所有种类的设备。
界面提供装置200的组成可以包括图像显示装置300。例如，界面提供装置200可以是如笔记本电脑、智能手机、平板电脑等装载显示模块的设备。
下面结合图2和图3详述本发明一个实施例的界面提供装置200的结构。
界面提供装置200包括位置信息采集部210、映射部220、画面位置信息生成部230和用户界面操作部240。
位置信息采集部210采集用户眼睛的三维位置信息、用户手(包括手指)的三维位置信息和图像显示装置300的画面四个顶点的三维位置信息。
为此，根据图3，位置信息采集部210包括画面顶点位置信息获得部211和用户身***置信息采集部212。为了提供直观的用户界面，需先获得或保存着画面顶点的三维位置信息。而且用户为了操作用户界面采取动作之前先执行初始设置而获得画面四个顶点的三维位置信息，画面顶点位置信息获得部211具有用来执行所述初始设置的结构。用户身***置信息采集部212是为了初始设置以后操作用户界面而具有采集用户身体(眼睛和手)的三维位置信息的结构。下面具体说明各结构的动作。
画面顶点位置信息获得部211首先通过用户界面请求用户执行指定组成画面的各顶点的初始设置动作。然后用户执行用手或手指指定各顶点的动作。此时用户对于一个顶点只在从图像显示装置300相离的一个位置上执行指定所述一个顶点的初始设置动作，但对于一个顶点，也可以从多个位置进行初始设置动作。为了获得更准确的顶点三维位置信息，优选的是根据各顶点分别在五个以上的不同位置执行初始设置动作，但并不是对此进行限制，也可以在其它数量的其它位置上执行初始设置动作。
NUI装置100从用户的各初始设置动作获得用户眼睛的三维信息和手(包括手指)的三维位置信息后传递给画面顶点位置信息获得部211。例如，用户对于一个顶点，五次轮换着位置执行初始设置动作时，从一个顶点共获得(眼睛的三维位置信息、手的三维位置信息)的对数为5对。
下面为了说明上的便利，将用户眼睛的三维位置信息称为＝用户手的三维位置信息称为＝图像显示装置300的画面四个顶点的三维位置信息称为＝dlt，drt，dlb，drb。在此，p是表示顶点的值，是lt、rt、lb、rb中的某一个，i是对于一个顶点仅在一个位置上试图初始设置动作的次数，i是大于0的整数，lt指左侧上端，rt指右侧上端，lb指左侧下端，rb指右侧下端。作为参考，dlt指左侧上端顶点，drt是右侧上端顶点，dlb指左侧下端顶点，drb指右侧下端顶点。和是通过NUI装置100测定的值，是已知的值，但dlt，drt，dlb，drb是成为测定对象的值，相当于变量。
画面顶点位置信息获得部211将各顶点对代入优化能量函数的最小二乘法(Least-Square Method)获得dlt，drt，dlb，drbdlt，drt，dlb，drb。应用最小二乘法的能量函数(E)见以下数学公式1。
<数学公式1>
E＝El+λEq
El是测定从经过的三维上的直线对应的顶点之间距离的第一参数。换言之，El是以数学化方式表达由用户输入的眼睛的位置和手指位置形成的虚拟光线的交叉地点存在顶点的可能性大。将El用数学公式2和数学公式3具体表达如下。
<数学公式2>
<数学公式3>
在此，Np是表示指顶点p的的数量的值。
Eq是用来判断由画面的四个顶点连接形成的多边形是否形成四边形的第二参数。Eq是将画面的四个顶点中相邻的两个顶点连接的向量之间内积大小的数式。就是说，利用向量之间的内积大小接近0时可以判断向量相互垂直的观点产生的数式。Eq具体表达如下面数学公式4所示。
<数学公式4>
Eq＝((drl-dlt)·(dlb-dlt))2+((dlt-drt)·((drb-drt))2+((drb-dlb)-(dlt-dlb))2+((dlb-drb)·(drt-drb))2
λ是决定El和Eq之间重要性的加权值，作为有关界面提供装置200的适当数值，是预先设定的值。Eq是四个顶点不形成长方形状时值变大，但形成与长方形状相似的形状时值的变量化变小，故尽量要满足的条件。El是关于各顶点，顶点与经过的直线之间的距离越近，值越变小。但值并不是始终正确，通常优选地，将λ预先设定，使Eq被赋予更大的加权值。例如，λ可以指定为15.0左右的值。
简言之，El和Eq均为最小值时，可以获得最符合实际画面四个顶点位置的顶点的三维位置信息，因此画面顶点获得部211求dlt，drt，dlb，drb而使能量函数具有最小值。
另外，画面顶点位置信息获得部211仅凭能量函数的多个参数中E1也可以求出四个顶点的三维位置信息。此时，为获得顶点的三维位置信息的运算量减少，例如，约两秒内即可获得顶点的三维位置信息的初始解(Initial Solution)。而且应用于能量函数数式的变量以dlt，drt，dlb，drb(4个变量)的三维位置信息指定，故共指定12个变量。因维数小，即使将各顶点的用户眼睛和位置输入所需的时间都合在一起，但五分钟以内即可执行初始设置步骤。
另外，画面顶点位置信息获得部211再应用Gradient descent方法或Levenberg-Marquadt方法等反复式非线性优化方法获得更准确的画面四个顶点的三维位置信息。
用户身***置信息采集部212在初始设置步骤完成以后通过图像显示装置300提供用户界面，采集用于操作用户界面的用户的眼睛和手的三维位置信息。NUI装置100从用户动作生成眼睛和手的三维位置信息，用户身***置信息采集部212从NUI装置100接收而采集眼睛和手的三维位置信息。
映射部220为了将用户的手所处的实际空间和画面内的虚拟空间映射，将手的三维位置信息映射到眼睛和画面之间的被预先设定的体积的正规空间内。
具体地，如图4的金字塔形态的空间内可以定义在用户的眼睛和图像显示装置300的画面之间实际空间和图像显示装置300的画面310内表达用户界面的三维模型的虚拟空间。此时将构成实际空间的金字塔的一部分拆开时，可以假设如图5的平截头体形状的视锥体(view frustum:vf)。映射部220将手指的三维位置信息(X、Y、Z)映射为以边角长度相同的正六面体形成的正规空间(Canonical form)内的点。优选地，正规空间可以以X、Y、Z均具有-1和1之间值的正六面体组成。例如，手指的三维位置信息(X、Y、Z)在正规空间上的坐标信息为(-0.5,0.7,-0.8)。图5中只显示了一个手指地点的三维位置信息，但用户用手指连续执行动作时，多个手指地点的三维位置信息会映射到正规空间内。所述映射是通过将透视投影(Perspective projection)技术逆应用而实现。
画面位置信息生成部230将具有正规空间坐标信息的手的三维位置信息投影到图像显示装置300画面而转换为画面内的虚拟空间位置信息。具体地，画面位置信息生成部230采集面向画面内对象的虚拟相机的位置信息和方向向量、向上向量和将正规空间透视投影到虚拟空间所需的视角，将采集的信息应用到透视投影矩阵，进而将正规空间内的手的三维位置信息转换为画面内虚拟空间的三维位置信息。
用户界面操作部240是将虚拟空间的三维位置信息决定为动作点的位置。用户界面操作部240是用户改变手的位置时，与此对应使动作点的位置也变化，生成相关的用户界面运行信息后传递给图像显示装置300。例如，根据图4和图6，画面310上显示的动作点430与用户的手指420和眼睛410排列在一条直线上。用户移动手指420时，动作点430也移动排列于所述一条直线上，进而用户会施加向画面310上直观显示的模型O上移动等输入。
下面结合图7和图8详述本发明一个实施例的鉴于用户的视角识别动作的界面提供方法。根据图7和图8中图示的实施例的方法包括图2和图3中图示的界面提供装置200中以时序处理的多个步骤。因此即使是省略的内容，但上面关于界面提供装置200叙述的内容仍然适用于以下说明方法。
首先，根据图7，界面提供装置200将用户界面提供给图像显示装置300,S110。用户界面是基于动作识别操作的界面，会显示多个对象。
界面提供装置200为了掌握图像显示装置300的画面四个顶点的三维位置信息而执行初始设置S120。
根据图8，为了执行S120步骤，界面提供装置200请求用户用手分别指四个顶点S121。用户回应请求执行对各顶点的动作时，NUI装置100获得用户的眼睛和手的三维位置信息，由界面提供装置200从NUI装置100采集各顶点的眼睛和手的三维位置信息S122。然后界面提供装置200将眼睛和手的三维位置信息代入能量函数，计算各顶点的三维位置信息S123。能量函数是由求从眼睛和手通过的直线与顶点之间距离的第一参数和判断四个顶点是否形成长方形的第二参数组成，具体计算过程如下。
重新回到图7，用户为操作用户界面而执行动作(例如，拖动画面上显示的图标移动的动作)，NUI装置100从这些动作获得眼睛和手的三维位置信息。界面提供装置200从NUI装置100采集眼睛和手的三维位置信息S130。
界面提供装置200将手的三维位置信息映射到眼睛和图像显示装置300的画面之间正规空间S140。例如，具有位置信息(100,-200,150)的手的三维位置信息被映射到正规空间，从而被正规化为1和-1之间的值。也就是说，可以正规化为如(-0.5,0.7,0.8)的值。
界面提供装置200将映射的手的三维位置信息透视投影到画面以后转换为画面内虚拟空间的位置信息S150。画面内虚拟空间的位置信息是被指定为画面上显示的动作点(例如游标)的位置信息。进而眼睛、手、动作点处于一条直线上。
然后，界面提供装置200将画面内虚拟空间的位置信息决定为用于操作用户界面的动作点的位置S160。
根据图7至图8说明的实施例的方法也可以以通过计算机运行的程序模块等包括可通过计算机运行的指令的记录介质形态实现。计算机可读介质可以适用计算机可访问的任一可用介质，包括易失性和非易失性介质、分离型和非分离型介质。计算机可读取介质可以将计算机存储介质和通信介质全部包含。计算机存储介质包括通过用于存储计算机可读取的指令、数据结构、程序模块或其它数据等信息的任一方法或者技术实现的易失性或非易失性、分离型和非分离型介质。通信介质包括典型的计算机可读指令、数据结构、程序模块或者载波等被调制的数据信号的其它数据或者其它传送机制，并包括任意的信息传递介质。
本发明一个实施例的动作识别方法可以通过包括可用计算机运行的指令的计算机程序(或者计算机程序产品)实现。计算机程序包括通过处理器处理的可编程的机械指令，可以以高级编程语言(High-level Programming Language)、面向对象程序设计语言(Object-oriented Programming Language)、汇编语言或者机器语言等实现。计算机程序可以记录于计算机可读记录介质(例如，存储器、硬盘、磁/光学介质或者SSD(Solid-StateDrive)等)。
本发明一个实施例的方法是上述的计算机程序通过计算装置运行而实现。计算装置可以包括处理器、存储器、存储装置、连接于存储器和高速扩展端口的高速接口、连接于低速总线和存储装置的低速接口至少一部分。所述多个部分分别利用各种总线相互连接，可以安装在通用主板或者用其它适当方式装配。
处理器可在计算装置内处理指令，所述指令是如连接于高速接口的显示器为了显示给外部输入、输出装置上提供GUI(Graphic User Interface)的图形信息而在存储器或存储装置上存储的指令。其它实施例是，多个处理器及(或者)多个总线可以适当地与多个存储器和存储器形态一起被利用。处理器可以用包括独立的多个模拟及(或者)数字处理器的多个芯片组成的芯片集实现。
存储器是在计算装置内存储信息。作为一例，存储器可以以易失性存储器装置或者其集合组成。又例如，存储器可以以非易失性存储装置或者其集合组成。存储器可以是计算机可读取的其它形态介质，如磁或光盘等。
存储装置可以给计算装置提供大容量存储空间。存储装置可以是计算机可读介质或者包括所述介质的配置，例如，可以包括SAN(Storage Area Network)内的多个装置或者其它配置，可以是磁盘驱动器、硬盘装置、光盘装置或者磁带装置、闪存以及与其类似的其它半导体存储器装置或者装置阵列。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所述的技术方案进行修改；而这些修改，并不使相应技术方案的本质脱离本发明各实施例所述技术方案的范围。例如，以单一型说明的各个组件可以分散实施，同样以分散型说明的多个组件也可以以结合形态实施。
本发明的保护范围应根据下述的权利要求范围进行解释，而且权利要求范围的意义及范围以及在其同等范围内的所有修改或变形都属于本发明的权利要求范围。

Claims (18)

1.一种根据用户视点识别动作的界面提供方法，其特征在于，
作为通过直观的界面提供装置执行的根据用户视点识别的界面提供方法，包括：
（A）采集用户的眼睛三维位置信息、用户的手三维位置信息以及图像显示装置画面顶点的三维位置信息的步骤；
（B）将所述手的三维位置信息映射到所述眼睛和画面之间预先设定的体积正规空间内的步骤；
（C）将映射于所述正规空间内的手的三维位置信息投影到所述图像显示装置的画面而转换为所述画面内虚拟空间位置信息的步骤；以及
（D）将所述画面内的虚拟空间位置信息决定为提供于所述画面的用户界面操作所需动作点位置的步骤。
2.根据权利要求1所述的根据用户视点识别动作的界面提供方法，其特征在于，
所述（A）步骤包括：
（A-1）采集所述用户指所述画面顶点的初始设置动作的所述用户眼睛的三维位置信息和手的三维位置信息后计算所述图像显示装置的画面顶点的三维位置信息的步骤；以及
（A-2）通过所述图像显示装置的画面提供用户界面，并为了使所述用户界面动作而采集所述用户眼睛的三维位置信息和手三维位置信处的步骤。
3.根据权利要求2所述的根据用户视图识别动作的界面提供方法，其特征在于，
所述（A-1）步骤包括：
（a）对于与所述图像显示装置相离的所述用户将组成所述画面的多个顶点分别用手指的初始设置动作，采集所述各顶点的所述用户的眼睛三维位置信息和手三维位置的步骤；以及
（b）对于所述各顶点，求出使测定从所述采集的用户的眼睛和手三维位置信息通过的直线和顶点之间距离的第一参数具有最小值的顶点的三维坐标，从而获得所述多个顶点的三维位置信息的步骤。
4.根据权利要求3所述的根据用户视图识别动作的界面提供方法，其特征在于，
所述（b）步骤是，
追加考虑用来判断由所述多个顶点连接形成的多边形是否为四边形的第二参数而获得所述多个顶点的三维位置信息。
5.根据权利要求4所述的根据用户视图识别动作的界面提供方法，其特征在于，
所述第二参数是将所述多个顶点中相邻的两个顶点连接的多个向量之间的内积大小的数式；
所述（b）步骤是，
求出使所述第一参数和第二参数具有最小值的所述多个顶点的三维坐标而获得所述多个顶点三维位置信息。
6.根据权利要求5所述的根据用户视图识别动作的界面提供方法，其特征在于，
所述（b）步骤是，
所述第二参数乘以预先设定的加权值而获得使所述第二参数和所述加权值的积和所述第一参数的和具有最小值的所述多个顶点的三维位置信息。
7.根据权利要求1所述的根据用户视图识别动作的界面提供方法，其特征在于，
所述（B）步骤包括：
生成由所述采集的眼睛三维位置信息和所述图像显示装置画面的多个顶点组成的视锥体（view frustum）的步骤；
以及
对位于所述视锥体内的所述采集的手三维位置逆应用透视投影技术而将所述采集的手三维位置信息映射到正六面体的所述正规空间内的步骤。
8.根据权利要求1所述的根据用户视图识别动作的界面提供方法，其特征在于，
所述（C）步骤是，将面向所述图像显示装置画面上显示的用户界面的虚拟相机的位置信息、向量信息和将所述正规空间透视投影到所述画面虚拟空间所需的视角应用到透视投影矩阵而将所述正规空间内的手三维位置信息转换为所述画面内的虚拟空间位置信息。
9.一种为执行权利要求1至8中任一项所述的根据用户视点识别动作的界面提供方法而存储于计算机可读记录介质的计算机程序。
10.一种为执行权利要求1至8中任一项所述的根据用户视点识别动作的界面提供方法而存储计算机程序代码的计算机可读记录介质。
11.一种根据用户视点识别动作的界面提供装置，其特征在于，包括：
采集用户眼睛的三维位置信息、用户手的三维位置信息和图像显示装置画面顶点的三维位置信息的位置信息采集部；
将所述手的三维位置信息映射到所述眼睛和画面之间预先设置的体积的正规空间内的映射部；
将映射于所述正规空间内的手的三维位置信息投影到所述图像显示装置画面而转换为所述画面内虚拟空间位置信息的画面位置信息生成部；以及
将所述画面内的虚拟空间位置信息决定为提供于所述画面的用户界面操作所需动作点位置的用户界面操作部。
12.根据要求11所述的根据用户视点识别动作的界面提供装置，其特征在于，
所述位置信息采集部包括：
对于所述用户指定所述画面顶点的初始设置动作采集所述用户眼睛的三维位置信息和手的三维位置信息后计算所述图像显示装置的画面顶点三维位置信息的画面顶点位置信息获得部；以及
通过所述图像显示装置画面提供用户界面，并采集使所述用户界面动作所需的所述用户眼睛三维位置信息和手三维位置信息的用户身***置信息采集部。
13.根据要求12所述的根据用户视点识别动作的界面提供装置，其特征在于，
所述画面顶点位置信息获得部是，
对于与所述图像显示装置相离的所述用户将组成所述画面的多个顶点分别用手指的初始设置动作，
采集对所述各顶点的所述用户眼睛三维位置信息和手三维位置信息；
对于所述各顶点，求出测定从所述采集的用户眼睛和手的三维位置信息的直线与顶点之间距离的第一参数具有最小值的顶点三维位置信息而获得所述多个顶点的三维位置信息。
14.根据要求13所述的根据用户视点识别动作的界面提供装置，其特征在于，
所述画面顶点位置信息获得部是，
追加考虑判断由所述多个顶点连接形成的多边是否为四边形的第二参数而获得所述多个顶点的三维位置信息。
15.根据要求14所述的根据用户视点识别动作的界面提供装置，其特征在于，
所述第二参数是将所述多个顶点中相邻的两个顶点连接起来的向量之间内积大小的数式；
所述画面顶点位置信息获得部是，
求出使所述第一参数和第二参数具有最小值的所述多个顶点的三维坐标而获得所述多个顶点的三维位置信息。
16.根据要求15所述的根据用户视点识别动作的界面提供装置，其特征在于，
所述画面顶点位置信息获得部是，
对所述第二参数乘以预先设定的加权值而获得使所述第二参数和所述加权值的积以及所述第一参数之和具有最小值的所述多个顶点的三维位置信息。
17.根据要求11所述的根据用户视点识别动作的界面提供装置，其特征在于，
所述映射部是，
生成由所述采集的眼睛三维位置信息和所述图像显示装置画面的多个顶点组成的视锥体（view frustum），对位于所述视锥体内的所述采集的手三维位置信息逆应用透视投影技术，从而将所述采集的手三维位置信息映射到正六面体的所述正规空间内。
18.根据要求11所述的根据用户视点识别动作的界面提供装置，其特征在于，
所述画面位置信息生成部是，
将面向所述图像显示装置画面上显示的用户界面的虚拟相机的位置信息、向量信息以及将所述正规空间透视投影到所述画面虚拟空间所需的视角应用到透视投影矩阵，从而将所述正规空间内的手三维位置信息转换为所述画面内的虚拟空间位置信息。
CN201580042708.6A 2014-08-01 2015-06-25 根据用户视点识别动作的界面提供方法及提供装置 Expired - Fee Related CN106575160B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140098842A KR101453815B1 (ko) 2014-08-01 2014-08-01 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
KR10-2014-0098842 2014-08-01
PCT/KR2015/006476 WO2016017932A1 (ko) 2014-08-01 2015-06-25 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치

Publications (2)

Publication Number Publication Date
CN106575160A true CN106575160A (zh) 2017-04-19
CN106575160B CN106575160B (zh) 2020-05-19

Family

ID=51998520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580042708.6A Expired - Fee Related CN106575160B (zh) 2014-08-01 2015-06-25 根据用户视点识别动作的界面提供方法及提供装置

Country Status (6)

Country Link
US (1) US10365713B2 (zh)
EP (1) EP3176677A4 (zh)
JP (1) JP2017531227A (zh)
KR (1) KR101453815B1 (zh)
CN (1) CN106575160B (zh)
WO (1) WO2016017932A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876852A (zh) * 2017-05-09 2018-11-23 中国科学院沈阳自动化研究所 一种基于3d视觉的在线实时物体识别定位方法
CN111178191A (zh) * 2019-11-11 2020-05-19 贝壳技术有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
CN112560572A (zh) * 2020-10-24 2021-03-26 北京博睿维讯科技有限公司 一种摄像和大屏交互处理方法、装置及***

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101656212B1 (ko) * 2015-02-13 2016-09-12 경일대학교산학협력단 손동작 인식을 이용한 접근 제어 시스템, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR20170124104A (ko) 2016-04-29 2017-11-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
KR102031331B1 (ko) * 2018-03-09 2019-10-11 주식회사 케이티 영상 내의 이동체를 식별하는 방법, 장치 및 컴퓨터 판독가능 매체
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
CN109144267A (zh) * 2018-09-03 2019-01-04 中国农业大学 人机交互方法及装置
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248529A1 (en) * 2004-05-06 2005-11-10 Kenjiro Endoh Operation input device and method of operation input
US20080309660A1 (en) * 2007-06-12 2008-12-18 Microsoft Corporation Three dimensional rendering of display information
CN101512471A (zh) * 2006-09-28 2009-08-19 株式会社纳维泰 窗口显示***
CN103197877A (zh) * 2011-11-21 2013-07-10 柯尼卡美能达商用科技株式会社 包括第1显示装置和第2显示装置的显示***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE390664T1 (de) * 2000-05-17 2008-04-15 Koninkl Philips Electronics Nv Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
KR101585466B1 (ko) * 2009-06-01 2016-01-15 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR101082829B1 (ko) 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
JP4875175B2 (ja) * 2010-02-17 2012-02-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP5167523B2 (ja) * 2010-09-22 2013-03-21 島根県 操作入力装置および操作判定方法並びにプログラム
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
KR20120070133A (ko) 2010-12-21 2012-06-29 한국전자통신연구원 카메라를 이용한 가상 터치 인터페이스 제공 장치 및 그 방법
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
KR20120126508A (ko) * 2011-05-12 2012-11-21 김석중 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR20120136719A (ko) 2011-06-09 2012-12-20 안지윤 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
JP5886594B2 (ja) * 2011-10-27 2016-03-16 セコム株式会社 カメラシステム
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
US8933882B2 (en) * 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248529A1 (en) * 2004-05-06 2005-11-10 Kenjiro Endoh Operation input device and method of operation input
CN101512471A (zh) * 2006-09-28 2009-08-19 株式会社纳维泰 窗口显示***
US20080309660A1 (en) * 2007-06-12 2008-12-18 Microsoft Corporation Three dimensional rendering of display information
CN103197877A (zh) * 2011-11-21 2013-07-10 柯尼卡美能达商用科技株式会社 包括第1显示装置和第2显示装置的显示***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876852A (zh) * 2017-05-09 2018-11-23 中国科学院沈阳自动化研究所 一种基于3d视觉的在线实时物体识别定位方法
CN108876852B (zh) * 2017-05-09 2021-06-22 中国科学院沈阳自动化研究所 一种基于3d视觉的在线实时物体识别定位方法
CN111178191A (zh) * 2019-11-11 2020-05-19 贝壳技术有限公司 信息播放方法、装置、计算机可读存储介质及电子设备
CN112560572A (zh) * 2020-10-24 2021-03-26 北京博睿维讯科技有限公司 一种摄像和大屏交互处理方法、装置及***

Also Published As

Publication number Publication date
EP3176677A1 (en) 2017-06-07
US20170139478A1 (en) 2017-05-18
CN106575160B (zh) 2020-05-19
WO2016017932A1 (ko) 2016-02-04
JP2017531227A (ja) 2017-10-19
EP3176677A4 (en) 2018-02-28
KR101453815B1 (ko) 2014-10-22
US10365713B2 (en) 2019-07-30

Similar Documents

Publication Publication Date Title
CN106575160A (zh) 根据用户视点识别动作的界面提供方法及提供装置
US11500473B2 (en) User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US9886102B2 (en) Three dimensional display system and use
CN110019766B (zh) 知识图谱的展示方法、装置、移动终端及可读存储介质
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
WO2018188499A1 (zh) 图像、视频处理方法和装置、虚拟现实装置和存储介质
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
JPWO2013140776A1 (ja) 画像処理を行うことにより、現実空間にある対象物の奥行きを定める画像処理装置、立体視装置、集積回路、プログラム
Fiorentino et al. Design review of CAD assemblies using bimanual natural interface
CN110325953A (zh) 用于虚拟现实服务的屏幕控制方法和设备
CN109584377A (zh) 一种用于呈现增强现实内容的方法与设备
CN109656363A (zh) 一种用于设置增强交互内容的方法与设备
Fanini A 3D interface to explore and manipulate multi-scale virtual scenes using the leap motion controller
CN104820584B (zh) 一种面向层次化信息自然操控的3d手势界面的构建方法及***
US11650709B2 (en) 3D models for displayed 2D elements
CN114327063A (zh) 目标虚拟对象的交互方法、装置、电子设备及存储介质
CN113421343A (zh) 基于增强现实观测设备内部结构的方法
Scalas et al. A first step towards cage-based deformation in virtual reality
US12026351B2 (en) 3D models for displayed 2D elements
Lu et al. A combined strategy of hand tracking for desktop VR
CN117453037A (zh) 交互方法、头显设备、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200519

Termination date: 20210625