CN106919294A - 一种3d触控交互装置、其触控交互方法及显示装置 - Google Patents

一种3d触控交互装置、其触控交互方法及显示装置 Download PDF

Info

Publication number
CN106919294A
CN106919294A CN201710142884.8A CN201710142884A CN106919294A CN 106919294 A CN106919294 A CN 106919294A CN 201710142884 A CN201710142884 A CN 201710142884A CN 106919294 A CN106919294 A CN 106919294A
Authority
CN
China
Prior art keywords
touch
display screen
view
dimensional
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710142884.8A
Other languages
English (en)
Other versions
CN106919294B (zh
Inventor
郑智仁
王海生
吴俊纬
丁小梁
韩艳玲
郭玉珍
刘英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710142884.8A priority Critical patent/CN106919294B/zh
Publication of CN106919294A publication Critical patent/CN106919294A/zh
Priority to US15/775,978 priority patent/US20190265841A1/en
Priority to PCT/CN2017/103456 priority patent/WO2018161542A1/zh
Application granted granted Critical
Publication of CN106919294B publication Critical patent/CN106919294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种3D触控交互装置、其触控交互方法及显示装置，该3D触控交互装置包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，通过图像获取器和距离检测器，来获取触摸物例如人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点时即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。

Description

一种3D触控交互装置、其触控交互方法及显示装置
技术领域
本发明涉及显示技术领域，尤其涉及一种3D触控交互装置、其触控交互方法及显示装置。
背景技术
随着显示技术的进步，裸视3D、视频播放器、虚拟现实技术VR成为显示应用领域的热门话题。3D立体显示是通过全息技术、投影技术、眼镜式技术而制成的基于平面立体成像的技术。它区别于普通显示的最大的特点就是能够“还原真实再现”。基于这种显示技术，可以直接观察到具有物理景深的三维图像，真三维立体显示技术图像逼真、具有全视景、多角度、多人同时观察等众多优点。若将3D立体显示配合空间中远距交互实现触控操作功能，还可以为使用者带来更佳的人机交互体验。
因此，如何实现3D显示装置的远距交互触控操作，提升人机交互体验，是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种3D触控交互装置、其触控交互方法及显示装置，用以实现3D显示装置的远距交互触控操作，提升人机交互体验。
本发明实施例提供了一种3D触控交互装置，包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，
所述显示屏用于显示三维图像；
所述图像获取器用于获取触摸物在二维平面的坐标并输出到所述控制器；
所述距离检测器用于获取所述触摸物在三维立体空间距离所述显示屏的距离并输出到所述控制器；
所述控制器用于根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有焦点时，对所述三维图像中所述交点对应的区域的图像进行触控操作。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述控制器，还用于：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述控制器，还用于：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述图像获取器，还用于：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标并输出到所述控制器。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述控制器，还用于：
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上与所述位置坐标对应的区域进行显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述3D触控交互装置包括位于不同方向的多个所述显示屏，以及多个与所述显示屏一一对应的所述图像获取器；
各所述图像获取器用于通过眼动追踪检测，确定当前人眼观看的位置坐标并输出到所述控制器；
所述控制器根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述距离检测器，还用于：
将获取的所述触摸物移动后在三维立体空间距离所述显示屏的距离反馈给所述图像获取器。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述图像传感器，还用于：
根据所述距离对所述触摸物进行聚焦，获取所述触摸物移动后在二维平面的坐标位置。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述距离检测器，包括：超声波传感器；
所述超声波传感器用于通过超声波检测，获取所述触摸物在三维立体空间距离所述显示屏的距离。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述3D触控交互装置包括：至少一组相对设置的两个所述超声波传感器；其中，
一个所述超声波传感器用于发送超声波，另一个所述超声波传感器用于接收所述超声波；或，
一个所述超声波传感器用于发送超声波，两个所述超声波传感器用于同时接收超声波。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述图像获取器，包括：摄像头；
所述摄像头用于获取所述触摸物在二维平面的坐标并生成对应的图像。
本发明实施例提供了一种本发明实施例提供的上述3D触控交互装置的触控交互方法，包括：
显示三维图像；
获取触摸物在二维平面的坐标；
获取所述触摸物在三维立体空间距离所述显示屏的距离；
根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有交点时，对所述三维图像中所述交点对应的区域的图像进行触控操作。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，还包括：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，还包括：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，还包括：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标；
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上对应所述位置坐标的区域进行显示。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，所述3D触控交互装置包括位于不同方向的多个所述显示屏以及多个与所述显示屏一一对应的所述图像获取器；所述触控交互方法还包括：
通过眼动追踪检测，确定当前人眼观看的位置坐标；
根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
本发明实施例提供了一种显示装置，包括本发明实施例提供的上述3D触控交互装置。
在一种可能的实施方式中，本发明实施例提供的上述显示装置中，所述显示装置为虚拟现实头盔、虚拟现实眼镜或视频播放器中的任意一种。
本发明实施例的有益效果包括：
本发明实施例提供了一种3D触控交互装置、其触控交互方法及显示装置，该3D触控交互装置包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，显示屏用于显示三维图像；图像获取器用于获取触摸物在二维平面的坐标并输出到控制器；距离检测器用于获取触摸物在三维立体空间距离显示屏的距离并输出到控制器；控制器用于根据触摸物在二维平面的坐标和距离显示屏的距离生成触摸物在三维立体空间的三维坐标范围，并确定三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。这样通过图像获取器和距离检测器，来获取触摸物例如人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点时即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
附图说明
图1为本发明实施例提供的3D触控交互装置的结构示意图；
图2为本发明实施例提供的3D成像示意图；
图3本发明实施例提供的3D触控交互装置的触控交互过程示意图；
图4为本发明实施例提供的摄像头与超声波传感器的交互补偿流程图；
图5为本发明实施例提供的超声波传感器距离检测示意图；
图6为本发明实施例提供的摄像头和超声波传感器的设置位置示意图；
图7为本发明实施例提供的3D触控交互装置的触控交互方法流程图；
图8为本发明实施例提供的3D触控交互装置的具体触控交互过程示意图。
具体实施方式
下面结合附图，对本发明实施例提供的3D触控交互装置、其触控交互方法及显示装置的具体实施方式进行详细的说明。
本发明实施例提供了一种3D触控交互装置，如图1所示，包括：至少一个显示屏01、至少一个图像获取器02、至少一个距离检测器03和控制器(图1中未示出)；其中，
显示屏01用于显示三维图像；
图像获取器02用于获取触摸物在二维平面的坐标并输出到控制器；
距离检测器03用于获取触摸物在三维立体空间距离显示屏01的距离并输出到控制器；
控制器用于根据触摸物在二维平面的坐标和距离显示屏01的距离生成触摸物在三维立体空间的三维坐标范围，并确定该三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。
本发明实施例提供的上述3D触控交互装置中，如图2所示，3D显示图像的显示效果就是人眼看到物体图像(B1、B2)浮出显示屏01之外并具有远近的感受，而对于这些物件的操作，此时除了上下左右的二维平面外，还有一个触摸物例如人手距离显示屏的第三维度距离需要确定，只有确定了人手在三维立体空间的三维坐标，才能够让人机交互的动作顺利的实施在3D的虚拟实境上。本发明通过图像获取器和距离检测器，来识别手势并获取人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度，实现高精度的检测；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，控制器还用于：将三维图像中交点对应区域的图像进行高亮显示；将三维图像中与触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。具体地，本发明实施例提供的上述3D触控交互装置中，为了让使用者可以清楚知道自己接触到三维图像上的某个物件，从而对该物件进行触控操作，以提升人机交互体验的乐趣，控制器可以将确定的触摸物例如人手位于三维空间的坐标范围与三维图像中的物体图像的三维坐标范围进行对比，确定二者坐标范围具有交点时，说明人手触碰到该三维图像中交点对应区域的物体图像，从而将其高亮显示，让操作者了解自己的手在虚拟空间已经可以控制到此物件，再配合手的点击或其它手势，进行此物件的操作，而将三维图像中与人手二维坐标相同但三维坐标不同的区域对应的图像即人手穿过的物体图像进行透明显示，从而提供视觉反馈，让交互操作更为顺利。其中也可以将人手穿过的物体图像设置为弹开，具体设置可根据实际需要进行选择，在此不做限定。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，图像获取器还用于通过眼动追踪检测，确定当前人眼观看的显示屏上的位置坐标并输出到控制器；控制器还用于根据位置坐标，将当前显示的三维图像切换到显示屏上与位置坐标对应的区域进行显示。具体地，本发明实施例提供的上述3D触控交互装置中，图像获取器会利用眼动追踪检测用户当前所观看的位置坐标，从而进行屏成像的调整，即将三维图像切换到显示屏上与位置坐标对应的区域进行显示，提升视觉反馈，进而提升用户体验。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，如图1所示，3D触控交互装置包括位于不同方向的多个显示屏01，以及多个与显示屏01一一对应的图像获取器02；各图像获取器02用于通过眼动追踪检测，确定当前人眼观看的位置坐标并输出到控制器；控制器根据位置坐标，将当前显示的三维图像切换到位置坐标对应方向的显示屏进行显示。
具体地，本发明实施例提供的上述3D触控交互装置中，如图3所示，当使用者面对前方屏幕时，会看到前方物件成像，如物件object#1与object#2，而图像获取器会利用眼动追踪检测使用者所观看的地方进行屏成像的调整。当使用者用手去接触object#1时，图像获取器和距离检测器会检测到使用者手部的三维坐标，当手抵达目标位置object#1前，会穿透过物体object#2，控制器会将其如图3中所示进行透明显示；而当手接触到object#1时，控制器则将object#1高亮显示，此时使用者感知到已经接触到此物件，便可开始进行手势的操作，而此手势操作也会被图像获取器和距离检测器检测并反馈给控制器，进行3D图像显示。而当物件在各显示屏之间移动时，则由图像获取器检测判断后，反馈到控制器进行各显示屏之间的切换显示。如图3所示，object#1移到下方屏object#3的过程，或移动到右边屏object#4的过程，为了减少因为不同屏间的视觉误差，可利用图像获取器配合眼动跟踪去确定人员当前观看的坐标位置，进而反馈给控制器进行3D显示调整，如眼睛看前方屏，则由前方屏负责object#4的3D显示，若改看到右方屏，则由右方屏负责显示，同样的方式也可以应用在下方屏。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，距离检测器还用于将获取的触摸物移动后在三维立体空间距离显示屏的距离反馈给图像获取器，而图像传感器还用于根据距离对触摸物进行聚焦，获取人手移动后在二维平面的坐标位置。具体地，本发明实施例提供的上述3D触控交互装置中，人机交互过程中，随着触摸物例如人手势的变换及位置变动，图像获取器和距离检测器可以实时检测人手在三维空间的坐标位置，同时距离传感器可以将人手到显示屏的距离反馈给图像获取器，从而图像获取器可以根据该距离进行手部聚焦，从而减少手部操作时，因为挡光的关系造成手势误判。
综上可知，图像获取器和距离检测器可以进行交互补偿，提高人手位置检测精度，降低手势识别的误差。其中图像传感器和距离检测器分别通过摄像头和超声波传感器来实现，具体的补偿流程如图4所示：S1，摄像头获取人手的图像以及二维平面的定位；S2，超声波传感器获取人手在三维立体空间距离显示屏的距离；S3，摄像头根据超声波传感器反馈的距离对人手进行聚焦。摄像头对人手聚焦之后，可以重新定位人手在二维平面的位置。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，如图1所示，图像获取器可以通过摄像头S来实现；摄像头S用于触摸物即人手在二维平面的坐标并生成对应的图像。该3D触控交互装置可以包括：至少一组相对设置的两个超声波传感器C；其中，一个超声波传感器C用于发送超声波，另一个超声波传感器C用于接收超声波；或，一个超声波传感器C用于发送超声波，两个超声波传感器C用于同时接收超声波。具体地，当3D触控交互装置应用初始化时，物件成像于人眼之前，摄像头配合算法会识别人手的手势，并确定人手位于二维平面即X/Y平面的位置；而超声波传感器则会检测手与屏的距离。更具体的说，摄像头确认好人手的平面位置后，超声波传感器会如图5所示发出超声波并检测反射回传的声波去定位距离。其中，可以先由左边超声波传感器C发射并接收，也可以由右边的从信号声波传感器C进行发射和接收；或是左边、右边之一的超声波传感器C发射，左右两边的超声波传感器均接收，从而有利于精准定位人手到显示屏的距离。进而控制器确定人手目前位于三维立体空间的三维坐标，确定人手位于哪个物件上，随后根据摄像头识别的手势，进行此物件的操作。
需要说明的是，本发明实施例提供的上述3D触控交互装置中，如图6所示，可以在显示屏上的不可视区放置摄像头S和超声波传感器C(例如，可设置于显示屏的边框区域、柔性电路板PCB或FPC上)，此处的摄像头与超声波传感器不限于图6所标识的位置，数量也不限于一个或多个。
基于同一发明构思，本发明实施例提供了一种本发明实施例提供的上述3D触控交互装置的触控交互方法，如图7所示，包括：
S101、显示三维图像；
S102、获取触摸物在二维平面的坐标；
S103、获取触摸物在三维立体空间距离显示屏的距离；
S104、根据触摸物在二维平面的坐标和距离显示屏的距离生成触摸物在三维立体空间的三维坐标范围，并确定该三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。
本发明实施例提供的上述触控交互方法中，通过获取触摸物即人手在三维立体空间的位置，提高3D触控交互装置的空间定位精度；进而在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点时，根据识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
在具体实施时，本发明实施例提供的上述触控交互方法中，还可以包括：将三维图像中交点对应区域的图像进行高亮显示；将三维图像中与触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。具体地，为了让使用者可以清楚知道自己接触到三维图像上的某个物件，从而对该物件进行触控操作，以提升人机交互体验的乐趣，可以将确定的触摸物即人手位于三维空间的坐标范围与三维图像中的物体图像的三维坐标范围进行对比，确定二者坐标范围具有交点时，说明人手触碰到该物体图像，从而将其高亮显示，让操作者了解自己的手在虚拟空间已经可以控制到此物件，再配合手的点击或其它手势，进行此物件的操作，而将三维图像中与人手二维坐标相同但三维坐标不同的区域对应的图像即人手穿过的物体图像进行透明显示，从而提供视觉反馈，让交互操作更为顺利。
在具体实施时，本发明实施例提供的上述触控交互方法中，还可以包括：通过眼动追踪检测，确定当前人眼观看的显示屏上的位置坐标；根据该位置坐标，将当前显示的三维图像切换到显示屏上对应位置坐标的区域进行显示。也可以在3D触控交互装置中设置位于不同方向的多个显示屏以及多个与显示屏一一对应的图像获取器；触控交互方法还包括：通过眼动追踪检测，确定当前人眼观看的位置坐标；根据位置坐标，将当前显示的三维图像切换到位置坐标对应方向的显示屏进行显示。具体地，利用眼动追踪检测用户当前所观看的位置坐标，从而进行屏成像的调整，即将三维图像切换到显示屏上与位置坐标对应的区域进行显示，或在多屏显示中切换到眼睛当前观看的显示屏进行显示，从而提升视觉反馈，提升用户体验。
下面以一个具体实施，来说明本发明实施例提供的上述3D触控交互装置的触控交互过程，具体如图8所示：
S11、通过眼动追踪确认使用者所观看的显示屏的位置；
S12、摄像头获取人手在二维平面的位置，超声波传感器确定人手在三维立体空间的距离显示屏的距离；
S13、控制器确定人手在三维立体空间的三维坐标范围，并控制显示屏显示三维图像；
S14、控制器确定人手与三维图像的三维坐标范围具有交点时，摄像头识别手势；
S15、根据摄像头识别的手势，完成对应的触控操作。
接下来的过程中，将不断重复确定人手在三维立体空间的位置，识别手势完成对应触控操作，直到使用者下达结束命令，在此期间眼动追踪实时检测人眼观看的位置，配合控制器实现显示屏之间的切换。
基于同一发明构思，本发明实施例提供了一种显示装置，包括本发明实施例提供的上述3D触控交互装置。该显示装置可以为虚拟现实头盔、虚拟现实眼镜或视频播放器中的任意一种。当然也可以将该3D触控交互装置应用于其他显示设备，在此不做限定。由于该显示装置解决问题的原理与3D触控交互装置相似，因此该显示装置的实施可以参见上述3D触控交互装置的实施，重复之处不再赘述。
本发明实施例提供了一种3D触控交互装置、其触控交互方法及显示装置，该3D触控交互装置包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，显示屏用于显示三维图像；图像获取器用于获取触摸物在二维平面的坐标并输出到控制器；距离检测器用于获取触摸物在三维立体空间距离显示屏的距离并输出到控制器；控制器用于根据触摸物在二维平面的坐标和距离显示屏的距离生成触摸物在三维立体空间的三维坐标范围，并确定该三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。这样通过图像获取器和距离检测器，来获取触摸物例如人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种3D触控交互装置，其特征在于，包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，
所述显示屏用于显示三维图像；
所述图像获取器用于获取触摸物在二维平面的坐标并输出到所述控制器；
所述距离检测器用于获取所述触摸物在三维立体空间距离所述显示屏的距离并输出到所述控制器；
所述控制器用于根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有交点时，对所述三维图像中所述交点对应的区域的图像进行触控操作。
2.如权利要求1所述的3D触控交互装置，其特征在于，所述控制器，还用于：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
3.如权利要求1所述的3D触控交互装置，其特征在于，所述控制器，还用于：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
4.如权利要求1所述的3D触控交互装置，其特征在于，所述图像获取器，还用于：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标并输出到所述控制器。
5.如权利要求4所述的3D触控交互装置，其特征在于，所述控制器，还用于：
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上与所述位置坐标对应的区域进行显示。
6.如权利要求1所述的3D触控交互装置，其特征在于，所述3D触控交互装置包括位于不同方向的多个所述显示屏，以及多个与所述显示屏一一对应的所述图像获取器；
各所述图像获取器用于通过眼动追踪检测，确定当前人眼观看的位置坐标并输出到所述控制器；
所述控制器根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
7.如权利要求1-6任一项所述的3D触控交互装置，其特征在于，所述距离检测器，还用于：
将获取的所述触摸物移动后在三维立体空间距离所述显示屏的距离反馈给所述图像获取器。
8.如权利要求7所述的3D触控交互装置，其特征在于，所述图像传感器，还用于：
根据所述距离对所述触摸物进行聚焦，获取所述触摸物移动后在二维平面的坐标位置。
9.如权利要求8所述的3D触控交互装置，其特征在于，所述距离检测器，包括：超声波传感器；
所述超声波传感器用于通过超声波检测，获取所述触摸物在三维立体空间距离所述显示屏的距离。
10.如权利要求9所述的3D触控交互装置，其特征在于，所述3D触控交互装置包括：至少一组相对设置的两个所述超声波传感器；其中，
一个所述超声波传感器用于发送超声波，另一个所述超声波传感器用于接收所述超声波；或，
一个所述超声波传感器用于发送超声波，两个所述超声波传感器用于同时接收超声波。
11.如权利要求1所述的3D触控交互装置，其特征在于，所述图像获取器，包括：摄像头；
所述摄像头用于获取所述触摸物在二维平面的坐标并生成对应的图像。
12.一种如权利要求1-11任一项所述的3D触控交互装置的触控交互方法，其特征在于，包括：
显示三维图像；
获取触摸物在二维平面的坐标；
获取所述触摸物在三维立体空间距离所述显示屏的距离；
根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有交点时，对所述三维图像中所述交点对应的区域的图像进行触控操作。
13.如权利要求12所述的触控交互方法，其特征在于，还包括：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
14.如权利要求12所述的触控交互方法，其特征在于，还包括：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
15.如权利要求12所述的触控交互方法，其特征在于，还包括：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标；
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上对应所述位置坐标的区域进行显示。
16.如权利要求12所述的触控交互方法，其特征在于，所述3D触控交互装置包括位于不同方向的多个所述显示屏以及多个与所述显示屏一一对应的所述图像获取器；所述触控交互方法还包括：
通过眼动追踪检测，确定当前人眼观看的位置坐标；
根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
17.一种显示装置，其特征在于，包括如权利要求1-11任一项所述的3D触控交互装置。
18.如权利要求17所述的显示装置，其特征在于，所述显示装置为虚拟现实头盔、虚拟现实眼镜或视频播放器中的任意一种。
CN201710142884.8A 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置 Active CN106919294B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710142884.8A CN106919294B (zh) 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置
US15/775,978 US20190265841A1 (en) 2017-03-10 2017-09-26 3d touch interaction device, touch interaction method thereof, and display device
PCT/CN2017/103456 WO2018161542A1 (zh) 2017-03-10 2017-09-26 一种3d触控交互装置、其触控交互方法及显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710142884.8A CN106919294B (zh) 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置

Publications (2)

Publication Number Publication Date
CN106919294A true CN106919294A (zh) 2017-07-04
CN106919294B CN106919294B (zh) 2020-07-21

Family

ID=59462166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710142884.8A Active CN106919294B (zh) 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置

Country Status (3)

Country Link
US (1) US20190265841A1 (zh)
CN (1) CN106919294B (zh)
WO (1) WO2018161542A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483915A (zh) * 2017-08-23 2017-12-15 京东方科技集团股份有限公司 三维图像的控制方法及装置
CN108459802A (zh) * 2018-02-28 2018-08-28 北京航星机器制造有限公司 一种触控显示终端交互方法和装置
WO2018161542A1 (zh) * 2017-03-10 2018-09-13 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN110266881A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关产品
CN111722769A (zh) * 2020-07-16 2020-09-29 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
CN111782063A (zh) * 2020-06-08 2020-10-16 腾讯科技（深圳）有限公司 实时显示方法、***及计算机可读存储介质和终端设备
CN112306305A (zh) * 2020-10-28 2021-02-02 黄奎云 三维触摸装置
CN114265498A (zh) * 2021-12-16 2022-04-01 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和***
US20150338998A1 (en) * 2014-05-22 2015-11-26 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
CN105204650A (zh) * 2015-10-22 2015-12-30 上海科世达-华阳汽车电器有限公司 一种手势识别方法、控制器、装置及设备
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的***和方法
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919294B (zh) * 2017-03-10 2020-07-21 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的***和方法
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和***
US20150338998A1 (en) * 2014-05-22 2015-11-26 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
CN105204650A (zh) * 2015-10-22 2015-12-30 上海科世达-华阳汽车电器有限公司 一种手势识别方法、控制器、装置及设备
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及***

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018161542A1 (zh) * 2017-03-10 2018-09-13 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN107483915B (zh) * 2017-08-23 2020-11-13 京东方科技集团股份有限公司 三维图像的控制方法及装置
CN107483915A (zh) * 2017-08-23 2017-12-15 京东方科技集团股份有限公司 三维图像的控制方法及装置
CN108459802A (zh) * 2018-02-28 2018-08-28 北京航星机器制造有限公司 一种触控显示终端交互方法和装置
CN108459802B (zh) * 2018-02-28 2020-11-20 北京航星机器制造有限公司 一种触控显示终端交互方法和装置
CN110266881A (zh) * 2019-06-18 2019-09-20 Oppo广东移动通信有限公司 应用控制方法及相关产品
CN111782063A (zh) * 2020-06-08 2020-10-16 腾讯科技（深圳）有限公司 实时显示方法、***及计算机可读存储介质和终端设备
CN111782063B (zh) * 2020-06-08 2021-08-31 腾讯科技（深圳）有限公司 实时显示方法、***及计算机可读存储介质和终端设备
CN111722769B (zh) * 2020-07-16 2024-03-05 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
CN111722769A (zh) * 2020-07-16 2020-09-29 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
US11948243B2 (en) 2020-07-16 2024-04-02 Tencent Technology (Shenzhen) Company Limited Three-dimensional virtual object interaction method and apparatus, display device, and storage medium
WO2022012194A1 (zh) * 2020-07-16 2022-01-20 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
CN112306305A (zh) * 2020-10-28 2021-02-02 黄奎云 三维触摸装置
CN112306305B (zh) * 2020-10-28 2021-08-31 黄奎云 三维触摸装置
CN114265498B (zh) * 2021-12-16 2023-10-27 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法
CN114265498A (zh) * 2021-12-16 2022-04-01 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法

Also Published As

Publication number Publication date
WO2018161542A1 (zh) 2018-09-13
US20190265841A1 (en) 2019-08-29
CN106919294B (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
CN106919294A (zh) 一种3d触控交互装置、其触控交互方法及显示装置
US8872762B2 (en) Three dimensional user interface cursor control
US9086742B2 (en) Three-dimensional display device, three-dimensional image capturing device, and pointing determination method
CN106454311B (zh) 一种led三维成像***及方法
JP5117418B2 (ja) 情報処理装置及び情報処理方法
US20130321347A1 (en) Virtual touch device without pointer
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
JP5167439B1 (ja) 立体画像表示装置及び立体画像表示方法
WO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
CN102508578B (zh) 投影定位装置及方法、交互***和交互方法
CN105373266A (zh) 一种新型的基于双目视觉的交互方法和电子白板***
KR20120046973A (ko) 움직임 정보 생성 방법 및 장치
WO2013074989A1 (en) Pre-button event stylus position
US8462110B2 (en) User input by pointing
CN104391578A (zh) 一种三维影像的实时手势操控方法
US20120235987A1 (en) Multi dimensional touch display device and touch input method thereof
CN103460257A (zh) 立体显示设备、接受指令的方法、程序及记录其的介质
CN102650906A (zh) 一种用户界面的控制方法及装置
EP3029547A1 (en) Three-dimensional input device and input system
EP3524926B1 (en) Augmented reality-based system with perimeter definition functionality and corresponding inspection method
JPH05189137A (ja) 計算機用コマンド入力装置
JP2012256104A (ja) 情報処理装置、情報処理方法およびプログラム
RU2604430C2 (ru) Взаимодействие с трехмерным виртуальным динамическим отображением
US9122346B2 (en) Methods for input-output calibration and image rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant