CN106919294B - 一种3d触控交互装置、其触控交互方法及显示装置 - Google Patents

一种3d触控交互装置、其触控交互方法及显示装置 Download PDF

Info

Publication number
CN106919294B
CN106919294B CN201710142884.8A CN201710142884A CN106919294B CN 106919294 B CN106919294 B CN 106919294B CN 201710142884 A CN201710142884 A CN 201710142884A CN 106919294 B CN106919294 B CN 106919294B
Authority
CN
China
Prior art keywords
dimensional
touch
image
display screen
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710142884.8A
Other languages
English (en)
Other versions
CN106919294A (zh
Inventor
郑智仁
王海生
吴俊纬
丁小梁
韩艳玲
郭玉珍
刘英明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710142884.8A priority Critical patent/CN106919294B/zh
Publication of CN106919294A publication Critical patent/CN106919294A/zh
Priority to PCT/CN2017/103456 priority patent/WO2018161542A1/zh
Priority to US15/775,978 priority patent/US20190265841A1/en
Application granted granted Critical
Publication of CN106919294B publication Critical patent/CN106919294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种3D触控交互装置、其触控交互方法及显示装置，该3D触控交互装置包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，通过图像获取器和距离检测器，来获取触摸物例如人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点时即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。

Description

一种3D触控交互装置、其触控交互方法及显示装置
技术领域
本发明涉及显示技术领域，尤其涉及一种3D触控交互装置、其触控交互方法及显示装置。
背景技术
随着显示技术的进步，裸视3D、视频播放器、虚拟现实技术VR成为显示应用领域的热门话题。3D立体显示是通过全息技术、投影技术、眼镜式技术而制成的基于平面立体成像的技术。它区别于普通显示的最大的特点就是能够“还原真实再现”。基于这种显示技术，可以直接观察到具有物理景深的三维图像，真三维立体显示技术图像逼真、具有全视景、多角度、多人同时观察等众多优点。若将3D立体显示配合空间中远距交互实现触控操作功能，还可以为使用者带来更佳的人机交互体验。
因此，如何实现3D显示装置的远距交互触控操作，提升人机交互体验，是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供了一种3D触控交互装置、其触控交互方法及显示装置，用以实现3D显示装置的远距交互触控操作，提升人机交互体验。
本发明实施例提供了一种3D触控交互装置，包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，
所述显示屏用于显示三维图像；
所述图像获取器用于获取触摸物在二维平面的坐标并输出到所述控制器；
所述距离检测器用于获取所述触摸物在三维立体空间距离所述显示屏的距离并输出到所述控制器；
所述控制器用于根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有焦点时，对所述三维图像中所述交点对应的区域的图像进行触控操作。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述控制器，还用于：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述控制器，还用于：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述图像获取器，还用于：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标并输出到所述控制器。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述控制器，还用于：
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上与所述位置坐标对应的区域进行显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述3D触控交互装置包括位于不同方向的多个所述显示屏，以及多个与所述显示屏一一对应的所述图像获取器；
各所述图像获取器用于通过眼动追踪检测，确定当前人眼观看的位置坐标并输出到所述控制器；
所述控制器根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述距离检测器，还用于：
将获取的所述触摸物移动后在三维立体空间距离所述显示屏的距离反馈给所述图像获取器。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述图像传感器，还用于：
根据所述距离对所述触摸物进行聚焦，获取所述触摸物移动后在二维平面的坐标位置。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述距离检测器，包括：超声波传感器；
所述超声波传感器用于通过超声波检测，获取所述触摸物在三维立体空间距离所述显示屏的距离。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述3D触控交互装置包括：至少一组相对设置的两个所述超声波传感器；其中，
一个所述超声波传感器用于发送超声波，另一个所述超声波传感器用于接收所述超声波；或，
一个所述超声波传感器用于发送超声波，两个所述超声波传感器用于同时接收超声波。
在一种可能的实施方式中，本发明实施例提供的上述3D触控交互装置中，所述图像获取器，包括：摄像头；
所述摄像头用于获取所述触摸物在二维平面的坐标并生成对应的图像。
本发明实施例提供了一种本发明实施例提供的上述3D触控交互装置的触控交互方法，包括：
显示三维图像；
获取触摸物在二维平面的坐标；
获取所述触摸物在三维立体空间距离所述显示屏的距离；
根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有交点时，对所述三维图像中所述交点对应的区域的图像进行触控操作。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，还包括：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，还包括：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，还包括：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标；
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上对应所述位置坐标的区域进行显示。
在一种可能的实施方式中，本发明实施例提供的上述触控交互方法中，所述3D触控交互装置包括位于不同方向的多个所述显示屏以及多个与所述显示屏一一对应的所述图像获取器；所述触控交互方法还包括：
通过眼动追踪检测，确定当前人眼观看的位置坐标；
根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
本发明实施例提供了一种显示装置，包括本发明实施例提供的上述3D触控交互装置。
在一种可能的实施方式中，本发明实施例提供的上述显示装置中，所述显示装置为虚拟现实头盔、虚拟现实眼镜或视频播放器中的任意一种。
本发明实施例的有益效果包括：
本发明实施例提供了一种3D触控交互装置、其触控交互方法及显示装置，该3D触控交互装置包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，显示屏用于显示三维图像；图像获取器用于获取触摸物在二维平面的坐标并输出到控制器；距离检测器用于获取触摸物在三维立体空间距离显示屏的距离并输出到控制器；控制器用于根据触摸物在二维平面的坐标和距离显示屏的距离生成触摸物在三维立体空间的三维坐标范围，并确定三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。这样通过图像获取器和距离检测器，来获取触摸物例如人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点时即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
附图说明
图1为本发明实施例提供的3D触控交互装置的结构示意图；
图2为本发明实施例提供的3D成像示意图；
图3本发明实施例提供的3D触控交互装置的触控交互过程示意图；
图4为本发明实施例提供的摄像头与超声波传感器的交互补偿流程图；
图5为本发明实施例提供的超声波传感器距离检测示意图；
图6为本发明实施例提供的摄像头和超声波传感器的设置位置示意图；
图7为本发明实施例提供的3D触控交互装置的触控交互方法流程图；
图8为本发明实施例提供的3D触控交互装置的具体触控交互过程示意图。
具体实施方式
下面结合附图，对本发明实施例提供的3D触控交互装置、其触控交互方法及显示装置的具体实施方式进行详细的说明。
本发明实施例提供了一种3D触控交互装置，如图1所示，包括：至少一个显示屏01、至少一个图像获取器02、至少一个距离检测器03和控制器(图1中未示出)；其中，
显示屏01用于显示三维图像；
图像获取器02用于获取触摸物在二维平面的坐标并输出到控制器；
距离检测器03用于获取触摸物在三维立体空间距离显示屏01的距离并输出到控制器；
控制器用于根据触摸物在二维平面的坐标和距离显示屏01的距离生成触摸物在三维立体空间的三维坐标范围，并确定该三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。
本发明实施例提供的上述3D触控交互装置中，如图2所示，3D显示图像的显示效果就是人眼看到物体图像(B1、B2)浮出显示屏01之外并具有远近的感受，而对于这些物件的操作，此时除了上下左右的二维平面外，还有一个触摸物例如人手距离显示屏的第三维度距离需要确定，只有确定了人手在三维立体空间的三维坐标，才能够让人机交互的动作顺利的实施在3D的虚拟实境上。本发明通过图像获取器和距离检测器，来识别手势并获取人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度，实现高精度的检测；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，控制器还用于：将三维图像中交点对应区域的图像进行高亮显示；将三维图像中与触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。具体地，本发明实施例提供的上述3D触控交互装置中，为了让使用者可以清楚知道自己接触到三维图像上的某个物件，从而对该物件进行触控操作，以提升人机交互体验的乐趣，控制器可以将确定的触摸物例如人手位于三维空间的坐标范围与三维图像中的物体图像的三维坐标范围进行对比，确定二者坐标范围具有交点时，说明人手触碰到该三维图像中交点对应区域的物体图像，从而将其高亮显示，让操作者了解自己的手在虚拟空间已经可以控制到此物件，再配合手的点击或其它手势，进行此物件的操作，而将三维图像中与人手二维坐标相同但三维坐标不同的区域对应的图像即人手穿过的物体图像进行透明显示，从而提供视觉反馈，让交互操作更为顺利。其中也可以将人手穿过的物体图像设置为弹开，具体设置可根据实际需要进行选择，在此不做限定。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，图像获取器还用于通过眼动追踪检测，确定当前人眼观看的显示屏上的位置坐标并输出到控制器；控制器还用于根据位置坐标，将当前显示的三维图像切换到显示屏上与位置坐标对应的区域进行显示。具体地，本发明实施例提供的上述3D触控交互装置中，图像获取器会利用眼动追踪检测用户当前所观看的位置坐标，从而进行屏成像的调整，即将三维图像切换到显示屏上与位置坐标对应的区域进行显示，提升视觉反馈，进而提升用户体验。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，如图1所示，3D触控交互装置包括位于不同方向的多个显示屏01，以及多个与显示屏01一一对应的图像获取器02；各图像获取器02用于通过眼动追踪检测，确定当前人眼观看的位置坐标并输出到控制器；控制器根据位置坐标，将当前显示的三维图像切换到位置坐标对应方向的显示屏进行显示。
具体地，本发明实施例提供的上述3D触控交互装置中，如图3所示，当使用者面对前方屏幕时，会看到前方物件成像，如物件object#1与object#2，而图像获取器会利用眼动追踪检测使用者所观看的地方进行屏成像的调整。当使用者用手去接触object#1时，图像获取器和距离检测器会检测到使用者手部的三维坐标，当手抵达目标位置object#1前，会穿透过物体object#2，控制器会将其如图3中所示进行透明显示；而当手接触到object#1时，控制器则将object#1高亮显示，此时使用者感知到已经接触到此物件，便可开始进行手势的操作，而此手势操作也会被图像获取器和距离检测器检测并反馈给控制器，进行3D图像显示。而当物件在各显示屏之间移动时，则由图像获取器检测判断后，反馈到控制器进行各显示屏之间的切换显示。如图3所示，object#1移到下方屏object#3的过程，或移动到右边屏object#4的过程，为了减少因为不同屏间的视觉误差，可利用图像获取器配合眼动跟踪去确定人员当前观看的坐标位置，进而反馈给控制器进行3D显示调整，如眼睛看前方屏，则由前方屏负责object#4的3D显示，若改看到右方屏，则由右方屏负责显示，同样的方式也可以应用在下方屏。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，距离检测器还用于将获取的触摸物移动后在三维立体空间距离显示屏的距离反馈给图像获取器，而图像传感器还用于根据距离对触摸物进行聚焦，获取人手移动后在二维平面的坐标位置。具体地，本发明实施例提供的上述3D触控交互装置中，人机交互过程中，随着触摸物例如人手势的变换及位置变动，图像获取器和距离检测器可以实时检测人手在三维空间的坐标位置，同时距离传感器可以将人手到显示屏的距离反馈给图像获取器，从而图像获取器可以根据该距离进行手部聚焦，从而减少手部操作时，因为挡光的关系造成手势误判。
综上可知，图像获取器和距离检测器可以进行交互补偿，提高人手位置检测精度，降低手势识别的误差。其中图像传感器和距离检测器分别通过摄像头和超声波传感器来实现，具体的补偿流程如图4所示：S1，摄像头获取人手的图像以及二维平面的定位；S2，超声波传感器获取人手在三维立体空间距离显示屏的距离；S3，摄像头根据超声波传感器反馈的距离对人手进行聚焦。摄像头对人手聚焦之后，可以重新定位人手在二维平面的位置。
在具体实施时，本发明实施例提供的上述3D触控交互装置中，如图1所示，图像获取器可以通过摄像头S来实现；摄像头S用于触摸物即人手在二维平面的坐标并生成对应的图像。该3D触控交互装置可以包括：至少一组相对设置的两个超声波传感器C；其中，一个超声波传感器C用于发送超声波，另一个超声波传感器C用于接收超声波；或，一个超声波传感器C用于发送超声波，两个超声波传感器C用于同时接收超声波。具体地，当3D触控交互装置应用初始化时，物件成像于人眼之前，摄像头配合算法会识别人手的手势，并确定人手位于二维平面即X/Y平面的位置；而超声波传感器则会检测手与屏的距离。更具体的说，摄像头确认好人手的平面位置后，超声波传感器会如图5所示发出超声波并检测反射回传的声波去定位距离。其中，可以先由左边超声波传感器C发射并接收，也可以由右边的从信号声波传感器C进行发射和接收；或是左边、右边之一的超声波传感器C发射，左右两边的超声波传感器均接收，从而有利于精准定位人手到显示屏的距离。进而控制器确定人手目前位于三维立体空间的三维坐标，确定人手位于哪个物件上，随后根据摄像头识别的手势，进行此物件的操作。
需要说明的是，本发明实施例提供的上述3D触控交互装置中，如图6所示，可以在显示屏上的不可视区放置摄像头S和超声波传感器C(例如，可设置于显示屏的边框区域、柔性电路板PCB或FPC上)，此处的摄像头与超声波传感器不限于图6所标识的位置，数量也不限于一个或多个。
基于同一发明构思，本发明实施例提供了一种本发明实施例提供的上述3D触控交互装置的触控交互方法，如图7所示，包括：
S101、显示三维图像；
S102、获取触摸物在二维平面的坐标；
S103、获取触摸物在三维立体空间距离显示屏的距离；
S104、根据触摸物在二维平面的坐标和距离显示屏的距离生成触摸物在三维立体空间的三维坐标范围，并确定该三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。
本发明实施例提供的上述触控交互方法中，通过获取触摸物即人手在三维立体空间的位置，提高3D触控交互装置的空间定位精度；进而在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点时，根据识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
在具体实施时，本发明实施例提供的上述触控交互方法中，还可以包括：将三维图像中交点对应区域的图像进行高亮显示；将三维图像中与触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。具体地，为了让使用者可以清楚知道自己接触到三维图像上的某个物件，从而对该物件进行触控操作，以提升人机交互体验的乐趣，可以将确定的触摸物即人手位于三维空间的坐标范围与三维图像中的物体图像的三维坐标范围进行对比，确定二者坐标范围具有交点时，说明人手触碰到该物体图像，从而将其高亮显示，让操作者了解自己的手在虚拟空间已经可以控制到此物件，再配合手的点击或其它手势，进行此物件的操作，而将三维图像中与人手二维坐标相同但三维坐标不同的区域对应的图像即人手穿过的物体图像进行透明显示，从而提供视觉反馈，让交互操作更为顺利。
在具体实施时，本发明实施例提供的上述触控交互方法中，还可以包括：通过眼动追踪检测，确定当前人眼观看的显示屏上的位置坐标；根据该位置坐标，将当前显示的三维图像切换到显示屏上对应位置坐标的区域进行显示。也可以在3D触控交互装置中设置位于不同方向的多个显示屏以及多个与显示屏一一对应的图像获取器；触控交互方法还包括：通过眼动追踪检测，确定当前人眼观看的位置坐标；根据位置坐标，将当前显示的三维图像切换到位置坐标对应方向的显示屏进行显示。具体地，利用眼动追踪检测用户当前所观看的位置坐标，从而进行屏成像的调整，即将三维图像切换到显示屏上与位置坐标对应的区域进行显示，或在多屏显示中切换到眼睛当前观看的显示屏进行显示，从而提升视觉反馈，提升用户体验。
下面以一个具体实施，来说明本发明实施例提供的上述3D触控交互装置的触控交互过程，具体如图8所示：
S11、通过眼动追踪确认使用者所观看的显示屏的位置；
S12、摄像头获取人手在二维平面的位置，超声波传感器确定人手在三维立体空间的距离显示屏的距离；
S13、控制器确定人手在三维立体空间的三维坐标范围，并控制显示屏显示三维图像；
S14、控制器确定人手与三维图像的三维坐标范围具有交点时，摄像头识别手势；
S15、根据摄像头识别的手势，完成对应的触控操作。
接下来的过程中，将不断重复确定人手在三维立体空间的位置，识别手势完成对应触控操作，直到使用者下达结束命令，在此期间眼动追踪实时检测人眼观看的位置，配合控制器实现显示屏之间的切换。
基于同一发明构思，本发明实施例提供了一种显示装置，包括本发明实施例提供的上述3D触控交互装置。该显示装置可以为虚拟现实头盔、虚拟现实眼镜或视频播放器中的任意一种。当然也可以将该3D触控交互装置应用于其他显示设备，在此不做限定。由于该显示装置解决问题的原理与3D触控交互装置相似，因此该显示装置的实施可以参见上述3D触控交互装置的实施，重复之处不再赘述。
本发明实施例提供了一种3D触控交互装置、其触控交互方法及显示装置，该3D触控交互装置包括：至少一个显示屏、至少一个图像获取器、至少一个距离检测器和控制器；其中，显示屏用于显示三维图像；图像获取器用于获取触摸物在二维平面的坐标并输出到控制器；距离检测器用于获取触摸物在三维立体空间距离显示屏的距离并输出到控制器；控制器用于根据触摸物在二维平面的坐标和距离显示屏的距离生成触摸物在三维立体空间的三维坐标范围，并确定该三维坐标范围与三维图像的三维坐标范围具有交点时，对三维图像中交点对应的区域的图像进行触控操作。这样通过图像获取器和距离检测器，来获取触摸物例如人手在三维立体空间的位置并输出到控制器，从而可以提高3D触控交互装置的空间定位精度；进而控制器可以在确定人手的三维坐标范围与三维图像的三维坐标范围具有交点即人手接触到三维图像时，根据图像获取器识别的手势完成对应的触控操作，实现精确的空间定位与软件控制相结合，提供视觉反馈，让交互操作更为顺利，从而可以提高3D显示人机交互体验。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种3D触控交互装置，其特征在于，包括：位于不同方向的多个显示屏、与所述多个显示屏一一对应的图像获取器、至少一个距离检测器和控制器；其中，
所述显示屏用于显示三维图像；
所述图像获取器用于获取触摸物在二维平面的坐标并输出到所述控制器，以及通过眼动追踪检测，确定当前人眼观看的位置坐标并输出到所述控制器；
所述距离检测器用于获取所述触摸物在三维立体空间距离所述显示屏的距离并输出到所述控制器；
所述控制器用于根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有交点时，对所述三维图像中所述交点对应的区域的图像进行触控操作，以及根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
2.如权利要求1所述的3D触控交互装置，其特征在于，所述控制器，还用于：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
3.如权利要求1所述的3D触控交互装置，其特征在于，所述控制器，还用于：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
4.如权利要求1所述的3D触控交互装置，其特征在于，所述图像获取器，还用于：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标并输出到所述控制器。
5.如权利要求4所述的3D触控交互装置，其特征在于，所述控制器，还用于：
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上与所述位置坐标对应的区域进行显示。
6.如权利要求1-5任一项所述的3D触控交互装置，其特征在于，所述距离检测器，还用于：
将获取的所述触摸物移动后在三维立体空间距离所述显示屏的距离反馈给所述图像获取器。
7.如权利要求6所述的3D触控交互装置，其特征在于，所述图像获取器，还用于：
根据所述距离对所述触摸物进行聚焦，获取所述触摸物移动后在二维平面的坐标位置。
8.如权利要求7所述的3D触控交互装置，其特征在于，所述距离检测器，包括：超声波传感器；
所述超声波传感器用于通过超声波检测，获取所述触摸物在三维立体空间距离所述显示屏的距离。
9.如权利要求8所述的3D触控交互装置，其特征在于，所述3D触控交互装置包括：至少一组相对设置的两个所述超声波传感器；其中，
一个所述超声波传感器用于发送超声波，另一个所述超声波传感器用于接收所述超声波；或，
一个所述超声波传感器用于发送超声波，两个所述超声波传感器用于同时接收超声波。
10.如权利要求1所述的3D触控交互装置，其特征在于，所述图像获取器，包括：摄像头；
所述摄像头用于获取所述触摸物在二维平面的坐标并生成对应的图像。
11.一种如权利要求1-10任一项所述的3D触控交互装置的触控交互方法，其特征在于，包括：
显示三维图像；
获取触摸物在二维平面的坐标，以及通过眼动追踪检测，确定当前人眼观看的位置坐标；
获取所述触摸物在三维立体空间距离所述显示屏的距离；
根据所述触摸物在二维平面的坐标和距离所述显示屏的距离生成所述触摸物在三维立体空间的三维坐标范围，并确定所述三维坐标范围与所述三维图像的三维坐标范围具有交点时，对所述三维图像中所述交点对应的区域的图像进行触控操作，以及根据所述位置坐标，将当前显示的所述三维图像切换到所述位置坐标对应方向的所述显示屏进行显示。
12.如权利要求11所述的触控交互方法，其特征在于，还包括：
将所述三维图像中所述交点对应区域的图像进行高亮显示。
13.如权利要求11所述的触控交互方法，其特征在于，还包括：
将所述三维图像中与所述触摸物的二维平面坐标重合且三维立体空间坐标不同的区域对应的图像进行透明化显示。
14.如权利要求11所述的触控交互方法，其特征在于，还包括：
通过眼动追踪检测，确定当前人眼观看的所述显示屏上的位置坐标；
根据所述位置坐标，将当前显示的所述三维图像切换到所述显示屏上对应所述位置坐标的区域进行显示。
15.一种显示装置，其特征在于，包括如权利要求1-10任一项所述的3D触控交互装置。
16.如权利要求15所述的显示装置，其特征在于，所述显示装置为虚拟现实头盔、虚拟现实眼镜或视频播放器中的任意一种。
CN201710142884.8A 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置 Active CN106919294B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710142884.8A CN106919294B (zh) 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置
PCT/CN2017/103456 WO2018161542A1 (zh) 2017-03-10 2017-09-26 一种3d触控交互装置、其触控交互方法及显示装置
US15/775,978 US20190265841A1 (en) 2017-03-10 2017-09-26 3d touch interaction device, touch interaction method thereof, and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710142884.8A CN106919294B (zh) 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置

Publications (2)

Publication Number Publication Date
CN106919294A CN106919294A (zh) 2017-07-04
CN106919294B true CN106919294B (zh) 2020-07-21

Family

ID=59462166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710142884.8A Active CN106919294B (zh) 2017-03-10 2017-03-10 一种3d触控交互装置、其触控交互方法及显示装置

Country Status (3)

Country Link
US (1) US20190265841A1 (zh)
CN (1) CN106919294B (zh)
WO (1) WO2018161542A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919294B (zh) * 2017-03-10 2020-07-21 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
CN107483915B (zh) * 2017-08-23 2020-11-13 京东方科技集团股份有限公司 三维图像的控制方法及装置
CN108459802B (zh) * 2018-02-28 2020-11-20 北京航星机器制造有限公司 一种触控显示终端交互方法和装置
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
CN110266881B (zh) * 2019-06-18 2021-03-12 Oppo广东移动通信有限公司 应用控制方法及相关产品
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端
CN111782063B (zh) * 2020-06-08 2021-08-31 腾讯科技（深圳）有限公司 实时显示方法、***及计算机可读存储介质和终端设备
CN111722769B (zh) * 2020-07-16 2024-03-05 腾讯科技（深圳）有限公司 交互方法、装置、显示设备和存储介质
CN112306305B (zh) * 2020-10-28 2021-08-31 黄奎云 三维触摸装置
CN114265498B (zh) * 2021-12-16 2023-10-27 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和***
CN105204650A (zh) * 2015-10-22 2015-12-30 上海科世达-华阳汽车电器有限公司 一种手势识别方法、控制器、装置及设备
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的***和方法
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740338B2 (en) * 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
CN106919294B (zh) * 2017-03-10 2020-07-21 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508546A (zh) * 2011-10-31 2012-06-20 冠捷显示科技（厦门）有限公司 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN105378596A (zh) * 2013-06-08 2016-03-02 索尼电脑娱乐公司 用于头戴式显示器中在透明模式与非透明模式之间转变的***和方法
CN103744518A (zh) * 2014-01-28 2014-04-23 深圳超多维光电子有限公司 立体交互方法及其显示装置和***
CN105204650A (zh) * 2015-10-22 2015-12-30 上海科世达-华阳汽车电器有限公司 一种手势识别方法、控制器、装置及设备
CN106095199A (zh) * 2016-05-23 2016-11-09 广州华欣电子科技有限公司 一种基于投影屏幕的触控定位方法及***

Also Published As

Publication number Publication date
CN106919294A (zh) 2017-07-04
US20190265841A1 (en) 2019-08-29
WO2018161542A1 (zh) 2018-09-13

Similar Documents

Publication Publication Date Title
CN106919294B (zh) 一种3d触控交互装置、其触控交互方法及显示装置
US20200409529A1 (en) Touch-free gesture recognition system and method
EP2660686B1 (en) Gesture operation input system and gesture operation input method
EP2638461B1 (en) Apparatus and method for user input for controlling displayed information
JP4076090B2 (ja) 画像表示システム
JP6569496B2 (ja) 入力装置、入力方法、及びプログラム
US9753547B2 (en) Interactive displaying method, control method and system for achieving displaying of a holographic image
US20110107216A1 (en) Gesture-based user interface
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
WO2018003861A1 (ja) 表示装置および制御装置
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN102662577A (zh) 一种基于三维显示的光标操作方法及移动终端
CN106980377B (zh) 一种三维空间的交互***及其操作方法
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US20150323988A1 (en) Operating apparatus for an electronic device
CN103176605A (zh) 一种手势识别控制装置及控制方法
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
TW201439813A (zh) 顯示設備及其控制系統和方法
US20130120361A1 (en) Spatial 3d interactive instrument
TW202132951A (zh) 漂浮影像顯示裝置、互動方法與其系統
CN112843671A (zh) 显示终端和游戏机
CN106293012A (zh) 一种三维体感双向交互***和方法
KR20240092971A (ko) 공간터치 입력기능을 제공하는 무안경 입체영상 표시장치
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant