CN110471577A - 一种360度全方位虚拟触控方法、***、平台及存储介质 - Google Patents

一种360度全方位虚拟触控方法、***、平台及存储介质 Download PDF

Info

Publication number
CN110471577A
CN110471577A CN201910759816.5A CN201910759816A CN110471577A CN 110471577 A CN110471577 A CN 110471577A CN 201910759816 A CN201910759816 A CN 201910759816A CN 110471577 A CN110471577 A CN 110471577A
Authority
CN
China
Prior art keywords
camera
virtual touch
touch control
degrees omnidirection
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910759816.5A
Other languages
English (en)
Other versions
CN110471577B (zh
Inventor
赖习章
曾庆彬
邓奕明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Ye Feng Intelligent Technology Co Ltd
Original Assignee
Zhongshan Ye Feng Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Ye Feng Intelligent Technology Co Ltd filed Critical Zhongshan Ye Feng Intelligent Technology Co Ltd
Publication of CN110471577A publication Critical patent/CN110471577A/zh
Application granted granted Critical
Publication of CN110471577B publication Critical patent/CN110471577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及计算机技术领域，具体涉及一种360度全方位虚拟触控方法、***、平台及存储介质。通过根据激光投射出平行光，获取照亮的部分数据进行背景建模；结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；根据得到的距离，发出操控指令信息，实现实时触控。可以实现支持多人同时操作，有效提升分享的效率和乐趣；每个人上下左右的方向都是相对于自身的方向，让每个人感觉到自己前面就是正放的一块触摸板。

Description

一种360度全方位虚拟触控方法、***、平台及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种360度全方位虚拟触控方法、***、平台及存储介质。
背景技术
目前在圆桌会议上，大家会针对ppt上的某一个观点进行讨论，在ppt上做标记等，这种协同工作的方式在公司时有发生，目前没有很好的方案解决协同操作的问题；
即目前的虚拟键盘、虚拟鼠标等通过红外一字镜实现触控的解决方案都不支持多人同时操作。
发明内容
针对以上不支持多人同时操作的技术问题，本发明提供一种360度全方位虚拟触控方法、***、平台及存储介质，可以实现支持多人同时操作，有效提升分享的效率和乐趣；每个人上下左右的方向都是相对于自身的方向，让每个人感觉到自己前面就是正放的一块触摸板。
本发明具体通过以下技术方案实现：
一种360度全方位虚拟触控方法，所述的方法具体包括如下步骤：
根据激光投射出平行光，获取照亮的部分数据进行背景建模；
结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
根据得到的距离，发出操控指令信息，实现实时触控。
进一步地，所述的摄像头装置包括单目摄像头装置360度覆盖和双目摄像头装置360度覆盖；
所述的摄像头装置具体为多人模式或单人模式。
进一步地，于步骤根据激光投射出平行光，获取照亮的部分数据进行背景建模之前，还包括如下步骤：
获取摄像头的内参矩阵和外参矩阵。
进一步地，于步骤结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据之中，还包括如下步骤：
对获取摄像头视野中的指尖位置图像数据进行轮廓识别匹配处理。
进一步地，于步骤通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离之中，还包括如下步骤：
获取手指触控点的法向和切向位置数据；
通过摄像头的旋转矩阵和平移矩阵，获得对应的使用轨迹和姿态数据。
为实现上述目的，本发明还提供一种360度全方位虚拟触控***，所述的***具体包括：
第一获取单元，用于根据激光投射出平行光，获取照亮的部分数据进行背景建模；
第二获取单元，用于结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
第三获取单元，用于通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
操控单元，用于根据得到的距离，发出操控指令信息，实现实时触控。
进一步地，所述的***还包括：
第一获取模块，用于获取摄像头的内参矩阵和外参矩阵；
所述的第二获取单元还包括：
第二获取模块，用于对获取摄像头视野中的指尖位置图像数据进行轮廓识别匹配处理；
所述的第三获取单元还包括：
第三获取模块，用于获取手指触控点的法向和切向位置数据；
第四获取模块，用于通过摄像头的旋转矩阵和平移矩阵，获得对应的使用轨迹和姿态数据。
为实现上述目的，本发明还提供一种360度全方位虚拟触控平台，包括：
处理器、存储器以及360度全方位虚拟触控平台控制程序；
其中在所述的处理器执行所述的360度全方位虚拟触控平台控制程序，所述360度全方位虚拟触控平台控制程序被存储在所述存储器中，所述的360度全方位虚拟触控平台控制程序，实现所述的360度全方位虚拟触控方法步骤。
为实现上述目的，本发明还提供一种计算机可读取存储介质，所述计算机可读取存储介质存储有360度全方位虚拟触控平台控制程序，所述的360度全方位虚拟触控平台控制程序，实现所述的360度全方位虚拟触控方法步骤。
与现有技术相比，本发明具有以下有益效果：
本发明通过一种360度全方位虚拟触控方法，
根据激光投射出平行光，获取照亮的部分数据进行背景建模；
结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
根据得到的距离，发出操控指令信息，实现实时触控。
及相应地***单元和模块：
第一获取单元，用于根据激光投射出平行光，获取照亮的部分数据进行背景建模；
第二获取单元，用于结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
第三获取单元，用于通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
操控单元，用于根据得到的距离，发出操控指令信息，实现实时触控。
相应地，所述的***还包括：
第一获取模块，用于获取摄像头的内参矩阵和外参矩阵；
所述的第二获取单元还包括：
第二获取模块，用于对获取摄像头视野中的指尖位置图像数据进行轮廓识别匹配处理；
所述的第三获取单元还包括：
第三获取模块，用于获取手指触控点的法向和切向位置数据；
第四获取模块，用于通过摄像头的旋转矩阵和平移矩阵，获得对应的使用轨迹和姿态数据。
及相应地平台及存储介质；
可以实现支持多人同时操作，有效提升分享的效率和乐趣；每个人上下左右的方向都是相对于自身的方向，让每个人感觉到自己前面就是正放的一块触摸板。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种360度全方位虚拟触控方法架构流程示意图；
图2为本发明一种360度全方位虚拟触控方法三个摄像头及激光位置示意图；
图3为本发明一种360度全方位虚拟触控方法方向定义示意图；
图4为本发明的一种360度全方位虚拟触控方法双目方案摄像头摆放示意图；
图5为本发明的一种360度全方位虚拟触控方法方向定义示意图；
图6为本发明的一种360度全方位虚拟触控方法主光轴与区域边界划分示意图；
图7为本发明的一种360度全方位虚拟触控方法相机分布示意图；
图8为本发明的一种360度全方位虚拟触控方法视觉示意图；
图9为本发明一种360度全方位虚拟触控***架构示意图；
图10为本发明一种360度全方位虚拟触控***之模块框架示意图；
图11为本发明一种360度全方位虚拟触控平台架构示意图；
图12为本发明一种实施例中计算机可读取存储介质架构示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。
本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
优选地，本发明一种360度全方位虚拟触控方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field －Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
本发明为实现一种360度全方位虚拟触控方法、***、平台及存储介质。
如图1所示，是本发明实施例提供的360度全方位虚拟触控方法的流程图。
在本实施例中，所述360度全方位虚拟触控方法，可以应用于具备显示功能的终端或者固定终端中，所述终端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。
所述360度全方位虚拟触控方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的360度全方位虚拟触控方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。
例如，对于需要进行360度全方位虚拟触控终端，可以直接在终端上集成本发明的方法所提供的360度全方位虚拟触控功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以软件开发工具包(Software Development Kit，SDK)的形式运行在服务器等设备上，以SDK的形式提供360度全方位虚拟触控功能的接口，终端或其他设备通过所提供的接口即可实现360度全方位虚拟触控功能。
如图1所示，本发明提供了一种360度全方位虚拟触控方法，所述方法具体包括如下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
根据激光投射出平行光，获取照亮的部分数据进行背景建模；
结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
根据得到的距离，发出操控指令信息，实现实时触控。
具体地，所述的摄像头装置包括单目摄像头装置360度覆盖和双目摄像头装置360度覆盖；也就是说，双目视觉需要360度覆盖所需要的相机数目及位置摆放；单目视觉需要360度覆盖所需要的相机数目及位置摆放。
所述的摄像头装置具体为多人模式或单人模式。
较佳地，于步骤根据激光投射出平行光，获取照亮的部分数据进行背景建模之前，还包括如下步骤：
获取摄像头的内参矩阵和外参矩阵。
于步骤结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据之中，还包括如下步骤：
对获取摄像头视野中的指尖位置图像数据进行轮廓识别匹配处理。
于步骤通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离之中，还包括如下步骤：
获取手指触控点的法向和切向位置数据；具体地，在方向定义中：上下为法向，左右为切向。
通过摄像头的旋转矩阵和平移矩阵，获得对应的使用轨迹和姿态数据。
也就是说，在本发明实施例中，
激光射出平行光，对照亮的部分进行背景建模；
当平行激光照亮到手指指尖后，通过摄像头的三角测距得到指尖距离装置中心的距离；
当设置为多人模式时，每个装置均可以同时支持多人，当发现多个光斑时，每个光斑的所速度坐标轴均不一样，分别计算移动的偏移，同时发送鼠标消息给***。
本装置由三个摄像头组成360度全方位识别，同时配备至少3个120度以上张角的红外一字激光，或一个360度全方位的红外一字激光发射器
如图2所示，展示了三个摄像头和三个红外光源的摆放，
如图3所示，展示了如果为不同朝向的用户确定方向，以装置中心为圆心的同心圆，切向方向定义为左右方向，法向为上下方向。
具体技术原理如下：
1)、激光射出平行光，对照亮的部分进行背景建模，完成后即可使用
2)、当平行激光照亮到手指指尖后，通过摄像头的三角测距得到指尖距离装置中心的距离，使用图3定义的方向来控制鼠标。
3)、当设置为多人模式时，每个装置均可以同时支持多人，当发现多个光斑时，每个光斑的所速度坐标轴均不一样，分别计算移动的偏移，同时发送鼠标消息给***。
在本发明实施例中，方案解决单目/双目视觉360度全覆盖的问题，
具体地，如图4所示，双目方案(以6个相机的情况为例)：根据用户使用区域划分定义需要相机的数量，设用户划分区域为N，需要的相机数量为2N，相机水平可视角度大于360/N。如图为6组相机的情况，相机水平视角必须大于120度。
如图2所示，单目方案(以3个相机的情况为例)：和双目方案类似的策略，区别是不需要重叠区，假定相机水平角为a度，则需要的相机数量为 即向上取整。划分的区域为C个。如图为3个相机的方案，每个相机的视角必须大于120度。
在本发明实施例中，具体地，在方向定义中：上下为法向，左右为切向。
如图5所示，用户在P点用手指触控时，P点的上下左右是依据法向和切向位置所得。
在本发明实施例的步骤中，还涉及畸变矫正，具体地，根据张正友标定和径向畸变模型计算得到相机内参数相机矩阵K和畸变矩阵D；
其中，
对实际的鱼眼镜头来说，为了方便鱼眼相机的标定，Kannala提出了一种鱼眼相机的一般多项式近似模型。θd是θ的奇函数，将这些式子按泰勒级数展开，发现θd可以用θ的奇次多项式表示，如下：
为了实际计算的方便，需要确定θd取到的幂数，Kannala提出取前5项即可近似各种投影模型，取d0的值为1，有如下方程：
θd＝θ+d1θ3+d2θ5+d3θ7+d4θ9 (2)
于是从空间点到鱼眼图像上的点的变换过程如下，其中(Xc,Yc,Zc)T为相机坐标系的点，X为三维世界坐标系的点，R为它们的旋转矩阵，T为它们的平移矩阵：
(Xc,Yc,Zc)T＝RX+T (3)
r2＝xc 2+yc 2 (5)
θ＝arctan(r) (6)
θd＝θ+d1θ3+d2θ5+d3θ7+d4θ9 (7)
u＝fxxd+cx,v＝fyyd+cy (9)
其中(u,v)T为鱼眼图像上的对应坐标点。
通过上述方法，可以去除相机畸变，获得无畸变点。
假设用户数量为4人，工作区域为4个，需要的摄像机为8个的特殊情景，不失一般性，为了举例简单，使用的相机角度为135°(按照上述假设，只需要相机角度大于360/4＝90即可)。
如图6所示，每个相机的主光轴与划分的区域边界或角平分线没有必然的联系，也未必需要处于360/N的等分线上，然而通常的做法是等分的，Cami为第i个相机的主光轴，θ为主光轴与区域边界的夹角，可以是任意值。
如图7所示，每个相机的可视角度是135度，两个相机负责一个工作区域(图中虚线区域)，i,j指的是第i个相机和第j个相机正好共用的边界，每个区域都有其相对坐标系，可以规定0号相机位置为标准世界坐标系，其他相机相对0号相机存在一个R(旋转矩阵)和T(平移矩阵)关系。
那么8个相机的旋转平移矩阵组合RT分别如下：
第0个相机第1个相机第2个相机第3个相机第4个相机第5个相机第6个相机第7个相机
其中
所以
现假设每个相机的内参数矩阵都是一样的(内参数矩阵不一样不影响最终结果，此处为了方便计算使用)，设相机的内参矩阵为其中fx和fy为相机在x轴和y轴的焦距(因为工业上cmos颗粒不一定是严格的正方形，所以fx＝sfy)，cx和cy为主点的像坐标；
可以使用PnP和Given分解，分别求取每个工作区域双摄之间的旋转矩阵R和平移矩阵T，按照上述的相机排列设计，相机的可视区域是形成一个回路的，这种排列可以让每个相机两两之间都有相交的可视区域。
获得相机的外参矩阵后，可以根据工作区域建立相机间的相对关系，关系求取由如下关系式给出，视觉示意图如图8所示(其中xr和xl分别是左右相机坐标系下的匹配点，X是世界坐标系上的点，Rr和Tr是右相机的旋转矩阵和平移矩阵，Rl和Tl是左相机的旋转矩阵和平移矩阵，Kr和Kl是左右相机的内参数矩阵，el和er为左右相机的对极点)；
xr＝RrX+Tr……①
xl＝RlX+Tl……②
联立①②；左边相机旋转矩阵为I，平移矩阵为0T；
右边相机旋转矩阵为RlRr T，平移矩阵为Tl-RlRr TTr；
根据上述转换可以变成上面8个相机的姿态的矩阵，以第一个相机为标准世界坐标系。
为了让用户在使用该***的时候可以根据各自区域进行正常的使用，还需要进行坐标系的调整，以各自区域的相对坐标系为基准进行运动，因此还需要记录上述四个区域的相对坐标变换过程如下：
0号相机和1号相机控制A区域，它们的旋转平移矩阵分别如下：
0号相机R0′＝I,T0′＝0；
1号相机R1 w＝R1,T1′＝-R1 TT1；
2号相机和3号相机控制B区域，它们的旋转平移矩阵分别如下：
2号相机R2′＝I,T2′＝0；
3号相机R3′＝R2R3 T,T3′＝T2-R2R3 TT3；
4号相机和5号相机控制C区域，它们的旋转平移矩阵分别如下：
4号相机R4′＝I,T4′＝0；
4号相机R5′＝R4R5 T,T5′＝T4-R4R5 TT5；
6号相机和7号相机控制C区域，它们的旋转平移矩阵分别如下：
6号相机R6′＝I,T6′＝0；
7号相机R7′＝R6R7 T,T7′＝T6-R6R7 TT7；
上述四个过程可用于各个区域测距使用，获得的三维坐标是相对于各自的标准坐标系分布，因此将这类坐标再通过上面的8个关系矩阵进行变换，可以获得各自用户的坐标根据0号相机的分布，可以进行***的全局统筹，获得各自用户的使用轨迹和姿态。
在本发明实例中，还涉及到轮廓识别与匹配处理，因为本使用场景是在红外激光的环境下进行，因此可以采用canny算子获得对应的轮廓，获得其中一个图像的轮廓的点击位置坐标点x，此时，需要寻找对应相机的匹配点问题。
考虑其中对应的两个相机，他们的外参矩阵关系分别如下：
定义左相机为标准坐标系，其旋转矩阵为I，平移矩阵为0，内参矩阵为K；
右相机的旋转矩阵为R，平移矩阵为T，内参矩阵为K′；左相机的投影矩阵P＝K[I|0]；右相机的投影矩阵P′＝K′[R|T]；
又基础矩阵F＝[e′]×P′P+，其中P+为P的伪逆。
则C为光心世界坐标。
e′＝P′C；则F＝[P′C]×P′P+＝[K′T]×K′RK-1
根据上面的关系，在另一幅图像上的对极线方程l＝Fx，此时获得对应图像上的对极线方程，可以在对应的极限区域运行SGBM算法搜索匹配点x′。
此时需要计算三维坐标点，因为x×PX＝0，有以下公式
x(P3TX)-(P1TX)＝0……③
y(P3TX)-(P1TX)＝0……④
x(P3TX)-y(P1TX)＝0……⑤
因为⑤可以有③和④线性表示，因此可以去掉
令
此处可以求解齐次方程的最小二乘解获得三维点。
为实现上述目的，如图9所示，本发明还提供一种360度全方位虚拟触控***，所述的***包括：
第一获取单元，用于根据激光投射出平行光，获取照亮的部分数据进行背景建模；
第二获取单元，用于结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
第三获取单元，用于通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
操控单元，用于根据得到的距离，发出操控指令信息，实现实时触控。
相应地，如图10所示，所述的***还包括：
第一获取模块，用于获取摄像头的内参矩阵和外参矩阵；
所述的第二获取单元还包括：
第二获取模块，用于对获取摄像头视野中的指尖位置图像数据进行轮廓识别匹配处理；
所述的第三获取单元还包括：
第三获取模块，用于获取手指触控点的法向和切向位置数据；
第四获取模块，用于通过摄像头的旋转矩阵和平移矩阵，获得对应的使用轨迹和姿态数据。
本发明还提出一种360度全方位虚拟触控平台，如图11所示，包括：处理器、存储器以及360度全方位虚拟触控平台控制程序；
其中在所述的处理器执行所述的360度全方位虚拟触控平台控制程序，所述360度全方位虚拟触控平台控制程序被存储在所述存储器中，所述的360度全方位虚拟触控平台控制程序，实现所述的360度全方位虚拟触控方法步骤，例如：
根据激光投射出平行光，获取照亮的部分数据进行背景建模；
结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
根据得到的距离，发出操控指令信息，实现实时触控。
步骤具体细节已在上文阐述，此处不再赘述；
本发明实施例中，所述的360度全方位虚拟触控平台内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行360度全方位虚拟触控各种功能和处理数据；
存储器用于存储程序代码和各种数据，安装在360度全方位虚拟触控平台中，并在运行过程中实现高速、自动地完成程序或数据的存取。
所述存储器包括只读存储器(Read-Only Memory，ROM)，随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
本发明还提出一种计算机可读取存储介质，如图12所示，所述计算机可读取存储介质存储有360度全方位虚拟触控平台控制程序，所述360度全方位虚拟触控平台控制程序，实现所述的360度全方位虚拟触控方法步骤，例如，
根据激光投射出平行光，获取照亮的部分数据进行背景建模；
结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
根据得到的距离，发出操控指令信息，实现实时触控。
步骤具体细节已在上文阐述，此处不再赘述；
在本发明的实施方式的描述中，需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理模块的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读取介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。
另外，计算机可读取介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
通过本发明的方法步骤、***、平台及存储介质，可以实现支持多人同时操作，有效提升分享的效率和乐趣；每个人上下左右的方向都是相对于自身的方向，让每个人感觉到自己前面就是正放的一块触摸板。
也就是说，本发明方法***装置可以支持多人同时操作，有效提升分享的效率和乐趣；通过激光射出平行光，对照亮的部分进行背景建模；当平行激光照亮到手指指尖后，通过摄像头双目或单目得到指尖距离装置中心的距离；解决在多人模式时，每个装置均可以同时支持多人，当发现多个光斑时，每个光斑的所速度坐标轴均不一样，分别计算移动的偏移，同时发送鼠标消息给***，进行实时方法***操作。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种360度全方位虚拟触控方法，其特征在于，所述的方法具体包括如下步骤：
根据激光投射出平行光，获取照亮的部分数据进行背景建模；
结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
根据得到的距离，发出操控指令信息，实现实时触控。
2.根据权利要求1所述的一种360度全方位虚拟触控方法，其特征在于，所述的摄像头装置包括单目摄像头装置360度覆盖和双目摄像头装置360度覆盖；
所述的摄像头装置具体为多人模式或单人模式。
3.根据权利要求1所述的一种360度全方位虚拟触控方法，其特征在于，于步骤根据激光投射出平行光，获取照亮的部分数据进行背景建模之前，还包括如下步骤：
获取摄像头的内参矩阵和外参矩阵。
4.根据权利要求1所述的一种360度全方位虚拟触控方法，其特征在于，于步骤结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据之中，还包括如下步骤：
对获取摄像头视野中的指尖位置图像数据进行轮廓识别匹配处理。
5.根据权利要求1所述的一种360度全方位虚拟触控方法，其特征在于，于步骤通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离之中，还包括如下步骤：
获取手指触控点的法向和切向位置数据；
通过摄像头的旋转矩阵和平移矩阵，获得对应的使用轨迹和姿态数据。
6.一种360度全方位虚拟触控***，其特征在于，所述的***具体包括：
第一获取单元，用于根据激光投射出平行光，获取照亮的部分数据进行背景建模；
第二获取单元，用于结合照亮的部分数据，获取平行激光照亮到手指指尖位置图像数据；
第三获取单元，用于通过摄像头，结合三角测距获得手指指尖与摄像头装置中心的距离；
操控单元，用于根据得到的距离，发出操控指令信息，实现实时触控。
7.根据权利要求6所述的一种360度全方位虚拟触控***，其特征在于，所述的***还包括：
第一获取模块，用于获取摄像头的内参矩阵和外参矩阵；
所述的第二获取单元还包括：
第二获取模块，用于对获取摄像头视野中的指尖位置图像数据进行轮廓识别匹配处理；
所述的第三获取单元还包括：
第三获取模块，用于获取手指触控点的法向和切向位置数据；
第四获取模块，用于通过摄像头的旋转矩阵和平移矩阵，获得对应的使用轨迹和姿态数据。
8.一种360度全方位虚拟触控平台，其特征在于，包括：
处理器、存储器以及360度全方位虚拟触控平台控制程序；
其中在所述的处理器执行所述的360度全方位虚拟触控平台控制程序，所述360度全方位虚拟触控平台控制程序被存储在所述存储器中，所述的360度全方位虚拟触控平台控制程序，实现如权利要求1至5中任一项所述的360度全方位虚拟触控方法步骤。
9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有360度全方位虚拟触控平台控制程序，所述的360度全方位虚拟触控平台控制程序，实现如权利要求1至5中任一项所述的360度全方位虚拟触控方法步骤。
CN201910759816.5A 2018-08-17 2019-08-16 一种360度全方位虚拟触控方法、***、平台及存储介质 Active CN110471577B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018109401373 2018-08-17
CN201810940137 2018-08-17

Publications (2)

Publication Number Publication Date
CN110471577A true CN110471577A (zh) 2019-11-19
CN110471577B CN110471577B (zh) 2023-08-22

Family

ID=68510997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910759816.5A Active CN110471577B (zh) 2018-08-17 2019-08-16 一种360度全方位虚拟触控方法、***、平台及存储介质

Country Status (1)

Country Link
CN (1) CN110471577B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882883A (zh) * 2020-08-28 2020-11-03 智慧互通科技有限公司 一种路侧停车管理的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及***
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、***及计算设备
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与***
CN105991929A (zh) * 2016-06-21 2016-10-05 浩云科技股份有限公司 全空间摄像机外参标定及全空间视频拼接方法
CN106095309A (zh) * 2016-06-03 2016-11-09 广东欧珀移动通信有限公司 终端的操作控制方法及装置
CN107918507A (zh) * 2016-10-10 2018-04-17 广东技术师范学院 一种基于立体视觉的虚拟触摸板方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及***
CN103383731A (zh) * 2013-07-08 2013-11-06 深圳先进技术研究院 一种基于指尖定位的投影交互方法、***及计算设备
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与***
CN106095309A (zh) * 2016-06-03 2016-11-09 广东欧珀移动通信有限公司 终端的操作控制方法及装置
CN105991929A (zh) * 2016-06-21 2016-10-05 浩云科技股份有限公司 全空间摄像机外参标定及全空间视频拼接方法
CN107918507A (zh) * 2016-10-10 2018-04-17 广东技术师范学院 一种基于立体视觉的虚拟触摸板方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882883A (zh) * 2020-08-28 2020-11-03 智慧互通科技有限公司 一种路侧停车管理的方法及装置

Also Published As

Publication number Publication date
CN110471577B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
US11275453B1 (en) Smart ring for manipulating virtual objects displayed by a wearable device
CN102959616B (zh) 自然交互的交互真实性增强
Nitschke et al. Corneal imaging revisited: An overview of corneal reflection analysis and applications
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
EP2974509B1 (en) Personal information communicator
US20220398767A1 (en) Pose determining method and apparatus, electronic device, and storage medium
CN105393158A (zh) 共享的和私有的全息物体
CN108388341B (zh) 一种基于红外摄像机-可见光投影仪的人机交互***及装置
CN102591449A (zh) 虚拟内容和现实内容的低等待时间的融合
WO2022022141A1 (zh) 图像显示方法、装置、计算机设备及存储介质
CN206323415U (zh) 一种带可旋转摄像头的电子设备
CN106657455A (zh) 一种带可旋转摄像头的电子设备
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
CN110249290A (zh) 信息处理设备、信息处理方法和程序
CN110471577A (zh) 一种360度全方位虚拟触控方法、***、平台及存储介质
Kim et al. Oddeyecam: A sensing technique for body-centric peephole interaction using wfov rgb and nfov depth cameras
US11900058B2 (en) Ring motion capture and message composition system
EP3627288A1 (en) Camera module and system using the same
JP5939469B2 (ja) 閲覧装置及び閲覧システム
CN110211243A (zh) Ar设备及其实体标注方法
EP3887926A1 (en) Smart head-mounted display alignment system and method
CN117351074B (zh) 基于头戴式眼动仪和深度相机的视点位置检测方法及装置
Nakamura et al. Simple and accurate geometric correction with multiple projectors
CN112053451B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant