CN109308132A - 虚拟现实的手写输入的实现方法、装置、设备及*** - Google Patents

虚拟现实的手写输入的实现方法、装置、设备及*** Download PDF

Info

Publication number
CN109308132A
CN109308132A CN201811013714.0A CN201811013714A CN109308132A CN 109308132 A CN109308132 A CN 109308132A CN 201811013714 A CN201811013714 A CN 201811013714A CN 109308132 A CN109308132 A CN 109308132A
Authority
CN
China
Prior art keywords
virtual reality
handwriting
handwriting pad
information
reality helmet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811013714.0A
Other languages
English (en)
Inventor
孔庆磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Pico Technology Co Ltd
Original Assignee
Qingdao Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Pico Technology Co Ltd filed Critical Qingdao Pico Technology Co Ltd
Priority to CN201811013714.0A priority Critical patent/CN109308132A/zh
Publication of CN109308132A publication Critical patent/CN109308132A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种虚拟现实的手写输入的实现方法、装置、设备及***，该方法包括：确定手写板相对于所述虚拟现实头戴设备的位置信息；根据所述手写板相对于所述虚拟现实头戴设备的位置信息，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置；获取手写笔与所述手写板接触时的接触位置信息；根据所述手写笔与所述手写板接触时的接触位置信息，确定所述手写笔的笔迹信息，并将所述笔迹信息呈现在所述虚拟手写板上。

Description

虚拟现实的手写输入的实现方法、装置、设备及***
技术领域
本发明涉及虚拟现实技术领域，更具体地，涉及一种虚拟现实的手写输入的实现方法、一种虚拟现实的手写输入的实现装置、一种虚拟现实头戴设备和一种虚拟现实***。
背景技术
目前，虚拟现实设备在人们的日常生活中占据越来越重要的位置，它可以给人们带来前所未有的沉浸体验，不管是视频还是游戏。
虚拟现实产品可以应用在各种不同的实用领域。但是，虚拟现实产品在使用过程中存在一个问题：用户在佩戴虚拟现实产品时，无法看到外界环境，进而使得用户无法观看到通过虚拟现实产品的外接交互设备输入的信息，降低了用户的体验。例如，用户在佩戴虚拟现实头戴设备后，通过手写笔在虚拟现实头戴设备的外接输入板上进行书写，用户无法观看到在外接输入板书写的内容。
因此，需要提供一种新的技术方法，针对上述现有技术中的问题进行改进。
发明内容
本发明的一个目的是提供一种虚拟现实的手写输入的新技术方案。
根据本发明的第一方面，提供了一种虚拟现实的手写输入的实现方法，包括：
确定手写板相对于所述虚拟现实头戴设备的位置信息；
根据所述手写板相对于所述虚拟现实头戴设备的位置信息，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置；
获取手写笔与所述手写板接触时的接触位置信息；
根据所述手写笔与所述手写板接触时的接触位置信息，确定所述手写笔的笔迹信息，并将所述笔迹信息呈现在所述虚拟手写板上。
可选地，在获取手写笔与所述手写板接触时的接触位置信息的同时，所述方法还包括：
确定所述手写笔相对于所述虚拟现实头戴设备的位置信息，并根据所述手写笔相对于所述虚拟现实头戴设备的位置信息，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写笔的位置；和/或，
获取所述手写笔的惯性测量单元测量得到的数据，并根据所述手写笔的惯性测量单元测量得到的数据，确定所述虚拟手写笔的姿态信息。
可选地，在获取手写笔与所述手写板接触时的接触位置信息的同时，所述方法还包括：
获取手写笔的检测得到的笔迹压力信息；
根据所述笔迹压力信息，确定呈现在所述虚拟手写板上的笔迹的粗细信息。
可选地，所述虚拟现实头戴设备设置有超声波发射器，所述手写板设置有超声波接收器，或者，所述虚拟现实头戴设备设置有超声波接收器，所述手写板设置有超声波发射器，其中，
确定手写板相对于所述虚拟现实头戴设备的位置信息，包括：
根据所述超声波接收器接收到的超声波信号信息，确定所述超声波接收器与所述超声波发射器的距离；
根据所述超声波接收器与所述超声波发射器的距离，确定所述手写板相对于所述虚拟现实头戴设备的位置信息。
可选地，所述虚拟现实头戴设备设置有双目摄像头，所述手写板设置有发光器件阵列，
确定手写板相对于所述虚拟现实头戴设备的位置信息，包括：
根据所述双目摄像头拍摄的手写板图像中的发光器件阵列的成像，确定手写板相对于所述虚拟现实头戴设备的位置信息。
可选地，在确定手写板相对于所述虚拟现实头戴设备的位置信息的同时，所述方法还包括：
获取所述手写板的惯性测量单元测量得到的数据；
根据所述手写板的惯性测量单元测量得到的数据，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写板的姿态信息。
根据本发明的第二方面，提供了一种虚拟现实的手写输入的实现装置，包括：
位置信息确定模块，用于确定手写板相对于所述虚拟现实头戴设备的位置信息；
位置信息确定模块，用于根据所述手写板相对于所述虚拟现实头戴设备的位置信息，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置；
获取模块，用于获取手写笔与所述手写板接触时的接触位置信息；
笔迹信息确定模块，用于根据所述手写笔与所述手写板接触时的接触位置信息，确定所述手写笔的笔迹信息，并将所述笔迹信息呈现在所述虚拟手写板上。
根据本发明的第三方面，提供了一种虚拟现实的手写输入的实现装置，包括：包括：存储器和处理器，其中，所述存储器存储可执行指令，所述可执行指令控制所述处理器进行操作以执行根据第一方面中的任何一项所述的方法。
根据本发明的第四方面，提供了一种虚拟现实头戴设备，包括如第二方面或第三方面所述的虚拟现实的手写输入的实现装置。
根据本发明的第五方面，提供了一种虚拟现实***，其特征在于，包括如第四方面所述的虚拟现实头戴设备、手写板和手写笔，其中，
所述手写板用于将所述手写笔与所述手写板接触时的接触位置信息发送至所述虚拟现实头戴设备；
所述手写笔用于将检测得到的笔迹压力信息直接发送至所述虚拟现实头戴设备，或者，将检测得到的笔迹压力信息发送至所述手写板，由所述手写板将所述笔迹压力信息转发至所述虚拟现实头戴设备。
根据本发明的一个实施例，虚拟现实头戴设备可以在其显示场景中创建虚拟手写板，并且在虚拟手写板上真实还原用户在与虚拟现实头戴设备外接的手写板上的书写笔迹，使得用户可以在虚拟现实头戴设备的显示场景中观看到外界的手写输入。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的虚拟现实的手写输入的实现方法的处理流程图。
图2a是根据本发明一个实施例的虚拟现实头戴设备上和手写板上设置的超声波器件的示意图。
图2b是根据本发明另一个实施例的虚拟现实头戴设备上和手写板上设置的超声波器件的示意图。
图2c是根据本发明另一个实施例的虚拟现实头戴设备上和手写板上设置的超声波器件的示意图。
图2d是根据本发明另一个实施例的虚拟现实头戴设备上和手写板上设置的超声波器件的示意图。
图3a是根据本发明实施例的虚拟现实头戴设备的示意图。
图3b是根据本发明实施例的手写板的示意图。
图4是根据本发明实施例的虚拟现实的手写输入的实现装置的原理框图。
图5是根据本发明实施例的虚拟现实的手写输入的实现装置的硬件结构框图。
图6是根据本发明一个实施例的虚拟现实***的结构示意图。
图7是根据本发明又一个实施例的虚拟现实***的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明的一个实施例提供了一种虚拟现实的手写输入的实现方法。该虚拟现实的手写输入的实现方法是由虚拟现实头戴设备实施的。
根据图1所示，虚拟现实的手写输入的实现方法至少包括以下步骤：
步骤S101，确定手写板相对于虚拟现实头戴设备的位置信息。
在本发明的一个实施例中，虚拟现实头戴设备设置有超声波发射器，手写板设置有超声波接收器。或者，虚拟现实头戴设备设置有超声波接收器，手写板设置有超声波发射器。首先，根据超声波接收器接收到的超声波信号信息，确定超声波接收器与超声波发射器的距离。然后，根据超声波接收器与超声波发射器的距离，确定手写板相对于虚拟现实头戴设备的位置信息。
在一个例子中，根据图2a所示，虚拟现实头戴设备设置有至少三个超声波发射器，手写板设置有超声波接收器。
超声波发射器发射超声波信号时，可通过射频信号通知超声波接收器开始计时。当超声波接收器接收到超声波信号时，超声波接收器结束计时。通过超声波接收器的计时结果，确定超声波接收器接收各超声波发射器发射的超声波信号所需的时间。根据超声波的传播速度和超声波接收器接收各超声波发射器发射的超声波信号所需的时间，计算得到超声波接收器到各超声波发射器的距离。
设置在虚拟现实头戴设备上的三个超声波发射器在虚拟现实头戴设备本体坐标系的位置表示为(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)。将三个超声波发射器的位置坐标和超声波接收器到各超声波发射器的距离代入两点间距离计算公式，得到方程组。该方程组包括三个一次方程，如下，
其中，d1、d2、d3为超声波接收器到各超声波发射器的距离。根据上述三个一次方程，可计算得到超声波接收器在虚拟现实头戴设备本体坐标系下的位置信息。将超声波接收器在虚拟现实头戴设备本体坐标系下的位置信息作为手写板相对于虚拟现实头戴设备的位置信息。
在另一个例子中，根据图2b所示，虚拟现实头戴设备设置有至少三个超声波接收器，手写板设置有超声波发射器。
超声波发射器发射超声波信号时，向各超声波接收器发送射频信号。各超声波接收器在接收到射频信号时，开始计时。当各超声波接收器接收到超声波信号时，各超声波接收器结束计时。通过各超声波接收器的计时结果，确定各超声波接收器接收超声波发射器发射的超声波信号所需的时间。根据超声波的传播速度和各超声波接收器接收超声波发射器发射的超声波信号所需的时间，计算得到各超声波接收器到超声波发射器的距离。
利用上述方程组，计算得到超声波发射器在虚拟现实头戴设备本体坐标系下的位置信息。其中，(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)分别为设置在虚拟现实头戴设备上的三个超声波接收器在虚拟现实头戴设备本体坐标系的位置，d1、d2、d3为各超声波接收器到超声波发射器的距离。将超声波发射器在虚拟现实头戴设备本体坐标系下的位置信息作为手写板相对于虚拟现实头戴设备的位置信息。
在另一个例子中，根据图2c所示，虚拟现实头戴设备设置有至少三个超声波发射器，手写板设置有至少三个超声波接收器。或者，根据图2d所示，虚拟现实头戴设备设置有至少三个超声波接收器，手写板设置有至少三个超声波发射器。这种方式可以获得更多的距离信息，进而可以提高定位精度。
在本发明的一个实施例中，虚拟现实头戴设备设置有双目摄像头，手写板设置有发光器件阵列。设置在手写板上的发光器件阵列发出的光可以是可见光，也可以是不可见光(例如，红外光)。如果发光器件发出的光为红外光时，双目摄像头为红外摄像头。
本发明实施例中，根据双目摄像头拍摄的手写板图像中的发光器件阵列的成像，确定手写板相对于虚拟现实头戴设备的位置信息。
图3a是根据本发明实施例的虚拟现实头戴设备的示意图。根据图3a所示，虚拟现实头戴设备设置有双目摄像头。图3b是根据本发明实施例的手写板的示意图。根据图3b所示，手写板设置有三个LED发光器件，该三个LED发光器件围成三角形形状。
本发明实施例中，根据双目摄像头拍摄得到的LED发光器件围成的形状的成像形状和成像大小，确定手写板相对于虚拟现实头戴设备的位置信息。例如，采用双目视觉定位算法，对双目摄像头拍摄得到的LED发光器件围成的形状的成像进行处理，得到手写板相对于虚拟现实头戴设备的位置信息。
需要说明地是，设置在手写板上的发光器件的个数并不限于三个。为了提高定位精度，在手写板上设置更多个发光器件(例如，五个、十个、一百个等等)，并且设置在手写板上的发光器件能够围成明确的几何形状，例如，方形、多边形等等。
步骤S102，根据手写板相对于虚拟现实头戴设备的位置信息，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置。
本发明实施例中，将手写板相对于虚拟现实头戴设备的位置信息转化为世界坐标系下的位置信息，并将手写板在世界坐标系下的位置信息作为虚拟现实头戴设备的显示场景中的虚拟手写板的位置。
步骤S103，获取手写笔与手写板接触时的接触位置信息。
本发明实施例中，手写笔可为电磁笔，手写板可为电磁感应手写板。在用户利用电磁笔在电磁感应手写板上书写时，电磁感应手写板采集手写笔的笔尖坐标信息。电磁感应手写板将其采集到的笔尖坐标信息发送至虚拟现实头戴设备。虚拟现实头戴设备将其接收到笔尖坐标信息作为手写笔与手写板接触时的接触位置信息。
在本发明的一个实施例中，手写笔设置有压力检测模块。该压力检测模块可以为压力传感器。该压力检测模块用于检测笔迹压力信息。手写笔可以将压力检测模块检测得到的笔迹压力信息发送至手写板，然后，手写板再将其接收到的笔迹压力信息转发至虚拟现实头戴设备。或者，手写笔可以将压力检测模块检测得到的笔迹压力信息直接发送至虚拟现实头戴设备。
虚拟现实头戴设备根据笔迹压力信息，确定呈现在虚拟手写板上的笔迹的粗细信息。例如，虚拟现实头戴设备预存有笔迹压力信息和笔迹粗细信息的对应关系表。虚拟现实头戴设备根据该对应关系表可以确定出笔迹压力信息对应的笔迹粗细信息。
步骤S104，根据手写笔与手写板接触时的接触位置信息，确定手写笔的笔迹信息，并将笔迹信息呈现在虚拟手写板上。
本发明实施例提供的虚拟现实的手写输入的实现方法，虚拟现实头戴设备可以在其显示场景中创建虚拟手写板，并且在虚拟手写板上真实还原用户在与虚拟现实头戴设备外接的手写板上的书写笔迹，使得用户可以在虚拟现实头戴设备的显示场景中观看到外界的手写输入。
在本发明的一个实施例中，手写板设置有惯性测量单元。虚拟现实头戴设备可以获取手写板的惯性测量单元测量得到的数据，并根据手写板的惯性测量单元测量得到的数据，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的姿态信息。
本发明实施例中，设置在手写板上的惯性测量单元可以是九轴传感器，包括加速度计、陀螺仪和磁力计。惯性测量单元测量得到的数据至少包括加速度计的测量值a和陀螺仪的测量值ω。根据加速度计的测量值a和陀螺仪的测量值ω，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的姿态信息。
在本发明的一个实施例中，虚拟现实头戴设备在显示场景中不仅创建虚拟手写板，还可以创建虚拟手写笔。
本发明实施例中，虚拟现实头戴设备获取手写笔相对于虚拟现实头戴设备的位置信息和手写笔的惯性测量单元测量得到的数据。然后，虚拟现实头戴设备根据手写笔相对于虚拟现实头戴设备的位置信息，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写笔的位置，以及，根据手写笔的惯性测量单元测量得到的数据，确定虚拟手写笔的姿态信息。
在一个例子中，虚拟现实头戴设备设置有超声波发射器，手写笔设置有超声波接收器。或者，虚拟现实头戴设备设置有超声波接收器，手写笔设置有超声波发射器。首先，根据超声波接收器接收到的超声波信号信息，确定超声波接收器与超声波发射器的距离。然后，根据超声波接收器与超声波发射器的距离，确定手写笔相对于虚拟现实头戴设备的位置信息。手写笔相对于虚拟现实头戴设备的位置信息的确定方法可具体参照手写板相对于虚拟现实头戴设备的位置信息的确定方法，在此不做过多赘述。
在另一个例子中，虚拟现实头戴设备设置有双目摄像头，手写笔设置有发光器件阵列。设置在手写笔上的发光器件阵列发出的光可以是可见光，也可以是不可见光(例如，红外光)。本发明实施例中，根据双目摄像头拍摄的手写笔图像中的发光器件阵列的成像，确定手写笔相对于虚拟现实头戴设备的位置信息。例如，根据双目摄像头拍摄得到的LED发光器件围成的形状的成像形状和成像大小，确定手写笔相对于虚拟现实头戴设备的位置信息。
基于同一发明构思，本发明一个实施例提供了一种虚拟现实的手写输入的实现装置。图4是根据本发明实施例的虚拟现实的手写输入的实现装置的原理框图。
根据图4所示，虚拟现实的手写输入的实现装置包括：第一位置信息确定模块410、第二位置信息确定模块420、获取模块430、笔迹信息确定模块440。
第一位置信息确定模块410，用于确定手写板相对于虚拟现实头戴设备的位置信息。
第二位置信息确定模块420，用于根据手写板相对于虚拟现实头戴设备的位置信息，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置。
获取模块430，用于获取手写笔与手写板接触时的接触位置信息。
笔迹信息确定模块440，用于根据手写笔与手写板接触时的接触位置信息，确定手写笔的笔迹信息，并将笔迹信息呈现在虚拟手写板上。
在本发明的一个实施例中，虚拟现实头戴设备设置有超声波发射器，手写板设置有超声波接收器，或者，虚拟现实头戴设备设置有超声波接收器，手写板设置有超声波发射器。第一位置信息确定模块410进一步用于：根据超声波接收器接收到的超声波信号信息，确定超声波接收器与超声波发射器的距离；根据超声波接收器与超声波发射器的距离，确定手写板相对于虚拟现实头戴设备的位置信息。
在本发明的一个实施例中，虚拟现实头戴设备设置有双目摄像头，手写板设置有LED发光器件阵列。第一位置信息确定模块410进一步用于：根据双目摄像头拍摄的手写板图像中的LED发光器件阵列的成像，确定手写板相对于虚拟现实头戴设备的位置信息。
在本发明的一个实施例中，虚拟现实的手写输入的实现装置还包括：姿态信息确定模块。姿态信息确定模块用于获取手写板的惯性测量单元测量得到的数据；根据手写板的惯性测量单元测量得到的数据，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的姿态信息。
在本发明的一个实施例中，第一位置信息确定模块410还用于：确定手写笔相对于虚拟现实头戴设备的位置信息。第二位置信息确定模块420还用于根据手写笔相对于虚拟现实头戴设备的位置信息，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写笔的位置。
在本发明的一个实施例中，姿态信息确定模块还用于：获取手写笔的惯性测量单元测量得到的数据，并根据手写笔的惯性测量单元测量得到的数据，确定虚拟手写笔的姿态信息。
在本发明的一个实施例中，获取模块430还用于：获取手写笔的检测得到的笔迹压力信息。笔迹信息确定模块440还用于：根据笔迹压力信息，确定呈现在虚拟手写板上的笔迹的粗细信息。
图5是根据本发明实施例的虚拟现实的手写输入的实现装置的硬件结构框图。
根据图5所示，虚拟现实的手写输入的实现装置包括：存储器510和处理器520。存储器510存储可执行指令，可执行指令控制处理器520进行操作以执行上述任一实施例提供的虚拟现实的手写输入的实现方法。
基于同一发明构思，本发明的一个实施例还提供了一种虚拟现实头戴设备。该虚拟现实头戴设备至少包括图4或图5示出的虚拟现实的手写输入的实现装置。
基于同一发明构思，本发明的一个实施例还提供了一种虚拟现实***。该虚拟现实***至少包括虚拟现实头戴设备、手写板和手写笔。
手写板用于将手写笔与手写板接触时的接触位置信息发送至虚拟现实头戴设备。
手写笔用于将检测得到的笔迹压力信息直接发送至虚拟现实头戴设备，或者，将检测得到的笔迹压力信息发送至手写板，由手写板将笔迹压力信息转发至虚拟现实头戴设备。
图6是根据本发明一个实施例的虚拟现实***的结构示意图。
根据图6所示，虚拟现实头戴设备至少包括第一处理器、第一超声波节点阵列、第一惯性测量传感器、显示模块、第一通信模块。
手写板至少包括第二处理器、第二超声波节点阵列、笔迹信息检测模块、第二惯性测量传感器、第二通信模块。
手写笔至少包括第三处理器、压力检测模块、第三超声波节点阵列、第三惯性测量传感器、第三通信模块。
本发明实施例中，虚拟现实头戴设备和手写板可以通信连接，手写板和手写笔可以通信连接。该通信连接可以是有线通信连接，也可以是无线通信连接。
第一超声波节点阵列可以是至少三个超声波发射器，第二超声波节点阵列可以是至少一个超声波接收器。或者，第一超声波节点阵列可以是至少三个超声波接收器，第二超声波节点阵列可以是至少一个超声波发射器。
虚拟现实头戴设备可以根据第一超声波节点阵列和第二超声波节点阵列之间的超声波信号传输信息，确定手写板相对于虚拟现实头戴设备的位置信息，之后根据手写板相对于虚拟现实头戴设备的位置信息，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置。
手写板的第二惯性测量单元将其测量得到的数据发送至第二处理器。第二处理器将第二惯性测量单元测量得到的数据发送至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据第二惯性测量单元测量得到的数据，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的姿态信息。
第一超声波节点阵列可以是至少三个超声波发射器，第三超声波节点阵列可以是至少一个超声波接收器。或者，第一超声波节点阵列可以是至少三个超声波接收器，第三超声波节点阵列可以是至少一个超声波发射器。
虚拟现实头戴设备可以根据第一超声波节点阵列和第三超声波节点阵列之间的超声波信号传输信息，确定手写笔相对于虚拟现实头戴设备的位置信息，之后根据手写笔相对于虚拟现实头戴设备的位置信息，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写笔的位置。
手写笔的第三惯性测量单元将其测量得到的数据发送至手写板，然后，手写板再将接收到的第三惯性测量单元测量得到的数据转发至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据第三惯性测量单元测量得到的数据，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写笔的姿态信息。
在用户利用手写笔在手写板上书写时，手写板的笔迹信息检测模块可以采集手写笔的笔尖坐标信息，并将其采集到的笔尖坐标信息发送至第二处理器。第二处理器将该笔尖坐标信息发送至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据该笔尖坐标信息确定手写笔的笔迹信息，并将笔迹信息呈现在虚拟手写板上。
在用户利用手写笔在手写板上书写时，手写笔的压力检测模块可以检测笔迹压力信息，并将其检测到的笔迹压力信息发送至第三处理器。手写笔的第三处理器将压力检测模块检测得到的笔迹压力信息发送至手写板，然后，手写板再将其接收到的笔迹压力信息转发至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据笔迹压力信息，确定呈现在虚拟手写板上的笔迹的粗细信息，并将笔迹的粗细的信息呈现在虚拟手写板上。
图7是根据本发明又一个实施例的虚拟现实***的结构示意图。
根据图7所示，虚拟现实头戴设备至少包括第一处理器、双目摄像头模块、第一惯性测量传感器、显示模块、第一通信模块。
手写板至少包括第二处理器、第一发光器件阵列、笔迹信息检测模块、第二惯性测量传感器、第二通信模块。
手写笔至少包括第三处理器、压力检测模块、第二发光器件阵列、第三惯性测量传感器、第三通信模块。
本发明实施例中，虚拟现实头戴设备和手写板可以通信连接，虚拟现实头戴设备和手写笔可以通信连接。该通信连接可以是有线通信连接，也可以是无线通信连接。
虚拟现实头戴设备的第一处理器根据双目摄像头模块拍摄的第一发光器件阵列的成像，确定手写板相对于虚拟现实头戴设备的位置信息。
手写板的第二惯性测量单元将其测量得到的数据发送至第二处理器。第二处理器将第二惯性测量单元测量得到的数据发送至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据第二惯性测量单元测量得到的数据，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写板的姿态信息。
虚拟现实头戴设备的第一处理器根据双目摄像头模块拍摄的第二发光器件阵列的成像，确定手写笔相对于虚拟现实头戴设备的位置信息。
手写笔的第三惯性测量单元将其测量得到的数据发送至第三处理器。第三处理器将第三惯性测量单元测量得到的数据发送至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据第三惯性测量单元测量得到的数据，确定在虚拟现实头戴设备的显示场景中创建的虚拟手写笔的姿态信息。
在用户利用手写笔在手写板上书写时，手写板的笔迹信息检测模块可以采集手写笔的笔尖坐标信息，并将其采集到的笔尖坐标信息发送至第二处理器。第二处理器将该笔尖坐标信息发送至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据该笔尖坐标信息确定手写笔的笔迹信息，并将笔迹信息呈现在虚拟手写板上。
在用户利用手写笔在手写板上书写时，手写笔的压力检测模块可以检测笔迹压力信息，并将其检测到的笔迹压力信息发送至第三处理器。手写笔的第三处理器将压力检测模块检测得到的笔迹压力信息发送至虚拟现实头戴设备。虚拟现实头戴设备的第一处理器根据笔迹压力信息，确定呈现在虚拟手写板上的笔迹的粗细信息，并将笔迹的粗细的信息呈现在虚拟手写板上。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种虚拟现实的手写输入的实现方法，其特征在于，包括：
确定手写板相对于所述虚拟现实头戴设备的位置信息；
根据所述手写板相对于所述虚拟现实头戴设备的位置信息，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置；
获取手写笔与所述手写板接触时的接触位置信息；
根据所述手写笔与所述手写板接触时的接触位置信息，确定所述手写笔的笔迹信息，并将所述笔迹信息呈现在所述虚拟手写板上。
2.根据权利要求1所述的方法，其特征在于，在获取手写笔与所述手写板接触时的接触位置信息的同时，所述方法还包括：
确定所述手写笔相对于所述虚拟现实头戴设备的位置信息，并根据所述手写笔相对于所述虚拟现实头戴设备的位置信息，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写笔的位置；和/或，
获取所述手写笔的惯性测量单元测量得到的数据，并根据所述手写笔的惯性测量单元测量得到的数据，确定所述虚拟手写笔的姿态信息。
3.根据权利要求1所述的方法，其特征在于，在获取手写笔与所述手写板接触时的接触位置信息的同时，所述方法还包括：
获取手写笔的检测得到的笔迹压力信息；
根据所述笔迹压力信息，确定呈现在所述虚拟手写板上的笔迹的粗细信息。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述虚拟现实头戴设备设置有超声波发射器，所述手写板设置有超声波接收器，或者，所述虚拟现实头戴设备设置有超声波接收器，所述手写板设置有超声波发射器，其中，
确定手写板相对于所述虚拟现实头戴设备的位置信息，包括：
根据所述超声波接收器接收到的超声波信号信息，确定所述超声波接收器与所述超声波发射器的距离；
根据所述超声波接收器与所述超声波发射器的距离，确定所述手写板相对于所述虚拟现实头戴设备的位置信息。
5.根据权利要求1-3中任一所述的方法，其特征在于，所述虚拟现实头戴设备设置有双目摄像头，所述手写板设置有发光器件阵列，
确定手写板相对于所述虚拟现实头戴设备的位置信息，包括：
根据所述双目摄像头拍摄的手写板图像中的发光器件阵列的成像，确定手写板相对于所述虚拟现实头戴设备的位置信息。
6.根据权利要求1所述的方法，其特征在于，在确定手写板相对于所述虚拟现实头戴设备的位置信息的同时，所述方法还包括：
获取所述手写板的惯性测量单元测量得到的数据；
根据所述手写板的惯性测量单元测量得到的数据，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写板的姿态信息。
7.一种虚拟现实的手写输入的实现装置，其特征在于，包括：
第一位置信息确定模块，用于确定手写板相对于所述虚拟现实头戴设备的位置信息；
第二位置信息确定模块，用于根据所述手写板相对于所述虚拟现实头戴设备的位置信息，确定在所述虚拟现实头戴设备的显示场景中创建的虚拟手写板的位置；
获取模块，用于获取手写笔与所述手写板接触时的接触位置信息；
笔迹信息确定模块，用于根据所述手写笔与所述手写板接触时的接触位置信息，确定所述手写笔的笔迹信息，并将所述笔迹信息呈现在所述虚拟手写板上。
8.一种虚拟现实的手写输入的实现装置，其特征在于，包括：包括：存储器和处理器，其中，所述存储器存储可执行指令，所述可执行指令控制所述处理器进行操作以执行根据权利要求1-6中的任何一项所述的方法。
9.一种虚拟现实头戴设备，其特征在于，包括如权利要求7或8所述的虚拟现实的手写输入的实现装置。
10.一种虚拟现实***，其特征在于，包括如权利要求9所述的虚拟现实头戴设备、手写板和手写笔，其中，
所述手写板用于将所述手写笔与所述手写板接触时的接触位置信息发送至所述虚拟现实头戴设备；
所述手写笔用于将检测得到的笔迹压力信息直接发送至所述虚拟现实头戴设备，或者，将检测得到的笔迹压力信息发送至所述手写板，由所述手写板将所述笔迹压力信息转发至所述虚拟现实头戴设备。
CN201811013714.0A 2018-08-31 2018-08-31 虚拟现实的手写输入的实现方法、装置、设备及*** Pending CN109308132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811013714.0A CN109308132A (zh) 2018-08-31 2018-08-31 虚拟现实的手写输入的实现方法、装置、设备及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811013714.0A CN109308132A (zh) 2018-08-31 2018-08-31 虚拟现实的手写输入的实现方法、装置、设备及***

Publications (1)

Publication Number Publication Date
CN109308132A true CN109308132A (zh) 2019-02-05

Family

ID=65224280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811013714.0A Pending CN109308132A (zh) 2018-08-31 2018-08-31 虚拟现实的手写输入的实现方法、装置、设备及***

Country Status (1)

Country Link
CN (1) CN109308132A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427447A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及***
CN111857365A (zh) * 2019-04-19 2020-10-30 苹果公司 用于头戴式设备的基于触笔的输入

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150363980A1 (en) * 2014-06-17 2015-12-17 Valorisation-Recherche, Limited Partnership 3d virtual environment interaction system
CN105247453A (zh) * 2012-11-29 2016-01-13 伊姆兰·哈迪斯 虚拟和增强现实教学***
CN106095174A (zh) * 2016-06-12 2016-11-09 苏州芯沃科电子科技有限公司 电子白板主动笔及触控输入***和驱动方法
WO2018075054A1 (en) * 2016-10-21 2018-04-26 Hewlett-Packard Development Company, L.P. Virtual reality input
CN108267715A (zh) * 2017-12-26 2018-07-10 青岛小鸟看看科技有限公司 外接设备的定位方法及装置、虚拟现实设备及***
CN108459782A (zh) * 2017-02-17 2018-08-28 阿里巴巴集团控股有限公司 一种输入方法、装置、设备、***和计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247453A (zh) * 2012-11-29 2016-01-13 伊姆兰·哈迪斯 虚拟和增强现实教学***
US20150363980A1 (en) * 2014-06-17 2015-12-17 Valorisation-Recherche, Limited Partnership 3d virtual environment interaction system
CN106095174A (zh) * 2016-06-12 2016-11-09 苏州芯沃科电子科技有限公司 电子白板主动笔及触控输入***和驱动方法
WO2018075054A1 (en) * 2016-10-21 2018-04-26 Hewlett-Packard Development Company, L.P. Virtual reality input
CN108459782A (zh) * 2017-02-17 2018-08-28 阿里巴巴集团控股有限公司 一种输入方法、装置、设备、***和计算机存储介质
CN108267715A (zh) * 2017-12-26 2018-07-10 青岛小鸟看看科技有限公司 外接设备的定位方法及装置、虚拟现实设备及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857365A (zh) * 2019-04-19 2020-10-30 苹果公司 用于头戴式设备的基于触笔的输入
CN111857365B (zh) * 2019-04-19 2024-06-04 苹果公司 用于头戴式设备的基于触笔的输入
CN111427447A (zh) * 2020-03-04 2020-07-17 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及***
CN111427447B (zh) * 2020-03-04 2023-08-29 青岛小鸟看看科技有限公司 虚拟键盘的显示方法、头戴显示设备及***

Similar Documents

Publication Publication Date Title
KR102606785B1 (ko) 동시 로컬화 및 매핑을 위한 시스템 및 방법
CN107430437B (zh) 在虚拟现实/增强现实环境中创建真实的抓取体验的***和方法
US9613262B2 (en) Object detection and tracking for providing a virtual device experience
CN105378801B (zh) 全息图快照网格
EP3283938B1 (en) Gesture interface
US20130010071A1 (en) Methods and systems for mapping pointing device on depth map
US10777015B2 (en) Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device
CN105264460A (zh) 全息图对象反馈
US20140009384A1 (en) Methods and systems for determining location of handheld device within 3d environment
CN108267715A (zh) 外接设备的定位方法及装置、虚拟现实设备及***
CN109255749A (zh) 自主和非自主平台中的地图构建优化
CN115956259A (zh) 生成用于虚拟现实体验的基础真实数据集
CN112449691B (zh) 通过物理接触细化虚拟网格模型
EP3811186B1 (en) Input scaling to keep controller inside field of view
CN110262667B (zh) 一种虚拟现实设备及定位方法
CN113672099A (zh) 一种电子设备及其交互方法
CN110796703A (zh) 一种位姿跟踪***、方法和存储介质
CN106527671A (zh) 一种设备隔空控制方法
CN109804638A (zh) 移动装置的双模式增强现实界面
KR20240028481A (ko) 실내 공간의 3차원 지도를 생성하기 위한 시스템 및 방법
CN109308132A (zh) 虚拟现实的手写输入的实现方法、装置、设备及***
CN106527672A (zh) 一种隔空的文字输入方法
Devi et al. Low cost tangible glove for translating sign gestures to speech and text in Hindi language
CN106527669A (zh) 基于无线信号的交互控制***
WO2021157691A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190205