CN108459782A - 一种输入方法、装置、设备、***和计算机存储介质 - Google Patents

一种输入方法、装置、设备、***和计算机存储介质 Download PDF

Info

Publication number
CN108459782A
CN108459782A CN201710085422.7A CN201710085422A CN108459782A CN 108459782 A CN108459782 A CN 108459782A CN 201710085422 A CN201710085422 A CN 201710085422A CN 108459782 A CN108459782 A CN 108459782A
Authority
CN
China
Prior art keywords
virtual face
input object
virtual
track
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710085422.7A
Other languages
English (en)
Inventor
姚迪狄
黄丛宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710085422.7A priority Critical patent/CN108459782A/zh
Priority to TW106137905A priority patent/TWI825004B/zh
Priority to PCT/CN2018/075236 priority patent/WO2018149318A1/zh
Publication of CN108459782A publication Critical patent/CN108459782A/zh
Priority to US16/542,162 priority patent/US20190369735A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018Input/output arrangements for oriental characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0237Character input methods using prediction or retrieval techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/228Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种输入方法、装置、设备、***和计算机存储介质,其中输入方法包括:确定并记录在三维空间中虚拟面的位置信息;获取在三维空间中输入物体的位置信息;依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;确定并记录所述输入物体接触虚拟面过程中产生的轨迹;依据记录的轨迹,确定输入的内容。本发明能够实现三维空间内的信息输入,适用于虚拟现实技术。

Description

一种输入方法、装置、设备、***和计算机存储介质
【技术领域】
本发明涉及计算机应用技术领域,特别涉及一种输入方法、装置、设备、***和计算机存储介质。
【背景技术】
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真***,它利用计算机生成实时动态的三维立体逼真图像,虚拟世界与现实世界的融合。虚拟现实技术本质就是一场人机交互方式的新革命,而输入方式则是人机交互的“最后一公里”,因此虚拟现实技术的输入方法显得尤为关键。虚拟现实技术致力于将虚拟世界与现实世界进行融合,让用户在虚拟世界中的感受就像在现实世界中一样真实。对于虚拟现实技术中的输入方式而言,最好的方式就是让用户在虚拟世界中的输入就像在现实世界中输入一样,但目前尚没有很好的方式能够达到该目的。
【发明内容】
有鉴于此,本发明提供了一种输入方法方法、装置、设备、***和计算机存储介质,提供适用于虚拟现实技术的输入方式。
具体技术方案如下:
本发明提供了一种输入方法,该方法包括:
确定并记录在三维空间中虚拟面的位置信息;
获取在三维空间中输入物体的位置信息;
依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;
确定并记录所述输入物体接触虚拟面过程中产生的轨迹;
依据记录的轨迹,确定输入的内容。
根据本发明一优选实施方式,该方法还包括:
按照预设的样式展现所述虚拟面。
根据本发明一优选实施方式,所述获取在三维空间中输入物体的位置信息包括:
获取空间***检测到的所述输入物体的位置信息。
根据本发明一优选实施方式,依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面包括:
判断所述输入物体的位置与所述虚拟面的位置之间的距离是否在预设范围内,如果是,确定所述输入物体接触虚拟面。
根据本发明一优选实施方式,该方法还包括:
若检测到所述输入物体接触虚拟面,展现触感反馈信息。
根据本发明一优选实施方式,所述展现触感反馈信息包括以下至少一种:
改变虚拟面的颜色;
播放指示所述输入物体接触虚拟面的提示音;
按照预设样式,展现所述输入物体在虚拟面上的接触点。
根据本发明一优选实施方式,确定所述输入物体接触虚拟面过程中产生的轨迹包括:
在所述输入物体接触虚拟面的过程中,获取所述输入物体的位置信息在所述虚拟面上的投影;
所述输入物体与所述虚拟面分离时,确定并记录输入物体接触虚拟面的过程中各投影点构成的轨迹。
根据本发明一优选实施方式,依据记录的轨迹,确定输入的内容包括:
依据已记录的轨迹,上屏与已记录轨迹一致的线条;或者,
依据已记录的轨迹,上屏与已记录的轨迹相匹配的字符;或者,
依据已记录的轨迹,显示与所述已记录的轨迹相匹配的候选字符,上屏用户选择的候选字符。
根据本发明一优选实施方式,该方法还包括:
完成上屏操作后,清空已记录的轨迹;或者,
捕捉到撤销输入的手势后,清空已记录的轨迹。
根据本发明一优选实施方式,该方法还包括:
在所述虚拟面上展现所述输入物体接触虚拟面过程中产生的轨迹,在完成上屏操作后,清除虚拟面上展现的轨迹。
本发明还提供了一种输入装置,该装置包括:
虚拟面处理单元,用于确定并记录在三维空间中虚拟面的位置信息;
位置获取单元,用于获取在三维空间中输入物体的位置信息;
接触检测单元,用于依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;
轨迹处理单元,用于确定并记录所述输入物体接触虚拟面过程中产生的轨迹;
输入确定单元,用于依据记录的轨迹,确定输入的内容。
根据本发明一优选实施方式,该装置还包括:
展现单元,用于按照预设的样式展现所述虚拟面。
根据本发明一优选实施方式,所述位置获取单元,具体用于获取空间***检测到的所述输入物体的位置信息。
根据本发明一优选实施方式,所述接触检测单元,具体用于判断所述输入物体的位置与所述虚拟面的位置之间的距离是否在预设范围内,如果是,确定所述输入物体接触虚拟面。
根据本发明一优选实施方式,该装置还包括:
展现单元,用于若检测到所述输入物体接触虚拟面,展现触感反馈信息。
根据本发明一优选实施方式,所述展现单元在展现触感反馈信息时,采用以下至少一种方式:
改变虚拟面的颜色;
播放指示所述输入物体接触虚拟面的提示音;
按照预设样式,展现所述输入物体在虚拟面上的接触点。
根据本发明一优选实施方式,所述轨迹处理单元,具体用于:在所述输入物体接触虚拟面的过程中,获取所述输入物体的位置信息在所述虚拟面上的投影;所述输入物体与所述虚拟面分离时,确定并记录输入物体接触虚拟面的过程中各投影点构成的轨迹。
根据本发明一优选实施方式,所述输入确定单元,具体用于:依据已记录的轨迹,上屏与已记录轨迹一致的线条;或者,
依据已记录的轨迹,上屏与已记录的轨迹相匹配的字符;或者,
依据已记录的轨迹,显示与所述已记录的轨迹相匹配的候选字符,上屏用户选择的候选字符。
根据本发明一优选实施方式,所述轨迹处理单元,还用于上屏操作完成后,清空已记录的轨迹;或者,捕捉到撤销输入的手势后,清空已记录的轨迹。
根据本发明一优选实施方式,该装置还包括:
展现单元,用于在所述虚拟面上展现所述输入物体接触虚拟面过程中产生的轨迹,在上屏操作完成后,清除虚拟面上展现的轨迹。
本发明还提供了一种设备,包括
存储器,包括一个或者多个程序;
一个或者多个处理器,耦合到所述存储器,执行所述一个或者多个程序,以实现上述方法中执行的操作。
本发明还提供了一种计算机存储介质,所述计算机存储介质被编码有计算机程序,所述程序在被一个或多个计算机执行时,使得所述一个或多个计算机执行上述方法中执行的操作。
本发明还提供了一种虚拟现实***,该虚拟现实***包括:输入物体、空间***和虚拟现实设备;
所述空间***,用于检测在三维空间中输入物体的位置,并提供给所述虚拟现实设备;
所述虚拟现实设备,用于确定并记录在三维空间中虚拟面的位置信息;依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;确定并记录所述输入物体接触虚拟面过程中产生的轨迹;依据记录的轨迹,确定输入的内容。
根据本发明一优选实施方式,所述虚拟现实设备,还用于按照预设的样式展现所述虚拟面。
根据本发明一优选实施方式,所述虚拟现实设备在依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面时,具体执行:
判断所述输入物体的位置与所述虚拟面的位置之间的距离是否在预设范围内,如果是,确定所述输入物体接触虚拟面。
根据本发明一优选实施方式,所述虚拟现实设备,还用于若检测到所述输入物体接触虚拟面,展现触感反馈信息。
根据本发明一优选实施方式,所述虚拟现实设备展现触感反馈信息的方式包括以下至少一种:
改变虚拟面的颜色;
播放指示所述输入物体接触虚拟面的提示音;
按照预设样式,展现所述输入物体在虚拟面上的接触点。
根据本发明一优选实施方式,所述虚拟现实设备展现触感反馈信息的方式包括:向所述输入物体发送触发消息;
所述输入物体,还用于收到所述触发消息后,提供振动反馈。
根据本发明一优选实施方式,所述虚拟现实设备在确定所述输入物体接触虚拟面过程中产生的轨迹时,具体执行:
在所述输入物体接触虚拟面的过程中,获取所述输入物体的位置信息在所述虚拟面上的投影;
所述输入物体与所述虚拟面分离时,确定并记录输入物体接触虚拟面的过程中各投影点构成的轨迹。
根据本发明一优选实施方式,所述虚拟现实设备在依据记录的轨迹,确定输入的内容时,具体执行:
依据已记录的轨迹,上屏与已记录轨迹一致的线条;或者,
依据已记录的轨迹,上屏与已记录的轨迹相匹配的字符;或者,
依据已记录的轨迹,显示与所述已记录的轨迹相匹配的候选字符,上屏用户选择的候选字符。
根据本发明一优选实施方式,所述虚拟现实设备,还用于完成上屏操作后,清空已记录的轨迹;或者,捕捉到撤销输入的手势后,清空已记录的轨迹。
根据本发明一优选实施方式,所述虚拟现实设备,还用于在所述虚拟面上展现所述输入物体接触虚拟面过程中产生的轨迹,在完成上屏操作后,清除虚拟面上展现的轨迹。
由以上技术方案可以看出,本发明通过在三维空间中确定并记录虚拟面的位置信息,依据输入物体的位置信息与虚拟面的位置信息,检测输入物体是否接触虚拟面,依据记录的输入物体接触虚拟面过程中产生的轨迹,确定输入的内容。实现了三维空间内的信息输入,适用于虚拟现实技术,使得用户在虚拟现实中的输入体验像是在现实空间中一样。
【附图说明】
图1为本发明实施例提供的***组成示意图;
图2为本发明实施例提供的一个场景示意图;
图3为本发明实施例提供的方法流程图;
图4a为本发明实施例提供的一种判断输入物体与接触面是否接触的实例图;
图4b为本发明实施例提供的一种接触反馈的示意图;
图5为本发明实施例提供的一个字符的输入过程示意图;
图6a和图6b为本发明实施例提供的字符输入的实例图;
图7为本发明实施例提供的装置结构图;
图8为本发明实施例提供的设备结构图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
为了方便对本发明的理解,首先对本发明所基于的***进行简单描述。如图1中所示,该***主要包括:虚拟现实设备、空间***和输入物体。其中输入物体可以是笔刷、手套等任意形态的、可以用户手持以进行信息输入的设备,甚至可以是用户手指。
空间***是一种检测三维空间中运动物***置的传感器,目前空间***广泛采用的方式包括:低频磁场式空间定位、超声式空间定位、激光式空间定位等。以低频磁场式传感器为例,传感器中的磁场发射器在三维空间中产生低频磁场,可以计算出接收器相对于发射器的位置和方向,并将数据传输给主计算机(在本发明中为虚拟现实设备所连接的计算机或移动设备,在本发明实施例中将虚拟现实设备与其所连接的主计算机统称为虚拟现实设备)。在本发明实施例中,接收器就可以设置于输入物体上。即空间***检测三维空间中输入物体的位置,并提供给虚拟现实设备。
以激光式空间定位为例,在三维空间内安装数个可发射激光的装置,对空间发射横竖两个方向扫射的激光,被定位的物体上放置了多个激光感应接收器,通过计算两束光线到达物体的角度差,从而得到物体的三维坐标。物体在移动时三维坐标也会跟着变化,从而得到变化的位置信息。利用该原理也能够对输入物体进行位置定位,这种方式可以对任意的输入物体进行定位,无需在输入物体上额外安装诸如接收器等装置。
虚拟现实设备是能够向用户或接收设备提供虚拟现实效果的设备的总称。一般而言,虚拟现实设备主要包括:
三维环境采集设备,采集物理世界(即,现实世界)的物体的三维数据,并在虚拟现实环境下进行再创建,此类设备例如,3D打印设备;
显示类设备,显示虚拟现实的影像,此类设备例如虚拟现实眼镜、虚拟现实头盔、增强现实设备、混合现实设备等;
声音设备,模拟物理世界的声学环境,向用户或接收设备提供虚拟环境下的声音输出,此类设备例如,三维环绕声学设备;
交互设备,采集用户或接收设备在虚拟环境下的交互和/或移动行为,并作为数据输入,对虚拟现实的环境参数、影像、声学、时间等产生反馈和改变,此类设备例如,位置追踪仪、数据手套、3D三维鼠标(或指示器)、动作捕捉设备、眼动仪、力反馈设备以及其他交互设备。
本发明下述方法实施例的执行主体为该虚拟现实设备,且本发明装置实施例中,该装置设置于该虚拟现实设备。
本发明实施例可以基于如图2中所示场景,用户穿戴有诸如头戴式显示器的虚拟现实设备,当用户触发输入功能时,在三维空间可以“产生”一个虚拟面,用户可以手持输入物体在该虚拟面上进行书写,从而完成信息输入。该虚拟面实际上是用于用户输入的一个参考位置,并非真实存在,可以是平面,也可以是曲面。为了使得用户在输入过程中的输入体验像是在现实世界中输入一样,可以将该虚拟面以一定的样式进行展现,例如将虚拟面展现为一块黑板的样式,或者展现为一张白纸的样式等等。这样用户在虚拟面上的输入就像是在现实世界中的黑板或白纸上书写一样。下面结合实施例对能够实现上述场景的方法进行详细描述。
图3为本发明实施例提供的方法流程图,如图3中所示,该方法可以包括以下步骤:
在301中,确定并记录在三维空间中虚拟面的位置信息。
本步骤可以在用户触发输入功能时执行,例如用户登录,需要输入用户名和密码时,再例如,通过即时通讯类应用输入聊天内容时,都会触发输入功能,此时就开始执行本步骤,确定并记录在三维空间中虚拟面的位置信息。
本步骤中,需要在虚拟现实设备的用户触及的三维空间范围内,确定一个虚拟平面作为虚拟面的位置,用户可以通过在该虚拟面上进行书写的方式进行信息输入。该虚拟面实际上是作为用户输入的参考位置,可以是平面,也可以是曲面,是虚拟的虚拟面,并非真实存在。虚拟面的位置可以以虚拟现实设备的位置作为参考位置设置,也可以以虚拟现实设备所连接计算机或移动设备等作为参考位置。也可以以另外,由于需要检测用户持输入物体在虚拟面上的轨迹,输入物体的位置信息是依靠空间***检测的,因此虚拟面的位置需要在空间***的检测范围内。
为了让用户对该虚拟面更加有“距离感”,在本发明中可以附加采用两种方式来让用户感知虚拟面的存在,从而知道在哪里进行输入。一种方式是当用户持输入物体接触虚拟面时,可以展现触感反馈信息,该部分内容将在后续详述。另一种方式是可以按照预设的样式展现该虚拟面,例如将虚拟面展现为一块黑板的样式,展现为一张白纸的样式,等等,这样用户在输入的过程中,一方面能够比较有距离感,知道虚拟面的位置在哪里,另一方面,用户能够像在黑板或白纸等介质上书写一样,用户体验较好。
在302中,获取在三维空间中输入物体的位置信息。
当用户持输入物体开始进行输入时,例如用户手持笔刷在“黑板”样式的虚拟面上进行书写。空间***能够定位到输入物体在移动过程中的位置信息,因此,本步骤实际上是从空间***获取空间***实时检测到的三维空间中输入物体的位置信息,该位置信息可以为三维坐标值。
在303中,依据输入物体的位置信息与虚拟面的位置信息,检测输入物体是否接触虚拟面。
由于已经记录有虚拟面的位置信息,又获取到了输入物体的位置信息,通过将输入物体的位置信息与虚拟面的位置信息进行比对,依据两者之间的距离就可以判断出输入物体是否接触虚拟面。具体地,可以判断输入物体的位置与虚拟面的位置之间的距离是否在预设范围内,如果是,可以确定输入物体接触虚拟面。例如可以将输入物体与虚拟面之间距离在[-1cm,1cm]范围内时,认为输入物体接触虚拟面。
在确定输入物体的位置与虚拟面的位置之间的距离时,可以如图4a所示,虚拟面可以看做是由很多该面上的点所构成的,空间***实时检测输入物体的位置信息并将该位置信息传送至执行本方法的装置。图4a中实心的点为构成虚拟面的各点,图中只是示例性的示出了部分,空心的点为输入物体的位置。该装置确定输入物体的位置A以及虚拟面上距离该位置A最近的点的位置B,然后判断A和B之间的距离是否在预设范围内,例如[-1cm,1cm]范围内,如果是,就认为输入物体接触虚拟面。
当然,除了上述图4a所示的方式之外,还可以采用其他确定输入物体的位置与虚拟面的位置之间距离的方式,例如采用将输入物体的位置向虚拟面投影的方式,在此不再赘述。
接触虚拟面后,用户就可以通过保持接触虚拟面并进行移动来产生一个笔迹。上面已经提及,为了让用户更加有距离感,方便进行笔迹的输入,可以在输入物体接触虚拟面时,展现触感反馈信息。触感反馈信息的展现形式可以包括但不限于以下几种:
1)改变虚拟面的颜色。例如,输入物体未接触虚拟面时,虚拟面为白色,当输入物体接触虚拟面时,虚拟面就变成灰色以表征输入物体接触虚拟面。
2)播放指示输入物体接触虚拟面的提示音。例如,一旦输入物体接触虚拟面,就播放预设的音乐,一旦输入物体离开虚拟面,音乐就暂停播放。
3)按照预设样式,展现输入物体在虚拟面上的接触点。例如,一旦输入物体接触虚拟面,就形成一个水波式的接触点,若在接触虚拟面的距离越近,该水波越大,就像模拟用户真实书写过程中对介质所产生的压力。如图4b所示。接触点的样式本发明并不加以限制,也可以是简单的一个黑点,输入物体接触虚拟面时,就在接触位置显示一个黑点,离开虚拟面时,黑点消失。
上述1)和3)的触感反馈方式属于视觉反馈,上述2)的触感反馈方式属于听觉反馈,除了上述几种反馈方式之外,还可以采用如下4)中所示的力学反馈方式。
4)通过输入物体提供振动反馈。这种情况下,对于输入物体有一定的要求,对于普通诸如粉笔、手指等不再适用。而需要输入物体具有消息接收能力以及振动能力。
虚拟现实设备会以很短的时间间隔对输入物体是否接触虚拟面进行判别,判别出输入物体接触虚拟面时,向输入物体发送触发消息。输入物体接收到触发消息后,提供振动反馈。当输入物体离开虚拟面时,输入物体不会接收到触发消息,则不提供振动反馈。这样用户在输入过程中会存在这样的体验,在虚拟面上书写的过程中,接触虚拟面时感受到振动反馈,这样用户就能够清楚地感知输入物体与虚拟面的接触状况。
其中虚拟现实设备向输入物体发送的触发消息,可以以无线的方式发送,例如wifi、蓝牙、NFC(Near Field Communication,近场通信)等等,也可以以有线的方式发送。
在304中,确定并记录输入物体接触虚拟面过程中产生的轨迹。
由于输入物体在三维空间中的运动是三维的,因此,需要将该三维的运动(一系列位置点)转换到虚拟面上的二维运动。可以在输入物体接触虚拟面的过程中,获取输入物体的位置信息在虚拟面上的投影;当输入物体与虚拟面分离时,确定并记录输入物体接触虚拟面过程中各投影点构成的轨迹。这次记录的轨迹就可以看做是一个笔迹。
在305中,依据记录的轨迹,确定输入的内容。
如果用户采用类似“画画”的方式进行输入,即所画即所得,那么可以依据已记录的轨迹,上屏与已记录轨迹一致的线条。上屏完成后,清空已记录的轨迹,当前这一个笔迹输入完毕,重新开始检测并记录下一次输入物体接触虚拟面所产生的笔迹。
如果用户想要输入的是字符,且采用的输入方式也是所画即所得,例如用户在虚拟面上输入字母“a”的轨迹,那么通过匹配可以得到字母a,就直接上屏字母“a”。对于有些一笔可以完成的数字也同样适用,例如用户在虚拟面上输入数字“2”的轨迹,通过匹配可以得到数字2,就可以直接上屏数字“2”。上屏完成后,清空已记录的轨迹,当前这一个笔迹输入完毕,重新开始检测并记录下一次输入物体接触虚拟面所产生的笔迹。
如果用户想要输入的是字符,且采用的输入方式是编码式或者笔画等方式,例如用户在虚拟面上输入拼音,希望得到拼音对应的汉字,或者用户在虚拟面上输入汉字的各笔画,希望得到各笔画对应的汉字,等等。那么依据已记录的轨迹,显示与已记录的轨迹相匹配的候选字符。若用户未选择任一个候选字符,当前这一个笔迹输入完毕,重新开始检测并记录下一次输入物体接触虚拟面所产生的笔迹。当第二个笔迹输入完毕后,记录的轨迹就是第一个笔迹和第二个笔迹共同构成的轨迹,再对该已记录的轨迹进行匹配,显示匹配的候选字符。若用户仍未选择任一个候选字符,则继续开始检测并记录下一次输入物体接触虚拟面所产生的笔迹,直至用户从候选字符中选择一个进行上屏。上屏完成后,清空已记录的轨迹,开始下一个字符的输入。一个字符的输入过程可以如图5所示。
另外,可以将用户已输入的轨迹在虚拟面上进行显示,直至上屏完毕后,清除在虚拟面上显示的轨迹。当然,也虚拟面上显示的轨迹也可以不自动删除,而是由用户手动删除,即通过特定的手势清除。例如通过点击虚拟面上“清除轨迹”的按钮,一旦检测到用户在该按钮位置的点击操作,则清除虚拟面上显示的轨迹。
为了方便理解,举一个例子,假设用户通过输入物体先输入一个笔迹“く”,对此轨迹进行记录,然后依据记录的该轨迹,显示与已记录的轨迹相匹配的候选字符,例如“女”、“人”、“(”等,如图6a所示。候选字符中没有用户想要输入的字符,用户继续输入一个笔迹“ノ”,记录该轨迹,这样已记录的轨迹就由“く”和“ノ”构成,显示与已记录的轨迹相匹配的候选字符,例如“女”、“义”、“X”等。如果没有与农户想要输入的字符,用户继续输入一个笔迹“–”,这样已记录的轨迹就由“く”、“ノ”和“–”构成,显示与已记录的轨迹相匹配的候选字符,例如“女”、“如”、“好”等,如图6b所示。假设此时候选字符中已有用户想要输入的字符“好”,则用户可以从候选字符中选择“好”字进行上屏。上屏完成后,清除已记录的轨迹,以及虚拟面上显示的轨迹。用户可以开始下一个字符的输入。
若用户在输入某字符的过程中,想撤销已输入的轨迹,可以执行撤销输入的手势。一旦捕捉到用户撤销输入的手势后,清空已记录的轨迹。用户可以重新进行当前字符的输入。例如,可以在虚拟面上设置一个“撤销按钮”,如图6b中所示。若捕捉到输入物体在此处的点击操作,则清空已记录的轨迹,同时可以清除虚拟面上显示的对应轨迹。也可以通过其他手势,例如不接触虚拟面情况下向左快速移动输入物体,向上快速移动输入物体等手势。
需要说明的是,上述方法实施例的执行主体可以为输入装置,该装置可以位于本地终端(虚拟现实设备端)的应用,或者还可以为位于本地终端的应用中的插件或软件开发工具包(Software Development Kit,SDK)等功能单元。
以上是对本发明所提供的方法进行的描述,下面结合实施例对本发明提供的装置进行详述。图7为本发明实施例提供的装置结构图,如图7所示,该装置可以包括:虚拟面处理单元01、位置获取单元02、接触检测单元03、轨迹处理单元04和输入确定单元05,还可以包括展现单元06。各组成单元的主要功能如下:
虚拟面处理单元01负责确定并记录在三维空间中虚拟面的位置信息。在本发明实施例中,可以在虚拟现实设备的用户触及的三维空间范围内,确定一个虚拟平面作为虚拟面的位置,用户可以通过在该虚拟面上进行书写的方式进行信息输入。该虚拟面实际上是作为用户输入的参考位置,是虚拟的虚拟面,并非真实存在。另外,由于需要检测用户持输入物体在虚拟面上的轨迹,输入物体的位置信息是依靠空间***检测的,因此虚拟面的位置需要在空间***的检测范围内。
展现单元06可以按照预设的样式展现虚拟面,例如将虚拟面展现为一块黑板的样式,展现为一张白纸的样式,等等,这样用户在输入的过程中,一方面能够比较有距离感,知道虚拟面的位置在哪里,另一方面,用户能够像在黑板或白纸等介质上书写一样,用户体验较好。
位置获取单元02负责获取在三维空间中输入物体的位置信息。具体地,获取空间***检测到的输入物体的位置信息,该位置信息可以为三维坐标值。
接触检测单元03负责依据输入物体的位置信息与虚拟面的位置信息,检测输入物体是否接触虚拟面。由于已经记录有虚拟面的位置信息,又获取到了输入物体的位置信息,通过将输入物体的位置信息与虚拟面的位置信息进行比对,依据两者之间的距离就可以判断出输入物体是否接触虚拟面。具体地,可以判断输入物体的位置与虚拟面的位置之间的距离是否在预设范围内,如果是,可以确定输入物体接触虚拟面。例如可以将输入物体与虚拟面之间距离在[-1cm,1cm]范围内时,认为输入物体接触虚拟面。
轨迹处理单元04负责确定并记录输入物体接触虚拟面过程中产生的轨迹。
为了让用户更加有距离感,方便进行笔迹的输入,展现单元06可以在输入物体接触虚拟面时,展现触感反馈信息。触感反馈信息的展现形式可以包括但不限于以下几种:
1)改变虚拟面的颜色。例如,输入物体未接触虚拟面时,虚拟面为白色,当输入物体接触虚拟面时,虚拟面就变成灰色以表征输入物体接触虚拟面。
2)播放指示输入物体接触虚拟面的提示音。例如,一旦输入物体接触虚拟面,就播放预设的音乐,一旦输入物体离开虚拟面,音乐就暂停播放。
3)按照预设样式,展现输入物体在虚拟面上的接触点。例如,一旦输入物体接触虚拟面,就形成一个水波式的接触点,若在接触虚拟面的距离越近,该水波越大,就像模拟用户真实书写过程中对介质所产生的压力。如图4所示。接触点的样式本发明并不加以限制,也可以是简单的一个黑点,输入物体接触虚拟面时,就在接触位置显示一个黑点,离开虚拟面时,黑点消失。
4)通过输入物体提供振动反馈。这种情况下,对于输入物体有一定的要求,对于普通诸如粉笔、手指等不再适用。而需要输入物体具有消息接收能力以及振动能力。
虚拟现实设备会以很短的时间间隔对输入物体是否接触虚拟面进行判别,判别出输入物体接触虚拟面时,向输入物体发送触发消息。输入物体接收到触发消息后,提供振动反馈。当输入物体离开虚拟面时,输入物体不会接收到触发消息,则不提供振动反馈。这样用户在输入过程中会存在这样的体验,在虚拟面上书写的过程中,接触虚拟面时感受到振动反馈,这样用户就能够清楚地感知输入物体与虚拟面的接触状况。
其中虚拟现实设备向输入物体发送的触发消息,可以以无线的方式发送,例如wifi、蓝牙、NFC(Near Field Communication,近场通信)等等,也可以以有线的方式发送。
由于输入物体在三维空间中的运动是三维的,因此,需要将该三维的运动(一系列位置点)转换到虚拟面上的二维运动。轨迹处理单元04可以在输入物体接触虚拟面的过程中,获取输入物体的位置信息在虚拟面上的投影;输入物体与虚拟面分离时,确定并记录输入物体接触虚拟面的过程中各投影点构成的轨迹。
输入确定单元05负责依据记录的轨迹,确定输入的内容。具体地,输入确定单元05可以依据已记录的轨迹,上屏与已记录轨迹一致的线条;或者,依据已记录的轨迹,上屏与已记录的轨迹相匹配的字符;或者,依据已记录的轨迹,显示与已记录的轨迹相匹配的候选字符,上屏用户选择的候选字符。其中由展现单元06展现该候选字符。
更进一步地,轨迹处理单元04在上屏操作完成后,清空已记录的轨迹,开始进行下一个字符的输入处理。或者,捕捉到撤销输入的手势后,清空已记录的轨迹,重新进行当前字符的输入处理。
另外,展现单元06可以在虚拟面上展现输入物体接触虚拟面过程中产生的轨迹,在上屏操作完成后,清除虚拟面上展现的轨迹。
本发明实施例提供的上述方法和装置可以以设置并运行于设备中的计算机程序体现。该设备可以包括一个或多个处理器,还包括存储器和一个或多个程序,如图8中所示。其中该一个或多个程序存储于存储器中,被上述一个或多个处理器执行以实现本发明上述实施例中所示的方法流程和/或装置操作。例如,被上述一个或多个处理器执行的方法流程,可以包括:
确定并记录在三维空间中虚拟面的位置信息;
获取在三维空间中输入物体的位置信息;
依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;
确定并记录所述输入物体接触虚拟面过程中产生的轨迹;
依据记录的轨迹,确定输入的内容。
由以上描述可以看出,本发明提供的上述方法、装置和设备可以具备以下优点:
1)能够实现三维空间内的信息输入,适用于虚拟现实技术。
2)本发明有别于传统的输入方式,需要键盘、手写板等,一方面需要随身携带这些较大体积的输入设备;另一方面需要在输入的同时额外观察输入设备。而本申请提供的输入方式,用户持任意的输入设备都可能进行输入,甚至不需要输入设备,采用诸如用户手指、手边的笔、棍子等等物体都可以完成输入。且由于虚拟面在三维空间内,因此用户只需要在虚拟面上进行书写,无需额外观察输入设备。
在本发明所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (34)

1.一种输入方法,其特征在于,该方法包括:
确定并记录在三维空间中虚拟面的位置信息;
获取在三维空间中输入物体的位置信息;
依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;
确定并记录所述输入物体接触虚拟面过程中产生的轨迹;
依据记录的轨迹,确定输入的内容。
2.根据权利要求1所述的方法,其特征在于,该方法还包括:
按照预设的样式展现所述虚拟面。
3.根据权利要求1所述的方法,其特征在于,所述获取在三维空间中输入物体的位置信息包括:
获取空间***检测到的所述输入物体的位置信息。
4.根据权利要求1所述的方法,其特征在于,依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面包括:
判断所述输入物体的位置与所述虚拟面的位置之间的距离是否在预设范围内,如果是,确定所述输入物体接触虚拟面。
5.根据权利要求1或4所述的方法,其特征在于,该方法还包括:
若检测到所述输入物体接触虚拟面,展现触感反馈信息。
6.根据权利要求5所述的方法,其特征在于,所述展现触感反馈信息包括以下至少一种:
改变虚拟面的颜色;
播放指示所述输入物体接触虚拟面的提示音;
按照预设样式,展现所述输入物体在虚拟面上的接触点。
7.根据权利要求5所述的方法,其特征在于,所述展现触感反馈信息包括:
通过所述输入物体提供振动反馈。
8.根据权利要求1所述的方法,其特征在于,确定所述输入物体接触虚拟面过程中产生的轨迹包括:
在所述输入物体接触虚拟面的过程中,获取所述输入物体的位置信息在所述虚拟面上的投影;
所述输入物体与所述虚拟面分离时,确定并记录输入物体接触虚拟面的过程中各投影点构成的轨迹。
9.根据权利要求1或8所述的方法,其特征在于,依据记录的轨迹,确定输入的内容包括:
依据已记录的轨迹,上屏与已记录轨迹一致的线条;或者,
依据已记录的轨迹,上屏与已记录的轨迹相匹配的字符;或者,
依据已记录的轨迹,显示与所述已记录的轨迹相匹配的候选字符,上屏用户选择的候选字符。
10.根据权利要求9所述的方法,其特征在于,该方法还包括:
完成上屏操作后,清空已记录的轨迹;或者,
捕捉到撤销输入的手势后,清空已记录的轨迹。
11.根据权利要求9所述的方法,其特征在于,该方法还包括:
在所述虚拟面上展现所述输入物体接触虚拟面过程中产生的轨迹,在完成上屏操作后,清除虚拟面上展现的轨迹。
12.一种输入装置,其特征在于,该装置包括:
虚拟面处理单元,用于确定并记录在三维空间中虚拟面的位置信息;
位置获取单元,用于获取在三维空间中输入物体的位置信息;
接触检测单元,用于依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;
轨迹处理单元,用于确定并记录所述输入物体接触虚拟面过程中产生的轨迹;
输入确定单元,用于依据记录的轨迹,确定输入的内容。
13.根据权利要求12所述的装置,其特征在于,该装置还包括:
展现单元,用于按照预设的样式展现所述虚拟面。
14.根据权利要求12所述的装置,其特征在于,所述位置获取单元,具体用于获取空间***检测到的所述输入物体的位置信息。
15.根据权利要求12所述的装置,其特征在于,所述接触检测单元,具体用于判断所述输入物体的位置与所述虚拟面的位置之间的距离是否在预设范围内,如果是,确定所述输入物体接触虚拟面。
16.根据权利要求12或15所述的装置,其特征在于,该装置还包括:
展现单元,用于若检测到所述输入物体接触虚拟面,展现触感反馈信息。
17.根据权利要求16所述的装置,其特征在于,所述展现单元在展现触感反馈信息时,采用以下至少一种方式:
改变虚拟面的颜色;
播放指示所述输入物体接触虚拟面的提示音;
按照预设样式,展现所述输入物体在虚拟面上的接触点。
18.根据权利要求17所述的装置,其特征在于,所述展现单元在展现触感反馈信息时,通过所述输入物体提供振动反馈。
19.根据权利要求12所述的装置,其特征在于,所述轨迹处理单元,具体用于:在所述输入物体接触虚拟面的过程中,获取所述输入物体的位置信息在所述虚拟面上的投影;所述输入物体与所述虚拟面分离时,确定并记录输入物体接触虚拟面的过程中各投影点构成的轨迹。
20.根据权利要求12或19所述的装置,其特征在于,所述输入确定单元,具体用于:依据已记录的轨迹,上屏与已记录轨迹一致的线条;或者,
依据已记录的轨迹,上屏与已记录的轨迹相匹配的字符;或者,
依据已记录的轨迹,显示与所述已记录的轨迹相匹配的候选字符,上屏用户选择的候选字符。
21.根据权利要求20所述的装置,其特征在于,所述轨迹处理单元,还用于上屏操作完成后,清空已记录的轨迹;或者,捕捉到撤销输入的手势后,清空已记录的轨迹。
22.根据权利要求20所述的装置,其特征在于,该装置还包括:
展现单元,用于在所述虚拟面上展现所述输入物体接触虚拟面过程中产生的轨迹,在上屏操作完成后,清除虚拟面上展现的轨迹。
23.一种设备,包括
存储器,包括一个或者多个程序;
一个或者多个处理器,耦合到所述存储器,执行所述一个或者多个程序,以实现如权利要求1至4、8中任一权项所述方法中执行的操作。
24.一种计算机存储介质,所述计算机存储介质被编码有计算机程序,所述程序在被一个或多个计算机执行时,使得所述一个或多个计算机执行如权利要求1至4、8中任一权项所述方法中执行的操作。
25.一种虚拟现实***,其特征在于,该虚拟现实***包括:输入物体、空间***和虚拟现实设备;
所述空间***,用于检测在三维空间中输入物体的位置,并提供给所述虚拟现实设备;
所述虚拟现实设备,用于确定并记录在三维空间中虚拟面的位置信息;依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面;确定并记录所述输入物体接触虚拟面过程中产生的轨迹;依据记录的轨迹,确定输入的内容。
26.根据权利要求25所述的虚拟现实***,其特征在于,所述虚拟现实设备,还用于按照预设的样式展现所述虚拟面。
27.根据权利要求25所述的虚拟现实***,其特征在于,所述虚拟现实设备在依据所述输入物体的位置信息与所述虚拟面的位置信息,检测所述输入物体是否接触虚拟面时,具体执行:
判断所述输入物体的位置与所述虚拟面的位置之间的距离是否在预设范围内,如果是,确定所述输入物体接触虚拟面。
28.根据权利要求25或27所述的虚拟现实***,其特征在于,所述虚拟现实设备,还用于若检测到所述输入物体接触虚拟面,展现触感反馈信息。
29.根据权利要求28所述的虚拟现实***,其特征在于,所述虚拟现实设备展现触感反馈信息的方式包括以下至少一种:
改变虚拟面的颜色;
播放指示所述输入物体接触虚拟面的提示音;
按照预设样式,展现所述输入物体在虚拟面上的接触点。
30.根据权利要求28所述的虚拟现实***,其特征在于,所述虚拟现实设备展现触感反馈信息的方式包括:向所述输入物体发送触发消息;
所述输入物体,还用于收到所述触发消息后,提供振动反馈。
31.根据权利要求25所述的虚拟现实***,其特征在于,所述虚拟现实设备在确定所述输入物体接触虚拟面过程中产生的轨迹时,具体执行:
在所述输入物体接触虚拟面的过程中,获取所述输入物体的位置信息在所述虚拟面上的投影;
所述输入物体与所述虚拟面分离时,确定并记录输入物体接触虚拟面的过程中各投影点构成的轨迹。
32.根据权利要求25或31所述的虚拟现实***,其特征在于,所述虚拟现实设备在依据记录的轨迹,确定输入的内容时,具体执行:
依据已记录的轨迹,上屏与已记录轨迹一致的线条;或者,
依据已记录的轨迹,上屏与已记录的轨迹相匹配的字符;或者,
依据已记录的轨迹,显示与所述已记录的轨迹相匹配的候选字符,上屏用户选择的候选字符。
33.根据权利要求32所述的虚拟现实***,其特征在于,所述虚拟现实设备,还用于完成上屏操作后,清空已记录的轨迹;或者,捕捉到撤销输入的手势后,清空已记录的轨迹。
34.根据权利要求32所述的虚拟现实***,其特征在于,所述虚拟现实设备,还用于在所述虚拟面上展现所述输入物体接触虚拟面过程中产生的轨迹,在完成上屏操作后,清除虚拟面上展现的轨迹。
CN201710085422.7A 2017-02-17 2017-02-17 一种输入方法、装置、设备、***和计算机存储介质 Pending CN108459782A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710085422.7A CN108459782A (zh) 2017-02-17 2017-02-17 一种输入方法、装置、设备、***和计算机存储介质
TW106137905A TWI825004B (zh) 2017-02-17 2017-11-02 輸入方法、裝置、設備、系統和電腦儲存媒體
PCT/CN2018/075236 WO2018149318A1 (zh) 2017-02-17 2018-02-05 一种输入方法、装置、设备、***和计算机存储介质
US16/542,162 US20190369735A1 (en) 2017-02-17 2019-08-15 Method and system for inputting content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710085422.7A CN108459782A (zh) 2017-02-17 2017-02-17 一种输入方法、装置、设备、***和计算机存储介质

Publications (1)

Publication Number Publication Date
CN108459782A true CN108459782A (zh) 2018-08-28

Family

ID=63169125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710085422.7A Pending CN108459782A (zh) 2017-02-17 2017-02-17 一种输入方法、装置、设备、***和计算机存储介质

Country Status (4)

Country Link
US (1) US20190369735A1 (zh)
CN (1) CN108459782A (zh)
TW (1) TWI825004B (zh)
WO (1) WO2018149318A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308132A (zh) * 2018-08-31 2019-02-05 青岛小鸟看看科技有限公司 虚拟现实的手写输入的实现方法、装置、设备及***
CN109872519A (zh) * 2019-01-13 2019-06-11 上海萃钛智能科技有限公司 一种头戴式遥控装备及其遥控方法
CN113963586A (zh) * 2021-09-29 2022-01-21 华东师范大学 一种可移动穿戴式授课工具及其应用

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426509A (zh) * 2011-11-08 2012-04-25 北京新岸线网络技术有限公司 一种手写输入的显示方法、装置及***
CN101878488B (zh) * 2007-08-08 2013-03-06 M·皮尔基奥 在计算机屏幕上驱动进行书写和绘图的虚拟笔的方法
CN104808790A (zh) * 2015-04-08 2015-07-29 冯仕昌 一种基于非接触式交互获取无形透明界面的方法
US20160239080A1 (en) * 2015-02-13 2016-08-18 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN106200964A (zh) * 2016-07-06 2016-12-07 浙江大学 一种虚拟现实中基于移动轨迹识别进行人机交互的方法
US20160358380A1 (en) * 2015-06-05 2016-12-08 Center Of Human-Centered Interaction For Coexistence Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space
CN106249882A (zh) * 2016-07-26 2016-12-21 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN106371574A (zh) * 2015-12-04 2017-02-01 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互***
CN106406527A (zh) * 2016-09-07 2017-02-15 传线网络科技(上海)有限公司 基于虚拟现实的输入方法、装置及虚拟现实装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333801B2 (ja) * 2013-02-19 2018-05-30 ミラマ サービス インク 表示制御装置、表示制御プログラム、および表示制御方法
WO2016036415A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Electronic message user interface
CN104656890A (zh) * 2014-12-10 2015-05-27 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机及互动实现方法
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和***
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
CN105929958B (zh) * 2016-04-26 2019-03-01 华为技术有限公司 一种手势识别方法,装置和头戴式可视设备
CN105975067A (zh) * 2016-04-28 2016-09-28 上海创米科技有限公司 应用于虚拟现实产品的按键输入设备及方法
US10147243B2 (en) * 2016-12-05 2018-12-04 Google Llc Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101878488B (zh) * 2007-08-08 2013-03-06 M·皮尔基奥 在计算机屏幕上驱动进行书写和绘图的虚拟笔的方法
CN102426509A (zh) * 2011-11-08 2012-04-25 北京新岸线网络技术有限公司 一种手写输入的显示方法、装置及***
US20160239080A1 (en) * 2015-02-13 2016-08-18 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN104808790A (zh) * 2015-04-08 2015-07-29 冯仕昌 一种基于非接触式交互获取无形透明界面的方法
US20160358380A1 (en) * 2015-06-05 2016-12-08 Center Of Human-Centered Interaction For Coexistence Head-Mounted Device and Method of Enabling Non-Stationary User to Perform 3D Drawing Interaction in Mixed-Reality Space
CN106371574A (zh) * 2015-12-04 2017-02-01 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互***
CN106200964A (zh) * 2016-07-06 2016-12-07 浙江大学 一种虚拟现实中基于移动轨迹识别进行人机交互的方法
CN106249882A (zh) * 2016-07-26 2016-12-21 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
CN106406527A (zh) * 2016-09-07 2017-02-15 传线网络科技(上海)有限公司 基于虚拟现实的输入方法、装置及虚拟现实装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308132A (zh) * 2018-08-31 2019-02-05 青岛小鸟看看科技有限公司 虚拟现实的手写输入的实现方法、装置、设备及***
CN109872519A (zh) * 2019-01-13 2019-06-11 上海萃钛智能科技有限公司 一种头戴式遥控装备及其遥控方法
CN113963586A (zh) * 2021-09-29 2022-01-21 华东师范大学 一种可移动穿戴式授课工具及其应用

Also Published As

Publication number Publication date
TWI825004B (zh) 2023-12-11
US20190369735A1 (en) 2019-12-05
TW201832049A (zh) 2018-09-01
WO2018149318A1 (zh) 2018-08-23

Similar Documents

Publication Publication Date Title
CN106997241B (zh) 虚拟现实环境中与真实世界互动的方法与虚拟现实***
US8184092B2 (en) Simulation of writing on game consoles through the use of motion-sensing technology
CN102906671B (zh) 手势输入装置及手势输入方法
KR102041984B1 (ko) 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
US9430106B1 (en) Coordinated stylus haptic action
US8376854B2 (en) Around device interaction for controlling an electronic device, for controlling a computer game and for user verification
JP5446769B2 (ja) 3次元入力表示装置
US20130307829A1 (en) Haptic-acoustic pen
CN107491258A (zh) 用于在分屏模式下操纵窗口的设备、方法和图形用户界面
CN108700940A (zh) 体量虚拟现实键盘方法、用户接口和交互
WO2013143290A1 (zh) 解锁屏幕保护的方法及用户设备
CN104769533A (zh) 使用手指触摸类型与电子设备交互
JP2013037675A5 (zh)
JPWO2008078603A1 (ja) ユーザインターフェイス装置
CN102810015B (zh) 基于空间运动的输入方法及终端
CN110389659A (zh) 针对增强或虚拟现实环境提供动态触觉回放的***和方法
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
CN102939574A (zh) 字符选择
Schmitz et al. Itsy-bits: Fabrication and recognition of 3d-printed tangibles with small footprints on capacitive touchscreens
CN108459782A (zh) 一种输入方法、装置、设备、***和计算机存储介质
CN103902030A (zh) 一种触觉反馈方法、触觉反馈装置、电子设备及触控笔
CN106464749A (zh) 用户界面的交互方法
CN106774823A (zh) 虚拟现实设备及其输入方法
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
CN108771865A (zh) 游戏中的交互控制方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180828