CN107633551A - 一种虚拟键盘的展示方法及装置 - Google Patents
一种虚拟键盘的展示方法及装置 Download PDFInfo
- Publication number
- CN107633551A CN107633551A CN201710709726.6A CN201710709726A CN107633551A CN 107633551 A CN107633551 A CN 107633551A CN 201710709726 A CN201710709726 A CN 201710709726A CN 107633551 A CN107633551 A CN 107633551A
- Authority
- CN
- China
- Prior art keywords
- mtd
- model
- mrow
- finger
- hands
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Input From Keyboards Or The Like (AREA)
Abstract
本发明公开了一种虚拟键盘的展示方法及装置，其中，所述方法包括：分别对用户的双手及物体表面进行建模，以构建在虚拟现实场景中用户的双手模型以及表面键盘模型；将所述双手模型中被遮挡的手指模型补全，以建立标准双手模型；根据所述标准双手模型中手指之间的当前空间位置关系，对所述表面键盘模型的键距进行自适应调节，以得到与所述手指之间的当前空间位置关系相适配的自适应键盘模型；在所述虚拟现实场景中展示所述自适应键盘模型。本申请提供的技术方案，能够实现精度较高的人机交互过程。
Description
技术领域
本发明涉及人机交互技术领域，特别涉及一种虚拟键盘的展示方法及装置。
背景技术
当前，在人机交互中，用户采用的信息输入方式通常可以包括以下几种：
1.传统实体交互，即通过真实的物理设备完成输入，例如被广泛使用的鼠标、键盘、游戏手柄、遥控器等。该方法的缺点是：实体交互尺寸较大无法用于微型设备；功能限制性很大，只能解决一种设备的输入需求(比如鼠标不能用在手机上)；设备尺寸固定无法适应不同的人群(手较大的人觉得键盘间距小，而手小的人则反之)。
2.可穿戴实体交互，即通过传感器(加速传感器、陀螺仪、磁传感器等) 完成输入。例如可穿戴手环、可穿戴戒指、动作捕捉手套等等。该方法的缺点是：必须穿戴才能交互；只能识别穿戴部位的简单运动信息。
3.半虚拟交互，即通过触摸屏，把实体虚拟成界面元素。例如手机、平板，触摸屏等。该方法的缺点是：交互范围依赖于设备的尺寸；交互时手遮挡界面
4.三维虚拟交互，即在三维空间中与虚拟物体交互，例如Leap Motion， Kinect等，或者基于这两种设备的交互扩展。该方法的缺点是：手不能在支撑面上交互，否则支撑面被误判为手从而出错。
5.表面虚拟交互，通过把桌面虚拟化为触摸板，从而完成类似触摸板的交互。该方法的缺陷是：支撑表面必须平整(不能凹凸不平)；识别精度较低，容易误触；无法识别手指按压表面的力度。
由上可见，目前需要一种识别精度较高的人机交互方法。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种虚拟键盘的展示方法及装置。所述技术方案如下：
一种虚拟键盘的展示方法，所述方法包括：
分别对用户的双手及物体表面进行建模，以构建在虚拟现实场景中用户的双手模型以及表面键盘模型；
将所述双手模型中被遮挡的手指模型补全，以建立标准双手模型；
根据所述标准双手模型中手指之间的当前空间位置关系，对所述表面键盘模型的键距进行自适应调节，以得到与所述手指之间的当前空间位置关系相适配的自适应键盘模型；
在所述虚拟现实场景中展示所述自适应键盘模型。
进一步地，在将所述双手模型中被遮挡的手指模型补全之前，所述方法还包括：
对所述双手模型进行聚类，得到所述双手模型中手指指尖对应的两个簇，以将所述双手模型中的左右手进行区分。
进一步地，对所述双手模型进行聚类包括：
从所述双手模型的手指样本S＝{x1,x2...,xn}中，把这些样本划分到k个聚类 S1,S2,...Sk中，使得满足组内平方和最小，即：
其中t指的是迭代次数，mi指的是第i个聚类的均值点，按照下面两个步骤更新各个聚类及其均值点：
步骤1：
其中，xp指的是分配到确定聚类的元素；
步骤2：即计算上步得到的聚类中，每一聚类的质心作为新的均值点。
进一步地，将所述双手模型中被遮挡的手指模型补全包括：
确定所述双手模型中目标手指的特征向量，所述特征向量中包括与所述目标手指相关联的十二维特征；
基于预先训练得到的标准手掌的特征向量，枚举所述标准手掌的特征向量对应的缺失手指的各种情形，并计算所述目标手指的特征向量与缺失手指的各种情形之间的相似度，并将相似度最大的情形作为当前缺失手指的情形。
进一步地，按照下述公式计算所述目标手指的特征向量与缺失手指的各种情形之间的相似度：
其中，sim函数指的是两者的相似度，越接近1说明两者越相似，n指的是特征数量，Xi指的是当前样本的第i个特征，Xi'指的是标准模型的第i个特征。
进一步地，对所述表面键盘模型的键距进行自适应调节包括：
确定复合变换矩阵，所述复合变换矩阵中包括旋转矩阵、平移矩阵以及缩放矩阵；
利用所述复合变换矩阵，将所述表面键盘模型转换为自适应键盘模型；其中，所述复合变换矩阵中的参数根据所述自适应键盘模型与所述标准双手模型之间的位置关系确定。
进一步地，按照下述公式确定所述复合变换矩阵：
其中，M表示所述复合变换矩阵，θ为旋转角度，Tx和Ty表示平移参数，Sx和Sy表示缩放参数；
相应地，按照下述公式确定所述位置关系：
min[dist(L5PA)+dist(L4PS)+dist(L3PD)+dist(L2PF)+dist(R2PJ)+dist(R3PK)+dist(R4PL)]
其中，L5、L4、L3、L2分别表示所述标准双手模型中左手小拇指、无名指、中指以及食指对应的坐标，PA、PS、PD、PF分别表示所述自适应键盘模型中左手定位键的坐标，R2、R3、R4分别表示所述标准双手模型中右手食指、中指以及无名指对应的坐标，PJ、PK、PL分别表示所述自适应键盘模型中右手定位键的坐标，dist(LP)表示计算手指坐标与定位键坐标之间的距离；
其中，调节后的自适应键盘模型中的键距表示为dist(PAPS)。
进一步地，在构建表面键盘模型之后，所述方法还包括：
将所述表面键盘模型拆分为指定数量的分块键盘，其中，所述分块键盘与所述双手模型中的手指相对应。
进一步地，所述方法还包括：
接收用户施加的动作，并调用与所述动作相匹配的场景；其中，所述动作包括双手同时放置于桌面上、一只手指按照指定路径晃动以及至少两只手指同时移动中的至少一种；相应地，所述场景包括键盘场景、鼠标场景以及手势场景中的至少一种。
一种虚拟键盘的展示装置，所述装置包括：
建模单元，用于分别对用户的双手及物体表面进行建模，以构建在虚拟现实场景中用户的双手模型以及表面键盘模型；
手指补全单元，用于将所述双手模型中被遮挡的手指模型补全，以建立标准双手模型；
自适应调节单元，用于根据所述标准双手模型中手指之间的当前空间位置关系，对所述表面键盘模型的键距进行自适应调节，以得到与所述手指之间的当前空间位置关系相适配的自适应键盘模型；
展示单元，用于在所述虚拟现实场景中展示所述自适应键盘模型。
由上可见，本发明的技术方案，和传统输入方式相比，更为自由和高效，可以在任意表面(平面，曲面等)输入(文字、字符、数字、手势等)，有益效果在于：
1.不需要知道虚拟键盘的位置(键盘能自适应)；
2.不需要定位键盘的位置(即左右手食指分别放在F和J两个按键上)；
3.能够根据手的大小自动调整键盘大小；
4.物体表面即为支撑面，可以让使用者长时间输入；
5.自动识别和切换交互场景，如键盘输入场景、手势输入场景、鼠标控制场景
6.是虚拟现实的有效解决方案，由于戴着虚拟现实头盔时，看不到实体，因此传统的输入(不管是实体键盘还是虚拟键盘)就不再适用了，而通过输入和显示分离，实现通过头显显示手和键盘，达到输入的目的，从而实现了精度较高的人机交互过程。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施方式中虚拟交互方法的流程图；
图2是本发明实施方式中主动体的运动区间示意图；
图3是本发明实施方式中主动体的结构示意图；
图4是本发明实施方式中新的点云数据和消失的点云数据示意图；
图5是本发明实施方式中主动体模型和被动体模型的交互示意图。
图6是本发明实施方式中虚拟键盘的展示装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参阅图1，本申请提供一种虚拟键盘的展示方法，所述方法包括：
S1：分别对用户的双手及物体表面进行建模，以构建在虚拟现实场景中用户的双手模型以及表面键盘模型；
S2：将所述双手模型中被遮挡的手指模型补全，以建立标准双手模型；
S3：根据所述标准双手模型中手指之间的当前空间位置关系，对所述表面键盘模型的键距进行自适应调节，以得到与所述手指之间的当前空间位置关系相适配的自适应键盘模型；
S4：在所述虚拟现实场景中展示所述自适应键盘模型。
在本实施方式中，在将所述双手模型中被遮挡的手指模型补全之前，所述方法还包括：
对所述双手模型进行聚类，得到所述双手模型中手指指尖对应的两个簇，以将所述双手模型中的左右手进行区分。
在本实施方式中，对所述双手模型进行聚类包括：
从所述双手模型的手指样本S＝{x1,x2...,xn}中，把这些样本划分到k个聚类 S1,S2,...Sk中，使得满足组内平方和最小，即：
其中t指的是迭代次数，mi指的是第i个聚类的均值点，按照下面两个步骤更新各个聚类及其均值点：
步骤1：
其中，xp指的是分配到确定聚类的元素；
步骤2：即计算上步得到的聚类中，每一聚类的质心作为新的均值点。
在本实施方式中，将所述双手模型中被遮挡的手指模型补全包括：
确定所述双手模型中目标手指的特征向量，所述特征向量中包括与所述目标手指相关联的十二维特征；
基于预先训练得到的标准手掌的特征向量，枚举所述标准手掌的特征向量对应的缺失手指的各种情形，并计算所述目标手指的特征向量与缺失手指的各种情形之间的相似度，并将相似度最大的情形作为当前缺失手指的情形。
在本实施方式中，按照下述公式计算所述目标手指的特征向量与缺失手指的各种情形之间的相似度：
其中，sim函数指的是两者的相似度，越接近1说明两者越相似，n指的是特征数量，Xi指的是当前样本的第i个特征，Xi'指的是标准模型的第i个特征。
在本实施方式中，对所述表面键盘模型的键距进行自适应调节包括：
确定复合变换矩阵，所述复合变换矩阵中包括旋转矩阵、平移矩阵以及缩放矩阵；
利用所述复合变换矩阵，将所述表面键盘模型转换为自适应键盘模型；其中，所述复合变换矩阵中的参数根据所述自适应键盘模型与所述标准双手模型之间的位置关系确定。
在本实施方式中，按照下述公式确定所述复合变换矩阵：
其中，M表示所述复合变换矩阵，θ为旋转角度，Tx和Ty表示平移参数，Sx和Sy表示缩放参数；
相应地，按照下述公式确定所述位置关系：
min[dist(L5PA)+dist(L4PS)+dist(L3PD)+dist(L2PF)+dist(R2PJ)+dist(R3PK)+dist(R4PL)]
其中，L5、L4、L3、L2分别表示所述标准双手模型中左手小拇指、无名指、中指以及食指对应的坐标，PA、PS、PD、PF分别表示所述自适应键盘模型中左手定位键的坐标，R2、R3、R4分别表示所述标准双手模型中右手食指、中指以及无名指对应的坐标，PJ、PK、PL分别表示所述自适应键盘模型中右手定位键的坐标，dist(LP)表示计算手指坐标与定位键坐标之间的距离；
其中，调节后的自适应键盘模型中的键距表示为dist(PAPS)。
在本实施方式中，在构建表面键盘模型之后，所述方法还包括：
将所述表面键盘模型拆分为指定数量的分块键盘，其中，所述分块键盘与所述双手模型中的手指相对应。
在本实施方式中，所述方法还包括：
接收用户施加的动作，并调用与所述动作相匹配的场景；其中，所述动作包括双手同时放置于桌面上、一只手指按照指定路径晃动以及至少两只手指同时移动中的至少一种；相应地，所述场景包括键盘场景、鼠标场景以及手势场景中的至少一种。
在实际应用场景中，本发明通过光学传感器获得人的双手和表面的三维模型，双手下方没有真实键盘、触摸屏或显示器，但在显示器中会同步显示虚拟键盘和虚拟双手模型(如图2)，手与虚拟键盘的距离就是现实中手与桌面的距离。由于手模型随着现实中手的运动而运动，人在使用时，会有沉浸感，而敲击表面的物理反馈进一步增加其沉浸感，让人似乎感觉到手的下方有真实的键盘。
在本实施方式中，首先通过传感器得到每只手指的位置，可以通过双目视觉、结构光、散列光斑、雷达、超声波、激光扫描、一字激光等三维/二维技术得到手指的位置。假设左手拇指到尾指分别是：L＝{L1,L2,L3,L4,L5}，右手从拇指到尾指分别是：R＝{R1,R2,R3,R4,R5}，下面描述自由输入需要用到的技术。
1.键盘自适应
当双手摆放在桌面的时候，由于没有键盘按键，用户虽然可以通过显示器看到虚拟键盘和双手的相对位置，但由于没有真实的键盘的边界反馈，用户的输入姿态和位置会无意识的改变，通过键盘自适应的技术，可以提高用户输入效率和输入体验。具体地，键盘自适应技术包括以下方面：
1)区分左右手：
通过聚类算法，把手指指尖聚类为2个簇，对于指尖样本 {x(1),...,x(m)},x(m)∈R3，具体按如下步骤进行：
随机选取2个聚类质心点μ1、μ2；
重复下面过程直到收敛：
对于每一个样例i，计算其应该属于哪个类
c(i):＝arg min||x(i)-μj||2
对于每一个类j，重新计算该类的质心
2)手指补全：
假设有若干手指因为遮挡没有被识别，这个时候需要把遮挡的手指三维信息预测出来，建立如图3所示的标准的手掌简化模型。由于人手骨骼和皮肤的限制，模型也应该有合适的限定条件，条件包括：不同手指沿x，y，z轴旋转角度分别限定为x∈[αmin,αmax]，y∈[βmin,βmax]，z∈[γmin,γmax]，限定的角度每个用户不一样，需要在用户校准时获取；
每个手指关节长度固定，但可以不相同；
关节弯曲方向限定为手心方向且
手指对应指尖相连，顺时针方向顺序保持不变；
手指对应关节相连，顺时针方向顺序保持不变。
具体地，可以取手指的特征向量X＝(x1,x2,...,x12)为如下特征：
关节长度；
关节个数；
第一关节弯曲程度；
第二关节弯曲程度；
第三关节弯曲程度；
手指与左邻空间角；
手指与右临空间角；
手掌与x轴空间角；
手掌与y轴空间角；
手掌与z轴空间角；
手掌空间坐标；
手掌与前一帧属性偏差。
此外，通过对大量样本训练，得到标准手掌简化模型的特征向量 X′＝(x'1,x‘2,...,x’12)，枚举缺失手指的所有可能性，通过KNN算法计算每一种可能性与标准特征向量的相似度，相似度最高的即为最佳可能性：
2.计算键距(固定键盘)
当用户需要呼出键盘打字时，需要把双手放在桌面上，此时，通过手指之间的空间位置关系可求得最佳的键盘键距。假设键盘的四个角点坐标分别为： Pc1,Pc2,Pc3,Pc4，左手定位键坐标分别是：PA,PS,PD,PF，对应手指是L5,L4,L3,L2，右手定位坐标分别是：PJ,PK,PL，对应的手指是R2,R3,R4。
为了简化运算，可以认为输入面是近似的平面，由于标准键盘经过适当的旋转，平移，缩放可以得到新键盘，令旋转矩阵：
平移矩阵
缩放矩阵
设复合变换为
设定步长，通过迭代求得收敛到以下关系：
min[dist(L5PA)+dist(L4PS)+dist(L3PD)+dist(L2PF)+dist(R2PJ)+dist(R3PK)+dist(R4PL)]
则dist(PAPS)为键距。
3.布局自适应-分块键盘
固定键盘最明显的优势是容易适应，但不符合人体工程学的设计，因为不同的手指长短不一，而手指对应的标准按键位置却是间距一致的，容易造成某些手指的屈伸和其它手指不一致，导致劳累程度有明显差异。因此本文提出一种分块键盘的概念，即让按键布局适合人体工程学。
分块键盘每一块和不同的手指绑定，一共分成7块，如图4。当手指位置变化时，键盘也随着改变。
4.场景自动切换
由于自由输入具有很强的扩展性，随着虚拟的场景越来越多，切换将变得越来越复杂，因此本发明引入一种自动切换的机制，以达到用户无需主动切换场景就能使用该场景功能的目的。
请参阅图5，当用户想要输入文字时，只需要双手往自然放下，即可触发按键的场景，要求是：对手掌建模后，必须符合能构建出图5中所示的呼出键盘的模型，且符合其限定条件：两帧指尖对应手指的空间和姿态变化不能超过阈值。此外，当用户一只手指在晃动时候，通过识别手指晃动规律判断，即能切换为鼠标场景；当用户多指运动时，自动切换为手势场景。
请参阅图6，本申请还提供一种虚拟键盘的展示装置，所述装置包括：
建模单元100，用于分别对用户的双手及物体表面进行建模，以构建在虚拟现实场景中用户的双手模型以及表面键盘模型；
手指补全单元200，用于将所述双手模型中被遮挡的手指模型补全，以建立标准双手模型；
自适应调节单元300，用于根据所述标准双手模型中手指之间的当前空间位置关系，对所述表面键盘模型的键距进行自适应调节，以得到与所述手指之间的当前空间位置关系相适配的自适应键盘模型；
展示单元400，用于在所述虚拟现实场景中展示所述自适应键盘模型。
由上可见，本发明的技术方案，和传统输入方式相比，更为自由和高效，可以在任意表面(平面，曲面等)输入(文字、字符、数字、手势等)，有益效果在于：
1.不需要知道虚拟键盘的位置(键盘能自适应)；
2.不需要定位键盘的位置(即左右手食指分别放在F和J两个按键上)；
3.能够根据手的大小自动调整键盘大小；
4.物体表面即为支撑面，可以让使用者长时间输入；
5.自动识别和切换交互场景，如键盘输入场景、手势输入场景、鼠标控制场景
6.是虚拟现实的有效解决方案，由于戴着虚拟现实头盔时，看不到实体，因此传统的输入(不管是实体键盘还是虚拟键盘)就不再适用了，而通过输入和显示分离，实现通过头显显示手和键盘，达到输入的目的，从而实现了精度较高的人机交互过程。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种虚拟键盘的展示方法，其特征在于，所述方法包括：
分别对用户的双手及物体表面进行建模，以构建在虚拟现实场景中用户的双手模型以及表面键盘模型；
将所述双手模型中被遮挡的手指模型补全，以建立标准双手模型；
根据所述标准双手模型中手指之间的当前空间位置关系，对所述表面键盘模型的键距进行自适应调节，以得到与所述手指之间的当前空间位置关系相适配的自适应键盘模型；
在所述虚拟现实场景中展示所述自适应键盘模型。
2.根据权利要求1所述的方法，其特征在于，在将所述双手模型中被遮挡的手指模型补全之前，所述方法还包括：
对所述双手模型进行聚类，得到所述双手模型中手指指尖对应的两个簇，以将所述双手模型中的左右手进行区分。
3.根据权利要求2所述的方法，其特征在于，对所述双手模型进行聚类包括：
从所述双手模型的手指样本S＝{x1,x2...,xn}中，把这些样本划分到k个聚类S1,S2,...Sk中，使得满足组内平方和最小，即：
<mrow>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mi>S</mi>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>m</mi>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
</msubsup>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
其中t指的是迭代次数，mi指的是第i个聚类的均值点，按照下面两个步骤更新各个聚类及其均值点：
步骤1：
其中，xp指的是分配到确定聚类的元素；
步骤2：即计算上步得到的聚类中，每一聚类的质心作为新的均值点。
4.根据权利要求1所述的方法，其特征在于，将所述双手模型中被遮挡的手指模型补全包括：
确定所述双手模型中目标手指的特征向量，所述特征向量中包括与所述目标手指相关联的十二维特征；
基于预先训练得到的标准手掌的特征向量，枚举所述标准手掌的特征向量对应的缺失手指的各种情形，并计算所述目标手指的特征向量与缺失手指的各种情形之间的相似度，并将相似度最大的情形作为当前缺失手指的情形。
5.根据权利要求4所述的方法，其特征在于，按照下述公式计算所述目标手指的特征向量与缺失手指的各种情形之间的相似度：
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>m</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>X</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>,</mo>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
</mrow>
<mrow>
<msqrt>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
</mrow>
</msqrt>
<mo>&CenterDot;</mo>
<msqrt>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mfrac>
</mrow>
其中，sim函数指的是两者的相似度，越接近1说明两者越相似，n指的是特征数量，Xi指的是当前样本的第i个特征，Xi'指的是标准模型的第i个特征。
6.根据权利要求1所述的方法，其特征在于，对所述表面键盘模型的键距进行自适应调节包括：
确定复合变换矩阵，所述复合变换矩阵中包括旋转矩阵、平移矩阵以及缩放矩阵；
利用所述复合变换矩阵，将所述表面键盘模型转换为自适应键盘模型；其中，所述复合变换矩阵中的参数根据所述自适应键盘模型与所述标准双手模型之间的位置关系确定。
7.根据权利要求6所述的方法，其特征在于，按照下述公式确定所述复合变换矩阵：
<mrow>
<mi>M</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&theta;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&theta;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&theta;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>*</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>T</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>*</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>S</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>S</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，M表示所述复合变换矩阵，θ为旋转角度，Tx和Ty表示平移参数，Sx和Sy表示缩放参数；
相应地，按照下述公式确定所述位置关系：
min[dist(L5PA)+dist(L4PS)+dist(L3PD)+dist(L2PF)+dist(R2PJ)+dist(R3PK)+dist(R4PL)]
其中，L5、L4、L3、L2分别表示所述标准双手模型中左手小拇指、无名指、中指以及食指对应的坐标，PA、PS、PD、PF分别表示所述自适应键盘模型中左手定位键的坐标，R2、R3、R4分别表示所述标准双手模型中右手食指、中指以及无名指对应的坐标，PJ、PK、PL分别表示所述自适应键盘模型中右手定位键的坐标，dist(LP)表示计算手指坐标与定位键坐标之间的距离；
其中，调节后的自适应键盘模型中的键距表示为dist(PAPS)。
8.根据权利要求1所述的方法，其特征在于，在构建表面键盘模型之后，所述方法还包括：
将所述表面键盘模型拆分为指定数量的分块键盘，其中，所述分块键盘与所述双手模型中的手指相对应。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收用户施加的动作，并调用与所述动作相匹配的场景；其中，所述动作包括双手同时放置于桌面上、一只手指按照指定路径晃动以及至少两只手指同时移动中的至少一种；相应地，所述场景包括键盘场景、鼠标场景以及手势场景中的至少一种。
10.一种虚拟键盘的展示装置，其特征在于，所述装置包括：
建模单元，用于分别对用户的双手及物体表面进行建模，以构建在虚拟现实场景中用户的双手模型以及表面键盘模型；
手指补全单元，用于将所述双手模型中被遮挡的手指模型补全，以建立标准双手模型；
自适应调节单元，用于根据所述标准双手模型中手指之间的当前空间位置关系，对所述表面键盘模型的键距进行自适应调节，以得到与所述手指之间的当前空间位置关系相适配的自适应键盘模型；
展示单元，用于在所述虚拟现实场景中展示所述自适应键盘模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710709726.6A CN107633551B (zh) | 2017-08-18 | 2017-08-18 | 一种虚拟键盘的展示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710709726.6A CN107633551B (zh) | 2017-08-18 | 2017-08-18 | 一种虚拟键盘的展示方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107633551A true CN107633551A (zh) | 2018-01-26 |
| CN107633551B CN107633551B (zh) | 2018-07-06 |
Family
ID=61100256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710709726.6A Active CN107633551B (zh) | 2017-08-18 | 2017-08-18 | 一种虚拟键盘的展示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107633551B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108646910A (zh) * | 2018-03-20 | 2018-10-12 | 重庆邮电大学 | 一种基于深度图像的三维动态手指文本输入***及方法 |
| CN110472396A (zh) * | 2018-08-17 | 2019-11-19 | 中山叶浪智能科技有限责任公司 | 一种体感手势触控方法、***、平台及存储介质 |
| WO2023016302A1 (zh) * | 2021-08-09 | 2023-02-16 | 华为技术有限公司 | 虚拟输入元件的显示方法、电子设备和可读存储介质 |
| CN117784959A (zh) * | 2024-01-10 | 2024-03-29 | 深圳市华宇鸿信电子科技有限公司 | 一种用于ai智能鼠标的交互***及方法 |
| CN117827016A (zh) * | 2024-03-06 | 2024-04-05 | 深圳市黑爵同创电子科技有限公司 | 一种人体工学键盘的键帽排布方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080204425A1 (en) * | 2007-02-27 | 2008-08-28 | Kenichiro Nagasaka | Force/tactile display, method for controlling force/tactile display, and computer program |
| CN102541420A (zh) * | 2010-12-31 | 2012-07-04 | 上海优熠电子科技有限公司 | 一种自适应虚拟键盘*** |
| CN102693025A (zh) * | 2011-03-21 | 2012-09-26 | 中国科学院软件研究所 | 一种多点触摸交互***的触摸手识别方法 |
| CN102778951A (zh) * | 2012-06-15 | 2012-11-14 | 惠州华阳通用电子有限公司 | 使用虚拟按键的输入设备及输入方法 |
| CN103186241A (zh) * | 2013-04-03 | 2013-07-03 | 中国科学院软件研究所 | 一种交互桌面触点左右手识别方法 |
| CN105027064A (zh) * | 2012-11-27 | 2015-11-04 | 汤姆逊许可公司 | 自适应虚拟键盘 |
| CN105224069A (zh) * | 2014-07-03 | 2016-01-06 | 王登高 | 一种增强现实虚拟键盘输入方法及使用该方法的装置 |
-
2017
- 2017-08-18 CN CN201710709726.6A patent/CN107633551B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080204425A1 (en) * | 2007-02-27 | 2008-08-28 | Kenichiro Nagasaka | Force/tactile display, method for controlling force/tactile display, and computer program |
| CN102541420A (zh) * | 2010-12-31 | 2012-07-04 | 上海优熠电子科技有限公司 | 一种自适应虚拟键盘*** |
| CN102693025A (zh) * | 2011-03-21 | 2012-09-26 | 中国科学院软件研究所 | 一种多点触摸交互***的触摸手识别方法 |
| CN102778951A (zh) * | 2012-06-15 | 2012-11-14 | 惠州华阳通用电子有限公司 | 使用虚拟按键的输入设备及输入方法 |
| CN105027064A (zh) * | 2012-11-27 | 2015-11-04 | 汤姆逊许可公司 | 自适应虚拟键盘 |
| CN103186241A (zh) * | 2013-04-03 | 2013-07-03 | 中国科学院软件研究所 | 一种交互桌面触点左右手识别方法 |
| CN105224069A (zh) * | 2014-07-03 | 2016-01-06 | 王登高 | 一种增强现实虚拟键盘输入方法及使用该方法的装置 |
Non-Patent Citations (2)
| Title |
|---|
| CHIEN-MIN WU等: "A virtual reality keyboard with realistic haptic feedback in a fully immersive virtual environment", 《VIRTUAL REALITY》 * |
| 李鹏翔: "基于机器视觉的嵌入式虚拟键盘研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108646910A (zh) * | 2018-03-20 | 2018-10-12 | 重庆邮电大学 | 一种基于深度图像的三维动态手指文本输入***及方法 |
| CN110472396A (zh) * | 2018-08-17 | 2019-11-19 | 中山叶浪智能科技有限责任公司 | 一种体感手势触控方法、***、平台及存储介质 |
| WO2023016302A1 (zh) * | 2021-08-09 | 2023-02-16 | 华为技术有限公司 | 虚拟输入元件的显示方法、电子设备和可读存储介质 |
| CN117784959A (zh) * | 2024-01-10 | 2024-03-29 | 深圳市华宇鸿信电子科技有限公司 | 一种用于ai智能鼠标的交互***及方法 |
| CN117827016A (zh) * | 2024-03-06 | 2024-04-05 | 深圳市黑爵同创电子科技有限公司 | 一种人体工学键盘的键帽排布方法 |
| CN117827016B (zh) * | 2024-03-06 | 2024-07-05 | 深圳市黑爵同创电子科技有限公司 | 一种人体工学键盘的键帽排布方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107633551B (zh) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633551B (zh) | 一种虚拟键盘的展示方法及装置 | |
| US11983326B2 (en) | Hand gesture input for wearable system | |
| CN108052202B (zh) | 一种3d交互方法、装置、计算机设备及存储介质 | |
| Billinghurst et al. | Advanced interaction techniques for augmented reality applications | |
| Hayatpur et al. | Plane, ray, and point: Enabling precise spatial manipulations with shape constraints | |
| Chaconas et al. | An evaluation of bimanual gestures on the microsoft hololens | |
| Aliprantis et al. | Natural Interaction in Augmented Reality Context. | |
| KR101318244B1 (ko) | 3차원 사용자 인터페이스 구현 시스템 및 구현 방법 | |
| KR20120107884A (ko) | 멀티터치-인에이블드 디바이스들을 위한 로컬 좌표 프레임 사용자 인터페이스를 제공하기 위한 방법들 및 장치들 | |
| Sun et al. | Augmented reality based educational design for children | |
| WO2012024022A2 (en) | Hand and finger registration for control applications | |
| Mendes et al. | Using custom transformation axes for mid-air manipulation of 3D virtual objects | |
| CN106445118A (zh) | 虚拟现实交互方法及装置 | |
| Zhao et al. | Comparing head gesture, hand gesture and gamepad interfaces for answering Yes/No questions in virtual environments | |
| Segen et al. | Look ma, no mouse! | |
| Chun et al. | A combination of static and stroke gesture with speech for multimodal interaction in a virtual environment | |
| Venkatakrishnan et al. | Investigating a combination of input modalities, canvas geometries, and inking triggers on on-air handwriting in virtual reality | |
| Choi et al. | 3D hand pose estimation on conventional capacitive touchscreens | |
| Wong et al. | Virtual 3d sculpting | |
| CN109960404A (zh) | 一种数据处理方法及装置 | |
| Bai et al. | Asymmetric Bimanual Interaction for Mobile Virtual Reality. | |
| Schlünsen et al. | A vr study on freehand vs. widgets for 3d manipulation tasks | |
| Tran et al. | Easy-to-use virtual brick manipulation techniques using hand gestures | |
| Singhal et al. | Improving Finger Stroke Recognition Rate for Eyes-Free Mid-Air Typing in VR | |
| Darbar et al. | Text selection in ar-hmd using a smartphone as an input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |