CN104407696B - 移动设备的虚拟球模拟及控制的方法 - Google Patents

Abstract

本发明公开了一种移动设备的虚拟球模拟及控制的方法，包括：使用所述移动设备的图像采集部件采集图像，以获取连续图像序列；对图像内容进行分析；所述虚拟球在所采集的图像序列中按照特定规则与图像内容及用户进行交互；以及在所述移动设备的屏幕上显示交互结果。

Description

移动设备的虚拟球模拟及控制的方法

技术领域

本发明涉及人机交互中的增强现实***，更具体地，本发明涉及移动设备的虚拟球模拟及控制的方法。

背景技术

随着移动设备和技术的发展，在移动设备上设计开发增强现实***对增强现实技术的推进和发展具有重要意义。增强现实技术能够将虚拟信息与现实场景结合起来，增强用户身临其境的感觉。通过传感器或摄像机屏幕可以捕捉到用户的动作命令。

传统的基于计算机的人机交互***都是依靠鼠标、键盘实现的，但在移动设备上的增强现实***，通过键盘实现交互很容易发生抖动，使交互精度受到很大影响。在现实生活中，人通过视觉、触觉和力觉可以用手任意操纵空间中的诸如球的真实物体，人的双手已经成为人类与第三方世界交流最直观、最自然和最现实的媒介。

然而，在现有技术中的人与球之间的互动基本分为以下两种：(1)人与实物球之间的互动；(2)利用诸如红外检测器等特殊物理检测装置捕捉人的位置来实现与虚拟球的互动。

因此，需要一种在不需要额外设备的情况下容易地实现用户与虚拟球的虚拟球模拟和控制装置。

发明内容

根据本发明的一个实施例，提供了一种移动设备的虚拟球模拟及控制的方法，包括：使用所述移动设备的图像采集部件采集图像，以获取连续图像序列；对图像内容进行分析；所述虚拟球在所采集的图像序列中按照以下中的至少一个与图像内容及用户进行交互：所述虚拟球与图像中颜色边界进行刚体碰撞；所述虚拟球与屏幕左、右、下边界进行刚体碰撞；所述虚拟球在屏幕中，受到自屏幕上方竖直向屏幕下方的虚拟重力场作用，向屏幕下方“掉落”；所述虚拟球与用户手指发生刚体碰撞，碰撞时考虑所述虚拟球与手指碰撞的角度、力度；所述虚拟球可向上飞出屏幕范围，飞出屏幕范围后，仅做向屏幕下方的自由落体运动；仅考虑所述虚拟球的下半部分与图像内容及用户手指的碰撞；以及在所述移动设备的屏幕上显示交互结果。

优选地，对图像内容进行分析的步骤进一步包括：计算所述虚拟球附近的图像边缘；计算碰撞速度和方向；更新所述虚拟球的位置；以及在所述移动设备的屏幕上显示所述虚拟球。

优选地，计算所述虚拟球附近的图像边缘的步骤进一步包括：将输入图像转为灰度图；计算所述虚拟球下半部分灰度直方图；用所述直方图生成灰度概率图；以及将所生成的概率图作为边缘判断依据。

优选地，所述图像边缘是灰度概率不同的区域交界。

优选地，所述碰撞速度在横纵两个方向上的速度相互独立，并且横向速度与横方向接触点到所述虚拟球球心的距离成正比，纵向速度与纵方向上接触点到球心的距离成反比。

根据本公开和附图的下面的详细描述，对本领域的普通技术人员来说其它的目的、特征、以及优点将是显而易见的。

附图说明

附图图示了本发明的实施例，并与说明书一起用于解释本发明的原理。在附图中：

图1图示了根据本发明的实施例的虚拟球模拟及控制的方法。

图2图示了根据本发明的实施例的应用场景示意图。

图3图示了如何实现图1中的图像内容分析的流程图。

图4图示了如何计算球附近的图像边缘的流程图。

图5图示了当没有其他物体进入球体范围时的灰度图。

图6图示了当有其他物体进入球体范围时的灰度图。

具体实施方式

根据本发明的实施例公开了一种移动设备的虚拟球模拟及控制的方法。在以下描述中，为了说明的目的，阐述了多个具体细节以提供对本发明的实施例的全面理解。然而，对于本领域人员显而易见的是，本发明的实施例可以在没有这些具体细节的情况下实现。

本发明采用常见的消费级图像采集设备(诸如手机、平板电脑、家用摄像头)捕捉普通图像，并利用图像智能分析结果来产生人与虚拟球的互动效果。具体来说，本发明公开了一种利用图像采集装置(如摄像头)获取图像信息，利用计算装置(如PC，手机，平板电脑等)生成虚拟球，同时利用图像处理方法智能分析获取到的图像内容，并以此为依据与虚拟球进行交互，最终将交互结果及图像显示在显示设备(如手机，显示器等)上的***。

图1图示了根据本发明的实施例的虚拟球模拟及控制的方法100。该方法100主要包括三个步骤：图像采集、图像内容分析和交互结果显示。

具体地，在图像采集中，利用常见图像采集设备(如手机，台式PC摄像头)获取到连续图像序列。图像采集设备可以移动，不影响虚拟球的交互效果。

在图像内容分析中，本发明假设虚拟球在采集到的图像序列中按一定规则与图像内容及用户进行交互，下面以虚拟颠球为例进行介绍。须注意的是，虚拟颠球仅作为说明，介绍虚拟球如何与图像内容及用户进行交互，不作为对本发明在实施例上的限制，任何包含虚拟球与图像及用户的交互应用都属于本发明所属范围。

图2图示了根据本发明的实施例的应用场景示意图。如图2所示，用户手持设备(如手机)，摄像头对准某一场景S，显示屏幕面向用户，用户手指进入图像采集设备(诸如手机摄像头)所面向的场景S，与虚拟颠球进行交互，交互规则如下：

(1)球与图像中颜色边界进行刚体碰撞；

(2)球与屏幕左、右、下边界进行刚体碰撞；

(3)球在屏幕中，受到自屏幕上方竖直向屏幕下方的虚拟重力场作用，向屏幕下方“掉落”；

(4)球与用户手指发生刚体碰撞，碰撞时考虑球与手指碰撞的角度、力度；

(5)球可向上飞出屏幕范围，飞出屏幕范围后，仅做向屏幕下方的自由落体运动；

(6)仅球的下半部分考虑与图像内容及用户手指的碰撞，球上半部分不考虑；

(7)“球”仅作为口头常用语用来称呼虚拟球体，其实际上在屏幕上显示的是一个正圆形。

本领域技术人员将理解，任意一种满足功能的交互设备及基于图像处理的交互方式都包含在本发明的交互方式中，如本发明中使用的虚拟球并不限于虚拟颠球，其他诸如可以是虚拟冰壶球，虚拟乒乓球，篮球等。

图3图示了如何实现图1中的图像内容分析的流程图。在步骤31中，输入下一帧图像。在步骤32中，计算球附近的图像边缘。在步骤33中，计算碰撞速度和方向。在步骤34中，更新球的位置。在步骤35中，显示所述球。在步骤36中，判断图像内容分析是否结束。如果是，则该流程结束。如果不是，则该流程返回步骤31。

计算球附近的图像边缘

图4图示了如何计算球附近的图像边缘的流程图。计算球附近图像边缘的原理如下：本发明认为球体下半部分的颜色应为一种，当出现两种及以上的灰度时，认为有其他物体进入球体范围，与球进行交互。具体计算过程涉及直方图的计算和概率图的生成。

如图4所示，首先，将输入图像转为灰度图。然后，计算球下半部分灰度直方图H。然后，用所述直方图H生成灰度概率图。最后，将所生成的概率图作为边缘判断依据。

A.计算直方图

图5图示了当没有其他物体进入球体范围时的灰度图。图中灰色区域是计算颜色直方图的范围。颜色直方图计算方法：

$H\left(i\right)=\underset{j=0}{\overset{N}{\Σ}}P\left(j\right)$

其中，

H是一个含256个元素的数组，每个元素表示灰度图像中，灰度值为i的像素个数。遍历灰度图上图灰色区域范围每个像素p(j)，j表示第j个像素，N为灰度区域像素总数，若灰度值p(j)＝i，H(i)＝H(i)+1。

B.生成概率图

图6图示了当有其他物体进入球体范围时的灰度图。在如上所述计算得到H后，本发明认为，出现的多的灰度为主背景灰度，其他灰度的像素表示进入球体范围的交互物体。

出现概率为：

D(j)表示出小概率图每个像素灰度值，j表示第j个像素，H_Max表示直方图256个元素中的最大值。结果图D中，灰度值越大，表示在球体范围内的颜色越少，即该像素是进入球体的交互物体的概率就大。那么，图像边缘即出现概率不同的两个区域交界，也即灰度概率不同的区域交界。

计算碰撞速度、方向

本发明认为，上一步生成的出现概率图D中，是交互物体概率更高的区域的重心，为交互物体与球的交互点P_Int，P_Int相对于球心的横纵坐标(像素)差，表示交互的横纵方向力度大小，横纵两方向速度相互独立。

交互点计算方法：

P_Int(X_C,Y_C)

$X_C=\frac{1}{M}\underset{j=1}{\overset{M}{\Σ}}\left(D\right(j)\×X_j)$

$Y_C=\frac{1}{M}\underset{j=1}{\overset{M}{\Σ}}\left(D\right(j)\×Y_j)$

X，Y表示概率高的区域的横纵坐标，D(j)是上一步求出的概率，X_C,Y_C即为重心坐标。横向速度与X方向接触点到球心的距离成正比，接触位置离球心越远，那么接触速度越大。纵向速度接与Y方向接触点到球心的距离成反比，接触位置离球心越近，那么接触速度越大：

$V_X=\frac{\left|X_C-X_0\right|}{R}\×V_{X,Max}$

$V_Y=(1-\frac{\left|Y_C-Y_0\right|}{R})\×V_{Y,Max}$

Max下标表示横纵方向最大速度，是预先设定的固定值。

更新球位置

本发明认为，球的位置从初始静止开始，分为横纵两个方向的独立运动。横方向在每次交互发生(触碰手，触碰图像边缘，触碰屏幕边缘)后，以触碰速度V_X做匀速直线运动。纵方向在交互发生后，以触碰速度V_Y为初速度，做竖直上抛运动(参考：http://baike.***.com/link？url＝tJ8e6IfmpCZqSxfLM98X7_qCWeuq2JQBHDCRJfb8GxDqZHhCqxeHuJ_9GokBCSzZ)

当前球位置：

X＝X_t+V_X×T

Y＝Y_t+(V_Y-0.5×g×T)×T

其中下标t表示第t次触碰X_t,Y_t表示第t次触碰时的横纵坐标，g是重力加速度，T表示当前与第t次触碰之间的时间间隔。

显示球

将虚拟球以当前位置X，Y显示在屏幕上，即完成所有操作。

本发明利用常见的消费级图像采集设备(如手机，平板电脑，家用摄像头)捕捉普通图像，并利用图像智能分析结果，产生人与虚拟球的互动效果，使得基于图像处理的人与球交互利用增强现实的方法将互动结果显示给用户。因此，本发明可以让普通用户使用手机、平板电脑等常见图像采集、显示设备，与通过增强现实技术生成的虚拟小球进行互动，从而产生更真实的实景感受，更好的融入到增强现实***中，达到现有方式不能完成的独特交互方式。

上述实施例仅是本发明的优选实施例，并不用于限制本发明。对本领域技术人员显而易见的是，在不脱离本发明精神和范围的情况下，可以对本发明的实施例进行各种修改和改变。因此，本发明意在涵盖落入如权利要求所限定的本发明的范围之内的所有的修改或变型。

Claims (5)

1.一种移动设备的虚拟球模拟及控制的方法，包括：

使用所述移动设备的图像采集部件采集图像，以获取连续图像序列；

对图像内容进行分析；

所述虚拟球在所采集的图像序列中按照以下中的至少一个与图像内容及用户进行交互：所述虚拟球与图像中颜色边界进行刚体碰撞；所述虚拟球与屏幕左、右、下边界进行刚体碰撞；所述虚拟球在屏幕中，受到自屏幕上方竖直向屏幕下方的虚拟重力场作用，向屏幕下方“掉落”；所述虚拟球与用户手指发生刚体碰撞，碰撞时考虑所述虚拟球与手指碰撞的角度、力度；所述虚拟球可向上飞出屏幕范围，飞出屏幕范围后，仅做向屏幕下方的自由落体运动；仅考虑所述虚拟球的下半部分与图像内容及用户手指的碰撞；以及

在所述移动设备的屏幕上显示交互结果。

2.根据权利要求1所述的方法，其中，对图像内容进行分析的步骤进一步包括：

计算所述虚拟球附近的图像边缘；

计算碰撞速度和方向；

更新所述虚拟球的位置；以及

在所述移动设备的屏幕上显示所述虚拟球。

3.根据权利要求2所述的方法，其中，计算所述虚拟球附近的图像边缘的步骤进一步包括：

将输入图像转为灰度图；

计算所述虚拟球下半部分灰度直方图；

用所述直方图生成灰度概率图；以及

将所生成的概率图作为边缘判断依据。

4.根据权利要求3所述的方法，其中，所述图像边缘是灰度概率不同的区域交界。

5.根据权利要求2所述的方法，其中，所述碰撞速度在横纵两个方向上的速度相互独立，并且横向速度与横方向接触点到所述虚拟球球心的距离成正比，纵向速度与纵方向上接触点到球心的距离成反比。