CN102915234A - 一种应用程序中程序界面的实现方法及装置 - Google Patents

Abstract

本发明公开了一种应用程序中程序界面的实现方法及装置，在构造实景界面和数学界面后，建立实景界面的实景坐标系和数学界面的数学坐标系之间的绑定关系，并根据绑定关系，将实景界面的坐标转换到数学坐标系下，并在数学坐标系中将实景界面与数学界面结合生成程序界面；一方面，较现有技术来说，由于本发明的方法使用获取到的实景界面作为程序界面的一部分，能够达到减少程序界面生成的计算量，节省终端的资源开销的效果；另一方面，本发明将实景界面和数学界面有机地结合到一起，能够达到程序界面画面逼真的效果。

Description

一种应用程序中程序界面的实现方法及装置

技术领域

本发明涉及终端技术领域，尤其涉及一种应用程序中程序界面的实现方法及装置。

背景技术

随着终端技术以及终端上硬件能力的不断发展，应用在终端上的各种软件(应用程序)越来越多，并且各种应用程序中程序界面的展现方式也在快速发展。

目前应用程序中程序界面的一种实现方法是通过软件仿真模拟计算得到的，具体是由应用程序中的运算元件计算出将要显示在屏幕上的图形，通过仿真模拟计算在屏幕上显示出具有立体、仿真效果的图形。尤其是在近些年，随着专用于图形处理的图形库(如DirectX和OpenGL)的快速发展，应用程序的开发者可以利用这些图形库开发出具有复杂的程序界面的应用程序，这些程序界面能对现实环境作出精妙的模拟，使得用户有身临其境的感觉。但是，使用上述图形库对应用程序中的程序界面进行开发，对于终端的资源开销很大，不利于终端的应用程序发展。

此外，在现有的应用程序中程序界面的另一种实现方法是采用摄像头获取的图像直接作为程序界面的背景，不对使用摄像头获取得到的图像做任何修改，从而呈现出透明的背景效果；或者是利用摄像头获取得到的图像作为程序界面的背景后，采集图像中关键图形的位置信息，将该位置信息应用于应用程序中，例如，在从摄像头获取的图像中搜索一张特定纸的位置信息，并在该位置信息上显示篮筐的数学图像。上述两种方法，相对于软件模拟计算仿真构造程序界面的方法，只是将摄像头获取的图像(实景界面)作为应用程序的背景或者作为信息点(关键图形的位置信息)，为应用程序中程序界面的构造提供参考，从而减少应用程序在终端上所占资源，但是，用上述两种方法制作出的程序界面由于实景界面和应用程序计算出的数学界面结合不够紧密，因此呈现出的程序界面效果不够真实。

发明内容

本发明实施例提供了一种应用程序中程序界面的实现方法及装置，用以解决现有程序界面生成技术对终端的资源开销大以及呈现效果不够真实的问题。

本发明实施例提供的一种应用程序中程序界面的实现方法，包括：

根据获取到的实景图像构造实景界面，并建立实景界面的实景坐标系；

根据数学图像构造数学界面，并建立数学界面的数学坐标系；

建立所述实景坐标系和所述数学坐标系的绑定关系；

根据所述绑定关系，计算出所述实景坐标系的实景界面在所述数学坐标系中的位置；

在数学坐标系中，将所述实景界面与数学界面结合生成程序界面。

本发明实施例提供的一种应用程序中程序界面的实现装置，包括：

实景模块，用于根据获取到的实景图像构造实景界面，并建立实景界面的实景坐标系；

数学模块，用于根据数学图像构造数学界面，并建立数学界面的数学坐标系；

绑定模块，用于建立所述实景坐标系和所述数学坐标系的绑定关系；

计算模块，用于根据所述绑定关系，计算出所述实景坐标系的实景界面在所述数学坐标系中的位置；

程序界面生成模块，用于在数学坐标系中，将所述实景界面与数学界面结合生成程序界面。

本发明实施例的有益效果包括：

本发明实施例提供的一种应用程序中程序界面的实现方法及装置，在构造实景界面和数学界面后，建立实景界面的实景坐标系和数学界面的数学坐标系之间的绑定关系，并根据绑定关系，将实景界面的坐标转换到数学坐标系下，并在数学坐标系中将实景界面与数学界面结合生成程序界面；一方面，较现有技术来说，由于本发明的方法使用获取到的实景界面作为程序界面的一部分，能够达到减少程序界面生成的计算量，节省终端的资源开销的效果；另一方面，本发明将实景界面和数学界面有机地结合到一起，能够达到程序界面画面逼真的效果。

附图说明

图1为本发明实施例提供的应用程序中程序界面的实现方法的流程图之一；

图2为本发明实施例提供的应用程序的程序界面的示意图；

图3为本发明实施例提供的应用程序中程序界面的实现方法的流程图之二；

图4为本发明实施例提供的实施例的示意图；

图5为本发明实施例提供的应用程序中程序界面的实现装置的结构图。

具体实施方式

下面结合附图，对本发明实施例提供的一种应用程序中程序界面的实现方法及装置的具体实施方式进行详细地说明。

本发明实施例提供的一种应用程序中程序界面的实现方法，如图1所示，具体流程包括：

S101、根据获取到的实景图像构造实景界面，并建立实景界面的实景坐标系；

S102、根据数学图像构造数学界面，并建立数学界面的数学坐标系；

S103、建立实景坐标系和数学坐标系的绑定关系；

S104、根据绑定关系，计算出实景坐标系的实景界面在数学坐标系中的位置；

S105、在数学坐标系中，将实景界面与数学界面结合生成程序界面。

其中，步骤S101中，实景图像的获取可以使用终端上的摄像头等硬件和/或软件工具，在本发明实施例中不做限定。

较佳地，在上述步骤S101和S102中，还可以对数学界面或实景界面分别使用各种图像过滤方式(例如：图像的位移、形状、颜色变化、模糊化、锐化等)，创造出具有自然景深和光线效果的界面，进一步增强最终生成的程序界面的真实感。

具体地，如图2所示的程序界面示意图，上述步骤S103中建立实景坐标系和数学坐标系的绑定关系，可以包括以下步骤：

确定实景坐标系的原点在数学坐标系的坐标为O(p，q)；

确定实景坐标系的x′轴到数学坐标系的x轴顺时针夹角θ。

上述步骤S104中根据绑定关系，计算出位于实景坐标系的实景界面在数学坐标系中的位置，可以通过下述流程实现：

确定实景界面中点P在实景坐标系中的坐标为P(x′，y′)；

通过坐标变换，计算点P在数学坐标系中的坐标P(x，y)为：

$P(x,y)=\left[\begin{array}{ccc}\mathrm{Cos\θ}& \mathrm{Sin\θ}& 0\\ -\mathrm{Sin\θ}& \mathrm{Cos\θ}& 0\\ p& q& 1\end{array}\right]P(x^{\′},y^{\′}).$

较佳地，当数学界面相对实景界面发生位移时，本发明实施例提供的应用程序中程序界面的实现方法，还需要执行下述操作：重新建立实景坐标系与数学坐标系的绑定关系。

较佳地，本发明实施例提供的应用程序中程序界面的实现方法，如图3所示，还可以执行以下步骤：

S301、判断实景界面是否发生位移，如果是，执行步骤S302，如果否，执行步骤S304；

S302、计算实景界面与上一帧实景界面之间的相对位移；

S303、在数学坐标中，根据计算出的实景界面与上一帧实景界面的相对位移，将数学界面移动到对应位置；

S304、结束。

具体地，上述步骤S302中计算实景界面与上一帧实景界面的相对位移的具体计算方法如下：

将所述实景界面与上一帧实景界面分为16×16个小块；

选取实景界面中的N个小块，分别计算选取的N个小块中每个小块与上一帧实景界面中的每个小块之间的相对位移；

基于下述公式计算所述实景界面与上一帧实景界面的相对位移D：

$D=\frac{{\mathrm{\Σ}}_{n=1}^{N}d\left(n\right)}{N};$

其中，d(n)表征为所述N个小块中第n小块与上一帧实景界面中第n小块之间的相对位移，所述n的取值范围为[1-N]。

上述计算实景界面与上一帧实景界面的相对位移的过程中，计算选取的N个小块中每个小块与上一帧实景界面中的每个小块之间的相对位移的具体实施方式属于现有技术的范畴，例如可以使用下述两种方法：

第一种：对于第n小块的图像，将图像整体经位移k变化后，计算N个小块中第n小块图像矢量数据ik(n)与上一帧中第n小块图像矢量数据i′(n)的误差δ²(n)＝|i_k(n)-i′(n)|²，其中n的取值范围为[1-N]。

确定当计算得到的误差δ²(n)数值最小时，位移k为N个小块中第n小块与上一帧实景界面中第n小块之间的相对位移d(n)。

第二种：对于第n小块的图像，将图像整体经位移k变化后，计算N个小块中第n小块图像矢量数据i_k(n)与上一帧中第n小块图像矢量数据i′(n)的相关度：arg max_k[i_k(n)-i′(n)]²，其中n的取值范围为[1-N]。

确定当计算得到的相关度数值最大时，位移k为N个小块中第n小块与上一帧实景界面中第n小块之间的相对位移d(n)。

此外，还可以采用其他现有的实施方式，例如《结合两步估算和运动补偿的子像素运动估计》(《计算机工程与应用》，2009.45(7)，190-191页)中提到的三种计算方法，在此不再赘述。

下面通过一个具体地实施例对本发明实施例提供的应用程序中程序界面的实现方法进行详细地说明。

一款应用程序的程序界面如图4所示，利用终端设备的摄像头获取实景界面(包含桌子的界面)并建立数学界面(包含杯子的界面)；建立实景界面的实景坐标系和数学界面的数学坐标系之间的绑定关系后，生成程序界面。

当实景界面发生位移时(在图4中从实线桌子的位置移动到虚线所示桌子的位置)，计算出实景界面的位移a；之后，对实景界面的位移a进行坐标变换得到在数学坐标系下的位移a’；在数学坐标系中，将数学界面也移动到相应的位移，到达虚线所示的位置，即在程序界面中，实线杯子的位置与虚线杯子的位置之间的位移b等于位移a’。这样，可以实现不论实景界面如何发生变化，程序界面能够始终呈现杯子放置在作为实景的桌子上面的逼真显示效果。

此外，如果对数学界面进行效果处理(例如杯子被打碎)，当实景界面发生位移时，数学界面也移动到相对应的位置过程中，那么可以呈现杯子一直处于被打碎的状态的效果。

基于同一发明构思，本发明实施例还提供了一种应用程序中程序界面的实现装置，由于该装置解决问题的原理与前述一种应用程序中程序界面的实现方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

本发明实施例提供的一种应用程序中程序界面的实现装置，如图5所示，包括：

实景模块501，用于根据获取到的实景图像构造实景界面，并建立实景界面的实景坐标系；

数学模块502，用于根据数学图像构造数学界面，并建立数学界面的数学坐标系；

绑定模块503，用于建立实景坐标系和数学坐标系的绑定关系；

计算模块504，用于根据绑定关系，计算出实景坐标系的实景界面在数学坐标系中的位置；

程序界面生成模块505，用于在数学坐标系中，将实景界面与数学界面结合生成程序界面。

具体地，本发明实施例提供的上述装置中的绑定模块503，如图5所示，具体包括：

确定原点坐标子模块5031，用于确定实景坐标系的原点在数学坐标系的坐标为O(p，q)；

确定夹角子模块5032，用于确定所述实景坐标系的x′轴到所述数学坐标系的x轴顺时针夹角θ；

具体地，上述装置中的计算模块504，如图5所示，具体包括：

确定坐标子模块5041，用于确定实景界面中点P在所述实景坐标系中的坐标为P(x′，y′)；

坐标转换子模块5042，用于通过坐标变换，计算点P在所述数学坐标系中的坐标P(x，y)为 $P(x,y)=\left[\begin{array}{ccc}\mathrm{Cos\θ}& \mathrm{Sin\θ}& 0\\ -\mathrm{Sin\θ}& \mathrm{Cos\θ}& 0\\ p& q& 1\end{array}\right]P(x^{\′},y^{\′}).$

较佳地，本发明实施例提供的上述装置中的绑定模块503，还用于当数学界面相对实景界面发生位移时，重新建立实景坐标系与数学坐标系的绑定关系。

较佳地，本发明实施例提供的应用程序中程序界面的实现装置，如图5所示，还包括：

位移计算模块506，用于当实景界面发生变化时，计算当前实景界面与上一帧实景界面之间的相对位移；

移动模块507，用于在数学坐标中，根据计算出的实景界面与上一帧实景界面的相对位移，将数学界面移动到对应位置。

具体地，上述位移计算模块506，如图5所示，具体包括：

图像分块子模块5061，用于将实景界面与上一帧实景界面分为16×16个小块；

位移计算子模块5062，用于选取实景界面中的N个小块，分别计算选取的N个小块中每个小块与上一帧实景界面中的每个小块之间的相对位移；基于下述公式计算实景界面与上一帧实景界面的相对位移D：

$D=\frac{{\mathrm{\Σ}}_{n=1}^{N}d\left(n\right)}{N};$

其中，d(n)表征为N个小块中第n小块与上一帧实景界面中第n小块之间的相对位移，n的取值范围为[1-N]。

本发明实施例提供的一种应用程序中程序界面的实现方法及装置，在构造实景界面和数学界面后，建立实景界面的实景坐标系和数学界面的数学坐标系之间的绑定关系，并根据绑定关系，将实景界面的坐标转换到数学坐标系下，并在数学坐标系中将实景界面与数学界面结合生成程序界面；一方面，较现有技术来说，由于本发明的方法使用获取到的实景界面作为程序界面的一部分，能够达到减少程序界面生成的计算量，节省终端的资源开销的效果；另一方面，本发明将实景界面和数学界面有机地结合到一起，能够达到程序界面画面逼真的效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种应用程序中程序界面的实现方法，其特征在于，包括：

根据获取到的实景图像构造实景界面，并建立实景界面的实景坐标系；

根据数学图像构造数学界面，并建立数学界面的数学坐标系；

建立所述实景坐标系和所述数学坐标系的绑定关系；

根据所述绑定关系，计算出所述实景坐标系的实景界面在所述数学坐标系中的位置；

在数学坐标系中，将所述实景界面与数学界面结合生成程序界面。

2.如权利要求1所述的方法，其特征在于，建立所述实景坐标系和所述数学坐标系的绑定关系，具体包括：

确定所述实景坐标系的原点在所述数学坐标系的坐标为O(p，q)；

确定所述实景坐标系的x′轴到所述数学坐标系的x轴顺时针夹角θ；

所述根据所述绑定关系，计算出位于所述实景坐标系的实景界面在所述数学坐标系中的位置，具体包括：

确定实景界面中点P在所述实景坐标系中的坐标为P(x′，y′)；

通过坐标变换，计算所述点P在所述数学坐标系中的坐标P(x，y)为

$P(x,y)=\left[\begin{array}{ccc}\mathrm{Cos\θ}& \mathrm{Sin\θ}& 0\\ -\mathrm{Sin\θ}& \mathrm{Cos\θ}& 0\\ p& q& 1\end{array}\right]P(x^{\′},y^{\′}).$

3.如权利要求1或2所述的方法，其特征在于，还包括：当所述数学界面相对实景界面发生位移时，重新建立所述实景坐标系与所述数学坐标系的绑定关系。

4.如权利要求1或2所述的方法，其特征在于，还包括：

当所述实景界面发生变化时，计算当前所述实景界面与上一帧实景界面之间的相对位移；

在所述数学坐标中，根据计算出的所述实景界面与上一帧实景界面的相对位移，将所述数学界面移动到对应位置。

5.如权利要求4所述的方法，其特征在于，所述计算所述实景界面与上一帧实景界面的相对位移，具体包括：

将所述实景界面与上一帧实景界面分为16×16个小块；

选取所述实景界面中的N个小块，分别计算选取的N个小块中每个小块与上一帧实景界面中的每个小块之间的相对位移；

基于下述公式计算所述实景界面与上一帧实景界面的相对位移D：

$D=\frac{{\mathrm{\Σ}}_{n=1}^{N}d\left(n\right)}{N};$

其中，d(n)表征为所述N个小块中第n小块与上一帧实景界面中第n小块之间的相对位移，所述n的取值范围为[1-N]。

6.一种应用程序中程序界面的实现装置，其特征在于，包括：

实景模块，用于根据获取到的实景图像构造实景界面，并建立实景界面的实景坐标系；

数学模块，用于根据数学图像构造数学界面，并建立数学界面的数学坐标系；

绑定模块，用于建立所述实景坐标系和所述数学坐标系的绑定关系；

计算模块，用于根据所述绑定关系，计算出所述实景坐标系的实景界面在所述数学坐标系中的位置；

程序界面生成模块，用于在数学坐标系中，将所述实景界面与数学界面结合生成程序界面。

7.如权利要求6所述的装置，其特征在于，所述绑定模块，具体包括：

确定原点坐标子模块，用于确定所述实景坐标系的原点在所述数学坐标系的坐标为O(p，q)；

确定夹角子模块，用于确定所述实景坐标系的x′轴到所述数学坐标系的x轴顺时针夹角θ；

所述计算模块，包括：

确定坐标子模块，用于确定实景界面中点P在所述实景坐标系中的坐标为P(x′，y′)；

坐标转换子模块，用于通过坐标变换，计算所述点P在所述数学坐标系中的坐标P(x，y)为 $P(x,y)=\left[\begin{array}{ccc}\mathrm{Cos\θ}& \mathrm{Sin\θ}& 0\\ -\mathrm{Sin\θ}& \mathrm{Cos\θ}& 0\\ p& q& 1\end{array}\right]P(x^{\′},y^{\′}).$

8.如权利要求6或7所述的装置，其特征在于，所述绑定模块，还用于当所述数学界面相对实景界面发生位移时，重新建立所述实景坐标系与所述数学坐标系的绑定关系。

9.如权利要求6或7所述的装置，其特征在于，还包括：

位移计算模块，用于当所述实景界面发生变化时，计算当前所述实景界面与上一帧实景界面之间的相对位移；

移动模块，用于在所述数学坐标中，根据计算出的所述实景界面与上一帧实景界面的相对位移，将所述数学界面移动到对应位置。

10.如权利要求11所述的装置，其特征在于，所述位移计算模块，具体包括：

图像分块子模块，用于将所述实景界面与上一帧实景界面分为16×16个小块；

位移计算子模块，用于选取所述实景界面中的N个小块，分别计算选取的N个小块中每个小块与上一帧实景界面中的每个小块之间的相对位移；基于下述公式计算所述实景界面与上一帧实景界面的相对位移D：

$D=\frac{{\mathrm{\Σ}}_{n=1}^{N}d\left(n\right)}{N};$

其中，d(n)表征为所述N个小块中第n小块与上一帧实景界面中第n小块之间的相对位移，所述n的取值范围为[1-N]。

Images