CN105107200A - 基于实时深度体感交互与增强现实技术的变脸***及方法 - Google Patents

Abstract

本发明建立了一种基于实时深度体感交互与增强现实技术的变脸***及方法，以解决普通光学摄像头实现变脸***人脸识别率易受光照遮挡等影响且计算来那个较大，用户体验度不好等方面的不足。本方法利用光学深度传感器实时采集环境中的彩色图像、深度图像以及人体骨骼点坐标图像，针对普通摄像头识别人脸易受光照遮挡等因素的影响，通过采用人体骨骼点坐标和基于Haar特征的人脸识别算法对人脸的三维空间坐标和人脸的大小进行计算。在得到人脸坐标和人脸大小后利用增强现实技术将川剧脸谱叠加在人脸上。本发明设计巧妙，使用方便，很好的解决了使用普通摄像头实现变脸的缺陷。

Description

基于实时深度体感交互与增强现实技术的变脸***及方法

技术领域

本发明涉及增强现实技术，人机交互等领域。具体涉及一种基于实时深度体感传感器的“川剧变脸”体感交互***及方法，尤其是一种基于实时深度体感交互与增强现实技术的变脸***及方法。

背景技术

增强现实技术(AugmenedReality,AR)是在虚拟现实技术的基础上发展起来的新技术，是通过计算机***提供的信息增加用户对真实世界感知的技术。近年来，随着科学技术的发展，尤其是以Kinect为代表的深度传感器极大的推动了以深度技术为核心的体感交互技术，产生了一批将Kinect技术与AR技术相结合的应用。传统的增强现实技术主要是利用普通摄像头采集二维平面图像，并在二维平面图像上进行信息的叠加。采用普通摄像头实现的增强现实川剧变脸***只能在二维平面上将川剧脸谱叠加到用户的脸上，用于人脸的识别率收到人脸角度的影响较大，并且如果要在二维图像上实现体感交互计算量较大。此外，由于采用普通摄像头只能采集到二维平面图像，这种仅仅采用二维平面图像实现的川剧变脸***变脸方式单一，用户体验不好。

为解决上述采用普通摄像头实现的“川剧变脸”***中存在的问题和不足，提出了基于实时深度体感交互的川剧变脸***及方法。

发明内容

为解决上述技术问题，提出了一种基于实时深度体感交互与增强现实技术的变脸***，该***不仅仅运用到了二维平面彩色图像，还用到了深度传感器提供的深度图像和人体骨骼图像，该***相比于普通摄像头实现的川剧变脸***具有更好的实时性、新颖性、自然交互等新特点，该***在实现传统“川剧”变脸的基础上还具有更加丰富的游戏体验，如单人变脸，多人变脸，摘脸，抢脸等等。

具体而言，本发明提供的一种基于实时深度体感交互与增强现实技术的变脸***，可以叠加川剧脸谱，京剧脸谱或动物脸谱虚拟面具，其特征在于：所述***包括Kinect深度传感器，人体骨骼点识别模块，川剧脸谱叠加模块，变脸触发模块和人体运动信息跟踪识别模块；所述Kinect深度传感器与PC机相连，摆放在PC机显示器的顶部，所述人体骨骼点识别模块接收由Kinect深度传感器采集到的深度信息数据并分析出人体骨骼点的信息，所述川剧脸谱叠加模块利用人体骨骼点信息将川剧脸谱叠加在用户脸部骨骼坐标上，所述变脸触发模块根据骨骼点信息与脸谱的位置信息进行综合判定，判断是否需要触发脸谱的变换，所述人体运动信息跟踪识别模块，实时跟踪人体骨骼点的运动状态，识别具体动作。

优选的，所述川剧脸谱叠加模块包括面部位置跟踪模块和面部方位跟踪模块；其中，所述面部位置跟踪模块由所述人体骨骼点坐标识别模块输出的脸部骨骼坐标位置提供；所述面部方位跟踪模块由所述kinect深度传感器提供彩色图像，根据彩色图像结合opencv_haar人脸识别算法识别正面人脸，侧面人脸，底部和顶部等位置信息。

优选的，所述变脸触发模块包括用手变脸，用脚变脸，摇头变脸，抢脸，摘脸触发模块。

优选的，所述用手变脸触发模块根据人体头部骨骼点坐标和手部骨骼点坐标进行距离计算，当距离小于设定的阈值时触发变脸。

优选的，所述用脚变脸触发模块根据人体头部骨骼点坐标和脚步骨骼点坐标进行距离计算，当距离小于设定的阈值时触发变脸。

优选的，所述摇头变脸触发模块根据权利要求2所述的面部方位模块判断人脸的方向状态，当人脸的方向变化大于两个时间度时触发变脸。

优选的，所述摘脸触发模块，川剧脸谱分别排列在视频窗口的两侧，两边分别摆放六个川剧脸谱，每个川剧脸谱以重心为参考点与用户手部坐标计算，当距离小于设定的阈值时判断手部抓取到了脸谱，脸谱随着手部坐标移动，当手部移动到与脸部骨骼坐标小于设定的阈值时，脸谱跟踪脸部骨骼移动。

优选的，所述抢脸模块，当用户1手部骨骼坐标与用户2的脸部骨骼坐标的距离小于设定的阈值时，用户2的脸谱跟踪用户1的手部骨骼移动。

优选的，所述人体运动信息跟踪识别模块包括动作训练模块，动作识别模块；其中，所述动作训练模块，录制所要识别的动作，根据人体骨骼点与时间的转系转换成距离特征信息，按照距离和时间关系进行二维数据存储；所述动作识别模块，实时计算当前人体骨骼点的距离特征信息与动作训练模块存储的二维数据相比较，当重合度大于80％时确定动作与训练动作一致。

优选的，所述变脸触发模块的变脸触发方式分为基于位置的触发变脸和基于全身动作的触发变脸。

同时，本发明还提供了一种基于实时深度体感交互与增强现实技术的变脸方法，其基于上述所述的***实现，该方法包括以下步骤：

(1)采集由Kinect光学深度传感器输出的彩色图像、深度图像和人体骨骼点坐标图，利用人体骨骼点坐标图得出用户面部的坐标位置；(2)利用基于adboosthaar特征的强分类器识别用户面部方位信息，根据強分类器识别的结果分为正面人脸，侧面人脸，顶部人脸和底部人脸；(3)选择用户游戏模式：用手变脸游戏模式，用脚变脸游戏模式，摇头变脸游戏模式，抢脸游戏模式，摘脸游戏模式和全身动作变脸游戏模式，并根据具体的游戏模式进入相应的操作步骤。

优选的，所述用手变脸游戏模式：***实时跟踪用户面部坐标点的位置和手部坐标的位置，当用户面部坐标点的位置和手部坐标点的位置之间的距离小于设定的阈值时触发变脸。

优选的，所述用脚变脸游戏模式：***实时跟踪用户面部坐标点的位置和左右脚的坐标位置，当用户脚部坐标点和面部坐标点之间的距离小于设定的阈值时会触发变脸。

优选的，所述摇头变脸游戏模式：***调用用户面部方位跟踪模块，当用户面部方位发生变化时会触发变脸。

优选的，所述摘脸游戏模式：***记录下排列在视频窗口两侧的六个川剧脸谱的三维空间坐标，当用户手部坐标与川剧脸谱的三维空间坐标的距离小于设定的阈值时，脸谱会跟随手部坐标进行移动，当手部坐标点与用户面部位置之间的距离小于设定的阈值时触发变脸。

优选的，所述抢脸游戏模式：***实时记录下用户1和用户2的面部坐标位置和手部坐标位置，当用户2的手部坐标位置与用户1的面部坐标位置之间距离小于设定的阈值的时候，用户1的脸谱跟随用户2的手部坐标进行移动，当用户2的手部坐标位置与用户1的面部坐标，手部坐标或用户2的手部坐标之间的距离小于设定的阈值时触发变脸。用户1抢夺用户2的脸谱与用户2抢夺用户1的脸谱原理相同。

优选的，所述全身动作变脸游戏模式：全身动作变脸游戏模式要求用户在完成一整套设定动作之后才会触发变脸模块，在游戏过程中，***将会实时采集人体骨骼点坐标图像，并实时计算各个骨骼点坐标之间的距离，当人体运动过程中所做的动作与预设定的动作距离矩阵motion_model[]＝{m1,m2,m3,m4,m5,m6,m7,m8,m9}相似度达到80％时判断满足变脸条件。

优选的，所述变脸方法中的变脸触发方式分为基于位置的触发变脸和基于全身动作的触发变脸。

优选的，所述基于位置的触发变脸可以采用以下步骤进行：

步骤一、***实时采集人体骨骼点图像并传入基于位置的触发变脸模块，基于位置的变脸模块传入的参数为人脸骨骼坐标和触发点手势坐标；

步骤二、判断触发点坐标和人脸骨骼坐标的距离是否小于触发临界距离；如果触发点坐标和人脸骨骼坐标的距离小于临界距离，那么就返回参数1，反之则返回参数0；

步骤三、进入变脸模块，如果基于位置变脸触发模块的返回值为1则更换川剧脸谱，反之不更换川剧脸谱。

优选的，所述基于全身动作的触发变脸可以采用以下步骤进行：

步骤一、***实时采集人体骨骼点图像并传入全身动作的触发变脸模块，并实时计算各个人体关节点的相对距离。

步骤二、记录下t1，t2时刻人体各关节点的相对距离，并与人体动作库实时比对。判断t1，t2两个时候的人体个关节点相对距离是否与人体动作库实例相同，如果相同则返回1，反之返回0。

步骤三、进入变脸模块，如果基于全身动作触发模块的返回值为1则更换川剧脸谱，反之不更换川剧脸谱。

本发明的有益效果如下：

1、由于本***采用的深度光学传感器内部集成了CPU，具有一定的计算能力，这意味着，***可以节省CPU的运算量，从而提升***的整体运算速度。

2、各个功能模块参差模型清晰，***冗余度高，能够很好的识别人脸和叠加川剧脸谱。

3、***提供了多种趣味性的体感交互川剧变脸方式，其生动有趣的川剧变脸艺术表现形式能够给用户带来全新的游戏体验。

4、***使用简单，人机交互方便易用，使普通用户也能够很方便的使用本***。

附图说明

下面结合附图和实例图对本发明进行进一步说明：

图1变脸***结构示意图；

图2变脸方法流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。需要声明的是，尽管实施例中以川剧变脸为例进行了***及方法层面的阐述，但该技术是适用于任何变脸领域的。

本发明提供了一种基于实时深度体感交互与增强现实技术的变脸***：***由光学深度传感器和PC电脑组成，所述光学深度传感器放置在PC电脑显示器顶端，与PC主机相连，用于实时采集三维空间内的彩色图像和深度图像，传送给PC端的软件处理部分。所述软件处理部分包括川剧脸谱叠加模块，单人变脸模块，多人变脸模块，摘脸模块，抢脸模块组成。优选地，这一光学深度传感器可以是例如微软的Kinect光学深度传感器、ASUS华硕XTIONPROLIVE等等，软件处理部分集成在PC机上，利用USB协议采集光学传感器采集到的彩色图像、深度图像和人体骨骼点图像。

优选地，为了川剧脸谱叠加的准确度，所述川剧脸谱叠加模块包括人体骨骼点坐标预处理模块和人脸识别模块，所述人体骨骼点坐标预处理模块是将人体骨骼点图像和深度图像对应的坐标点进行相应的计算，并估算出人体头部重心的坐标和人脸的大小。所述人脸识别模块是利用人脸识别技术识别光学深度传感器采集到的彩色图像上的人体大小。

进一步优选地，所述经过人体骨骼点预处理模块得出的人体头部重心坐标和人脸大小与人脸识别模块得出的人体头部坐标和人脸大小相比较，从而确定人体头部的坐标和人脸的位置。

进一步优选地，所述人脸识别模块采用的是基于Haar特征的人脸识别算法，其被设计为检测正面人脸和侧面人脸。

同时，本发明还提供了多种有趣的体感交互川剧变脸方法，所述体感交互川剧变脸方法包括单人变脸，多人变脸，摘脸，抢脸和全身动作变脸。

为便于在各个变脸模式中进行切换，可以通过设置一个flag变量来触发各自对应的变脸方法，优选地，在变脸***初始化成功后，***首先进行游戏模式选择页面，根据具体的游戏需求选择单人变脸、多人变脸、摘脸、抢脸或者全身动作变脸。

为了方便各个变脸模式的变脸方法有序进行，可以通过设置变脸触发条件来达到这一目的，优选地，变脸触发条件分为基于位置的触发变脸和基于全身动作的触发变脸。所述基于位置的触发的变脸可以采用以下步骤进行：

步骤一、***实时采集人体骨骼点图像并传入基于位置的触发变脸模块，基于位置的变脸模块传入的参数为人脸骨骼坐标和触发点手势坐标。

步骤二、判断触发点坐标和人脸骨骼坐标的距离是否小于触发临界距离；如果触发点坐标和人脸骨骼坐标的距离小于临界距离，那么就返回参数1，反之则返回参数0；

步骤三、进入变脸模块，如果基于位置变脸触发模块的返回值为1则更换川剧脸谱，反之不更换川剧脸谱。

所述基于全身动作的触发变脸可以采用以下步骤进行：

步骤一、***实时采集人体骨骼点图像并传入全身动作的触发变脸模块，并实时计算各个人体关节点的相对距离。

步骤二、记录下t1，t2时刻人体各关节点的相对距离，并与人体动作库实时比对。判断t1，t2两个时候的人体个关节点相对距离是否与人体动作库实例相同，如果相同则返回1，反之返回o。

步骤三、进入变脸模块，如果基于全身动作触发模块的返回值为1则更换川剧脸谱，反之不更换川剧脸谱。

图1展示了本发明的原理结构款图。本***的软件模块包括川剧脸谱的叠加、变脸触发模块以及单人变脸、多人变脸、用脚变脸、摘脸、抢脸以及全身动作变脸等多种趣味的川剧变脸游戏方式。***的核心是多种变脸交互方式，它能够支持用手变脸、摇头变脸、用脚变脸、摘脸、抢脸、全身动作变脸等多种交互方式。

在该***，通过人体骨骼坐标点图像、深度图像和人脸识别算法可以估计出人脸重心的坐标和人脸的大小，通过坐标和人脸的大小可以将准备好的川剧脸谱叠加到人脸上。具体的过程如下步骤：

步骤一、采集人体骨骼点坐标图像，并实时保存记录人体头部骨骼点坐标的重心位置(x_h,y_h,z_h)，其中X轴和Y轴的数据表明川剧脸谱在平面上的位置，Z轴的数据表明人脸距离摄像头的距离。

步骤二、利用基于adboosthaar特征的人脸识别算法估计出用户脸部的大小。

步骤三、当步骤二能够识别出人脸时采用人脸识别后确定的人脸大小进行川剧脸谱的叠加，当步骤二无法识别人脸时根据人体的深度位置数据与人脸的比例关系，即随着距离的增大人脸的大小减小的规律对川剧脸谱进行缩小，人脸大小与深度的比例关系为S＝(3/2)·Z。

所述基于adboosthaar特征的人脸识别算法包括具体如下步骤：步骤一：将准备好的999组人脸图片(包括正面人脸，侧面人脸，顶部人脸和底部人脸)进行编号，如第一组图片为:

face001_front.imgface001_right.imgface001_left.img,

Face001_top.imgface001_bottom.img

步骤二：一次分别训练正面人脸、左侧面人脸、右侧面人脸、顶部人脸和底部人脸的分类器，以训练正面人脸为例，训练样(x1,y1),(x2,y2)(x3,y3)...(xn,yn)，其中xi为第i个人脸的样本，yi＝1时表示正样本即人脸样本，yi＝0表示负样本即非人脸样本。训练正面人脸样本是主要采集人脸的haar特征，包括边缘特征、线特征、中心环绕特征等。这些特征的数学公式表示为：其中ω_i为矩形的权，RectSum(γ_i)为矩形γ_i所围图像的灰度积分，N是组成feature_j的矩形个数。

步骤三：由步骤二我们可以训练出基于边缘特征的弱分类器1，基于线特征的弱分类器2，基于中心环绕特征的弱分类器3，采用瀑布算法将这三个弱分类器组织成级联分类器即强分类器，提高人脸的识别率。

步骤四：采用如上步骤一～步骤三训练出基于haar特征的正面人脸分类器、侧面人脸分类器、顶部人脸分类器和底部人脸分类器，最后本***中对彩色图像循环使用这5种人脸分类器进行识别，顺序依次为正面人脸分类器-左侧面人脸分类器-右侧面人脸分类器-顶部人脸分类器-底部人脸分类器，当任意一分类器识别出人脸后直接跳过后面的分类器，从而解决大量的计算时间。

图2展示了变脸方法的流程图，具体过程如下：

步骤一、采集人体骨骼点坐标图，实时获取用户在运动过程中各个主要骨骼点在三维空间的运动数据。

步骤二、实时计算手部坐标与特定坐标之间的距离，比如在用手变脸游戏模式中实时计算手部坐标与脸部坐标之间的距离，其中(x_hand,y_hand,z_hand)为手部坐标，(x_head,y_head,z_head)为面部位置坐标，使用如下公式计算：

$\mathrm{\Δ}dis=\sqrt{{(x_{hand}-x_{head})}^2+{(y_{hand}-y_{head})}^2+{(z_{hand}-z_{head})}^2}$

步骤三、实时判断运动部位坐标与特定坐标之间的距离是否小于设定的阈值，如果小于设定的阈值则满足触发变脸的条件进入步骤四，否则进入步骤二。

步骤四、触发变脸模块，更换或移动脸谱。

基于光学深度传感器的体感交互川剧变脸***由光学深度传感器和PC机组成，光学深度传感器位于PC机显示器的顶端，用于实时采集三维场景，他输出的图像数据包括彩色图像、深度图像和人体骨骼点坐标图。通过光学深度传感器输出的图像数据传入的PC机软件，即可实现川剧变脸的功能。

优选的，单人变脸游戏过程，单人变脸游戏可以实现用手变脸，用脚变脸，摘脸等多种功能。

优选的，多人游戏支持2人同时变脸，游戏双方可以争夺屏幕两边的川剧脸谱，此外还可以互相抢夺对方脸上的脸谱。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (20)

1.一种基于实时深度体感交互与增强现实技术的变脸***，可以叠加川剧脸谱，京剧脸谱或动物脸谱等虚拟面具，其特征在于：

所述***包括Kinect深度传感器，人体骨骼点识别模块，川剧脸谱叠加模块，变脸触发模块和人体运动信息跟踪识别模块；

所述Kinect深度传感器与PC机相连，摆放在PC机显示器的顶部，所述人体骨骼点识别模块接收由Kinect深度传感器采集到的深度信息数据并分析出人体骨骼点的信息，所述川剧脸谱叠加模块利用人体骨骼点信息将川剧脸谱叠加在用户脸部骨骼坐标上，所述变脸触发模块根据骨骼点信息与脸谱的位置信息进行综合判定，判断是否需要触发脸谱的变换，所述人体运动信息跟踪识别模块，实时跟踪人体骨骼点的运动状态，识别具体动作。

2.如权利要求1所述的***，其特征在于：

所述川剧脸谱叠加模块包括面部位置跟踪模块和面部方位跟踪模块；其中，

所述面部位置跟踪模块由所述人体骨骼点坐标识别模块输出的脸部骨骼坐标位置提供；

所述面部方位跟踪模块由所述kinect深度传感器提供彩色图像，根据彩色图像结合opencv_haar人脸识别算法识别正面人脸，侧面人脸，底部和顶部等位置信息。

3.如权利要求1所述的***，其特征在于：

所述变脸触发模块包括用手变脸，用脚变脸，摇头变脸，抢脸，摘脸触发模块。

4.如权利要求3所述的***，其特征在于：

所述用手变脸触发模块根据人体头部骨骼点坐标和手部骨骼点坐标进行距离计算，当距离小于设定的阈值时触发变脸。

5.如权利要求3的***，其特征在于：

所述用脚变脸触发模块根据人体头部骨骼点坐标和脚步骨骼点坐标进行距离计算，当距离小于设定的阈值时触发变脸。

6.如权利要求3所述的***，其特征在于：

所述摇头变脸触发模块根据权利要求2所述的面部方位模块判断人脸的方向状态，当人脸的方向变化大于两个时间度时触发变脸。

7.如权利要求3所述的***，其特征在于：

所述摘脸触发模块，川剧脸谱分别排列在视频窗口的两侧，两边分别摆放六个川剧脸谱，每个川剧脸谱以重心为参考点与用户手部坐标计算，当距离小于设定的阈值时判断手部抓取到了脸谱，脸谱随着手部坐标移动，当手部移动到与脸部骨骼坐标小于设定的阈值时，脸谱跟踪脸部骨骼移动。

8.如权利要求3所述的***，其特征在于：

所述抢脸模块，当用户1手部骨骼坐标与用户2的脸部骨骼坐标的距离小于设定的阈值时，用户2的脸谱跟踪用户1的手部骨骼移动。

9.如权利要求1所述的***，其特征在于：

所述人体运动信息跟踪识别模块包括动作训练模块，动作识别模块；其中，

所述动作训练模块，录制所要识别的动作，根据人体骨骼点与时间的转系转换成距离特征信息，按照距离和时间关系进行二维数据存储；

所述动作识别模块，实时计算当前人体骨骼点的距离特征信息与动作训练模块存储的二维数据相比较，当重合度大于80％时确定动作与训练动作一致。

10.如权利要求1-9中任一所述的***，其特征在于：

所述变脸触发模块的变脸触发方式分为基于位置的触发变脸和基于全身动作的触发变脸。

11.一种基于实时深度体感交互与增强现实技术的变脸方法，其基于上述权利要求1-10中的任一权利要求所述的***实现，该方法包括以下步骤：

(1)采集由Kinect光学深度传感器输出的彩色图像、深度图像和人体骨骼点坐标图，利用人体骨骼点坐标图得出用户面部的坐标位置；

(2)利用基于adboosthaar特征的强分类器识别用户面部方位信息，根据強分类器识别的结果分为正面人脸，侧面人脸，顶部人脸和底部人脸；

(3)选择用户游戏模式：用手变脸游戏模式，用脚变脸游戏模式，摇头变脸游戏模式，抢脸游戏模式，摘脸游戏模式和全身动作变脸游戏模式，并根据具体的游戏模式进入相应的操作步骤。

12.如权利要求11所述的方法，其特征在于：

所述用手变脸游戏模式：***实时跟踪用户面部坐标点的位置和手部坐标的位置，当用户面部坐标点的位置和手部坐标点的位置之间的距离小于设定的阈值时触发变脸。

13.如权利要求11所述的方法，其特征在于：

所述用脚变脸游戏模式：***实时跟踪用户面部坐标点的位置和左右脚的坐标位置，当用户脚部坐标点和面部坐标点之间的距离小于设定的阈值时会触发变脸。

14.如权利要求11所述的方法，其特征在于：

所述摇头变脸游戏模式：***调用用户面部方位跟踪模块，当用户面部方位发生变化时会触发变脸。

15.如权利要求11所述的方法，其特征在于：

所述摘脸游戏模式：***记录下排列在视频窗口两侧的六个川剧脸谱的三维空间坐标，当用户手部坐标与川剧脸谱的三维空间坐标的距离小于设定的阈值时，脸谱会跟随手部坐标进行移动，当手部坐标点与用户面部位置之间的距离小于设定的阈值时触发变脸。

16.如权利要求11所述的方法，其特征在于：

所述抢脸游戏模式：***实时记录下用户1和用户2的面部坐标位置和手部坐标位置，当用户2的手部坐标位置与用户1的面部坐标位置之间距离小于设定的阈值的时候，用户1的脸谱跟随用户2的手部坐标进行移动，当用户2的手部坐标位置与用户1的面部坐标，手部坐标或用户2的手部坐标之间的距离小于设定的阈值时触发变脸。用户1抢夺用户2的脸谱与用户2抢夺用户1的脸谱原理相同。

17.如权利要求11所述的方法，其特征在于：

所述全身动作变脸游戏模式：全身动作变脸游戏模式要求用户在完成一整套设定动作之后才会触发变脸模块，在游戏过程中，***将会实时采集人体骨骼点坐标图像，并实时计算各个骨骼点坐标之间的距离，当人体运动过程中所做的动作与预设定的动作距离矩阵相似度达到80％时判断满足变脸条件。

18.如权利要求11-16中任一所述的方法，其特征在于：

所述变脸方法中的变脸触发方式分为基于位置的触发变脸和基于全身动作的触发变脸。

19.如权利要求18所述的方法，其特征在于：

所述基于位置的触发变脸可以采用以下步骤进行：

步骤一：***实时采集人体骨骼点图像并传入基于位置的触发变脸模块，基于位置的变脸模块传入的参数为人脸骨骼坐标和触发点手势坐标；

步骤二：判断触发点坐标和人脸骨骼坐标的距离是否小于触发临界距离；如果触发点坐标和人脸骨骼坐标的距离小于临界距离，那么就返回参数1，反之则返回参数0；

步骤三：进入变脸模块，如果基于位置变脸触发模块的返回值为1则更换川剧脸谱，反之不更换川剧脸谱。

20.如权利要求18所述的方法，其特征在于：

所述基于全身动作的触发变脸可以采用以下步骤进行：

步骤一：***实时采集人体骨骼点图像并传入全身动作的触发变脸模块，并实时计算各个人体关节点的相对距离；

步骤二：记录下t1，t2时刻人体各关节点的相对距离，并与人体动作库实时比对。判断t1，t2两个时候的人体个关节点相对距离是否与人体动作库实例相同，如果相同则返回1，反之返回0；

步骤三：进入变脸模块，如果基于全身动作触发模块的返回值为1则更换川剧脸谱，反之不更换川剧脸谱。