CN110443167B - 传统文化手势的智能识别方法、智能交互方法及相关装置 - Google Patents

传统文化手势的智能识别方法、智能交互方法及相关装置 Download PDF

Info

Publication number
CN110443167B
CN110443167B CN201910665464.7A CN201910665464A CN110443167B CN 110443167 B CN110443167 B CN 110443167B CN 201910665464 A CN201910665464 A CN 201910665464A CN 110443167 B CN110443167 B CN 110443167B
Authority
CN
China
Prior art keywords
gesture
traditional culture
current user
cultural
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910665464.7A
Other languages
English (en)
Other versions
CN110443167A (zh
Inventor
唐啸
黄坤
熊文成
胡畔
向晖
陈勇
林树新
赵静
潘春晓
李林芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN201910665464.7A priority Critical patent/CN110443167B/zh
Publication of CN110443167A publication Critical patent/CN110443167A/zh
Application granted granted Critical
Publication of CN110443167B publication Critical patent/CN110443167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供传统文化手势的智能识别方法、智能交互方法及相关装置，其中的智能识别方法包括：采集位于目标采集区域内的当前用户的视频图像，基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；根据坐标系识别对应的当前用户的人体骨骼关键点坐标；应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，判断各个传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势。本申请能够对传统文化手势进行自动识别，且识别过程的智能化程度及效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，进而能够有效提高用户交互的精确性和智能化程度。

Description

传统文化手势的智能识别方法、智能交互方法及相关装置
技术领域
本申请涉及数据处理技术领域，具体涉及传统文化手势的智能识别方法、智能交互方法及相关装置。
背景技术
传统文化手势是一种能够体现中国人文精神的中国传统的见面礼仪，在现代社会中，也可以作为一种恰当的交往礼仪被广泛应用。其中的抱拳行礼、弯腰作揖和拱手礼等行礼方式，均可以被统称为传统文化手势。而随着社会可以的飞速发展，传统文化与现代科技相结合也已成为势不可挡的发展趋势，尤其是传统文化手势的交互方式。
目前，现有的手势交互方式大多聚焦于如何利用计算机网络进行物联网组网和远程无缝连接技术进行数据交互，且其中涉及的人体骨骼关键点检测也大多聚焦于如何识别和提取关键点信息以及几何坐标点特征，并不适用于传统文化手势的行为识别。
因此，如何设计一种针对传统文化手势的行为识别方式，是亟待解决的问题。
发明内容
针对现有技术中的问题，本申请提供一种传统文化手势的智能识别方法、智能交互方法及相关装置，能够对传统文化手势进行自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种传统文化手势的智能识别方法，包括：
采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；
根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标；
应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势。
进一步地，所述传统文化手势特征包括：人体的鼻颈距和双肩距之间的纵横比、手腕距和手肘距之间的纵横比、两个手腕向量与所述坐标系中的x轴单位向量之间的夹角、两个手肘向量与所述坐标系中的x轴单位向量之间的夹角、右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积，以及，左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积。
进一步地，所述判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，包括：
判断所述鼻颈距和双肩距之间的纵横比是否小于或等于预设的鼻颈距和双肩距之比的判定阈值，以确定当前用户是否做出低头的动作；
判断所述腕距和手肘距之间的纵横比是否小于或等于预设的双手腕和双手肘的距离之比的判定阈值，以确定当前用户是否做出双手合拢且手肘向外侧分离的动作；
判断所述两个手腕向量与所述坐标系中的x轴单位向量之间的夹角是否小于或等于预设的双手腕和水平线夹角阈值，以及，判断所述两个手肘向量与所述坐标系中的x轴单位向量之间的夹角是否小于或等于预设的双手肘和水平线夹角阈值，以确定当前用户是否做出双手方位呈现水平对称性的抱拳行礼的动作；
判断所述右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积是否大于0，以及，判断所述左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积是否大于0，以确定当前用户是否做出手腕位置高于手肘位置对应的动作。
进一步地，所述若是，则确定当前用户正在或者已做出传统文化手势，包括：
若经判断获知当前用户同时做出了所述低头的动作、所述双手合拢且手肘向外侧分离的动作、所述双手方位呈现水平对称性的抱拳行礼的动作以及所述手腕位置高于手肘位置对应的动作，则确定当前用户正在或者已做出传统文化手势。
第二方面，本申请提供一种传统文化手势的智能交互方法，包括：
若应用所述的传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则触发预设的与该传统文化手势对应的交互事件。
进一步地，所述触发预设的与该传统文化手势对应的交互事件包括：
向对应的多媒体设备发送播放指令，以使所述多媒体设备根据该播放指令播放预存储的视频内容或音乐内容；
和/或，
向对应的照明***发送开启指令，以使所述照明***根据该开启指令控制对应区域的灯点亮或闪烁。
第三方面，本申请提供一种传统文化手势的智能识别装置，包括：
视频数据采集模块，用于采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；
人体骨骼关键点识别模块，用于根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标；
传统文化手势交互行为识别模块，用于应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势。
第四方面，本申请提供一种传统文化手势的智能交互装置，包括：
传统文化手势交互事件触发模块，用于若应用所述的传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则触发预设的与该传统文化手势对应的交互事件。
第五方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的传统文化手势的智能识别方法的步骤，或者，实现所述的传统文化手势的智能交互方法的步骤。
第六方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的传统文化手势的智能识别方法的步骤，或者，实现所述的传统文化手势的智能交互方法的步骤。
由上述技术方案可知，本申请提供的传统文化手势的智能识别方法、智能交互方法及相关装置，采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标；应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势，综合利用创新的多维度特征对传统文化手势交互行为立体式的智能识别，能够对传统文化手势进行现场自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，即大幅度提升了传统文化手势交互行为识别的准确性和效率；进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，以及能够有效提高传统文化手势人机交互终端设备使用过程中的仪式感和便捷性，增强了做出传统文化手势的文化归属感和沉浸式体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的传统文化手势的智能识别及交互***的结构示意图。
图2为本申请的传统文化手势的智能识别方法的流程示意图。
图3为本申请实施例中的人体骨骼关键点坐标的标识示意图。
图4为本申请实施例中的传统文化手势的智能识别方法中步骤300的流程示意图。
图5为本申请实施例中的传统文化手势的智能识别装置的结构示意图。
图6为本申请实施例中的传统文化手势的智能交互方法的流程示意图。
图7为本申请实施例中的传统文化手势的智能交互装置的结构示意图。
图8为本申请应用实例中的传统文化手势的智能识别及交互装置的结构示意图。
图9为本申请应用实例中的传统文化手势的智能识别和/或交互方法的流程示意图。
图10为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到现有的手势交互方式大多聚焦于如何利用计算机网络进行物联网组网和远程无缝连接技术进行数据交互，且其中涉及的人体骨骼关键点检测也大多聚焦于如何识别和提取关键点信息以及几何坐标点特征，并不适用于传统文化手势的现场识别的问题，现有的手势交互方式中还提供一种应用远程组网进行佛教交互的装置和***，即通过中继、服务器和终端设备，能够不受时间地点约束的进行远程佛教交互，然而，该方案依然不适用传统文化手势的现场自动识别，且无法解决本申请所能够解决的智能人机交互的问题。而在现有的提取人脸坐标系的人脸特征的一种方式中，可以提取眼睛纵横比来进行人脸相关的行为识别，也可以通过检测眨眼的生理特征来识别到眨眼的行为特征；该种方式提供了一种通过挖掘人脸坐标点信息进行行为识别的技术方案，然而，该种方式中对于特征点的挖掘仅限于单一的纵横比概念，存在判别不准确以及指标过于单一的问题。而相较于该方案，本申请所提供的传统文化手势的智能识别方法不仅专门适用于传统文化手势的识别，还在纵横比的特征挖掘的基础上，同时还对人体空间向量和方向信息进行了挖掘，并设计了部分关键特征点夹角和内积等合计多达六个特征点的联合多维度智能判别。
基于此，本申请提供一种传统文化手势的智能识别方法、传统文化手势的智能识别装置、电子设备和计算机可读存储介质，通过采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标；应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势，综合利用创新的多维度特征对传统文化手势交互行为立体式的智能识别，能够对传统文化手势进行现场自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，即大幅度提升了传统文化手势交互行为识别的准确性和效率；进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，以及能够有效提高传统文化手势人机交互终端设备使用过程中的仪式感和便捷性，增强了做出传统文化手势的文化归属感和沉浸式体验。
在本申请的一个或多个实施例中，向量内积(Dot Product)是输入实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。两个向量a＝[a1,a2,…,an]和b＝[b1,b2,…,bn]的内积定义为：
dotProduct(a,b)＝a1b1+a2b2+……+anbn。
针对上述内容，本申请实施例提供一种用于实现传统文化手势的智能识别和/或交互方法的传统文化手势的智能识别及交互***，该传统文化手势的智能识别及交互***中包含有至少一个传统文化手势的智能识别装置和至少一个传统文化手势的智能交互装置，所述传统文化手势的智能识别装置和传统文化手势的智能交互装置均可以为一种服务器，所述传统文化手势的智能识别装置具体可以为第一服务器01，以及所述传统文化手势的智能交互装置具体可以为第二服务器07来进行区分，参见图1，所述第一服务器01分别与设置在同一目标区域内的至少一个视频图像采集设备02、第二服务器07和客户端设备05之间通信连接，所述第二服务器07可以分别与至少一个多媒体设备03、至少一套照明***04和至少一个钱款捐赠箱06之间通信连接。可以理解的是，所述第一服务器01与所述第二服务器07可以如图1所示的彼此独立设置，也可以集成设置为用一个服务器的两个功能模块。
基于上述内容，所述第一服务器01可以在线从客户端设备02获取开始对传统文化手势进行智能识别的指令，并在接收到该指令之后，控制所述视频图像采集设备02对自身的目标采集区域内的用户的视频图像进行连续采集，所述第一服务器01接收所述视频图像采集设备02采集的位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；而后根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标；以及应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势，而后，所述服务器01可以将该识别结果发送至客户端设备05和第二服务器07，第二服务器07可以根据接收到的该识别结果向所述多媒体设备03、照明***04和钱款捐赠箱06分别发送对应的控制指令，以使多媒体设备03根据该控制指令播放预存储的视频内容或音乐内容；所述照明***04根据该开启指令控制对应区域的灯点亮或闪烁，所述钱款捐赠箱06上的提示灯开启或者其上的扬声器发出提示音等。
而在上述内容的基础上，为了防止频繁误触发的场景出现，在本申请提供的一种传统文化手势的智能交互方法中，上述服务器在应用本申请的一个或多个实施例中的传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势之后，还需继续判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则触发预设的与该传统文化手势对应的交互事件，否则，将应用本申请的一个或多个实施例中的传统文化手势的智能识别方法确定的当前用户做出对应的传统文化手势的场景判定为频繁误触发的场景，且不对交互事件进行触发处理。
可以理解的是，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，传统文化手势的智能识别和/或交互的部分可以在如上述内容所述的服务器侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
为了能够对传统文化手势进行自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，在本申请的一种传统文化手势的智能识别方法的实施例中，参见图2，所述传统文化手势的智能识别方法具体包含有如下内容：
步骤100：采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系。
可以理解的是，所述用户对应的坐标系的建立方式为预先设定的，在一种举例中，针对直立站立的人体，可以将人体对应的视频图像的左下角定义为坐标原点，从坐标原点横向向右为x轴的正方向，横向向左为x轴负方向；从坐标原点竖直方向从下到上为y轴的正方向，从上到下为y轴的负方向。
步骤200：根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标。
其中，参见图3，所述人体骨骼关键点的标识也为预先设置的。所述人体骨骼关键点检测是计算机视觉的基础性算法之一，在计算机视觉的其他相关领域的研究中都起到了基础性的作用，如行为识别、人物跟踪、步态识别等相关领域。该方法可以检测图片中所有人体的主要关键点，包含颈、肩、肘、腕、腰、膝和踝等部位，以及上述部位在人体坐标系的坐标信息。可采用比较成熟的开源软件进行类似特征的提取，例如，工业界存在成熟的OpenPose等开源软件配合进行人体骨骼关键点检测，在github有其较为成熟的实现。
步骤300：应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势。
在步骤300中，为了通过多维特征的应用来进一步提高传统文化手势的识别准确性和可靠性，所述传统文化手势特征具体可以由六维特征组成，分别为：
(1)人体的鼻颈距和双肩距之间的纵横比；
其中，所述鼻颈距和双肩距之间的纵横比2n2sr(Nose Neck two ShoulderRatio)为：
Figure BDA0002139967110000091
上述所述F(i)是上述人体骨骼关键特征的第i个特征，每个F点包含其在人体骨骼坐标系上面的x和y坐标值；
dist函数代表的是两个特征点的欧几里得距离，第i和第j个关键特征点的距离计算为例，
Figure BDA0002139967110000092
所述F(i,b)第1个参数i表示对应的人体骨骼关键点特征的索引；
第2个参数b表示当前是x坐标还是y坐标，取值分别为x和y。
(2)手腕距和手肘距之间的纵横比；
其中，所述手腕距和手肘距之间的纵横比2w2er(two wrist two elbow ratio)为:
Figure BDA0002139967110000093
(3)两个手腕向量与所述坐标系中的x轴单位向量之间的夹角；
其中，所述两个手腕向量与所述坐标系中的x轴单位向量之间的夹角是一个右左手腕向量和x轴单位向量e1的夹角特征，所述两个手腕向量与所述坐标系中的x轴单位向量a2wx(Angle of two Wrist and X-axis)进一步描述如下:
任取两点i和j，i指向j的向量我们称为vector(F(i),F(j))：
vector(F(i),F(j))＝(F(j,x)-F(i,x),F(j,y)-F(i,y))
因此，两点m和n，m指向n的向量vector(F(m),F(n))为：
vector(F(m),F(n))＝(F(n,x)-F(m,x),F(n,y)-F(m,y))；
定义两个向量的内积运算为dp(p,q)＝dotProduct(p,q)；
根据向量ij和向量mn的内积公式可以得到:
dotProduct(vector(F(i),F(j)),vector(F(m),F(n)))
＝cos(theta(ij,mn))×dist(F(i)-F(j))×dist(F(m),F(n))
＝(F(j,x)-F(i,x))×(F(n,x)-F(m,x))+(F(j,y)-F(i,y))×(F(n,y)-F(m,y))
进而得到向量ij和mn的夹角theta(ij,mn)为：
Figure BDA0002139967110000094
至此向量夹角阐述完毕；
同时定义x轴单位向量为e1＝(0,1)；
Y轴单位向量为e2＝(1,0)；
因此可以进一步推导出a2wx(Angle of two Wrist and X-axis)为如下结果:
Figure BDA0002139967110000101
(4)两个手肘向量与所述坐标系中的x轴单位向量之间的夹角；
其中，所述两个手肘向量与所述坐标系中的x轴单位向量之间的夹角为一个右左手肘向量和x轴单位向量e1的夹角特征，所述两个手肘向量与所述坐标系中的x轴单位向量之间的夹角a2wx(Angle of two Wrist and X-axis)为：
Figure BDA0002139967110000102
a2ex定义和推导的过程和a2wx类似，再此不赘述。
(5)右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积；
所述右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积dprewy(dot product of Right Elbow Wrist and y-axis)为：
dprewy＝dotProduct(vector(F(9),F(11)),e2)。
(6)左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积；
其中，所述左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积dplewy(dot product of Left Elbow Wrist and y-axis)为：
dplewy＝dotProduct(vector(F(10),F(12)),e2)。
综上，本申请实施例在获取人体骨骼关键点坐标信息以后，深度挖掘了传统文化手势交互动作呈现的空间向量的方向和特征点位置信息，针对传统文化手势交互行为提出了手腕距和手肘距纵横比2w2er(two wrist two elbow ratio)、鼻颈距和双肩距纵横比2n2sr(Nose Neck two Shoulder Ratio)、右左手腕向量和x轴单位向量的夹角a2wx(Angleof two Wrist and X-axis)、右左手肘向量和x轴单位向量的夹角a2wx(Angle of twoWrist and X-axis)、右手肘到右手腕方向向量和y轴单位向量的内积dprewy(dot productof Right Elbow Wrist and y-axis)、左手肘到左手腕方向向量和y轴单位向量的内积dplewy(dot product of Left Elbow Wrist and y-axis)等众多六项创新性的传统文化手势交互行为识别特征指标；综合利用上述提及的创新的多维度特征对传统文化手势交互行为立体式的智能识别，大幅度提升了传统文化手势交互行为识别的准确性和效率问题；通过运用此方法，提升了电子功德箱等智传统文化手势人机交互终端设备使用过程中的仪式感和便捷性，增强了了游客和信众的归属感和沉浸式体验。
为了进一步提高判定用户是否做出传统文化手势的准确性，在本申请的传统文化手势的智能识别方法的一个实施例中，参见图4，所述步骤300中除了步骤301：应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，其后的判断过程具体包含有如下并列执行或以任意顺序执行的内容：
步骤302：判断所述鼻颈距和双肩距之间的纵横比是否小于或等于预设的鼻颈距和双肩距之比的判定阈值，以确定当前用户是否做出低头的动作。
步骤303：判断所述腕距和手肘距之间的纵横比是否小于或等于预设的双手腕和双手肘的距离之比的判定阈值，以确定当前用户是否做出双手合拢且手肘向外侧分离的动作。
步骤304：判断所述两个手腕向量与所述坐标系中的x轴单位向量之间的夹角是否小于或等于预设的双手腕和水平线夹角阈值，以及，判断所述两个手肘向量与所述坐标系中的x轴单位向量之间的夹角是否小于或等于预设的双手肘和水平线夹角阈值，以确定当前用户是否做出双手方位呈现水平对称性的抱拳行礼的动作。
步骤305：判断所述右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积是否大于0，以及，判断所述左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积是否大于0，以确定当前用户是否做出手腕位置高于手肘位置对应的动作。
相对应的，所述步骤305之后还包含有步骤306：若经判断获知当前用户同时做出了所述低头的动作、所述双手合拢且手肘向外侧分离的动作、所述双手方位呈现水平对称性的抱拳行礼的动作以及所述手腕位置高于手肘位置对应的动作，则确定当前用户正在或者已做出传统文化手势。
从软件层面来说，为了能够对传统文化手势进行自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，本申请提供一种用于实现所述传统文化手势的智能识别方法中的全部或部分内容的传统文化手势的智能识别装置的实施例，参见图5，所述传统文化手势的智能识别装置具体包含有如下内容：
视频数据采集模块003，用于采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系。
人体骨骼关键点识别模块004，用于根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标。
传统文化手势交互行为识别模块005，用于应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势。
本申请实施例提供的传统文化手势的智能识别装置的实施例具体可以用于执行上述实施例中的传统文化手势的智能识别方法的实施例的处理流程，其功能在此不再赘述，可以参照上述传统文化手势的智能识别方法实施例的详细描述。
从上述描述可知，本申请实施例提供的传统文化手势的智能识别装置，综合利用创新的多维度特征对传统文化手势交互行为立体式的智能识别，能够对传统文化手势进行现场自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，即大幅度提升了传统文化手势交互行为识别的准确性和效率；进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，以及能够有效提高传统文化手势人机交互终端设备使用过程中的仪式感和便捷性，增强了做出传统文化手势的文化归属感和沉浸式体验。
为了能够对传统文化手势进行自动识别及交互，且识别及交互就过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别及交互结果的准确性和可靠性，进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，在本申请的一种传统文化手势的智能交互方法的实施例中，参见图6，所述传统文化手势的智能交互方法在所述传统文化手势的智能识别方法之后执行，具体包含有如下内容：
步骤400：若应用所述传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则执行步骤500。
步骤500：触发预设的与该传统文化手势对应的交互事件。
为了进一步提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，在本申请的传统文化手势的智能交互方法的一个实施例中，所述传统文化手势的智能交互方法的步骤500中具体包含有下述步骤501和步骤502中的至少一项。
其中，步骤501：向对应的多媒体设备发送播放指令，以使所述多媒体设备根据该播放指令播放预存储的视频内容或音乐内容。
步骤502：向对应的照明***发送开启指令，以使所述照明***根据该开启指令控制对应区域的灯点亮或闪烁。
从软件层面来说，为了能够对传统文化手势进行自动识别及交互，且识别及交互就过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别及交互结果的准确性和可靠性，本申请提供一种用于实现所述传统文化手势的智能交互方法中的全部或部分内容的传统文化手势的智能交互装置的实施例，参见图7，所述传统文化手势的智能交互装置具体包含有如下内容：
传统文化手势交互事件触发模块006，用于若应用所述的传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则触发预设的与该传统文化手势对应的交互事件。
为了进一步说明本方案，本申请还提供一种应用上述传统文化手势的智能识别装置及传统文化手势的智能交互装置实现对应的传统文化手势的智能识别方法和传统文化手势的智能交互方法的具体应用实例，以全款捐赠箱为电子功德箱为例，以及其中的目标采集区域为佛教寺庙等场所，参见图8，传统文化手势的智能识别及交互装置具体包含有：用于承载基本服务、wifi、网络通信和后台交互的电子功德箱核心后台服务模块001、用于设定头肩宽比阈值和手掌手肘距比阈值等的参数设置模块002、用于采集人脸和人体姿态的图像数据的视频数据采集模块003、用于提取人体骨骼关键点信息的人体骨骼关键点识别模块004、传统文化手势交互行为识别模块005以及传统文化手势交互事件触发模块006。
所述传统文化手势的智能识别及交互方法具体包含有如下内容：
(一)管理员开启电子功德箱核心后台服务模块001，用于负责处理电子功德箱业务逻辑相关的核心服务；同时负责其他各子模块初始化。
(二)参数设置模块002，包含完成整个智能交互识别核心功能相关的参数，包括传统文化手势交互行为识别模块005行为识别模块中的人体骨骼关键点和检测相关的参数，具体包括：
th_2n2sr为鼻颈距和双肩距之比的判定阈值；
th_2w2er为双手腕和双手肘的距离之比的判定阈值；
th_a2wx为双手腕和水平线夹角阈值；
th_a2ex双手肘和水平线夹角阈值；
T_loop周期性的传统文化手势判决时间；
th_bow传统文化手势在T_loop时间段内的触发阈值等。
所述参数的具体物理含义在后续相对应的流程中后续会逐个结合算法原理进行介绍，此处不赘述。
(三)视频数据采集模块003，用于用户在摄像头前展示传统文化手势动作，摄像头进行数据采集，采集人脸和人体姿态的图像数据。
(四)人体骨骼关键点识别模块004，用于获取来自视频数据采集模块003提供的视频数据，进行人体骨骼关键点检测。
所述人体骨骼关键点检测是计算机视觉的基础性算法之一，在计算机视觉的其他相关领域的研究中都起到了基础性的作用，如行为识别、人物跟踪、步态识别等相关领域。该方法可以检测图片中所有人提的主要关键点，包含颈、肩、肘、腕、腰、膝、踝等部位，以及上述部位在人体坐标系的坐标信息。可采用比较成熟的开源软件进行类似特征的提取，例如，工业界存在成熟的OpenPose等开源软件配合，进行人体骨骼关键点检测，在github有其较为成熟的实现；
其中的人体骨骼关键点检测在工业界和学术界有很多层出不穷的新技术和专业论文，不断刷新特征点检测提取的精度和准确率，本应用实例以OpenPose作为本申请中人脸特征点提取实现的主要方法，它可以提取模块可以检测人脸的15、18或25个关键特征。
针对所述人体坐标系的坐标信息，为了后续统一计算，定义直立站立的人体，左下角为坐标原点，横向向右为x轴的正方向，横向向左为x轴负方向；竖直方向从下到上为y轴的正方向，从上到下为y轴的负方向。
传统文化手势交互行为识别模块005获取来自人体骨骼关键点识别模块004的人体骨骼关键点坐标信息，进行传统文化手势交互行为识别；
所述传统文化手势交互行为如前述所述的六个创新特征，即人体的鼻颈距和双肩距之间的纵横比2n2sr、手腕距和手肘距之间的纵横比2w2er、两个手腕向量与所述坐标系中的x轴单位向量之间的夹角a2wx、两个手肘向量与所述坐标系中的x轴单位向量之间的夹角a2wx、右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积dprewy以及左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积dplewy。
所述传统文化手势交互行为六个特征，在执行上述动作时，存在如下显著变化:
2n2sr,2w2er数值会变小，a2wx，a2ex会在零点附近；dprewy和dplewy大于0。
所述2n2sr变小的原因在于，存在传统文化手势交互手势的时候，头部会存在低头动作，导致图像鼻子和颈部距离明显变小，但双肩距保持不变。
所述2w2er变小的原因在于，存在传统文化手势交互手势的时候，双手合拢，双手腕的距离十分靠近，同时手肘向外侧分离，导致双手腕和双手肘的距离之比明显变小。
所述a2wx，a2ex会在零点附近的原因在于，由于直立对称性，不存在单手抱拳行礼的场景，双手方位呈现水平对称性，所以和水平夹角很小。
所述dprewy和dplewy大于0的原因在于，存在传统文化手势交互手势的时候，手腕所在的纵坐标会大于手肘所在的纵坐标，导致手肘手腕向量和e2向量夹角小于90度的绝对值，进而导致内积大于0。
因此当存在传统文化手势交互手势时，本申请设计如下阈值对上述明显变化特征进行提取和多维度判定：
th_2n2sr为鼻颈距和双肩距之比的判定阈值；
th_2w2er为双手腕和双手肘的距离之比的判定阈值；
th_a2wx为双手腕和水平线夹角阈值；
th_a2ex双手肘和水平线夹角阈值。
因此，所述传统文化手势交互行为同时满足如下判定条件：
2n2sr≤th_2n2sr
2w2er≤th_2w2er
abs(a2wx)≤th_a2wx
a2ex≤th_a2ex
dprewy>0
dplewy>0
为一次传统文化手势交互手势检测成功事件，定义为event_bow_once。
上述abs()函数表示对数据取绝对值。
优选的，为了防止上述存在频繁误触发的场景，event_bow_once并不代表一次成功的传统文化手势行为的最终检测结果。
我们定义周期性的传统文化手势判决时间为T_loop。
在T_loop时间段内，触发event_bow_once的次数定义为cnt_event_bow。
在T_loop时间段内，cnt_event_bow大于等于th_bow为成功触发一次传统文化手势交互行为event_bow。
所述th_bow为传统文化手势在T_loop时间段内的触发阈值。
(五)传统文化手势交互行为识别模块005在event_bow最终满足并触发的时候，会调用传统文化手势交互事件触发模块006。
(六)传统文化手势交互事件触发模块006执行传统文化手势的智能识别后续事件包括但不限于，针对指向上述传统文化手势交互的游客或者心信众，进行电子屏幕文化介绍，捐献渠道开通和提示，展示供奉的佛像和经文信息，播放佛教背景音乐，展现特有的宗教佛像或者菩萨交互多媒体信息等。
在一种具体举例中，以游客和信众使用某银行的电子功德箱终端，在电子功德箱摄像头前进行传统文化手势为例，参见图9，具体阐述上述具体应用实例的交互流程：
1.管理员开启电子功德箱核心后台服务模块001；所述电子功德箱核心后台服务模块，负责处理电子功德箱业务逻辑相关的核心服务；同时负责其他S002-S007各子模块初始化；
2.所述的子模块初始化包含参数设置模块002，包含完成整个智能交互识别核心功能相关的参数，包括传统文化手势交互行为识别模块005中的人体骨骼关键点和检测相关的参数，具体包括:
th_2n2sr为鼻颈距和双肩距之比的判定阈值，本申请设置th_2n2sr＝0.15；
th_2w2er为双手腕和双手肘的距离之比的判定阈值，本申请设置th_2w2er＝0.1；
th_a2wx为双手腕和水平线夹角阈值，本申请设置th_a2wx＝π/9；
th_a2ex双手肘和水平线夹角阈值；本申请设置th_a2ew＝π/9；
T_loop周期性的传统文化手势判决时间；本申请设置T_loop＝10s；
th_bow传统文化手势在T_loop时间段内的触发阈值，本申请设置th_bow＝2；
3.游客在电子功德箱摄像头前进行连续的传统文化手势动作；视频数据采集模块003中的摄像头对此游客进行数据采集，采集人脸和人体姿态的图像数据；
4.人体骨骼关键点识别模块004获取来自视频数据采集模块003提供的视频数据，进行人体骨骼关键点检测；
5.传统文化手势交互行为识别模块005获取来自人体骨骼关键点识别模块004的人体骨骼关键点坐标信息，进行传统文化手势交互行为识别。
6.传统文化手势交互行为识别模块005在event_bow最终满足cnt_event_bow大于等于th_bow的时候，会调用传统文化手势交互事件触发模块006；此处假定用户在10s内连续传统文化手势3次，且被***检测，触发event_bow_once三次，成功触发event_bow事件。
7.传统文化手势交互事件触发模块006执行传统文化手势的智能识别后续事件包括但不限于，针对指向上述传统文化手势交互的游客或者心信众，进行电子屏幕文化介绍，捐献渠道开通和提示，展示供奉的佛像和经文信息，播放佛教背景音乐，展现特有的宗教佛像或者菩萨交互多媒体信息等；
以物联网智慧场所点灯***和多媒体信息交互为例，讲述S006作揖事件触发模块的实际功效。
S006作揖事件触发模块在收到来自传统文化手势交互行为识别模块005的event_bow事件；
该事件会触发电子功德箱网络连接的多媒体播放软件执行音乐播放操作，同时会使得当前电子功德箱所在区域通过物联网连接的照明灯***闪烁或点亮；
上述音乐播放操作，包含一个随机数randNum产生器用来产生随机数，随机数的范围满足1<＝randNum<＝musicMax；
musicMax是数据库或者文件***中指定存储位置的佛教背景音乐的数目；因为播放器会根据随机数，播放存储***的第randNum首背景音乐；
上述照明灯***闪烁或点亮操作，包含多个电子功德箱设备，每个电子功德箱，通过物联网配置所在区域的照明***；当游客或者信众在区域A内的电子功德箱触发event_bow事件，则区域A约定管辖的物联灯具***执行点亮或者闪烁操作；
至此，通过物联网智慧场所点灯***和多媒体信息交互，使得人的行为和场所的智慧感知达到智能的联动，增强了游客的视听娱乐趣味性，同时也增强了信众的现实感、参与感、归属感，提升了人机交互的便捷性。
另外，关于本申请中提到的人体关键点识别组件，主流的方法是本申请中指出的这一类神经网络深度学习的方法，当然基于传统的计算机视觉特征工程，去提取图像的纹理特征和局部信息进行人体关键点识别也是一种可选方案，但是后者由于传统特征局限性以及性能不佳，已经逐渐不再是主流的人体关键点识别的主要方法。
从硬件层面来说，为了能够对传统文化手势进行自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，本申请提供一种用于实现所述传统文化手势的智能识别方法和/或传统文化手势的智能交互方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现传统文化手势的智能识别装置、传统文化手势的智能交互装置、视频图像采集设备、多媒体设备、钱款捐赠箱、照明***以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例传统文化手势的智能识别和/或交互方法的实施例，以及，传统文化手势的智能识别和/或交互装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图10为本申请实施例的电子设备9600的***构成的示意框图。如图10所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图10是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，传统文化手势的智能识别和/或交互功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤100：采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系。
步骤200：根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标。
步骤300：应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势。
步骤400：若应用所述传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则执行步骤500。
步骤500：触发预设的与该传统文化手势对应的交互事件。
从上述描述可知，本申请的实施例提供的电子设备，综合利用创新的多维度特征对传统文化手势交互行为立体式的智能识别，能够对传统文化手势进行现场自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，即大幅度提升了传统文化手势交互行为识别的准确性和效率；进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，以及能够有效提高传统文化手势人机交互终端设备使用过程中的仪式感和便捷性，增强了做出传统文化手势的文化归属感和沉浸式体验。
在另一个实施方式中，传统文化手势的智能识别和/或交互装置可以与中央处理器9100分开配置，例如可以将传统文化手势的智能识别和/或交互配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现传统文化手势的智能识别和/或交互功能。
如图10所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图10中所示的所有部件；此外，电子设备9600还可以包括图10中没有示出的部件，可以参考现有技术。
如图10所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器的传统文化手势的智能识别和/或交互方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的传统文化手势的智能识别和/或交互方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系。
步骤200：根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标。
步骤300：应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则确定当前用户做出对应的传统文化手势。
步骤400：若应用所述传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则执行步骤500。
步骤500：触发预设的与该传统文化手势对应的交互事件。
从上述描述可知，本申请的实施例提供的计算机可读存储介质，综合利用创新的多维度特征对传统文化手势交互行为立体式的智能识别，能够对传统文化手势进行现场自动识别，且识别过程的智能化程度高、效率高，并能够有效提高传统文化手势的识别结果的准确性和可靠性，即大幅度提升了传统文化手势交互行为识别的准确性和效率；进而能够有效提高根据该识别结果与做出传统文化手势的用户进行交互的精确性和智能化程度，以及能够有效提高传统文化手势人机交互终端设备使用过程中的仪式感和便捷性，增强了做出传统文化手势的文化归属感和沉浸式体验。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种传统文化手势的智能识别方法，其特征在于，包括：
采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；
根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标；
应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则判定当前用户同时做出了低头的动作、双手合拢且手肘向外侧分离的动作、双手方位呈现水平对称性的抱拳行礼的动作以及手腕位置高于手肘位置对应的动作，确定当前用户正在或者已做出传统文化手势；
所述传统文化手势特征包括：人体的鼻颈距和双肩距之间的纵横比；
所述判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，包括：
判断所述鼻颈距和双肩距之间的纵横比是否小于或等于预设的鼻颈距和双肩距之比的判定阈值，以确定当前用户是否做出低头的动作。
2.根据权利要求1所述的传统文化手势的智能识别方法，其特征在于，所述传统文化手势特征还包括：手腕距和手肘距之间的纵横比、两个手腕向量与所述坐标系中的x轴单位向量之间的夹角、两个手肘向量与所述坐标系中的x轴单位向量之间的夹角、右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积，以及，左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积；
其中，所述手腕距为左手腕与右手腕之间的距离，所述手肘距 为左手肘与右手肘之间的距离，所述两个手腕向量为右手腕到左手腕的方向向量，所述两个手肘向量为右手肘到左手肘的方向向量。
3.根据权利要求2所述的传统文化手势的智能识别方法，其特征在于，所述判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，还包括：
判断所述手腕距和手肘距之间的纵横比是否小于或等于预设的双手腕和双手肘的距离之比的判定阈值，以确定当前用户是否做出双手合拢且手肘向外侧分离的动作；
判断所述两个手腕向量与所述坐标系中的x轴单位向量之间的夹角是否小于或等于预设的双手腕和水平线夹角阈值，以及，判断所述两个手肘向量与所述坐标系中的x轴单位向量之间的夹角是否小于或等于预设的双手肘和水平线夹角阈值，以确定当前用户是否做出双手方位呈现水平对称性的抱拳行礼的动作；
判断所述右手肘到右手腕的方向向量和所述坐标系中的y轴单位向量之间的内积是否大于0，以及，判断所述左手肘到左手腕的方向向量和所述坐标系中的y轴单位向量之间的内积是否大于0，以确定当前用户是否做出手腕位置高于手肘位置对应的动作。
4.一种传统文化手势的智能交互方法，其特征在于，包括：
若应用如权利要求1至3任一项所述的传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则触发预设的与该传统文化手势对应的交互事件。
5.根据权利要求4所述的传统文化手势的智能交互方法，其特征在于，所述触发预设的与该传统文化手势对应的交互事件包括：
向对应的多媒体设备发送播放指令，以使所述多媒体设备根据该播放指令播放预存储的视频内容或音乐内容；
和/或，
向对应的照明***发送开启指令，以使所述照明***根据该开启指令控制对应区域的灯点亮或闪烁。
6.一种传统文化手势的智能识别装置，其特征在于，包括：
视频数据采集模块，用于采集位于目标采集区域内的当前用户的视频图像，并基于该视频图像中的用户的位置信息建立与当前用户对应的坐标系；
人体骨骼关键点识别模块，用于根据所述坐标系识别对应的当前用户的人体骨骼关键点坐标；
传统文化手势交互行为识别模块，用于应用当前用户的人体骨骼关键点坐标，确定预先设置的各个传统文化手势特征的取值，并判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件，若是，则判定当前用户同时做出了低头的动作、双手合拢且手肘向外侧分离的动作、双手方位呈现水平对称性的抱拳行礼的动作以及手腕位置高于手肘位置对应的动作，确定当前用户正在或者已做出传统文化手势；
所述传统文化手势特征包括：人体的鼻颈距和双肩距之间的纵横比；所述传统文化手势交互行为识别模块判断各个所述传统文化手势特征的取值是否均满足各自对应的预设条件时，具体用于：
判断所述鼻颈距和双肩距之间的纵横比是否小于或等于预设的鼻颈距和双肩距之比的判定阈值，以确定当前用户是否做出低头的动作。
7.一种传统文化手势的智能交互装置，其特征在于，包括：
传统文化手势交互事件触发模块，用于若应用如权利要求1至3任一项所述的传统文化手势的智能识别方法确定当前用户做出对应的传统文化手势，则判断该用户在预设的识别时段内做出该传统文化手势的次数是否超过预设值，若是，则触发预设的与该传统文化手势对应的交互事件。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至3任一项所述的传统文化手势的智能识别方法的步骤，或者，实现权利要求4或5所述的传统文化手势的智能交互方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3任一项所述的传统文化手势的智能识别方法的步骤，或者，实现权利要求4或5所述的传统文化手势的智能交互方法的步骤。
CN201910665464.7A 2019-07-23 2019-07-23 传统文化手势的智能识别方法、智能交互方法及相关装置 Active CN110443167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910665464.7A CN110443167B (zh) 2019-07-23 2019-07-23 传统文化手势的智能识别方法、智能交互方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910665464.7A CN110443167B (zh) 2019-07-23 2019-07-23 传统文化手势的智能识别方法、智能交互方法及相关装置

Publications (2)

Publication Number Publication Date
CN110443167A CN110443167A (zh) 2019-11-12
CN110443167B true CN110443167B (zh) 2022-05-17

Family

ID=68431227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910665464.7A Active CN110443167B (zh) 2019-07-23 2019-07-23 传统文化手势的智能识别方法、智能交互方法及相关装置

Country Status (1)

Country Link
CN (1) CN110443167B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955243B (zh) * 2019-11-28 2023-10-20 新石器慧通（北京）科技有限公司 行进控制方法、装置、设备、可读存储介质和移动装置
CN111626136B (zh) * 2020-04-29 2023-08-18 惠州华阳通用电子有限公司 一种手势识别方法、***及设备
CN113494802B (zh) * 2020-05-28 2023-03-10 海信集团有限公司 一种智能冰箱控制方法及智能冰箱
CN113807154A (zh) * 2020-06-12 2021-12-17 神州共享(北京)文化传媒有限公司 一种数字展厅人机交互***
CN112056873B (zh) * 2020-09-29 2021-06-04 广州翼安科技有限公司 一种动漫制作用展示设备
CN113657226B (zh) * 2021-08-06 2024-07-02 上海有个机器人有限公司 一种客户交互方法、装置、介质和移动设备
CN116328276A (zh) * 2021-12-22 2023-06-27 成都拟合未来科技有限公司 基于健身装置的姿势交互方法及***及装置及介质
CN116360603A (zh) * 2023-05-29 2023-06-30 中数元宇数字科技(上海)有限公司 基于时序信号匹配的交互方法、设备、介质及程序产品
CN117008733B (zh) * 2023-09-21 2023-12-12 海马云（天津）信息技术有限公司 虚拟数字人的手势动作修正方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学***
CN107102727A (zh) * 2017-03-17 2017-08-29 武汉理工大学 基于elm神经网络的动态手势学习与识别方法
CN107463887A (zh) * 2017-07-20 2017-12-12 四川长虹电器股份有限公司 列车驾驶员手势智能检查***及智能检查方法
CN207115327U (zh) * 2017-01-23 2018-03-16 深圳市妙严科技有限公司 一种虚拟佛堂***
WO2018151503A2 (ko) * 2017-02-16 2018-08-23 (주)더블유알티랩 제스처 인식 방법 및 장치
CN109598198A (zh) * 2018-10-31 2019-04-09 深圳市商汤科技有限公司 用于识别手势移动方向的方法、装置、介质、程序及设备
CN109919039A (zh) * 2019-02-14 2019-06-21 上海磐启微电子有限公司 一种基于手掌和手指特征的静态手势识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020440A (zh) * 2016-05-05 2016-10-12 西安电子科技大学 一种基于体感交互的京剧教学***
CN207115327U (zh) * 2017-01-23 2018-03-16 深圳市妙严科技有限公司 一种虚拟佛堂***
WO2018151503A2 (ko) * 2017-02-16 2018-08-23 (주)더블유알티랩 제스처 인식 방법 및 장치
CN107102727A (zh) * 2017-03-17 2017-08-29 武汉理工大学 基于elm神经网络的动态手势学习与识别方法
CN107463887A (zh) * 2017-07-20 2017-12-12 四川长虹电器股份有限公司 列车驾驶员手势智能检查***及智能检查方法
CN109598198A (zh) * 2018-10-31 2019-04-09 深圳市商汤科技有限公司 用于识别手势移动方向的方法、装置、介质、程序及设备
CN109919039A (zh) * 2019-02-14 2019-06-21 上海磐启微电子有限公司 一种基于手掌和手指特征的静态手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WiBot! In-Vehicle Behaviour and Gesture Recognition Using Wireless Network Edge;Muneeba Raja等;《2018 IEEE 38th International Conference on Distributed Computing Systems》;20180723;第1-12页 *
基于kinect骨骼***的手势识别研究;方华 等;《计算机光盘软件与应用》;20140115;第65-68页 *

Also Published As

Publication number Publication date
CN110443167A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443167B (zh) 传统文化手势的智能识别方法、智能交互方法及相关装置
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
CN111669515B (zh) 一种视频生成方法及相关装置
CN106462242B (zh) 使用视线跟踪的用户界面控制
KR101796008B1 (ko) 센서-기반 모바일 검색, 관련 방법들 및 시스템들
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
CN105320262A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
KR20170048137A (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
TWI544336B (zh) 眼鏡、電子裝置與其配對的方法以及順暢內容播放的方法
CN107766403B (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
WO2021143216A1 (zh) 一种人脸活体检测的方法和相关装置
CN112711335B (zh) 虚拟环境画面的显示方法、装置、设备及存储介质
CN114111704B (zh) 测量距离的方法、装置、电子设备及可读存储介质
EP4170440A1 (en) Home device control method, terminal device, and computer-readable storage medium
CN111191018B (zh) 对话***的应答方法和装置、电子设备、智能设备
CN113971271A (zh) 一种指纹解锁的方法、装置、终端以及存储介质
CN103257703A (zh) 一种增强现实装置及方法
KR102476619B1 (ko) 전자 장치 및 이의 제어 방법
CN112989922A (zh) 基于人工智能的脸部识别方法、装置、设备和存储介质
CN111557007B (zh) 一种检测眼睛睁闭状态的方法及电子设备
CN112149599A (zh) 表情追踪方法、装置、存储介质和电子设备
US9811535B1 (en) Creating social network groups
CN116320721A (zh) 一种拍摄方法、装置、终端及存储介质
CN114296627B (zh) 内容显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220920

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Patentee after: CHINA CONSTRUCTION BANK Corp.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Patentee before: CHINA CONSTRUCTION BANK Corp.

Patentee before: Jianxin Financial Science and Technology Co.,Ltd.