CN113326746A - 用于人体模型的手语播报方法及装置 - Google Patents
用于人体模型的手语播报方法及装置 Download PDFInfo
- Publication number
- CN113326746A CN113326746A CN202110525699.3A CN202110525699A CN113326746A CN 113326746 A CN113326746 A CN 113326746A CN 202110525699 A CN202110525699 A CN 202110525699A CN 113326746 A CN113326746 A CN 113326746A
- Authority
- CN
- China
- Prior art keywords
- sign language
- action
- human body
- body model
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000009471 action Effects 0.000 claims abstract description 114
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 238000006073 displacement reaction Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 57
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种用于人体模型的手语播报方法、装置、电子设备、计算机可读存储介质及计算机程序产品,可用于金融领域及人工智能领域,该方法包括:获取待播报语句;确定与所述待播报语句对应的至少一个手语手势;获取与所述手语手势对应的手语参数集,得到至少一个所述手语参数集,其中,每个所述手语参数集包括:人体模型动作节点、动作时间和动作位移;以及根据各个所述手语参数集,执行手语播报任务。
Description
技术领域
本公开涉及金融领域和人工智能技术领域,更具体地,涉及一种用于人体模型的手语播报方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
目前,营业厅逐渐引入人体模型实现音视频新闻播报功能,用户可以基于营业厅中的终端设备运行人体模型播放视频或语音,与人体模型进行交互,了解相关业务。由于人体模型向用户进行新闻资讯播报亲和、生动,更加优化用户体验和驻留时间。
但是人体模型与用户交互的模式比较固定,缺少人性化设计,尤其不适于聋哑人等残障人士使用。
发明内容
有鉴于此,本公开提供了一种由人体模型执行的手语播报方法,包括:
获取待播报语句;
确定与所述待播报语句对应的至少一个手语手势;
获取与所述手语手势对应的手语参数集,得到至少一个所述手语参数集,其中,每个所述手语参数集包括:人体模型动作节点、动作时间和动作位移;
根据各个所述手语参数集,执行手语播报任务。
根据本公开的实施例,所述确定与所述待播报语句对应的至少一个手语手势包括:
将所述待播报语句划分为至少一个自然词汇;
确定与所述自然词汇相匹配的基本手语词,得到至少一个所述基本手语词;
确定与所述基本手语词对应的手语手势,其中,所述至少一个手语手势之间的执行顺序与所述待播报语句的语序相同。
根据本公开的实施例,所述根据各个所述手语参数集,执行手语播报任务包括:
在与所述手语手势对应的第一动作时间内,控制与所述手语手势对应的所述人体模型的第一动作节点,以第一预设速度沿与所述手语手势对应的第一动作位移执行第一动作;
在与所述手语手势对应的第二动作时间内,控制与所述手语手势对应的所述人体模型的第二动作节点,以第二预设速度沿与所述手语手势对应的第二动作位移执行第二动作。
根据本公开的实施例,所述根据各个所述手语参数集,执行手语播报任务包括:
根据所述第一动作节点在所述人体模型上的位置、所述第二动作节点在所述人体模型上的位置和人体运动规律,融合所述第一动作和所述第二动作,得到融合后的动作;
执行所述融合后的动作。
根据本公开的实施例,所述第一动作时间与所述第二动作时间在时间轴上相连续。
根据本公开的实施例,所述将待播报语句划分为至少一个自然词汇包括:
获取所述待播报语句对应的文本序列,对所述文本序列进行分词处理,剔除冗余词汇及符号,得到与所述文本序列对应的至少一个自然词汇。
本公开的另一个方面提供了一种用于人体模型的手语播报装置,包括:
第一获取模块,用于获取待播报语句;
处理模块,用于确定与所述待播报语句对应的至少一个手语手势;
第二获取模块,用于获取与所述手语手势对应的手语参数集,得到至少一个所述手语参数集,其中,每个所述手语参数集包括:人体模型动作节点、动作时间和动作位移;
执行模块,根据各个所述手语参数集,执行手语播报任务。
本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个指令,其中,当所述一个或多个指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,因为采用了根据待播报语句获取对应的手语参数集,并根据手语参数集由人体模型执行手语播报任务的技术手段,所以至少部分地克服了现有播报方式不适合聋哑人等残障人士使用技术问题,进而达到了残障人士能够获取播报信息,进而无障碍享受金融服务的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了可以应用本公开的由人体模型执行的手语播报方法和装置的示例性***架构;
图2示意性示出了根据本公开实施例的由人体模型执行的手语播报方法的流程图;
图3示意性示出了根据本公开实施例的确定与所述待播报语句对应的至少一个手语手势的流程图;
图4a示意性示出了根据本公开实施例的根据各个所述手语参数集,执行手语播报任务的流程图;
图4b示意性示出了根据本公开另一实施例的根据各个所述手语参数集,执行手语播报任务的流程图;
图5示意性示出了根据本公开实施例的由数字人执行的手语播报方法的流程图;
图6示意性示出了根据本公开实施例的由人体模型执行的手语播报装置的框图;
图7示意性示出了根据本公开实施例的处理模块的框图;
图8示意性示出了根据本公开实施例的执行模块的框图;
图9示意性示出了根据本公开另一实施例的执行模块的框图;以及
图10示意性示出了根据本公开实施例的适于实现由人体模型执行的手语播报方法的计算机***的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
本公开的实施例提供了一种用于人体模型的手语播报方法、装置、电子设备、计算机可读存储介质及计算机程序产品。该方法包括获取待播报语句;确定与待播报语句对应的至少一个手语手势;获取与手语手势对应的手语参数集,得到至少一个手语参数集,其中,每个手语参数集包括:人体模型动作节点、动作时间和动作位移;以及根据各个手语参数集,执行手语播报任务。
图1示意性示出了可以应用本公开的由人体模型执行的手语播报方法和装置的示例性***架构。需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,根据该实施例的***架构100可以包括搭载人体模型的终端设备101、102、103,网络104和服务器105。网络104用以在搭载人体模型的终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
人体模型可以是数字角色技术与人工智能技术的结晶。人像建模、动作捕捉等数字角色技术可以为人体模型带来生动自然的形象表现,语音识别、自然语言理解、对话理解等人工智能技术可以为人体模型带来完善的认知、理解、表达能力。人体模型能够以终端设备101、102、103为载体通过电子屏幕、全息显示等设备,基于设备与用户进行互动。
人体模型可以支持不同的形象、音色等,用户可以自行选择人体模型的具体形象,或者人体模型设备可以基于对用户画像的刻画,自动为用户选择符合用户习惯的人体模型形象。
用户可以使用搭载人体模型的终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。搭载人体模型的终端设备101、102、103上可以安装有各种通讯客户端应用,例如金融类应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
搭载人体模型的终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于营业厅柜员机、智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
可能实现的方式中,用户可以采用语音、手势、表情或肢体动作等与人体模型进行交互。
可能的应用场景中,人体模型可以用于金融机构的营业厅,用于给用户提供金融服务,例如,给用户办理开户服务,给用户办理转账业务等等,也可以给用户回答业务问题等。
服务器105可以是提供各种服务的服务器,例如对用户利用搭载人体模型的终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的用于人体模型的手语播报方法一般可以由服务器105执行。相应地,本公开实施例所提供的用于人体模型的手语播报装置一般可以设置于服务器105中。本公开实施例所提供的用于人体模型的手语播报方法也可以由不同于服务器105且能够与搭载人体模型的终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的用于人体模型的手语播报装置也可以设置于不同于服务器105且能够与搭载人体模型的终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者,本公开实施例所提供的用于人体模型的手语播报方法也可以由搭载人体模型的终端设备101、102、或103执行,或者也可以由不同于搭载人体模型的终端设备101、102、或103的其他搭载人体模型的终端设备执行。相应地,本公开实施例所提供的用于人体模型的手语播报装置也可以设置于搭载人体模型的终端设备101、102、或103中,或设置于不同于搭载人体模型的终端设备101、102、或103的其他搭载人体模型的终端设备中。
例如,待播报语句可以原本存储在搭载人体模型的终端设备101、102、或103中的任意一个(例如,终端设备101,但不限于此)之中,或者存储在外部存储设备上并可以导入到终端设备101中。然后,终端设备101可以在本地执行本公开实施例所提供的由人体模型执行的手语播报方法,或者将待播报语句发送到其他终端设备、服务器、或服务器集群,并由接收该待播报语句的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的由人体模型执行的手语播报方法。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的由人体模型执行的手语播报方法的流程图
如图2所示,该方法包括操作S201~S204。
在操作S201,获取待播报语句。
关于待播报语句的源数据可以为各种存储待播报内容的数据形式。例如,可以为文本数据、音频数据和视频数据等。
在操作S202,确定与待播报语句对应的至少一个手语手势。
根据本公开的实施例,人体模型能够以终端设备为载体通过电子屏幕、全息显示等设备,基于设备与用户进行互动。该人体模型可以是卡通人物、也可以基于自然人设计的动画模型。
在手语数据集中检索与待播报语句对应的手语手势。关于标准手语数据集的建立,依据标准手语选取常用手语,使用运动捕捉设备演示,得到标准手语数据集。
在操作S203,获取与手语手势对应的手语参数集,得到至少一个手语参数集,其中,每个手语参数集包括:人体模型动作节点、动作时间和动作位移。即在时间轴上的一段动作时间(t),一系列人体模型动作节点(v)的动作位移(x,y,z)可以表达该手语参数集对应的手语手势。
根据本公开的实施例手语参数集(h)可以包括人体模型节点(v)、时间(t)和动作位移(x,y,z)三个维度的数据集,即h={[v0,t0,(x,y,z)],[v1,t1,(X1,y1,z1)],...[vn,tn,(xn,yn,zn)]}的形式,即手语是由在一段时间轴上的一系列人体节点的移动组成的。手语参数与文字含义一一对应,并以(key,value)的形式在手语库中保存。
在操作S204,根据各个手语参数集,执行手语播报任务。具体的,在建立人体模型的过程中,将人体关节点和主要骨骼作为建模的参数,以此参数建立的人体模型,可根据输入的节点、时间和位移参数以相应的速度驱动不同节点的移动,并连贯起来做出对应的动作。
本申请实施例中,将一段音频数据形式的待播报语句转换为文本数据。在标准手语数据集中检索,确定与待播报语句对应的至少一个手语手势,每个手语手势对应一个手语参数集。人体模型可根据输入的手语参数集以相应的速度驱动不同节点的移动,并连贯起来做出对应的动作,最终以手语形式输出最初的音频数据内容,便于残障人士能够获取播报信息,进而无障碍享受金融服务。
本公开便于残障人士能够获取播报信息,无障碍享受金融服务的技术效果,着眼于提高残障人士的用户体验感。
下面参考图3、图4a~图4b,结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开实施例的确定与待播报语句对应的至少一个手语手势的流程图。
如图3所示,操作S202包括子操作操作S301~S303。
在子操作S301,将待播报语句划分为至少一个自然词汇。
在一个示意性实施例中,获取待播报语句对应的文本序列,对文本序列进行分词处理,剔除冗余词汇及符号,得到与文本序列对应的至少一个自然词汇。例如,“您好,请将卡片***箭头位置”
关于分词处理,类似于一个查询处理过程。将文本序列在自然词汇词库中索引词汇。对于超过预设查询字段的文本序列需要先利用如空格、标点符号分割成多个子字段。进一步可以再剔除文本序列中重复的子字段。进一步还可以剔除文本序列中涉及的字母、数字和符号等。此外,还可以根据词义或者统计等方法进行分词处理,这里不再进行限定,以能获取待播报语句中的自然词汇即可。
例如,将“您好,请将卡片***箭头位置”分词后得到“您好”、“请”、“将”、“卡片”、“***”和“箭头位置”。
在子操作S302,确定与自然词汇相匹配的基本手语词,得到至少一个基本手语词。
在子操作S303,确定与基本手语词对应的手语手势,其中,至少一个手语手势之间的执行顺序与待播报语句的语序相同。
例如,在标准手语数据集中检索与基本手语词“您好”、“请”、“将”、“卡片”、“***”和“箭头位置”对应的手语手势。调整基本手语词“您好”、“请”、“将”、“卡片”、“***”和“箭头位置”的执行顺序,使其与待播报语句的语序相同。
图4a示意性示出了根据本公开实施例的根据各个手语参数集,执行手语播报任务的流程图。
如图4a所示,操作S204包括子操作S401~S402。
在子操作S401,在与手语手势对应的第一动作时间内,控制与手语手势对应的人体模型的第一动作节点,以第一预设速度沿与手语手势对应的第一动作位移执行第一动作。
在子操作S402,在与手语手势对应的第二动作时间内,控制与手语手势对应的人体模型的第二动作节点,以第二预设速度沿与手语手势对应的第二动作位移执行第二动作。第二动作时间与第一动作时间在时间轴上相连续。例如第一动作时间对应时间轴上的第1秒至第3秒,则第二动作时间对应时间轴上的第4秒至第6秒。
其中,第一动作时间、人体模型的第一动作节点和第一动作位移作为第一手语参数集。第二动作时间、人体模型的第二动作节点和第二动作位移作为第二手语参数集。与第一手语参数集和第二手语参数集相似的是,常用手语手势中每个动作均设置与其对应的手语参数集,例如为第三手语参数集、第四手语参数集等,这里不再一一例举。
在一个实施例中,一个手语动作可以进行拆分,即一个手语动作可以对应多个手语参数集。例如,手语动作“您好”中包括两个动作。手指指向对方作为第一动作,对应一个手语参数集。手握拳向上伸出拇指作为第二动作,对应一个手语参数集。上述两个手语参数集可以构成一个可以表征“您好”一词的标准手语数据集。
在本公开的另一个实施例中,如图4b所示,操作S204包括子操作S501~S504。
在子操作S501,在与手语手势对应的第一动作时间内,控制与手语手势对应的人体模型的第一动作节点,以第一预设速度沿与手语手势对应的第一动作位移执行第一动作。
在子操作S502,在与手语手势对应的第二动作时间内,控制与手语手势对应的人体模型的第二动作节点,以第二预设速度沿与手语手势对应的第二动作位移执行第二动作。
在子操作S503,根据第一动作节点在人体模型上的位置、第二动作节点在人体模型上的位置和人体运动规律,融合第一动作和第二动作,得到融合后的动作。
例如,手语动作“您好”中,第一动作为手指指向对方,第二动作为手握拳向上伸出拇指,连贯动作时两个动作间还有将第一动作的手指收回的动作,但因为其并不表达实际含义,只作为融合第一动作和第二动作,得到融合后的动作。
在子操作S504,执行融合后的动作。
在本实施例中,对各个动作进行融合处理后得到融合后的动作,这样的处理使得最终执行的动作更加连贯,顺畅。
需要说明的是,本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序,或者不同操作在技术实现上存在执行的先后顺序,否则,多个操作之间的执行顺序可以不分先后,多个操作也可以同时执行。
图5示意性示出了根据本公开实施例的由数字人执行的手语播报方法的流程图。
如图5所示,以人体模型选用数字人作为本公开的一个实施例,人体模型的手语播报方法包括:播报文字经自然语言处理***,转换为基本手语词。利用手语合成***根据基本手语词在手势库中检索确定与所述基本手语词对应的手语手势,并将手语手势转换为手势动画输出给数字人。数字人根据手势动画,通过终端将手语展示给用户,从而实现手语播报。
图6示意性示出了根据本公开实施例的由人体模型执行的手语播报装置的框图。
如图6所示,用于人体模型的手语播报装置600,包括:第一获取模块610、处理模块620、第二获取模块630、执行模块640。
第一获取模块610,用于获取待播报语句。
处理模块620,用于确定与待播报语句对应的至少一个手语手势。
第二获取模块630,用于获取与手语手势对应的手语参数集,得到至少一个手语参数集,其中,每个手语参数集包括:人体模型动作节点、动作时间和动作位移。
执行模块640,用于根据各个手语参数集,执行手语播报任务。
图7示意性示出了根据本公开实施例的处理模块的框图。
如图7所示,处理模块620包括:第一处理子模块710、第二处理子模块720和第三处理子模块730。
第一处理子模块710,用于将待播报语句划分为至少一个自然词汇。
第二处理子模块720,用于确定与自然词汇相匹配的基本手语词,得到至少一个基本手语词。
第三处理子模块730,用于确定与基本手语词对应的手语手势,其中,至少一个手语手势之间的执行顺序与待播报语句的语序相同。
图8示意性示出了根据本公开实施例的执行模块的框图。
如图8所示,作为执行模块640的一个实施例,执行模块640包括:第一子执行模块810和第二子执行模块820。
第一子执行模块810,用于在与手语手势对应的第一动作时间内,控制与手语手势对应的人体模型的第一动作节点,以第一预设速度沿与手语手势对应的第一动作位移执行第一动作。
第二子执行模块820,用于在与手语手势对应的第二动作时间内,控制与手语手势对应的人体模型的第二动作节点,以第二预设速度沿与手语手势对应的第二动作位移执行第二动作。
图9示意性示出了根据本公开另一实施例的执行模块的框图。
如图9所示,作为执行模块640的另一个实施例,执行模块640还包括:第三执行子模块910、第四执行子模块920、第五执行子模块930和第六执行子模块940。关于第三执行子模块910与第一子执行模块相同,第四执行子模块920与第二子执行模块相同这里不再进行赘述。第五执行子模块930,用于根据第一动作节点在人体模型上的位置、第二动作节点在人体模型上的位置和人体运动规律,融合第一动作和第二动作,得到融合后的动作。
第六执行子模块940,用于执行融合后的动作。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块610、处理模块620、第二获取模块630、执行模块640中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,第一获取模块610、处理模块620、第二获取模块630、执行模块640中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块610、处理模块620、第二获取模块630、执行模块640中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本公开的实施例中数据处理***部分与本公开的实施例中数据处理方法部分是相对应的,数据处理***部分的描述具体参考数据处理方法部分,在此不再赘述。
图10示意性示出了根据本公开实施例的适于实现由人体模型执行的手语播报方法的计算机***1000的框图。图10示出的计算机***仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,根据本公开实施例的计算机***1000包括处理器1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中,存储有***1000操作所需的各种程序和数据。处理器1001、ROM1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM 1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,***1000还可以包括输入/输出(I/O)接口1005,输入/输出(I/O)接口1005也连接至总线1004。***1000还可以包括连接至I/O接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本公开实施例的***中限定的上述功能。根据本公开的实施例,上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行本公开实施例所提供的方法的程序代码,当计算机程序产品在电子设备上运行时,该程序代码用于使电子设备实现本公开实施例所提供的用于人体模型的手语播报方法。
在该计算机程序被处理器1001执行时,执行本公开实施例的***/装置中限定的上述功能。根据本公开的实施例,上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1009被下载和安装,和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (10)
1.一种由人体模型执行的手语播报方法,包括:
获取待播报语句;
确定与所述待播报语句对应的至少一个手语手势;
获取与所述手语手势对应的手语参数集,得到至少一个所述手语参数集,其中,每个所述手语参数集包括:人体模型动作节点、动作时间和动作位移;以及
根据各个所述手语参数集,执行手语播报任务。
2.根据权利要求1所述的方法,其中,所述确定与所述待播报语句对应的至少一个手语手势包括:
将所述待播报语句划分为至少一个自然词汇;
确定与所述自然词汇相匹配的基本手语词,得到至少一个所述基本手语词;以及
确定与所述基本手语词对应的手语手势,其中,所述至少一个手语手势之间的执行顺序与所述待播报语句的语序相同。
3.根据权利要求1所述的方法,其中,所述根据各个所述手语参数集,执行手语播报任务包括:
在与所述手语手势对应的第一动作时间内,控制与所述手语手势对应的所述人体模型的第一动作节点,以第一预设速度沿与所述手语手势对应的第一动作位移执行第一动作;以及
在与所述手语手势对应的第二动作时间内,控制与所述手语手势对应的所述人体模型的第二动作节点,以第二预设速度沿与所述手语手势对应的第二动作位移执行第二动作。
4.根据权利要求3所述的方法,其中,所述根据各个所述手语参数集,执行手语播报任务包括:
根据所述第一动作节点在所述人体模型上的位置、所述第二动作节点在所述人体模型上的位置和人体运动规律,融合所述第一动作和所述第二动作,得到融合后的动作;以及
执行所述融合后的动作。
5.根据权利要求3或4所述的方法,其中,所述第一动作时间与所述第二动作时间在时间轴上相连续。
6.根据权利要求2所述的方法,其中,所述将待播报语句划分为至少一个自然词汇包括:
获取所述待播报语句对应的文本序列,对所述文本序列进行分词处理,剔除冗余词汇及符号,得到与所述文本序列对应的至少一个自然词汇。
7.一种用于人体模型的手语播报装置,包括:
第一获取模块,用于获取待播报语句;
处理模块,用于确定与所述待播报语句对应的至少一个手语手势;
第二获取模块,用于获取与所述手语手势对应的手语参数集,得到至少一个所述手语参数集,其中,每个所述手语参数集包括:人体模型动作节点、动作时间和动作位移;
执行模块,根据各个所述手语参数集,执行手语播报任务。
8.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个指令,
其中,当所述一个或多个指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至6中任一项所述的方法。
10.一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述指令在被执行时用于实现权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110525699.3A CN113326746A (zh) | 2021-05-13 | 2021-05-13 | 用于人体模型的手语播报方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110525699.3A CN113326746A (zh) | 2021-05-13 | 2021-05-13 | 用于人体模型的手语播报方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113326746A true CN113326746A (zh) | 2021-08-31 |
Family
ID=77415697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110525699.3A Pending CN113326746A (zh) | 2021-05-13 | 2021-05-13 | 用于人体模型的手语播报方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113326746A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 进行手语合成与显示的***和方法 |
CN101527092A (zh) * | 2009-04-08 | 2009-09-09 | 西安理工大学 | 特定会话场景下的计算机辅助手语交流方法 |
CN101727766A (zh) * | 2009-12-04 | 2010-06-09 | 哈尔滨工业大学深圳研究生院 | 基于虚拟人的手语新闻播报方法 |
CN102497513A (zh) * | 2011-11-25 | 2012-06-13 | 中山大学 | 一种面向数字电视的视频虚拟人手语*** |
CN103116576A (zh) * | 2013-01-29 | 2013-05-22 | 安徽安泰新型包装材料有限公司 | 一种语音手势交互翻译装置及其控制方法 |
CN109740447A (zh) * | 2018-12-14 | 2019-05-10 | 深圳壹账通智能科技有限公司 | 基于人工智能的通信方法、设备及可读存储介质 |
CN110457673A (zh) * | 2019-06-25 | 2019-11-15 | 北京奇艺世纪科技有限公司 | 一种自然语言转换为手语的方法及装置 |
CN110890097A (zh) * | 2019-11-21 | 2020-03-17 | 京东数字科技控股有限公司 | 语音处理方法及装置、计算机存储介质、电子设备 |
CN111369652A (zh) * | 2020-02-28 | 2020-07-03 | 长沙千博信息技术有限公司 | 一种基于多个单独手语动作产生连续手语动作的方法 |
CN112699758A (zh) * | 2020-12-23 | 2021-04-23 | 平安银行股份有限公司 | 基于动态手势识别的手语翻译方法、装置、计算机设备及存储介质 |
-
2021
- 2021-05-13 CN CN202110525699.3A patent/CN113326746A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079268A (zh) * | 2006-12-28 | 2007-11-28 | 腾讯科技(深圳)有限公司 | 进行手语合成与显示的***和方法 |
CN101527092A (zh) * | 2009-04-08 | 2009-09-09 | 西安理工大学 | 特定会话场景下的计算机辅助手语交流方法 |
CN101727766A (zh) * | 2009-12-04 | 2010-06-09 | 哈尔滨工业大学深圳研究生院 | 基于虚拟人的手语新闻播报方法 |
CN102497513A (zh) * | 2011-11-25 | 2012-06-13 | 中山大学 | 一种面向数字电视的视频虚拟人手语*** |
CN103116576A (zh) * | 2013-01-29 | 2013-05-22 | 安徽安泰新型包装材料有限公司 | 一种语音手势交互翻译装置及其控制方法 |
CN109740447A (zh) * | 2018-12-14 | 2019-05-10 | 深圳壹账通智能科技有限公司 | 基于人工智能的通信方法、设备及可读存储介质 |
CN110457673A (zh) * | 2019-06-25 | 2019-11-15 | 北京奇艺世纪科技有限公司 | 一种自然语言转换为手语的方法及装置 |
CN110890097A (zh) * | 2019-11-21 | 2020-03-17 | 京东数字科技控股有限公司 | 语音处理方法及装置、计算机存储介质、电子设备 |
CN111369652A (zh) * | 2020-02-28 | 2020-07-03 | 长沙千博信息技术有限公司 | 一种基于多个单独手语动作产生连续手语动作的方法 |
CN112699758A (zh) * | 2020-12-23 | 2021-04-23 | 平安银行股份有限公司 | 基于动态手势识别的手语翻译方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823677B2 (en) | Interaction with a portion of a content item through a virtual assistant | |
US11158102B2 (en) | Method and apparatus for processing information | |
US11036469B2 (en) | Parsing electronic conversations for presentation in an alternative interface | |
US11321667B2 (en) | System and method to extract and enrich slide presentations from multimodal content through cognitive computing | |
US20140245140A1 (en) | Virtual Assistant Transfer between Smart Devices | |
CN114375435A (zh) | 增强物理活动表面上的有形内容 | |
CN110969012A (zh) | 文本纠错方法、装置、存储介质及电子设备 | |
CN109388383B (zh) | 用于智能生成包容性***设计的***和方法 | |
CN111783508A (zh) | 用于处理图像的方法和装置 | |
CN115908640A (zh) | 生成图像的方法、装置、可读介质及电子设备 | |
CN110837334B (zh) | 用于交互控制的方法、装置、终端及存储介质 | |
CN112182255A (zh) | 用于存储媒体文件和用于检索媒体文件的方法和装置 | |
CN113326746A (zh) | 用于人体模型的手语播报方法及装置 | |
CN113505268A (zh) | 一种交互处理方法及装置 | |
CN112799514A (zh) | 信息推荐方法和装置、电子设备、及介质 | |
US20220198141A1 (en) | System and method for identifying and displaying information related to an off screen plot element or character in a media stream | |
CN117596452A (zh) | 视频生成方法、装置、介质及电子设备 | |
KR20220168534A (ko) | 인공지능 캐릭터의 대화 엔진 학습 방법 및 그 시스템 | |
CN113515191A (zh) | 基于手语识别与合成的信息交互方法和装置 | |
Alamsyah et al. | Augmented Reality English Education Based iOS with MobileNetV2 Image Recognition Model | |
CN114297420A (zh) | 网络教学的笔记生成方法、装置、介质和电子设备 | |
CN118368494A (zh) | 多媒体资源分享方法、装置、介质、电子设备及程序产品 | |
CN117667047A (zh) | 功能模板的生成方法、装置、设备及介质 | |
CN117193790A (zh) | 代码生成方法、装置和电子设备 | |
CN113934501A (zh) | 翻译方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |