CN116820242A - 一种数字化展厅*** - Google Patents
一种数字化展厅*** Download PDFInfo
- Publication number
- CN116820242A CN116820242A CN202310786880.9A CN202310786880A CN116820242A CN 116820242 A CN116820242 A CN 116820242A CN 202310786880 A CN202310786880 A CN 202310786880A CN 116820242 A CN116820242 A CN 116820242A
- Authority
- CN
- China
- Prior art keywords
- module
- exhibition hall
- personnel
- exhibition
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 claims abstract description 74
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 38
- 230000014509 gene expression Effects 0.000 claims description 103
- 238000009877 rendering Methods 0.000 claims description 34
- 241000282414 Homo sapiens Species 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 24
- 210000003414 extremity Anatomy 0.000 description 15
- 238000000034 method Methods 0.000 description 10
- 210000003813 thumb Anatomy 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000004247 hand Anatomy 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种数字化展厅***,涉及人工智能技术领域,用于解决传统展厅传递方式单一、空间体验受限的问题。该***包括:人工智能分析模块和数字人模块;其中,人工智能分析模块用于分析识别展厅人员的行为;数字人模块用于生成数字人,并控制数字人根据人工智能分析模块识别出的展厅人员的行为与展厅人员进行互动。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种数字化展厅***。
背景技术
随着数字技术的不断发展和创新,展厅展览的形式和内容也在发生深刻的变化。
目前,展厅展览往往以静态的物理模型和图文信息为主,局限颇多,例如:传递方式单一,展厅人员只能被动地接受展厅所展示的文字、图片、视频等内容。
发明内容
本申请提供一种数字化展厅***,涉及人工智能技术领域,可以解决传统展厅传递方式单一、视觉体验静态以及空间体验受限等问题。
第一方面,本申请提供一种数字化展厅***,包括:人工智能分析模块和数字人模块。
其中,人工智能分析模块用于分析识别展厅人员的行为;数字人模块用于生成数字人,并控制数字人根据所述人工智能分析模块识别出的展厅人员的行为与展厅人员进行互动。
本申请提供的技术方案至少带来以下有益效果:通过人工智能分析模块实现对展厅展示全流程的人机交互控制,基于人工智能技术和数字人技术的融合联动,智能启动相应的数字人,与传统展厅展览相比,给展厅人员提供了主动参与和互动的机会,增加了展厅人员的参观体验,提高展厅展览效果。
一种可能的实现方式中,该***还包括控制中台模块;人工智能分析模块与数字人模块均与控制中台模块连接;控制中台模块用于根据展厅人员的行为、以及预设的行为和反馈信息之间的对应关系,确定反馈信息;根据反馈信息通过数字人模块控制数字人与展厅人员进行互动。
一种可能的实现方式中,展厅人员的行为包括展厅人员的表情行为;人工智能分析模块包括表情识别子模块;***还包括控制中台模块;人工智能分析模块与数字人模块均与控制中台模块连接;表情识别子模块用于分析识别展厅人员的表情行为;控制中台模块用于根据展厅人员的表情行为、以及预设的识别表情行为和反馈信息之间的对应关系,确定第一目标反馈信息;反馈信息包括反馈表情和/或反馈话术;根据第一目标反馈信息通过数字人模块控制数字人与展厅人员进行互动。
基于该可能的实现方式,通过对展厅人员的表情行为进行分析识别,控制数字人与展厅人员进行互动,增加了展厅人员主动参与的机会,从而增加展厅人员的参观体验。
一种可能的实现方式中,展厅人员的行为包括展厅人员的手势;人工智能分析模块包括手势追踪子模块;该***还包括控制中台模块;人工智能分析模块与数字人模块均与控制中台模块连接;手势追踪子模块用于分析识别展厅人员的手势;控制中台模块具体用于根据展厅人员的手势、以及预设的识别手势和反馈信息之间的对应关系,确定第二目标反馈信息;反馈信息包括反馈表情和/或反馈话术;根据第二目标反馈信息通过数字人模块控制数字人与展厅人员进行互动。
基于该可能的实现方式,通过对展厅人员的手势进行分析,控制数字人与展厅人员进行互动,增加了展厅人员互动的机会,从而增加展厅人员的参观体验。
一种可能的实现方式中,展厅人员的行为包括展厅人员的表情行为和手势;人工智能分析模块包括表情识别子模块和手势追踪子模块;***还包括控制中台模块;人工智能分析模块与数字人模块均与控制中台模块连接;表情识别子模块用于分析识别展厅人员的表情行为;手势追踪子模块用于分析识别展厅人员的手势;控制中台模块具体用于根据展厅人员的表情行为、以及预设的识别表情行为和反馈信息之间的对应关系,确定第一目标反馈信息;反馈信息包括反馈表情和/或反馈话术;根据展厅人员的手势、以及预设的识别手势和反馈信息之间的对应关系,确定第二目标反馈信息;根据第一目标反馈信息和第二目标反馈信息通过数字人模块控制数字人与展厅人员进行互动。
基于该可能的实现方式,通过对展厅人员的表情行为和手势进行分析,控制数字人与展厅人员进行互动,增加了展厅人员主动参与和互动的机会,从而增加展厅人员的参观体验。
一种可能的实现方式中,该***还包括,控制中台模块、展厅灯光模块、展厅音乐模块;人工智能分析模块、数字人模块、展厅灯光模块、以及展厅音乐模块分别与控制中台模块连接;人工智能分析模块还包括人员越界子模块和人体追踪子模块;人员越界子模块用于识别展厅人员是否进入展厅大门附近的区域;控制中台模块,用于在人员越界子模块识别到展厅人员进入展厅大门附近区域的情况下,通过展厅灯光模块打开展厅灯光,并通过展厅音乐模块播放音乐;人体追踪子模块用于识别展厅人员是否达到展厅内任意一个展台附近的区域;控制中台模块,还用于在展厅人员达到展厅内任意一个展台附近区域的情况下,通过展厅灯光模块调亮该展台附近区域的灯光,并通过展厅音乐模块降低音乐声音。
又一种可能的实现方式中,人体追踪子模块还用于获取展厅人员的当前位置;该***还包括人员位置渲染模块;人员位置渲染模块用于根据人体追踪子模块获取的展厅人员的当前位置、以及预设的展厅模型,渲染出展厅人员位置模型;展厅人员位置模型用于展示展厅人员的位置。
又一种可能的实现方式中,该***还包括3D展示渲染模块;3D展示渲染模块用于渲染生成展厅模型。
又一种可能的实现方式中,人体追踪子模块还用于分析识别展厅人员的动作行为;该***还包括应急指挥调度模块;应急指挥调度模块用于在人体追踪子模块分析识别出预设动作的情况下,发出告警信息。
又一种可能的实现方式中,该***还包括分析模块;该分析模块用于获取该***中模块之间的交互信息并生成交互日志。
又一种可能的实现方式中,该***还包括存储模块;存储模块用于存储交互日志。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数字化展厅***的组成示意图;
图2为本申请实施例提供的另一种数字化展厅***的组成示意图;
图3为本申请实施例提供的另一种数字化展厅***的组成示意图;
图4为本申请实施例提供的另一种数字化展厅***的组成示意图;
图5为本申请实施例提供的又一种数字化展厅***的组成示意图;
图6为本申请实施例提供的又一种数字化展厅***的组成示意图;
图7为本申请实施例提供的又一种数字化展厅***的组成示意图;
图8为本申请实施例提供的又一种数字化展厅***的组成示意图;
图9为本申请实施例提供的又一种数字化展厅***的组成示意图;
图10为本申请实施例提供的又一种数字化展厅***的组成示意图;
图11为本申请实施例提供的又一种数字化展厅***的组成示意图;
图12为本申请实施例提供的又一种数字化展厅***的组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
另外,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
首先对本申请涉及的技术术语进行说明:
1、数字人(Digital Human/Meta Human),是运用数字技术创造出来的、与人类形象接近的数字化人物形象。
2、数字展厅,是指以多媒体和数字化技术作为展示技术,使用最新的影视动画技术,结合独到的图形数字和多媒体技术,以各类新颖的技术吸引参观者,实现人机交互方式的展厅形式。
3、人工智能(Artificial Intelligence,AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。
4、数字孪生(Digital Twin)是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。
随着数字技术的不断发展和创新,展厅展览的形式和内容也在发生深刻的变化。传统展厅展览往往以静态的物理模型和图文信息为主,局限颇多,例如:传递方式单一,展厅人员只能被动地接受展厅所展示的文字、图片、视频等内容;视觉体验静态,展厅人员难以获得多维的感知和沉浸;空间体验受限,展厅人员不能自由选择感兴趣的展品和信息、实时获取展厅的更新等。
目前,现有的数字化展厅大多通过数据检测计算来控制展厅内的多媒体设施,或通过人工智能语音技术为展厅人员提供展品解说,以增加展厅人员的参观体验,从而提高展厅展览效果。
所以,如何增加展厅人员的多维感知和沉浸、给展厅人员提供更多自由选择的空间,增加展厅人员的参观体验,提高展厅展览效果成为当前需要解决的问题。
如背景技术所述,传统展厅存在传递方式单一、视觉体验静态、空间体验受限等局限。
基于此,本申请实施例提供一种数字化展厅***,通过人工智能技术、数字孪生技术与数字人技术融合联动的数字化手段,实现对展厅展示全流程的人机交互控制,从而增加展厅人员主动参与和互动的机会,增加展厅人员的参观体验。
为了便于理解,以下结合附图对本申请实施例提供的数字化展厅***进行具体介绍。
一些可能的实施例中,图1为本申请实施例提供的一种数字化展厅***的组成示意图。
如图1所示,该***包括:人工智能分析模块100和数字人模块200。
其中,人工智能分析模块100用于分析识别展厅人员的行为。
人工智能分析模块100的具体组成可以参照下述图12中描述所述,此处不再赘述。
数字人模块用于生成数字人,并控制数字人根据人工智能分析模块识别出的展厅人员的行为与展厅人员进行互动。
数字人模块200具体组成可以参照下述图12中描述所述,此处不再赘述。
本申请实施例提供的数字化展厅***,可以通过人工智能分析模块实现对展厅展示全流程的人机交互控制,基于人工智能技术和数字人技术的融合联动,智能启动相应的数字人,与传统展厅展览相比,给展厅人员提供了主动参与和互动的机会,增加了展厅人员的参观体验,提高展厅展览效果。
一些可能的实施例中,图2为本申请实施例提供的另一种数字化展厅***的组成示意图。
如图2所示,该***还包括:控制中台模块300。
人工智能分析模块与数字人模块均与控制中台模块连接;控制中台模块用于根据所述展厅人员的行为、以及预设的行为和反馈信息之间的对应关系,确定反馈信息;根据所述反馈信息通过所述数字人模块控制所述数字人与所述展厅人员进行互动。
展厅人员的行为、以及预设的行为和反馈信息之间的对应关系,如下述图3至图5中描述所述,此处不再赘述。
一些可能的实施例中,展厅人员的行为包括展厅人员的表情行为,该***可以具体识别展厅人员的表情行为并根据表情行为与展厅人员进行互动。图3为本申请实施例提供的另一种数字化展厅***的组成示意图。
如图3所示,人工智能分析模块还可以具体包括表情识别子模块1001,表情识别子模块1001用于分析识别展厅人员的表情行为。
示例性地,展厅人员的表情行为可以是微笑、生气、或吃惊等。可选地,表情识别子模块可以通过基于深度学习技术的人工智能算法,实现对展厅人员表情的识别,具体可参照相关技术,此处不再赘述。
控制中台模块用于根据展厅人员的表情行为、以及预设的识别表情行为和反馈信息之间的对应关系,确定第一目标反馈信息;反馈信息包括反馈表情和/或反馈话术;根据第一目标反馈信息通过数字人模块控制数字人与展厅人员进行互动。
可选地,以展厅人员的表情行为为索引,遍历预设的表情行为和反馈信息之间的对应关系,将预设的表情行为和反馈信息之间的对应关系中,展厅人员的表情行为所对应的反馈信息作为第一目标反馈信息。
示例性地,预设的识别表情行为和反馈信息之间的对应关系可以如下述表1所示:
表1
如表1所示,该表可以包括表情行为项和反馈信息项。其中,表情行为项包括微笑、生气、和吃惊。反馈信息项包括“高兴”的表情和“拍手”的肢体动作、“生气”的表情和“握拳”的肢体动作、和“吃惊”的表情和“瞪大眼睛”的肢体动作。微笑和“高兴”的表情和“拍手”的肢体动作之间具有对应关系;生气和“生气”的表情和“握拳”的肢体动作之间具有对应关系;吃惊和“吃惊”的表情和“瞪大眼睛”的肢体动作之间具有对应关系。
以展厅人员对数字人做出微笑动作为例,表情识别子模块可以识别出微笑的表情,控制中台模块根据表情识别子模块的识别结果和预设的表情行为和反馈信息之间的对应关系可以确定数字人的反馈信息为“高兴”的表情和“拍手”的肢体动作,控制中台模块根据该反馈信息通过数字人模块控制数字人做出“高兴”的表情和“拍手”的肢体动作。
一些可能的实施例中,展厅人员的行为包括展厅人员的手势,该***可以具体识别展厅人员的手势并根据手势与展厅人员进行互动。图4为本申请实施例提供的另一种数字化展厅***的组成示意图。
如图4所示,人工智能分析模块还可以具体包括手势追踪子模块1002;手势追踪子模块1002用于分析识别展厅人员的手势。
示例性地,展厅人员的手势可以是向上伸拇指、向上伸拇指、或挥手等。可选地,手势追踪子模块可以通过基于深度学习技术的人工智能算法,实现对展厅人员手势的识别,具体可参照相关技术,此处不再赘述。
控制中台模块具体用于根据展厅人员的手势、以及预设的识别手势和反馈信息之间的对应关系,确定第二目标反馈信息;反馈信息包括反馈表情和/或反馈话术;根据第二目标反馈信息通过数字人模块控制数字人与展厅人员进行互动。
可选地,以展厅人员的手势为索引,遍历预设的手势和反馈信息之间的对应关系,将预设的手势和反馈信息之间的对应关系中,展厅人员的手势所对应的反馈信息作为第二目标反馈信息。
示例性地,预设的识别手势和反馈信息之间的对应关系可以如下述表2所示:
表2
手势 | 反馈信息 |
向上伸拇指 | “谢谢”的语音和“高兴”的表情 |
向下伸拇指 | “抱歉”的语音和“沮丧”的表情 |
挥手 | “再见”的语音和“挥手”的肢体动作 |
如表2所示,该表可以包括手势项和反馈信息项。其中,手势项包括向上伸拇指、向下伸拇指、和伸手。反馈信息项包括“谢谢”的语音和“高兴”的表情、“抱歉”的语音和“沮丧”的表情、和“再见”的语音和“挥手”的肢体动作。向上伸拇指和“谢谢”的语音和“高兴”的表情之间具有对应关系;向下伸拇指和“抱歉”的语音和“沮丧”的表情之间具有对应关系;挥手和“再见”的语音和“挥手”的肢体动作之间具有对应关系。以展厅人员对数字人做出向上伸拇指手势为例,手势追踪子模块可以识别出向上伸拇指的手势,控制中台模块根据手势追踪子模块的识别结果和预设的表情行为和反馈信息之间的对应关系可以确定数字人的反馈信息为“谢谢”的语音和“高兴”的表情,控制中台模块根据该反馈信息通过数字人模块控制数字人发出“谢谢”的语音并做出“高兴”的表情。
一些可能的实施例中,展厅人员的行为包括展厅人员的表情行为和手势,该***可以具体识别展厅人员的表情行为和手势并根据表情行为和手势与展厅人员进行互动。图5为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图5所示,人工智能分析模块还可以具体包括表情识别子模块1001和手势追踪子模块1002;表情识别子模块1001用于分析识别展厅人员的表情行为;手势追踪子模块1002用于分析识别展厅人员的手势。
示例性地,展厅人员的表情行为可以是微笑、生气、或吃惊等,展厅人员的手势可以是向上伸拇指、向上伸拇指、或挥手等。
可选地,表情识别子模块和手势追踪子模块可以通过基于深度学习技术的人工智能算法,实现对展厅人员表情和手势的识别,具体可参照相关技术,此处不再赘述。
控制中台模块具体用于根据展厅人员的表情行为、以及预设的识别表情行为和反馈信息之间的对应关系,确定第一目标反馈信息;反馈信息包括反馈表情和/或反馈话术;根据展厅人员的手势、以及预设的识别手势和反馈信息之间的对应关系,确定第二目标反馈信息;根据第一目标反馈信息和第二目标反馈信息通过数字人模块控制数字人与展厅人员进行互动。
可选地,当展厅人员同时对数字人做出表情行为和手势时,控制中台模块确定第一目标反馈信息和第二目标反馈信息之后,通过数字人模块控制数字人与展厅人员以第一目标反馈信息为反馈信息进行互动。
示例性地,同样以上述表1和表2所示的对应关系为例,假设展厅人员同时对数字人做出微笑的表情和向上伸拇指的手势,则表情识别子模块可以识别出微笑的表情,手势追踪子模块可以识别出向上伸拇指的手势,控制中台模块根据表情识别子模块和手势追踪子模块的识别结果和预设的表情行为和反馈信息之间的对应关系可以确定数字人的第一反馈信息为“高兴”的表情和“拍手”的肢体动作,第二反馈信息为“谢谢”的语音并做出“高兴”的表情,此时控制中台模块根据第一反馈信息通过数字人模块控制数字人做出“高兴”的表情和“拍手”的肢体动作。
可选地,当展厅人员同时对数字人做出表情行为和手势时,控制中台模块确定第一目标反馈信息和第二目标反馈信息之后,通过数字人模块控制数字人与展厅人员以第二目标反馈信息为反馈信息进行互动。
示例性地,以展厅人员同时对数字人做出微笑的表情和向上伸拇指的手势为例,表情识别子模块可以识别出微笑的表情,手势追踪子模块可以识别出向上伸拇指的手势,控制中台模块根据表情识别子模块和手势追踪子模块的识别结果和预设的表情行为和反馈信息之间的对应关系可以确定数字人的第一反馈信息为“高兴”的表情和“拍手”的肢体动作,第二反馈信息为“谢谢”的语音和“高兴”的表情,此时控制中台模块根据第二反馈信息通过数字人模块控制数字人发出“谢谢”的语音并做出“高兴”的表情。
可选地,当展厅人员同时对数字人做出表情行为和手势时,控制中台模块确定第一目标反馈信息和第二目标反馈信息之后,通过数字人模块控制数字人与展厅人员以第一目标反馈信息和第二目标反馈信息为反馈信息进行互动。
示例性地,以展厅人员同时对数字人做出微笑的表情和向上伸拇指的手势为例,表情识别子模块可以识别出微笑的表情,手势追踪子模块可以识别出向上伸拇指的手势,控制中台模块根据表情识别子模块和手势追踪子模块的识别结果和预设的表情行为和反馈信息之间的对应关系可以确定数字人的第一反馈信息为“高兴”的表情和“拍手”的肢体动作,第二反馈信息为“谢谢”的语音和“高兴”的表情,此时控制中台模块根据第一反馈信息和第二反馈信息通过数字人模块控制数字人先做出“高兴”的表情和“拍手”的肢体动作,再发出“谢谢”的语音并做出“高兴”的表情。
一些可能的实施例中,该***可以通过对展厅人员行为的检测,识别展厅人员的是否到达展厅特定区域,为展厅人员开启或调整灯光和音乐。图6为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图6所示,该***还可以包括控制中台模块300、展厅灯光模块400和展厅音乐模块500,人工智能分析模块、数字人模块、展厅灯光模块、以及展厅音乐模块分别与控制中台模块连接;人工智能分析模块还包括人员越界子模块1003和人体追踪子模块1004。
人员越界子模块用于识别展厅人员是否进入展厅大门附近的区域。
可选地,人员越界子模块可以通过基于深度学习技术的人工智能算法,实现对展厅人员进入展厅大门附近区域的识别,具体可参照相关技术,此处不再赘述。
展厅灯光模块用于通过向展厅灯光***发送开关信号,控制展厅内不同区域的灯光强度变化。
展厅音乐模块用于通过向展厅音响***发送开关信号,控制展厅内不同区域的声音大小与音乐切换。
控制中台模块用于在人员越界子模块识别到展厅人员进入展厅大门附近区域的情况下,通过展厅灯光模块打开展厅灯光,并通过展厅音乐模块播放音乐。
人体追踪子模块用于识别展厅人员是否达到展厅内任意一个展台附近的区域。
可选地,人体追踪子模块可以通过基于深度学习技术的人工智能算法,实现对展厅人员进入展厅大门附近区域的识别,具体可参照相关技术,此处不再赘述。
控制中台模块还用于在展厅人员达到展厅内任意一个展台附近区域的情况下,通过展厅灯光模块调亮该展台附近区域的灯光,并通过展厅音乐模块降低音乐声音。
一些可能的实施例中,该***可以通过对展厅人员位置信息的采集,在展厅内实时展示展厅人员的位置。图7为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图7所示,该***还可以包括数字孪生模块600,数字孪生模块具体可以包括人员位置渲染模块6001。
其中,人体追踪子模块还用于获取展厅人员的当前位置信息,并发送给人工智能分析模块。
可选地,人体追踪子模块可以通过基于深度学习技术的人工智能算法,实现对展厅人员位置的获取,具体可参照相关技术,此处不再赘述。
人员位置渲染模块用于根据人体追踪子模块获取的展厅人员的当前位置信息、以及预设的展厅模型,渲染出展厅人员位置模型;展厅人员位置模型用于展示展厅人员的位置。
可选地,人员位置渲染模块可以通过3D渲染技术,在接收到人工智能分析模块的位置信息时,对展厅人员的位置模型的进行3D渲染。
一些可能的实施例中,该***还可以展示展厅的整体情况。图8为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图8所示,该***还可以包括3D展示渲染模块6002,3D展示渲染模块用于渲染生成展厅模型。
可选地,3D展示渲染模块可以通过3D渲染技术,实现对预设的展厅模型的整体效果进行渲染输出。
一些可能的实施例中,该***可以通过对展厅人员行为的检测,识别展厅人员的是否发生紧急情况,通知展厅管理人员前往查看并及时处理为展厅人员提供帮助。图9为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图9所示,该***还可以包括应急指挥调度模块6003,人体追踪子模块还用于分析识别展厅人员的动作行为,应急指挥调度模块用于在人体追踪子模块分析识别出预设动作的情况下,发出告警信息。
示例性地,预设动作可以是打架斗殴和人员跌倒等。以展厅内出现人员跌倒的情况为例,人体追踪子模块分析识别到人员跌倒,应急指挥调度模块根据人体追踪子模块的分析识别结果,发出告警信息(可以是声光告警)通知展厅管理人员前往查看并及时处理风险。
一些可能的实施例中,该***可以获取各个模块之间的交互信息并生成交互日志。图10为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图10所示,该***还可以包括分析模块700,分析模块用于获取***中各个模块之间的交互信息并生成交互日志。
一些可能的实施例中,该***可以存储各个模块之间的交互日志。图10为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图11所示,该***还可以包括存储模块800,存储模块用于通过多种数据格式存储***中各个模块之间的交互日志。
一些可能的实施例中,该***可以包含上述实施例中的所有模块。图12为本申请实施例提供的又一种数字化展厅***的组成示意图。
如图12所示,人工智能分析模块100具体可以包括表情识别子模块1001、手势追踪子模块1002、人体追踪子模块1003和人员越界子模块1004。
表情识别子模块1001具体描述如图2中描述所述,此处不再赘述。
手势追踪子模块1002具体描述如图3中描述所述,此处不再赘述。
人体追踪子模块1003和人员越界子模块1004具体描述如图4中描述所述,此处不再赘述。
数字人模块200具体可以包括数字人发音子模块2001、数字人渲染子模块2002。
数字人发音子模块2001用于通过语音合成技术,将提前设计好的文本准确地转换为自然流畅清晰的语音。
数字人渲染子模块2002用于通过3D渲染技术,实现对数字人的动画渲染输出。
数字孪生模块600具体可以包括应急指挥调度模块6001、人员位置渲染模块6002和3D展示渲染模块6003。
应急指挥调度模块6001具体描述如图9中描述所述,此处不再赘述。
人员位置渲染模块6002具体描述如图7中描述所述,此处不再赘述。
3D展示渲染模块6003具体描述如图8中描述所述,此处不再赘述。
控制中台模块300具体描述如图2中描述所述,此处不再赘述。
展厅灯光模块400具体描述如图6中描述所述,此处不再赘述。
展厅音乐模块500具体描述如图6中描述所述,此处不再赘述。
存储模块800具体描述如图11中描述所述,此处不再赘述。
分析模块700具体描述如图10中描述所述,此处不再赘述。
示例性地,当展厅人员前往展厅参观展厅时,首先进入展厅,人员越界子模块识别出展厅人员进入展厅大门附近的区域,此时,控制中台模块通过展厅灯光模块打开展厅灯光,并通过展厅音乐模块播放音乐;当展厅人员在展厅内不同位置参观时,人体追踪子模块对展厅人员实时位置进行获取,控制中台模块将展厅人员实时位置同步至数字孪生模块中的3D展示渲染模块与人员位置渲染模块并展示展厅人员的实时位置;当展厅人员在展厅内踱步到展台附近区域时,展台处灯光变亮、音乐声音降低,展台处的数字人启动,触发数字人模块中的数字人发音子模块和数字人渲染子模块,开始对展品进行讲解,展厅人员也可以通过表情行为或手势与数字人进行互动。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (11)
1.一种数字化展厅***,其特征在于,所述***包括:人工智能分析模块和数字人模块;其中,所述人工智能分析模块用于分析识别展厅人员的行为;所述数字人模块用于生成数字人,并控制数字人根据所述人工智能分析模块识别出的展厅人员的行为与展厅人员进行互动。
2.根据权利要求1所述的***,其特征在于,所述***还包括控制中台模块;所述人工智能分析模块与所述数字人模块均与所述控制中台模块连接;所述控制中台模块用于根据所述展厅人员的行为、以及预设的行为和反馈信息之间的对应关系,确定反馈信息;根据所述反馈信息通过所述数字人模块控制所述数字人与所述展厅人员进行互动。
3.根据权利要求2所述的***,其特征在于,所述展厅人员的行为包括所述展厅人员的表情行为;所述人工智能分析模块包括表情识别子模块;所述表情识别子模块用于分析识别所述展厅人员的表情行为;所述控制中台模块用于根据所述展厅人员的表情行为、以及预设的识别表情行为和反馈信息之间的对应关系,确定第一目标反馈信息;所述反馈信息包括反馈表情和/或反馈话术;根据所述第一目标反馈信息通过所述数字人模块控制所述数字人与所述展厅人员进行互动。
4.根据权利要求2所述的***,其特征在于,所述展厅人员的行为包括所述展厅人员的手势;所述人工智能分析模块包括手势追踪子模块;所述手势追踪子模块用于分析识别所述展厅人员的手势;所述控制中台模块具体用于根据所述展厅人员的手势、以及预设的识别手势和反馈信息之间的对应关系,确定第二目标反馈信息;所述反馈信息包括反馈表情和/或反馈话术;根据所述第二目标反馈信息通过所述数字人模块控制所述数字人与所述展厅人员进行互动。
5.根据权利要求2所述的***,其特征在于,所述展厅人员的行为包括所述展厅人员的表情行为和手势;所述人工智能分析模块包括表情识别子模块和手势追踪子模块;所述表情识别子模块用于分析识别所述展厅人员的表情行为;所述手势追踪子模块用于分析识别所述展厅人员的手势;所述控制中台模块具体用于根据所述展厅人员的表情行为、以及预设的识别表情行为和反馈信息之间的对应关系,确定第一目标反馈信息;所述反馈信息包括反馈表情和/或反馈话术;根据所述展厅人员的手势、以及预设的识别手势和反馈信息之间的对应关系,确定第二目标反馈信息;根据所述第一目标反馈信息和所述第二目标反馈信息通过所述数字人模块控制所述数字人与所述展厅人员进行互动。
6.根据权利要求1-5任一项所述的***,其特征在于,所述***还包括控制中台模块、展厅灯光模块、展厅音乐模块;所述人工智能分析模块、所述数字人模块、所述展厅灯光模块、以及展厅音乐模块分别与所述控制中台模块连接;所述人工智能分析模块还包括人员越界子模块和人体追踪子模块;所述人员越界子模块用于识别所述展厅人员是否进入展厅大门附近的区域;所述控制中台模块,用于在所述人员越界子模块识别到所述展厅人员进入展厅大门附近区域的情况下,通过所述展厅灯光模块打开展厅灯光,并通过所述展厅音乐模块播放音乐;所述人体追踪子模块用于识别所述展厅人员是否达到展厅内任意一个展台附近的区域;所述控制中台模块,还用于在所述展厅人员达到展厅内任意一个展台附近区域的情况下,通过所述展厅灯光模块调亮该展台附近区域的灯光,并通过所述展厅音乐模块降低音乐声音。
7.根据权利要求5所述的***,其特征在于,所述人体追踪子模块还用于获取所述展厅人员的当前位置;所述***还包括人员位置渲染模块;
所述人员位置渲染模块用于根据所述人体追踪子模块获取的所述展厅人员的当前位置、以及预设的展厅模型,渲染出展厅人员位置模型;所述展厅人员位置模型用于展示所述展厅人员的位置。
8.根据权利要求6所述的***,其特征在于,所述***还包括3D展示渲染模块;所述3D展示渲染模块用于渲染生成所述展厅模型。
9.根据权利要求1所述的***,其特征在于,所述人体追踪子模块还用于分析识别所述展厅人员的动作行为;所述***还包括应急指挥调度模块;所述应急指挥调度模块用于在所述人体追踪子模块分析识别出预设动作的情况下,发出告警信息。
10.根据权利要求1-9任一项所述的***,其特征在于,所述***还包括分析模块;所述分析模块用于获取所述***中模块之间的交互信息并生成交互日志。
11.根据权利要求10所述的***,其特征在于,所述***还包括存储模块;所述存储模块用于存储所述交互日志。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310786880.9A CN116820242A (zh) | 2023-06-29 | 2023-06-29 | 一种数字化展厅*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310786880.9A CN116820242A (zh) | 2023-06-29 | 2023-06-29 | 一种数字化展厅*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116820242A true CN116820242A (zh) | 2023-09-29 |
Family
ID=88125482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310786880.9A Pending CN116820242A (zh) | 2023-06-29 | 2023-06-29 | 一种数字化展厅*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116820242A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117195379A (zh) * | 2023-11-03 | 2023-12-08 | 南京中音讯达网络科技有限公司 | 基于人工智能的数字孪生仿真展厅的快速部署方法 |
-
2023
- 2023-06-29 CN CN202310786880.9A patent/CN116820242A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117195379A (zh) * | 2023-11-03 | 2023-12-08 | 南京中音讯达网络科技有限公司 | 基于人工智能的数字孪生仿真展厅的快速部署方法 |
CN117195379B (zh) * | 2023-11-03 | 2024-02-06 | 南京中音讯达网络科技有限公司 | 基于人工智能的数字孪生仿真展厅的快速部署方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Park et al. | A metaverse: Taxonomy, components, applications, and open challenges | |
US10586369B1 (en) | Using dialog and contextual data of a virtual reality environment to create metadata to drive avatar animation | |
Mittelberg | Gestures as image schemas and force gestalts: A dynamic systems approach augmented with motion-capture data analyses | |
Kipp | Gesture generation by imitation: From human behavior to computer character animation | |
CN104461525B (zh) | 一种可自定义的智能咨询平台生成*** | |
Sharma et al. | Speech-gesture driven multimodal interfaces for crisis management | |
André et al. | Interacting with embodied conversational agents | |
CN107680165A (zh) | 基于HoloLens的电脑操作台全息展现与自然交互应用方法 | |
Fdili Alaoui et al. | Dance interaction with physical model visuals based on movement qualities | |
CN111414506B (zh) | 基于人工智能情绪处理方法、装置、电子设备及存储介质 | |
Ma | Automatic conversion of natural language to 3D animation | |
CN116820242A (zh) | 一种数字化展厅*** | |
CN115953521B (zh) | 远程数字人渲染方法、装置及*** | |
Pelachaud et al. | Multimodal behavior modeling for socially interactive agents | |
Maiorani | Kinesemiotics: Modelling how choreographed movement means in space | |
Volpe | Computational models of expressive gesture in multimedia systems. | |
Martin et al. | Levels of Representation in the Annotation of Emotion for the Specification of Expressivity in ECAs | |
Jeon et al. | Constructing the immersive interactive sonification platform (iISoP) | |
Lamberti et al. | A multimodal interface for virtual character animation based on live performance and Natural Language Processing | |
Khan | An Approach of Lip Synchronization With Facial Expression Rendering for an ECA | |
Cerezo et al. | Interactive agents for multimodal emotional user interaction | |
Krenn et al. | Embodied conversational characters: Representation formats for multimodal communicative behaviours | |
Lee et al. | The potential of a text-based interface as a design medium: An experiment in a computer animation environment | |
Baldassarri et al. | Maxine: Embodied conversational agents for multimodal emotional communication | |
Martin et al. | Coordinating the generation of signs in multiple modalities in an affective agent |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |