CN113176827B - 基于表情的ar交互方法、***、电子设备及存储介质 - Google Patents

基于表情的ar交互方法、***、电子设备及存储介质 Download PDF

Info

Publication number
CN113176827B
CN113176827B CN202110571684.0A CN202110571684A CN113176827B CN 113176827 B CN113176827 B CN 113176827B CN 202110571684 A CN202110571684 A CN 202110571684A CN 113176827 B CN113176827 B CN 113176827B
Authority
CN
China
Prior art keywords
person
expression
real
picture
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110571684.0A
Other languages
English (en)
Other versions
CN113176827A (zh
Inventor
李佳佳
夏宇寰
张军鹏
郑子霞
魏谢敏
魏伟波
张鹏飞
李雯蔚
宋天滋
于沁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University
Original Assignee
Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University filed Critical Qingdao University
Priority to CN202110571684.0A priority Critical patent/CN113176827B/zh
Publication of CN113176827A publication Critical patent/CN113176827A/zh
Application granted granted Critical
Publication of CN113176827B publication Critical patent/CN113176827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出基于表情的AR交互方法、***、电子设备及存储介质，方法技术方案包括采集现实场景中实体物和第一人物的实时图像数据，并同时采集第一人物的声音数据和现实场景的环境的实时图像数据；根据实体物、第一人物和环境的实时图像数据，生成包括实体物、第一人物和环境的虚拟成像的AR画面，在AR画面中的实体物的虚拟成像上叠加表情元素，并同时在AR画面中生成智能体形象，AR画面通过屏幕显示；智能体形象基于叠加有表情元素的实体物的虚拟成像，并根据第一人物的声音数据与现实场景中的第一人物进行互动；互动包括智能体形象根据预设语料库与第一人物进行对话。本发明解决了现有基于VR或基于AR的互动***未能考虑到自闭症儿童群体的问题。

Description

基于表情的AR交互方法、***、电子设备及存储介质
技术领域
本发明属于增强现实技术领域，尤其涉及一种基于表情的AR交互方法、***、电子设备及存储介质。
背景技术
在自闭症儿童的情绪干预中，现有技术会通过虚拟现实(VR)进行，而现有的虚拟现实技术产品因需要佩戴虚拟头盔或可穿戴设备，交互空间不仅有限，而且儿童容易误操作，尤其是对于自闭症儿童来说，他们并不喜欢在身上佩戴设备。而现有的增强现实(AR)技术中，需要增强现实头盔或手持数字设备实现立体成像效果，导致所需设备成本高，且因无法解放双手导致效率低，识别准确度差；此外，还忽略了自闭症儿童作为用户群的技术开发需求，操作复杂，操作流程繁琐，并不适用于儿童，尤其是自闭症儿童的使用。
发明内容
本申请实施例提供了基于表情的AR交互方法、***、电子设备及存储介质，以至少解决现有基于VR或基于AR的互动***未能考虑到自闭症儿童群体的问题。
第一方面，本申请实施例提供了基于表情的AR交互方法，包括：1.基于表情的AR交互方法，其特征在于，包括：现实数据采集步骤，采集一现实场景中实体物和第一人物的实时图像数据，并同时采集所述第一人物的声音数据和所述现实场景的环境的实时图像数据；AR画面生成步骤，根据所述实体物、所述第一人物和所述环境的实时图像数据，生成一包括所述实体物、所述第一人物和所述环境的虚拟成像的AR画面，在所述AR画面中的所述实体物的虚拟成像上叠加一表情元素，并同时在所述AR画面中生成一智能体形象，所述AR画面通过一屏幕显示；AR智能互动步骤，所述智能体形象基于叠加有所述表情元素的所述实体物的虚拟成像，并根据所述第一人物的声音数据和所述实时图像数据与所述现实场景中的所述第一人物进行互动；所述互动包括所述智能体形象根据一预设语料库与所述第一人物进行对话。
优选的，所述方法进一步包括：操作介入干预步骤，若所述预设语料库无法支持所述智能体形象与所述第一人物进行对话，则通过一第二人物对所述互动进行干预。
优选的，所述现实数据采集步骤进一步包括：表情训练步骤，通过CNN神经网络，根据一人脸表情数据集训练一表情识别分类模型；表情分类步骤，通过OpenCV接口对采集到的所述第一人物的实时图像数据进行识别，提取出所述第一人物的面部表情数据，并输入至所述表情识别分类模型中进行分类。
优选的，在所述实体物的表面覆盖一识别图像，所述识别图像包括具有图纹和色彩的二维图形，用于对所述实体物进行所述实时图像数据的采集。
第二方面，本申请实施例提供了基于表情的AR交互***，适用于上述基于表情的AR交互方法，包括：现实数据采集模块，采集一现实场景中实体物和第一人物的实时图像数据，并同时采集所述第一人物的声音数据和所述现实场景的环境的实时图像数据；AR画面生成模块，根据所述实体物、所述第一人物和所述环境的实时图像数据，生成一包括所述实体物、所述第一人物和所述环境的虚拟成像的AR画面，在所述AR画面中的所述实体物的虚拟成像上叠加一表情元素，并同时在所述AR画面中生成一智能体形象，所述AR画面通过一屏幕显示；AR智能互动模块，所述智能体形象基于叠加有所述表情元素的所述实体物的虚拟成像，并根据所述第一人物的声音数据和所述实时图像数据与所述现实场景中的所述第一人物进行互动；所述互动包括所述智能体形象根据一预设语料库与所述第一人物进行对话。
在其中一些实施例中，所述***进一步包括：操作介入干预模块，若所述预设语料库无法支持所述智能体形象与所述第一人物进行对话，则通过一第二人物对所述互动进行干预。
在其中一些实施例中，所述现实数据采集模块进一步包括：表情训练单元，通过CNN神经网络，根据一人脸表情数据集训练一表情识别分类模型；表情分类单元，通过OpenCV接口对采集到的所述第一人物的实时图像数据进行识别，提取出所述第一人物的面部表情数据，并输入至所述表情识别分类模型中进行分类。
在其中一些实施例中，在所述实体物的表面覆盖一识别图像，所述识别图像包括具有图纹和色彩的二维图形，用于对所述实体物进行所述实时图像数据的采集。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于表情的AR交互方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于表情的AR交互方法。
相比于相关技术，本申请实施例通过采集现实场景中的人物和环境，直接显示到屏幕中，此外，设计并采集用于互动的实体物，并在生成AR画面时叠加表情元素，综合上述元素可为自闭症儿童进行AR***交互创造适合的环境体验，并且本申请实施例可以采集并对人物的表情进行分类识别，通过设计互动游戏可以使自闭症儿童基于表情进行AR互动。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的基于表情的AR交互方法流程图；
图2为图1中步骤S1的分步骤流程图；
图3为本发明的基于表情的AR交互***的框架图；
图4为本发明的电子设备的框架图；
图5为本申请实施例的实体物的效果图；
图6为本申请实施例的智能体形象的效果图；
图7为本申请实施例的一互动效果图；
图8为本申请实施例的另一互动效果图；
以上图中：
1、现实数据采集模块；2、AR画面生成模块；3、AR智能互动模块；4、操作介入干预模块；11、表情训练单元；12、表情分类单元；60、总线；61、处理器；62、存储器；63、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下，结合附图详细介绍本发明的实施例：
图1为本发明的基于表情的AR交互方法流程图，请参见图1，本发明基于表情的AR交互方法包括如下步骤：
S1：采集一现实场景中实体物和第一人物的实时图像数据，并同时采集所述第一人物的声音数据和所述现实场景的环境的实时图像数据。可选的，所述实体物的表面覆盖一识别图像，所述识别图像包括具有图纹和色彩的二维图形，用于对所述实体物进行所述实时图像数据的采集。
在具体实施中，设计一实体物作为增强现实***的外接实体物，该实体物符合第一人物手握的大小和范围，可选的，可使用积木作为该实体物。在具体实施中，实体物上贴有可通过计算机视觉***识别的二维图形，并设计二维图形的图纹和色彩的复杂度，以提升计算机识别技术的精确。
在具体实施中，通过摄像头采集实体物的实时图像，通过摄像头采集第一人物的实时图像，并同时采集第一人物的声音数据，可选的，第一人物的实时图像包括第一人物的面部表情。此外，通过摄像头还采集当前现实环境的实时图像数据。
可选的，图2为图1中步骤S1的分步骤流程图，请参见图2：
S11：通过CNN神经网络，根据一人脸表情数据集训练一表情识别分类模型；
S12：通过OpenCV接口对采集到的所述第一人物的实时图像数据进行识别，提取出所述第一人物的面部表情数据，并输入至所述表情识别分类模型中进行分类。
在具体实施中，使用Fer2013人脸表情数据集，使用CNN神经网络进行训练，采集到第一人物的实时图像数据后，调用OpenCV接口识别出面部表情，将面部表情传入到训练好的模型中进行表情分类。
请继续参见图1：
S2：根据所述实体物、所述第一人物和所述环境的实时图像数据，生成一包括所述实体物、所述第一人物和所述环境的虚拟成像的AR画面，在所述AR画面中的所述实体物的虚拟成像上叠加一表情元素，并同时在所述AR画面中生成一智能体形象，所述AR画面通过一屏幕显示。
在具体实施中，将步骤S1所采集到的实时图像数据镜像显示在显示屏中，并识别实体物，通过增强现实技术在每一个实体物上叠加一表情元素，即在该实体物上叠加一表情图案，该表情图案随实体物运动而运动。图5为本申请实施例的实体物的效果图，请参见图5，现实场景中的积木作为实体物，并在该实体物贴有包括图纹和色彩的二维图形，通过增强现实技术在该积木上叠加一表情元素，用于与第一人物的互动。
此外，利用三维设计软件设计一虚拟智能体形象，并利用增强现实技术叠加在画面中。可选的，该虚拟智能体形象为人物形象。图6为本申请实施例的实体物的效果图，请参见图6，设计一人物形象的虚拟智能体形象，并将其三维化处理。
在具体实施中，通过游戏引擎Unity来控制智能体形象的动作和语音。
在具体实施中，预设一唤醒口令，第一人物通过说出唤醒口令激活智能体形象。
S3：所述智能体形象基于叠加有所述表情元素的所述实体物的虚拟成像，并根据所述第一人物的声音数据和所述实时图像数据与所述现实场景中的所述第一人物进行互动；所述互动包括所述智能体形象根据一预设语料库与所述第一人物进行对话。
在具体实施中，使用Vuforia AR引擎接口，来定位目标实体物的位置，实现使第一人物通过操控实体物控制屏幕中的虚拟表情。
在具体实施中，图7为本申请实施例的一互动效果图，请参见图7，在画面中显示现实场景镜像，并通过增强现实技术生成一虚拟智能体，采集现实场景中的积木的实时图像数据，并将其通过增强现实技术叠加表情元素后显示在画面中，如图7所示，本申请实施例提供第一种互动规则：第一人物通过与虚拟智能体对话，完成记忆类游戏，增强现实引擎扫描作为实体物的积木，并生成虚拟表情。在画面中，虚拟表情会自动转换角度和位置，让第一人物猜测并找出指定的虚拟表情。可选的，第一人物可通过语音或动作找出该虚拟表情在现实中所对应的积木。
在具体实施中，图8为本申请实施例的另一互动效果图，请参见图8，在画面中显示现实场景镜像，并通过增强现实技术生成一虚拟智能体，采集现实场景中的积木的实时图像数据，并将其通过增强现实技术叠加表情元素后显示在画面中，此外，在生成的增强现实画面中生成一虚拟白板，虚拟白板呈现二维的卡通片，如图8所示，本申请实施例提供第二种互动规则：在生成的增强现实画面中生成一虚拟白板，虚拟白板呈现二维的卡通片，虚拟智能体对第一人物进行提问，第一人物需要回答卡通中的角色此时应该做什么表情。在具体实施中，可选的，第一人物通过举起积木输入信息，由虚拟智能体判断是否正确并给予提示。在具体实施中，预设一社交场景作为该卡通片的内容。
在具体实施中，本申请实施例提供第三种互动规则：在增强现实画面中直接显示第一人物的图像，即第一人物的样子会出现在屏幕中，第一人物应虚拟智能体的要求做出指定的表情，采集该第一人物的面部表情，输入至表情分类模型中进行分类检测，可选的，并计算表情持续时间，以可视化的方式展示完成效果。
在具体实施中，虚拟智能体与第一人物的对话通过人工智能语料库进行支持，根据第一人物会话的关键字检索对应的回复语句。
S4:若所述预设语料库无法支持所述智能体形象与所述第一人物进行对话，则通过一第二人物对所述互动进行干预。
在具体实施中，即设计另一操作端，由第一人物以外的第二人物进行操作，若智能体形象根据现有语料库无法完成与第一人物的对话时，由第二人物进行干预介入，操控智能体进行会话；可选的，第二人物还可以控制互动的进度及其他任意预设规则无法应对的突发情况。
在具体实施中，通过UDP网络协议让第二人物可以控制虚拟智能体的对话以及控制互动的进度、触发后续交互事件。
图3为根据本发明的基于表情的AR交互***的框架图，请参见图3，包括：
现实数据采集模块1：采集一现实场景中实体物和第一人物的实时图像数据，并同时采集所述第一人物的声音数据和所述现实场景的环境的实时图像数据。可选的，所述实体物的表面覆盖一识别图像，所述识别图像包括具有图纹和色彩的二维图形，用于对所述实体物进行所述实时图像数据的采集。
在具体实施中，设计一实体物作为增强现实***的外接实体物，该实体物符合第一人物手握的大小和范围，可选的，可使用积木作为该实体物。在具体实施中，实体物上贴有可通过计算机视觉***识别的二维图形，并设计二维图形的图纹和色彩的复杂度，以提升计算机识别技术的精确。
在具体实施中，通过摄像头采集实体物的实时图像，通过摄像头采集第一人物的实时图像，并同时采集第一人物的声音数据，可选的，第一人物的实时图像包括第一人物的面部表情。此外，通过摄像头还采集当前现实环境的实时图像数据。
可选的，现实数据采集模块1还包括：
表情训练单元11：通过CNN神经网络，根据一人脸表情数据集训练一表情识别分类模型；
表情分类单元12：通过OpenCV接口对采集到的所述第一人物的实时图像数据进行识别，提取出所述第一人物的面部表情数据，并输入至所述表情识别分类模型中进行分类。
在具体实施中，使用Fer2013人脸表情数据集，使用CNN神经网络进行训练，采集到第一人物的实时图像数据后，调用OpenCV接口识别出面部表情，将面部表情传入到训练好的模型中进行表情分类。
AR画面生成模块2：根据所述实体物、所述第一人物和所述环境的实时图像数据，生成一包括所述实体物、所述第一人物和所述环境的虚拟成像的AR画面，在所述AR画面中的所述实体物的虚拟成像上叠加一表情元素，并同时在所述AR画面中生成一智能体形象，所述AR画面通过一屏幕显示。
在具体实施中，将现实数据采集模块1所采集到的实时图像数据镜像显示在显示屏中，并识别实体物，通过增强现实技术在每一个实体物上叠加一表情元素，即在该实体物上叠加一表情图案，该表情图案随实体物运动而运动。图5为本申请实施例的实体物的效果图，请参见图5，现实场景中的积木作为实体物，并在该实体物贴有包括图纹和色彩的二维图形，通过增强现实技术在该积木上叠加一表情元素，用于与第一人物的互动。
此外，利用三维设计软件设计一虚拟智能体形象，并利用增强现实技术叠加在画面中。可选的，该虚拟智能体形象为人物形象。图6为本申请实施例的实体物的效果图，请参见图6，设计一人物形象的虚拟智能体形象，并将其三维化处理。
在具体实施中，通过游戏引擎Unity来控制智能体形象的动作和语音。
在具体实施中，预设一唤醒口令，第一人物通过说出唤醒口令激活智能体形象。
AR智能互动模块3：所述智能体形象基于叠加有所述表情元素的所述实体物的虚拟成像，并根据所述第一人物的声音数据和所述实时图像数据与所述现实场景中的所述第一人物进行互动；所述互动包括所述智能体形象根据一预设语料库与所述第一人物进行对话。
在具体实施中，使用Vuforia AR引擎接口，来定位目标实体物的位置，实现使第一人物通过操控实体物控制屏幕中的虚拟表情。
在具体实施中，图7为本申请实施例的一互动效果图，请参见图7，在画面中显示现实场景镜像，并通过增强现实技术生成一虚拟智能体，采集现实场景中的积木的实时图像数据，并将其通过增强现实技术叠加表情元素后显示在画面中，如图7所示，本申请实施例提供第一种互动规则：第一人物通过与虚拟智能体对话，完成记忆类游戏，增强现实引擎扫描作为实体物的积木，并生成虚拟表情。在画面中，虚拟表情会自动转换角度和位置，让第一人物猜测并找出指定的虚拟表情。可选的，第一人物可通过语音或动作找出该虚拟表情在现实中所对应的积木。
在具体实施中，图8为本申请实施例的另一互动效果图，请参见图8，在画面中显示现实场景镜像，并通过增强现实技术生成一虚拟智能体，采集现实场景中的积木的实时图像数据，并将其通过增强现实技术叠加表情元素后显示在画面中，此外，在生成的增强现实画面中生成一虚拟白板，虚拟白板呈现二维的卡通片，如图8所示，本申请实施例提供第二种互动规则：在生成的增强现实画面中生成一虚拟白板，虚拟白板呈现二维的卡通片，虚拟智能体对第一人物进行提问，第一人物需要回答卡通中的角色此时应该做什么表情。在具体实施中，可选的，第一人物通过举起积木输入信息，由虚拟智能体判断是否正确并给予提示。在具体实施中，预设一社交场景作为该卡通片的内容。
在具体实施中，本申请实施例提供第三种互动规则：在增强现实画面中直接显示第一人物的图像，即第一人物的样子会出现在屏幕中，第一人物应虚拟智能体的要求做出指定的表情，采集该第一人物的面部表情，输入至表情分类模型中进行分类检测，可选的，并计算表情持续时间，以可视化的方式展示完成效果。
在具体实施中，虚拟智能体与第一人物的对话通过人工智能语料库进行支持，根据第一人物会话的关键字检索对应的回复语句。
操作介入干预模块4:若所述预设语料库无法支持所述智能体形象与所述第一人物进行对话，则通过一第二人物对所述互动进行干预。
在具体实施中，即设计另一操作端，由第一人物以外的第二人物进行操作，若智能体形象根据现有语料库无法完成与第一人物的对话时，由第二人物进行干预介入，操控智能体进行会话；可选的，第二人物还可以控制互动的进度及其他任意预设规则无法应对的突发情况。
在具体实施中，通过UDP网络协议让第二人物可以控制虚拟智能体的对话以及控制互动的进度、触发后续交互事件。
另外，结合图1、图2描述的基于表情的AR交互方法可以由电子设备来实现。图4为本发明的电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意基于表情的AR交互方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图4所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、***组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的基于表情的AR交互方法。
另外，结合上述实施例中的基于表情的AR交互方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意基于表情的AR交互方法。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.基于表情的AR交互方法，其特征在于，包括：
现实数据采集步骤，采集一现实场景中实体物和第一人物的实时图像数据，并同时采集所述第一人物的声音数据和所述现实场景的环境的实时图像数据；其中，所述第一人物的实时图像数据包括第一人物的面部表情数据；
AR画面生成步骤，根据所述实体物、所述第一人物和所述环境的实时图像数据生成通过一屏幕显示的AR画面，所述AR画面包括：所述实体物的虚拟成像、所述环境的实时图像与所述第一人物的实时图像，在所述AR画面中的所述实体物的虚拟成像上根据实体物的识别图像叠加一表情元素，并利用三维设计软件设计一人物形象的智能体形象，同时利用增强现实技术将所述智能体形象叠加在所述AR画面中，其中，所述屏幕包括电脑屏幕；
AR智能互动步骤，所述智能体形象在所述AR画面中对所述第一人物进行提问，所述第一人物通过在现实中找出相应的虚拟表情所对应的实体物进行回答，由所述智能体形象判断是否正确并给予提示；或；所述第一人物应所述智能体形象的要求做出指定的表情，根据采集的所述第一人物的实时图像数据计算表情持续时间，并对所述第一人物的实时图像在AR画面中进行可视化展示。
2.根据权利要求1所述的基于表情的AR交互方法，其特征在于，所述方法进一步包括：
操作介入干预步骤，若所述预设语料库无法支持所述智能体形象与所述第一人物进行对话，则通过一第二人物对所述互动进行干预。
3.根据权利要求1所述的基于表情的AR交互方法，其特征在于，所述现实数据采集步骤进一步包括：
表情训练步骤，通过CNN神经网络，根据一人脸表情数据集训练一表情识别分类模型；
表情分类步骤，通过OpenCV接口对采集到的所述第一人物的实时图像数据进行识别，提取出所述第一人物的面部表情数据，并输入至所述表情识别分类模型中进行分类。
4.根据权利要求1所述的基于表情的AR交互方法，其特征在于，在所述实体物的表面覆盖一识别图像，所述识别图像包括具有图纹和色彩的二维图形，用于对所述实体物进行所述实时图像数据的采集。
5.基于表情的AR交互***，其特征在于，包括：
现实数据采集模块，采集一现实场景中实体物和第一人物的实时图像数据，并同时采集所述第一人物的声音数据和所述现实场景的环境的实时图像数据；其中，所述第一人物的实时图像数据包括第一人物的面部表情数据；
AR画面生成模块，根据所述实体物、所述第一人物和所述环境的实时图像数据生成通过一屏幕显示的AR画面，所述AR画面包括：所述实体物的虚拟成像、所述环境的实时图像与所述第一人物的实时图像，在所述AR画面中的所述实体物的虚拟成像上根据实体物的识别图像叠加一表情元素，并利用三维设计软件设计一人物形象的智能体形象，同时利用增强现实技术将所述智能体形象叠加在所述AR画面中，其中，所述屏幕包括电脑屏幕；
AR智能互动模块，所述智能体形象在所述AR画面中对所述第一人物进行提问，所述第一人物通过在现实中找出相应的虚拟表情所对应的实体物进行回答，由所述智能体形象判断是否正确并给予提示；或；所述第一人物应所述智能体形象的要求做出指定的表情，根据采集的所述第一人物的实时图像数据计算表情持续时间，并对所述第一人物的实时图像在AR画面中进行可视化展示。
6.根据权利要求5所述的基于表情的AR交互***，其特征在于，所述***进一步包括：
操作介入干预模块，若所述预设语料库无法支持所述智能体形象与所述第一人物进行对话，则通过一第二人物对所述互动进行干预。
7.根据权利要求5所述的基于表情的AR交互***，其特征在于，所述现实数据采集模块进一步包括：
表情训练单元，通过CNN神经网络，根据一人脸表情数据集训练一表情识别分类模型；
表情分类单元，通过OpenCV接口对采集到的所述第一人物的实时图像数据进行识别，提取出所述第一人物的面部表情数据，并输入至所述表情识别分类模型中进行分类。
8.根据权利要求5所述的基于表情的AR交互***，其特征在于，在所述实体物的表面覆盖一识别图像，所述识别图像包括具有图纹和色彩的二维图形，用于对所述实体物进行所述实时图像数据的采集。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于表情的AR交互方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的基于表情的AR交互方法。
CN202110571684.0A 2021-05-25 2021-05-25 基于表情的ar交互方法、***、电子设备及存储介质 Active CN113176827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110571684.0A CN113176827B (zh) 2021-05-25 2021-05-25 基于表情的ar交互方法、***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110571684.0A CN113176827B (zh) 2021-05-25 2021-05-25 基于表情的ar交互方法、***、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113176827A CN113176827A (zh) 2021-07-27
CN113176827B true CN113176827B (zh) 2022-10-28

Family

ID=76928211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110571684.0A Active CN113176827B (zh) 2021-05-25 2021-05-25 基于表情的ar交互方法、***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113176827B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116643675B (zh) * 2023-07-27 2023-10-03 苏州创捷传媒展览股份有限公司 基于ai虚拟人物的智能交互***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109841217A (zh) * 2019-01-18 2019-06-04 苏州意能通信息技术有限公司 一种基于语音识别的ar交互***和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN209821887U (zh) * 2019-03-26 2019-12-20 广东虚拟现实科技有限公司 标记物
JP7150894B2 (ja) * 2019-10-15 2022-10-11 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
CN112053449A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109841217A (zh) * 2019-01-18 2019-06-04 苏州意能通信息技术有限公司 一种基于语音识别的ar交互***和方法

Also Published As

Publication number Publication date
CN113176827A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
EP3885965B1 (en) Image recognition method based on micro facial expressions, apparatus and related device
US11736756B2 (en) Producing realistic body movement using body images
US11335069B1 (en) Face animation synthesis
CN106127167B (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
CN110956691B (zh) 一种三维人脸重建方法、装置、设备及存储介质
TW201814572A (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
CN108874114B (zh) 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN111369428B (zh) 虚拟头像生成方法和装置
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN110555507B (zh) 虚拟机器人的交互方法、装置、电子设备及存储介质
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN111667588A (zh) 人物图像处理方法、装置、ar设备以及存储介质
CN113176827B (zh) 基于表情的ar交互方法、***、电子设备及存储介质
KR102345729B1 (ko) 영상 생성 방법 및 장치
CN112637692B (zh) 互动方法、装置、设备
CN110084306B (zh) 用于生成动态图像的方法和装置
US12015652B2 (en) Web calling system
CN114245021B (zh) 互动拍摄方法、电子设备、存储介质及计算机程序产品
CN109800652A (zh) 文字翻译方法及装置
CN117041670B (zh) 图像处理方法及相关设备
CN112235182B (zh) 基于斗图的图像对抗方法、装置及即时通信客户端
CN116612257A (zh) 一种个人档案生成方法、装置、电子设备以及存储介质
CN114445878A (zh) 基于ar眼镜的信息提示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant