CN112785681A - 宠物的3d形象生成方法及装置 - Google Patents
宠物的3d形象生成方法及装置 Download PDFInfo
- Publication number
- CN112785681A CN112785681A CN201911083953.8A CN201911083953A CN112785681A CN 112785681 A CN112785681 A CN 112785681A CN 201911083953 A CN201911083953 A CN 201911083953A CN 112785681 A CN112785681 A CN 112785681A
- Authority
- CN
- China
- Prior art keywords
- pet
- model
- expression
- pictures
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000014509 gene expression Effects 0.000 claims abstract description 250
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 53
- 230000009471 action Effects 0.000 claims description 92
- 230000001815 facial effect Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 105
- 238000012549 training Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 241000894007 species Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000034303 cell budding Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种宠物的3D形象生成方法及装置，方法包括：获取用户拍摄的宠物图片或视频；通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型；从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型；通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象。应用本发明提供的方案可以根据宠物的二维形象生成3D形象，提高宠物的趣味性。
Description
技术领域
本发明涉及人工智能技术领域，特别涉及一种宠物的3D形象生成方法及装置、电子设备、计算机可读存储介质。
背景技术
随着生活水平的提高，人们越来越注重精神追求，如越来越多的人们选择饲养猫、狗等宠物，与宠物建立深厚的友谊，以丰富自己的情感。同时，人们在与宠物进行趣味互动时，也喜欢对宠物拍摄照片或视频，以记录宠物的萌态。
然而，现有的拍照和视频的方式仅能记录宠物的二维形象，趣味性不佳。
发明内容
本发明的目的在于提供一种宠物的3D形象生成方法及装置、电子设备、计算机可读存储介质，以根据宠物的二维形象生成3D形象，提高宠物的趣味性。具体技术方案如下：
第一方面，本发明提供了一种宠物的3D形象生成方法，包括：
步骤S1，获取用户拍摄的宠物图片或视频；
步骤S2，通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型；所述宠物种类识别模型为基于神经网络的模型；
步骤S3，从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型；
步骤S4，通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，所述表情识别模型为基于神经网络的模型。
可选的，步骤S3从所述宠物照片或视频中获取所述宠物的生物特征数据，包括：
从所述宠物图片或视频中获取所述宠物的尺寸数据、面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征。
可选的，步骤S3将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型，包括：
步骤S31，根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3D模型中的宠物上，以生成所述宠物的3D模型。
可选的，所述宠物的尺寸数据包括所述宠物图片或视频中所述宠物的关键部位在二维空间的坐标信息；
步骤S31根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，包括：
将所述宠物图片和/或视频中所述宠物的关键部位在二维空间的坐标信息映射到三维空间的坐标信息；
根据所述宠物的关键部位在三维空间的坐标信息调整所述标准3D模型中宠物的大小。
可选的，步骤S2根据识别出的种类调用相应的标准3D模型，包括：
从预先建立的一标准3D模型数据库中调用识别出的种类对应的标准3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的标准3D模型。
可选的，步骤S4将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，包括：
从获取的图片中提取所述宠物的面部状态特征，并将所述面部状态特征合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象。
可选的，当用户设定生成静态3D形象时，获取一个具有所述表情的图片，将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象；
当用户设定生成动态3D形象时，获取具有所述表情的连续多帧图片，将连续多帧图片合成为动态表情图片，将所述动态表情图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象。
可选的，在所述用户拍摄宠物的连续多张图片或视频的情况下，在步骤S4通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后，还包括：将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合；
步骤S4根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，包括：
步骤S41，获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的多个图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象。
可选的，如果不存在用户设定的表情对应的动作图片集合，所述方法还包括：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型；
步骤S3将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型，包括：
将所述生物特征数据与所述宠物的种类对应的动作3D模型结合，生成所述宠物的动作3D模型；
步骤S4根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，包括：
根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象。
可选的，在获取用户拍摄宠物的视频时，还包括：获取拍摄时采集的声音；
所述方法还包括：将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存，得到各个动作图片集合对应的声音数据；
步骤S41获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象，包括：
获取用户设定的表情对应的动作图片集合以及对应的声音数据，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
可选的，所述从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型，包括：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型以及对应的声音数据，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型以及对应的声音数据；
所述将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象，包括：
将获取的图片合成到所述宠物的动作3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
第二方面，本发明还提供了一种宠物的3D形象生成装置，包括：
获取模块，用于获取用户拍摄的宠物图片或视频；
调用模块，用于通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型；所述宠物种类识别模型为基于神经网络的模型；
合成模块，用于从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型；
生成模块，用于通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，所述表情识别模型为基于神经网络的模型。
可选的，所述合成模块从所述宠物照片或视频中获取所述宠物的生物特征数据的方法，包括：
从所述宠物图片或视频中获取所述宠物的尺寸数据、面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征。
可选的，所述合成模块将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型的方法，包括：
根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3D模型中的宠物上，以生成所述宠物的3D模型。
可选的，所述宠物的尺寸数据包括所述宠物图片或视频中所述宠物的关键部位在二维空间的坐标信息；
所述合成模块根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小的方法，包括：
将所述宠物图片和/或视频中所述宠物的关键部位在二维空间的坐标信息映射到三维空间的坐标信息；
根据所述宠物的关键部位在三维空间的坐标信息调整所述标准3D模型中宠物的大小。
可选的，所述调用模块根据识别出的种类调用相应的标准3D模型的方法，包括：
从预先建立的一标准3D模型数据库中调用识别出的种类对应的标准3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的标准3D模型。
可选的，所述生成模块将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象的方法，包括：
从获取的图片中提取所述宠物的面部状态特征，并将所述面部状态特征合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象。
可选的，当用户设定生成静态3D形象时，所述生成模块获取一个具有所述表情的图片，将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象；
当用户设定生成动态3D形象时，所述生成模块获取具有所述表情的连续多帧图片，将连续多帧图片合成为动态表情图片，将所述动态表情图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象。
可选的，在所述用户拍摄宠物的连续多张图片或视频的情况下，所述生成模块在通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后，还用于：将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合；
所述生成模块根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象的方法，包括：
获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的多个图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象。
可选的，如果不存在用户设定的表情对应的动作图片集合，所述调用模块，用于：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型；
所述合成模块将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型的方法，包括：
将所述生物特征数据与所述宠物的种类对应的动作3D模型结合，生成所述宠物的动作3D模型；
所述生成模块根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象的方法，包括：
根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象。
可选的，所述获取模块在获取用户拍摄宠物的视频时，还用于：获取拍摄时采集的声音；
所述装置还包括：保存模块，用于将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存，得到各个动作图片集合对应的声音数据；
所述生成模块获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象的方法，包括：
获取用户设定的表情对应的动作图片集合以及对应的声音数据，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
可选的，所述调用模块从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型的方法，包括：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型以及对应的声音数据，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型以及对应的声音数据；
所述生成模块将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象的方法，包括：
将获取的图片合成到所述宠物的动作3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
第三方面，本发明还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面所述的宠物的3D形象生成方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的宠物的3D形象生成方法的步骤。
与现有技术相比，本发明的技术方案具有以下有益效果：
首先获取用户拍摄的宠物图片或视频，通过宠物种类识别模型识别宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型，然后从宠物图片或视频中获取宠物的生物特征数据，并将生物特征数据与标准3D模型结合生成宠物的3D模型，最后通过表情识别模型对宠物图片或视频进行表情识别，根据用户设定的表情，获取宠物的一个或多个具有所述表情的图片，并将获取的图片合成到宠物的3D模型中，生成宠物具有所述表情的3D形象。本发明可以根据用户拍摄的宠物图片或视频生成宠物的3D形象，增加了宠物的趣味性，提高了用户体验，同时将宠物的生物特征数据与宠物的标准3D模型结合，使得宠物的3D模型更加逼真，另外根据用户设定的表情生成宠物具有所述表情的3D形象，使得宠物的3D形象更加丰富多样，进一步提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的宠物的3D形象生成方法的流程示意图；
图2是本发明一实施例提供的宠物的3D形象生成装置的结构示意图；
图3是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种宠物的3D形象生成方法及装置、电子设备及计算机可读存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
为解决现有技术的问题，本发明实施例提供了一种宠物的3D形象生成方法及装置、电子设备及计算机可读存储介质。
需要说明的是，本发明实施例的宠物的3D形象生成方法可应用于本发明实施例的宠物的3D形象生成装置，该宠物的3D形象生成装置可被配置于电子设备上。其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作***的硬件设备。
图1是本发明一实施例提供的一种宠物的3D形象生成方法的流程示意图。请参考图1，一种宠物的3D形象生成方法可以包括如下步骤：
步骤S1，获取用户拍摄的宠物图片或视频。
本实施例中，用户对宠物可以拍摄图片也可以拍摄视频。用户拍摄的宠物图片可以是单张图片，也可以是多张连续图片，即用户通过连拍的方式拍摄宠物图片。如果用户拍摄的是视频，则从视频中提取各个视频帧，并在后续步骤中将视频帧输入相应的识别模型进行识别。
步骤S2，通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型。
所述宠物种类识别模型为基于神经网络的模型，宠物种类识别模型可以通过如下过程训练得到：针对每种宠物均获取多个宠物图片样本，组成训练样本集；对训练样本集中每个宠物图片样本进行标注处理，以标注出每个宠物图片样本中宠物的种类；通过经过所述标注处理的训练样本集，对神经网络进行训练，得到宠物种类识别模型。将用户拍摄的宠物图片或者视频中的视频帧输入上述的宠物种类识别模型，则宠物种类识别模型经过识别处理后可输出宠物种类。
本步骤中根据识别出的种类调用相应的标准3D模型，具体为：从预先建立的一标准3D模型数据库中调用识别出的种类对应的标准3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的标准3D模型。所述标准3D模型数据库中存储的标准3D模型可以是根据每种宠物的大量样本图片或者视频训练建立的，也可以是人工设定的各种宠物的3D模型。
步骤S3，从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型。
其中，宠物的生物特征可以包括宠物的尺寸、面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征等。在实际应用中，可通过特征提取技术从宠物图片或视频中获取所述宠物的上述生物特征数据。
本步骤中，将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型，具体为：根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3D模型中的宠物上，以生成所述宠物的3D模型。
具体而言，所述宠物的尺寸数据包括所述宠物图片或视频中所述宠物的关键部位在二维空间的坐标信息，上述根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，具体为：将所述宠物图片和/或视频中所述宠物的关键部位在二维空间的坐标信息映射到三维空间的坐标信息；根据所述宠物的关键部位在三维空间的坐标信息调整所述标准3D模型中宠物的大小，这样对标准3D模型中宠物的尺寸进行调整以便符合用户宠物的实际尺寸。例如，可以通过3D-GAN模型，来根据用户宠物图片上的二维关键点坐标映射到三维空间的坐标来调整标准3D模型中宠物的尺寸。3D生成对抗网络(3D-GAN)是利用体积卷积网络和生成对抗网络的技术，可以从概率空间生成3D对象，3D-GAN是使用生成对抗网络学习2D图像到3D模型的映射，生成网络负责生成3D模型，对抗网络判断这些模型是真是假。神经网络学习从检测到的图片2D关键点分布到3D关键点分布的映射，其映射的3D结果送入鉴别器网络进行判断，从生成对抗网络的角度来看，可以将其看做生成器网络。
上述将所述宠物的面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征合成到所述标准3D模型中的宠物上，具体可以通过Deepfake等图像合成软件或模型来实现。Deepfake是一种人工智能基础的人物图像合成技术，它用于使用称为“生成对抗性网络”(GAN)的机器学习技术将现有图像和视频组合并叠加到源图像或视频上。通过Deepfake等图像合成软件或模型将用户宠物的面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征合成到所述标准3D模型中的宠物上的具体过程可参见现有技术，在此不做赘述。
步骤S4，通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象。
表情(expression)用来显示情感(emotion)、情绪(mood)的面部状态，有时也可配合肢体动作或者声调。宠物表情的识别是根据预先训练建立的表情识别模型来进行识别处理的，所述表情识别模型为基于神经网络的模型。表情识别模型可以通过如下过程训练得到：针对每个宠物种类均获取多个表情图片，组成训练样本集；对训练样本集中每个表情图片样本进行标注处理，以标注出每个表情图片样本中的宠物的表情；通过经过所述标注处理的训练样本集，对神经网络进行训练，得到表情识别模型。
对用户拍摄的宠物图片或视频进行表情识别后，可以对相应表情的图片或视频帧标注上表情名称，例如高兴、害怕、伤心、愤怒等。用户拍摄的宠物图片或视频帧标注表情名称后可以存储在数据库中，以便后续使用。
当用户设定宠物表情后，可以从数据库中获取一个或多个具有相应表情的图片，例如用户设定的表情为高兴，则从数据库中调用一个或多个宠物表情为高兴的图片，用于生成宠物的表情为高兴的3D形象。
其中，将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，具体为：从获取的图片中提取所述宠物的面部状态特征，并将所述面部状态特征合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象。
在用户设定宠物表情时，用户还可以选择生成静态的3D形象，或者生成动态的3D形象。若用户设定生成静态3D形象，则获取一个具有所述表情的图片，将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象。若用户设定生成动态3D形象，则获取具有所述表情的连续多帧图片，将连续多帧图片合成为动态表情图片，将所述动态表情图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象。
进一步的，若所述用户拍摄了宠物的连续多张图片或视频，则在生成宠物具有所述表情的3D形象时还可配合相应的动作，以生成宠物具有所述表情的3D动作形象。
具体的，在步骤S4通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后，还可以将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合。例如，若用户连拍了10张宠物图片，第1-5张图片被识别为表情A，第6-10张被识别为表情B，则将第1-5张图片组合为表情A对应的动作图片集合1，将第6-10张图片组合为表情B对应的动作图片集合2。
进而，当用户设定宠物表情后，就可以获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的多个图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象。例如，用户设定宠物的表情为表情A，则获取表情A对应的动作图片集合1，将动作图片集合1中的5张图片合成到所述宠物的3D模型中，生成所述宠物具有表情A的3D动作形象。
此外，当用户设定宠物表情后，如果不存在用户设定的表情对应的动作图片集合，或者用户拍摄的是单张的宠物图片，则可以从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型；然后，将宠物的生物特征数据与该动作3D模型结合，生成所述宠物的动作3D模型；接着，再根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象。
进一步的，若所述用户拍摄了宠物的视频，则在生成宠物具有所述表情的3D动作形象时还可配合相应的声音，例如叫声，以生成宠物具有所述表情的有声3D形象。
具体的，在获取用户拍摄宠物的视频时，还可以获取拍摄时采集的声音，并且将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存，得到各个动作图片集合对应的声音数据。举例而言，用户拍摄了10秒的视频，其中第1-5秒的视频帧被识别为表情A，第6-10秒的视频帧被识别为表情B，则将第1-5秒的视频帧组合为表情A对应的动作图片集合1，同时将采集的第1-5秒的声音保存为动作集合1对应的声音数据，将第6-10秒的视频帧组合为表情B对应的动作图片集合2，同时，将采集的第6-10秒的声音保存为动作集合2对应的声音数据。
进而，当用户设定宠物表情后，就可以获取用户设定的表情对应的动作图片集合以及对应的声音数据，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
此外，若用户没有拍摄宠物视频而无法获取声音数据时，还可以从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型以及对应的声音数据，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型以及对应的声音数据；从而，再将根据用户设定的表情获取的宠物图片合成到所述宠物的动作3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
相应于上述方法实施例，本发明一实施例还提供了一种宠物的3D形象生成装置。请参考图2，图2是本发明一实施例提供的一种宠物的3D形象生成装置的结构示意图，一种宠物的3D形象生成装置可以包括：
获取模块201，用于获取用户拍摄的宠物图片或视频；
调用模块202，用于通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型；所述宠物种类识别模型为基于神经网络的模型；
合成模块203，用于从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型；
生成模块204，用于通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，所述表情识别模型为基于神经网络的模型。
可选的，所述合成模块203从所述宠物照片或视频中获取所述宠物的生物特征数据的方法，包括：
从所述宠物图片或视频中获取所述宠物的尺寸数据、面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征。
可选的，所述合成模块203将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型的方法，包括：
根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3D模型中的宠物上，以生成所述宠物的3D模型。
可选的，所述宠物的尺寸数据包括所述宠物图片或视频中所述宠物的关键部位在二维空间的坐标信息；
所述合成模块203根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小的方法，包括：
将所述宠物图片和/或视频中所述宠物的关键部位在二维空间的坐标信息映射到三维空间的坐标信息；
根据所述宠物的关键部位在三维空间的坐标信息调整所述标准3D模型中宠物的大小。
可选的，所述调用模块202根据识别出的种类调用相应的标准3D模型的方法，包括：
从预先建立的一标准3D模型数据库中调用识别出的种类对应的标准3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的标准3D模型。
可选的，所述生成模块204将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象的方法，包括：
从获取的图片中提取所述宠物的面部状态特征，并将所述面部状态特征合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象。
可选的，当用户设定生成静态3D形象时，所述生成模块204获取一个具有所述表情的图片，将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象；
当用户设定生成动态3D形象时，所述生成模块204获取具有所述表情的连续多帧图片，将连续多帧图片合成为动态表情图片，将所述动态表情图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象。
可选的，在所述用户拍摄宠物的连续多张图片或视频的情况下，所述生成模块204在通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后，还用于：将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合；
所述生成模块204根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象的方法，包括：
获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的多个图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象。
可选的，如果不存在用户设定的表情对应的动作图片集合，所述调用模块202，用于：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型；
所述合成模块203将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型的方法，包括：
将所述生物特征数据与所述宠物的种类对应的动作3D模型结合，生成所述宠物的动作3D模型；
所述生成模块204根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象的方法，包括：
根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象。
可选的，所述获取模块201在获取用户拍摄宠物的视频时，还用于：获取拍摄时采集的声音；
所述装置还包括：保存模块，用于将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存，得到各个动作图片集合对应的声音数据；
所述生成模块204获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象的方法，包括：
获取用户设定的表情对应的动作图片集合以及对应的声音数据，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
可选的，所述调用模块202从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型的方法，包括：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型以及对应的声音数据，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型以及对应的声音数据；
所述生成模块204将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象的方法，包括：
将获取的图片合成到所述宠物的动作3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
本发明一实施例还提供了一种电子设备，图3是本发明一实施例提供的一种电子设备的结构示意图。请参考图3，一种电子设备包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
步骤S1，获取用户拍摄的宠物图片或视频；
步骤S2，通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型；所述宠物种类识别模型为基于神经网络的模型；
步骤S3，从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型；
步骤S4，通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，所述表情识别模型为基于神经网络的模型。
关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1所示的方法实施例，在此不做赘述。
另外，处理器301执行存储器303上所存放的程序而实现的宠物的3D形象生成方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述的宠物的3D形象生成方法的步骤。
综上所述，本发明首先获取用户拍摄的宠物图片或视频，通过宠物种类识别模型识别宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型，然后从宠物图片或视频中获取宠物的生物特征数据，并将生物特征数据与标准3D模型结合生成宠物的3D模型，最后通过表情识别模型对宠物图片或视频进行表情识别，根据用户设定的表情，获取宠物的一个或多个具有所述表情的图片，并将获取的图片合成到宠物的3D模型中，生成宠物具有所述表情的3D形象。本发明可以根据用户拍摄的宠物图片或视频生成宠物的3D形象，增加了宠物的趣味性，提高了用户体验，同时将宠物的生物特征数据与宠物的标准3D模型结合，使得宠物的3D模型更加逼真，另外根据用户设定的表情生成宠物具有所述表情的3D形象，使得宠物的3D形象更加丰富多样，进一步提高了用户体验。
需要说明的是，本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (14)
1.一种宠物的3D形象生成方法，其特征在于，包括：
步骤S1，获取用户拍摄的宠物图片或视频；
步骤S2，通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型；所述宠物种类识别模型为基于神经网络的模型；
步骤S3，从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型；
步骤S4，通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，所述表情识别模型为基于神经网络的模型。
2.如权利要求1所述的宠物的3D形象生成方法，其特征在于，步骤S3从所述宠物照片或视频中获取所述宠物的生物特征数据，包括：
从所述宠物图片或视频中获取所述宠物的尺寸数据、面部特征、皮肤及毛发特征、肢体特征和/或尾巴特征。
3.如权利要求2所述的宠物的3D形象生成方法，其特征在于，步骤S3将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型，包括：
步骤S31，根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，以及将所述宠物的面部特征、皮肤特征、肢体特征和/或尾巴特征合成到所述标准3D模型中的宠物上，以生成所述宠物的3D模型。
4.如权利要求3所述的宠物的3D形象生成方法，其特征在于，所述宠物的尺寸数据包括所述宠物图片或视频中所述宠物的关键部位在二维空间的坐标信息；
步骤S31根据所述宠物的尺寸数据调整所述标准3D模型中宠物的大小，包括：
将所述宠物图片和/或视频中所述宠物的关键部位在二维空间的坐标信息映射到三维空间的坐标信息；
根据所述宠物的关键部位在三维空间的坐标信息调整所述标准3D模型中宠物的大小。
5.如权利要求1所述的宠物的3D形象生成方法，其特征在于，步骤S2根据识别出的种类调用相应的标准3D模型，包括：
从预先建立的一标准3D模型数据库中调用识别出的种类对应的标准3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的标准3D模型。
6.如权利要求1所述的宠物的3D形象生成方法，其特征在于，步骤S4将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，包括：
从获取的图片中提取所述宠物的面部状态特征，并将所述面部状态特征合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象。
7.如权利要求1所述的宠物的3D形象生成方法，其特征在于，当用户设定生成静态3D形象时，获取一个具有所述表情的图片，将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象；
当用户设定生成动态3D形象时，获取具有所述表情的连续多帧图片，将连续多帧图片合成为动态表情图片，将所述动态表情图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的静态3D形象。
8.如权利要求1所述的宠物的3D形象生成方法，其特征在于，在所述用户拍摄宠物的连续多张图片或视频的情况下，在步骤S4通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别之后，还包括：将识别为同一种表情的连续拍摄的多张图片或视频帧组合为该表情对应的动作图片集合；
步骤S4根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，包括：
步骤S41，获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的多个图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象。
9.如权利要求8所述的宠物的3D形象生成方法，其特征在于，如果不存在用户设定的表情对应的动作图片集合，所述方法还包括：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型；
步骤S3将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型，包括：
将所述生物特征数据与所述宠物的种类对应的动作3D模型结合，生成所述宠物的动作3D模型；
步骤S4根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，包括：
根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象。
10.如权利要求8所述的宠物的3D形象生成方法，其特征在于，在获取用户拍摄宠物的视频时，还包括：获取拍摄时采集的声音；
所述方法还包括：将各个表情对应的动作图片集合中的各个视频帧对应的声音按照视频帧的顺序合并保存，得到各个动作图片集合对应的声音数据；
步骤S41获取用户设定的表情对应的动作图片集合，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D动作形象，包括：
获取用户设定的表情对应的动作图片集合以及对应的声音数据，并将获取的动作图片集合中的视频帧合成到所述宠物的3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
11.如权利要求9所述的宠物的3D形象生成方法，其特征在于，从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型，包括：
从预先建立的标准3D模型数据库中调用所述宠物的种类对应的动作3D模型以及对应的声音数据，其中所述标准3D模型数据库中存储有多个宠物种类对应的动作3D模型以及对应的声音数据；
所述将获取的图片合成到所述宠物的动作3D模型中，生成所述宠物具有所述表情的3D动作形象，包括：
将获取的图片合成到所述宠物的动作3D模型中，同时添加对应的声音数据，生成所述宠物具有所述表情的有声3D动作形象。
12.一种宠物的3D形象生成装置，其特征在于，包括：
获取模块，用于获取用户拍摄的宠物图片或视频；
调用模块，用于通过预先训练的宠物种类识别模型识别所述宠物图片或视频中宠物的种类，并根据识别出的种类调用相应的标准3D模型；所述宠物种类识别模型为基于神经网络的模型；
合成模块，用于从所述宠物图片或视频中获取所述宠物的生物特征数据，并将所述生物特征数据与所述标准3D模型结合，生成所述宠物的3D模型；
生成模块，用于通过预先建立的表情识别模型对所述宠物图片或视频进行表情识别，根据用户设定的表情，获取所述宠物的一个或多个具有所述表情的图片，并将获取的图片合成到所述宠物的3D模型中，生成所述宠物具有所述表情的3D形象，所述表情识别模型为基于神经网络的模型。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上存储的程序时，实现权利要求1-11任一项所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911083953.8A CN112785681B (zh) | 2019-11-07 | 2019-11-07 | 宠物的3d形象生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911083953.8A CN112785681B (zh) | 2019-11-07 | 2019-11-07 | 宠物的3d形象生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785681A true CN112785681A (zh) | 2021-05-11 |
| CN112785681B CN112785681B (zh) | 2024-03-08 |
Family
ID=75748140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911083953.8A Active CN112785681B (zh) | 2019-11-07 | 2019-11-07 | 宠物的3d形象生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785681B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531553A (zh) * | 2022-02-11 | 2022-05-24 | 北京字跳网络技术有限公司 | 生成特效视频的方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1438588A (zh) * | 2003-01-21 | 2003-08-27 | 无敌科技(西安)有限公司 | 具备学习功能的虚拟电子宠物***及其记录模块 |
| CN105957140A (zh) * | 2016-05-31 | 2016-09-21 | 成都九十度工业产品设计有限公司 | 一种基于增强现实技术的宠物***互***及分析方法 |
| CN106028164A (zh) * | 2016-05-20 | 2016-10-12 | 安徽省谷威天地传媒科技有限公司 | 一种视频app的互动娱乐服务器及*** |
| US20160307028A1 (en) * | 2015-04-16 | 2016-10-20 | Mikhail Fedorov | Storing, Capturing, Updating and Displaying Life-Like Models of People, Places And Objects |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和*** |
| CN107248195A (zh) * | 2017-05-31 | 2017-10-13 | 珠海金山网络游戏科技有限公司 | 一种增强现实的主播方法、装置和*** |
| CN108744506A (zh) * | 2018-05-17 | 2018-11-06 | 上海爱优威软件开发有限公司 | 基于终端的虚拟实体交互方法及*** |
| WO2018207692A1 (en) * | 2017-05-11 | 2018-11-15 | Canon Kabushiki Kaisha | Display control apparatus, image display method, and program |
| CN109255310A (zh) * | 2018-08-28 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 动物情绪识别方法、装置、终端及可读存储介质 |
| CN109345616A (zh) * | 2018-08-30 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 三维虚拟宠物的二维渲染图的生成方法、设备及存储介质 |
| CN109784208A (zh) * | 2018-12-26 | 2019-05-21 | 武汉工程大学 | 一种基于图像的宠物行为检测方法 |
| CN109829969A (zh) * | 2018-12-27 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种数据获取方法、装置及存储介质 |
| CN110163814A (zh) * | 2019-04-16 | 2019-08-23 | 平安科技（深圳）有限公司 | 基于人脸识别的修改图片的方法、装置和计算机设备 |
-
2019
- 2019-11-07 CN CN201911083953.8A patent/CN112785681B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1438588A (zh) * | 2003-01-21 | 2003-08-27 | 无敌科技(西安)有限公司 | 具备学习功能的虚拟电子宠物***及其记录模块 |
| US20160307028A1 (en) * | 2015-04-16 | 2016-10-20 | Mikhail Fedorov | Storing, Capturing, Updating and Displaying Life-Like Models of People, Places And Objects |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和*** |
| CN106028164A (zh) * | 2016-05-20 | 2016-10-12 | 安徽省谷威天地传媒科技有限公司 | 一种视频app的互动娱乐服务器及*** |
| CN105957140A (zh) * | 2016-05-31 | 2016-09-21 | 成都九十度工业产品设计有限公司 | 一种基于增强现实技术的宠物***互***及分析方法 |
| WO2018207692A1 (en) * | 2017-05-11 | 2018-11-15 | Canon Kabushiki Kaisha | Display control apparatus, image display method, and program |
| CN107248195A (zh) * | 2017-05-31 | 2017-10-13 | 珠海金山网络游戏科技有限公司 | 一种增强现实的主播方法、装置和*** |
| CN108744506A (zh) * | 2018-05-17 | 2018-11-06 | 上海爱优威软件开发有限公司 | 基于终端的虚拟实体交互方法及*** |
| CN109255310A (zh) * | 2018-08-28 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 动物情绪识别方法、装置、终端及可读存储介质 |
| CN109345616A (zh) * | 2018-08-30 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 三维虚拟宠物的二维渲染图的生成方法、设备及存储介质 |
| CN109784208A (zh) * | 2018-12-26 | 2019-05-21 | 武汉工程大学 | 一种基于图像的宠物行为检测方法 |
| CN109829969A (zh) * | 2018-12-27 | 2019-05-31 | 北京奇艺世纪科技有限公司 | 一种数据获取方法、装置及存储介质 |
| CN110163814A (zh) * | 2019-04-16 | 2019-08-23 | 平安科技（深圳）有限公司 | 基于人脸识别的修改图片的方法、装置和计算机设备 |
Non-Patent Citations (3)
| Title |
|---|
| 夏进军;赵佳妮;: "基于情感化设计层次理论的智能宠物创新设计", 包装工程, no. 06, 20 March 2017 (2017-03-20) * |
| 无: "modeling - Character facial expressions", Retrieved from the Internet <URL:https://blender.stackexchange.com/question> * |
| 无: "把一个电子宠物带回家――电子宠物综述", 大众数码, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114531553A (zh) * | 2022-02-11 | 2022-05-24 | 北京字跳网络技术有限公司 | 生成特效视频的方法、装置、电子设备及存储介质 |
| CN114531553B (zh) * | 2022-02-11 | 2024-02-09 | 北京字跳网络技术有限公司 | 生成特效视频的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785681B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hossain et al. | An emotion recognition system for mobile applications | |
| CN110688911B (zh) | 视频处理方法、装置、***、终端设备及存储介质 | |
| CN107369196B (zh) | 表情包制作方法、装置、存储介质及电子设备 | |
| CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
| KR20180054407A (ko) | 로봇 시스템 | |
| CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN110794964A (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
| WO2024131569A1 (zh) | 图像生成方法、装置及电子设备 | |
| US20240005466A1 (en) | Animal face style image generation method and apparatus, model training method and apparatus, and device | |
| CN114419204A (zh) | 一种视频生成方法、装置、设备和存储介质 | |
| CN117351115A (zh) | 图像生成模型的训练方法、图像生成方法、装置及设备 | |
| CN113886644A (zh) | 数字人视频生成方法、装置、电子设备和存储介质 | |
| JP2023021937A (ja) | パーソナライズされた表情分類のための画像合成 | |
| CN112785681B (zh) | 宠物的3d形象生成方法及装置 | |
| CN114567693A (zh) | 视频生成方法、装置和电子设备 | |
| CN113656557A (zh) | 消息回复方法、装置、存储介质及电子设备 | |
| CN110084306B (zh) | 用于生成动态图像的方法和装置 | |
| CN114821811B (zh) | 人物合成图像生成方法、装置、计算机设备及存储介质 | |
| CN113900751A (zh) | 一种合成虚拟形象的方法、装置、服务器和存储介质 | |
| CN112100224A (zh) | 一种生物行为转化成人类语言的方法及*** | |
| Billones et al. | Intelligent operating architecture for audio-visual breast self-examination multimedia training system | |
| CN113176827A (zh) | 基于表情的ar交互方法、***、电子设备及存储介质 | |
| KR102063728B1 (ko) | 채팅 중 이모티콘 제작 방법 | |
| Stylianou-Nikolaidou et al. | A deep hybrid architecture for human activity recognition | |
| Gunes et al. | 16 automatic analysis of social emotions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |