CN110428390B - 一种素材展示方法、装置、电子设备和存储介质 - Google Patents
一种素材展示方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110428390B CN110428390B CN201910649754.2A CN201910649754A CN110428390B CN 110428390 B CN110428390 B CN 110428390B CN 201910649754 A CN201910649754 A CN 201910649754A CN 110428390 B CN110428390 B CN 110428390B
- Authority
- CN
- China
- Prior art keywords
- frame image
- point
- key points
- current frame
- target display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000012769 display material Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 240000007711 Peperomia pellucida Species 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000109 continuous material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于一种素材展示方法、装置、电子设备和存储介质，涉及计算机技术领域，用以解决相关技术中关键点抖动使得素材晃动幅度较大的问题，本公开方法包括；从对象的展示部位在当前帧图像中的位置上获取至少两个关键点；根据至少两个关键点在当前帧图像中的位置确定预选目标展示点；根据当前帧图像的预选目标展示点以及当前帧图像之前的连续N帧图像的实际目标展示点，确定当前帧图像的实际目标展示点，其中连续N帧图像中的最后一帧图像与当前帧图像相邻；根据当前帧图像中的实际目标展示点进行素材展示。由于本公开实施例中选取多个关键点，根据多帧图像确定目标展示点，并非直接在关键点上展示，因而可以减小关键点抖动对素材展示的影响。
Description
技术领域
本公开涉及计算机技术，特别涉及一种素材展示方法、装置、电子设备和存储介质。
背景技术
随着移动终端的不断普及，录像与摄影类应用、短视频应用或小程序等迅速发展起来，在拍照、摄影或是录制短视频时，可以通过应用中提供的素材进行各种风格的贴图拍照、录像、涂鸦等，还可以与好友分享，与好友用视频的方式沟通。
这类应用具有面部识别功能，可轻松拍摄激萌或搞怪的视频或图片等，能够实现头像更换、五官变形、场景替换、涂鸦等多种功能，让录像、摄影更加丰富多彩。
在相关技术中，通过视频的方式进行素材展示时需要获取素材展示相关的关键点，在获取的关键点上进行展示，然而相关技术中在获取关键点时，一次性只获取一个关键点，在获取的关键点上进行素材的展示，由于在视频录制过程中通过会出现相机的抖动或者是拍摄对象的抖动，此时则造成选取的关键点的抖动，因而使得素材晃动。
综上，相关技术中进行素材展示时由于关键点的抖动使得素材晃动幅度较大，不能够很好的贴合对象。
发明内容
本公开提供一种素材展示方法、装置、电子设备及存储介质，以至少解决相关技术中进行素材展示时由于关键点的抖动使得素材晃动幅度较大，不能够很好的贴合对象的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种素材展示方法，包括：
从对象的展示部位在当前帧图像中的位置上获取至少两个关键点；
根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点；
根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的实际目标展示点，确定所述当前帧图像的实际目标展示点，其中所述连续N帧图像中的最后一帧图像与所述当前帧图像相邻，N为正整数；
根据当前帧图像中的所述实际目标展示点进行素材展示。
在一种可能的实现方式中，所述根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点步骤包括：
若获取至少两个关键点且获取的所有关键点都在同一直线上，将所述至少两个关键点的中心作为所述预选目标展示点。
在一种可能的实现方式中，所述根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点步骤包括：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，根据所述至少三个关键点确定至少一个三角形，其中所述三角形的顶点为关键点，未作为顶点的关键点在至少一个三角形的边上；
根据确定的所述三角形的中心点确定所述预选目标展示点。
在一种可能的实现方式中，所述根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点步骤包括：
若所述三角形数量是1个，则将所述三角形的中心点作为所述预选目标展示点；
若所述三角形数量是多个，则将多个所述三角形的中心点的坐标平均值对应的点作为所述预选目标展示点。
在一种可能的实现方式中，通过下列方式确定所述至少一个三角形：
从所述至少三个关键点中任意选取三个关键点组成一个三角形；
判断所述至少三个关键点中除已选取的关键点外是否还有不在已组成的三角形的边上的关键点；
如果是，则从剩余的不在已组成的三角形的边上的关键点中选取一个关键点；
确定由选取的关键点以及位于目标边上的两个关键点组成的三角形，并返回判断所述至少三个关键点中除已选取的关键点外是否还有不在已组成的三角形边上的关键点的步骤。
在一种可能的实现方式中，所述目标边为已组成的三角形的边中与所述选取的关键点距离最近的一条边。
在一种可能的实现方式中，所述根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点步骤包括：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，确定所述至少三个关键点所组成的设定形状图形中面积最大的设定形状图形；
将所述面积最大的设定形状图形的中心点作为所述预选目标展示点。
在一种可能的实现方式中，所述根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的目标展示点确定所述当前帧图像的目标展示点步骤包括：
确定所述当前帧图像的预选目标展示点的坐标与所述当前帧图像之前的连续N帧图像的目标展示点的坐标的加权平均值；
将所述加权平均值对应的点作为所述当前帧图像的目标展示点。
在一种可能的实现方式中，所述根据当前帧图像中的所述实际目标展示点进行素材展示步骤包括：
在当前帧图像中的所述实际目标展示点上进行素材展示；或
在当前帧图像中根据所述实际目标展示点确定的展示区域上进行素材展示。
根据本公开实施例的第二方面，提供一种素材展示装置，包括：
关键点获取单元，被配置为执行从对象的展示部位在当前帧图像中的位置上获取至少两个关键点；
第一确定单元，被配置为执行根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点；
第二确定单元，被配置为执行根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的实际目标展示点，确定所述当前帧图像的实际目标展示点，其中所述连续N帧图像中的最后一帧图像与所述当前帧图像相邻，N为正整数；
素材展示单元，被配置为执行根据当前帧图像中的所述实际目标展示点进行素材展示。
在一种可能的实现方式中，所述第一确定单元具体用于：
在获取至少两个关键点且获取的所有关键点都在同一直线上时，将所述至少两个关键点的中心作为所述预选目标展示点。
在一种可能的实现方式中，所述第一确定单元具体用于：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，根据所述至少三个关键点确定至少一个三角形，其中所述三角形的顶点为关键点，未作为顶点的关键点在至少一个三角形的边上；
根据确定的所述三角形的中心点确定所述预选目标展示点。
在一种可能的实现方式中，所述第一确定单元具体用于：
在所述三角形数量是1个时，将所述三角形的中心点作为所述预选目标展示点；
在所述三角形数量是多个时，将多个所述三角形的中心点的坐标平均值对应的点作为所述预选目标展示点。
在一种可能的实现方式中，所述第一确定单元具体用于通过下列方式确定所述至少一个三角形：
从所述至少三个关键点中任意选取三个关键点组成一个三角形；
判断所述至少三个关键点中除已选取的关键点外是否还有不在已组成的三角形的边上的关键点；
如果是，则从剩余的不在已组成的三角形的边上的关键点中选取一个关键点；
确定由选取的关键点以及位于目标边上的两个关键点组成的三角形，并返回判断所述至少三个关键点中除已选取的关键点外是否还有不在已组成的三角形边上的关键点的步骤。
在一种可能的实现方式中，所述目标边为已组成的三角形的边中与所述选取的关键点距离最近的一条边。
在一种可能的实现方式中，所述第一确定单元具体用于：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，确定所述至少三个关键点所组成的设定形状图形中面积最大的设定形状图形；
将所述面积最大的设定形状图形的中心点作为所述预选目标展示点。
在一种可能的实现方式中，所述第二确定单元具体用于：
确定所述当前帧图像的预选目标展示点的坐标与所述当前帧图像之前的连续N帧图像的目标展示点的坐标的加权平均值；
将所述加权平均值对应的点作为所述当前帧图像的目标展示点。
在一种可能的实现方式中，所述素材展示单元具体用于：
在当前帧图像中的所述实际目标展示点上进行素材展示；或
在当前帧图像中根据所述实际目标展示点确定的展示区域上进行素材展示。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现本公开实施例第一方面中任一项所述的素材展示方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由素材展示装置的处理器执行时，使得素材展示装置能够执行本公开实施例第一方面中任一项所述的素材展示方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
由于本公开实施例在对象的展示部位上进行素材展示时，不再是在获取的唯一一个关键点上展示，而是获取至少两个关键点，并根据这至少两个关键点确定当前帧图像中的预选目标展示点，获取多个关键点时相比获取唯一一个关键点使得关键点在位置上较分散一些，可以减小关键点抖动的影响，在确定实际目标展示点时，根据当前帧图像以及当前帧图像之前的连续N帧图像，相比直接根据当前帧图像中获取的唯一一个关键点进行素材展示，确定的实际目标展示点考虑到了前几帧图像的影响，可以有效减少关键点抖动造成的素材晃动。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种素材展示方法的流程图。
图2是根据一示例性实施例示出的一种手势关键点的示意图。
图3A是根据一示例性实施例示出的第一种素材展示的示意图。
图3B是根据一示例性实施例示出的第二种素材展示的示意图。
图3C是根据一示例性实施例示出的第三种素材展示的示意图。
图4是根据一示例性实施例示出的第一种获取三个关键点的示意图。
图5是根据一示例性实施例示出的一种确定三角形的流程图。
图6A是根据一示例性实施例示出的第二种获取三个关键点的示意图。
图6B是根据一示例性实施例示出的一种获取四个关键点的示意图。
图7A是根据一示例性实施例示出的第一种获取五个关键点构建多边形的示意图。
图7B是根据一示例性实施例示出的第二种获取五个关键点构建多边形的示意图。
图8是根据一示例性实施例示出的一种根据五个关键点确定的预选目标展示点的示意图。
图9A是根据一示例性实施例示出的第一种三角形中心的示意图。
图9B是根据一示例性实施例示出的第二种三角形中心的示意图。
图9C是根据一示例性实施例示出的两个三角形确定预选目标展示点的示意图。
图10是根据一示例性实施例示出的一种素材展示的完整方法的流程图。
图11是根据一示例性实施例示出的一种素材展示装置的框图。
图12是根据一示例性实施例示出的一种电子设备的示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对文中出现的一些词语进行解释：
1、本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本公开实施例中术语“终端”指移动设备，包含手机、计算机、平板、智能终端、多媒体设备、流媒体设备等。
3、本公开实施例中术语“短视频”是指在各种新媒体平台上播放的、适合在移动状态和短时休闲状态下观看的、高频推送的视频内容，其长度从几秒到几分钟不等。
4、本公开实施例中术语“素材”指在短视频或拍照等应用程序中使用的魔法表情、文字、贴纸等。
5、本公开实施例中术语“对象”指人、动物等，当对象为人时，对象的展示部位即人体部位、动物的身体部位等，例如手、脸、头、嘴等。
本公开实施例可适用于使用魔法表情的短视频拍摄过程中，例如使用快手录制手势相关魔法表情的短视频，此外本公开实施例同样适用于魔法表情的开发，实际过程中，魔法表情的开发过程就是模拟使用的过程。
在魔法表情的开发或使用的相关技术中，经常会在视频录制过程中出现相机的抖动或者是拍摄对象的抖动(例如开发手势相关魔法表情时手抖动)，此时则造成选取的关键点的抖动，因而使得素材晃动。
综上，相关技术中进行素材展示时由于关键点的抖动使得素材晃动幅度较大，不能够很好的贴合对象。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义。
图1是根据一示例性实施例示出的一种素材展示方法的流程图，如图1所示，包括以下步骤。
在S11中，从对象的展示部位在当前帧图像中的位置上获取至少两个关键点；
在S12中，根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点；
在S13中，根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的实际目标展示点，确定所述当前帧图像的实际目标展示点，其中所述连续N帧图像中的最后一帧图像与所述当前帧图像相邻，N为正整数；
在S14中，根据当前帧图像中的所述实际目标展示点进行素材展示。
在实际关键点检测的过程中，常见的方式为采用卷积神经网络对图像进行检测的方式，以手势关键点检测为例，如图2所示的手势图像进行检测，可以得到21个关键点，在对该21个关键点进行检测时，是首先设计一个深度卷积神经网络，然后采用训练数据对该深度卷积神经网络进行训练，得到一个多层深度卷积神经网络，最后采用该多层深度卷积神经网络对采集的手势图像进行关键点检测。在本公开实施例中获取关键点时，直接在现有的检测结果中进行选择即可，具体可直接通过关键点函数(关键点匹配绘制函数)获取关键点的检测结果，在函数返回的所有关键点中选择至少两个关键点。
其中，在获取至少两个关键点时，需要根据素材的具体展示效果针对性的从现有关键点中选取至少两个关键点，具体根据对象的展示部位以及需要展示的素材进行选取，例如图3A所示的在掌心显示魔法阵，此时展示部位为手掌，需要展示的素材为魔法阵，素材需要时刻保持在手掌中心，因而在获取关键点时则可获取掌心一个关键点，掌心下方两个关键点。
如图3B所示的兔耳的魔法表情，此时展示部位为头，需要展示的素材为兔耳，因而在获取关键点时则可获取头部左侧一个关键点，右侧一个关键点。
如图3C所示的圆形眼镜的魔法表情，展示部位为眼睛，需要展示的素材为眼镜，则需要检测两只眼镜附近的关键点。
需要说明的是，本公开实施例中所列举的从对象的展示部位在当前帧图像中的位置上获取至少两个关键点的方式只是举例说明，任何一种从对象的展示部位在当前帧图像中的位置上获取至少两个关键点的方式都适用于本公开实施例。
在本公开实施例中，获取至少两个关键点之后，根据获取的至少两个关键点确定预选目标展示点的方式有很多种，下面根据获取的关键点的个数以及位置进行详细介绍。
在本公开实施例中的关键点指如图2中所示圆环的中心位置处，其中图2表示手势上的21个关键点，即现有的手势关键点。
可选的，当获取至少两个关键点且获取的所有关键点都在同一直线上时，则将获取的所有关键点的中心作为预选目标展示点。
如图4所示，假设获取的三个手势关键点分别为：18、14、10，由图可知18、14、10在同一直线上(即圆环的中心在同一直线上)，其中18号、14号及10号手势关键点的坐标(即图中所示关键点的中心的坐标)分别为(x1，y1)、(x2，y2)、(x3，y3)，因而在根据这三个关键点确定预选目标展示点时，则可通过计算这三个关键点的中心确定预选目标展示点，假设预选目标展示点的坐标为(x0，y0)，则x0＝(x1+x2+x3)/3，y0＝(y1+y2+y3)/3。
可选的，当获取至少三个关键点且获取的至少三个关键点不在同一条直线上时，确定预选目标展示点的方式有很多种，下面列举几种：
确定方式一、根据至少三个关键点确定至少一个三角形，其中三角形的顶点为关键点，未作为顶点的关键点在至少一个三角形的边上，根据确定的三角形的中心点确定所述预选目标展示点，其中预选目标展示点的确定方式与确定的三角形的数量有关：
若三角形数量为1个，则将该三角形的中心点作为预选目标展示点；若三角形数量为多个，则将该多个三角形的中心点的坐标平均值对应的点作为预选目标展示点。
在本公开实施例中，可通过下列方式确定至少一个三角形，具体流程图参见图5：
S51：从至少三个关键点中任意选取三个关键点组成一个三角形；
S52：判断至少三个关键点中除已选取的关键点外是否还有不在已组成的三角形的边上的关键点；如果是，则执行S52，否则结束本流程；
S53：从剩余的不在已组成的三角形的边上的关键点中选取一个关键点；
S54：确定由选取的关键点以及位于目标边上的两个关键点组成的三角形，并返回S51。
可选的，目标边为已组成的三角形的边中与选取的关键点距离最近的一条边，位于目标边上的两个关键点为边上的点和/或边的端点。
以三角形数量是1个为例：如图6A所示为本公开实施例提供的一种获取的三个手势关键点的示意图，其中三个手势关键点分别为：18(x1，y1)、6(x4，y4)、1(x5，y5)，由图可知18、6、1不在同一直线上，确定由18、6、1三个点组成的三角形(即圆环的中心组成的三角形)如图所示，则可将三角形的中心位置处的点作为预选目标展示点。
以三角形数量是多个为例：如图6B所示，在当前帧图像中共选取4个关键点，分别为：18(x1，y1)、6(x4，y4)、1(x5，y5)、5(x6，y6)，从这4个关键点中任一选取三个不在同一直线上的关键点，例如选取关键点18、6、5可组成如图所示斜线所填充的三角形，其中关键点1不在这个三角形的边上，且关键点1距离这个三角形中关键点5和关键点6所在的边最近，因而可再确定一个三角形，如图中网格所填充的三角形，三个顶点分别为关键点6、5、1。
在本公开实施例中，采用获取的关键点构建三角形，利用三角形的稳定性减小关键点的抖动对素材展示的影响。
需要说明的是，本公开实施例中所列举的确定至少一个三角形的方式只是举例说明，任何一种根据至少三个不在同一直线上的关键点确定至少一个三角形的方式都适用于本公开实施例。
确定方式二、确定至少三个关键点所组成的设定形状图形中面积最大的设定形状图形；将面积最大的设定形状图形的中心点作为预选目标展示点。
在本公开实施例中，设定形状图形是可以根据实际需求确定的，例如，设定形状图像为多边形(例如三角形、四边形、五边形等)，则如图7A所示，在当前帧图像中共选取5个关键点，由这5个关键点确定的面积最大的图形即图中所示的四边形，其中这个四边形的四个顶点都是关键点，除4个顶点外的另一个关键点位于这个四边形内，因而在确定预选目标展示点时，则可将这个四边形的中心点作为预选目标展示点。
如图7B所示，由这5个关键点确定的面积最大的图形即图中所示的五边形，其中这个五边形的五个顶点都是关键点，在确定预选目标展示点时，则可将这个五边形的中心点作为预选目标展示点。
确定方式三、确定至少三个关键点组成的关键点集合；从关键点集合中任意选取两个关键点；确定选取的两个关键点的中点；从关键点集合中任意选取一个关键点；确定中点和选取的关键点的中心；判断关键点集合中是否还有关键点；如果是，返回从关键点集合中任意选取一个关键点；否则，将中点和选取的关键点的中心作为预选目标展示点(其中每次在关键点集合中选取关键点后都会将选取的关键点删除，或者是选取时不再选取已经选取过的关键点)。
例如在当前帧图像中确定5个关键点，如图8所示，关键点集合为{1，2，3，4，5}，从中任意选取关键点1和关键点2，这两个关键点的中点为点A；之后从集合{3，4，5}中在随机选取一个关键点，例如选取关键点3，则确定点A和关键点3的中点即点B；之后从集合{4，5}中在随机选取一个关键点，例如选取关键点4，则确定点B和关键点4的中点即点C，最后确定点C和关键点5的中心作为当前帧图像中的预选目标展示点。
需要说明的是，本公开实施例中所列举的根据至少两个关键点确定预选目标展示点的方式只是举例说明，任何一种根据至少两个关键点确定预选目标展示点的方式都适用于本公开实施例。
在本公开实施例中，在误差允许的范围内表示三角形的中心的方式有很多种，下面列举两种：
表示方式一、三角形任意一条中线的中点。
如图9A所示，其中点B表示关键点6、18所在的边的中点，点B的坐标即关键点6和关键点18的坐标的平均值，关键点1和B点确定的线段即这个三角形的一条中线，点A是这条中线的中点，即关键点1、6、18所组成的三角形的中心为点A。
表示方式二、三角形三条中线的交点。
如图9B所示，其中点A表示关键点1、18所在的边的中点，点B表示关键点6、18所在的边的中点，点C表示关键点6、1所在的边的中点，点D表示三角形三条中线的交点。
需要说明的是，本公开实施例中所列举的计算三角形的中心的方式只是举例说明，任何一种计算三角形的中心的方式都适用于本公开实施例。
图9C所示为本公开实施例提供的一种针对图6B所示的关键点确定预选目标展示点的示意图，如图9C所示，其中点A和点B分别为关键点18、6、5组成的三角形的中心，以及关键点6、5、1组成的三角形的中心，其中点A和点B的计算方式可参见上述两种表示方式。
可选的，本公开实施例中所列举的预选目标展示点也可以跟计算得到的三角形中心、预设形状图形的中心，或平均值等结果稍微偏差一点也可以。
在本公开实施例中，根据当前帧图像的预选目标展示点以及当前帧图像之前的连续N帧图像的目标展示点确定当前帧图像的目标展示点时，具体过程为：确定当前帧图像的预选目标展示点的坐标与当前帧图像之前的连续N帧图像的目标展示点的坐标的加权平均值(平均值或标准差)；将加权平均值(平均值或标准差)对应的点作为当前帧图像的目标展示点。
例如当前帧图像(第5帧图像)中的预选目标展示点的坐标为(x5，y5)，第5帧图像之前的4帧图像中的实际目标展示点分别为(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，则采用计算平均值的方式时，当前帧图像中的实际目标展示点的坐标(x0，y0)可表示为：
x0＝(x1+x2+x3+x4+x5)/5，y0＝(y1+y2+y3+y4+y5)/5。
采用计算加权平均值的方式时，假设(x1，y1)～(x5，y5)的权重分别为a1、a2、a3、a4、a5，则当前帧图像中的实际目标展示点的坐标(x0，y0)可表示为：
x0＝(a1*x1+a2*x2+a3*x3+a4*x4+a5*x5)/5；
y0＝(a1*y1+a2*y2+a3*y3+a4*y4+a5*y5)/5。
采用计算标准差的方式时，则需分别计算横坐标的标准差以及纵坐标的标准差，假设(x1+x2+x3+x4+x5)/5＝a，(y1+y2+y3+y4+y5)/5＝b，则当前帧图像中的实际目标展示点的坐标(x0，y0)可表示为：
在本公开实施例中，将当前帧图像中的预选目标展示点以及当前帧的前一帧图像中的实际目标展示点的加权平均值对应的点作为当前帧图像中的实际目标展示点的方式更加准确。
需要说明的是，本公开实施例中所列举的根据当前帧图像的预选目标展示点以及当前帧图像之前的连续N帧图像的目标展示点确定当前帧图像的目标展示点的方式只是举例说明，任何一种根据当前帧图像的预选目标展示点以及当前帧图像之前的连续N帧图像的目标展示点确定当前帧图像的目标展示点的方式都适用于本公开实施例。
可选的，根据当前帧图像中的实际目标点进行素材展示时，有很多种方式，下面列举几种：
展示方式一、在当前帧图像中确定的实际目标展示点的位置上进行素材展示。
考虑到短视频拍摄场景中，素材展示的实际也是连续的一帧一帧的素材图像，在使用素材后的拍摄过程中每一帧图像都对应一帧素材图像，进行素材展示时则可将实际目标展示点在当前帧图像中的位置作为当前帧图像对应的这帧素材图像的中心位置，如图3A所示，其中魔法阵中心的小黑点即实际目标展示点。
或者，将当前帧图像中确定的实际目标展示点的位置作为图3B所示的兔耳最下方(需要贴近对象头部的位置)的中心，而不是兔耳的中心。
展示方式二、在当前帧图像中根据实际目标展示点确定的展示区域上进行素材展示。
在本公开实施例中的展示区域可以是圆形、矩形等，实际目标展示点对应的展示区域则可表示为以实际目标展示点为中心的区域，例如魔法表情的展示效果为：在掌心上方浮现圆形的魔法阵，例如图3A所示的魔法阵，其中魔法阵中心的小黑点即实际目标展示点，则小黑点对应的展示区域即以小黑点为圆心的圆形区域，假设以小黑点为圆心的圆形区域的大小正好是魔法阵的大小，则显示结果如图3A所示。
需要说明的是，本公开实施例中所列举的根据当前帧图像中的实际目标点进行素材展示的方式只是举例说明，任何一种根据当前帧图像中的实际目标点进行素材展示的方式都适用于本公开实施例。
图10是根据一示例性实施例示出的一种素材展示的完整方法流程图，用于通过终端(例如手机)在用户A的手掌中心进行用户A选择的一种手势魔法表情的素材展示，具体包括以下步骤：
S1001、终端确定用户A的手在当前帧(第5帧)图像中的位置；
S1002、终端从确定的位置上选取位于手掌上部的一个关键点和位于手掌下部的两个；
S1003、终端确定这三个关键点组成的三角形的中心点作为当前帧图像的预选目标展示点；
S1004、终端确定当前帧图像的预选目标展示点与前4帧图像的目标展示点的坐标的加权平均值；
S1005、终端将确定得到的加权平均值对应的点作为第5帧图像的目标展示点；
S1006、终端在第5帧图像的目标展示点位置上进行用户A选择的手势魔法表情的素材展示。
图11是根据一示例性实施例示出的一种素材展示装置框图。参照图11，该装置包括关键点获取单元1100、第一确定单元1101、第二确定单元1102和素材展示单元1103：
关键点获取单元1100，被配置为执行从对象的展示部位在当前帧图像中的位置上获取至少两个关键点；
第一确定单元1101，被配置为执行根据所述至少两个关键点在当前帧图像中的位置确定预选目标展示点；
第二确定单元1102，被配置为执行根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的实际目标展示点，确定所述当前帧图像的实际目标展示点，其中所述连续N帧图像中的最后一帧图像与所述当前帧图像相邻，N为正整数；
素材展示单元1103，被配置为执行根据当前帧图像中的所述实际目标展示点进行素材展示。
可选的，所述第一确定单元1101具体用于：
在获取至少两个关键点且获取的所有关键点都在同一直线上时，将所述至少两个关键点的中心作为所述预选目标展示点。
可选的，所述第一确定单元1101具体用于：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，根据所述至少三个关键点确定至少一个三角形，其中所述三角形的顶点为关键点，未作为顶点的关键点在至少一个三角形的边上；
根据确定的所述三角形的中心点确定所述预选目标展示点。
可选的，所述第一确定单元1101具体用于：
若所述三角形数量是1个，则将所述三角形的中心点作为所述预选目标展示点；
在所述三角形数量是多个时，将多个所述三角形的中心点的坐标平均值对应的点作为所述预选目标展示点。
可选的，所述第一确定单元具体用于通过下列方式确定所述至少一个三角形：
从所述至少三个关键点中任意选取三个关键点组成一个三角形；
判断所述至少三个关键点中除已选取的关键点外是否还有不在已组成的三角形的边上的关键点；
如果是，则从剩余的不在已组成的三角形的边上的关键点中选取一个关键点；
确定由选取的关键点以及位于目标边上的两个关键点组成的三角形，并返回判断所述至少三个关键点中除已选取的关键点外是否还有不在已组成的三角形边上的关键点的步骤；
可选的，所述目标边为已组成的三角形的边中与所述选取的关键点距离最近的一条边。
可选的，所述第一确定单元1101具体用于：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，确定所述至少三个关键点所组成的设定形状图形中面积最大的设定形状图形；
将所述面积最大的设定形状图形的中心点作为所述预选目标展示点。
可选的，所述第二确定单元1102具体用于：
确定所述当前帧图像的预选目标展示点的坐标与所述当前帧图像之前的连续N帧图像的目标展示点的坐标的加权平均值；
将所述加权平均值对应的点作为所述当前帧图像的目标展示点。
可选的，所述素材展示单元1103具体用于：
在当前帧图像中的所述实际目标展示点上进行素材展示；或
在当前帧图像中根据所述实际目标展示点确定的展示区域上进行素材展示。
图12是根据一示例性实施例示出的一种用于素材展示的电子设备1200的框图，该装置包括：
处理器1210；
用于存储所述处理器1210可执行指令的存储器1220；
其中，所述处理器1210被配置为执行所述指令，以实现本公开实施例中的素材展示方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器1220，上述指令可由电子设备1200的处理器1210执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本公开实施例上述任意一项素材展示方法或任意一项素材展示方法任一可能涉及的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种素材展示方法，其特征在于，包括：
从对象的展示部位在当前帧图像中的位置上获取至少两个关键点；
根据获取的关键点的个数，以及各个关键点在当前帧图像中的位置之间的位置关系，在所述当前帧图像中确定预选目标展示点；
根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的实际目标展示点，确定所述当前帧图像的实际目标展示点，其中所述连续N帧图像中的最后一帧图像与所述当前帧图像相邻，N为正整数；
在当前帧图像中的所述实际目标展示点或根据所述实际目标展示点确定的展示区域上，进行素材展示；
其中，所述根据获取的关键点的个数，以及各个关键点在当前帧图像中的位置之间的位置关系，在所述当前帧图像中确定预选目标展示点步骤包括：
若获取至少两个关键点且获取的所有关键点都在同一直线上，将所述至少两个关键点的中心作为所述预选目标展示点。
2.根据权利要求1所述的素材展示方法，其特征在于，所述根据获取的关键点的个数，以及各个关键点在当前帧图像中的位置之间的位置关系，在所述当前帧图像中确定预选目标展示点的步骤，还包括：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，根据所述至少三个关键点确定至少一个三角形，其中所述三角形的顶点为关键点，未作为顶点的关键点在至少一个三角形的边上；
根据确定的所述三角形的中心点确定所述预选目标展示点。
3.根据权利要求2所述的素材展示方法，其特征在于，所述根据确定的所述三角形的中心点确定所述预选目标展示点步骤包括：
若所述三角形数量是1个，则将所述三角形的中心点作为所述预选目标展示点；
若所述三角形数量是多个，则将多个所述三角形的中心点的坐标平均值对应的点作为所述预选目标展示点。
4.根据权利要求1所述的素材展示方法，其特征在于，所述根据获取的关键点的个数，以及各个关键点在当前帧图像中的位置之间的位置关系，在所述当前帧图像中确定预选目标展示点的步骤，还包括：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，确定所述至少三个关键点所组成的设定形状图形中面积最大的设定形状图形；
将所述面积最大的设定形状图形的中心点作为所述预选目标展示点。
5.根据权利要求1所述的素材展示方法，其特征在于，所述根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的目标展示点确定所述当前帧图像的目标展示点步骤包括：
确定所述当前帧图像的预选目标展示点的坐标与所述当前帧图像之前的连续N帧图像的目标展示点的坐标的加权平均值；
将所述加权平均值对应的点作为所述当前帧图像的目标展示点。
6.一种素材展示装置，其特征在于，包括：
关键点获取单元，被配置为执行从对象的展示部位在当前帧图像中的位置上获取至少两个关键点；
第一确定单元，被配置为执行根据获取的关键点的个数，以及各个关键点在当前帧图像中的位置之间的位置关系，在所述当前帧图像中确定预选目标展示点；
第二确定单元，被配置为执行根据当前帧图像的预选目标展示点以及所述当前帧图像之前的连续N帧图像的实际目标展示点，确定所述当前帧图像的实际目标展示点，其中所述连续N帧图像中的最后一帧图像与所述当前帧图像相邻，N为正整数；
素材展示单元，被配置为执行在当前帧图像中的所述实际目标展示点或根据所述实际目标展示点确定的展示区域上，进行素材展示；
其中，所述第一确定单元具体用于：
在获取至少两个关键点且获取的所有关键点都在同一直线上时，将所述至少两个关键点的中心作为所述预选目标展示点。
7.根据权利要求6所述的素材展示装置，其特征在于，所述第一确定单元还用于：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，根据所述至少三个关键点确定至少一个三角形，其中所述三角形的顶点为关键点，未作为顶点的关键点在至少一个三角形的边上；
根据确定的所述三角形的中心点确定所述预选目标展示点。
8.根据权利要求7所述的素材展示装置，其特征在于，所述第一确定单元具体用于：
在所述三角形数量是1个时，将所述三角形的中心点作为所述预选目标展示点；
在所述三角形数量是多个时，将多个所述三角形的中心点的坐标平均值对应的点作为所述预选目标展示点。
9.根据权利要求6所述的素材展示装置，其特征在于，所述第一确定单元还用于：
在获取至少三个关键点且所述至少三个关键点不在同一直线上时，确定所述至少三个关键点所组成的设定形状图形中面积最大的设定形状图形；
将所述面积最大的设定形状图形的中心点作为所述预选目标展示点。
10.根据权利要求6所述的素材展示装置，其特征在于，所述第二确定单元具体用于：
确定所述当前帧图像的预选目标展示点的坐标与所述当前帧图像之前的连续N帧图像的目标展示点的坐标的加权平均值；
将所述加权平均值对应的点作为所述当前帧图像的目标展示点。
11.一种素材展示的电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至权利要求5中任一项所述的素材展示方法。
12.一种存储介质，其特征在于，当所述存储介质中的指令由素材展示装置的处理器执行时，使得素材展示装置能够执行如权利要求1至权利要求5中任一项所述的素材展示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910649754.2A CN110428390B (zh) | 2019-07-18 | 2019-07-18 | 一种素材展示方法、装置、电子设备和存储介质 |
| US16/933,298 US11521368B2 (en) | 2019-07-18 | 2020-07-20 | Method and apparatus for presenting material, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910649754.2A CN110428390B (zh) | 2019-07-18 | 2019-07-18 | 一种素材展示方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110428390A CN110428390A (zh) | 2019-11-08 |
| CN110428390B true CN110428390B (zh) | 2022-08-26 |
Family
ID=68411093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910649754.2A Active CN110428390B (zh) | 2019-07-18 | 2019-07-18 | 一种素材展示方法、装置、电子设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11521368B2 (zh) |
| CN (1) | CN110428390B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850888A (zh) * | 2020-06-28 | 2021-12-28 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN116442393B (zh) * | 2023-06-08 | 2024-02-13 | 山东博硕自动化技术有限公司 | 基于视频识别的搅拌站智能卸料方法、***及控制设备 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7359782B2 (en) * | 1994-05-23 | 2008-04-15 | Automotive Technologies International, Inc. | Vehicular impact reactive system and method |
| US7630806B2 (en) * | 1994-05-23 | 2009-12-08 | Automotive Technologies International, Inc. | System and method for detecting and protecting pedestrians |
| CN106504191A (zh) * | 2016-10-12 | 2017-03-15 | 华侨大学 | 基于景深图片拼接算法的3d壁画设计方法及其应用的app |
| KR101728719B1 (ko) * | 2016-01-14 | 2017-04-21 | 인하대학교 산학협력단 | 스테레오 카메라 이미지에서 물체의 기울어진 각도 측정의 정확도 향상을 위한 특징점 선택 방법 |
| CN106780557A (zh) * | 2016-12-23 | 2017-05-31 | 南京邮电大学 | 一种基于光流法和关键点特征的运动目标跟踪方法 |
| CN106845032A (zh) * | 2017-03-14 | 2017-06-13 | 西安电子科技大学 | 多模导航三维动态可视化仿真平台的构建方法 |
| CN107392947A (zh) * | 2017-06-28 | 2017-11-24 | 西安电子科技大学 | 基于轮廓共面四点集的2d‑3d图像配准方法 |
| CN107657590A (zh) * | 2017-09-01 | 2018-02-02 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
| CN108388434A (zh) * | 2018-02-08 | 2018-08-10 | 北京市商汤科技开发有限公司 | 特效程序文件包的生成及特效生成方法与装置、电子设备 |
| CN108765550A (zh) * | 2018-05-09 | 2018-11-06 | 华南理工大学 | 一种基于单张图片的三维人脸重建方法 |
| CN108764180A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
| CN108830900A (zh) * | 2018-06-15 | 2018-11-16 | 北京字节跳动网络技术有限公司 | 关键点的抖动处理方法和装置 |
| CN109035373A (zh) * | 2018-06-28 | 2018-12-18 | 北京市商汤科技开发有限公司 | 三维特效程序文件包的生成及三维特效生成方法与装置 |
| CN109241956A (zh) * | 2018-11-19 | 2019-01-18 | Oppo广东移动通信有限公司 | 合成图像的方法、装置、终端及存储介质 |
| CN109374005A (zh) * | 2018-12-04 | 2019-02-22 | 中国舰船研究设计中心 | 一种基于船舶vr模型的船舶内部路径规划方法 |
| CN109886117A (zh) * | 2019-01-21 | 2019-06-14 | 青岛海信网络科技股份有限公司 | 一种目标行为检测的方法和设备 |
| CN109977775A (zh) * | 2019-02-25 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 关键点检测方法、装置、设备及可读存储介质 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2342026B (en) * | 1998-09-22 | 2003-06-11 | Luvvy Ltd | Graphics and image processing system |
| US7310431B2 (en) * | 2002-04-10 | 2007-12-18 | Canesta, Inc. | Optical methods for remotely measuring objects |
| WO2009101153A2 (en) * | 2008-02-13 | 2009-08-20 | Ubisoft Entertainment S.A. | Live-action image capture |
| US8014633B2 (en) * | 2008-04-15 | 2011-09-06 | Sony Corporation | Method and apparatus for suppressing ringing artifacts within super-resolution image processing |
| US20120069028A1 (en) * | 2010-09-20 | 2012-03-22 | Yahoo! Inc. | Real-time animations of emoticons using facial recognition during a video chat |
| US8854491B2 (en) * | 2011-06-05 | 2014-10-07 | Apple Inc. | Metadata-assisted image filters |
| US9104941B1 (en) * | 2011-12-02 | 2015-08-11 | Marvell International Ltd. | Method and apparatus for reducing noise in a scanned image while minimizing loss of detail in the scanned image |
| JP5489377B1 (ja) * | 2012-12-28 | 2014-05-14 | パナソニック株式会社 | 表示装置、表示方法及び表示プログラム |
| JP5989251B2 (ja) * | 2013-09-12 | 2016-09-07 | 三菱電機株式会社 | 操作入力装置及び方法、並びにプログラム及び記録媒体 |
| US9367897B1 (en) * | 2014-12-11 | 2016-06-14 | Sharp Laboratories Of America, Inc. | System for video super resolution using semantic components |
| US20170018289A1 (en) * | 2015-07-15 | 2017-01-19 | String Theory, Inc. | Emoji as facetracking video masks |
| JP6747443B2 (ja) * | 2015-07-21 | 2020-08-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN107851299B (zh) * | 2015-07-21 | 2021-11-30 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| CN105184249B (zh) * | 2015-08-28 | 2017-07-18 | 百度在线网络技术（北京）有限公司 | 用于人脸图像处理的方法和装置 |
| US9838604B2 (en) * | 2015-10-15 | 2017-12-05 | Ag International Gmbh | Method and system for stabilizing video frames |
| WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
| US10417738B2 (en) * | 2017-01-05 | 2019-09-17 | Perfect Corp. | System and method for displaying graphical effects based on determined facial positions |
| CN109905590B (zh) * | 2017-12-08 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 一种视频图像处理方法及装置 |
| CN110059522B (zh) * | 2018-01-19 | 2021-06-25 | 北京市商汤科技开发有限公司 | 人体轮廓关键点检测方法、图像处理方法、装置及设备 |
| CN108259496B (zh) * | 2018-01-19 | 2021-06-04 | 北京市商汤科技开发有限公司 | 特效程序文件包的生成及特效生成方法与装置、电子设备 |
| CN110728274A (zh) * | 2018-06-29 | 2020-01-24 | 通用电气公司 | 医疗设备计算机辅助扫描方法、医疗设备及可读存储介质 |
| CN108985241B (zh) * | 2018-07-23 | 2023-05-02 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN108986023A (zh) * | 2018-08-03 | 2018-12-11 | 北京字节跳动网络技术有限公司 | 用于处理图像的方法和装置 |
| KR102537784B1 (ko) * | 2018-08-17 | 2023-05-30 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN109389069B (zh) * | 2018-09-28 | 2021-01-05 | 北京市商汤科技开发有限公司 | 注视点判断方法和装置、电子设备和计算机存储介质 |
-
2019
- 2019-07-18 CN CN201910649754.2A patent/CN110428390B/zh active Active
-
2020
- 2020-07-20 US US16/933,298 patent/US11521368B2/en active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7359782B2 (en) * | 1994-05-23 | 2008-04-15 | Automotive Technologies International, Inc. | Vehicular impact reactive system and method |
| US7630806B2 (en) * | 1994-05-23 | 2009-12-08 | Automotive Technologies International, Inc. | System and method for detecting and protecting pedestrians |
| KR101728719B1 (ko) * | 2016-01-14 | 2017-04-21 | 인하대학교 산학협력단 | 스테레오 카메라 이미지에서 물체의 기울어진 각도 측정의 정확도 향상을 위한 특징점 선택 방법 |
| CN106504191A (zh) * | 2016-10-12 | 2017-03-15 | 华侨大学 | 基于景深图片拼接算法的3d壁画设计方法及其应用的app |
| CN106780557A (zh) * | 2016-12-23 | 2017-05-31 | 南京邮电大学 | 一种基于光流法和关键点特征的运动目标跟踪方法 |
| CN106845032A (zh) * | 2017-03-14 | 2017-06-13 | 西安电子科技大学 | 多模导航三维动态可视化仿真平台的构建方法 |
| CN107392947A (zh) * | 2017-06-28 | 2017-11-24 | 西安电子科技大学 | 基于轮廓共面四点集的2d‑3d图像配准方法 |
| CN107657590A (zh) * | 2017-09-01 | 2018-02-02 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
| CN108388434A (zh) * | 2018-02-08 | 2018-08-10 | 北京市商汤科技开发有限公司 | 特效程序文件包的生成及特效生成方法与装置、电子设备 |
| CN108765550A (zh) * | 2018-05-09 | 2018-11-06 | 华南理工大学 | 一种基于单张图片的三维人脸重建方法 |
| CN108764180A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
| CN108830900A (zh) * | 2018-06-15 | 2018-11-16 | 北京字节跳动网络技术有限公司 | 关键点的抖动处理方法和装置 |
| CN109035373A (zh) * | 2018-06-28 | 2018-12-18 | 北京市商汤科技开发有限公司 | 三维特效程序文件包的生成及三维特效生成方法与装置 |
| CN109241956A (zh) * | 2018-11-19 | 2019-01-18 | Oppo广东移动通信有限公司 | 合成图像的方法、装置、终端及存储介质 |
| CN109374005A (zh) * | 2018-12-04 | 2019-02-22 | 中国舰船研究设计中心 | 一种基于船舶vr模型的船舶内部路径规划方法 |
| CN109886117A (zh) * | 2019-01-21 | 2019-06-14 | 青岛海信网络科技股份有限公司 | 一种目标行为检测的方法和设备 |
| CN109977775A (zh) * | 2019-02-25 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 关键点检测方法、装置、设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Crystal plasticity analysis of earing in deep-drawn OFHC copper cups;M. GRUJICIC等;《OURNAL OF MATERIALS SCIENCE》;20020228;第753-764页 * |
| 基于OPENGL的场景动态效果模拟的研究与实现;王海伦;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20120415;第I138-1624页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110428390A (zh) | 2019-11-08 |
| US20200349384A1 (en) | 2020-11-05 |
| US11521368B2 (en) | 2022-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11893689B2 (en) | Automated three dimensional model generation | |
| CN109641153B (zh) | 视频流中的对象建模和替换 | |
| CN109325933B (zh) | 一种翻拍图像识别方法及装置 | |
| US20200090303A1 (en) | Method and device for fusing panoramic video images | |
| US11900557B2 (en) | Three-dimensional face model generation method and apparatus, device, and medium | |
| CN110428390B (zh) | 一种素材展示方法、装置、电子设备和存储介质 | |
| CN109840491B (zh) | 视频流播放方法、***、计算机装置及可读存储介质 | |
| CN115917600A (zh) | 基于纹理的姿势验证 | |
| KR20210049783A (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
| CN111784604B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN109587035B (zh) | 会话界面的头像展示方法、装置、电子设备及存储介质 | |
| CN110719415A (zh) | 一种视频图像处理方法、装置、电子设备及计算机可读介质 | |
| JP2007286923A (ja) | 顔パーツの位置の検出方法及び検出システム | |
| CN109993807B (zh) | 头像生成方法、装置及存储介质 | |
| JP2020166653A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN112907702A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| JP2021064043A (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
| CN109876457A (zh) | 游戏角色生成方法、装置及存储介质 | |
| JP7439042B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20230410505A1 (en) | Video manipulation detection | |
| CN116962782A (zh) | 媒体信息的显示方法和装置、存储介质及电子设备 | |
| CN117557768A (zh) | 视频图像矫正方法、装置及电子设备 | |
| JP2005326920A (ja) | 画像処理システム、プログラム、情報記憶媒体および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |