CN111462337B - 一种图像处理方法、设备及计算机可读存储介质 - Google Patents

一种图像处理方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111462337B
CN111462337B CN202010231304.4A CN202010231304A CN111462337B CN 111462337 B CN111462337 B CN 111462337B CN 202010231304 A CN202010231304 A CN 202010231304A CN 111462337 B CN111462337 B CN 111462337B
Authority
CN
China
Prior art keywords
image
key point
human body
virtual
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010231304.4A
Other languages
English (en)
Other versions
CN111462337A (zh
Inventor
赵琦
颜忠伟
毕铎
王科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MIGU Culture Technology Co Ltd
Original Assignee
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MIGU Culture Technology Co Ltd filed Critical MIGU Culture Technology Co Ltd
Priority to CN202010231304.4A priority Critical patent/CN111462337B/zh
Publication of CN111462337A publication Critical patent/CN111462337A/zh
Application granted granted Critical
Publication of CN111462337B publication Critical patent/CN111462337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像处理方法、设备及计算机可读存储介质，涉及通信技术领域，以提高真实用户和虚拟对象的AR合照图像的显示效果。该方法包括：获取用户在显示屏上的投影图像；提取所述投影图像中的人体轮廓；根据所述人体轮廓，获取虚拟对象的虚拟图像，其中，所述虚拟对象的轮廓与所述人体轮廓的匹配度满足第一预设要求；确定所述虚拟图像和所述投影图像之间的相对位置关系；根据所述投影图像、所述虚拟图像以及所述相对位置关系，得到AR图像。本发明实施例可提高真实用户和虚拟对象的AR合照图像的显示效果。

Description

一种图像处理方法、设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、设备及计算机可读存储介质。
背景技术
AR(Augmented Reality，增强现实)拍照中，虚拟对象(如虚拟人物)的身高、动作是固定的。但是，在用户和虚拟人物合照的过程中，不同的用户具有不同的身高和拍照姿势。因此，在这种情况下，如何提高真实用户和虚拟人物合拍的真实感从而改善AR图像的显示效果，是需要解决的技术问题。
发明内容
本发明实施例提供一种图像处理方法、设备及计算机可读存储介质，以提高真实用户和虚拟对象的AR合照图像的显示效果。
第一方面，本发明实施例提供了一种图像处理方法，包括：
获取用户在显示屏上的投影图像；
提取所述投影图像中的人体轮廓；
根据所述人体轮廓，获取虚拟对象的虚拟图像，其中，所述虚拟对象的轮廓与所述人体轮廓的匹配度满足第一预设要求；
确定所述虚拟图像和所述投影图像之间的相对位置关系；
根据所述投影图像、所述虚拟图像以及所述相对位置关系，得到AR图像。
其中，所述提取所述投影图像中的人体轮廓，包括：
分别将所述投影图像进行图像转换，得到至少一张灰度图；
计算所述灰度图的平均值，得到背景灰度图；
计算每一张所述灰度图和所述背景灰度图的差，得到所述用户的人体轮廓。
其中，所述虚拟对象包括虚拟人物；所述根据所述人体轮廓，获取虚拟对象的虚拟图像，包括：
在所述人体轮廓上确定第一关键点，其中，所述第一关键点至少包括头部关键点和手部关键点；
在所述虚拟对象的候选图像中确定所述虚拟对象的目标轮廓；
相应于所述第一关键点，在所述目标轮廓上确定第二关键点，其中，所述第二关键点至少包括头部关键点和手部关键点；
基于所述第一关键点和所述第二关键点，计算所述人体轮廓和所述目标轮廓之间的相似度；
如果所述相似度满足第二预设要求，将所述候选图像作为所述虚拟图像。
其中，所述基于所述第一关键点和所述第二关键点，计算所述人体轮廓和所述目标轮廓之间的相似度，包括：
对于所述第一关键点中的各个第一目标关键点，计算所述第一目标关键点和第二目标关键点之间的欧式距离，所述第二目标关键点是所述第二关键点中与所述第一目标关键点对应的关键点；
基于获得的欧式距离，计算所述人体轮廓和所述目标轮廓之间的相似度。
其中，所述基于获得的欧式距离，计算所述人体轮廓和所述目标轮廓之间的相似度，包括：
将各个欧式距离分别乘以对应的权值，获得各个欧式距离对应的第一数值；
将各个第一数值相加，得到所述人体轮廓和所述目标轮廓之间的相似度；
其中，所述方法还包括：
预先设置所述权值，其中，基于头部关键点和/或手部关键点获得的欧式距离的权值大于基于其他关键点获得的欧式距离的权值。
其中，所述确定所述虚拟图像和所述投影图像之间的相对位置关系，包括：
确定所述用户的实际拍照位置和所述投影图像之间的距离；
根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离。
其中，所述根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离，包括：
利用以下公式，根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离：
其中，Δd表示所述深度距离，所述Δθ表示用户的双眼视差，D表示所述用户的实际拍照位置和用户在显示屏上的投影图像之间的距离，P表示用户两眼之间的间距，Δθ、P为常量
第二方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如第一方面所述的图像处理方法中的步骤。
第三方面，本发明实施例提供了一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时如第一方面所述的图像处理方法中的步骤。
在本发明实施例中，根据用户在显示屏上的投影图像提取人体轮廓，并根据人体轮廓获得虚拟对象的虚拟图像。之后，根据所述虚拟对象和所述投影图像的相对位置关系、投影图像以及虚拟图像在进行AR合照。由于虚拟对象的轮廓和人体轮廓的匹配度满足第一预设要求，且在合照时考虑了虚拟对象和投影图像的相对位置关系，因此，利用本发明实施例获得的AR合照使得虚拟对象的形态、姿势和用户的形态、姿态匹配度较高，从而增强了图像的真实感，提高了AR图像的显示效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像处理方法的流程图；
图2是人的双眼成像原理图；
图3是为双眼成像原理的数学示意图；
图4是本发明实施例提供的拍照示意图之一；
图5是本发明实施例提供的拍照示意图之二；
图6是本发明实施例提供的图像处理装置的结构图；
图7是本发明实施例提供的电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的图像处理方法的流程图，如图1所示，包括以下步骤：
步骤101、获取用户在显示屏上的投影图像。
当用户需要进行拍照时，通常会利用摄像头进行拍摄，从而在显示屏上会显示用户的图像。在本发明实施例中，将显示的用户的图像称为投影图像。在本发明实施例中，所述投影图像需要包括用户的人体轮廓，优选的，由于是和虚拟对象(如虚拟人物，虚拟物品等)进行AR合照，投影图像中需包括用户完整的人体轮廓。用户的人体轮廓能够体现出用户的身高、站立姿态等信息。
步骤102、提取所述投影图像中的人体轮廓。
在本发明实施例中，连续获取多张用户的投影图像，然后，基这些投影图像确定人体的轮廓。具体的，在此步骤中，分别将获得的多张投影图像进行图像转换，得到至少一张灰度图。其中，每张投影图像都具有对应的灰度图。之后，计算所述灰度图的平均值，得到背景灰度图。最后，计算每一张所述灰度图和所述背景灰度图的差，得到所述用户的人体轮廓。通过这种方式，可以使得获得的人体轮廓信息更为准确。
以连续拍摄五张用户的图像为例，将五张图像转换为灰度图并记为fgi(x,y)，i＝1，2，3，4，5。将五张图像的灰度图按照下述公式(1)相加并求取其平均值，即为背景图的灰度图，记为fb(x,y)。
之后，将每一张灰度图与背景图的灰度图做差，即可以得到人体轮廓信息，其中，人体轮廓信息可表示为公式(2)：
fd(x,y)＝|fgi(x,y)-fb(x,y)| (2)
其中，fd(x,y)表示人体轮廓信息。
步骤103、根据所述人体轮廓，获取虚拟对象的虚拟图像，其中，所述虚拟对象的轮廓与所述人体轮廓的匹配度满足第一预设要求。
其中，所述第一预设要求可以是匹配度大于某个预设值，而该预设值可根据实际需要设置。
以虚拟对象为虚拟人物为例，可搜索虚拟人物库中虚拟人物所有的图像，并与当前的人体轮廓信息做运算，匹配与人体轮廓最相似的虚拟人物的姿势。在匹配的过程中重点考虑用户的身高及手部姿势。在采用欧式距离计算人体轮廓相似点的过程中，适当增加头部姿势和手部姿势的权重，从而着重考虑头部和手部的相似度。通过与所有图像进行匹配，找出与客户身高、姿势最相似的虚拟人物的图像。
具体的，在此步骤中，可按照如下过程获取虚拟对象的虚拟图像：
步骤1031、在所述人体轮廓上确定第一关键点，其中，所述第一关键点至少包括头部关键点和手部关键点。
在此，可通过标记的方式，在人体轮廓上确定第一关键点。当然，所述第一关键点还可包括人体轮廓上的其他关键点。
步骤1032、在所述虚拟对象的候选图像中确定所述虚拟对象的目标轮廓。
在实际应用中，可预存储有多个虚拟对象的多个图像，而不同的虚拟对象具有不同的身高，姿态等。在此，将这些图像称为虚拟对象的候选图像。如果用户选择了需要合照的虚拟对象，那么，可直接根据用户选择的虚拟对象从预存储的图像中获取用户选择的虚拟对象的候选对象。
以虚拟对象为虚拟人物为例，在此确定的目标轮廓是该虚拟人物的人体轮廓。其中，虚拟对象的人体轮廓的确定方式在本发明实施例中不做限定。
步骤1033、相应于所述第一关键点，在所述目标轮廓上确定第二关键点，其中，所述第二关键点至少包括头部关键点和手部关键点。
“相应于所述第一关键点”指的是，根据第一关键点在人体轮廓中的位置，在虚拟人物的人体轮廓的对应位置确定关键点，即第二关键点。通过这种方式，可使得获得的虚拟对象的身高、姿态等和用户的身高、姿态更为接近。可选的，所述第二关键点也可包括其他部位的关键点。
步骤1034、基于所述第一关键点和所述第二关键点，计算所述人体轮廓和所述目标轮廓之间的相似度。
在此步骤中，主要是计算各关键点之间的欧式距离，然后，根据欧式距离计算人体轮廓和目标轮廓之间的相似度。
在计算欧式距离的时候，是以人体轮廓和目标轮廓上对应的两个关键点为基础进行计算。具体的，对于所述第一关键点中的各个第一目标关键点，计算所述第一目标关键点和第二目标关键点之间的欧式距离，所述第二目标关键点是所述第二关键点中与所述第一目标关键点对应的关键点。其中，第一目标关键点是第一关键点中的任一关键点。然后，基于获得的欧式距离，计算所述人体轮廓和所述目标轮廓之间的相似度。
对于获得的多个欧式距离，将各个欧式距离分别乘以对应的权值，获得各个欧式距离对应的第一数值，然后，将各个第一数值相加，得到所述人体轮廓和所述目标轮廓之间的相似度。
在本发明实施例中的过程中，还可预先设置所述权值，其中，基于头部关键点和/或手部关键点获得的欧式距离的权值大于基于其他关键点获得的欧式距离的权值。
在本发明实施例中，通过增加头部关键点或者手部关键点对应的权值，可使得获得的虚拟对象的身高、姿态等和用户的身高、姿态更为接近，从而进一步提高图像的显示效果。
步骤1035、如果所述相似度满足第二预设要求，将所述候选图像作为所述虚拟图像。
其中，相似度满足第二预设要求可以是相似度大于某个预设值，而该预设值可以根据实际需要设置。
步骤104、确定所述虚拟图像和所述投影图像之间的相对位置关系。
在本发明实施例中，所述相对位置关系可以通过所述虚拟图像和所述投影图像之间的深度距离来体现。
具体的，在此步骤中，确定所述用户的实际拍照位置和所述投影图像之间的距离，然后根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离。
如图2所示，为人的双眼成像原理图。由于人的双眼之间有60mm左右的距离，左、右眼以各自角度观看物体的时候，在视网膜上呈现的图像是有差异的。大脑根据这种差异来判断物体的空间位置，从而使人们对物体产生立体视觉。
如图3所示，为双眼成像原理的数学示意图。参照图3，双眼视差与物体空间位置的几何关系如公式(3)所示：
其中，P为人的两眼间距，D为视距，Δd为物体的相对深度。通过上述公式，可以得到两眼的视差与物体相对深度(深度距离)的函数关系。
如图4所示，当用户进行拍照时，站立的位置即实际拍照位置确定后，即可确定所述用户的实际拍照位置和所述投影图像之间的距离D。然后，根据用户在显示屏上的投影图像来动态调整虚拟图像的位置，以更好的呈现立体视角。
具体的，根据以下公式(4)确定所述虚拟图像和所述投影图像之间的深度距离：
其中，Δd表示所述深度距离，所述Δθ表示用户的双眼视差，D表示所述用户的实际拍照位置和用户在显示屏上的投影图像之间的距离，P表示用户两眼之间的间距，Δθ、P为常量。
其中，在确定D值的时候，可以以人体的某个点和投影图像中该点对应的点之间的距离，作为D值。Δd可以是以投影图像的某个点和虚拟图像中的某个点之间的距离，比如，投影图像中用户的脚尖上的点和虚拟人物脚尖上的点等。
AR合拍的最终合成照片中，对于合成效果影响最为明显的便是用户的投影与虚拟明星之间的相对深度距离，基于公式(4)来动态调整深度距离，以达到最优的拍照效果。
例如，用户与虚拟人物进行AR合拍时，为保证视觉效果的最佳，需要根据用户站立的实际位置实时调整虚拟人物的出现位置，即根据D的值确定Δd。如图5所示，在不同次的拍照过程中，基于用户现实场景中得到的距离D，根据公式4来实时调整虚拟人物的出现位置，即确定Δd，以保证虚拟人物和用户的投影图像相对位置如线51示意，即实现视距效果最佳。
步骤105、根据所述投影图像、所述虚拟图像以及所述相对位置关系，得到AR图像。
在确定好虚拟图像的位置后，即可将所述投影图像、所述虚拟图像进行合成，得到AR图像。其中，具体的合成方法在本发明实施例中不做限定。
在本发明实施例中，根据用户在显示屏上的投影图像提取人体轮廓，并根据人体轮廓获得虚拟对象的虚拟图像。之后，根据所述虚拟对象和所述投影图像的相对位置关系、投影图像以及虚拟图像在进行AR合照。由于虚拟对象的轮廓和人体轮廓的匹配度满足第一预设要求，且在合照时考虑了虚拟对象和投影图像的相对位置关系，因此，利用本发明实施例获得的AR合照使得虚拟对象的形态、姿势和用户的形态、姿态匹配度较高，从而增强了图像的真实感，提高了AR图像的显示效果。
本发明实施例还提供了一种图像处理装置。参见图6，图6是本发明实施例提供的图像处理装置的结构图。由于图像处理装置解决问题的原理与本发明实施例中图像处理方法相似，因此该图像处理装置的实施可以参见方法的实施，重复之处不再赘述。
如图6所示，图像处理装置600包括：
第一获取模块601，用于获取用户在显示屏上的投影图像；第一提取模块602，用于提取所述投影图像中的人体轮廓；第二获取模块603，用于根据所述人体轮廓，获取虚拟对象的虚拟图像，其中，所述虚拟对象的轮廓与所述人体轮廓的匹配度满足第一预设要求；第一确定模块604，用于确定所述虚拟图像和所述投影图像之间的相对位置关系；第四获取模块605，用于根据所述投影图像、所述虚拟图像以及所述相对位置关系，得到AR图像。
可选的，所述第一提取模块602可包括：
转换子模块，用于分别将所述投影图像进行图像转换，得到至少一张灰度图；第一计算子模块，用于计算所述灰度图的平均值，得到背景灰度图；第二计算子模块，用于计算每一张所述灰度图和所述背景灰度图的差，得到所述用户的人体轮廓。
可选的，所述虚拟对象包括虚拟人物；所述第二获取模块603包括：
第一确定子模块，用于在所述人体轮廓上确定第一关键点，其中，所述第一关键点至少包括头部关键点和手部关键点；第二确定子模块，用于在所述虚拟对象的候选图像中确定所述虚拟对象的目标轮廓；第三确定子模块，用于相应于所述第一关键点，在所述目标轮廓上确定第二关键点，其中，所述第二关键点至少包括头部关键点和手部关键点；第一计算子模块，用于基于所述第一关键点和所述第二关键点，计算所述人体轮廓和所述目标轮廓之间的相似度；第四确定子模块，用于如果所述相似度满足第二预设要求，将所述候选图像作为所述虚拟图像。
可选的，所述第一计算子模块包括：
第一计算单元，用于对于所述第一关键点中的各个第一目标关键点，计算所述第一目标关键点和第二目标关键点之间的欧式距离，所述第二目标关键点是所述第二关键点中与所述第一目标关键点对应的关键点；第二计算单元，用于基于获得的欧式距离，计算所述人体轮廓和所述目标轮廓之间的相似度。
可选的，所述第二计算单元包括：
第一计算子单元，用于将各个欧式距离分别乘以对应的权值，获得各个欧式距离对应的第一数值；第二计算子单元，用于将各个第一数值相加，得到所述人体轮廓和所述目标轮廓之间的相似度。
可选的，所述第二计算单元还可包括：设置子模块，用于预先设置所述权值，其中，基于头部关键点和/或手部关键点获得的欧式距离的权值大于基于其他关键点获得的欧式距离的权值。
可选的，所述第一确定模块604包括：
第一确定子模块，用于确定所述用户的实际拍照位置和所述投影图像之间的距离；第二确定子模块，用于根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离。
可选的，所述第二确定子模块用于，利用以下公式，根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离：
其中，Δd表示所述深度距离，所述Δθ表示用户的双眼视差，D表示所述用户的实际拍照位置和用户在显示屏上的投影图像之间的距离，P表示用户两眼之间的间距，Δθ、P为常量。
本发明实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
如图7所示，本发明实施例的电子设备，包括：处理器700，用于读取存储器710中的程序，执行下列过程：
获取用户在显示屏上的投影图像；
提取所述投影图像中的人体轮廓；
根据所述人体轮廓，获取虚拟对象的虚拟图像，其中，所述虚拟对象的轮廓与所述人体轮廓的匹配度满足第一预设要求；
确定所述虚拟图像和所述投影图像之间的相对位置关系；
根据所述投影图像、所述虚拟图像以及所述相对位置关系，得到增强现实AR图像。
其中，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器700代表的一个或多个处理器和存储器710代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器700负责管理总线架构和通常的处理，存储器710可以存储处理器700在执行操作时所使用的数据。
处理器700负责管理总线架构和通常的处理，存储器710可以存储处理器700在执行操作时所使用的数据。
处理器700还用于读取所述程序，执行如下步骤：
分别将所述投影图像进行图像转换，得到至少一张灰度图；
计算所述灰度图的平均值，得到背景灰度图；
计算每一张所述灰度图和所述背景灰度图的差，得到所述用户的人体轮廓。
所述虚拟对象包括虚拟人物；处理器700还用于读取所述程序，执行如下步骤：
在所述人体轮廓上确定第一关键点，其中，所述第一关键点至少包括头部关键点和手部关键点；
在所述虚拟对象的候选图像中确定所述虚拟对象的目标轮廓；
相应于所述第一关键点，在所述目标轮廓上确定第二关键点，其中，所述第二关键点至少包括头部关键点和手部关键点；
基于所述第一关键点和所述第二关键点，计算所述人体轮廓和所述目标轮廓之间的相似度；
如果所述相似度满足第二预设要求，将所述候选图像作为所述虚拟图像。
处理器700还用于读取所述程序，执行如下步骤：
对于所述第一关键点中的各个第一目标关键点，计算所述第一目标关键点和第二目标关键点之间的欧式距离，所述第二目标关键点是所述第二关键点中与所述第一目标关键点对应的关键点；
基于获得的欧式距离，计算所述人体轮廓和所述目标轮廓之间的相似度。
处理器700还用于读取所述程序，执行如下步骤：
将各个欧式距离分别乘以对应的权值，获得各个欧式距离对应的第一数值；
将各个第一数值相加，得到所述人体轮廓和所述目标轮廓之间的相似度。
处理器700还用于读取所述程序，执行如下步骤：
预先设置所述权值，其中，基于头部关键点和/或手部关键点获得的欧式距离的权值大于基于其他关键点获得的欧式距离的权值。
处理器700还用于读取所述程序，执行如下步骤：
确定所述用户的实际拍照位置和所述投影图像之间的距离；
根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离。
处理器700还用于读取所述程序，执行如下步骤：
利用以下公式，根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离：
其中，Δd表示所述深度距离，所述Δθ表示用户的双眼视差，D表示所述用户的实际拍照位置和用户在显示屏上的投影图像之间的距离，P表示用户两眼之间的间距，Δθ、P为常量。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。根据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取用户在显示屏上的投影图像；
提取所述投影图像中的人体轮廓；
根据所述人体轮廓，获取虚拟对象的虚拟图像，其中，所述虚拟对象的轮廓与所述人体轮廓的匹配度满足第一预设要求；
确定所述虚拟图像和所述投影图像之间的相对位置关系，其中，所述相对位置关系根据所述虚拟图像和所述投影图像之间的深度距离确定，所述深度距离是根据所述用户的实际拍照位置和所述投影图像之间的距离确定的；
根据所述投影图像、所述虚拟图像以及所述相对位置关系，得到增强现实AR图像。
2.根据权利要求1所述的方法，其特征在于，所述投影图像为至少一张；所述提取所述投影图像中的人体轮廓，包括：
分别将所述投影图像进行图像转换，得到至少一张灰度图；
计算所述灰度图的平均值，得到背景灰度图；
计算每一张所述灰度图和所述背景灰度图的差，得到所述用户的人体轮廓。
3.根据权利要求1所述的方法，其特征在于，所述虚拟对象包括虚拟人物；所述根据所述人体轮廓，获取虚拟对象的虚拟图像，包括：
在所述人体轮廓上确定第一关键点，其中，所述第一关键点至少包括头部关键点和手部关键点；
在所述虚拟对象的候选图像中确定所述虚拟对象的目标轮廓；
相应于所述第一关键点，在所述目标轮廓上确定第二关键点，其中，所述第二关键点至少包括头部关键点和手部关键点；
基于所述第一关键点和所述第二关键点，计算所述人体轮廓和所述目标轮廓之间的相似度；
如果所述相似度满足第二预设要求，将所述候选图像作为所述虚拟图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一关键点和所述第二关键点，计算所述人体轮廓和所述目标轮廓之间的相似度，包括：
对于所述第一关键点中的各个第一目标关键点，计算所述第一目标关键点和第二目标关键点之间的欧式距离，所述第二目标关键点是所述第二关键点中与所述第一目标关键点对应的关键点；
基于获得的欧式距离，计算所述人体轮廓和所述目标轮廓之间的相似度。
5.根据权利要求4所述的方法，其特征在于，所述基于获得的欧式距离，计算所述人体轮廓和所述目标轮廓之间的相似度，包括：
将各个欧式距离分别乘以对应的权值，获得各个欧式距离对应的第一数值；
将各个第一数值相加，得到所述人体轮廓和所述目标轮廓之间的相似度。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
预先设置所述权值，其中，基于头部关键点和/或手部关键点获得的欧式距离的权值大于基于其他关键点获得的欧式距离的权值。
7.根据权利要求1所述的方法，其特征在于，所述确定所述虚拟图像和所述投影图像之间的相对位置关系，包括：
确定所述用户的实际拍照位置和所述投影图像之间的距离；
根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离。
8.根据权利要求7所述的方法，其特征在于，所述根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离，包括：
利用以下公式，根据所述距离确定所述虚拟图像和所述投影图像之间的深度距离：
其中，Δd表示所述深度距离，所述Δθ表示用户的双眼视差，D表示所述用户的实际拍照位置和用户在显示屏上的投影图像之间的距离，P表示用户两眼之间的间距，Δθ、P为常量。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至8中任一项所述的图像处理方法中的步骤。
10.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时如权利要求1至8中任一项所述的图像处理方法中的步骤。
CN202010231304.4A 2020-03-27 2020-03-27 一种图像处理方法、设备及计算机可读存储介质 Active CN111462337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010231304.4A CN111462337B (zh) 2020-03-27 2020-03-27 一种图像处理方法、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010231304.4A CN111462337B (zh) 2020-03-27 2020-03-27 一种图像处理方法、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111462337A CN111462337A (zh) 2020-07-28
CN111462337B true CN111462337B (zh) 2023-08-18

Family

ID=71685711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010231304.4A Active CN111462337B (zh) 2020-03-27 2020-03-27 一种图像处理方法、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111462337B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179376A (zh) * 2021-04-29 2021-07-27 山东数字人科技股份有限公司 基于三维动画的视频对照方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266223A (ja) * 2004-03-18 2005-09-29 Casio Comput Co Ltd カメラ装置およびプログラム
JP2007025861A (ja) * 2005-07-13 2007-02-01 Toppan Printing Co Ltd バーチャルリアリティシステム及び方法、並びに、補間画像生成装置及び方法
CN103617639A (zh) * 2013-06-27 2014-03-05 苏州金螳螂展览设计工程有限公司 一种镜面感应互动合影***及方法
CN106097435A (zh) * 2016-06-07 2016-11-09 北京圣威特科技有限公司 一种增强现实拍摄***及方法
WO2016207628A1 (en) * 2015-06-22 2016-12-29 Ec Medica Ltd Augmented reality imaging system, apparatus and method
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、***、程序和存储介质
CN108398787A (zh) * 2018-03-20 2018-08-14 京东方科技集团股份有限公司 增强现实显示设备、方法和增强现实眼镜
CN110909680A (zh) * 2019-11-22 2020-03-24 咪咕动漫有限公司 人脸图像的表情识别方法、装置、电子设备及存储介质
CN110910512A (zh) * 2019-11-29 2020-03-24 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266223A (ja) * 2004-03-18 2005-09-29 Casio Comput Co Ltd カメラ装置およびプログラム
JP2007025861A (ja) * 2005-07-13 2007-02-01 Toppan Printing Co Ltd バーチャルリアリティシステム及び方法、並びに、補間画像生成装置及び方法
CN103617639A (zh) * 2013-06-27 2014-03-05 苏州金螳螂展览设计工程有限公司 一种镜面感应互动合影***及方法
WO2016207628A1 (en) * 2015-06-22 2016-12-29 Ec Medica Ltd Augmented reality imaging system, apparatus and method
CN106097435A (zh) * 2016-06-07 2016-11-09 北京圣威特科技有限公司 一种增强现实拍摄***及方法
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、***、程序和存储介质
CN108398787A (zh) * 2018-03-20 2018-08-14 京东方科技集团股份有限公司 增强现实显示设备、方法和增强现实眼镜
CN110909680A (zh) * 2019-11-22 2020-03-24 咪咕动漫有限公司 人脸图像的表情识别方法、装置、电子设备及存储介质
CN110910512A (zh) * 2019-11-29 2020-03-24 北京达佳互联信息技术有限公司 虚拟物体自适应调整方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111462337A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN112767538B (zh) 三维重建及相关交互、测量方法和相关装置、设备
CN103140879B (zh) 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
JP4829141B2 (ja) 視線検出装置及びその方法
CN107484428B (zh) 用于显示对象的方法
EP2856426B1 (en) Body measurement
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN109711472B (zh) 训练数据生成方法和装置
JP2009020761A (ja) 画像処理装置及びその方法
JP5795250B2 (ja) 被写体姿勢推定装置および映像描画装置
JPWO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
CN110544302A (zh) 基于多目视觉的人体动作重建***、方法和动作训练***
EP3506149A1 (en) Method, system and computer program product for eye gaze direction estimation
JP2020119127A (ja) 学習用データ生成方法、プログラム、学習用データ生成装置、および、推論処理方法
KR20150031085A (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN111815768B (zh) 三维人脸重建方法和装置
CN113706373A (zh) 模型重建方法及相关装置、电子设备和存储介质
CN113902781A (zh) 三维人脸重建方法、装置、设备及介质
CN111462337B (zh) 一种图像处理方法、设备及计算机可读存储介质
CN107659772B (zh) 3d图像生成方法、装置及电子设备
US20190340773A1 (en) Method and apparatus for a synchronous motion of a human body model
JP2000331019A (ja) 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体
CN113240811B (zh) 三维人脸模型创建方法、***、设备及存储介质
KR101351745B1 (ko) ３차원 얼굴 생성 장치 및 방법
JP2019220032A (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
JP7326965B2 (ja) 画像処理装置、画像処理プログラム、及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant