CN107122774B - 一种随图像中关键点移动的自适应贴图方法和*** - Google Patents

一种随图像中关键点移动的自适应贴图方法和*** Download PDF

Info

Publication number
CN107122774B
CN107122774B CN201710193044.4A CN201710193044A CN107122774B CN 107122774 B CN107122774 B CN 107122774B CN 201710193044 A CN201710193044 A CN 201710193044A CN 107122774 B CN107122774 B CN 107122774B
Authority
CN
China
Prior art keywords
coordinate
textures
key point
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710193044.4A
Other languages
English (en)
Other versions
CN107122774A (zh
Inventor
李亮
陈少杰
张文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201710193044.4A priority Critical patent/CN107122774B/zh
Publication of CN107122774A publication Critical patent/CN107122774A/zh
Priority to PCT/CN2017/120135 priority patent/WO2018176958A1/zh
Application granted granted Critical
Publication of CN107122774B publication Critical patent/CN107122774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种随图像中关键点移动的自适应贴图方法和***，其中方法包括：定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标；根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图。本发明使得在人脸旋转的情况下，贴图自适应地进行旋转，并且不改变原有的显示比例，提高了用户的体验。

Description

一种随图像中关键点移动的自适应贴图方法和***
技术领域
本发明涉及图像处理领域，更具体地，涉及随图像中关键点移动的自适应贴图方法和***。
背景技术
随着摄影技术和计算机应用的发展，在视频图像上进行贴图变得越来越普遍，所谓贴图就是在图像中的特定部位加上动态贴图的效果，以人脸为例，特定部位可以指眼睛、鼻子或嘴巴，现有的贴图方法仅仅将贴图放置在画面中的特定位置，当特定位置的发生变化时，虽然贴图的位置也随之变化，但由于没有考虑特定位置的显示比例发生了变化，导致贴图的形状会发生一定程度的扭曲，使得贴图的显示效果大打折扣。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的随图像中关键点移动的自适应贴图的方法和***。
根据本发明的一个方面，提供一种随图像中关键点移动的自适应贴图的方法，包括：
S1、定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标；
S2、根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
S3、根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图。
根据本发明的另一个方面，提供一种随图像中关键点移动的自适应贴图***，包括：
转换坐标装置，定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标；
附近坐标生成装置，根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
贴图采样坐标获得装置，根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图。
本申请提出一种随图像中关键点移动的自适应贴图方法和***，通过定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，得到对应该点的旋转矩阵转换后的坐标，确保图像上的点都随关键点的位置变化而同步移动，再根据关键点移动后的坐标与贴图的缩放系数，筛选位于关键点移动后的位置附近一定范围的坐标，最后结合关键点的坐标以及贴图的缩放系数，获得显示贴图的贴图采样坐标，本发明使得在图像上关键点移动的情况下，贴图自适应地进行移动，并且不改变原有的显示比例，提高了用户的体验。
附图说明
图1为本发明实施例的一种随图像中关键点移动的自适应贴图方法的流程图；
图2为本发明实施例中步骤S1的流程图；
图3为本发明实施例中步骤S2的流程示意图；
图4为本发明实施例的一种随图像中关键点移动的自适应贴图***的框图；
图5为本发明实施例中转换模块的结构框图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
为了克服现有技术中，贴图不能随人脸的旋转而自适应旋转的问题，本发明提供了一种能够随人脸旋转的自适应旋转的贴图方法。
图1示出了本发明实施例的一种随人脸旋转的自适应贴图方法的流程图，如图1可知，本方法包括：
S1、定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标；
S2、根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
S3、根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图。
本申请提出一种随图像中关键点移动的自适应贴图方法和***，通过定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，得到对应该点的转换后的坐标，再根据关键点移动后的坐标与贴图的缩放系数，筛选位于关键点移动后的位置附近一定范围的坐标，最后结合关键点的坐标以及贴图的缩放系数，获得显示贴图的贴图采样坐标，本发明使得在图像上关键点移动的情况下，贴图自适应地进行移动，并且不改变原有的显示比例，提高了用户的体验。
图2示出了本发明实施例中步骤S1的流程图，包括：
S1.1、获取图像的宽高比，定位图像中关键物体上关键点的位置。
需要注意的是，由于常规图像的形状均为长方形，如大部分视频的宽高比为16:9、4:3、2:1，因此，当图像上的坐标发生旋转时，必然会发生扭曲，最显著的是在有手机观看视频时，手机在横屏模式下或竖屏模型下，字幕上字的宽度不同，因此，为了保证贴图在旋转过程中的形状保持不变，本实施例考虑基于图像的宽高比对任意一点的坐标进行缩放。
S1.2、获取关键点移动的距离以及关键物体的转动角度。
S1.3、根据图像的宽高比、关键点移动的距离以及关键物体的转动角度，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标。
需要注意的是，将图像的坐标称之为世界坐标系，将图像中可移动的关键物体所在的坐标系称之为物体坐标系，贴图虽然位于图像的坐标系中，但贴图又始终跟随物体运动，相当于与物体的坐标系具有联系，因此为了保证贴图的旋转适应两个坐标系间的转换，需要根据图像的宽高比、关键点移动的距离以及关键物体的转动角度，对图像上的任意一点进行旋转矩阵转换。
出于使描述清晰易懂的考虑，以下实施例中的关键物体均以人脸为例，但不用来限制本发明的范围。
在一个实施例中，步骤S1.3进一步包括：
S1.3.1、对图像上的任意一点，根据图像的宽高比，对该点的坐标进行缩放，获得缩放后的坐标；
S1.3.2、将旋转中心点的坐标由原点坐标平移至所述关键点的坐标，并根据关键点的移动距离对缩放后的坐标进行平移，获得第一次平移后的坐标。
需要注意的是，如果一个图形D绕某点O旋转α°后，得到的新图形与原图形完全重合，称O为图形D的旋转中心点。为了保证贴图能够以某个特定位置进行旋转，需要将旋转中心平移至特定位置，以保证旋转后的图像与原图像完全重合，在本发明的应用场景下，旋转中心点即为关键点，所谓的关键点，简单的说，就是贴图需要始终对齐的点，以在人的眼睛上进行贴图为例，关键点可以是人的眼睛的区域的中心点(假设这一点是瞳孔的坐标)。显然，本实施例中所述旋转中心点是指图像中人脸移动后的关键点，同样以上述举例来说，就是人脸移动后瞳孔的坐标。当然，本发明并不局限于对人眼进行贴图，本发明同样适用于对人脸其他部位，例如鼻子、嘴巴或者眉毛的贴图，在此不做赘述。
S1.3.3、根据关键物体的转动角度以及旋转中心点的坐标，对该第一次平移后的坐标进行旋转，获得旋转后的坐标。
需要注意的是，人脸的旋转角度可通过人脸上关键点的位置计算出来，例如，计算鼻梁与水平方向X轴的角度，在此不再详细给出计算公式。因此，为了保证旋转后的坐标与人脸的旋转角度一致且形状不发生改变，本实施例通过根据人脸的旋转角度以及旋转中心点的坐标，对该第一次平移后的坐标进行旋转来获得。
S1.3.4、将旋转中心点的坐标由所述关键点的坐标平移回原点坐标，并根据旋转中心点的移动距离对缩放后的坐标进行平移，获得第二次平移后的坐标。
S1.3.5、将所述第二次平移后的坐标缩放回原比例，获得所述转换后的坐标。
需要注意的是，在完成第二次平移后，将坐标缩放为原比例，即实现了贴图的正确显示。
在一个实施例中，步骤S1.3进一步包括：
S1.3.1、对于图像上的任意一点，将该点的坐标(x,y)转换为齐次坐标(x,y,1)，基于图像的宽高比R，对该齐次坐标进行缩放，获得缩放后的坐标(R*x,y,1)。
需要注意的，齐次坐标就是将一个原本是n维的向量用一个n+1维向量来表示。例如，二维点(x,y)的齐次坐标表示为(hx,hy,h)。由此可以看出，一个向量的齐次表示是不唯一的，齐次坐标的h取不同的值都表示的是同一个点，比如齐次坐标(8,4,2)、(4,2,1)表示的都是二维点(4,2)。引入齐次坐标的目的主要是合并矩阵运算中的乘法和加法，表示为p'＝p*M的形式。即它提供了用矩阵运算把二维、三维甚至高维空间中的一个点集从一个坐标系变换到另一个坐标系的有效方法。
缩放后坐标用矩阵M1表示为：
S1.3.2、将旋转中心点的坐标由原点坐标(0,0)平移至所述关键点的坐标(Dx,Dy)，并根据关键点的移动距离对缩放后的坐标进行平移，获得第一次平移后的坐标(R*x+Dx/R,y+Dy,1)。
需要注意的是，在二维坐标中，原旋转中心点的坐标为原点坐标(0,0)，假设平移后的坐标为(Dx,Dy)，在x轴方向平移了sx个单位，在y轴方向平移了sy个单位，定义[x,y]为变换前坐标，[X,Y]为变换后坐标。则：X＝x+sx；Y＝y+sy；用矩阵表示：
应用到本实施例中，第一次平移后的坐标用矩阵M2表示为：
S1.3.3、根据关键物体的转动角度a以及旋转中心点的坐标，对该第一次平移后的坐标进行旋转，获得旋转后的坐标：((R*x+Dx/R)*cosa-(y+Dy)*sina,(R*x+Dx/R)*sina-(y+Dy)*cosa,1)。
需要注意的是，设某点与原点连线和X轴夹角为b度，以原点为圆心，逆时针转过a度，原点与该点连线长度为R。[x,y]为变换前坐标，[X,Y]为变换后坐标。则：
x＝R*cos(b)；y＝R*sin(b)；
X＝R*cos(a+b)＝R*cos(a)*cos(b)-R*sin(a)*sin(b)＝x*cos(a)-y*sin(a)；
Y＝R*sin(a+b)＝R*sin(a)*cos(b)+R*cos(a)*sin(b)＝x*sin(a)+y*cos(a)；
用矩阵表示：
应用到本实施例中，旋转后的坐标用矩阵M3表示为：
S1.3.4、将旋转中心点的坐标由所述关键点的坐标平移至原点坐标，并根据旋转中心点平移距离对旋转后的坐标进行平移，获得第二次平移后的坐标：((R*x+Dx/R)*cosa-(y+Dy)*sina-Dx/R,(R*x+Dx/R)*sina-(y+Dy)*cosa-Dy,1)。
需要注意的是，第二次平移后的坐标用矩阵M4表示为：
S1.3.5、将所述第二次平移后的坐标缩放回原比例，获得所述转换后的坐标：((x+Dx/R2)*cosa-(y+Dy)*sina-Dx/R2,(x+Dx/R2)*sina-(y+Dy)*cosa-Dy)。
需要注意的是，转换后的坐标用矩阵M5表示为：
图3示出了本发明实施例中步骤S2的流程示意图，如图3可知，步骤S2包括：
S2.1、基于关键物体的纵向长度、贴图宽度以及图像的宽度，获得贴图在x轴的缩放系数，基于关键物体的纵向长度、贴图高度以及图像的高度，获得贴图在y轴的缩放系数；
S2.2、对于任意一个旋转矩阵转换后的坐标，定义该旋转矩阵转换后的坐标为(dstx,dsty)，关键点的坐标为(centerx,centery)，当该旋转后的坐标满足以下条件：(centerx-resizex*0.5)<dstx≤(centerx+resizex*0.5)且(centery–resizey*0.5)<dsty≤(centery+resizey*0.5)，则将该旋转矩阵转换后的坐标作为位于关键点移动后的位置附近一定范围的坐标。
在一个可选实施例中，贴图在x轴的缩放系数resizex的表达式为：resizex＝l*w/(W*r)；贴图在y轴的缩放系数resizey的表达式为：resizey＝l*h/(H*r)；
其中，l表示关键物体的纵向长度的长度，例如人脸的长度，w表示贴图的宽度，h表示贴图的高度，r表示显示系数，W表示图像的宽度，H表示图像的高度。
在一个可选实施例中，根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标的步骤，进一步包括：
定义位于关键点移动后的位置附近一定范围的坐标为(nearx,neary)，关键点坐标为(centerx,centery)，贴图在x轴的缩放系数resizex，贴图在y轴的缩放系数resizey，贴图采样坐标为(coordx,coordy)，则：
coordx＝(nearx-centerx+resizex*0.5)/resizex；
coordy＝(neary-centery+resizey*0.5)/resizey。
图4示出了本发明实施例的一种随图像中关键点移动的自适应贴图***的框图，包括：
转换坐标装置，定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标；
附近坐标生成装置，根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
贴图采样坐标获得装置，根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图。
需要注意的是，本实施例通过定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，得到对应该点的旋转矩阵转换后的坐标，确保图像上的点都随关键点的位置变化而同步移动，再根据关键点移动后的坐标与贴图的缩放系数，筛选位于关键点移动后的位置附近一定范围的坐标，最后结合关键点的坐标以及贴图的缩放系数，获得显示贴图的贴图采样坐标，本发明使得在图像上关键点移动的情况下，贴图自适应地进行移动，并且不改变原有的显示比例，提高了用户的体验。
在一个实施例中，转换坐标装置包括：
定位模块，用于获取图像的宽高比，定位图像中关键物体上关键点的位置；
需要注意的是，由于常规图像的形状均为长方形，如大部分视频的宽高比为16:9、4:3、2:1，因此，当图像上的坐标发生旋转时，必然会发生扭曲，最显著的是在有手机观看视频时，手机在横屏模式下或竖屏模型下，字幕上字的宽度不同，因此，为了保证贴图在旋转过程中的形状保持不变，本实施例考虑基于贴图的宽高比对任意一点的坐标进行缩放。
获取关键点参数模块、用于获取关键点移动的距离以及关键物体的转动角度；以及
转换模块，用于根据图像的宽高比、关键点移动的距离以及关键物体的转动角度，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的转换后的坐标。
需要注意的是，将图像的坐标称之为世界坐标系，将图像中可移动的关键物体所在的坐标系称之为物体坐标系，贴图虽然位于图像的坐标系中，但贴图又始终跟随物体运动，相当于与物体的坐标系具有联系，因此为了保证贴图的旋转适应两个坐标系间的转换，需要根据图像的宽高比、关键点移动的距离以及关键物体的转动角度，对图像上的任意一点进行旋转矩阵转换。
图5示出了本发明实施例中转换模块的结构框图，包括：
第一缩放单元，用于对图像上的任意一点，根据图像的宽高比，对该点的坐标进行缩放，获得缩放后的坐标。
第一平移单元，用于将旋转中心点的坐标由原点坐标平移至所述关键点的坐标，并根据关键点的移动距离对缩放后的坐标进行平移，获得第一次平移后的坐标。
需要注意的是，如果一个图形D绕某点O旋转α°后，得到的新图形与原图形完全重合，称D为旋转对称图形，称O为旋转对称图形D的旋转中心点。为了保证贴图能够以某个特定位置进行旋转，需要将旋转中心平移至特定位置，以保证旋转后的图像与原图像完全重合，在本发明的应用场景下，旋转中心点即为关键点，所谓的关键点，简单的说，就是贴图需要始终对齐的点，以在人的眼睛上进行贴图为例，关键点可以是人的眼睛的区域的中心点(假设这一点是瞳孔的坐标)。显然，本实施例中所述旋转中心点是指图像中人脸移动后的关键点，同样以上述举例来说，就是人脸移动后瞳孔的坐标。当然，本发明并不局限于对人眼进行贴图，本发明同样适用于对人脸其他部位，例如鼻子、嘴巴或者眉毛的贴图，在此不做赘述。
旋转单元，用于根据关键物体的转动角度以及旋转中心点的坐标，对该第一次平移后的坐标进行旋转，获得旋转后的坐标。
需要注意的是，人脸的旋转角度可通过人脸上关键点的位置计算出来，例如，计算鼻梁与水平方向X轴的角度，在此不再详细给出计算公式。因此，为了保证旋转后的坐标与人脸的旋转角度一致且形状不发生改变，本实施例通过根据人脸的旋转角度以及旋转中心点的坐标，对该第一次平移后的坐标进行旋转来获得。
第二平移单元，用于将旋转中心点的坐标由所述关键点的坐标平移回原点坐标，并根据旋转中心点的移动距离对缩放后的坐标进行平移，获得第二次平移后的坐标；以及
第二缩放单元，用于将所述第二次平移后的坐标缩放回原比例，获得所述转换后的坐标。
在一个实施例中，附近坐标生成装置包括：
缩放系数获取模块，用于基于关键物体的纵向长度、贴图宽度以及图像的宽度，获得贴图在x轴的缩放系数，基于关键物体的纵向长度、贴图高度以及图像的高度，获得贴图在y轴的缩放系数；
附件坐标获取模块，用于对于任意一个旋转后的坐标，定义该旋转后的坐标为(dstx,dsty)，关键点的坐标为(centerx,centery)，当该旋转后的坐标满足以下条件：(centerx-resizex*0.5)<dstx≤(centerx
+resizex*0.5)且(centery–resizey*0.5)<dsty≤(centery+resizey*0.5)，则将该旋转后的坐标作为位于关键点移动后的位置附近一定范围的坐标。
在一个具体实施例中，所述贴图采样坐标获得装置进一步用于：
定义位于关键点移动后的位置附近一定范围的坐标为(nearx,neary)，贴图采样坐标为(coordx,coordy)，则：
coordx＝(nearx-centerx+resizex*0.5)/resizex；
coordy＝(neary-centery+resizey*0.5)/resizey。
在一个实施例中，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
S1、定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标；
S2、根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
S3、根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图。
在一个实施例中，本发明公开了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：
S1、定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的转换后的坐标；
S2、根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
S3、根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种随图像中关键点移动的自适应贴图方法，其特征在于，包括：
S1、定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的经旋转矩阵转换后的坐标；
S2、根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
S3、根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图；
所述步骤S2进一步包括：
S2.1、基于关键物体的纵向长度、贴图宽度以及图像的宽度，获得贴图在x轴的缩放系数，基于关键物体的纵向长度、贴图高度以及图像的高度，获得贴图在y轴的缩放系数；
S2.2、对于任意一个经旋转矩阵转换后的坐标，定义该旋转矩阵转换后的坐标为(dstx,dsty)，关键点的坐标为(centerx,centery)，当该旋转后的坐标满足以下条件：(centerx-resizex*0.5)<dstx≤(centerx+resizex*0.5)且(centery–resizey*0.5)<dsty≤(centery+resizey*0.5)，则将该旋转矩阵转换后的坐标作为位于关键点移动后的位置附近一定范围的坐标；
其中，所述贴图在x轴的缩放系数resizex的表达式为：resizex＝l*w/(W*r)；所述贴图在y轴的缩放系数resizey的表达式为：resizey＝l*h/(H*r)；
其中，l表示关键物体的纵向长度，w表示贴图的宽度，h表示贴图的高度，r表示显示系数，W表示图像的宽度，H表示图像的高度；
所述根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标的步骤，进一步包括：
定义位于关键点移动后的位置附近一定范围的坐标为(nearx,neary)，贴图采样坐标为(coordx,coordy)，则：
coordx＝(nearx-centerx+resizex*0.5)/resizex；
coordy＝(neary-centery+resizey*0.5)/resizey。
2.如权利要求1所述的自适应贴图方法，其特征在于，所述步骤S1进一步包括：
S1.1、获取图像的宽高比，定位图像中关键物体上关键点的位置；
S1.2、获取关键点移动的距离以及关键物体的转动角度；以及
S1.3、根据图像的宽高比、关键点移动的距离以及关键物体的转动角度，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标。
3.如权利要求2所述的自适应贴图方法，其特征在于，所述步骤S1.3进一步包括：
S1.3.1、对图像上的任意一点，根据图像的宽高比，对该点的坐标进行缩放，获得缩放后的坐标；
S1.3.2、将旋转中心点的坐标由原点坐标平移至所述关键点的坐标，并根据关键点的移动距离对缩放后的坐标进行平移，获得第一次平移后的坐标；
S1.3.3、根据关键物体的转动角度以及旋转中心点的坐标，对该第一次平移后的坐标进行旋转，获得旋转后的坐标；
S1.3.4、将旋转中心点的坐标由所述关键点的坐标平移回原点坐标，并根据旋转中心点的移动距离对缩放后的坐标进行平移，获得第二次平移后的坐标；以及
S1.3.5、将所述第二次平移后的坐标缩放回原比例，获得所述转换后的坐标。
4.如权利要求2所述的自适应贴图方法，其特征在于，所述步骤S1.3进一步包括：
S1.3.1、对于图像上的任意一点，将该点的坐标(x,y)转换为齐次坐标(x,y,1)，基于图像的宽高比R，对该齐次坐标进行缩放，获得缩放后的坐标(R*x,y,1)；
S1.3.2、将旋转中心点的坐标由原点坐标(0,0)平移至所述关键点的坐标(Dx,Dy)，并根据关键点的移动距离对缩放后的坐标进行平移，获得第一次平移后的坐标(R*x+Dx/R,y+Dy,1)；
S1.3.3、根据关键物体的转动角度a以及旋转中心点的坐标，对该第一次平移后的坐标进行旋转，获得旋转后的坐标：((R*x+Dx/R)*cosa-(y+Dy)*sina,(R*x+Dx/R)*sina-(y+Dy)*cosa,1)；
S1.3.4、将旋转中心点的坐标由所述关键点的坐标平移至原点坐标，并根据旋转中心点平移距离对旋转后的坐标进行平移，获得第二次平移后的坐标：((R*x+Dx/R)*cosa-(y+Dy)*sina-Dx/R,(R*x+Dx/R)*sina-(y+Dy)*cosa-Dy,1)；以及
S1.3.5、将所述第二次平移后的坐标缩放回原比例，获得所述转换后的坐标：((x+Dx/R2)*cosa-(y+Dy)*sina-Dx/R2,(x+Dx/R2)*sina-(y+Dy)*cosa-Dy)。
5.一种随图像中关键点移动的自适应贴图***，其特征在于，包括：
转换坐标装置，定位图像中关键物体上关键点的位置，根据所述关键点移动后的位置变化，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的旋转矩阵转换后的坐标；
附近坐标生成装置，根据关键点移动后的坐标与贴图的缩放系数，获得位于关键点移动后的位置附近一定范围的坐标；
贴图采样坐标获得装置，根据所述位于关键点移动后的位置附近一定范围的坐标、关键点的坐标以及贴图的缩放系数，获得贴图采样坐标，并在所述贴图采样坐标上显示贴图；
所述附近坐标生成装置包括：
缩放系数获取模块，用于基于关键物体的纵向长度、贴图宽度以及图像的宽度，获得贴图在x轴的缩放系数，基于关键物体的纵向长度、贴图高度以及图像的高度，获得贴图在y轴的缩放系数；
附近坐标获取模块，用于对于任意一个旋转后的坐标，定义该旋转后的坐标为(dstx,dsty)，关键点的坐标为(centerx,centery)，当该旋转后的坐标满足以下条件：(centerx-resizex*0.5)<dstx≤(centerx+resizex*0.5)且(centery–resizey*0.5)<dsty≤(centery+resizey*0.5)，则将该旋转后的坐标作为位于关键点移动后的位置附近一定范围的坐标；
其中，所述贴图在x轴的缩放系数resizex的表达式为：resizex＝l*w/(W*r)；所述贴图在y轴的缩放系数resizey的表达式为：resizey＝l*h/(H*r)；
其中，l表示关键物体的纵向长度，w表示贴图的宽度，h表示贴图的高度，r表示显示系数，W表示图像的宽度，H表示图像的高度；
所述贴图采样坐标获得装置进一步用于：
定义位于关键点移动后的位置附近一定范围的坐标为(nearx,neary)，贴图采样坐标为(coordx,coordy)，则：
coordx＝(nearx-centerx+resizex*0.5)/resizex；
coordy＝(neary-centery+resizey*0.5)/resizey。
6.如权利要求5 所述的自适应贴图***，其特征在于，所述转换坐标装置包括：
定位模块，用于获取图像的宽高比，定位图像中关键物体上关键点的位置；
获取关键点参数模块、用于获取关键点移动的距离以及关键物体的转动角度；以及
转换模块，用于根据图像的宽高比、关键点移动的距离以及关键物体的转动角度，对图像上的任意一点进行旋转矩阵转换，获得对应该任意一点的转换后的坐标。
CN201710193044.4A 2017-03-28 2017-03-28 一种随图像中关键点移动的自适应贴图方法和*** Active CN107122774B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710193044.4A CN107122774B (zh) 2017-03-28 2017-03-28 一种随图像中关键点移动的自适应贴图方法和***
PCT/CN2017/120135 WO2018176958A1 (zh) 2017-03-28 2017-12-29 一种随图像中关键点移动的自适应贴图方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710193044.4A CN107122774B (zh) 2017-03-28 2017-03-28 一种随图像中关键点移动的自适应贴图方法和***

Publications (2)

Publication Number Publication Date
CN107122774A CN107122774A (zh) 2017-09-01
CN107122774B true CN107122774B (zh) 2019-12-03

Family

ID=59717365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710193044.4A Active CN107122774B (zh) 2017-03-28 2017-03-28 一种随图像中关键点移动的自适应贴图方法和***

Country Status (2)

Country Link
CN (1) CN107122774B (zh)
WO (1) WO2018176958A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122774B (zh) * 2017-03-28 2019-12-03 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和***
CN109509140A (zh) * 2017-09-15 2019-03-22 阿里巴巴集团控股有限公司 显示方法及装置
CN109587390B (zh) * 2017-09-29 2021-05-07 腾讯科技（深圳）有限公司 画面渲染方法、画面渲染装置及存储介质
CN107679497B (zh) * 2017-10-11 2023-06-27 山东新睿信息科技有限公司 视频面部贴图特效处理方法及生成***
CN107808372B (zh) * 2017-11-02 2022-01-28 北京奇虎科技有限公司 图像穿越处理方法、装置、计算设备及计算机存储介质
CN108205822B (zh) * 2017-12-13 2020-09-08 中兴通讯股份有限公司 贴图方法及装置
CN108305212A (zh) * 2018-01-09 2018-07-20 武汉斗鱼网络科技有限公司 图像混合方法、存储介质、电子设备及***
CN110020577B (zh) * 2018-01-10 2021-03-16 武汉斗鱼网络科技有限公司 人脸关键点扩展计算方法、存储介质、电子设备及***
CN108921000B (zh) * 2018-04-16 2024-02-06 深圳市深网视界科技有限公司 头部角度标注、预测模型训练、预测方法、设备和介质
CN108846878A (zh) * 2018-06-07 2018-11-20 奇酷互联网络科技（深圳）有限公司 人脸贴图生成方法、装置、可读存储介质及移动终端
CN110378991A (zh) * 2018-11-07 2019-10-25 深圳格调网络运营有限公司 虚拟环境下模型与贴图的匹配方法
CN109614059B (zh) * 2018-12-19 2023-01-10 森大（深圳）技术有限公司 Gerber文件处理方法、装置及计算机可读存储介质
CN109819316B (zh) * 2018-12-28 2021-06-01 北京字节跳动网络技术有限公司 处理视频中人脸贴纸的方法、装置、存储介质及电子设备
CN111383170B (zh) * 2018-12-28 2023-08-15 广州市百果园网络科技有限公司 图片关键点的调整方法、装置及终端
CN111126344B (zh) * 2019-12-31 2023-08-01 杭州趣维科技有限公司 一种生成人脸额头关键点的方法与***
CN111652918B (zh) * 2020-06-04 2023-08-18 深圳地平线机器人科技有限公司 确定3d脸部模型的方法、装置、介质以及电子设备
CN114119684B (zh) * 2020-08-31 2023-02-28 ***通信集团浙江有限公司 基于四面体结构的标记点配准方法
CN112489157B (zh) * 2020-12-18 2024-03-19 广州视源电子科技股份有限公司 相框绘制方法、设备及存储介质
CN113487717B (zh) * 2021-07-13 2024-02-23 网易（杭州）网络有限公司 图片处理方法及装置、计算机可读存储介质、电子设备
CN113687823B (zh) * 2021-07-30 2023-08-01 稿定（厦门）科技有限公司 基于html的四边形区块非线性变换方法及其***
CN114429666B (zh) * 2022-04-06 2022-07-01 深圳市大头兄弟科技有限公司 视频的人脸替换方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231658A (zh) * 2008-02-02 2008-07-30 谢亦玲 饰品计算机模拟配戴装置
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN105069745A (zh) * 2015-08-14 2015-11-18 济南中景电子科技有限公司 基于普通图像传感器及增强现实技术的带表情变脸***及方法
CN105354876A (zh) * 2015-10-20 2016-02-24 何家颖 一种基于移动终端的实时立体试衣方法
WO2016086893A1 (zh) * 2014-12-04 2016-06-09 高德软件有限公司 一种显示电子地图的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
CN103090875A (zh) * 2012-11-26 2013-05-08 华南理工大学 一种基于双摄像头的实时实景匹配车载导航方法及装置
CN104881526B (zh) * 2015-05-13 2020-09-01 深圳彼爱其视觉科技有限公司 一种基于3d的物品穿戴方法及眼镜试戴方法
CN104898832B (zh) * 2015-05-13 2020-06-09 深圳彼爱其视觉科技有限公司 一种基于智能终端的3d实时眼镜试戴方法
CN104899917B (zh) * 2015-05-13 2019-06-18 深圳彼爱其视觉科技有限公司 一种基于3d的物品虚拟穿戴的图片保存和分享方法
CN107122774B (zh) * 2017-03-28 2019-12-03 武汉斗鱼网络科技有限公司 一种随图像中关键点移动的自适应贴图方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231658A (zh) * 2008-02-02 2008-07-30 谢亦玲 饰品计算机模拟配戴装置
WO2016086893A1 (zh) * 2014-12-04 2016-06-09 高德软件有限公司 一种显示电子地图的方法和装置
CN104881114A (zh) * 2015-05-13 2015-09-02 深圳彼爱其视觉科技有限公司 一种基于3d眼镜试戴的角度转动实时匹配方法
CN105069745A (zh) * 2015-08-14 2015-11-18 济南中景电子科技有限公司 基于普通图像传感器及增强现实技术的带表情变脸***及方法
CN105354876A (zh) * 2015-10-20 2016-02-24 何家颖 一种基于移动终端的实时立体试衣方法

Also Published As

Publication number Publication date
CN107122774A (zh) 2017-09-01
WO2018176958A1 (zh) 2018-10-04

Similar Documents

Publication Publication Date Title
CN107122774B (zh) 一种随图像中关键点移动的自适应贴图方法和***
CN107646126B (zh) 用于移动设备的相机姿态估计
US8730323B2 (en) Image converter
US20170363949A1 (en) Multi-tier camera rig for stereoscopic image capture
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN102968809B (zh) 在增强现实领域实现虚拟信息标注及绘制标注线的方法
WO2016191467A1 (en) Capture and render of panoramic virtual reality content
Li et al. A geodesic-preserving method for image warping
CN103838437A (zh) 基于投影图像的触控定位控制方法
WO2018035347A1 (en) Multi-tier camera rig for stereoscopic image capture
TW201101226A (en) Image processing method and related apparatus for rendering two-dimensional image to show three-dimensional effect
JP6096634B2 (ja) 仮想現実を用いた３次元地図表示システム
CN103413339B (zh) 十亿像素高动态范围图像重建与显示的方法
WO2013069555A1 (ja) 画像処理装置および方法、並びにプログラム
JP5847610B2 (ja) Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
CN116932119B (zh) 虚拟屏幕显示方法、装置、设备及计算机可读存储介质
CN107958491B (zh) 移动增强现实虚拟坐标与施工现场坐标匹配方法
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
CN113724141B (zh) 一种图像校正方法、装置及电子设备
CN108171802B (zh) 一种云端与终端结合实现的全景增强现实实现方法
CN114596198A (zh) 一种图像处理方法、装置、设备及存储介质
Au et al. Ztitch: A mobile phone application for immersive panorama creation, navigation, and social sharing
CN110402454A (zh) 图像修正装置、图像修正方法及程序
CN114511448B (zh) 拼接图像的方法、装置、设备和介质
US20240119676A1 (en) Image generation method, apparatus, and system, and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant