CN113744364B - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN113744364B CN113744364B CN202110178127.2A CN202110178127A CN113744364B CN 113744364 B CN113744364 B CN 113744364B CN 202110178127 A CN202110178127 A CN 202110178127A CN 113744364 B CN113744364 B CN 113744364B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- illumination
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000005286 illumination Methods 0.000 claims abstract description 77
- 230000005012 migration Effects 0.000 claims abstract description 16
- 238000013508 migration Methods 0.000 claims abstract description 16
- 230000009466 transformation Effects 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种图像处理方法和装置。图像处理方法包括:利用预设模板图像替换场景图像中的目标,以生成虚拟图像;将场景图像划分为多个具有预定大小的图像块;根据每个图像块中落入目标区域的像素点的像素值均值与场景图像中的目标区域内的像素点的像素值均值确定场景图像的像素残差;根据像素残差确定光照偏移量;根据光照偏移量对虚拟图像中的像素点的像素值进行更新,以实现光照迁移。
Description
技术领域
本公开涉及信息处理领域,特别涉及一种图像处理方法和装置。
背景技术
目前,将图像展示作为宣传手段以得到了广泛应用,通过展示在不同装修场景下的地板、地毯等物品,可有效提升宣传效果。例如,通过将场景图像中的原地板更换为用户所选择的模板图像以生成虚拟图像,并采用虚拟光源对虚拟图像中的新地标进行渲染,以使得虚拟图像看起来像是在真实场景中拍摄的。
发明内容
发明人注意到,在相关技术中,被渲染的图像不够平滑,有突兀感,从而降低了用户体验。
据此,本公开提供一种图像处理方案,能够通过光照迁移使得虚拟图像更加自然。
根据本公开实施例的第一方面,提供一种图像处理方法,包括:利用预设模板图像替换场景图像中的目标,以生成虚拟图像;将所述场景图像划分为多个具有预定大小的图像块;根据所述每个图像块中落入所述目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差;根据所述像素残差确定光照偏移量;根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新,以实现光照迁移。
在一些实施例中,利用预设模板图像替换场景图像中的目标包括:将所述模板图像映射到所述场景图像的像素坐标系中,以生成转换图像;将所述场景图像中的目标更换为所述转换图像,以生成所述虚拟图像。
在一些实施例中,将所述模板图像映射到所述场景图像的像素坐标系中包括:在所述场景图像中生成所述目标的最小外接矩形;将所述最小外接矩形从所述像素坐标系映射到所述预设平面坐标系中以得到第一图形;将所述第一图形变换为正方形以得到第二图形;计算将所述模板图像映射为所述第二图形的第一变换子矩阵;计算将所述第一图形映射为所述最小外接矩形的第二变换子矩阵;根据所述第一变换子矩阵和所述第二变换子矩阵得到所述变换矩阵;根据所述变换矩阵将所述模板图像映射到所述像素坐标系中。
在一些实施例中,所述变换矩阵为所述第二变换子矩阵和所述第一变换子矩阵的乘积。
在一些实施例中,确定所述场景图像的像素残差包括:计算所述场景图像中的目标区域内的像素点的像素值均值以作为参照均值;计算所述每个图像块中落入所述目标区域的像素点的像素值均值以作为所述每个图像块的像素值均值;根据所述每个图像块的像素值均值与所述参照均值之差确定所述场景图像的像素残差。
在一些实施例中,根据所述像素残差确定光照偏移量包括:将所述像素残差进行插值处理以得到所述光照偏移量,其中所述光照偏移量对应的可视化图像和所述虚拟图像的大小相同。
在一些实施例中,根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新包括:计算所述光照偏移量中与所述虚拟图像中第i行、第j列的像素点Pi,j对应的偏移量Di,j与光照迁移调节参数σ的第一乘积;计算所述像素点Pi,j的红色通道的像素值与所述第一乘积的第一和值,所述像素点Pi,j的绿色通道的像素值/>与所述第一乘积的第二和值,以及所述像素点Pi,j的蓝色通道的像素值/>与所述第一乘积的第三和值;分别将所述第一和值和第一参数中的最小值与第二参数中的最大值、所述第二和值和第一参数中的最小值与第二参数中的最大值、所述第三和值和第一参数中的最小值与第二参数中的最大值分别作为所述第一变换图像中第i行、第j列的像素点的红色通道的像素值/>绿色通道的像素值/>和蓝色通道的像素值/>
在一些实施例中,在根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新以生成第一变换图像后,利用所述光照偏移量调节所述第一变换图像的饱和度,以生成第二变换图像;将所述第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。
在一些实施例中,利用所述光照偏移量调节所述第一变换图像的饱和度包括:对所述光照偏移量进行归一化处理;计算经过归一化处理的光照偏移量中与所述第一变换图像中第i行、第j列的像素点Pi,j对应的偏移量为与饱和度调节参数α的第二乘积;计算第三参数与所述第二乘积的差值;将第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值/>与所述差值的第三乘积与第四参数中的最大值作为所述第二变换图像中第i行、第j列的像素点的饱和度通道的像素值/>
根据本公开实施例的第二方面,提供一种图像处理装置,包括:第一处理模块,被配置为利用预设模板图像替换场景图像中的目标,以生成虚拟图像;第二处理模块,被配置为将所述场景图像划分为多个具有预定大小的图像块,根据所述每个图像块中落入所述目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差;第三处理模块,被配置为根据所述像素残差确定光照偏移量;光照迁移模块,被配置为根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新,以实现光照迁移。
根据本公开实施例的第三方面,提供一种图像处理装置,包括:存储器,被配置为存储指令;处理器,耦合到存储器,处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其中,计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如上述任一实施例涉及的方法。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开一个实施例的图像处理方法的流程示意图;
图2为本公开一个实施例的场景图像示意图;
图3为本公开一个实施例的模板图像示意图;
图4为本公开一个实施例的变换图像示意图;
图5A和图5B为本公开一些实施例的场景图像及掩码图像示意图;
图6为本公开一个实施例的虚拟图像示意图;
图7A至图7C为本公开一些实施例的场景图像及光照偏移量示意图;
图8A至图8C为本公开一些实施例的场景图像、虚拟图像和变换图像示意图;
图9为本公开一个实施例的图像处理装置的结构示意图;
图10为本公开另一个实施例的图像处理装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1为本公开一个实施例的图像处理方法的流程示意图。在一些实施例中,下列的图像处理方法步骤由图像处理装置执行。
在步骤101,利用预设模板图像替换场景图像中的目标,以生成虚拟图像。
在一些实施例中,将模板图像映射到场景图像的像素坐标系中,以生成转换图像。将场景图像中的目标更换为转换图像,以生成虚拟图像。
例如,如图2所示,场景图像中的目标为地板。
首先,在场景图像I1中生成目标的最小外接矩形,如图2中的白色线框所示。例如,通过在场景图像中找到包括地板区域的四个顶点,通过这四个顶点形成目标的最小外接矩形Reg。
然后,将最小外接矩形Reg从场景图像I1的像素坐标系映射到预设平面坐标系中以得到第一图形Box。由于模板图像I0为正方形,如图3所示,为避免在将模板图像I0映射到场景图像中I1中产生形变,还需要将第一图形Box变换为正方形以得到第二图形Squ。
接下来,计算将模板图像I0映射为第二图形Squ的第一变换子矩阵T1,以及将第一图形Box映射为最小外接矩形Reg的第二变换子矩阵T2。根据第一变换子矩阵和第二变换子矩阵得到变换矩阵。
在一些实施例中,变换矩阵为第二变换子矩阵和第一变换子矩阵的乘积,即变换矩阵为T2T1。
最后根据变换矩阵将模板图像I0映射到像素坐标系中。
例如,最小外接矩形Reg的四个顶点坐标为:
其中
平面坐标系下的第一图形Box的顶点坐标为:
设:
as=max(w),h)) (5)
则上述公式(2)可表示为:
平面坐标系下的第二图形Squ的顶点坐标为:
VSquare={(0,0),(as,0),(as,as),(0,as)} (7)
设模板图像I0的大小为则模板图像I0的顶点坐标为:
通过计算将模板图像I0的顶点坐标映射到第二图形Squ的顶点坐标VSquare的第一变换子矩阵T1,以及将第一图形Box的顶点坐标VBox映射到最小外接矩形Reg的顶点坐标VReg的第二变换子矩阵T2。利用变换矩阵T2T1将模板图像I0映射到场景图像I1的坐标系中以生成转换图像I3,如图4所示。
在一些实施例中,为了将场景图像I1中的目标更换为转换图像I3,针对如图5A所示的场景图像I1,标注出相应的目标掩码图像M,如图5B所示。
接下来,通过利用公式(9)将场景图像I1中的目标更换为转换图像I3,以生成虚拟图像I2。
其中Mi,j表示掩码图像M中的第i行、第j列的像素点的像素值。若Mi,j>0,则表明场景图像I1中的第i行、第j列的像素点属于目标区域,在这种情况下用转换图像I3中的第i行、第j列的像素点的像素值替代场景图像I1中的第i行、第j列的像素点的像素值。若Mi,j=0,则表明场景图像I1中的第i行、第j列的像素点不属于目标区域,在这种情况下不对场景图像I1中的第i行、第j列的像素点的像素值进行调整。由此实现将场景图像I1中的目标更换为转换图像I3,如图6所示。
在步骤102,将场景图像划分为多个具有预定大小的图像块。
例如,将场景图像I1划分成h×w个图像块,每个图形块的大小为b×b。设场景图像I1的大小为H×W,则h和w满足:
其中ceil为向上取整函数。
在步骤103,根据每个图像块中落入目标区域的像素点的像素值均值与场景图像中的目标区域内的像素点的像素值均值确定场景图像的像素残差。
在一些实施例中,通过计算场景图像中的目标区域内的像素点的像素值均值以作为参照均值,计算每个图像块中落入目标区域的像素点的像素值均值以作为每个图像块的像素值均值,根据每个图像块的像素值均值与参照均值之差确定场景图像的像素残差。
例如,场景图像I1中的第i行、第j列的像素点的红色通道、绿色通道和蓝色通道的像素值分别为则场景图像I1中的目标区域内的像素点的像素值均值u为:
其中couyt(Mi,j>0)表示掩码图像M中像素值大于0的像素个数,也就是场景图像I1中的目标区域的像素个数。
针对场景图像I1中的每个图形块,按照上述公式(12),落入目标区域的像素点的像素值均值us,t,0≤|<h,0≤t<w。则像素残差的第s行,第t列的值/>为:
这里需要说明的是,像素残差D1中大于0的区域为光照区域,数值越大则光照越强。像素残差D1中小于0的区域为阴影区域,数值越小则阴影越明显。
在步骤104,根据像素残差确定光照偏移量。
在一些实施例中,将像素残差进行插值处理以得到光照偏移量,其中光照偏移量对应的可视化图像和虚拟图像的大小相同。
为了能够将像素残差D1融合到虚拟图像I2中,对D1进行插值以得到光照偏移量D∈Rd×W,其中光照偏移量D对应的可视化图像和虚拟图像的大小相同。
例如,图7A为场景图像I1,图7B为光照偏移量D中大于0部分的可视化图像,图7C为光照偏移量D中小于0部分的可视化图像。图7B明显地呈现出光照区域,图7C明显地呈现出因椅子遮挡而形成的阴影区域。
在步骤105,根据光照偏移量对虚拟图像中的像素点的像素值进行更新,以实现光照迁移。
在一些实施例中,根据光照偏移量对虚拟图像中的像素点的像素值进行更新包括:计算所述光照偏移量中与所述虚拟图像中第i行、第j列的像素点Pi,j对应的偏移量Di,j与光照迁移调节参数σ的第一乘积。计算所述像素点Pi,j的红色通道的像素值与所述第一乘积的第一和值,所述像素点Pi,j的绿色通道的像素值/>与所述第一乘积的第二和值,以及所述像素点Pi,j的蓝色通道的像素值/>与所述第一乘积的第三和值。分别将所述第一和值和第一参数中的最小值与第二参数中的最大值、所述第二和值和第一参数中的最小值与第二参数中的最大值、所述第三和值和第一参数中的最小值与第二参数中的最大值分别作为所述第一变换图像中第i行、第j列的像素点的红色通道的像素值/>绿色通道的像素值/>和蓝色通道的像素值/>
例如,第一参数为255,第二参数为0。
在一些实施例中,利用下列公式对虚拟图像中的每个像素点的像素值进行更新以生成第一变换图像。
虚拟图像I2中第i行、第j列的像素点Pi,j的红色通道、绿色通道和蓝色通道的像素值分别为和/>光照偏移量中与像素点Pi,j对应的偏移量为Di,j,第一变换图像中第i行、第j列的像素点的红色通道、绿色通道和蓝色通道的像素值分别为/>和/>σ为光照迁移调节参数,例如σ=0.7。max为取最大值函数,min为取最小值函数。
在一些实施例中,通过利用光照偏移量来调节第一变换图像的饱和度,能够使所生成的图像更加自然。
在根据光照偏移量对虚拟图像中的像素点的像素值进行更新以生成第一变换图像后,利用光照偏移量调节第一变换图像的饱和度,以生成第二变换图像。
在一些实施例中,利用所述光照偏移量调节所述第一变换图像的饱和度包括:首先对所述光照偏移量进行归一化处理。接下来计算经过归一化处理的光照偏移量中与所述第一变换图像中第i行、第j列的像素点Pi,j对应的偏移量为与饱和度调节参数α的第二乘积。计算第三参数与所述第二乘积的差值。最后将第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值/>与所述差值的第三乘积与第四参数中的最大值作为所述第二变换图像中第i行、第j列的像素点的饱和度通道的像素值/>
例如,第三参数为1,第四参数为0。
例如,在对光照偏移量D进行归一化处理以得到Dn后,利用下列公式对第一变换图像中的每个像素点的像素值进行更新以生成第二变换图像。
第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值为经过归一化处理的光照偏移量Dn中与像素点Pi,j对应的偏移量为/>
第二变换图像中第i行、第j列的像素点的饱和度通道的像素值为α为饱和度调节参数,例如α=0.5。
接下来,将第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。
例如,图8A为场景图像I1,图8B为生成的虚拟图像I2,图8C为经过光照迁移和饱和度调节后的图像。相比于图8B,图8C所呈现的图像更加自然。
图9为本公开一个实施例的图像处理装置的结构示意图。如图9所示,图像处理装置包括第一处理模块901、第二处理模块902、第三处理模块903和光照迁移模块904。
第一处理模块901被配置为利用预设模板图像替换场景图像中的目标,以生成虚拟图像。
在一些实施例中,将模板图像映射到场景图像的像素坐标系中,以生成转换图像。将场景图像中的目标更换为转换图像,以生成虚拟图像。
例如,如图2所示,场景图像中的目标为地板。
首先,在场景图像I1中生成目标的最小外接矩形,如图2中的白色线框所示。例如,通过在场景图像中找到包括地板区域的四个顶点,通过这四个顶点形成目标的最小外接矩形Reg。
然后,将最小外接矩形Reg从场景图像I1的像素坐标系映射到预设平面坐标系中以得到第一图形Box。由于模板图像I0为正方形,如图3所示,为避免在将模板图像I0映射到场景图像中I1中产生形变,还需要将第一图形Box变换为正方形以得到第二图形Squ。
接下来,计算将模板图像I0映射为第二图形Squ的第一变换子矩阵T1,以及将第一图形Box映射为最小外接矩形Reg的第二变换子矩阵T2。根据第一变换子矩阵和第二变换子矩阵得到变换矩阵。
在一些实施例中,变换矩阵为第二变换子矩阵和第一变换子矩阵的乘积,即变换矩阵为T2T1。根据变换矩阵将模板图像I0映射到像素坐标系中。
第二处理模块902被配置为将场景图像划分为多个具有预定大小的图像块,根据每个图像块中落入目标区域的像素点的像素值均值与场景图像中的目标区域内的像素点的像素值均值确定场景图像的像素残差。
在一些实施例中,通过计算场景图像中的目标区域内的像素点的像素值均值以作为参照均值,计算每个图像块中落入目标区域的像素点的像素值均值以作为每个图像块的像素值均值,根据每个图像块的像素值均值与参照均值之差确定场景图像的像素残差。
第三处理模块903被配置为根据像素残差确定光照偏移量。
在一些实施例中,将像素残差进行插值处理以得到光照偏移量,其中光照偏移量对应的可视化图像和虚拟图像的大小相同。
光照迁移模块904被配置为根据光照偏移量对虚拟图像中的像素点的像素值进行更新,以实现光照迁移。
在一些实施例中,通过利用上述公式(14)至公式(16)对虚拟图像中的每个像素点的像素值进行更新以生成第一变换图像。
在一些实施例中,为了能够使所生成的图像更加自然,在根据光照偏移量对虚拟图像中的像素点的像素值进行更新以生成第一变换图像后,利用光照偏移量调节第一变换图像的饱和度,以生成第二变换图像。例如利用上述公式(17)进行饱和度调整。
接下来,将第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。从而确保所生成的图像更加自然。
图10为本公开另一个实施例的图像处理装置的结构示意图。如图10所示,图像处理装置包括存储器1001和处理器1002。
存储器1001用于存储指令,处理器1002耦合到存储器1001,处理器1002被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。
如图10所示,该图像处理装置还包括通信接口1003,用于与其它设备进行信息交互。同时,该图像处理装置还包括总线1004,处理器1002、通信接口1003、以及存储器1001通过总线1004完成相互间的通信。
存储器1001可以包含高速RAM存储器,也可还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。存储器1001也可以是存储器阵列。存储器1001还可能被分块,并且块可按一定的规则组合成虚拟卷。
此外,处理器1002可以是一个中央处理器CPU,或者可以是专用集成电路ASIC,或是被配置成实施本公开实施例的一个或多个集成电路。
本公开同时还涉及一种计算机可读存储介质,其中计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如图1中任一实施例涉及的方法。
在一些实施例中,在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller,简称:PLC)、数字信号处理器(Digital Signal Processor,简称:DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,简称:ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,简称:FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用,并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (11)
1.一种图像处理方法,包括:
利用预设模板图像替换场景图像中的目标,以生成虚拟图像;
将所述场景图像划分为多个具有预定大小的图像块;
根据每个图像块中落入目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差;
根据所述像素残差确定光照偏移量;
根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新,以实现光照迁移;
其中,根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新包括:
计算所述光照偏移量中与所述虚拟图像中第i行、第j列的像素点Pi,j对应的偏移量Di,j与光照迁移调节参数σ的第一乘积;
计算所述像素点Pi,j的红色通道的像素值与所述第一乘积的第一和值,所述像素点Pi,j的绿色通道的像素值/>与所述第一乘积的第二和值,以及所述像素点Pi,j的蓝色通道的像素值/>与所述第一乘积的第三和值;
分别将所述第一和值和第一参数中的最小值与第二参数中的最大值、所述第二和值和第一参数中的最小值与第二参数中的最大值、所述第三和值和第一参数中的最小值与第二参数中的最大值分别作为第一变换图像中第i行、第j列的像素点的红色通道的像素值绿色通道的像素值/>和蓝色通道的像素值/>
2.根据权利要求1所述的方法,其中,利用预设模板图像替换场景图像中的目标包括:
将所述模板图像映射到所述场景图像的像素坐标系中,以生成转换图像;
将所述场景图像中的目标更换为所述转换图像,以生成所述虚拟图像。
3.根据权利要求2所述的方法,其中,将所述模板图像映射到所述场景图像的像素坐标系中包括:
在所述场景图像中生成所述目标的最小外接矩形;
将所述最小外接矩形从所述像素坐标系映射到预设平面坐标系中以得到第一图形;
将所述第一图形变换为正方形以得到第二图形;
计算将所述模板图像映射为所述第二图形的第一变换子矩阵;
计算将所述第一图形映射为所述最小外接矩形的第二变换子矩阵;
根据所述第一变换子矩阵和所述第二变换子矩阵得到变换矩阵;
根据所述变换矩阵将所述模板图像映射到所述像素坐标系中。
4.根据权利要求3所述的方法,其中,
所述变换矩阵为所述第二变换子矩阵和所述第一变换子矩阵的乘积。
5.根据权利要求1所述的方法,其中,确定所述场景图像的像素残差包括:
计算所述场景图像中的目标区域内的像素点的像素值均值以作为参照均值;
计算所述每个图像块中落入所述目标区域的像素点的像素值均值以作为所述每个图像块的像素值均值;
根据所述每个图像块的像素值均值与所述参照均值之差确定所述场景图像的像素残差。
6.根据权利要求5所述的方法,其中,根据所述像素残差确定光照偏移量包括:
将所述像素残差进行插值处理以得到所述光照偏移量,其中所述光照偏移量对应的可视化图像和所述虚拟图像的大小相同。
7.根据权利要求1-6中任一项所述的方法,还包括:
在根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新以生成第一变换图像后,利用所述光照偏移量调节所述第一变换图像的饱和度,以生成第二变换图像;
将所述第二变换图像的色调饱和度亮度HSV颜色空间中的色调通道、饱和度通道和亮度通道中的像素值转换到红绿蓝RGB颜色空间中。
8.根据权利要求7所述的方法,其中,利用所述光照偏移量调节所述第一变换图像的饱和度包括:
对所述光照偏移量进行归一化处理;
计算经过归一化处理的光照偏移量中与所述第一变换图像中第i行、第j列的像素点Pi,j对应的偏移量为与饱和度调节参数α的第二乘积;
计算第三参数与所述第二乘积的差值;
将第一变换图像中第i行、第j列的像素点Pi,j的饱和度通道的像素值与所述差值的第三乘积与第四参数中的最大值作为所述第二变换图像中第i行、第j列的像素点的饱和度通道的像素值/>
9.一种图像处理装置,包括:
第一处理模块,被配置为利用预设模板图像替换场景图像中的目标,以生成虚拟图像;
第二处理模块,被配置为将所述场景图像划分为多个具有预定大小的图像块,根据每个图像块中落入目标区域的像素点的像素值均值与所述场景图像中的目标区域内的像素点的像素值均值确定所述场景图像的像素残差;
第三处理模块,被配置为根据所述像素残差确定光照偏移量;
光照迁移模块,被配置为根据所述光照偏移量对所述虚拟图像中的像素点的像素值进行更新,以实现光照迁移,其中计算所述光照偏移量中与所述虚拟图像中第i行、第j列的像素点Pi,j对应的偏移量Di,j与光照迁移调节参数σ的第一乘积,计算所述像素点Pi,j的红色通道的像素值与所述第一乘积的第一和值,所述像素点Pi,j的绿色通道的像素值/>与所述第一乘积的第二和值,以及所述像素点Pi,j的蓝色通道的像素值/>与所述第一乘积的第三和值,分别将所述第一和值和第一参数中的最小值与第二参数中的最大值、所述第二和值和第一参数中的最小值与第二参数中的最大值、所述第三和值和第一参数中的最小值与第二参数中的最大值分别作为第一变换图像中第i行、第j列的像素点的红色通道的像素值绿色通道的像素值/>和蓝色通道的像素值/>
10.一种图像处理装置,包括:
存储器,被配置为存储指令;
处理器,耦合到存储器,处理器被配置为基于存储器存储的指令执行实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其中,计算机可读存储介质存储有计算机指令,指令被处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110178127.2A CN113744364B (zh) | 2021-02-09 | 2021-02-09 | 图像处理方法和装置 |
US18/264,739 US20240127507A1 (en) | 2021-02-09 | 2022-01-04 | Image processing method and image processing apparatus |
PCT/CN2022/070038 WO2022170890A1 (zh) | 2021-02-09 | 2022-01-04 | 图像处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110178127.2A CN113744364B (zh) | 2021-02-09 | 2021-02-09 | 图像处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113744364A CN113744364A (zh) | 2021-12-03 |
CN113744364B true CN113744364B (zh) | 2024-04-05 |
Family
ID=78728167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110178127.2A Active CN113744364B (zh) | 2021-02-09 | 2021-02-09 | 图像处理方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240127507A1 (zh) |
CN (1) | CN113744364B (zh) |
WO (1) | WO2022170890A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113744364B (zh) * | 2021-02-09 | 2024-04-05 | 北京沃东天骏信息技术有限公司 | 图像处理方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106851090A (zh) * | 2016-12-20 | 2017-06-13 | 广东欧珀移动通信有限公司 | 图像处理方法与装置、控制方法与装置、成像与电子装置 |
CN107205142A (zh) * | 2017-06-30 | 2017-09-26 | 青岛海信电器股份有限公司 | 一种图像色彩偏移的方法、装置及显示设备 |
CN110473176A (zh) * | 2019-07-29 | 2019-11-19 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法及装置、眼底图像处理方法、电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8330769B2 (en) * | 2009-01-09 | 2012-12-11 | Disney Enterprises, Inc. | System and method for monochromatic tinting using saturation maps |
CN102881011B (zh) * | 2012-08-31 | 2015-04-29 | 北京航空航天大学 | 基于区域分割的肖像光照迁移方法 |
CN104065859B (zh) * | 2014-06-12 | 2017-06-06 | 青岛海信电器股份有限公司 | 一种全景深图像的获取方法及摄像装置 |
CN106251286B (zh) * | 2015-12-30 | 2019-11-22 | 深圳超多维科技有限公司 | 图像处理方法、装置及设备 |
CN106780707B (zh) * | 2016-11-17 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 模拟场景中全局光照的方法和装置 |
CN113744364B (zh) * | 2021-02-09 | 2024-04-05 | 北京沃东天骏信息技术有限公司 | 图像处理方法和装置 |
-
2021
- 2021-02-09 CN CN202110178127.2A patent/CN113744364B/zh active Active
-
2022
- 2022-01-04 US US18/264,739 patent/US20240127507A1/en active Pending
- 2022-01-04 WO PCT/CN2022/070038 patent/WO2022170890A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106851090A (zh) * | 2016-12-20 | 2017-06-13 | 广东欧珀移动通信有限公司 | 图像处理方法与装置、控制方法与装置、成像与电子装置 |
CN107205142A (zh) * | 2017-06-30 | 2017-09-26 | 青岛海信电器股份有限公司 | 一种图像色彩偏移的方法、装置及显示设备 |
CN110473176A (zh) * | 2019-07-29 | 2019-11-19 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法及装置、眼底图像处理方法、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113744364A (zh) | 2021-12-03 |
WO2022170890A1 (zh) | 2022-08-18 |
US20240127507A1 (en) | 2024-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
WO2017023210A1 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
US7102637B2 (en) | Method of seamless processing for merging 3D color images | |
CN111563908B (zh) | 一种图像处理方法及相关装置 | |
CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
WO2020093653A1 (zh) | 色彩调整方法、色彩调整装置、电子设备及计算机可读存储介质 | |
JP2023552538A (ja) | 画像処理方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
CN113744364B (zh) | 图像处理方法和装置 | |
JP3126046B2 (ja) | カラー画像の色調整方法及び色調整装置 | |
CN111311720B (zh) | 一种纹理图像的处理方法和装置 | |
CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
US7907147B2 (en) | Texture filtering apparatus, texture mapping apparatus, and method and program therefor | |
CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
KR102327304B1 (ko) | 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 | |
KR20170047780A (ko) | 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법 | |
CN113781571A (zh) | 图像处理方法和装置 | |
JP2018106316A (ja) | 画像補正処理方法、および、画像補正処理装置 | |
EP3588449A1 (en) | Devices, systems, and methods for color correcting digital images | |
KR100602739B1 (ko) | 재귀적 제어선 정합을 이용한 반자동 필드 기반 영상 변형방법 | |
CN113766258B (zh) | 直播间虚拟礼物赠送处理方法、设备及存储介质 | |
JP5280940B2 (ja) | 特定色検出回路 | |
TWI595446B (zh) | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 | |
CN112150387B (zh) | 对照片中的人像增强五官立体感的方法及装置 | |
CN113763439A (zh) | 图像处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |