CN113313788A - 图像处理方法和装置、电子设备以及计算机可读存储介质 - Google Patents
图像处理方法和装置、电子设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113313788A CN113313788A CN202010120903.9A CN202010120903A CN113313788A CN 113313788 A CN113313788 A CN 113313788A CN 202010120903 A CN202010120903 A CN 202010120903A CN 113313788 A CN113313788 A CN 113313788A
- Authority
- CN
- China
- Prior art keywords
- frame image
- current frame
- image
- video
- main body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 206010047571 Visual impairment Diseases 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 35
- 210000000746 body region Anatomy 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 19
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本公开是关于一种图像处理方法及装置。图像处理方法,应用于电子设备,包括:利用电子设备的拍摄或从相册选取视频,视频包括当前帧图像、以及当前帧图像向前的一个或多个前序帧图像;确定视频中的主体;基于所确定的主体,通过语义分割算法,得到当前帧图像的主体区域、及当前帧图像和前序帧图像的背景区域;基于当前帧图像和前序帧图像的背景区域,得到当前帧图像的残影图像;将当前帧图像的主体区域和当前帧图像的残影图像进行融合,得到当前帧图像的输出图像。通过语义分割算法得到主体区域和背景区域,经过帧间融合形成残影图像与当前帧图像的主体区域融合得到输出图像,能在任何环境和条件下拍摄并形成高质量的具有残影效果的图片或视频。
Description
技术领域
本公开涉及图像处理领域,尤其涉及图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
背景技术
目前在一些拍摄需求中,通过延时摄影展现运动物体产生的拖影效果的图像,或称残影。延时摄影是通过延长图像传感器的曝光时间,当拍摄画面变化时,从拍摄对象反射的光线,将在图像传感器上持续曝光(成像)呈现连续的移动轨迹,但由于摄像设备感光的限制,无法在光线充足的条件下直接采用延时摄影,或拍摄出的图像效果不理想。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
根据本公开实施例的第一方面,提供一种图像处理方法,应用于电子设备,图像处理包括:利用电子设备的摄像装置拍摄一段视频或者从电子设备的相册中选取一段视频,其中,视频包括当前帧图像、以及当前帧图像向前的一个或多个前序帧图像;确定视频中的主体;基于所确定的主体,通过语义分割算法,得到当前帧图像的主体区域、以及当前帧图像和前序帧图像的背景区域;基于当前帧图像和前序帧图像的背景区域,得到当前帧图像的残影图像;将当前帧图像的主体区域和当前帧图像的残影图像进行融合,得到当前帧图像的输出图像。
在一实施例中,确定视频中的主体,包括:响应于外部指令,确定视频中任一帧的主体;基于视频帧中任一帧的主体,通过目标追踪算法,确定视频中的主体。
在一实施例中,基于当前帧图像和前序帧图像的背景区域,得到当前帧图像的残影图像,包括:将当前帧图像的背景区域、以及当前帧图像依次向前预设数量的前序帧图像的背景区域进行卷积,得到当前帧图像的残影图像。
在一实施例中,基于当前帧图像和前序帧图像的背景区域,得到当前帧图像的残影图像,包括:将当前帧图像的背景区域、以及与当前帧图像相邻的前序帧图像的残影图像进行加权融合,得到当前帧图像的残影图像。
在一实施例中,将当前帧图像的主体区域和当前帧图像的残影图像进行融合,得到当前帧图像的输出图像,包括:当前帧图像的主体区域的边缘与当前帧图像的残影图像进行边缘融合。
根据本公开实施例的第二方面,提供一种图像处理装置,应用于电子设备,图像处理装置包括:获取单元,用于利用电子设备的摄像装置拍摄一段视频或者从电子设备的相册中选取一段视频,其中,视频包括当前帧图像、以及当前帧图像向前的一个或多个前序帧图像;确认单元,用于确定视频帧中的主体;分割单元,用于基于所确定的主体,通过语义分割算法,得到当前帧图像的主体区域、以及当前帧图像和前序帧图像的背景区域;帧间融合单元,用于基于当前帧图像和前序帧图像的背景区域,得到当前帧图像的残影图像;当前帧图像融合单元,用于将当前帧图像的主体区域和当前帧图像的残影图像进行融合,得到当前帧图像的输出图像。
在一实施例中,确认单元用于:响应于外部指令,确定视频中任一帧的主体;基于视频中任一帧的主体,通过目标追踪算法,确定视频中的主体。
在一实施例中,帧间融合单元用于:将当前帧图像的背景区域、以及当前帧图像依次向前预设数量的前序帧图像的背景区域进行卷积,得到当前帧图像的残影图像。
在一实施例中,帧间融合单元用于:将当前帧图像的背景区域、以及与当前帧图像相邻的前序帧图像的残影图像进行加权融合,得到当前帧图像的残影图像。
在一实施例中,当前帧图像融合单元用于:当前帧图像的主体区域的边缘与当前帧图像的残影图像进行边缘融合。
根据本公开实施例的第三方面,提供一种电子设备,包括:存储器,用于存储指令;以及处理器,用于调用存储器存储的指令执行第一方面的图像处理方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,存储有指令,指令被处理器执行时,执行第一方面的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:通过确定主体,并基于所确定的主体进行语义分割算法得到主体区域和背景区域,将背景区域进行帧间融合形成残影图像再与当前帧图像的主体区域继续融合得到融合后的输出图像,能够保证残影效果,又能保证主体清晰,无需延长曝光时间,能够在任何环境和条件下拍摄并形成高质量的具有残影效果的图片或视频。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程示意图。
图2是根据一示例性实施例示出的另一种图像处理方法的流程示意图。
图3、图4、图5是根据一示例性实施例示出的语义分割算法的示意图。
图6、图7、图8是根据一示例性实施例示出的缓存前序帧图像的示意图。
图9是基于二值硬分割出的主体区域示意图。
图10是经过边缘融合后的主体区域示意图。
图11是根据一示例性实施例示出的一种图像处理装置的示意框图。
图12是根据一示例性实施例示出的一种装置的示意框图。
图13是根据一示例性实施例示出的一种电子装置的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在一些相关技术中,通过延时摄影获取具有残影效果的图像,拍摄原理是是延长图像传感器的曝光时间,当拍摄画面变化时,从拍摄对象反射的光线,将在图像传感器上持续曝光呈现连续的移动轨迹。在外界光线充足,将传感器感光调至最低,然后设置最小的进光量,但画面仍会过曝。
另一些技术中,才用灰度镜进行延时摄影,其中灰度镜是一种摄影过程中用于降低亮度的半透明介质,是摄影滤镜的一种,原理是光线进入该介质时,光线发生衰减,从而限制过滤绝大多数光线,只让少量光线直接在传感器上曝光成像,但该种方式所需硬件多,需要掌握更高的拍摄技巧。并且该种方式降低了进光量,使得画面色彩降低。
为解决上述问题,本公开实施例提供一种图像处理方法10,可以满足一般摄像形成具有延时摄影的残影效果,并且保证了主体清晰,图像整体质量高,如图1所示,图像处理方法10可以应用于电子设备,电子设备可以具有用于拍摄视频的摄像装置,也可以具有能够存储视频的存储装置,包括步骤S11-步骤S15:
步骤S11,利用电子设备的摄像装置拍摄一段视频或者从电子设备的相册中选取一段视频,其中,视频包括当前帧图像、以及当前帧图像向前的一个或多个前序帧图像。
本公开实施例中,获取视频的方式可以通过电子设备的摄像装置实时拍摄获取,也可以通过调取电子设备本地相册存储的视频,或者也可以接受其他设备传输的视频。其中,为了保证效果,实时拍摄时应保持摄像装置稳定,避免拍摄的视频中全画面的移动造成的全图拖影,影响最终的图像效果。
步骤S12,确定视频中的主体。
在获取连续的视频之后,确定视频中的主体。主体是在最终生成的图像或视频中需要清晰展现的人或物,不需要对其生成拖影效果,因此需要确定视频中的主体。
在一实施例中,如图2所示,步骤S12可以包括:步骤S121,响应于外部指令,确定视频中任一帧的主体;步骤S122,基于视频中任一帧的主体,通过目标追踪算法,确定视频中的主体。本实施例中,用户可以基于任一帧的画面,通过类似于点按对焦的方式或者其他方式的外部指令,确定该帧画面中的主体,在确认了该帧的主体之后,通过目标追踪算法(tracking),确定视频中的每一帧的主体。其中,目标追踪算法也称目标跟踪,是计算机视觉领域的一个分支,通常任务是在给定视频的第一帧或其中某一帧中的一个目标,然后在其余视频帧中,持续确定该目标的位置。目标追踪算法技术的准确性的影响因素主要有:光线变化、目标形状或角度变化以及目标被遮挡。因此,为保证本公开实施例的图像处理方法10能够更加可靠和准确,拍摄过程尽量保持环境光线稳定、主体相对于拍摄设备的角度尽量一致、同时尽量避免拍摄过程中被遮挡。
步骤S13,基于所确定的主体,通过语义分割算法,得到当前帧图像的主体区域、以及当前帧图像和前序帧图像的背景区域。
对一个视频帧画面,将主体和背景进行语义分割算法(semantic segmentation),根据主体的边界硬分割形成的主体区域,以及除主体区域之外画面剩余部分形成的背景区域。其中,语义分割算法可以是基于图像分类(image classification)和目标检测(objectdetection),对一个图像中目标的边界进行确定,使得图像中的各目标之间、目标与背景之间分解成单独的实体。如图3、图4、图5所示为例,该视频帧中的目标主体是人体,图3是视频中某一帧的图像,通过对该一帧图像的语义分割算法对人体进行分割,能够得到图4所示的分割示意图,再基于确定的主体,将边界进行二值分割、即硬分割,得到如图5所示的主体和背景形成的二值分割图像。
步骤S12与步骤S13的前后顺序不是固定的,在一些实施例中,可以是基于步骤S12,确定全部帧的主体后,再进行步骤S13;在另一些实施例中,可以是针对一帧进行了步骤S12确定主体,再针对该帧进行步骤S13,进行语义分割算法,之后再对下一帧分别进行步骤S12和步骤S13。步骤S12与步骤S13的前后顺序也可以根据实际需求进行调整。
步骤S14,基于当前帧图像和前序帧图像每一帧的背景区域,得到当前帧图像的残影图像。
在除去主体区域之外的背景,存在移动的目标,如人,动物、车辆等物体,将背景区域进行融合形成背景所需要的拖影效果。
在一实施例中,步骤S14可以包括:将当前帧图像的背景区域、以及当前帧图像依次向前预设数量的前序帧图像的背景区域进行卷积,得到当前帧图像的残影图像。
本实施例中,采用的前序帧图像的数量可以是根据预设数量确定,可以是当前帧图像向前全部的前序帧图像;也可以是固定个数,如当前帧图像向前五个前序帧图像,对于连续视频的开头几帧不能满足固定个数的情况,将前序的全部前序帧图像进行处理即可。可以相应的调取缓存,将预设数量的前序帧图像存入缓存中,并且在将多帧进行处理的过程中,当前帧图像处理完毕进入缓存,同时将最先的一个前序帧图像从缓存中清除,使缓存中保持有预设数量的前序帧图像,再进行下一帧的处理。例如,预设数量为五帧,如图6所示,当前帧图像为视频第三帧时,当前帧图像的前两帧也就是视频的第一帧和第二帧保存在缓存中;随着视频的推进,如图7所示,当前帧图像为视频第五帧时,当前帧图像和当前帧图像的前四帧保存在缓存中;随着视频的继续推进,如图8所示,当前帧图像为视频第六帧时,由于预设数量为五帧,将当前帧图像存入缓存的同时将距离当前帧图像距离最远的一帧,即视频的第一帧,从缓存中删除,以保证缓存中保持五帧,从而在对任一当前帧图像执行步骤S14时,即可调取当前缓存中的全部视频帧进行处理。
其中,卷积计算可以是对图像和滤波矩阵进行逐个元素相乘再求和的操作,就相当于将一个二维的函数移动到另一个二维函数的所有位置,换句话说,是将多帧的背景区域进行加权平均,以生成一个新的残影图像,其中,所谓的加权平均是将每个背景区域中对应坐标的像素值与该帧对应的权重相乘,最后算出总和后在进行平均得到一个平均像素值作为残影图像对应坐标位置像素的像素值。如果是RGB格式的图像,即对R、G、B三通道的值进行加权平均;如果是灰度图像,即对灰度值进行加权平均。另外,卷积计算中,每帧的权重可以相同也可以不同,在本公开一个实施例中,在处理当前帧图像的残影图像时,当前帧图像背景区域的权重最高,而前序帧图像对应的权重随着距离当前帧图像的距离增加而减少,换句话说,在多个前序帧图像中,与当前帧图像相邻的前序帧图像对应的权重最高,然后是再向前一帧的前序帧图像对应的权重次高,以此类推。由于背景区域中可能存在的移动目标,并基于此生成拖影效果,与当前帧图像紧邻的前序帧图像中的移动目标的位置与当前帧图像中的位置最接近,而与当前帧图像相距较远的前序帧图像中,移动目标的位置可能距离较远,对距离较远的移动目标设置相对较低的权重,能够更好的展现拖影效果。例如:预设数量是3,当前帧图像背景区域的权重是0.5,当前帧图像前一前序帧图像背景区域的权重是0.34,再向前一前序帧图像的背景区域的权重是0.14,再向前一前序帧图像的背景区域的权重是0.02。权重的设置可以通过正态分布、多种缓冲函数等任一中单调递增曲线进行拟合。
在另一实施例中,步骤S14还可以包括:将当前帧图像的背景区域、以及与当前帧图像相邻的前序帧图像的残影图像进行加权融合,得到当前帧图像的残影图像。在连续处理多帧图像的情况下,已经处理完成的前序帧图像可以作为后续处理中的数据来源,当前帧图像的残影图像也可以基于前一前序帧图像的残影图像生成。本实施例中,每一帧的残影图像可以存入缓存中,作为相应后一帧残影图像生成的基础,具体来说,处理当前帧图像时,可以将前一前序帧图像的残影图像与当前帧图像的背景区域进行加权融合,可以预设相应的权重,如当前帧图像的背景区域对应的权重为0.5或0.6,相应的,前一前序帧图像的残影图像对应的权重为0.5或0.4。通过本实施例的方式,再处理每一帧的残影图像时,均带有前序全部帧的图像信息,同时因为设置有权重,距离当前帧图像越远的前序帧图像对当前帧图像残影图像的作用也就越低,因此也能够方便的生成高质量拖影效果的图像。
步骤S15,将当前帧图像的主体区域和当前帧图像的残影图像进行融合,得到当前帧图像的输出图像。
当前帧图像的主体区域是通过当前帧图像进行语义分割算法得到的清晰的主体区域,而当前帧图像的残影图像是根据当前帧图像和前序帧图像的背景区域经过上述任一实施例中的方式获得,最终将两者进行融合,形成一个主体清晰,背景中的移动目标具有拖影效果的输出图像。
在一实施例中,步骤S15还可以包括:当前帧图像的主体区域的边缘与当前帧图像的残影图像进行边缘融合。由于语义分割算法为硬分割,为使得输出图像更加自然,可以将当前帧图像的主体区域边缘与残影图像进行边缘融合,如采用阿尔法边缘融合(alphablending)或其他图像抠图(image matting)的方式,对边缘进行模糊处理,使得生成的图像更加自然。例如,采用阿尔法边缘融合对主体区域和残影图像进行融合,如图9、图10所示,其中图9是基于二值硬分割出的主体,通过阿尔法边缘融合的叠加公式:
P=α·F+(1-α)·B
其中,P为输出值像素值;F为前景像素值,即本公开实施例中的主体区域像素值;B为背景像素值,即本公开实施例中的残影图像像素值;α为参数,相当于透明度,如果取值为1,即相当于将前景图直接覆盖。通过上述公式进行阿尔法边缘融合,形成如图10所示的边缘,从而使得融合后的图像边缘不突兀,更加柔和,完成后的图像效果更好。
通过上述任一实施例的方式,能够通过一般拍摄的视频生成具有拖影效果的一张图像或连续多个视频帧组成的视频片段,拍摄条件宽松,操作简单,生成的图像质量更高。能够用手机就能实时预览、拍摄主体突出且背景具有拖影效果的图片和视频;同时,在视频拍摄中,路过的行人会被成像成拖影,在制造动静强烈反差的同时,保护了行人的隐私。
基于同一个发明构思,图11示出了一种图像处理装置100,应用于电子设备,图像处理装置100包括:获取单元110,用于利用电子设备的摄像装置拍摄一段视频或者从电子设备的相册中选取一段视频,其中,视频包括当前帧图像、以及当前帧图像向前的一个或多个前序帧图像;确认单元120,用于确定视频中的主体;分割单元130,用于基于所确认的主体,通过语义分割算法,得到当前帧图像的主体区域、以及当前帧图像和前序帧图像的背景区域;帧间融合单元140,用于基于当前帧图像和前序帧图像的背景区域,得到当前帧图像的残影图像;当前帧图像融合单元150,用于将当前帧图像的主体区域和当前帧图像的残影图像进行融合,得到当前帧图像的输出图像。
在一实施例中,确认单元120用于:响应于外部指令,确定视频中任一帧的主体;基于视频中任一帧的主体,通过目标追踪算法,确定视频中的主体。
在一实施例中,帧间融合单元140用于:将当前帧图像的背景区域、以及当前帧图像依次向前预设数量的前序帧图像的背景区域进行卷积,得到当前帧图像的残影图像。
在一实施例中,帧间融合单元140用于:将当前帧图像的背景区域、以及与当前帧图像相邻的前序帧图像的残影图像进行加权融合,得到当前帧图像的残影图像。
在一实施例中,当前帧图像融合单元150用于:当前帧图像的主体区域的边缘与当前帧图像的残影图像进行边缘融合。
关于上述实施例中的图像处理装置100,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的前述任一实施例装置的示意框图。例如,装置300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图12,装置300可以包括以下一个或多个组件:处理组件302,存储器304,电源组件306,多媒体组件308,音频组件310,输入/输出(I/O)的接口312,传感器组件314,以及通信组件316。
处理组件302通常控制装置300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件302可以包括一个或多个模块,便于处理组件302和其他组件之间的交互。例如,处理组件302可以包括多媒体模块,以方便多媒体组件308和处理组件302之间的交互。
存储器304被配置为存储各种类型的数据以支持在装置300的操作。这些数据的示例包括用于在装置300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件306为装置300的各种组件提供电源。电源组件306可以包括电源管理***,一个或多个电源,及其他与为装置300生成、管理和分配电源相关联的组件。
多媒体组件308包括在所述装置300和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件308包括一个前置摄像头和/或后置摄像头。当装置300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件310被配置为输出和/或输入音频信号。例如,音频组件310包括一个麦克风(MIC),当装置300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中,音频组件310还包括一个扬声器,用于输出音频信号。
I/O接口312为处理组件302和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件314包括一个或多个传感器,用于为装置300提供各个方面的状态评估。例如,传感器组件314可以检测到装置300的打开/关闭状态,组件的相对定位,例如所述组件为装置300的显示器和小键盘,传感器组件314还可以检测装置300或装置300一个组件的位置改变,用户与装置300接触的存在或不存在,装置300方位或加速/减速和装置300的温度变化。传感器组件314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置300可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件316经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器304,上述指令可由装置300的处理器320执行以完成上述方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图13是根据一示例性实施例示出的一种电子装置400的框图。例如,装置400可以被提供为一服务器。参照图13,装置400包括处理组件422,其进一步包括一个或多个处理器,以及由存储器442所代表的存储器资源,用于存储可由处理组件422的执行的指令,例如应用程序。存储器442中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件422被配置为执行指令,以执行上述方法。
装置400还可以包括一个电源组件426被配置为执行装置300的电源管理,一个有线或无线网络接口450被配置为将装置400连接到网络,和一个输入输出(I/O)接口458。装置400可以操作基于存储在存储器442的操作***,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
利用所述电子设备的摄像装置拍摄一段视频或者从所述电子设备的相册中选取一段视频,其中,所述视频包括当前帧图像、以及所述当前帧图像向前的一个或多个前序帧图像;
确定所述视频中的主体;
基于所确定的所述主体,通过语义分割算法,得到所述当前帧图像的主体区域、以及所述当前帧图像和所述前序帧图像的背景区域;
基于所述当前帧图像和所述前序帧图像的背景区域,得到所述当前帧图像的残影图像;
将所述当前帧图像的主体区域和所述当前帧图像的残影图像进行融合,得到所述当前帧图像的输出图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定所述视频中的主体,包括:
响应于外部指令,确定所述视频中任一帧的所述主体;
基于所述视频中任一帧的所述主体,通过目标追踪算法,确定所述视频中的所述主体。
3.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述当前帧图像和所述前序帧图像的背景区域,得到所述当前帧图像的残影图像,包括:
将所述当前帧图像的背景区域、以及所述当前帧图像依次向前预设数量的所述前序帧图像的背景区域进行卷积,得到所述当前帧图像的残影图像。
4.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述当前帧图像和所述前序帧图像的背景区域,得到所述当前帧图像的残影图像,包括:
将所述当前帧图像的背景区域、以及与所述当前帧图像相邻的前序帧图像的残影图像进行加权融合,得到所述当前帧图像的残影图像。
5.根据权利要求1所述的图像处理方法,其特征在于,所述将所述当前帧图像的主体区域和所述当前帧图像的残影图像进行融合,得到所述当前帧图像的输出图像,包括:
所述当前帧图像的主体区域的边缘与所述当前帧图像的残影图像进行边缘融合。
6.一种图像处理装置,其特征在于,应用于电子设备,所述装置包括:
获取单元,用于利用所述电子设备的摄像装置拍摄一段视频或者从所述电子设备的相册中选取一段视频,其中,所述视频包括当前帧图像、以及所述当前帧图像向前的一个或多个前序帧图像;
确认单元,用于确定所述视频中的主体;
分割单元,用于基于所确定的所述主体,通过语义分割算法,得到所述当前帧图像的主体区域、以及所述当前帧图像和所述前序帧图像的背景区域;
帧间融合单元,用于基于所述当前帧图像和所述前序帧图像的背景区域,得到所述当前帧图像的残影图像;
当前帧图像融合单元,用于将所述当前帧图像的主体区域和所述当前帧图像的残影图像进行融合,得到所述当前帧图像的输出图像。
7.根据权利要求6所述的图像处理装置,其特征在于,所述确认单元用于:
响应于外部指令,确定所述视频中任一帧的所述主体;
基于所述视频中任一帧的所述主体,通过目标追踪算法,确定所述视频中的所述主体。
8.根据权利要求6所述的图像处理装置,其特征在于,所述帧间融合单元用于:
将所述当前帧图像的背景区域、以及所述当前帧图像依次向前预设数量的所述前序帧图像的背景区域进行卷积,得到所述当前帧图像的残影图像。
9.根据权利要求6所述的图像处理装置,其特征在于,所述帧间融合单元用于:
将所述当前帧图像的背景区域、以及与所述当前帧图像相邻的前序帧图像的残影图像进行加权融合,得到所述当前帧图像的残影图像。
10.根据权利要求6所述的图像处理装置,其特征在于,所述当前帧图像融合单元用于:
所述当前帧图像的主体区域的边缘与所述当前帧图像的残影图像进行边缘融合。
11.一种电子设备,其特征在于,包括:
存储器,用于存储指令;以及
处理器,用于调用所述存储器存储的指令执行如权利要求1-5中任一项所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,存储有指令,所述指令被处理器执行时,执行如权利要求1-5中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120903.9A CN113313788A (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法和装置、电子设备以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010120903.9A CN113313788A (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法和装置、电子设备以及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113313788A true CN113313788A (zh) | 2021-08-27 |
Family
ID=77370729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010120903.9A Pending CN113313788A (zh) | 2020-02-26 | 2020-02-26 | 图像处理方法和装置、电子设备以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313788A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113923368A (zh) * | 2021-11-25 | 2022-01-11 | 维沃移动通信有限公司 | 拍摄方法及装置 |
WO2023246844A1 (zh) * | 2022-06-21 | 2023-12-28 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及介质 |
WO2024109875A1 (zh) * | 2022-11-23 | 2024-05-30 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及介质 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446352A (zh) * | 2011-09-13 | 2012-05-09 | 深圳市万兴软件有限公司 | 视频图像处理方法及装置 |
CN104766361A (zh) * | 2015-04-29 | 2015-07-08 | 腾讯科技(深圳)有限公司 | 一种残影效果的实现方法,及装置 |
KR101553589B1 (ko) * | 2015-04-10 | 2015-09-18 | 주식회사 넥스파시스템 | Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법 |
CN104954689A (zh) * | 2015-06-30 | 2015-09-30 | 努比亚技术有限公司 | 一种利用双摄像头获得照片的方法及拍摄装置 |
US20160205291A1 (en) * | 2015-01-09 | 2016-07-14 | PathPartner Technology Consulting Pvt. Ltd. | System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis |
CN107333056A (zh) * | 2017-06-13 | 2017-11-07 | 努比亚技术有限公司 | 运动物体的图像处理方法、装置及计算机可读存储介质 |
CN107707835A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
CN108055477A (zh) * | 2017-11-23 | 2018-05-18 | 北京美摄网络科技有限公司 | 一种实现拖影特效的方法和装置 |
CN108282612A (zh) * | 2018-01-12 | 2018-07-13 | 广州市百果园信息技术有限公司 | 视频处理方法及计算机存储介质、终端 |
CN108574794A (zh) * | 2018-03-30 | 2018-09-25 | 京东方科技集团股份有限公司 | 图像处理方法、装置及显示设备、计算机可读存储介质 |
CN108717701A (zh) * | 2018-05-24 | 2018-10-30 | 北京金山安全软件有限公司 | 一种制作影片残影特效的方法、装置、电子设备及介质 |
CN108898567A (zh) * | 2018-09-20 | 2018-11-27 | 北京旷视科技有限公司 | 图像降噪方法、装置及*** |
CN108933905A (zh) * | 2018-07-26 | 2018-12-04 | 努比亚技术有限公司 | 视频拍摄方法、移动终端和计算机可读存储介质 |
CN109040837A (zh) * | 2018-07-27 | 2018-12-18 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
CN109671047A (zh) * | 2017-10-16 | 2019-04-23 | 无锡威莱斯电子有限公司 | 一种基于深度传感器的Vibe动态目标检测方法 |
CN109688346A (zh) * | 2018-12-28 | 2019-04-26 | 广州华多网络科技有限公司 | 一种拖尾特效渲染方法、装置、设备及存储介质 |
WO2019084712A1 (zh) * | 2017-10-30 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置以及终端 |
CN109756680A (zh) * | 2019-01-30 | 2019-05-14 | Oppo广东移动通信有限公司 | 图像合成方法、装置、电子设备及可读存储介质 |
CN109961453A (zh) * | 2018-10-15 | 2019-07-02 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
CN110782469A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 一种视频帧图像分割方法、装置、电子设备及存储介质 |
-
2020
- 2020-02-26 CN CN202010120903.9A patent/CN113313788A/zh active Pending
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446352A (zh) * | 2011-09-13 | 2012-05-09 | 深圳市万兴软件有限公司 | 视频图像处理方法及装置 |
US20160205291A1 (en) * | 2015-01-09 | 2016-07-14 | PathPartner Technology Consulting Pvt. Ltd. | System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis |
KR101553589B1 (ko) * | 2015-04-10 | 2015-09-18 | 주식회사 넥스파시스템 | Lpr 시스템에서 적응적 확률기반의 저조도 영상개선 및 스미어 복원처리 장치와 그 방법 |
CN104766361A (zh) * | 2015-04-29 | 2015-07-08 | 腾讯科技(深圳)有限公司 | 一种残影效果的实现方法,及装置 |
CN104954689A (zh) * | 2015-06-30 | 2015-09-30 | 努比亚技术有限公司 | 一种利用双摄像头获得照片的方法及拍摄装置 |
CN107333056A (zh) * | 2017-06-13 | 2017-11-07 | 努比亚技术有限公司 | 运动物体的图像处理方法、装置及计算机可读存储介质 |
CN107707835A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、电子装置和计算机可读存储介质 |
CN109671047A (zh) * | 2017-10-16 | 2019-04-23 | 无锡威莱斯电子有限公司 | 一种基于深度传感器的Vibe动态目标检测方法 |
WO2019084712A1 (zh) * | 2017-10-30 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置以及终端 |
CN108055477A (zh) * | 2017-11-23 | 2018-05-18 | 北京美摄网络科技有限公司 | 一种实现拖影特效的方法和装置 |
CN108282612A (zh) * | 2018-01-12 | 2018-07-13 | 广州市百果园信息技术有限公司 | 视频处理方法及计算机存储介质、终端 |
CN108574794A (zh) * | 2018-03-30 | 2018-09-25 | 京东方科技集团股份有限公司 | 图像处理方法、装置及显示设备、计算机可读存储介质 |
CN108717701A (zh) * | 2018-05-24 | 2018-10-30 | 北京金山安全软件有限公司 | 一种制作影片残影特效的方法、装置、电子设备及介质 |
CN108933905A (zh) * | 2018-07-26 | 2018-12-04 | 努比亚技术有限公司 | 视频拍摄方法、移动终端和计算机可读存储介质 |
CN109040837A (zh) * | 2018-07-27 | 2018-12-18 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
CN108898567A (zh) * | 2018-09-20 | 2018-11-27 | 北京旷视科技有限公司 | 图像降噪方法、装置及*** |
CN109961453A (zh) * | 2018-10-15 | 2019-07-02 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
CN109688346A (zh) * | 2018-12-28 | 2019-04-26 | 广州华多网络科技有限公司 | 一种拖尾特效渲染方法、装置、设备及存储介质 |
CN109756680A (zh) * | 2019-01-30 | 2019-05-14 | Oppo广东移动通信有限公司 | 图像合成方法、装置、电子设备及可读存储介质 |
CN110782469A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 一种视频帧图像分割方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
MOHAMMADREZA BABAEE, ET AL: "A deep convolutional neural network for video sequence background subtraction", 《PATTERN RECOGNITION》, pages 635 - 649 * |
张鹏 等: "3D游戏中"刀光剑影"特效的实现算法", 《计算机***应用》, vol. 20, no. 7, pages 192 - 194 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113923368A (zh) * | 2021-11-25 | 2022-01-11 | 维沃移动通信有限公司 | 拍摄方法及装置 |
WO2023246844A1 (zh) * | 2022-06-21 | 2023-12-28 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及介质 |
WO2024109875A1 (zh) * | 2022-11-23 | 2024-05-30 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798669B (zh) | 图像去雾方法、装置及计算机可读存储介质 | |
EP3010226B1 (en) | Method and apparatus for obtaining photograph | |
CN108154465B (zh) | 图像处理方法及装置 | |
CN106131441B (zh) | 拍照方法及装置、电子设备 | |
CN113313788A (zh) | 图像处理方法和装置、电子设备以及计算机可读存储介质 | |
CN108154466B (zh) | 图像处理方法及装置 | |
CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
CN114500821B (zh) | 拍照方法及装置、终端及存储介质 | |
CN111741187B (zh) | 图像处理方法、装置及存储介质 | |
CN110796012B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN111968052A (zh) | 图像处理方法、图像处理装置及存储介质 | |
CN110876014B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN106469446B (zh) | 深度图像的分割方法和分割装置 | |
CN112188096A (zh) | 拍照方法及装置、终端及存储介质 | |
CN111461950B (zh) | 图像处理方法及装置 | |
CN107451972B (zh) | 图像增强方法、装置及计算机可读存储介质 | |
CN114666490B (zh) | 对焦方法、装置、电子设备和存储介质 | |
CN114422687B (zh) | 预览图像切换方法及装置、电子设备及存储介质 | |
CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
CN116866495A (zh) | 图像获取方法、装置、终端设备及存储介质 | |
CN109447929B (zh) | 图像合成方法及装置 | |
CN115953422B (zh) | 边缘检测方法、装置及介质 | |
US20240005521A1 (en) | Photographing method and apparatus, medium and chip | |
CN115118950B (zh) | 图像处理方法及装置 | |
CN110458962B (zh) | 一种图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |