CN101465972B - 在数字图像处理装置中使图像背景模糊的设备和方法 - Google Patents

在数字图像处理装置中使图像背景模糊的设备和方法 Download PDF

Info

Publication number
CN101465972B
CN101465972B CN2008101846110A CN200810184611A CN101465972B CN 101465972 B CN101465972 B CN 101465972B CN 2008101846110 A CN2008101846110 A CN 2008101846110A CN 200810184611 A CN200810184611 A CN 200810184611A CN 101465972 B CN101465972 B CN 101465972B
Authority
CN
China
Prior art keywords
focal length
cut zone
frame
high fdrequency
fdrequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101846110A
Other languages
English (en)
Other versions
CN101465972A (zh
Inventor
金荣杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101465972A publication Critical patent/CN101465972A/zh
Application granted granted Critical
Publication of CN101465972B publication Critical patent/CN101465972B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

提供一种在数字图像处理装置中使图像背景模糊的设备和方法,其中,针对同一对象获得运动图像及根据AF马达的运动距离与该运动图像匹配的焦距信息,并且基于运动图像和静止图像的焦距,不同地对静止图像应用背景模糊。该设备包括数字信号处理单元,该数字信号处理单元捕捉同一对象的运动图像和静止图像,比较形成运动图像的至少一帧的焦距与静止图像的焦距,并根据焦距之差来对静止图像应用背景模糊。

Description

在数字图像处理装置中使图像背景模糊的设备和方法
本申请要求于2007年12月21日提交到韩国知识产权局的第10-2007-0135734号韩国专利申请的优先权,该申请公开于此以资参考。
技术领域
本发明通常涉及一种数字图像处理装置及其操作方法,更具体地讲,涉及一种使图像背景模糊的设备和方法,从而针对同一对象获得运动图像及根据AF马达的运动距离与该运动图像匹配的焦距信息,并且基于运动图像和静止图像的焦距,不同地对静止图像应用背景模糊。
背景技术
近来,通常使用的数字图像处理装置,如数码相机、相机电话、智能电话等包含用于处理数字化的数据的各种数字元件,从而提供与模拟摄影器材的功能相区别的功能。
例如,数字图像处理装置可利用包含在其中的大容量存储器来存储大量图像数据,该图像数据量远超过传统胶片中能够存储的图像数据量,电荷耦合器件(CCD)和该存储器代替胶片来形成高像素图像,从而与个人计算机(PC)共享图像数据并且提供图像处理的便利。
此外,与模拟摄影器材所提供的功能相比,数字图像处理装置提供更多的功能,如快门速度和光圈(aperture)的自动调节、自动调焦、图像增强、光强的自动调节等。
然而,由于模拟摄影器材是手动操作的,以当专业人员精巧地使用模拟摄影器材时模拟摄影器材会优于数字图像处理装置。
就这一点,近来发布的数字图像处理装置除了数字装置的有益功能之外,还实现了传统模拟图像处理装置的独特功能。换言之,数字图像处理装置整合了模拟装置的独特长处以便克服对数字装置的挑战,从而可提供各种专业化功能。
此外,随着数字图像处理装置的广泛使用,对摄影感兴趣的人的数量逐渐增加,从而获得专业摄影技能的用户的数量也在增加。
然而,数字图像处理装置在许多方面仍无法满足专业用户的需求。
例如,在进行人物摄影的大多数情况下,通常使用离焦(out-of-focus)效果。当使用传统数字图像处理装置时,由于CCD和镜头具有有限大小,所以几乎无法实现离焦效果。
通常,离焦效果随着“弥散圆(circle of confusion)”的大小而不同,并且弥散圆的大小与诸如焦深和景深的深度密切关联。当对象图像的一点通过镜头被聚焦时,该点被聚焦为圆形点的形式,其中该圆形点相对于能够被认为是点的最小尺寸具有预定直径。当点的直径增大时,人眼认为该点变得模糊。具有使点看起来显得模糊的直径的圆形点被称为弥散圆。因此,深度取决于与弥散圆相关联的因素(如数字图像处理装置的CCD大小、光圈和镜头焦距)、相机至对象的距离以及对象至背景的距离。
在决定深度的这些因素中,除了相机至对象的距离之外,图像传感器、光圈和镜头焦距根据数字图像处理装置的物理规格而变化很大。由于小型化的数字图像处理装置的本性,数字图像处理装置因为小尺寸的图像传感器和小直径的镜头而仅能够一直表现深的深度,导致无法满足用户对浅的深度(景深)(其中主要对象清晰,而背景模糊)的需求。
此外,当针对光学特征采用大尺寸图像传感器和大直径镜头时,这种对大尺寸图像传感器和大直径镜头的采用可能与制造大尺寸图像传感器的半导体工艺的成品率相关联,并且可能由于设计大直径镜头的需要而增加数字图像处理装置的成本和尺寸,从而阻碍了数字图像处理装置的小型化。
发明内容
本发明提供一种用于数字图像处理装置(例如,数码相机)的使图像背景模糊的设备和方法,从而针对同一对象获得运动图像及根据AF马达的运动距离与该运动图像匹配的焦距信息,并且基于运动图像和静止图像的焦距,不同地对静止图像应用背景模糊。
根据本发明的一方面,以数字图像处理装置的方式提供一种用于使图像背景模糊的设备。该设备包括数字信号处理单元,该数字信号处理单元捕捉同一对象的运动图像和静止图像,比较形成运动图像的至少一帧的焦距与静止图像的焦距,并根据焦距之差来对静止图像应用背景模糊。
当对快门释放按钮进行第一次操作时,数字信号处理单元可拍摄运动图像,当在第一次操作之后对快门释放按钮进行第二次操作时,数字信号处理单元可拍摄静止图像。
在捕捉运动图像期间,数字信号处理单元可使AF电机从原始位置移动到无穷远位置。
数字信号处理单元可包括:焦距计算单元,从形成运动图像的至少一帧检测焦距;比较单元,将所述至少一帧的焦距与静止图像的焦距进行比较,其中在捕捉静止图像时记录了静止图像的焦距;和控制单元,控制将应用到静止图像的预定部分的背景模糊,在所述预定部分中,静止图像的焦距不同于所述至少一帧的焦距。
焦距计算单元可将AF电机的焦距信息与所述至少一帧中的每一帧匹配,并将所述焦距信息记录在所述至少一帧中的每一帧中。
焦距计算单元可包括:区域分割单元,将所述至少一帧中的每一帧分割为预定区域;和高频分量提取单元,从所述至少一帧的相同分割区域提取高频分量,其中,控制单元可检测具有最大数量的高频分量的分割区域及检测到的分割区域的焦距。
高频分量提取单元可通过对所述至少一帧的相同分割区域的亮度数据进行微分来提取高频分量。
控制单元可将提取的高频分量与参考值进行比较,存储与提取的大于或等于参考值的高频分量对应的帧的焦距,将与提取的小于参考值的高频分量对应的分割区域确定为噪声并丢弃该分割区域的高频分量。
控制单元可将这样的分割区域识别为噪声:该分割区域的高频分量不同于最接近于该分割区域的相邻分割区域的高频分量;并用相邻分割区域的高频分量覆盖被确定为噪声的分割区域的高频分量。
比较单元可计算具有最大数量的高频分量的分割区域的焦距与静止图像的相应分割区域的焦距之差。
控制单元可对静止图像的这样的部分应用背景模糊:在所述部分中,静止图像的分割区域的焦距不同于具有最大数量的高频分量的分割区域的焦距。
根据本发明的另一方面,以数字图像处理装置的工作方法的方式提供一种使图像背景模糊的示例方法。该方法包括以下操作:(a)捕捉同一对象的运动图像和静止图像;和(b)将形成运动图像的至少一帧的焦距与静止图像的焦距进行比较,并根据所述焦距之差来对静止图像应用背景模糊。
操作(a)可包括:(a-1)当对快门释放按钮进行第一次操作时捕捉运动图像;和(a-2)当在第一次操作之后对快门释放按钮进行第二次操作时捕捉静止图像。
操作(b)可包括:(b-1)从运动图像的所述至少一帧检测焦距;(b-2)将所述至少一帧的焦距与静止图像的焦距进行比较,其中在捕捉静止图像时记录静止图像的焦距;和(b-3)控制将被应用到静止图像的预定部分的背景模糊,在所述预定部分中,静止图像的焦距不同于所述至少一帧的焦距。
操作(b-1)可包括(b-11)将自动调焦电机的焦距信息与所述至少一帧中的每一帧匹配,并将所述焦距信息记录在所述至少一帧中的每一帧中;(b-12)将所述至少一帧中的每一帧分割为预定区域;(b-13)从所述至少一帧的相同分割区域提取高频分量;和(b-14)检测具有最大数量的高频分量的分割区域及检测到的分割区域的焦距。
操作(b-13)可包括:通过对所述至少一帧的相同分割区域的亮度数据进行微分来提取高频分量。
操作(b-2)可包括:计算具有最大数量的高频分量的分割区域的焦距与静止图像的相应分割区域的焦距之差。
操作(b-3)可包括:对静止图像的这样的分割区域应用背景模糊:其中,静止图像的所述分割区域的焦距不同于具有最大数量的高频分量的分割区域的焦距。
附图说明
通过参照附图对本发明的实施例的详细描述,本发明的上述和其它特点和优点将变得更清楚,其中:
图1是示出数字图像处理装置的前部和顶部的透视图;
图2是图1所示的数字图像处理装置的后视图;
图3是根据本发明实施例的使背景模糊的设备的框图;
图4示出用于解释在图3所示的设备中捕捉同一对象的运动图像和静止图像的示图;
图5是用于解释在图3所示的设备中执行的运动画面帧的区域分割和高频分量提取的示图;
图6是用于解释图3所示的设备的高频分量提取单元的示图;
图7是用于解释在图3所示的设备中执行的通过比较运动图像帧的焦距与静止图像的焦距来选择是否应用背景模糊的示图;
图8是示出根据本发明实施例的使背景模糊的方法的流程图;
图9是示出图8所示的方法中捕捉同一对象的运动图像和静止图像的流程图;
图10是示出在图8所示的方法中从运动图像的每一帧提取最大数量的高频分量的流程图;
图11是示出在图8所示的方法中比较运动图像帧的焦距与静止图像的焦距的流程图;
图12是示出在图8所示的方法中基于焦距比较结果选择是否应用背景模糊的流程图。
具体实施方式
以下,将参照附图来详细描述本发明的实施例。应该注意的是,相同的标号表示一个或多个附图中示出的相同元件。在下面对本发明的描述中,为了简明和清晰起见,将省略对其中包含的已知功能和构造的详细描述。
图1是示出数字图像处理装置的前部和顶部的透视图。参照图1,数字图像处理装置包括位于其前部和顶部的快门释放按钮11、电源按钮13、闪光灯15、辅助光(sublight)17和镜头单元19。
快门释放按钮11由用户来操作以便使电荷耦合器件(CCD)或胶片曝光预定时间,从而由CCD与可变光阑(iris)(未示出)协作,通过对对象进行适当曝光来捕捉图像。
快门释放按钮11根据用户输入产生第一拍摄信号和第二拍摄信号。一旦对快门释放按钮11的第一次操作产生半快门(half-shutter)信号,数字图像处理装置就调节焦点和光量。当数字图像处理装置对准焦点时,焦点指示器(例如,绿色的光或标记)可被打开(例如,在图2所示的显示单元上)。在数字图像处理装置响应于对快门释放按钮11的第一次操作,完成调焦以及对光量的调节之后,快门释放按钮11第二次***作,从而产生全快门(full-shutter)信号以便拍摄。
电源按钮13由用户来操作以便通过向数字图像处理装置供电来使数字图像处理装置运行。
闪光灯15短暂地照射对象,以便在暗的环境中拍摄。闪光灯15具有诸如自动闪光、填充闪光、闪光灯关闭、红眼消除、慢同步等闪光灯模式。
在光线不足或者夜晚拍摄情况下,辅助光17以自动方式照射对象以便使数字图像处理装置快速精确地调节焦点。
镜头单元19接收从物体反射的光,以便数字图像处理装置处理图像。
图2是图1中所示的数字图像处理装置的后视图。参照图2,数字图像处理装置包括广角变焦(wide-angle zoom)按钮21w、远摄变焦(telephotozoom)按钮21t、显示单元23和输入按钮B1至B14。
当广角变焦按钮21w或远摄变焦按钮21t被用户操作时,视角变宽或变窄。具体地讲,广角变焦按钮21w或远摄变焦按钮21t被输入,以便改变选择的曝光区域的大小。当输入广角变焦按钮21w时,选择的曝光区域的大小减小,当输入远摄变焦按钮21t时,选择的曝光区域的大小增大。
输入按钮B1至B14沿着显示单元23的两侧设置在水平线和垂直线上。输入按钮B1至B14可包括触摸传感器(未示出)或接触开关(未示出)。
换言之,当输入按钮B1至B14具有触摸传感器时,用户通过在触摸水平线上的输入按钮B1至B7或者垂直线上的按钮B8至B14的同时向上/向下/向左/向右移动手指,可从主菜单项选择任意值,例如颜色或亮度,或者可激活主菜单图标中包含的子菜单图标。
当输入按钮B1至B14具有接触开关时,用户可通过直接选择主菜单图标及其子菜单图标来执行期望的功能。触摸传感器输入需要比接触开关输入弱的触摸,而接触开关输入需要比触摸传感器输入强的触摸。
图3是根据本发明实施例的用于使背景模糊的设备的框图。参照图3,该设备包括显示单元23、用户输入单元31、拍摄单元33、图像处理单元35、存储单元37和数字信号处理单元39。
用户输入单元31包括:快门释放按钮11,用于打开或关闭可变光阑,以便使CCD或胶片曝光预定时间;电源按钮13,***作以进行供电;广角变焦按钮21w和远摄变焦按钮21t,***作以增大或减小视角;输入按钮B1至B14,具有触摸传感器或接触开关,围绕显示单元23设置在水平线和垂直线上。
拍摄单元33包括图中未示出的快门、镜头单元、电机单元、可变光阑、CCD和模数转换器(ADC)。快门用于与可变光阑协作来调节曝光的光量。镜头单元接收来自外部光源的光并处理图像。可变光阑根据其打开/关闭量来调节入射光的量。可变光阑的打开/关闭量由数字信号处理单元39控制。
在自动调焦模式下,通过在数字信号处理单元39的控制下控制调焦镜头来驱动调焦电机。这样,调焦镜头从最靠前的位置移动到最靠后的位置。在这一阶段,设置调焦镜头的存在最多的图像信号高频分量的位置,例如设置调焦电机的驱动步进数量。
CCD对通过镜头单元输入的光量进行累积,并根据累积的光量,与垂直同步信号同步地输出通过镜头单元捕捉的图像。数字图像处理装置可通过将对象所反射的光转换为电信号的CCD来获得图像。为了利用CCD获得彩色图像,需要滤色器,滤色器阵列(CFA)通常用作滤光器(未示出)。
CFA具有这样的结构:其中,针对每一像素,滤光器仅使表达一种颜色的光通过,并且这些滤光器规则排列。CFA可根据其排列结构而采取各种形式。ADC将从CCD输出的模拟图像信号转换为数字信号。
图像处理单元35执行信号处理,以使经数字转换的原始数据被显示。图像处理单元35去除由于对温度变化敏感的CCD和CFA中的暗电流引起的黑色电平(black level)。
图像处理单元35考虑人类视觉的非线性而对编码信息执行伽玛校正。图像处理单元35通过将由经伽玛校正的预定数据的RGRG行和GBGB行实现的Bayer图形插值为RGB行来执行CFA插值。
图像处理单元35将插值的RGB信号转换为YUV信号,通过利用高通滤波器过滤Y信号来执行边缘补偿,通过利用标准颜色坐标系校正U和V信号的颜色值来执行颜色校正,并从U和V信号去除噪声。
图像处理单元35对已去除噪声的YUV信号进行压缩和信号处理,并产生JPEG文件。该JPEG文件被显示在显示单元23中,并被存储在存储单元37中。图像处理单元35在数字信号处理单元39的控制下运行,或者与数字信号处理单元39协作来运行。
在本发明的设备和方法中,一旦同一对象的运动图像和静止图像被拍摄,则数字信号处理单元39比较形成运动图像的至少一帧的焦距与静止图像的焦距。根据焦距之差,数字信号处理单元39对静止图像应用背景模糊。
为此,数字信号处理单元39包括AF(自动调焦)电机控制单元39-1、匹配单元39-2、区域分割单元39-3、高频分量提取单元39-4、比较单元39-5和控制单元39-6。
在捕捉同一对象的运动图像期间,AF电机控制单元39-1使AF电机从原始位置移动到无穷远焦距位置(也称为无穷远位置)。
如图4的(a)所示,针对同一对象,一旦通过用户输入单元31对快门释放按钮11进行了第一次操作,则在控制单元39-6的控制下,AF电机控制单元39-1使AF电机从原始位置一直移动到无穷远焦距,拍摄单元33拍摄运动图像,拍摄的运动图像被存储在存储单元37或者缓冲器(未示出)中。可以按照例如每秒30或15帧的速度来拍摄运动图像。在运动图像拍摄期间,可通过设置高速度(帧/每秒)来提高精度。
一旦随着AF电机从原始位置移动到无穷远焦距而完成运动图像捕获,快门释放按钮11被第二次操作,静止图像被捕捉,如图4的(b)所示。捕捉的静止图像包含最佳焦距信息。
匹配单元39-2将每次AF电机移动所处的距离(焦距)与存储在存储单元37或缓冲器中的运动图像的每一帧匹配,然后提取每一帧。为了提取具有精确数据的帧,低效压缩是理想的。
如图5的(a)所示,区域分割单元39-3将提取的每一帧分割为具有预定大小的块,例如4×4像素块。
如图5的(b)所示,高频分量提取单元39-4从所有提取的帧的相同分割区域A1至An(例如,所示图像的右下角)提取高频分量,然后从提取的帧的其它相同的分割区域依次提取高频分量,从而从提取的每一帧的所有分割区域提取高频分量。高频分量提取单元39-4通过对所有提取的帧的相同分割区域A1至An的亮度数据的一次和二次微分来提取图像信号的高频分量。
图6示出用于解释当高频分量提取单元39-4对图像进行微分时获得的效果的图像。在图6中,上面最左边的图像焦点对准,上面最左边的图像右侧的图像逐渐离焦。在图6中,下面的图像是通过对上面的图像进行微分而获得的结果图像。在下面的图像中,具有较多白色部分的图像也具有较多的高频分量。可以理解的是,具有较多高频分量的图像被更好地聚焦。
由高频分量提取单元39-4提取的每一分割区域A的高频分量被输出给控制单元39-6。然后,控制单元39-6将提取的高频分量与参考值比较,存储与提取的大于或等于参考值的高频分量对应的帧的焦距,并且将与提取的小于参考值的高频分量对应的分割区域确定为噪声并丢弃该分割区域的高频分量。然后,控制单元39-6检测具有最大数量的高频分量的分割区域及该分割区域的焦距。具体地说,控制单元39-6对所有帧的相同分割区域的高频分量的数量进行比较,从所有帧的相同分割区域中检测具有最大数量的高频分量的分割区域,并记录与检测的分割区域相应的帧的焦距。例如,控制单元39-6比较所有帧的相同分割区域A1至An的高频分量的数量,检测具有最大数量的高频分量的分割区域,并记录与检测到的分割区域(例如,A2)相应的帧的焦距。控制单元39-6继续比较所有帧的其他相同分割区域的高频分量的数量,直到获得所有检测到的分割区域组成的帧以及与所有检测到的分割区域相应的焦距,如图7的(a)所示。图7的(a)示出由控制单元39-6针对所有提取的帧检测到的具有最大数量的高频分量的分割区域所组成的帧及这些分割区域的焦距。
控制单元39-6将任意分割区域的高频分量与该任意分割区域周围的相邻分割区域的高频分量相比较。如果该任意分割区域的高频分量与相邻分割区域的高频分量差别很大(例如,之间的差大于一个阈值),则控制单元39-6将该任意分割区域的高频分量确定为噪声,并用相邻分割区域的高频分量覆盖被确定为噪声的所述任意分割区域的高频分量。
在本发明的当前实施例中,匹配单元39-2、区域分割单元39-3和高频分量提取单元39-4可协作定义焦距计算单元。
图7的(a)示出由具有最大数量的高频分量的分割区域组成的帧及这些分割区域的焦距。图7的(b)示出由具有最佳焦距,例如2m的分割区域组成的静止图像。
比较单元39-5将由控制单元39-6检测的具有最大数量的高频分量的每一分割区域的焦距(如图7的(a)所示)与图7的(b)中所示的静止图像的每一分割区域的焦距相比较。
比较单元39-5计算具有最大数量的高频分量的分割区域的焦距与静止图像的分割区域的焦距之差的绝对值。
控制单元39-6接收由比较单元39-5计算的焦距之差的绝对值,并利用低通滤波器,利用相应的差作为权重值来对静止图像的其焦距不同于具有最大数量的高频分量的分割区域的焦距的分割区域应用背景模糊。例如,在图7的(c)中,对于差为0的分割区域(例如,图7的(a)至(c)中包含人的分割区域),不需要背景模糊。相反,对差为1、2或3的分割区域,通过低通滤波器,利用差值作为权重值(例如,差值为3时模糊程度大,差值为1时模糊程度小)来应用模糊。
在应用背景模糊时,从静止图像提取高频分量以便提取焦点完全对准的部分,提取的焦点对准的部分(差为0)被掩蔽,并利用权重值对除了掩蔽的部分之外的其它部分应用背景模糊,从而最大程度地区分对象和背景。
在另一实施例中,代替运动图像拍摄,可替代地执行几个静止图像的捕捉(例如,利用连续拍摄或者拍摄几个连续的照片)。相应地,可对这几个静止图像(而非运动图像的帧)执行上述信号处理。
可选地,在可对运动图像的所有帧不同地应用背景模糊之后,通过从所有帧提取高频分量可仅提取对象,并且可使用提取的对象来合成或组合所述对象。
以下,将参照图8至图12描述由根据本发明实施例的数字图像处理设备执行的使背景模糊的方法。该方法可作为可由数字信号处理单元的一个或多个不同的部件执行的主拍摄算法的部分或子程序,由图3所示的数字图像处理装置执行。
当本方法被实施为在数字图像处理设备的处理器上运行的软件应用程序时,考虑到当前技术水平,本方法所需的运行时间量可能对响应或两次拍摄之间(shot-to-shot)的时间有影响,但是通过ARM(高级RISC机器)处理的发展或安装单独的数字信号处理(DSP)模块,处理时间可显著减少。由于现在数字图像处理装置的运动图像从视频图形阵列(VGA)水平提高到高清晰(HD)水平,所以能够从运动图像提取的帧的大小和质量也提高,因此可精细地获得本发明所需的数据。
图8是示出根据本发明实施例的使背景模糊的方法的流程图。参照图8,在操作801中,同一对象的运动图像和静止图像被捕捉。
图9是示出图8所示的方法中捕捉同一对象的运动图像和静止图像的详细流程图。
在操作801-1,数字图像处理装置进入拍摄模式,然后设置拍摄帧。
在操作801-2,快门释放按钮11被第一次操作。
一旦在操作801-2中对快门释放按钮11进行第一次操作,在操作801-3,数字信号处理单元39在如图4的(a)所示使AF电机从原始位置移动到无穷远焦距位置的同时捕捉运动图像。可以按照每秒30或15帧的速度捕捉运动图像。可通过在运动图像拍摄期间设置高速度(帧/每秒)来提高精度。
在操作801-4,如果响应于对快门释放按钮11的第一次操作,通过使AF电机从最小焦距移动到无穷远焦距位置,完成运动图像拍摄,则在操作801-5,拍摄的运动图像被存储在存储单元37或缓冲器(未示出)中。
一旦在操作801-6中对快门释放按钮11进行第二次操作,则在操作801-7,包含最佳焦距信息的静止图像被捕捉,并被存储在存储单元37或缓冲器中。
一旦数字信号处理单元39完成对同一对象的运动图像和静止图像的捕捉,则在操作803,数字信号处理单元39从运动图像的具有相应焦距的帧的相同分割区域提取高频分量,并检测具有最大数量的高频分量的分割区域及该分割区域的焦距。
图10是示出图8所示的方法中从运动图像的每一帧提取最大数量的高频分量的详细流程图。
在操作803-1,数字信号处理单元39将每次AF电机移动所处的距离(焦距)与存储在存储单元37或缓冲器中的运动图像的每一帧匹配,然后提取每一帧。为了提取具有精确数据的帧,低效压缩是理想的。
在操作803-2,数字信号处理单元39将提取的每一帧分割为具有预定大小的块,例如4×4像素块,如图5的(a)所示。
一旦完成帧区域分割,在操作803-3,数字信号处理单元39从所有提取的帧的相同分割区域提取高频分量。如图5的(b)所示,数字信号处理单元39从所有提取的帧的相同分割区域A1至An提取高频分量,然后从提取的帧的其它相同的分割区域依次提取高频分量,从而从提取的每一帧的所有分割区域提取高频分量。数字信号处理单元39通过对所有提取的帧的相同分割区域A1至An的亮度数据的一次和二次微分来提取图像信号的高频分量。
在操作803-4,数字信号处理单元39将提取的高频分量与参考值比较。如果提取的高频分量大于或等于参考值,则在操作803-5,数字信号处理单元39存储相应帧的焦距。
在操作803-6,如果提取的高频分量小于参考值,则在操作803-7,数字信号处理单元39将相应的分割区域确定为噪声并丢弃该分割区域的高频分量。
然后,在操作803-8,数字信号处理单元39检测具有最大数量的高频分量的分割区域及该分割区域的焦距。图7的(a)示出由具有最大数量的高频分量的分割区域组成的帧及这些分割区域的焦距。
数字信号处理单元39将任意分割区域的高频分量与该任意分割区域周围的相邻分割区域的高频分量相比较。如果该任意分割区域的高频分量与相邻分割区域的高频分量差别很大,则数字信号处理单元39将该任意分割区域的高频分量确定为噪声,并用相邻分割区域的高频分量覆盖被确定为噪声的所述任意分割区域的高频分量。
一旦检测到具有最大数量的高频分量的分割区域及分割区域的焦距,在操作805,数字信号处理单元39将具有最大数量的高频分量的分割区域的焦距与静止图像的分割区域的焦距相比较。
图11是示出图8所示的方法中将具有最大数量的高频分量的运动图像帧的焦距与静止图像的焦距相比较的详细流程图。
参照图11,在操作805-1,数字信号处理单元39计算具有最大数量的高频分量的分割区域的焦距与静止图像的分割区域的焦距之差。图7的(a)示出由具有最大数量的高频分量的分割区域组成的帧及这些分割区域的焦距。图7的(b)示出由具有最佳焦距(例如2m)的分割区域组成的静止图像。数字信号处理单元39计算具有最大数量的高频分量的分割区域的焦距与静止图像的分割区域的焦距之差。
在操作805-2,数字信号处理单元39计算所计算的焦距之差的绝对值。
一旦数字信号处理单元39完成对绝对值的计算,在操作807,数字信号处理单元39检测用于背景模糊的分割区域并对与检测到的分割区域匹配的静止图像的分割区域应用背景模糊。
图12是示出在图8所示的方法中基于焦距比较结果选择是否应用背景模糊的详细流程图。
在操作807-1,一旦接收到焦距之差的绝对值,数字信号处理单元39确定绝对值是否为0。
如果绝对值为0,则在操作807-2,数字信号处理单元39确定静止图像的分割区域焦点对准,并且不对该分割区域应用背景模糊。
如果绝对值不为0,则在操作807-3,数字信号处理单元39确定静止图像的分割区域离焦,并通过低通滤波器,利用绝对值作为权重值来对该分割区域应用背景模糊。例如,在图7的(c)中,对于差为0的分割区域,背景模糊是不必要的;而对差为1、2或3的分割区域,通过低通滤波器,利用差值作为权重值来应用模糊。
如上所述,根据本发明的设备和方法,针对同一对象,获得根据AF电机的运动距离的运动图像及与该运动图像匹配的焦距信息,基于焦距来对静止图像不同地应用背景模糊,从而获得与光学背景模糊效果等同的效果。
此外,可在保持数字图像处理装置的小尺寸和低成本的同时,获得用户所期望的背景模糊效果。
尽管已经参照本发明的实施例具体地显示和描述了本发明,但是本领域普通技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可对其进行各种形式和细节上的改变。

Claims (16)

1.一种使图像背景模糊的数字图像处理设备,包括:
光学部分:接收从对象反射的光;
成像部分:将光转换为运动图像和静止图像中的至少一个;和
数字信号处理单元,用于比较运动图像的帧的焦距与静止图像的焦距,并根据运动图像焦距与静止图像焦距之差来对静止图像应用背景模糊,
其中,数字信号处理单元包括:
焦距计算单元,从运动图像的帧检测焦距;
比较单元,将所述帧的焦距与静止图像的焦距进行比较;和
控制单元,控制将应用到静止图像的预定部分的背景模糊,在所述预定部分中,静止图像的焦距不同于所述帧的焦距。
2.根据权利要求1所述的设备,还包括快门释放按钮,当对快门释放按钮进行第一次操作时,数字信号处理单元拍摄运动图像,当在第一次操作之后对快门释放按钮进行第二次操作时,数字信号处理单元捕捉静止图像。
3.根据权利要求1所述的设备,其中,所述光学部分包括自动调焦镜头,所述设备还包括使自动调焦镜头移动的自动调焦电机,其中,在捕捉运动图像期间,数字信号处理单元控制自动调焦电机使自动调焦镜头从原始位置移动到无穷远位置。
4.根据权利要求1所述的设备,其中,焦距计算单元将自动调焦电机的焦距信息与每一帧匹配,并将所述焦距信息记录在每一帧中。
5.根据权利要求4所述的设备,其中,焦距计算单元包括:
区域分割单元,将每一帧分割为预定区域;和
高频分量提取单元,从帧的相同分割区域提取高频分量,
其中,控制单元检测具有最大数量的高频分量的分割区域及检测到的分割区域的焦距。
6.根据权利要求5所述的设备,其中,高频分量提取单元通过对帧的相同分割区域的亮度数据进行微分来提取高频分量。
7.根据权利要求5所述的设备,其中,控制单元将提取的高频分量与参考值进行比较,存储与提取的大于或等于参考值的高频分量对应的帧的焦距,将与提取的小于参考值的高频分量对应的分割区域确定为噪声并丢弃该分割区域的高频分量。
8.根据权利要求5所述的设备,其中,控制单元将这样的分割区域识别为噪声:该分割区域的高频分量与最接近于该分割区域的相邻分割区域的高频分量之差大于阈值;控制单元用相邻分割区域的高频分量覆盖被确定为噪声的分割区域的高频分量。
9.根据权利要求5所述的设备,其中,比较单元计算具有最大数量的高频分量的分割区域的焦距与静止图像的相应分割区域的焦距之差。
10.根据权利要求9所述的设备,其中,控制单元对静止图像的这样的部分应用背景模糊:在所述部分中,静止图像的分割区域的焦距不同于具有最大数量的高频分量的分割区域的焦距。
11.一种使图像背景模糊以便获得具有模糊背景拍摄效果的图像的方法,该方法包括以下步骤:
(a)捕捉同一对象的运动图像和静止图像;和
(b)将形成运动图像的至少一帧的焦距与静止图像的焦距进行比较,并根据运动图像和静止图像焦距之差来对静止图像应用背景模糊,
其中,步骤(b)包括:
(b-1)从运动图像的所述至少一帧检测焦距;
(b-2)将所述至少一帧的焦距与静止图像的焦距进行比较,其中在捕捉静止图像时记录静止图像的焦距;和
(b-3)控制静止图像的至少一个部分的背景模糊,在所述至少一个部分中,静止图像的焦距不同于所述至少一帧的焦距。
12.根据权利要求11所述的方法,其中,步骤(a)包括:
(a-1)当对快门释放按钮进行第一次操作时捕捉运动图像;和
(a-2)当在第一次操作之后对快门释放按钮进行第二次操作时捕捉静止图像。
13.根据权利要求11所述的方法,其中,步骤(b-1)包括
(b-11)将自动调焦电机的焦距信息与所述至少一帧中的每一帧匹配,并将所述焦距信息记录在所述至少一帧中的每一帧中;
(b-12)将所述至少一帧中的每一帧分割为预定区域;
(b-13)从所述至少一帧的相同分割区域提取高频分量;和
(b-14)检测具有最大数量的高频分量的分割区域及检测到的分割区域的焦距。
14.根据权利要求13所述的方法,其中,步骤(b-13)包括:通过对所述至少一帧的相同分割区域的亮度数据进行微分来提取高频分量。
15.根据权利要求11所述的方法,其中,步骤(b-2)包括:计算具有最大数量的高频分量的分割区域的焦距与静止图像的相应分割区域的焦距之差。
16.根据权利要求11所述的方法,其中,步骤(b-3)包括:对静止图像的这样的分割区域应用背景模糊:其中,静止图像的所述分割区域的焦距不同于具有最大数量的高频分量的分割区域的焦距。
CN2008101846110A 2007-12-21 2008-12-08 在数字图像处理装置中使图像背景模糊的设备和方法 Expired - Fee Related CN101465972B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020070135734 2007-12-21
KR20070135734A KR101510098B1 (ko) 2007-12-21 2007-12-21 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
KR10-2007-0135734 2007-12-21

Publications (2)

Publication Number Publication Date
CN101465972A CN101465972A (zh) 2009-06-24
CN101465972B true CN101465972B (zh) 2013-04-03

Family

ID=40788129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101846110A Expired - Fee Related CN101465972B (zh) 2007-12-21 2008-12-08 在数字图像处理装置中使图像背景模糊的设备和方法

Country Status (3)

Country Link
US (1) US8395694B2 (zh)
KR (1) KR101510098B1 (zh)
CN (1) CN101465972B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325268B2 (en) * 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
KR101427660B1 (ko) * 2008-05-19 2014-08-07 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
EP2352128B1 (en) * 2009-07-29 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Mobile body detection method and mobile body detection apparatus
CN101719984B (zh) * 2009-11-09 2012-06-06 无锡中星微电子有限公司 一种图像处理的装置
KR101110725B1 (ko) * 2010-06-16 2012-02-27 엠텍비젼 주식회사 썸네일 이미지를 이용한 후보 이미지 제시 방법 및 이를 수행하는 이미지 신호 처리 장치와 촬상 장치
JP2013005091A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 撮像装置および距離情報取得方法
JP5857567B2 (ja) * 2011-09-15 2016-02-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9113059B2 (en) 2011-11-30 2015-08-18 Canon Kabushiki Kaisha Image pickup apparatus and image region discrimination method
TWI518436B (zh) * 2012-01-17 2016-01-21 明基電通股份有限公司 影像擷取裝置及影像處理方法
WO2013153252A1 (en) * 2012-04-13 2013-10-17 Nokia Corporation Method and apparatus for producing special effects in digital photography
KR101219659B1 (ko) * 2012-07-27 2013-01-09 한국건설기술연구원 Cctv 영상을 이용한 안개 검지 시스템 및 그 방법
JP6271990B2 (ja) * 2013-01-31 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
JP6230239B2 (ja) 2013-02-14 2017-11-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US8983188B1 (en) 2013-05-14 2015-03-17 Google Inc. Edge-aware smoothing in images
CN104424640B (zh) * 2013-09-06 2017-06-20 格科微电子(上海)有限公司 对图像进行虚化处理的方法和装置
CN104836977B (zh) * 2014-02-10 2018-04-24 阿里巴巴集团控股有限公司 即时通讯过程中的视频通讯方法及***
JP6529267B2 (ja) * 2015-01-23 2019-06-12 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
CN105423998A (zh) * 2015-11-07 2016-03-23 陕西科技大学 一种透镜测距装置及其测量方法
KR102436954B1 (ko) 2015-11-24 2022-08-29 삼성전자주식회사 영상 촬영 장치 및 영상 촬영 장치의 제어 방법
CN105592266A (zh) * 2015-12-22 2016-05-18 歌尔声学股份有限公司 一种散景图像处理方法及***
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
CN108200347A (zh) * 2018-01-30 2018-06-22 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
JP7204387B2 (ja) * 2018-09-14 2023-01-16 キヤノン株式会社 画像処理装置およびその制御方法
CN112954212B (zh) * 2021-02-08 2022-08-30 维沃移动通信有限公司 视频生成方法、装置及设备
US20220358619A1 (en) * 2021-05-10 2022-11-10 Mediatek Inc. Automatic dolly zoom image processing device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392724A (zh) * 2001-06-19 2003-01-22 卡西欧计算机株式会社 图像拾取装置和方法、记录图像拾取方法程序的存储介质
JP2003209727A (ja) * 2002-01-11 2003-07-25 Fuji Photo Film Co Ltd デジタルカメラ
JP2003283902A (ja) * 2002-03-26 2003-10-03 Fuji Photo Film Co Ltd デジタルスチルカメラおよび画像処理装置
CN101047769A (zh) * 2006-03-31 2007-10-03 三星电子株式会社 用于使用便携式终端失焦拍摄的装置和方法
JP2007259108A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 撮影装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0471070A (ja) * 1990-07-11 1992-03-05 Minolta Camera Co Ltd カメラシステム
US7137555B2 (en) * 2000-02-28 2006-11-21 Psc Scanning, Inc. Multi-format bar code reader
JP3395770B2 (ja) 2000-09-29 2003-04-14 ミノルタ株式会社 デジタルスチルカメラ
JP4500465B2 (ja) * 2001-03-29 2010-07-14 キヤノン株式会社 撮像装置およびその制御方法
JP4416462B2 (ja) * 2003-09-19 2010-02-17 パナソニック株式会社 自動焦点調節方法、および自動焦点調節カメラ
US7705908B2 (en) * 2003-12-16 2010-04-27 Eastman Kodak Company Imaging method and system for determining camera operating parameter
JP4321287B2 (ja) 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
JP4196884B2 (ja) * 2004-06-01 2008-12-17 フジノン株式会社 オートフォーカスシステム
JP2005354333A (ja) 2004-06-10 2005-12-22 Casio Comput Co Ltd 画像再生装置およびプログラム
KR100617659B1 (ko) * 2004-12-06 2006-08-28 엘지전자 주식회사 디지털 카메라 기기 및 아웃포커싱 처리 방법
JP4657869B2 (ja) * 2005-09-27 2011-03-23 シャープ株式会社 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
JP4528235B2 (ja) * 2005-09-29 2010-08-18 富士フイルム株式会社 デジタルカメラ
JP4444927B2 (ja) * 2006-03-30 2010-03-31 富士フイルム株式会社 測距装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392724A (zh) * 2001-06-19 2003-01-22 卡西欧计算机株式会社 图像拾取装置和方法、记录图像拾取方法程序的存储介质
JP2003209727A (ja) * 2002-01-11 2003-07-25 Fuji Photo Film Co Ltd デジタルカメラ
JP2003283902A (ja) * 2002-03-26 2003-10-03 Fuji Photo Film Co Ltd デジタルスチルカメラおよび画像処理装置
JP2007259108A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 撮影装置
CN101047769A (zh) * 2006-03-31 2007-10-03 三星电子株式会社 用于使用便携式终端失焦拍摄的装置和方法

Also Published As

Publication number Publication date
US8395694B2 (en) 2013-03-12
US20090160963A1 (en) 2009-06-25
CN101465972A (zh) 2009-06-24
KR20090067910A (ko) 2009-06-25
KR101510098B1 (ko) 2015-04-08

Similar Documents

Publication Publication Date Title
CN101465972B (zh) 在数字图像处理装置中使图像背景模糊的设备和方法
KR101427660B1 (ko) 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
US9578260B2 (en) Digital photographing apparatus and method of controlling the digital photographing apparatus
JP6106921B2 (ja) 撮像装置、撮像方法および撮像プログラム
CN110505411B (zh) 图像拍摄方法、装置、存储介质及电子设备
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
TWI549501B (zh) An imaging device, and a control method thereof
KR100629305B1 (ko) 카메라
JP5736796B2 (ja) 電子カメラ、プログラム及び記録媒体
WO2017045558A1 (zh) 景深调节方法、装置及终端
JP2010010729A (ja) 撮像装置及びプログラム
US8988545B2 (en) Digital photographing apparatus and method of controlling the same
JP5125734B2 (ja) 撮像装置、画像選択方法及び画像選択プログラム
KR20140096843A (ko) 디지털 촬영 장치 및 그의 제어 방법
CN104754212A (zh) 电子装置以及通过使用该电子装置捕获移动对象的方法
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
KR20090052677A (ko) 포커스 조정 장치 및 방법
JP5027580B2 (ja) 撮影装置および方法並びにプログラム
JP2011223294A (ja) 撮像装置
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
CN106101495B (zh) 摄像装置以及摄像装置的控制方法
KR101613617B1 (ko) 디지털 영상 촬영 장치 및 그 제어 방법
JP5383308B2 (ja) 画像処理装置
JP2008263478A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: SAMSUNG DIGITALAL IMAGE CO., LTD.

Free format text: FORMER OWNER: SAMSUNG TECHWIN CO., LTD.

Effective date: 20090828

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090828

Address after: Gyeonggi Do Korea Suwon

Applicant after: Samsung Digital Imaging Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

ASS Succession or assignment of patent right

Owner name: SAMSUNG ELECTRONICS CO., LTD.

Free format text: FORMER OWNER: SAMSUNG TECHWIN CO., LTD.

Effective date: 20101228

C10 Entry into substantive examination
C41 Transfer of patent application or patent right or utility model
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20101228

Address after: Gyeonggi Do Korea Suwon

Applicant after: SAMSUNG ELECTRONICS Co.,Ltd.

Address before: Gyeonggi Do Korea Suwon

Applicant before: Samsung Digital Imaging Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130403

Termination date: 20211208