CN101610363A - 在数字图像处理装置中对图像背景进行模糊的设备和方法 - Google Patents

在数字图像处理装置中对图像背景进行模糊的设备和方法 Download PDF

Info

Publication number
CN101610363A
CN101610363A CNA2009102035112A CN200910203511A CN101610363A CN 101610363 A CN101610363 A CN 101610363A CN A2009102035112 A CNA2009102035112 A CN A2009102035112A CN 200910203511 A CN200910203511 A CN 200910203511A CN 101610363 A CN101610363 A CN 101610363A
Authority
CN
China
Prior art keywords
image
monochrome information
input signal
receiving
release button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009102035112A
Other languages
English (en)
Other versions
CN101610363B (zh
Inventor
金荣杰
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101610363A publication Critical patent/CN101610363A/zh
Application granted granted Critical
Publication of CN101610363B publication Critical patent/CN101610363B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种数字图像处理器和方法，特别地，提供了一种用于在数字图像处理装置中对图像的背景进行模糊的设备和方法，其中，当接收一次快门输入信号时使用打开和关闭的闪光灯来拍摄图像，通过将接收快门输入信号之前的图像与激活闪光灯期间的图像相比较来对图像的背景进行模糊，然后将闪光灯关闭时的图像的背景与模糊的背景相结合。处理器对由接收快门输入信号之前产生的第一图像与在接收快门输入信号之后使用打开的闪光灯产生的第二图像之间的亮度差产生的图像进行模糊，并将通过在快门输入信号之后关闭闪光灯产生的第三图像结合到模糊的图像。

Description

在数字图像处理装置中对图像背景进行模糊的设备和方法
本申请要求于2008年5月19日提交到韩国知识产权局的第10-2008-0046286号韩国专利申请的优先权，其公开完整地包含于此，以资参考。
技术领域
本发明涉及一种数字图像处理装置及其方法，更为具体地，涉及一种在数字图像处理装置中对图像的背景进行模糊的设备及其方法，其中在接收一次快门输入信号时通过打开的和关闭的闪光灯来拍摄图像的数字图像处理装置中对图像的背景进行模糊，通过将快门输入之前的图像与闪光灯激活期间的图像相比较来对图像的背景进行模糊，然后将闪光灯关闭时的图像的对象与模糊的背景相结合。
背景技术
诸如数码相机、拍照手机和智能电话等当前流行的数字图像处理装置包括多种数字装置并处理数字化数据，因此提供区别于模拟照相设备的功能。
例如，与现有的胶片相比较，购买大量的存储器以存储很多图像，并且电荷耦合器件(CCD)替代了胶片从而实现了高清晰度图像，因此，允许与个人计算机(PC)共享的图像数据并使图像处理容易进行。
另外，与模拟照相设备相比，数字图像处理装置提供了更多功能，诸如快门速度和光圈系数的自动控制、自动聚焦、图像增强和自动光亮控制等。
但是，模拟照相设备使用自然光学材料并且是手动操作，因此当需要高灵敏度时，模拟照相设备会比数字图像处理装置更合适。
因此，最近推行的数字图像处理装置具有数字装置的优点，并且增加了现有模拟图像处理装置的功能。即，模拟装置的优点被增加到了这些最近推行的数字装置，因此，提供超出数字装置的局限性的多种专业化功能。
另外，由于数字图像处理装置的广泛的可用性，所以摄像的普及度逐渐增加，从而拥有专业摄影技术的人数也增加。
但是，这种数字图像处理装置无法满足专业用户的需求。
例如，当拍摄人时，通常使用涉及浅的景深的使用模糊效果(离焦效果)。但是，当使用现有的数字图像处理装置时，由于镜头和CCD的大小的限制几乎无法注意到这种效果。
通常，模糊的效果根据模糊圈(当对象的一个点通过镜头形成图像时，该图像由具有被视为点的大小和预定直径的点的圆来形成。对于大直径的所述圆，图像被人眼视为“离焦”。在此，具有直径的圆点被表示为模糊圈)的大小而改变，并且模糊圈的大小与深度(焦深和景深)密切关联。
因此，深度根据诸如CCD的大小、光圈系数、镜头的焦距、对象与相机之间的距离和对象与背景之间的距离等因素而改变。
在确定深度的上述因素中，除对象与数字图像处理装置之间的距离以外图像传感器、光圈系数和镜头的焦距根据数字图像处理装置的物理规格而显著地改变。根据小型化数字图像处理装置的特性，由于小图像传感器和小孔径透镜，只可以形成深的景深，因此不满足期望小的景深的用户的需求，其中，通过小的景深只有主对象清楚而背景模糊。
另外，当在数字图像处理装置中采用大尺寸的传感器和镜头时，影响用于制造相对大图像传感器的半导体工艺的产量并需要用于大光圈镜头的特殊设计，因此增加了制造成本。另外，数字图像处理装置的大小增加，而且这种数字图像处理装置的小型化受到限制。
发明内容
本发明的多个实施例提供一种在数字图像处理装置中对图像的背景进行模糊的设备及其方法，其中，在接收一次快门输入信号时使用打开的和关闭的闪光灯拍摄图像，通过将快门输入之前的图像与闪光灯发光时的图像相比较来对图像的背景进行模糊，然后将闪光灯关闭时的图像的对象与模糊的背景相结合。
根据本发明的一方面，提供了一种用于在数字图像处理装置中对图像的背景进行模糊的设备，所述设备包括：数字信号处理器，用于对由在接收快门输入信号之前产生的第一图像与在接收快门输入信号之后使用打开的闪光灯产生的第二图像之间的亮度差产生的图像进行模糊，并将在接收快门输入信号之后闪光灯关闭时产生的第三图像结合到模糊的图像。
可在通过快门释放按钮接收第一输入信号之后并在通过快门释放按钮接收第二输入信号之前的瞬间产生第一图像。
可在通过快门释放按钮接收一次第二输入信号时，一起产生使用打开的闪光灯拍摄的第二图像和使用关闭的闪光灯拍摄的第三图像。
数字信号处理器可包括：比较单元，用于比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像，和用于比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像；反转单元，用于反转第五图像的亮度信息；模糊单元，用于使用低通滤波器对反转的第五图像进行模糊；和结合单元，用于将第三图像的对象结合到模糊的第五图像。
数字信号处理器还可包括：缓冲器，用于在其中以先入先出的形式存储第一图像至第五图像。
数字信号处理器还可包括：闪光灯控制器，用于当通过快门释放按钮接收第二输入信号时为了拍摄第二和第三图像，控制闪光灯的打开和关闭状态。
反转单元可从第五图像分离对象区域与背景区域。
模糊单元可对从第五图像分离的对象区域进行掩模。
根据本发明的另一方面，提供了一种用于在数字图像处理装置中对图像的背景进行模糊的设备，所述设备包括：缓冲器，在其中存储第一、第二和第三图像，在通过快门释放按钮接收第一输入信号之后并且在通过快门释放按钮接收第二输入信号之前产生第一图像，当通过快门释放按钮接收一次第二输入信号时使用开启的闪光灯拍摄第二图像信号，使用关闭的闪光灯拍摄第三图像；比较单元，比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像，比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像；反转单元，反转第五图像的亮度信息；模糊单元，使用低通滤波器对反转的第五图像进行模糊；和结合单元，将第三图像的对象结合到模糊的第五图像。
除第一图像至第三图像之外，缓冲器以先入先出的形式还可存储第四图像和第五图像。
所述设备还可包括：闪光灯控制器，当通过快门释放按钮接收第二输入信号时为了拍摄第二图像和第三图像，控制闪光灯的打开和关闭。
根据本发明的另一方面，提供了一种在数字图像处理装置中对图像的背景进行模糊的方法，所述方法包括：(a)产生在接收快门输入信号之前产生的第一图像、当接收一次快门输入信号时使用打开的闪光灯拍摄的第二图像和使用关闭的闪光灯拍摄的第三图像；(b)对由第一图像与第二图像之间的亮度差产生的图像进行模糊；和(c)将第三图像的对象结合到模糊的图像。
可在通过快门释放按钮接收第一输入信号之后并且通过快门释放按钮接收第二输入信号之前的瞬间产生第一图像，可在通过快门释放按钮接收第二输入信号之后分别使用打开的和关闭的闪光灯来产生第二图像和第三图像。
操作(b)可包括：(b-1)比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像；(b-2)比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像；(b-3)反转第五图像的亮度信息；和(b-4)使用低通滤波器，对亮度信息被反转的第五图像进行模糊。
所述方法还可包括在操作(b-3)之后从第五图像分离对象区域和背景区域。
操作(b-4)还可包括对从亮度信息被反转的第五图像分离的对象区域进行掩模，并将低通滤波器应用到分离的背景区域。
根据本发明的另一方面，提供了一种在数字图像处理装置中对图像的背景进行模糊的方法，所述方法包括：(a)在数字图像处理装置中产生第一图像、第二图像和第三图像，在通过快门释放按钮接收第一输入信号之后并在通过快门释放按钮接收第二输入信号之前产生第一图像，当通过快门释放按钮接收一次第二输入信号时使用打开的闪光灯拍摄第二图像，使用关闭的闪光灯拍摄第三图像；(b)比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像；(c)比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像，并反转第五图像的亮度信息；(d)从亮度信息被反转的第五图像分离对象区域和背景区域，并通过对背景区域进行低通滤波来对分离的背景区域进行模糊；和(e)将第三图像的对象结合到模糊的第五图像。
附图说明
通过下面结合附图对示例性实施例进行的详细描述，本发明的上述和其它特点和优点将会变得更清楚，其中：
图1是示出数字图像处理装置的外部的前部和上部的透视图；
图2是示出图1的数字图像处理装置的外后部的后视图；
图3是根据本发明的实施例的在数字图像处理装置中对图像的背景进行模糊的设备的框图；
图4示出在图3的用于对图像的背景进行模糊的设备中当通过快门释放按钮接收第一输入信号和第二输入信号时在缓冲器中存储的图像帧；
图5A至图5G示出在图3的用于对图像的背景进行模糊的设备中使用存储在缓冲器中的图像帧对背景进行模糊(图5A：(t-1)帧；图5B：(t)帧；图5C：(t+1)帧；图5D：F1帧＝{(t帧)-(t-1帧)}；图5E：F2帧＝{(t+1帧)-(F1帧)}被反转；图5F：F3帧(模糊被应用到背景)；图5G：F3帧(比图5F更多的模糊被应用到背景))；
图6是示出根据本发明的实施例的在数字图像处理装置中对图像的背景进行模糊的方法的流程图。
具体实施方式
下面通过参照附图对本发明进行更全面的描述，本发明的示例性实施例表示和描述在附图中。
图1是示出数字图像处理装置的外部的前部和上部的透视图。
按快门释放按钮11电荷耦合装置(CCD)或胶片曝光预定时间，并且快门释放按钮11与光圈(未示出)相连接以适当地曝光对象，从而在CCD上记录图像。
快门释放按钮11基于拍摄者的输入产生第一图像拍摄信号和第二图像拍摄信号。当按快门释放按钮11以进入第一输入状态(“半按”状态)时，数字图像处理装置试图聚焦在将形成图像的对象上并调整光量。在此，当数字图像处理装置聚焦在对象上时，在显示单元23中开启绿灯。当在快门释放按钮11的第一输入状态下聚焦对象，并且调节光量时，按快门释放按钮11以进入第二输入状态(全部按下状态)以产生全快门信号，从而拍摄图像。第一输入信号与第一输入状态相应，第二输入信号与第二输入状态相应。
电源按钮13在被按下时允许向数字图像处理装置供电，以便使数字图像处理装置运行。
闪光灯15通过瞬间地闪光来照亮暗的地方。闪光灯模式包括自动闪光、填充闪光、闪光灯关闭、减少红眼和慢同步。
辅助灯17向对象提供光，从而当周围光量不足时和在夜间拍摄时，数字图像处理装置可自动、快速和精确地聚焦对象。
镜头单元19接收来自外部光源的光并处理图像。
图2是示出图1的数字图像处理装置的外后部的后视图，并包括广角变焦(wide angle-zoom)按钮21w、远摄变焦(telephoto-zoom)按钮21t、显示单元23和包括触摸传感器或接触点开关的输入按钮B1至B14(以下称为按钮B1-B14)。
根据具体用于改变选择的曝光区域的大小的这些按钮的输入，广角变焦按钮21w和远摄变焦按钮21t分别使视角变宽和变窄。当激活广角变焦按钮21w时，增加选择的曝光区域的大小，并且当激活远摄变焦按钮21t时，增加选择的曝光区域的大小。
按钮B1-B14沿着显示单元23的垂直侧和水平侧排列。沿着显示单元23的垂直侧和水平侧排列的按钮B1-B14包括触摸传感器(未示出)和/或接触点开关(未示出)。
即，按钮B1-B14可包括触摸传感器，并且当触摸水平线上的按钮B1-B7或垂直线上的按钮B8-B14时用于向上/向下/向左/向右移动，从而从主菜单项中选择选取的值(例如，颜色或亮度)或激活包括在主菜单图标中的下级菜单图标。
另外，如果按钮B1-B14包括接触点开关，则可直接选择主菜单图标和下级菜单图标以激活相应的功能。触摸传感器只要求相对较轻微的触摸，但是接触点开关的输入要求相对强的触摸。
图3是根据本发明的实施例的用于在数字图像处理装置中对图像的背景进行模糊的设备的框图。所述设备包括显示单元23、用户输入单元31、成像单元33、图像处理单元35、存储单元37和数字信号处理单元39。
用户输入单元31包括快门释放按钮11、电源按钮13、广角变焦按钮21w、远摄变焦按钮21t和按钮B1-B14。
成像单元33包括未示出在附图中的快门、镜头单元、光圈、CCD和模拟数字转换器(ADC)。快门与光圈一起调整曝光的光量。镜头单元通过接收来自外部光源的光来处理图像。在此，根据光圈的开启和关闭的程度，光圈调整入射到CCD的光量。由数字信号处理单元39控制光圈的开启和关闭的程度。
CCD积累通过镜头单元输入的光并根据积累的光量按照垂直同步信号输出在镜头单元中成像的图像。数字图像处理装置通过将来自对象的光转换为电信号的CCD获得图像。为了通过使用CCD来获得彩色图像，需要滤色器，通常采用被称为滤色器阵列(CFA)的滤光器。CFA具有使用于一个像素的一种颜色的光通过的规则排列的结构。根据排列，可采用多种形式的CFA。ADC将从CCD输出的模拟图像信号转换为数字信号。
图像处理单元35处理信号以显示经数字化转换的原始数据。图像处理单元35去除由于在对温度变化敏感的CDD和CFA中产生的暗电流而出现的黑电平(black level)。图像处理单元35根据人类视觉的非线性执行用于对信息进行编码的伽马校正。
图像处理单元35执行将Bayer图形插值到RGB行的CFA插值，由经伽马校正的预定数据的RGRG行和GBGB行实现该Bayer图形。图像处理单元35将插值的RGB信号转换为YUV信号，执行边缘补偿和颜色校正，并去除信号的噪声，其中边缘补偿使用高频滤波器对Y信号进行滤波从而使图像清晰，颜色校正使用标准颜色坐标系校正U和V信号的颜色值。图像处理单元35压缩并处理去除了噪声的Y、U和V信号，从而产生JPEG文件。产生的JPEG文件显示在显示单元23上并存储在存储单元37中。在数字信号处理单元39的控制下操作图像处理单元35。
数字信号处理单元39对由快门激活之前产生的第一图像与快门激活之后闪光灯15处于打开状态下产生的第二图像之间的亮度差产生的图像进行模糊，并将快门激活之后闪光灯15被关闭时产生的第三图像结合到模糊的图像。
为了执行上述动作，数字信号处理单元39包括缓冲器39-1、闪光灯控制器39-2、比较单元39-3、反转单元39-4、模糊单元39-5、结合单元39-6和控制器39-7。
缓冲器39-1按先入先出形式，即，首先存储的数据首先输出的形式在其中暂时地存储当通过快门释放按钮11接收到第一输入信号和第二输入信号时的图像帧以及背景被模糊的各个图像帧。
图4示出在图3的用于对图像的背景进行模糊的设备中当通过快门释放按钮11接收第一输入信号和第二输入信号时在缓冲器39-1中存储的图像帧。当通过快门释放按钮11接收到第一输入信号时，缓冲器39-1在控制器39-7的控制下顺序地存储图像帧。在此，存储在缓冲器39-1中的图像帧是在其上执行自动曝光(AE)、自动白平衡(AWB)和自动聚焦(AF)的图像帧。假设恰好在通过快门释放按钮11接收第二输入信号之前的图像帧为(t-1)帧。
图5A至图5G示出图3的在用于对图像的背景进行模糊的设备中利用存储在缓冲器39-1中的图像帧对背景进行模糊。
在图5A，示出在通过快门释放按钮11接收到第一输入信号之后并在通过快门释放按钮11接收第二输入信号之前的瞬间产生的(t-1)帧图像。
然后，当通过快门释放按钮11接收到第二输入信号时，在缓冲器39-1中存储(t)帧和(t+1)帧，其中，(t)帧是在快门激活期间闪光灯15打开时拍摄的图像帧，(t+1)帧是在闪光灯15关闭时拍摄的图像帧。
图5B和图5C示出当通过快门释放按钮11接收一次第二输入信号时拍摄的(t)帧图像和(t+1)帧图像。
图5B示出当通过快门释放按钮11接收到第二输入信号时闪光灯15处于打开状态时拍摄的(t)帧图像，图5C示出当通过快门释放按钮11接收到第二输入信号时闪光灯15处于关闭状态时拍摄的(t+1)帧图像。
在当前数字图像处理装置中，在图5A中示出的(t-1)帧图像(即，实时取景图像)的大小小于在图5B和图5C中示出的(t)帧图像和(t+1)帧图像(即，捕获的图像)的大小。但是，根据数字图像处理装置的技术发展，当实时取景图像的大小与捕获的图像的大小相同时，在图5C中示出的(t+1)帧图像可被图5A中示出的(t-1)帧图像替代。
当通过快门释放按钮11接收到第二输入信号时，闪光灯控制器39-2在控制器39-7的控制下使闪光灯15发光以拍摄(t)帧图像，并关闭闪光灯15以拍摄(t+1)帧图像。
比较单元39-3比较(t)帧图像的亮度信息与(t-1)帧图像的亮度信息，并根据(t)帧图像与(t-1)帧图像之间的亮度信息差产生作为新图像帧的F1帧图像，从而将F1图像存储在缓冲器39-1中。在此，由于在F1帧图像中可能存在依赖颜色的反射差异，所以还可执行增益放大。
图5D示出作为由通过将(t)帧图像与(t-1)帧图像相比较而产生的亮度信息差所产生的图像的F1帧图像。
另外，比较单元39-3比较(t+1)帧图像的亮度信息与F1帧图像的亮度信息并根据(t+1)帧图像与F1帧图像之间的亮度信息差产生作为新图像帧的F2帧图像，从而将F2帧图像存储在缓冲器39-1中。
然后，反转单元39-4反转F2帧图像的亮度信息，并分离对象区域和背景区域。
图5E示出F2帧图像上的亮度信息被反转并且对象区域E-1和背景区域E-2被分离的F2帧图像。亮度信息被反转，从而背景区域E-2的亮度信息比对象区域E-1的亮度信息亮。
模糊单元39-5使用低通滤波器(未示出)对亮度信息被反转的F2帧图像进行模糊。当反转的F2帧图像通过低通滤波器时，高频带中的数据，即，边缘数据，无法通过低通滤波器，只有低频带中的数据通过低通滤波器，从而对帧图像进行模糊。模糊单元39-5可将不同权重应用到低通滤波器从而控制模糊的量。
另外，模糊单元39-5对亮度信息被反转的F2帧图像的对象区域E-1进行掩模(mask)，对除掩模的部分以外的部分(即，背景区域E-2)施加权重，应用低通滤波器，使分离对象和背景的效果最大化。
结合单元39-6将(t+1)帧图像的对象结合到被模糊的F2帧图像的对象区域e-1，从而产生最终F3帧图像。
图5F和图5G示出最终F3帧图像，其中，(t+1)帧图像的对象被结合到模糊的F2帧图像的对象区域e-1。
在此，比图5F更多的模糊被应用到图5G。根据低通滤波器的权重的应用，更多或更少的模糊的应用可改变。
在本发明的实施例中，在实时取景状态时激活闪光灯15，从而获得关于对象和背景的信息并应用模糊。但是，在另一实施例中，按人类能够识别的波长不能识别图像的自动发光装置(例如，红外装置)或识别在CCD上成像的图像的分离的发光装置可替代闪光灯15。
以下，参考图6更详细地描述在数字图像处理装置中对图像的背景进行模糊的方法。可在图3示出的数字信号处理单元39中执行在数字图像处理装置中对图像的背景进行模糊的方法，
在操作601，当数字图像处理装置被开启时在拍摄模式下，数字信号处理单元39在显示单元23上显示实时取景图像。
在操作603，当实时取景图像被显示的同时，数字信号处理单元39通过快门释放按钮11从用户接收第一输入信号。然后，在操作605，数字信号处理单元39对实时取景图像执行AE、AWB和AF。
在操作607，数字信号处理单元39将执行AF之后的图像存储在包括在其中的缓冲器39-1中。
缓冲器39-1具有先入先出形式，即，首先存储的数据被首先输出的形式。图4示出当通过快门释放按钮11接收到第一输入信号时顺序地存储在缓冲器39-1中的图像帧。假设在通过快门释放按钮11接收第二输入信号之前的图像帧为(t-1)帧。在图5A中，通过快门释放按钮11接收第一输入信号，示出了恰好在通过快门释放按钮11接收第二输入信号之前的(t-1)帧图像。
然后，当在操作609，数字信号处理单元39通过快门释放按钮11从用户接收第二输入信号时，在操作611，(t)帧图像被存储在缓冲器39-1中作为当闪光灯1打开时拍摄的图像帧，在操作613，(t+1)帧被存储在缓冲器39-1中，作为当闪光灯15关闭时拍摄的图像帧。
在本发明中，当通过快门释放按钮11接收一次第二输入信号时，一起拍摄当闪光灯15打开时获得的(t)帧图像和当闪光灯15关闭时获得的(t+1)帧图像。
图5B和图5C示出当通过快门释放按钮11接收一次第二输入信号时拍摄的(t)帧图像和(t+1)帧图像。图5B示出当通过快门释放按钮11接收第二输入信号时在闪光灯15打开时拍摄的(t)帧图像，图5C示出当通过块门释放按钮11接收第二输入信号时在闪光灯15关闭时拍摄的(t+1)帧图像。
然后，在操作615，数字信号处理单元39比较(t)帧图像的亮度信息与(t-1)帧图像的亮度信息，并根据(t)帧图像与(t-1)帧图像之间的亮度信息差产生作为新图像帧的F1帧图像，从而将F1帧图像存储到缓冲器39-1。
在此，由于在F1帧图像中可能存在依赖颜色的反射差异，还可执行增益放大。图5D示出作为由通过将(t)帧图像与(t-1)帧图像相比较而产生的亮度信息差所产生的图像的F1帧图像。
然后，数字信号处理单元39比较(t+1)帧图像的亮度信息与F1帧图像的亮度信息，根据(t+1)帧图像与F1帧图像之间的亮度信息差产生作为新图像帧的F2帧图像。然后，在操作617，反转F2帧图像的亮度信息以将反转的亮度信息存储在缓冲器39-1中。在此，数字信号处理单元39分离亮度信息被反转的F2帧的对象区域e-1与背景区域e-2。
图5E示出在F2帧图像上的亮度信息被反转的F2帧图像和分离的对象区域E-1和背景区域E-2。亮度信息被反转，从而背景区域E-2的亮度信息比对象区域E-1的亮度信息亮。
在操作619，数字信号处理单元39使用低通滤波器(未示出)来对亮度信息被反转的F2帧图像进行模糊。
当反转的F2帧图像通过低通滤波器时，高频带的数据，即，边缘数据，无法通过低通滤波器，只有低频带的数据通过低通滤波器，从而对帧图像进行模糊。
模糊单元39-5可将不同权重应用到低通滤波器以控制模糊的量。另外，模糊单元39-5对亮度信息被反转的F2帧图像的对象区域E-1进行掩模，对除掩模的部分以外的部分(即，背景区域E-2)施加权重，应用低通滤波器，分离是对象和背景的效果最大化。
在操作621，数字信号处理单元39将(t+1)帧图像的对象结合到被模糊的F2帧图像的对象区域E-1，从而产生最终的F3帧图像。
图5F和图5G示出(t+1)帧图像的对象被结合到模糊的F2帧图像的对象区域E-1的最终F3帧图像。
在此，比图5F更多的模糊被应用到图5G。根据低通滤波器的权重，可改变应用更多或更少的模糊。
根据本发明的多个实施例，通过在观看实时取景图像的同时通过开启和关闭闪光灯来获得对象信息，基于对象信息应用对聚焦的对象的模糊，从而提供光学模糊。
另外，当可以在保持小型化的数字图像处理装置和相对低的成本的同时，实现用户期望的模糊。
出于促进对本发明的原理的理解的目的，已参考示出在附图中的优选实施例，并使用特定的语言描述了这些实施例。但是，这些特定语言不是试图限制本发明的范围，并且本发明应该被构解释包括本领域的普通技术人员可正常实施的所有实施例。
可按照功能块部件和多个处理步骤来描述本发明。可由配置为执行特定功能的任何数量的硬件和/或软件部件来实现所述功能块。例如，本发明可采用可在一个或多个微处理器或其它控制装置的控制下实现多个功能的各种集成电路部件，例如，存储器元件、处理元件、逻辑元件、查找表等。类似地，使用软件程序或软件元件实现本发明的元件时，可使用诸如C、C++、Java、汇编程序等任何编程或脚本语言，使用以数据结构、对象、处理、例程或其它程序元件的任何组合实施的各种算法，来实施发明。另外，本发明可采用任何数量的用于电子配置、信号处理和/或控制、数据处理等的现有技术。词语机制被广泛使用，并且不局限于机械或物理实施例，还可包括与处理器结合的软件例程等。
在此示出和描述的特定实施是本发明的示意性例子，不是试图以任何方式限制本发明的范围。为了简明扼要，没有详细地描述现有电子、控制***、软件开发和其它***(和***的单独操作部件的部件)的其他功能方面。另外，在提供的多个图中示出的连接线或连接器试图表示示例性功能关系和/或多个元件之间的物理或逻辑连接。应该注意的是在实际装置中会存在很多替代的或附加的功能关系、物理连接或逻辑连接。此外，对发明的实践，没有项目或部件是必需的，除非该元件被明确地描述为“必需的”。
描述本发明上下文中的单数术语使用被解释为覆盖单数和复数。另外，在此叙述的值的范围仅意图用作个别地涉及落在所述范围内的每个单独值的简略方法，除非在此另外指出，每个单独的值包含在说明书中，就像该值在这里被个别地叙述一样。最后，可以以任何适当的次序执行在此描述的所有方法的步骤，除非在此另外指出或者通过上下文明显矛盾。
在不脱离本发明的精神和范围的情况下，各种变动和修改对本领域的技术人员将是显然的。

Claims (17)

1、一种用于在数字图像处理装置中对图像的背景进行模糊的设备，所述设备包括：
数字信号处理器，用于对由在接收快门输入信号之前产生的第一图像与在接收快门输入信号之后使用打开的闪光灯产生的第二图像之间的亮度差产生的图像进行模糊，将在接收快门输入信号之后当闪光灯关闭时产生的第三图像结合到模糊的图像。
2、如权利要求1所述的设备，其中，在通过快门释放按钮接收第一输入信号之后并且在通过快门释放按钮接收第二输入信号之前的瞬间产生第一图像。
3、如权利要求2所述的设备，其中，当通过快门释放按钮接收一次第二输入信号时，一起产生使用打开的闪光灯拍摄的第二图像和使用关闭的闪光灯拍摄的第三图像。
4、如权利要求3所述的设备，其中，数字信号处理器包括：
比较单元，用于比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像，并比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像；
反转单元，用于反转第五图像的亮度信息；
模糊单元，用于使用低通滤波器对反转的第五图像进行模糊；和
结合单元，用于将第三图像中的对象结合到模糊的第五图像。
5、如权利要求3所述的设备，其中，数字信号处理器还包括：缓冲器，用于在其中以先入先出的形式存储第一图像至第五图像。
6、如权利要求3所述的设备，其中，数字信号处理器还包括：闪光灯控制器，用于当通过快门释放按钮接收到第二输入信号时为了拍摄第二和第三图像，控制闪光灯的打开和关闭状态。
7、如权利要求4所述的设备，其中，反转单元从第五图像中分离对象区域和背景区域。
8、如权利要求7所述的设备，其中，模糊单元对从第五图像中分离的对象区域进行掩模。
9、一种用于在数字图像处理装置中对图像的背景进行模糊的设备，所述设备包括：
缓冲器，用于在其中存储第一、第二和第三图像，在通过快门释放按钮接收第一输入信号之后并且在通过快门释放按钮接收第二输入信号之前产生第一图像，当通过快门释放按钮接收一次第二输入信号时使用打开的闪光灯来拍摄第二图像，使用关闭的闪光灯拍摄第三图像；
比较单元，用于比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像，比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像；
反转单元，用于反转第五图像的亮度信息；
模糊单元，用于使用低通滤波器对反转的第五图像进行模糊；和
结合单元，用于将第三图像中的对象结合到模糊的第五图像。
10、如权利要求9所述的设备，其中，除第一图像至第三图像之外，缓冲器以先入先出的形式还存储第四图像和第五图像。
11、如权利要求7所述的设备，还包括：闪光灯控制器，用于当第二次输入快门释放按钮时为了拍摄第二和第三图像，控制闪光灯的打开和关闭。
12、一种在数字图像处理装置中对图像的背景进行模糊的方法，所述方法包括：
(a)产生在接收快门输入信号之前产生的第一图像、当接收一次快门输入信号时使用打开的闪光灯拍摄的第二图像和使用关闭的闪光灯拍摄的第三图像；
(b)对由第一图像与第二图像之间的亮度差产生的图像进行模糊；和
(c)将第三图像的对象结合到模糊的图像。
13、如权利要求12所述的方法，其中，在通过快门释放按钮接收第一输入信号之后并在通过快门释放按钮接收第二输入信号之前的瞬间产生第一图像，当通过快门释放按钮接收第二输入信号之后分别使用打开的和关闭的闪光灯产生第二和第三图像。
14、如权利要求12所述的方法，其中，步骤(b)包括：
(b-1)比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像；
(b-2)比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像；
(b-3)反转第五图像的亮度信息；和
(b-4)使用低通滤波器，对亮度信息被反转的第五图像进行模糊。
15、如权利要求14所述的方法，还包括：在步骤(b-3)之后从第五图像分离对象区域和背景区域。
16、如权利要求15所述的方法，其中，步骤(b-4)包括：对从亮度信息被反转的第五图像中分离的对象区域进行掩模，并将低通滤波器应用到分离的背景区域。
17、一种在数字图像处理装置中对图像的背景进行模糊的方法，所述方法包括：
(a)在数字图像处理装置中产生第一图像、第二图像和第三图像，在通过快门释放按钮接收第一输入信号之后并在通过快门释放按钮接收第二输入信号之前产生第一图像，当通过快门释放按钮接收一次第二输入信号时使用开启闪光灯来拍摄第二图像，使用关闭的闪光灯拍摄第三图像；
(b)比较第一图像的亮度信息与第二图像的亮度信息以根据第一图像与第二图像之间的亮度信息差产生第四图像；
(c)比较第三图像的亮度信息与第四图像的亮度信息以根据第三图像与第四图像之间的亮度信息差产生第五图像，并反转第五图像的亮度信息；
(d)从亮度信息被反转的第五图像分离对象区域和背景区域，并通过对背景区域进行低通滤波来对分离的背景区域进行模糊；和
(e)将第三图像中的对象结合到模糊的第五图像。
CN2009102035112A 2008-05-19 2009-05-19 在数字图像处理装置中对图像背景进行模糊的设备和方法 Expired - Fee Related CN101610363B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2008-0046286 2008-05-19
KR1020080046286 2008-05-19
KR1020080046286A KR101427660B1 (ko) 2008-05-19 2008-05-19 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법

Publications (2)

Publication Number Publication Date
CN101610363A true CN101610363A (zh) 2009-12-23
CN101610363B CN101610363B (zh) 2013-06-12

Family

ID=41315776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102035112A Expired - Fee Related CN101610363B (zh) 2008-05-19 2009-05-19 在数字图像处理装置中对图像背景进行模糊的设备和方法

Country Status (4)

Country Link
US (1) US8749653B2 (zh)
KR (1) KR101427660B1 (zh)
CN (1) CN101610363B (zh)
GB (1) GB2460148B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914860A (zh) * 2012-09-06 2013-02-06 黄力华 一种折射式照相机及led发光器调整控制装置
CN104463775A (zh) * 2014-10-31 2015-03-25 小米科技有限责任公司 一种实现图片景深效果的方法及装置
CN110275098A (zh) * 2019-06-28 2019-09-24 杭州赫太克科技有限公司 紫外成像仪
CN112565660A (zh) * 2020-12-08 2021-03-26 维沃移动通信有限公司 图像处理方法及装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5300756B2 (ja) * 2010-02-05 2013-09-25 キヤノン株式会社 撮像装置及び画像処理方法
KR101294735B1 (ko) 2010-03-31 2013-08-08 삼성전자주식회사 이미지 처리 방법 및 이를 이용한 촬영 장치
JP2012044564A (ja) * 2010-08-20 2012-03-01 Sanyo Electric Co Ltd 撮像装置
CA2771851C (en) * 2011-04-12 2018-07-24 Research In Motion Limited Camera flash for improved color balance
US20120287115A1 (en) * 2011-05-10 2012-11-15 Ding Junjie Method for generating image frames
TW201322183A (zh) * 2011-11-17 2013-06-01 Hon Hai Prec Ind Co Ltd 圖像分析裝置及分析方法
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
TWI461813B (zh) * 2012-02-24 2014-11-21 Htc Corp 影像擷取方法與相關影像擷取系統
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9270899B1 (en) * 2012-06-27 2016-02-23 Amazon Technologies, Inc. Segmentation approaches for object recognition
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
KR20140137738A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
US9565370B2 (en) * 2014-05-30 2017-02-07 Apple Inc. System and method for assisting in computer interpretation of surfaces carrying symbols or characters
US9449239B2 (en) 2014-05-30 2016-09-20 Apple Inc. Credit card auto-fill
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
TWI531984B (zh) * 2015-05-26 2016-05-01 原相科技股份有限公司 影像處理方法以及影像處理裝置
CN106303155B (zh) * 2015-06-04 2019-09-17 原相科技股份有限公司 影像处理方法以及影像处理装置
JP6495446B2 (ja) * 2015-06-08 2019-04-03 オリンパス株式会社 ぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法
JP6741881B2 (ja) * 2017-12-07 2020-08-19 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP7394151B2 (ja) * 2020-01-30 2023-12-07 富士フイルム株式会社 表示方法
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
JP7287379B2 (ja) * 2020-12-10 2023-06-06 セイコーエプソン株式会社 表示方法、検出装置、および、プログラム
CN113286078B (zh) * 2021-05-07 2022-10-14 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1396819A4 (en) 2001-06-15 2006-08-09 Sony Corp IMAGE PROCESSING APPARATUS AND METHOD AND IMAGING APPARATUS
JP3624859B2 (ja) 2001-06-19 2005-03-02 カシオ計算機株式会社 撮像装置、ソフトフォーカス画像撮影方法
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US7469071B2 (en) 2006-02-14 2008-12-23 Fotonation Vision Limited Image blurring
KR101510098B1 (ko) * 2007-12-21 2015-04-08 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914860A (zh) * 2012-09-06 2013-02-06 黄力华 一种折射式照相机及led发光器调整控制装置
CN104463775A (zh) * 2014-10-31 2015-03-25 小米科技有限责任公司 一种实现图片景深效果的方法及装置
CN110275098A (zh) * 2019-06-28 2019-09-24 杭州赫太克科技有限公司 紫外成像仪
CN112565660A (zh) * 2020-12-08 2021-03-26 维沃移动通信有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
KR101427660B1 (ko) 2014-08-07
KR20090120314A (ko) 2009-11-24
GB0907829D0 (en) 2009-06-17
GB2460148B (en) 2012-08-15
US8749653B2 (en) 2014-06-10
CN101610363B (zh) 2013-06-12
GB2460148A (en) 2009-11-25
US20090284613A1 (en) 2009-11-19

Similar Documents

Publication Publication Date Title
CN101610363B (zh) 在数字图像处理装置中对图像背景进行模糊的设备和方法
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
US9013589B2 (en) Digital image processing apparatus and digital image processing method capable of obtaining sensibility-based image
US8957982B2 (en) Imaging device and imaging method
CN116055897B (zh) 拍照方法及其相关设备
US11245852B2 (en) Capturing apparatus for generating two types of images for display from an obtained captured image based on scene luminance and exposure
JP6810299B2 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
WO2019064753A1 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
CN111095912B (zh) 摄像装置、摄像方法及记录介质
JP2012142823A (ja) 表示制御装置、撮像装置および表示制御プログラム
JP2012019341A (ja) 撮像装置、撮像装置の制御方法および制御プログラム
US10380949B2 (en) Display apparatus and control method of the same
JP7174123B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US9538071B2 (en) Electronic apparatus having a photographing function and method of controlling the same
JPWO2020161969A1 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US20180091721A1 (en) Imaging apparatus, control method and program
CN116055855B (zh) 图像处理方法及其相关设备
CN105453541B (zh) 电子装置和控制电子装置的方法
CN116051368B (zh) 图像处理方法及其相关设备
CN111050026B (zh) 一种图像降噪控制方法、终端及计算机可读存储介质
CN117714850A (zh) 延时摄影方法及其相关设备
KR100651596B1 (ko) 촬영된 영상의 저장 방법 및 그 방법이 구현된 이동통신단말기
JP2004364163A (ja) 撮像装置
KR20150114230A (ko) 영상 촬영 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: SAMSUNG ELECTRONICS CO., LTD.

Free format text: FORMER OWNER: SAMSUNG TECHWIN CO., LTD.

Effective date: 20101224

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20101224

Address after: Gyeonggi Do Korea Suwon

Applicant after: Samsung Electronics Co.,Ltd.

Address before: Gyeonggi Do Korea Suwon

Applicant before: Samsung Electronics Co., Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130612

Termination date: 20210519

CF01 Termination of patent right due to non-payment of annual fee