CN102801908A

CN102801908A - 浅景深模拟方法及数字相机

Info

Publication number: CN102801908A
Application number: CN2011101339279A
Authority: CN
Inventors: 林家合
Original assignee: Novatek Microelectronics Corp
Current assignee: Novatek Microelectronics Corp
Priority date: 2011-05-23
Filing date: 2011-05-23
Publication date: 2012-11-28

Abstract

本发明公开一种浅景深模拟方法，用于一数字相机中，该浅景深模拟方法包括有侦测一对焦画素所对应的一物体距离；根据该物体距离，产生一原始影像；以及根据该原始影像中多个画素的多个对比值，对该多个画素进行不同程度模糊处理，以产生一浅景深影像。

Description

浅景深模拟方法及数字相机

技术领域

本发明涉及一种浅景深模拟方法及其数字相机，尤其涉及一种利用数字处理方式模拟浅景深影像，使得距离对焦处较近的物体影像较清晰而距离对焦处较远的物体影像较模糊的浅景深模拟方法及其数字相机。

背景技术

一般来说，透镜只能够将光聚到某一固定的距离，远离此点则会逐渐模糊，但是在某一个特定的距离内，影像模糊的程度是肉眼无法察觉的，这段距离称的为景深(Depth of field，DOF)，即对人眼而言可以清楚成像的距离范围。

消费型数字相机通常光圈较小，因此景深较长，虽然可具有远近景都可拍摄清楚的优点，却无法突显对焦物体。相反地，单眼相机可具有较大光圈，因此景深较浅，可使对焦点处清晰而非对焦点处模糊，以达到突显拍摄物体的效果。

举例来说，请参考图1，图1为公知技术中分别以一大光圈镜头Len1及一小光圈镜头Len2成像的示意图。如图1所示，大光圈镜头Len1及小光圈镜头Len2都设计为可将相隔一物体距离D2的物体2a、2b刚好分别聚焦在一底片100及一影像传感器102上，即像2a′、2b′，其中，影像传感器102可以是一电荷耦合装置(charge coupled device，CCD)传感器等影像传感器。由图1可知，相隔一物体距离D1的物体1a、3a及相隔一物体距离D3的物体1b、3b无法刚好分别聚焦在底片100及影像传感器102上，因此具有较浅景深的大光圈镜头Len1会得到较模糊的像1a′、3a′，而具有较深景深的小光圈镜头Len2会得到较清晰的像1b′、3b′。须注意，公知可利用移动大光圈镜头Len1及小光圈镜头Len2，而改变刚好聚焦的物体距离。

因此，公知数字相机或手机相机往往利用影像处理的方式将影像传感器102所得部分影像模糊化，藉以突显特定物品。举例来说，在公知触控式手机相机上，使用者可点击影像中欲突显部分，触控式手机相机会进行以圆形散开方式将影像模糊化，即距离点击处愈近愈清晰而距离点击处愈远愈模糊；或者使用者可选择一条水平线，触控式手机相机会进行以水平散开方式将影像模糊化，即距离水平线愈近愈清晰而距离水平线愈远愈模糊。

然而，公知进行影像处理以将部分影像模糊化的方式，往往对影像以固定范围或固定模式进行模糊化，因此可能实际上与数字相机距离相等的物品在经影像处理后清晰度不同，而无法真正达到单眼相机大光圈具有景深较浅的影像；而一般大光圈成相优良镜头制造不易，因此成本较高而不适合使用于消费型数字相机产品。

再者，公知技术也有采用拍摄两张影像的方式进行影像模糊化，其是利用将其中一张影像对焦在前景而另一张影像对焦在后景，接着使用影像处理技术将前后景区分开来，然后将对应于后景部分套用一个模糊程度。然而，此做法需拍摄两张影像因此需进行对齐(align)的操作，即拍摄两张影像时需要先让两张影像大致对齐后才能做后续的动作，因此增加复杂度，使用者操作也比较麻烦；且此方法所得的影像只有前景与后景两种模糊程度，仍无法有效呈现距离。

有鉴在上述缺点，公知技术实有改进的必要，以使用较佳影像模糊方式模拟浅景深影像。

发明内容

因此，本发明的主要目的即在于提供一种利用数字处理方式模拟浅景深影像的浅景深模拟方法及其数字相机。

本发明公开一种浅景深模拟方法，用于一数字相机中。该浅景深模拟方法包括有侦测一对焦画素所对应的一物体距离；根据该物体距离，产生一原始影像；以及根据该原始影像中多个画素的多个对比值，对该多个画素进行不同程度模糊处理，以产生一浅景深影像。

本发明还公开一种数字相机，可进行浅景深模拟。该数字相机包括有一镜头；一传感器，用来根据一物体距离产生一原始影像；以及一影像处理芯片。该影像处理芯片包括有一侦测单元，用来侦测一对焦画素所对应的该物体距离；以及一处理单元，用来根据该原始影像中多个画素的多个对比值，对该多个画素进行不同程度模糊处理，以产生一浅景深影像。

在此配合下列图示、实施例的详细说明及权利要求书，将上述及本发明的其它目的与优点详述于后。

附图说明

图1为公知技术中分别以一大光圈镜头及一小光圈镜头成像的示意图。

图2为本发明实施例一数字相机的示意图。

图3A至第3C图分别为图2中不同画素的对焦信息的对比值的示意图。

图4为图2中一原始影像及一浅景深影像的示意图。

图5为图2中一影像传感器包括有多个画素窗口的示意图。

图6A至第6C图分别为图5中不同画素窗口的对焦信息的加总对比值的示意图。

图7为图2中一处理单元的操作示意图。

图8为本发明实施例中一浅景深模拟流程的示意图。

其中，附图标记说明如下：

100 底片

102、204 影像传感器

20

202 镜头

206 影像处理芯片

208 侦测单元

210 处理单元

80 流程

800～808 步骤

Len1、Len2 镜头

D1、D2、D3、D1′、D2′、D3′ 物体距离

1a、2a、3a、1b、2b、3b、O₁～O₃ 物体

1a′、2a′、3a′、1b′、2b′、3b′ 像

P-₁～P₃、P-₁′～P-₃′ 画素

ORI 原始影像

CV₁～CV_x 对比值

SDOF 浅景深影像

FInfo₁～FInfo₃、FWInfo₁～FWInfo₃ 对焦信息

MaxCV₁～MaxCV₃ 最大对比值

PW₁～PW₃ 画素窗口

MaxSCV₁～MaxSCV₃ 最大加总对比值

GBI₁～GBI₄ 高斯模糊影像

具体实施方式

请参考图2，图2为本发明实施例一数字相机20的示意图。为求简洁，图2仅绘示出数字相机20的一镜头202、一影像传感器204以及一影像处理芯片206，其它组件则略而未示。影像处理芯片206包括有一侦测单元208及一处理单元210，其中，影像传感器204可以是一电荷耦合装置(chargecoupled device，CCD)传感器、互补式金属氧化物半导体(ComplementaryMetal-Oxide Semiconductor，CMOS)传感器等影像传感器。简单来说，侦测单元208可侦测一对焦画素(pixel)FP(如一画素P--₂)所对应的一物体距离OD(如一物体距离D2′)。接着，镜头202保持在使相隔物体距离OD的物体刚好聚焦在影像传感器204的位置，影像传感器204在此时产生一原始影像ORI。处理单元210再根据原始影像ORI中全部画素P-₁～P_x的对焦信息FInfo₁～FInfo_x的对比值CV₁～CV_x，对画素P-₁～P_x进行不同程度模糊处理，以产生一浅景深影像SDOF。如此一来，本发明可使距离相等的物品在经影像处理后具有相同清晰度，且不需大光圈镜头即可产生浅景深影像；此外，相较在公知拍摄两张影像以进行影像处理产生前景与后景两种模糊程度，本发明仅需拍摄一张原始影像ROI，即可依不同对焦强度(距离远近)做不同程度的模糊，因此可以较易操作的方式产生更多模糊程度的浅景深影像SDOF，而更贴近真实大光圈拍摄的结果。

详细来说，镜头202可前后移动以进行自动对焦，使得侦测单元208侦测对焦画素FP的一对焦信息FInfo，并决定对焦信息FInfo中一最大对比值MaxCV所对应的一距离为对焦画素FP所对应的物体距离OD。接着，影像传感器204根据物体距离OD产生原始影像ORI，而处理单元210使原始影像ORI中画素P-₁～P_x中所对应的对焦信息FInfo₁～FInfo_x的对比值CV₁～CV_x较小的画素较模糊，以产生浅景深影像SDOF。

举例来说，请参考图3A至第3C图，图3A及第3C图分别为图2中画素P--₁、P--₂、P₃的对焦信息FInfo₁、FInfo₂、FInfo₃的对比值CV₁、CV₂、CV₃的示意图。图3A至第3C图是利用镜头202前后移动，以得到使不同物体距离的物体刚好聚焦的对比值(即与周围画素差值)。如图3B所示，若选择画素P--₂为对焦画素FP，侦测单元208可决定对焦信息FInfo₂中一最大对比值MaxCV₂所对应的一距离D2′为对焦画素FP所对应的物体距离OD。换言之，由于画素P--₂所对应的一物体O₂与镜头202间隔物体距离D2′，因此当镜头202前后移动使物体距离D2′的物体O₂刚好聚焦时，对比值CV₂会最大。

因此，影像传感器204根据物体距离D2′产生原始影像ORI时，画素P-₂所对应的对比值CV₂最大(如255)，而画素P-₃所对应的对比值CV₃其次(如192)，而画素P-₁所对应的对比值CV₁最小(如128)。在此情况下，请参考图4，图4为图2中原始影像ORI及浅景深影像SDOF的示意图。如图4所示，处理单元210使原始影像ORI中画素P-₂维持清晰，画素P-₃稍微模糊，而画素P-₁最模糊，以产生浅景深影像SDOF的画素P-₁′～P-₃′。如此一来，本发明可使距离相等的物品在经影像处理后具有相同清晰度，且不需大光圈镜头即可产生浅景深影像，因此可以较易操作的方式产生更多模糊程度的浅景深影像SDOF，而更贴近真实大光圈拍摄的结果。

值得注意的是，本发明的主要精神在于利用对焦信息侦测对焦画素FP所对应的物体距离OD，再据以产生原始影像OI，然后由处理单元210根据原始影像ORI中全部画素P-₁～P_x的对焦信息FInfo₁～FInfo_x的对比值CV₁～CV_x，对画素P-₁～P_x进行不同程度模糊处理，以产生浅景深影像SDOF。本领域普通技术人员当可据以修饰或变化而不限于此。举例来说，对焦画素FP不限于画素P--₂，而可以是画素P--₁、画素P--₃、一中心点画素或一欲清晰物品所对应的画素等画素；侦测对焦画素FP所对应的物体距离OD也不限于移动镜头202，由最大对比值MaxCV进行判断，而可以是其它距离测量方法；此外，由于在实际应用上通常拍摄范围内全部画素P-₁～P_x的数量相当大，而不像上述实施例中仅有三点，因此为了降低实施上的复杂度，也可将画素P-₁～P_x分至影像传感器204的画素窗口PW₁～PW_y，而对焦画素FP位在一对焦画素窗口FPW。

详细来说，镜头202可前后移动以进行自动对焦，使得侦测单元208侦测对焦画素窗口FPW的一对焦信息FWInfo，并决定对焦信息FWInfo中一最大加总对比值MaxSCV所对应的一距离为对焦画素窗口FPW所对应的物体距离OD。接着，影像传感器204根据物体距离OD产生原始影像ORI。处理单元210原始影像ORI进行不同程度高斯模糊(Gaussian blur)，以分别产生高斯模糊影像GBI₁～GBI_z，并根据原始影像ORI中画素窗口PW₁～PW_y的加总对比值SCV₁～SCV_y，以原始影像ORI及高斯模糊影像GBI₁～GBI_z套用画素窗口PW₁～PW_y，以产生浅景深影像SDOF。

请参考图5，图5为图2中影像传感器204包括有画素窗口PW₁～PW_y(如4*4个画素窗口)的示意图。举例来说，请参考图6A至第6C图，图6A及第6C图分别为图5中画素窗口PW₁～PW₃(分别包括画素P--₁、P--₂、P₃)的对焦信息FWInfo₁、FWInfo₂、FWInfo₃的加总对比值SCV₁、SCV₂、SCV₃的示意图。图6A至第6C图是利用镜头202前后移动，以得到使不同物体距离的物体刚好聚焦的加总对比值(即画素窗口中每个画素与周围画素差值加总)。如图6B所示，若选择画素窗口PW₂为对焦画素FPW，侦测单元208可决定对焦信息FWInfo₂中一最大加总对比值MaxSCV₂所对应的距离D2′为对焦画素FPW所对应的物体距离OD。换言之，由于画素窗口PW₂中所对应的物体大多与镜头202间隔物体距离D2′，因此当镜头202前后移动使物体距离D2′的物体刚好聚焦时，加总对比值SCV₂会最大。

因此，影像传感器204根据物体距离D2′产生原始影像ORI时，画素窗口PW-₂所对应的加总对比值SCV₂最大(如255)，而画素窗口PW-₃所对应的加总对比值SCV₃其次(如192)，而画素窗口PW-₁所对应的加总对比值SCV₁最小(如128)。在此情况下，请参考图7，图7为图2中处理单元210的操作示意图。如图7所示，处理单元210对原始影像ORI进行不同程度高斯模糊(Gaussian blur)，以分别产生高斯模糊影像GBI₁～GBI₄(高斯模糊影像GBI₁最清楚而高斯模糊影像GBI₄最模糊)，并根据原始影像ORI中画素窗口PW₁～PW_y的加总对比值SCV₁～SCV_y，以原始影像ORI及高斯模糊影像GBI₁～GBI₄套用画素窗口PW₁～PW_y，以产生浅景深影像SDOF。

详细来说，处理单元210将原始影像ORI及高斯模糊影像GBI₁～GBI₄分别对应于特定加总对比值SSCV₁～SSCV_a(如为255、192、128、64、0)，并根据原始影像ORI中画素窗口PW₁～PW_y的加总对比值加总对比值SCV₁～SCV_y及特定加总对比值SSCV₁～SSCV_a，以原始影像ORI及高斯模糊影像GBI₁～GBI₄套用画素窗口PW₁～PW_y，以产生浅景深影像SDOF。举例来说，若画素窗口PW-₁～PW-₃所对应的加总对比值SCV₁～SCV₃分别为128、255、192，则可分别以高斯模糊影像GBI₂、原始影像ORI、高斯模糊影像GBI₁套用画素窗口PW-₁～PW-₃以得到浅景深影像SDOF的画素窗口PW-₁′～PW-₃′如此一来，本发明可使距离相等的物品在经影像处理后具有相同清晰度，且不需大光圈镜头即可产生浅景深影像，因此可以较易操作的方式产生更多模糊程度的浅景深影像SDOF，而更贴近真实大光圈拍摄的结果。

须注意，若一画素窗口PW-₄所对应的一加总对比值SCV₄为224，虽然原始影像ORI及高斯模糊影像GBI₁～GBI₄所对应的加总对比值SCV₁～SCV₃未直接相对应，但可将原始影像ORI及高斯模糊影像GBI₁以1∶1进行内插来套用画素窗口PW-₄。此外，为避免画素窗口PW₁～PW_y的窗口边缘变化过大而失真或过锐利(如一画素窗口中加总对比值较高，则窗口边缘对比值较低的画素也会较清晰)，处理单元210更可将已套用的画素窗口PW₁～PW_y的窗口边缘进行阿尔法混合(alpha blending)，即两窗口边缘进行内插，以产生浅景深影像SDOF，使得在加总对比值较高的一画素窗口，其窗口边缘对比值较低的画素，可较模糊而近似相邻加总对比值较低的另一画素窗口。

因此，数字相机20的浅景深模拟操作，可归纳为一浅景深模拟流程80，如图8所示，其包括以下步骤：

步骤800：开始。

步骤802：侦测对焦画素FP所对应的物体距离OD。

步骤804：根据物体距离OD，产生原始影像ORI。

步骤806：根据原始影像ORI中画素P-1～Px的对焦信息FInfo1～FInfox的对比值CV1～CVx，对画素P-1～Px进行不同程度模糊处理，以产生浅景深影像SDOF。

步骤808：结束。

浅景深模拟流程80的详细内容可参考上述相关组件说明，在此不再赘述。

公知技术对影像以固定范围或固定模式进行模糊化，因此可能实际上与数字相机距离相等的物品在经影像处理后清晰度不同，而无法真正达到单眼相机大光圈具有景深较浅的影像；而一般大光圈成相优良镜头制造不易，因此成本较高而不适合使用于消费型数字相机产品；而以拍摄两张影像的方式进行影像模糊化则需进行对齐的操作，因而增加复杂度，且其仅能产生前景与后景两种模糊程度。相较之下，本发明根据对焦信息中与距离相关的对比值，对画素进行不同程度模糊处理，以产生浅景深影像，因此可使距离相等的物品在经影像处理后具有相同清晰度，且不需大光圈镜头即可产生浅景深影像，因而可依不同距离远近做不同程度的模糊，而以较易操作的方式产生更多模糊程度的浅景深影像，使其更贴近真实大光圈拍摄的结果。

以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种浅景深模拟方法，用于一数字相机中，其特征在于，包括有：

侦测一对焦画素所对应的一物体距离；

根据该物体距离，产生一原始影像；以及

根据该原始影像中多个画素的多个第一对焦信息的多个对比值，对该多个画素进行不同程度模糊处理，以产生一浅景深影像。

2.如权利要求1所述的浅景深模拟方法，其特征在于，侦测该对焦画素所对应的该物体距离的步骤包括有：

移动该数字相机的一镜头，以侦测该对焦画素的一第一对焦信息；以及决定该第一对焦信息中一最大对比值所对应的一第一距离为该对焦画素所对应的该物体距离。

3.如权利要求1所述的浅景深模拟方法，其特征在于，根据该原始影像中该多个画素的该多个对焦信息的该多个对比值，对该多个画素进行不同程度模糊处理，以产生该浅景深影像的步骤包括有：

使该原始影像中该多个画素中所对应的该多个对焦信息的该多个对比值较小的画素较模糊，以产生该浅景深影像。

4.如权利要求1所述的浅景深模拟方法，其特征在于，还包括有：

将该多个画素分至多个画素窗口，且该对焦画素位在一对焦画素窗口。

5.如权利要求4所述的浅景深模拟方法，其特征在于，侦测该对焦画素所对应的该物体距离的步骤包括有：

移动该数字相机的一镜头，以侦测该对焦画素窗口的一第二对焦信息；以及

决定该第二对焦信息中一最大加总对比值所对应的一第二距离为该对焦画素窗口所对应的该物体距离。

6.如权利要求5所述的浅景深模拟方法，其特征在于，根据该原始影像中该多个画素的该多个对焦信息的该多个对比值，对该多个画素进行不同程度模糊处理，以产生该浅景深影像的步骤包括有：

对该原始影像进行不同程度高斯模糊，以分别产生多个高斯模糊影像；以及

根据该原始影像中该多个画素窗口的多个加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口，以产生该浅景深影像。

7.如权利要求6所述的浅景深模拟方法，其特征在于，根据该原始影像中该多个画素窗口的该多个加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口，以产生该浅景深影像的步骤包括有：

将该原始影像及该多个高斯模糊影像分别对应于多个特定加总对比值；以及

根据该原始影像中该多个画素窗口的该多个加总对比值及该多个特定加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口，以产生该浅景深影像。

8.如权利要求6所述的浅景深模拟方法，其特征在于，根据该原始影像中该多个画素窗口的该多个加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口，以产生该浅景深影像的步骤包括有：

根据该原始影像中该多个画素窗口的该多个加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口；以及

将已套用的该多个画素窗口间多个窗口边缘进行阿尔法混合，以产生该浅景深影像。

9.一种数字相机，可进行浅景深模拟，其特征在于，包括有：

一镜头；

一影像传感器，用来根据一物体距离产生一原始影像；以及

一影像处理芯片，包括有：

一侦测单元，用来侦测一对焦画素所对应的该物体距离；以及

一处理单元，用来根据该原始影像中多个画素的多个对焦信息的多个对比值，对该多个画素进行不同程度模糊处理，以产生一浅景深影像。

10.如权利要求9所述的数字相机，其特征在于，该镜头移动使得该侦测单元侦测该对焦画素的一第一对焦信息，并决定该第一对焦信息中一最大对比值所对应的一第一距离为该对焦画素所对应的该物体距离。

11.如权利要求9所述的数字相机，其特征在于，该处理单元使该原始影像中该多个画素中所对应的该多个对焦信息的该多个对比值较小的画素较模糊，以产生该浅景深影像。

12.如权利要求9所述的数字相机，其特征在于，该多个画素分至该影像传感器的多个画素窗口，且该对焦画素位在一对焦画素窗口。

13.如权利要求12所述的数字相机，其特征在于，该镜头移动使得该侦测单元侦测该对焦画素窗口的一第二对焦信息，并决定该第二对焦信息中一最大加总对比值所对应的一第二距离为该对焦画素窗口所对应的该物体距离。

14.如权利要求13所述的数字相机，其特征在于，该处理单元对该原始影像进行不同程度高斯模糊，以分别产生多个高斯模糊影像，并根据该原始影像中该多个画素窗口的多个加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口，以产生该浅景深影像。

15.如权利要求14所述的数字相机，其特征在于，该处理单元将该原始影像及该多个高斯模糊影像分别对应于多个特定加总对比值，并根据该原始影像中该多个画素窗口的该多个加总对比值及该多个特定加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口，以产生该浅景深影像。

16.如权利要求13所述的数字相机，其特征在于，该处理单元根据该原始影像中该多个画素窗口的该多个加总对比值，以该原始影像及该多个高斯模糊影像套用该多个画素窗口，并将已套用的该多个画素窗口间多个窗口边缘进行阿尔法混合，以产生该浅景深影像。