CN117178286A - 散景处理方法、电子设备以及计算机可读存储介质 - Google Patents

散景处理方法、电子设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN117178286A
CN117178286A CN202180096376.5A CN202180096376A CN117178286A CN 117178286 A CN117178286 A CN 117178286A CN 202180096376 A CN202180096376 A CN 202180096376A CN 117178286 A CN117178286 A CN 117178286A
Authority
CN
China
Prior art keywords
foreground
image
size
camera parameters
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180096376.5A
Other languages
English (en)
Inventor
大井拓哉
罗俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN117178286A publication Critical patent/CN117178286A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种散景处理方法。该方法包括：获取包括焦距和F值的DSLR相机参数；获取图像、对焦距离和对应于该图像的深度图；基于DSLR相机参数、对焦距离和深度图获得图像的每个像素的散景大小，以生成散景大小图；以及基于散景大小图对图像执行散景处理。

Description

散景处理方法、电子设备以及计算机可读存储介质
技术领域
本公开涉及一种用于散景处理的方法，具体地，涉及一种用于精确地再现相当于由数码单反(dgital single lens reflex，DSLR)相机创建的散景的高质量散景的方法、执行该方法的电子设备以及存储实现该方法的程序的计算机可读存储介质。
背景技术
近年来，人工生成具有散景的图像的技术被广泛使用。在具有散景的图像中，被摄体应该清晰地显示诸如人之类的被摄体，另一方面，应该模糊诸如建筑物或天空之类的背景。例如，在被被摄体占据的区域中，散景大小/强度被设置为0，并且其他区域的散景大小随着与被摄体的距离增加而增加。
诸如智能电话之类的电子设备的图像传感器的尺寸/面积小于具有诸如35mm传感器之类的大传感器的DSLR相机的尺寸/面积。由于传感器尺寸小，不可避免的是，基于使用电子设备拍摄的图像生成的散景大小小于使用DSLR相机拍摄的图像的散景大小。因此，由电子设备生成的具有散景的图像可能看起来不自然。为了改善具有散景的图像的质量，众所周知可以使用深度图的深度值来确定散景的大小。然而，即使使用这种方法，也很难获得与使用DSLR相机拍摄的图像具有相同散景的图像。
发明内容
本公开旨在解决上述技术问题中的至少一个问题。因此，本公开需要提供一种用于散景处理的方法和实现这种方法的电子设备。
根据本公开，一种用于散景处理的方法包括：获取包括焦距(f)和焦比F值(A)的DSLR相机参数，获取图像、对焦距离(D)和对应于该图像的深度图，基于DSLR相机参数、对焦距离和深度图获得图像的每个像素的散景大小以生成散景大小图，以及基于散景大小图对图像执行散景处理。
根据本公开，一种电子设备包括处理器和用于存储指令的存储器。当由处理器执行时，指令使得处理器执行根据本公开的方法。
根据本公开，提供了一种计算机可读存储介质，其上存储有计算机程序。计算机程序由计算机执行以实现根据本公开的方法。
附图说明
本公开的实施例的这些和/或其他方面和优点将从参照下面附图进行的以下描述中变得明显并更容易理解。
图1A是示出根据本公开实施例的电子设备的配置的功能框图。
图1B是根据本公开实施例的电子设备中的图像信号处理器的功能框图。
图2是根据本公开实施例的用于生成具有散景的图像的流程图。
图3是用于输入DSLR相机参数的用户界面的示例。
图4A示出了由相机模块捕获的图像的示例。
图4B示出与图4A所示图像相对应的深度图的示例。
图5示出了通过使用根据本公开实施例的方法生成的散景大小图的示例。
图6示出了通过使用根据本公开实施例的方法生成的具有散景的图像的示例。
图7是用于说明基于DSLR相机参数的散景的重点的图。
图8是用于说明在景深(depth of field，DoF)范围内散景大小的变化的图。
具体实施方式
将详细描述本公开的实施例，并且将在附图中示出实施例的示例。在整个描述中，相同或相似的元件和具有相同或相似功能的元件由相同的附图标记表示。参考附图在此描述的实施例是解释性的，以及旨在说明本公开，但不应被解释为限制本公开。
<电子设备100>
将参照图1A描述电子设备100。图1A是示出根据本公开的实施例的电子设备100的配置的示例的功能框图。
电子设备100是诸如智能手机、平板终端或移动电话之类的移动设备，但是可以是配备有一个或多个相机模块的其他类型的电子设备。
如图1A所示。电子设备100包括立体相机模块10、距离传感器模块20和图像信号处理器30、全球导航卫星***(global navigation satellite system，GNSS)模块40、无线通信模块41、编解码器42、扬声器43、麦克风44、显示模块45、输入模块46、惯性测量单元(inertial measurement unit，IMU)47、主处理器48和存储器49。
立体相机模块10包括用于双目立体观看的主相机模块11和从相机模块12，如图1A所示。相机模块10可以以给定的帧速率拍摄视频。
主相机模块11包括能够聚焦于被摄体的第一透镜11a、检测经由第一透镜11a输入的图像的第一图像传感器11b、以及驱动第一图像传感器11b的第一图像传感器驱动11c，如图1A所示。
从相机模块12包括能够聚焦于被摄体的第二透镜12a、检测经由第二透镜12a输入的图像的第二图像传感器12b、以及驱动第二图像传感器12b的第二图像传感器驱动12c，如图1A所示。
主相机模块11捕获主相机图像。从相机模块12捕获从相机图像。主相机图像和从相机图像可以是诸如RGB图像之类的彩色图像或单色图像。
通过立体匹配技术，可以基于主相机图像和从相机图像生成深度图。具体地，针对立体图像(即，主相机图像和从相机图像)的每个对应像素计算视差量。深度值随着视差量的增加而增加。深度图包括图像中每个像素的深度值。
距离传感器模块20捕获深度图。例如，距离传感器模块20是飞行时间(time offlight，ToF)相机，以及通过向被摄体发射脉冲光并检测从被摄体反射的光来捕获ToF深度图。ToF深度图指示电子设备100和被摄体之间的实际距离。可选地，可以省略距离传感器模块。
图像信号处理器(image signal processor，ISP)30控制主相机模块11、从相机模块12和距离传感器模块20。ISP 30还对由立体相机模块10捕获的图像执行图像处理。具体地，ISP 30从相机模块10获取原始图像。原始图像是主相机图像或从相机图像。ISP 30对原始图像执行散景处理，以生成具有散景的图像。可以基于原始图像和散景大小图来生成具有散景的图像，这将在后面描述。
当相机模块10捕获图像时，ISP 30从立体相机模块10获取所捕获图像中的自动对焦区域。自动对焦区域表示焦点对准区域(in-focus area)。例如，自动对焦区域显示为自动对焦矩形。通过相机模块10的自动对焦操作获得自动对焦区域。
ISP 30获取对焦距离或被摄体距离。对焦距离是被摄体和相机模块10之间的距离。更准确地说，对焦距离指示聚焦平面和透镜11a(11b)的主点之间的距离。
ISP 30可以基于深度图和自动对焦区域来计算对焦距离。例如，通过计算自动对焦区域中深度值的代表值来获取对焦距离。代表值可以是平均值、中值或四分位数距离值(例如，第三四分位数、第一四分位数)。
GNSS模块40测量电子设备100的当前位置。无线通信模块41与互联网进行无线通信。编解码器42使用预定的编码/解码方法双向地执行编码和解码。扬声器43根据由编解码器42解码的声音数据输出声音。麦克风44基于输入的声音向编解码器42输出声音数据。
显示模块45显示各种信息，例如由相机模块10实时捕获的图像、用户界面(UserInterface，UI)、以及由ISP 30生成的具有散景的图像。
输入模块46通过用户的操作输入信息。输入模块46是触摸面板或键盘等。输入模块46输入指令以捕获和存储在显示模块45上显示的图像。此外，输入模块46输入由用户选择的DSLR相机参数(如下所述)。
IMU 47检测电子设备100的角速度和加速度。电子设备100的姿势可以通过IMU 47的测量结果来掌握。
主处理器48控制全球导航卫星***(GNSS)模块40、无线通信模块41、编解码器42、扬声器43、麦克风44、显示模块45、输入模块46和IMU 47。
存储器49存储图像的数据、深度图的数据、待在图像处理中使用的各种相机参数、以及在图像信号处理器30和/或主处理器48上运行的程序。
接下来，参考图1B详细描述ISP 30。
ISP 30包括第一获取单元31、第二获取单元32、获得单元33和执行单元34。
第一获取单元31被配置为获取包括焦距和F值的DSLR相机参数。DSLR相机参数是数码单反相机的相机参数。相机参数包括图像传感器的类型和透镜的类型。DSLR相机参数不同于安装在电子设备100上的相机模块10的相机参数。
DSLR相机参数至少包括焦距和F值。DSLR相机参数还可以包括DSLR图像传感器的尺寸和/或分辨率。DSLR图像传感器是DSLR相机的图像传感器。
第二获取单元32用于获取图像、对焦距离和深度图。深度图对应于获取的图像。
获得单元33被配置为基于DSLR相机参数、对焦距离和深度图获得图像的每个像素的散景大小，以生成散景大小图。
执行单元34被配置为基于散景大小图对图像执行散景处理。
<散景处理方法>
将参照图2中所示的流程图来描述根据本公开实施例的散景处理方法。
在步骤S1中，显示模块45显示允许用户输入DSLR相机参数的用户界面(UI)。
图3示出了由显示模块45显示的UI的示例。用户可以通过UI输入DSLR相机参数。在该示例中，用户可以选择DSLR图像传感器的类型，即“645”、“35mm”或“APS-C”。用户还可以选择透镜类型，即焦距(20毫米至100毫米)和F值(F1.4至F11)。在选择DSLR相机参数之后，用户单击“保存”按钮以将所选择的参数保存在存储器49中。
可选地，可以显示允许用户从候选中选择DSLR图像传感器的分辨率的UI。
在步骤S2中，ISP 30的第一获取单元31获取用户在步骤S1中输入的DSLR相机参数。具体地，第一获取单元31从存储器49读取所输入的DSLR相机参数。
在步骤S3中，ISP 30的第二获取单元32获取图像(即，原始图像)、对焦距离以及对应于原始图像的深度图。具体地，当用户使用电子设备100拍摄照片/视频时，立体相机模块10捕获主相机图像和从相机图像。第二获取单元32获取主相机图像或从相机图像作为原始图像。
借助于立体匹配技术，ISP 30基于主相机图像和从相机图像生成深度图。
可选地，可以从距离传感器模块20获取深度图。
第二获取单元32从相机模块10获取自动对焦区域，并通过计算自动对焦区域中的深度值的代表值来获取对焦距离。
替代地，第二获取单元32可以直接从相机模块10获取对焦距离。在这种情况下，对焦距离是由相机模块10的自动对焦操作来确定的。
图4A示出了由相机模块10捕获的图像的示例。图像包括三个对象S1、S2和S3，它们从前面按照对象S1、对象S2和对象S3的顺序被放置在桌子上。在图4A所示的例子中。自动对焦区域R在被摄体S2上。
图4B示出了与图4A所示的获取的图像相对应的深度图的示例。深度图是灰度图像。例如，深度图中的区域的亮度随着与电子设备100的距离增加而降低。
接下来，在步骤S4中，针对所获取图像的每个像素，ISP 30的获得单元33基于DSLR相机参数、对焦距离和深度图计算散景大小。因此，生成散景大小图。
散景大小可以通过以下等式计算：
其中，C是散景大小，f是焦距，A是F值，D是对焦距离，d是深度图中相应像素的深度值。
图5示出了在步骤S4中生成的散景大小图的示例。散景大小图是灰度图像。散景大小图中区域的亮度随着该区域的散景大小的增加而增加。在图5所示的示例中，指示聚焦对象S2的区域的亮度最低(即最小的散景大小)。另一方面，指示聚焦对象S1的区域的亮度最高(即最大的散景大小)。
在步骤S5中，ISP 30的执行单元34基于在步骤S4中生成的散景大小图对原始图像执行散景处理。因此，可以获得具有散景的图像。
可以通过对原始图像应用平滑滤波器来执行散景处理。平滑滤波器是基于散景大小图生成的滤波器。例如，平滑滤波器是具有标准偏差的高斯滤波器，该标准偏差是基于散景大小图中的散景大小计算的。可以通过以下等式将散景大小转换为标准偏差。
其中，σ是标准偏差，C是散景大小，以及pp是DSLR图像传感器的像素间距。
像素间距pp可以通过以下等式计算：
其中，S是DSLR图像传感器的面积，Np是DSLR图像传感器中的像素数。S和Np都是DSLR相机参数。
具体地，执行单元34生成用于图像中的每个像素的高斯核。基于标准偏差σ确定高斯核的系数。然后，针对图像中的每个像素，执行单元34在相应像素上卷积高斯核。
例如，高斯核的大小是3×3，8×8，16×16，但是它不限于任何特定的大小。可以基于标准偏差σ来确定核大小。例如，核大小随着标准偏差的减小而增加。也可以基于ISP 30的计算能力来确定核大小。例如，核大小随着计算能力的增加而增加。
图6示出了在步骤S5中生成的具有散景的图像的示例。聚焦对象S2被清晰地显示，而对象S1和S3被大大模糊。
图7示出了电子设备100的用户P拍摄被摄体人S的照片或视频并且前景中有花FG和背景中有树BG的情况。如图7所示，在整个距离上，基于根据上述方法的DSLR相机参数生成的散景大小(实线)大于基于电子设备100的实际相机参数生成的散景大小(虚线)。因此，可以获得花FG和树BG的大散景。
此外，从图7可以看出。被摄体人S附近的散景大小的曲线沿距离方向不对称。也就是说，被摄体人S前面的散景大小大于被摄体人S后面的散景大小。这可以从上述用于计算散景大小的等式中理解。
需要注意的是，存在多种散景处理方法。步骤S5中的散景处理不限于上述方法，只要使用散景大小图即可。
可以从预先存储在存储器49中的预设参数中获取DSLR相机参数。在这种情况下，不需要显示上述UI，也就是说，步骤S1不是必需的。
可选地，可以由主处理器48执行上述步骤中的至少一个步骤。
可选地，可以改变被摄体附近的散景大小。具体地，景深(DoF)中的散景大小可以改变为小于所计算的散景大小的值。通常，DoF中的所有散景大小都改变为0。在这种情况下，获得单元33通过上述等式计算散景大小，并将DoF中的散景大小改变为小于所计算的散景大小的预定值(例如，0)。
图8示出了与上述图7相同的情况。如图8所示，DoF中的散景大小被设置为0。换句话说，在被摄体S前面的距离Tf的第一范围内和在被摄体S后面的距离Tr的第二范围内，散景大小被设置为0。将第一范围和第二范围中的散景大小设置为0，使得被摄体人S能够被更清晰地显示。
可以基于焦距(f)、F值(A)、对焦距离(D)和容许弥散圆(δ)来计算DoF。具体地，DoF通过以下等式计算。
DoF＝Tf+Tr
其中，Tf是前景深，Tr是后景深，δ是容许弥散圆，f是焦距，A是F值，D是对焦距离。
容许弥散圆δ通过以下等式计算。
δ＝Max{pp,adr}
adr＝1.22×λ×A，
其中，δ是容许弥散圆，Max是返回两个自变量中的较大者的函数，pp是DSLR图像传感器的像素间距，adr是艾里斑半径，λ是代表性波长(例如，530nm)，以及a是F值。
如上所述，根据本公开的实施例，通过使用基于DSLR相机参数生成的散景大小图来执行散景处理，可以精确地再现相当于由DSLR相机创建的散景的高质量散景。换句话说，生成具有自然的和大的散景的图像是可能的。
例如，即使图片或视频是使用智能手机等拍摄的，具有相对较小图像传感器的智能手机可以生成具有大散景(相当于由具有大图像传感器的DSLR相机创建的散景)的图像。
在本公开的实施例的描述中，应当理解，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上部”、“下部”、“前部”、“后部”、“背部”、“左侧”、“右侧”、“垂直”、“水平”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”的术语应该被解释为指代如讨论的附图中所描述或示出的方向或位置。这些相关术语仅用于简化本公开的描述，并且不指示或暗示所提及的装置或元件必须具有特定方向，或者必须以特定方向被构造或操作。因此，这些术语不能被解释为限制本公开。
此外，诸如“第一”和“第二”的术语在本文中用于描述的目的，并且不旨在指示或暗示相对重要性或意义，或者暗示所指示的技术特征的数量。因此，定义为“第一”和“第二”的特征可以包括该特征中的一个或多个。在本公开的描述中，“多个”意味着“两个或多于两个”，除非另有说明。
在本公开的实施例的描述中，除非另外指定或限制，否则术语“安装的”、“连接的”、“耦接的”等被广泛使用，并且可以是例如固定连接、可拆卸连接或整体连接；也可以是机械或电气连接；也可以是直接连接或通过中间结构的间接连接；也可以是本领域技术人员根据特定情况能够理解的两个元件的内部通信。
在本公开的实施例中，除非另外指定或限制，其中第一特征“在”第二特征“上”或“在”第二特征“下”的结构可以包括第一特征与第二特征直接接触的实施例，并且还可以包括第一特征和第二特征彼此不直接接触、而是通过在它们之间形成的附加特征接触的实施例。此外，第一特征“在”第二特征“上”、“在”第二特征“的上方”或“在”第二特征“的顶部”可以包括第一特征正交或倾斜地“在”第二特征“上”、“在”第二特征“的上方”或“在”第二特征“的顶部”的实施例，或者仅仅意味着第一特征处于比第二特征的高度更高的高度；而第一特征“在”第二特征“下”、“在”第二特征“的下方”或“在”第二特征“的底部”可以包括第一特征正交地或倾斜地“在”第二特征“下”、“在”第二特征“的下方”或“在”第二特征“的底部”的实施例，或者仅仅意味着第一特征处于比第二特征的高度低的高度。
在上面的描述中提供了各种实施例和示例来实现本公开的不同结构。为了简化本公开，在上面描述了某些元件和设置。然而，这些元件和设置仅作为示例，并不旨在限制本公开。此外，在本公开的不同示例中，可以重复附图标记和/或参考字母。这种重复是为了简化和清晰，而不是指不同实施例和/或设置之间的关系。此外，本公开提供了不同工艺和材料的示例。然而，本领域技术人员将理解，也可以应用其他工艺和/或材料。
在整个说明书中，对“实施例”、“一些实施例”、“示例性实施例”、“示例”、“特定示例”或“一些示例”的参考意味着结合该实施例或示例描述的具体特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。因此，整个说明书中的上述短语的出现不一定是指本公开的同一实施例或示例。此外，在一个或多个实施例或示例中，具体特征、结构、材料或特性可以以任何合适的方式被组合。
在流程图中描述的或在本文中以其他方式描述的任何过程或方法可以被理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令的代码的一个或多个模块、片段或部分，并且本公开的优选实施例的范围包括其他实现，其中本领域技术人员应该理解，可以以与所示或讨论的顺序不同的顺序(包括以基本相同的顺序或相反的顺序)来实现功能。
本文中以其他方式描述的或在流程图中示出的逻辑和/或步骤(例如，用于实现逻辑功能的可执行指令的具体顺序表)可以在任何计算机可读介质中具体实现，该计算机可读介质将由指令执行***、设备或装置(例如基于计算机的***、包括处理器的***、或能够从执行指令的指令执行***、设备和装置获得指令的其他***)使用，或者将与指令执行***、设备和装置结合使用。就本说明书而言，“计算机可读介质”可以是适用于包括、存储、通信、传播或传送将由指令执行***、设备或装置使用或与指令执行***、设备或装置组合使用的程序的任何设备。计算机可读介质的更具体示例包括但不限于：具有一根或多根导线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(randomaccess memory，RAM)、只读存储器(read only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM或闪存)、光纤设备和便携式光盘只读存储器(compact disk read-only memory，CDROM)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸或其他合适的介质，这是因为，例如，当需要以电子方式获得程序时，可以光学扫描纸或其他合适的介质，然后用其他合适的方法编辑、解密或处理，以及然后可以将程序存储在计算机存储器中。
应当理解，本公开的每个部分可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以通过存储在存储器中的软件或固件来实现，并由合适的指令执行***来执行。例如，如果通过硬件实现，同样在另一个实施例中，步骤或方法可以通过本领域已知的以下技术之一或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有合适的组合逻辑门电路的专用集成电路、可编程门阵列(programmable gate array，PGA)、现场可编程门阵列(field programmable gate array，FPGA)等。
本领域技术人员应当理解，本公开的上述示例性方法中的全部或部分步骤可以通过使用程序命令相关硬件来实现。这些程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，这些程序包括本公开的方法实施例中的步骤之一或组合。
此外，本公开实施例的每个功能单元可以集成在处理模块中，或者这些单元可以是单独的物理存在，或者两个或更多个单元集成在处理模块中。集成模块可以以硬件的形式或以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。
上述存储介质可以是只读存储器、磁盘、光盘(compact disc，CD)等。存储介质可以是暂时性的或非暂时性的。
尽管已经示出和描述了本公开的实施例，但是本领域技术人员将理解，这些实施例是解释性的，并不能被解释为限制本公开，以及在不脱离本公开的范围的情况下，可以在实施例中进行改变、修改、替代和变型。

Claims (20)

1.一种用于散景处理的方法，包括：
获取包括焦距和F值的数码单反DSLR相机参数；
获取图像、对焦距离和对应于所述图像的深度图；
基于所述DSLR相机参数、所述对焦距离和所述深度图，获得所述图像的每个像素的散景大小，以生成散景大小图；以及
基于所述散景大小图对所述图像执行所述散景处理。
2.根据权利要求1所述的方法，其中，通过允许用户输入所述DSLR相机参数的用户界面获取所述DSLR相机参数。
3.根据权利要求1所述的方法，其中，从预设参数中获取所述DSLR相机参数。
4.根据权利要求1至3中任一项所述的方法，其中，所述对焦距离是自动对焦区域中深度值的代表值。
5.根据权利要求1至4中任一项所述的方法，其中，通过等式(1)来计算所述散景大小：
其中，C是所述散景大小，f是所述焦距，A是所述F值，D是所述对焦距离，以及d是所述深度图中相应像素的深度值。
6.根据权利要求1至5中任一项所述的方法，其中，将景深DoF中的散景大小改变为小于所计算的散景大小的预定值。
7.根据权利要求6所述的方法，其中，所述预定值是0。
8.根据权利要求6或7所述的方法，其中，基于所述焦距、所述F值、所述对焦距离和容许弥散圆来计算所述DoF。
9.根据权利要求8所述的方法，其中，通过等式(2)、(3)和(4)计算所述DoF：
DoF＝Tf+Tr…(2)
其中，Tf是前景深，Tr是后景深，δ是所述容许弥散圆，f是所述焦距，A是所述F值，以及D是所述对焦距离。
10.根据权利要求1至9中任一项所述的方法，其中，通过将基于所述散景大小图生成的平滑滤波器应用到所述图像来执行所述散景处理。
11.根据权利要求10所述的方法，其中，所述平滑滤波器是具有基于所述散景大小计算的标准偏差的高斯滤波器。
12.根据权利要求11所述的方法，其中，通过等式(5)计算所述标准偏差：
其中，σ是所述标准偏差，C是所述散景大小，以及pp是DSLR图像传感器的像素间距。
13.根据权利要求11或12所述的方法，其中，基于所述标准偏差确定所述高斯滤波器的大小。
14.一种用于图像处理的电子设备，包括：
第一获取单元，配置为获取包括焦距和F值的数码单反DSLR相机参数；
第二获取单元，配置为获取图像、对焦距离和对应于所述图像的深度图；
获得单元，配置为基于所述DSLR相机参数、所述对焦距离和所述深度图，获得所述图像的每个像素的散景大小，以生成散景大小图；以及
执行单元，配置为基于所述散景大小图对所述图像执行散景处理。
15.根据权利要求14所述的电子设备，其中，所述第一获取单元通过允许用户输入所述DSLR相机参数的用户界面获取所述DSLR相机参数。
16.根据权利要求14所述的电子设备，其中，所述第一获取单元从预设参数中获取所述DSLR相机参数。
17.根据权利要求14至16中任一项所述的电子设备，其中，所述获得单元计算所述散景大小，并且将景深DoF中的所述散景大小改变为小于所计算的散景大小的预定值。
18.根据权利要求14至17中任一项所述的电子设备，其中，所述执行单元通过将基于所述散景大小图生成的平滑滤波器应用到所述图像来执行所述散景处理。
19.一种用于图像处理的电子设备，包括处理器和用于存储指令的存储器，其中，当由所述处理器执行时，所述指令使得所述处理器执行根据权利要求1至13中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序由计算机执行以实现根据权利要求1至13中任一项所述的方法。
CN202180096376.5A 2021-04-08 2021-04-08 散景处理方法、电子设备以及计算机可读存储介质 Pending CN117178286A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/086031 WO2022213332A1 (en) 2021-04-08 2021-04-08 Method for bokeh processing, electronic device and computer-readable storage medium

Publications (1)

Publication Number Publication Date
CN117178286A true CN117178286A (zh) 2023-12-05

Family

ID=83544980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180096376.5A Pending CN117178286A (zh) 2021-04-08 2021-04-08 散景处理方法、电子设备以及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN117178286A (zh)
WO (1) WO2022213332A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
CN103973962B (zh) * 2013-02-06 2017-09-01 聚晶半导体股份有限公司 图像处理方法及图像采集装置
US9087405B2 (en) * 2013-12-16 2015-07-21 Google Inc. Depth map generation using bokeh detection
US10567641B1 (en) * 2015-01-19 2020-02-18 Devon Rueckner Gaze-directed photography
CN105989574A (zh) * 2015-02-25 2016-10-05 光宝科技股份有限公司 图像处理装置及图像景深处理方法

Also Published As

Publication number Publication date
WO2022213332A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
US10997696B2 (en) Image processing method, apparatus and device
JP6911192B2 (ja) 画像処理方法、装置および機器
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
US10825146B2 (en) Method and device for image processing
CN107950018B (zh) 图像生成方法和***、以及计算机可读介质
US9444991B2 (en) Robust layered light-field rendering
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
JP5230456B2 (ja) 画像処理装置および画像処理方法
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
US20150163478A1 (en) Selecting Camera Pairs for Stereoscopic Imaging
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN110677621B (zh) 摄像头调用方法、装置、存储介质及电子设备
US9332195B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US8922627B2 (en) Image processing device, image processing method and imaging device
US11282176B2 (en) Image refocusing
US9485407B2 (en) Method of capturing images and obtaining information of the images
CN107547789B (zh) 影像获取装置及其摄影构图的方法
US20150116546A1 (en) Image processing apparatus, imaging apparatus, and image processing method
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
US20230033956A1 (en) Estimating depth based on iris size
CN117178286A (zh) 散景处理方法、电子设备以及计算机可读存储介质
JP2013118472A (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination