CN111311533A - 用于确定图像清晰度的设备和方法 - Google Patents
用于确定图像清晰度的设备和方法 Download PDFInfo
- Publication number
- CN111311533A CN111311533A CN201911005311.6A CN201911005311A CN111311533A CN 111311533 A CN111311533 A CN 111311533A CN 201911005311 A CN201911005311 A CN 201911005311A CN 111311533 A CN111311533 A CN 111311533A
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- sharpening
- edge
- edge activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000000694 effects Effects 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 238000003707 image sharpening Methods 0.000 claims abstract description 19
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 9
- 230000008447 perception Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000003381 stabilizer Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- SHGAZHPCJJPHSC-NUEINMDLSA-N Isotretinoin Chemical compound OC(=O)C=C(C)/C=C/C=C(C)C=CC1=C(C)CCCC1(C)C SHGAZHPCJJPHSC-NUEINMDLSA-N 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
提供一种用于确定图像清晰度的设备和方法。根据一个实施例，一种设备包括：权重装置，被配置为确定参考图像的权重映射；图像锐化装置，被配置为使用至少一种锐化方法对参考图像进行锐化；第一边缘活动映射装置，连接到图像锐化装置，并且被配置为：确定参考图像的通过至少一种锐化方法的每个锐化图像的第一边缘活动映射Φ(x，y)；以及边缘清晰度度量装置，连接到权重装置和第一边缘活动映射装置，并且被配置为：基于权重映射和参考图像的通过至少一种锐化方法的每个锐化图像的边缘活动映射，确定参考图像的通过至少一种锐化方法的每个锐化图像的边缘清晰度度量(ESM)。
Description
本申请要求于2018年12月12日提交到美国专利商标局的被分配序列号62/778,542的美国专利申请的优先权，所述美国专利申请的全部内容通过引用包含于此。
技术领域
本公开总体上涉及图像分析，更具体地，涉及用于确定图像清晰度的设备和方法。
背景技术
人类视觉是一种好的图像捕捉***，目前还没有开发出优于人眼的装置。判断图像质量有许多因素，包括噪声水平、动态范围和颜色。在所述因素中，清晰度(sharpness)是一个关键特征，因为人眼对亮度的变化敏感，而最重要的信息来自图像中对象的轮廓和边缘。然而，以定量和客观的方式来确定清晰度水平并不容易。传统的图像度量(诸如，峰值信噪比(PSNR)和结构相似性指数(SSIM))并不指示清晰度水平，尽管PSNR和SSIM对于诸如色彩保真度或降噪的其他因素是有效的。
评价图像有多好看并不容易，因为判断图像是否在审美上好看主要取决于观看者的喜好。当人观看图像来确定图像的质量是否好时，仅通过直觉同时考虑各种图像特征(诸如，动态范围、失真、色差、阴影、色域、颜色精度、噪声水平和清晰度)，而不识别图像特征。通常，识别好看图像的最佳方法是让许多人观看图像，以选择哪一个更好，并收集平均意见得分。然而，这种主观的评估通常需要大量的时间和费用，更不用说不便了。
发明内容
根据一个实施例，提供一种设备。所述设备包括：权重装置，被配置为：确定参考图像IR(x，y)的权重映射W(x，y)，其中，x是所述参考图像在水平方向上的像素，y是所述参考图像在垂直方向上的像素；图像锐化装置，被配置为：使用至少一种锐化方法对所述参考图像进行锐化；边缘活动映射装置，连接到图像锐化装置，并且被配置为：确定所述参考图像的通过所述至少一种锐化方法的每个锐化图像的边缘活动映射Φ(x，y)；以及边缘清晰度度量装置，连接到权重装置和边缘活动映射装置，并且被配置为：基于权重映射和每个锐化图像的边缘活动映射来确定每个锐化图像的边缘清晰度度量(ESM)。
根据一个实施例，提供一种方法。所述方法包括：由加权装置确定参考图像IR(x，y)的加权映射W(x，y)，其中，x是所述参考图像在水平方向上的像素，y是所述参考图像在垂直方向上的像素；由图像锐化装置使用至少一种锐化方法对所述参考图像进行锐化；由连接到图像锐化装置的边缘活动映射装置确定所述参考图像的通过所述至少一种锐化方法的每个锐化图像的边缘活动映射Φ(x，y)；以及由连接到权重装置和边缘活动映射装置的边缘清晰度度量装置，基于权重映射和所述参考图像的通过所述至少一种锐化方法的每个锐化图像的边缘活动映射，确定所述参考图像的通过所述至少一种锐化方法的每个锐化图像的边缘清晰度度量(ESM)。
附图说明
通过以下结合附图的详细描述，本公开的特定实施例的以上和其他方面、特征和优点将更加清楚，其中：
图1是根据实施例的用于确定图像清晰度的设备的框图；
图2是根据实施例的图1的权重生成器的框图；
图3是根据一个实施例的确定图像清晰度的方法的流程图；
图4是根据一个实施例的应用了本公开的设备和方法的网络环境中的电子装置的框图；
图5是根据一个实施例的应用了本公开的设备和方法的相机模块的框图；
图6是根据一个实施例的应用了本公开的设备和方法的显示装置的框图；以及
图7是根据一个实施例的应用了本公开的设备和方法的程序的框图。
具体实施方式
在下文中，参照附图详细描述本公开的实施例。应当注意，尽管相同的元件在不同的附图中示出，但是相同的元件将由相同的参考标号表示。在下面的描述中，诸如详细配置和组件的具体细节仅被提供以帮助对本公开的实施例的总体理解。因此，本领域技术人员应该清楚，在不脱离本公开的范围的情况下，可对在此描述的实施例进行各种改变和修改。此外，为了清楚和简洁，省略了对公知的功能和构造的描述。下面描述的术语是考虑到本公开中的功能而定义的术语，并且可根据用户、用户的意图或习惯而不同。因此，术语的定义应基于贯穿本说明书的内容来确定。
本公开可具有各种修改和各种实施例，其中，下面参照附图详细描述实施例。然而，应当理解，本公开不限于实施例，而是包括在本公开的范围内的所有修改、等同物和替换。
尽管包括序数(诸如，第一、第二等)的术语可用于描述各种元件，但是结构元件不受术语的限制。所述术语仅用于将一个元件与另一个元件区分开。例如，在不脱离本公开的范围的情况下，第一结构元件可被称为第二结构元件。类似地，第二结构元件也可被称为第一结构元件。如在此使用的，术语“和/或”包括一个或多个相关项的任何组合和所有组合。
在此使用的术语仅用于描述本公开的各种实施例，而不意图限制本公开。除非上下文另有明确指示，否则单数形式也意图包括复数形式。在本公开中，应当理解，术语“包括”或“具有”指示存在特征、数量、步骤、操作、结构元件、部件或它们的组合，并且不排除存在或可能添加一个或多个其他特征、数量、步骤、操作、结构元件、部件或它们的组合。
除非以不同的方式定义，否则在此使用的所有术语具有与本公开所属领域的技术人员理解的含义相同的含义。除非在本公开中清楚地定义，否则术语(诸如在通用字典中定义的那些术语)将被解释为具有与它们在相关技术领域的上下文的含义相同的含义，并且不被解释为具有理想化或过于形式化的含义。
需要一种从人类视觉***(human vision system，HVS)的复杂建模导出的客观图像质量测量设备和方法，以自动地评估图像，即使这样的设备和方法不能完美地反映主观HVS偏好。本公开公开一种基于边缘活动映射(edge activity map)来确定图像的清晰度水平的设备和方法。确定图像的清晰度水平的益处是能够考虑噪声和清晰度两者来测量图像质量。
通过增强由于用于获得图像的相机传感器的限制而劣化的边缘和纹理区域来对图像进行锐化是提高图像的质量的最有效的方法之一，其中，锐化的图像向观看者呈现更逼真的图像。然而，折中之处在于锐化的图像可能比未锐化的图像具有更多的噪声。虽然人类容易区分噪声分量与纹理分量，但是因为噪声分量和纹理分量都具有精细的像素波动和振动，因此机器难以区分噪声分量与纹理分量。因此，以客观的方式测量图像的清晰度是挑战性的。尽管存在PSNR、SSIM和若干锐化度量来计算图像特征，但它们大多不产生符合图像的实际人类感知的结果。
客观图像度量可分为全参考度量(full reference metrics)、测试图表度量(test chart metrics)和无参考度量。
如果完全满足人眼的图像被提供，则人可通过并排比较来确定图像质量。尽管不可能获得完美的图像，但在某些情况下可获得具有足够高质量的地面真值(ground truth，GT)图像。当GT图像被提供时，PSNR和SSIM是最常用的全参考度量。此外，不同于使用PSNR来计算物理强度差(physical intensity difference)，已知的用于产生更符合人类感知的结果的SSIM测量三个基本方面：亮度(均值，μx)、对比度(标准差，σx)和结构(正态分布，(x-μx)/σx)。这三个方面的组合在下面的等式(1)中被表示为：
其中，X和Y分别指示GT图像和测试图像，σxy指示X与Y的相关系数，并且C1、C2和C3是当分母非常接近零时防止不稳定的常数。SSIM指数比像素差方法(诸如，PSNR或均方差(MSE))更符合人类感知。全参考度量的缺点是：在大多数情况下，好的GT图像无法获得。因为对GT图像和测试图像的处理是基于每个像素进行的，所以为了使用全参考度量，GT图像必须与测试图像完全对齐。此外，因为清晰度主要取决于边缘和边界，而边缘和边界是整个图像的一小部分，所以SSIM不能有效地测量清晰度质量。大多数图像区域由平滑区域组成。因此，SSIM指数主要由平滑区域中的噪声水平确定。
另一种测量清晰度质量的方法是使用测试图表。纹理调制传递函数(Texturemodulation transfer function，纹理-MTF)使用作为自然细节场景的组合的测试图像测试图表来考虑边缘和精细细节区域两者，例如，测试图像可以是死叶(dead leaves)(或者溢出硬币(spilled-coins)))。如下面的等式(2)中所示，纹-MTF被定义为GT图像与目标图像之间的功率谱(power spectrum)：
其中，I(m，n)和G(m，n)是i(x，y)和g(x，y)的离散傅里叶变换(DFT)，i(x，y)是目标图像，g(x，y)是GT图像。得到的二维(2D)纹理-MTF通过径向平均(radial-average)被转换为一维(1D)MTFtex(v)，其中，在径向平均中，
与一维图形线纹理-MTF一起，通过经由对比度灵敏度函数(contrast sensitivity function，CSF)对纹理-MTF进行加权来计算总度量，即，锐度(acutance，在下面的等式(3)中表示为τ)：
由于纹理-MTF和锐度是专用的清晰度度量，因此它们比SSIM表现得更好。此外，它们不像SSIM那样需要每个像素处理的完美对齐。然而，测试图表度量有一个缺点：它们不能测量普通用户拍摄的典型图像的图像质量(IQ)。无参考度量的优点在于：能够在不需要参考图像的情况下提供图像的IQ数。在各种无参考度量中，清晰度测量被分为5个类别：基于梯度的类别、基于边缘的类别、基于相关性的类别、基于统计学的类别和基于变换的类别。在这5种类别之中，基于边缘的测量是最常用的方法。除相位检测自动对焦(PDAF)外，相机中的大多数自动对焦***都基于索贝尔(Sobel)边缘和梯度，如下面的等式(4)中所示，其中，N是宽度，M是高度，I(x，y)是图像i(x，y)的离散傅里叶变换，Φ′(x，y)是从垂直Sobel值Gv(x，y)和水平Sobel值Gh(x，y)的大小获得的Sobel映射：
S＝∑M∑N Φ′(x，y)
其中，
如上所公开的，全参考度量和测试图表度量对于典型图像是没用的，而无参考度量可用于平均快照图像(average snapshot image)。然而，存在一个缺点：无参考度量仅从清晰度的角度来观察图像质量，这可能并不总是产生符合人类感知的结果，因为图像清晰度和噪声是折衷的；越锐利，噪声越大。
在一个实施例中，设备和方法通过考虑图像的平整(例如，平滑)区域和细节区域两者来确定用于测量对应于实际视觉冲击的清晰度的度量(例如，边缘清晰度度量(ESM))。
如下面的等式(5)中所示，ESM由平滑区域得分(Ss)和细节区域得分(Sd)两部分组成：
S＝Sd-Ss...(5)
好的图像锐化方法应该提高细节区域中的图像清晰度，而不应该提高平整区域或平滑区域中的图像清晰度。不幸的是，如上面的等式(4)中描述的图像清晰度度量不区分平滑区域和细节区域。例如，可提供输入图像和在输入图像中的整个区域上具有添加的高斯白噪声(AWGN)的输入图像。可使用锐化方法对输入图像进行锐化。可针对输入图像、具有AWGN的输入图像和锐化的输入图像中的每个生成上面的等式(4)的清晰度度量。根据通过上面的等式(4)生成的清晰度度量值，可将具有AWGN的输入图像确定为表现出最佳质量(例如，最高清晰度度量值)。这个结果可不符合人类感知，其中，输入图像的锐化图像可被感知为表现出最佳质量。
由于不期望增加平滑区域中的清晰度，如下面的等式(6)中所示，所以上面的等式(5)对Ss施加惩罚：
其中，W(x，y)是针对图像宽度N和高度M的具有介于[-1 1]之间的值的权重映射。平滑区域可具有负的W(x，y)，而细节区域可具有正的W(x，y)。如在下面的等式(7)中，Φ(x，y)是从垂直Sobel值和水平Sobel值的大小获得的Sobel映射：
其中，Gv和Gh如上面的等式(4)所示来定义。
如下所述生成权重映射。ESM需要从例如照片获得的参考图像(例如，输入图像)。ESM的目的是通过具有相同输入的各种锐化方法来比较图像质量。如下面的等式(8)中所示，初始步骤是使用每个像素的Sobel算子从参考图像构建边缘活动映射(例如，Sobel映射)：
接下来，确定边缘活动映射的概率密度函数(PDF)。然后，从PDF确定累积密度函数(CDF)。图像被划分为平滑区域和细节区域。在一个实施例中，小于阈值的处理像素的CDF值指示平滑区域，大于阈值的处理像素的CDF值指示细节区域。如果阈值被设置为0.5，则可在平滑区域和细节区域之间均匀地划分图像。
获得参考图像的边缘活动映射和权重映射。从尚未锐化的参考图像计算边缘活动映射。当阈值是作为Sobel CDF的中值点的0.5时，区域在平滑区域与细节区域之间被均匀地划分。因此，如果Sobel值小于中值，则它是平滑区域；如果Sobel值大于中值，则它是细节区域。在权重映射中，细节区域分配正权重值，而平滑区域分配负权重值。
如下所述地分配介于[-1 1]之间的权重值。可使用如下面的等式(9)中所表示的S型(sigmoid)函数，其中，S型函数从0处的下渐近线缓慢增加到1处的上渐近线。
如下面的等式(10)中所示，权重函数ρ(·)产生介于[-1 1]之间的值：
其中，α和β是用于调整权重函数的形状的参数。α是一个斜率参数。随着α减小，斜率变得更陡。例如，α＝10可以是提供良好斜率的适当值，β是定中心(centering)参数。随着β减少，细节区域中的权重增加。如果将在平滑区域与细节区域之间均匀地划分图像，则设置β＝0.5。
CDF可由函数F(·)表示，并且参考图像ΦR(x，y)的Sobel映射的CDF是F(ΦR(x，y))。如下面的等式(11)中所示，通过将F(ΦR(x，y))和等式(10)进行组合来表示每个像素(x，y)的权重映射W(x，y)：
其中，α＝10，β＝0.5。
ESM用于比较多种锐化方法的性能。为了找到对输入图像(例如，参考图像)进行最佳锐化的方法，首先从参考图像确定权重映射。然后，确定每个锐化图像的边缘活动映射，其中，例如，Φ1(x，y)是第一图像Q1的边缘活动映射，其中，第一图像Q1是参考图像的使用第一锐化方法的锐化图像，而Φ2(x，y)是第二图像Q2的边缘活动映射，其中，第二图像Q2是参考图像的使用第二锐化方法的锐化图像，第二锐化方法与用于生成Q1的第一锐化方法不同。然后，如下面的等式(12)和(13)中所示，可使用上面的等式(6)来分别确定Q1和Q2的ESM数S1和S2：
越高的ESM数指示考虑平滑区域和细节区域两者的越好的锐化性能。同样，用于参考图像的相同的W(x，y)用于S1和S2，而不使用用于参考图像的ΦR(x，y)，Φ1用于第一图像Q1，Φ2用于第二图像Q2。
如果没有参考图像而仅有第一图像Q1和第二图像Q2，则如下面的等式(14)和(15)来计算Q1和Q2的ESM：
式(14)和式(15)中计算用于Q1和Q2的ESM：
其中，W1如在下面的等式(16)中所示：
等式(14)和(16)中的Φ1相同。因此，可在没有参考图像的情况下获得ESM得分。
参考图像可以是整个图像或子图像。当测量整个图像的ESM时，参考图像是整个图像。当测量子图像的ESM时，参考图像是子图像。
本公开提供用于确定锐化度量(例如，ESM)的设备和方法。ESM不与SSIM或PSNR一样需要在大多数情况下难以获得的GT图像，并且不与纹理MTF或锐度一样需要测试图表。因此，本公开能够测量任何类型的图像的清晰度质量，并且提供比清晰度的常规度量更精确的与人类感知对应的度量。
图1是根据实施例的用于确定图像清晰度的设备100的框图。
参照图1，设备100包括第一边缘活动映射装置111、概率密度函数装置103、累积密度函数装置105、权重装置107、图像锐化装置109、第二边缘活动映射装置101和ESM装置113。
图像锐化装置109包括输入以及输出125，该输入连接到第二边缘活动映射装置101的输入115，以接收待锐化的图像(例如，参考图像IR(x，y))，输出125用于输出参考图像的锐化版本。图像锐化装置109包括对图像进行锐化的方法。在一个实施例中，图像锐化装置109包括多于一种的锐化方法，其中，锐化方法彼此不同。使用多于一种的锐化方法中的每种，锐化方法可用于对参考图像IR(x，y)进行锐化，以确定哪种锐化方法产生最锐化的图像。例如，图像锐化装置109可包括两种不同的锐化方法，以锐化出两个图像来分别产生Q1和Q2，其中，Q1和Q2是参考图像IR(x，y)的两个锐化图像。锐化方法可包括拉普拉斯锐化方法(Laplacian sharpening method)和边缘保持锐化方法(edge preserving sharpeningmethod)中的至少一种。然而，本公开的设备100不限于使用这两种锐化方法，而是可使用任何锐化方法。
第一边缘活动映射装置111包括输入以及输出127，该输入连接到图像锐化装置109的输出125，以接收锐化图像(或者，如果图像锐化装置109使用多于一种的锐化方法，则接收多于一个的锐化图像)，输出127用于输出锐化图像的边缘活动映射Φ(x，y)(或者，如果多于一个的图像被锐化，则输出每个锐化图像的边缘活动映射(例如，如果针对两个锐化图像Q1和Q2分别确定两个边缘活动映射，则输出Φ1(x，y)和Φ2(x，y)))。在一个实施例中，第一边缘活动映射装置111可如上面的等式(7)中定义地针对锐化的每个图像输出Sobel映射。
ESM装置113包括第一输入、第二输入以及输出，第一输入连接到权重装置107的输出123，以接收权重映射W(x，y)，第二输入连接到第一边缘活动映射装置111的输出127，以接收边缘活动映射Φ(x，y)或者如果多于一个的图像被锐化则接收锐化的每个图像的每个边缘活动映射，该输出用于输出如上面的等式(6)中的边缘清晰度度量S(如果多于一个的图像被锐化，则输出多于一个的边缘清晰度度量(例如，针对Q1和Q2的S1和S2))，边缘清晰度度量指示锐化图像的清晰度(或者，如果多于一个的图像被锐化，则指示多于一个的图像的清晰度)。
第二边缘活动映射装置101包括输入115和输出117，输入115用于接收输入图像(例如，参考图像IR(x，y)，其中，x是参考图像在水平方向上的像素，y是参考图像在垂直方向上的像素)，输出117用于输出参考图像的边缘活动映射ΦR(x，y)。在一个实施例中，第二边缘活动映射装置101可输出如上面的等式(8)中定义的Sobel映射。
概率密度函数装置103包括输入以及输出119，该输入连接到第二边缘活动映射装置101的输出117，以接收边缘活动映射，输出119用于输出边缘活动映射ΦR(x，y)的PDF。
累积密度函数装置105包括输入以及输出121，该输入连接到概率密度函数装置103的输出119，以接收边缘活动映射的PDF，输出121用于输出PDF的CDF。
权重装置107包括输入以及输出123，该输入连接到累积密度函数装置105的输出121，以接收CDF，输出123用于输出权重映射W(x，y)，根据上面的等式(10)中的权重函数ρ(t)，权重映射W(x，y)具有在[-1 1]之间的值。
图2是根据实施例的图1的权重装置107的框图。
参照图2，权重装置107包括S型装置201和权重映射器装置203。
S型装置201包括用于接收CDF的第一输入121、用于接收参数α的第二输入205、用于接收参数β的第三输入207以及用于输出sgn(α(t-β))的输出123。参数α调整上面的等式(10)中的权重函数ρ(t)的斜率。参数β是用于在平滑区域与细节区域之间划分图像的定中心参数，其中，随着β减小，细节区域中的权重增加。例如，如上面的等式(11)中，α＝10可以是提供良好斜率的适当值，并且将β设置为0.5将在平滑区域与细节区域之间均匀地划分图像。
权重映射器装置203包括输入以及输出123，该输入连接到S型装置201的输出端209，以接收sgn(α(t-β))，输出123用于输出例如如上面的等式(11)中所示的权重映射W(x，y)。
图3是根据一个实施例的确定图像清晰度的方法的流程图。
参照图3，在301，由第二边缘活动映射装置针对输入图像(例如，参考图像IR(x，y)，其中，x是参考图像在水平方向上的像素，y是参考图像在垂直方向上的像素)确定第一边缘活动映射ΦR(x，y)。在一个实施例中，第一边缘活动映射可以是如上面在等式(8)中定义的Sobel映射。
在303，由概率密度函数装置确定第一边缘活动映射ΦR(x，y)的PDF。
在305，由累积密度函数装置针对PDF确定CDF。
在307，由权重装置从CDF根据上面的等式(10)中的权重函数ρ(t)确定具有[-1 1]之间的值的权重映射W(x，y)。
在309，通过图像锐化装置的至少一种锐化方法对参考图像进行锐化。锐化方法可包括拉普拉斯锐化方法和边缘保持锐化方法。然而，本公开的方法不限于使用这两种锐化方法，而是可使用任何锐化方法。
在311，由第一边缘活动映射装置从至少一个锐化的图像确定至少一个第二边缘活动映射。在一个实施例中，至少一个第二边缘活动映射可以是如上面在等式(8)中定义的针对每个锐化的图像的Sobel映射。
在313，由ESM装置从权重映射W(x，y)和至少一个第二边缘活动映射确定如上面的等式(6)中的至少一个边缘清晰度度量S。
图4是示出根据各种实施例的网络环境400中的电子装置401的框图。
参照图4，网络环境400中的电子装置401可经由第一网络498(例如，短距离无线通信网络)与电子装置402通信，或者经由第二网络499(例如，长距离无线通信网络)与电子装置404或服务器408通信。电子装置401可经由服务器408与电子装置404通信。电子装置401可包括处理器420、存储器430、输入装置450、声音输出装置455、显示装置460、音频模块470、传感器模块476、接口477、触觉模块479、相机模块480、电源管理模块488、电池489、通信模块490、用户识别模块(SIM)496或天线模块497。在一些实施例中，可从电子装置401省略多个组件中的至少一个(例如，显示装置460或相机模块480)，或者可在电子装置401中添加一个或多个其他组件。多个组件中的一些可被实现为单个集成电路。例如，传感器模块476(例如，指纹传感器、虹膜传感器或照度传感器)可被实现为嵌入在显示装置460(例如，显示器)中。
处理器420可执行例如软件(例如，程序440)以控制电子装置401的与处理器420结合的至少一个其他组件(例如，硬件或软件组件)，并且可执行各种数据处理或计算。作为数据处理或计算的至少部分，处理器420可将从另一组件(例如，传感器模块476或通信模块490)接收的命令或数据加载到易失性存储器432中，处理存储在易失性存储器432中的命令或数据，并将结果数据存储在非易失性存储器434中。处理器420可包括主处理器421(例如，中央处理器(CPU)或应用处理器(AP))和辅助处理器423(例如，图形处理器(GPU)、图像信号处理器(ISP)、传感器集线器处理器或通信处理器(CP))，辅助处理器423可独立于主处理器421进行操作，或者与主处理器421协同操作。附加地或可选地，辅助处理器423可适于消耗比主处理器421更少的功率，或者专门用于特定功能。辅助处理器423可被实现为与主处理器421分离，或者作为主处理器421的部分。
辅助处理器423可在主处理器421处于非活动(例如，睡眠)状态时代替主处理器421，或者在主处理器421处于活动状态(例如，执行应用)时与主处理器421一起控制与电子装置401的多个组件之中的至少一个组件(例如，显示装置460、传感器模块476或通信模块490)相关的功能或状态中的至少一些。辅助处理器423(例如，图像信号处理器或通信处理器)可被实现为与辅助处理器423功能上相关的另一组件(例如，相机模块480或通信模块490)的部分。
存储器430可存储由电子装置401的至少一个组件(例如，处理器420或传感器模块476)使用的各种数据。例如，各种数据可包括软件(例如，程序440)和与之相关的命令的输入数据或输出数据。存储器430可包括易失性存储器432或非易失性存储器434。
程序440可作为软件存储在存储器430中，并且可包括例如操作***(OS)442、中间件444或应用446。
输入装置450可从电子装置401的外部(例如，用户)接收将由电子装置401的其他组件(例如，处理器420)使用的命令或数据。例如，输入装置450可包括麦克风、鼠标、键盘或数字笔(例如，触笔)。
声音输出装置455可将声音信号输出到电子装置401的外部。例如，声音输出装置455可包括扬声器或接收器。扬声器可用于一般目的(诸如，播放多媒体或播放记录)，接收器可用于来电呼叫。根据一个实施例，接收器可被实现为与扬声器分离或者作为扬声器的部分。
显示装置460可在视觉上向电子装置401的外部(例如，用户)提供信息。例如，显示装置460可包括显示器、全息图装置或投影仪以及用于控制显示器、全息图装置和投影仪中的相应一个的控制电路。显示装置460可包括适于检测触摸的触摸电路，或者适于测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块470可将声音转换成电信号，反之亦然。音频模块470可经由输入装置450获得声音，或者经由声音输出装置455或者直接(例如，有线地)或者无线地与电子装置401结合的外部电子装置(例如，电子装置402)的耳机来输出声音。
传感器模块476可检测电子装置401的操作状态(例如，功率或温度)或电子装置401外部的环境状态(例如，用户的状态)，然后生成与检测的状态相对应的电信号或数据值。例如，传感器模块476可包括姿态传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口477可支持用于电子装置401直接(例如，有线地)或无线地与外部电子装置402结合的一个或多个特定协议。例如，接口477可包括高清多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端子478可包括连接器，电子装置401可通过连接器与外部电子装置(例如，电子装置402)物理连接。例如，连接端子478可包括HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块479可将电信号转换为机械刺激(例如，振动或移动)或电刺激，机械刺激或电刺激可由用户经由其触觉或动觉来识别。例如，触觉模块479可包括马达、压电元件或电刺激器。
相机模块480可捕获静止图像或运动图像。相机模块480可包括一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
电源管理模块488可管理供应给电子装置401的电力。例如，电源管理模块488可被实现为电源管理集成电路(PMIC)的至少部分。
电池489可向电子装置401的至少一个组件供应电力。例如，电池489可包括不可再充电的一次电池、可再充电的二次电池或燃料电池。
通信模块490可支持在电子装置401与外部电子装置(例如，电子装置402、电子装置404或服务器408)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块490可包括可独立于处理器420(例如，AP)进行操作并且支持直接(例如，有线)通信或无线通信的一个或多个通信处理器。通信模块490可包括无线通信模块492(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块494(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的对应的一个可经由第一网络498(例如，短距离通信网络(诸如，BluetoothTM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络499(例如，长距离通信网络(诸如，蜂窝网络、因特网或计算机网络(例如，LAN或广域网(WAN))))与外部电子装置通信。这些各种类型的通信模块可被实现为单个组件(例如，单个芯片)，或者可被实现为彼此分离的多个组件(例如，多个芯片)。无线通信模块492可使用存储在用户识别模块496中的用户信息(例如，国际移动用户标识(IMSI))来识别和认证通信网络(诸如，第一网络498或第二网络499)中的电子装置401。
天线模块497可向电子装置401的外部(例如，外部电子装置)发送信号或电力，或者从电子装置401的外部(例如，外部电子装置)接收信号或电力。天线模块497可包括天线，天线包括由形成在基板(例如，PCB)中或基板上的导电材料或导电图案组成的发射元件。天线模块497可包括多个天线。在这种情况下，例如，可由通信模块490(例如，无线通信模块492)从多个天线选择适合于通信网络(诸如，第一网络498或第二网络499)中使用的通信方案的至少一个天线。然后，可经由选择的至少一个天线在通信模块490与外部电子装置之间发送或接收信号或电力。除了发射元件之外的另一组件(例如，射频集成电路(RFIC))可另外形成为天线模块497的部分。
上述组件中的至少一些可经由外设间通信方案(例如，总线、通用输入和输出(GPIO)、串行***接口(SPI)或移动工业处理器接口(MIPI))相互结合并且在它们之间传递信号(例如，命令或数据)。
根据一个实施例，可经由与第二网络499结合的服务器408在电子装置401与外部电子装置404之间发送或接收命令或数据。电子装置402和404中的每个可以是与电子装置401相同类型或不同类型的装置。将在电子装置401处执行的操作的全部或一些可在外部电子装置402、404或408中的一个或多个处执行。例如，如果电子装置401应当自动或者响应于来自用户或另一装置的请求来执行功能或服务，则电子装置401可请求一个或多个外部电子装置执行功能或服务的至少部分，而不执行功能或服务，或者电子装置401除了执行功能或服务之外，还可请求一个或多个外部电子装置执行功能或服务的至少部分。接收请求的一个或多个外部电子装置可执行请求的功能或服务的至少部分或者与请求相关的附加功能或附加服务，并且将执行的结果传送到电子装置401。电子装置401可在对结果进行或不进行进一步处理的情况下提供结果，作为对请求的回复的至少部分。为此，例如，可使用云计算、分布式计算或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置之一。例如，电子装置可包括便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据各种实施例，电子装置不限于上述那些电子装置。
应当理解，本公开的各种实施例和在此使用的术语不意图将在此阐述的技术特征限制到特定实施例，而是包括对应实施例的各种变化、等同物或替换。关于附图的描述，类似的参考标号可用于表示类似的或相关的元件。将理解，除非相关上下文清楚地另外指示，否则与项目对应的名词的单数形式可包括一个或多个事物。如在此使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每个可包括在相应的短语之一中一起列举的项目的任何一个或所有可能的组合。如在此使用的，诸如“第1”和“第2”或“第一”和“第二”的术语可用于简单地将相应组件与另一组件区分开，而不在其他方面(例如，重要性或顺序)限制组件。将理解，如果一个元件(例如，第一元件)在具有或没有术语“可操作地”或“交流地”的情况下被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件”“与另一元件连接”或“连接到另一元件”，则意味着该元件可直接(例如，有线地)、无线地或经由第三元件与另一元件结合。
如在此使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其他术语(例如，“逻辑”、“逻辑块”、“部件”或“电路”)互换使用。模块可以是适于执行一个或多个功能的单个集成组件或者是它的最小单元或部件。例如，可以以专用集成电路(ASIC)的形式来实现模块。
如在此阐述的各种实施例可被实现为软件(例如，程序440)，软件包括存储在存储介质(例如，内部存储器436或外部存储器438)中的可由机器(例如，电子装置401)读取的一个或多个指令。例如，机器(例如，电子装置401)的处理器(例如，处理器420)可调用存储在存储介质中的一个或多个指令中的至少一个，并且在处理器的控制下使用或不使用一个或多个其他组件来执行它。这允许操作机器以根据调用的至少一个指令执行至少一个功能。一个或多个指令可包括由编译器生成的代码或可由解释器执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。其中，术语“非暂时性”仅意味着存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语不区分数据半永久性地存储在存储介质中的情况和数据临时存储在存储介质中的情况。
可在计算机程序产品中包括并提供根据本公开的各种实施例的方法。计算机程序产品可在卖方与买方之间作为产品被交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者经由应用商店(例如，PlayStoreTM)在线分发(例如，下载或上传)，或者直接在两个用户装置(例如，智能电话)之间分发。如果在线分发，则计算机程序产品的至少部分可临时生成或至少临时存储在机器可读存储介质(诸如，制造商的服务器的存储器、应用商店的服务器或中继服务器)中。
根据各种实施例，上述组件的每个组件(例如，模块或程序)可包括单个实体或多个实体。可省略上述组件中的一个或多个，或者可添加一个或多个其他组件。可选地或附加地，多个组件(例如，模块或程序)可被集成到单个组件中。在这种情况下，集成的组件仍然可以以与集成之前由多个组件中的对应组件执行功能的方式相同或相似的方式执行多个组件中的每个的一个或多个功能。可顺序地、并行地、重复地或启发式地执行由模块、程序或另一组件执行的操作，或者可以以不同的顺序执行一个或多个操作或省略一个或多个操作，或者可添加一个或多个其他操作。
图5是根据一个实施例的相机模块480的框图。
参照图5，相机模块480可包括透镜组件610、闪光灯620、图像传感器630、图像稳定器640、存储器650(例如，缓冲存储器)或图像信号处理器660。透镜组件610可收集从将要被拍摄图像的对象发射或反射的光。透镜组件610可包括一个或多个透镜。根据一个实施例，相机模块480可包括多个透镜组件610。在这种情况下，相机模块480可形成例如双相机、360度相机或球形相机。多个透镜组件610中的一些可具有相同的透镜属性(例如，视角、焦距、自动聚焦、F数或光学变焦)，或者至少一个透镜组件可具有与另一透镜组件的一个或多个透镜属性不同的一个或多个透镜属性。例如，透镜组件610可包括广角透镜或远摄透镜。
闪光灯620可发射用于增强从对象反射的光的光。根据一个实施例，闪光灯620可包括一个或多个发光二极管(LED)(例如，红-绿-蓝(RGB)LED、白LED、红外(IR)LED或紫外线(UV)LED)或氙气灯。图像传感器630可通过将从对象发射或反射并经由透镜组件610透射的光转换成电信号来获得与对象相应的图像。图像传感器630可选自具有不同属性的图像传感器(诸如，RGB传感器、黑白(BW)传感器、红外传感器或UV传感器)、或具有相同属性的多个图像传感器。例如，可使用电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器630中的每个图像传感器。
图像稳定器640可响应于相机模块480或包括相机模块480的电子装置401的移动，以特定方向移动图像传感器630或包括在透镜组件610中的至少一个透镜，或者控制图像传感器630的操作属性(例如，调节读出时机(read-out timing))。这允许通过正在捕获的图像的移动来补偿负效应(例如，图像模糊)的至少部分。图像稳定器640可使用设置在相机模块480内部或外部的陀螺仪传感器或加速度传感器来感测相机模块480或电子装置401的这种移动。例如，图像稳定器640可被实现为光学图像稳定器。
存储器650可至少临时存储经由图像传感器630获得的图像的至少部分，以用于后续的图像处理任务。例如，如果由于快门滞后而延迟图像捕获或者快速捕获多个图像，则可将获得的原始图像(例如，拜耳图案化图像、高分辨率图像)存储在存储器650中，并且可经由显示装置460预览其对应的复制图像(例如，低分辨率图像)。此后，如果(例如，通过用户的输入或***命令)满足指定的条件，则可获得存储在存储器650中的原始图像的至少部分，并且可由例如图像信号处理器660处理存储在存储器650中的原始图像的至少部分。存储器650可被配置为存储器430的至少部分，或者被配置为独立于存储器430操作的单独存储器。
图像信号处理器660可对经由图像传感器630获得的图像或存储在存储器650中的图像执行一个或多个图像处理。例如，一个或多个图像处理可包括深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或软化)。附加地或可选地，图像信号处理器660可对包括在相机模块480中的组件中的至少一个(例如，图像传感器630)执行控制(例如，曝光时间控制或读出时机控制)。由图像信号处理器660处理的图像可被存储在存储器650中，以用于进一步处理，或者可被提供给相机模块480外部的外部组件(例如，存储器430、显示装置460、电子装置402、电子装置404或服务器408)。图像信号处理器660可被配置为处理器420的至少部分，或者被配置为独立于处理器420进行操作的单独处理器。如果图像信号处理器660被配置为与处理器420分离的处理器，则由图像信号处理器660处理的至少一个图像可通过处理器420经由显示装置460原样显示或者在被进一步处理之后显示。
电子装置401可包括具有不同属性或功能的多个相机模块480。在这种情况下，多个相机模块480中的至少一个可形成例如广角相机，并且多个相机模块480中的至少另一个可形成远摄相机。类似地，多个相机模块480中的至少一个可形成例如前置相机，并且多个相机模块480中的至少另一个可形成后置相机。
图6是根据一个实施例的显示装置460的框图。
参照图6，显示装置460可包括显示器710和用于控制显示器710的显示器驱动器集成电路(DDI)730。DDI 730可包括接口模块731、存储器733(例如，缓冲存储器)、图像处理模块735和/或映射模块737。DDI 730可经由接口模块731从电子装置401的另一组件接收包含图像数据的图像信息或与用于控制图像数据的命令对应的图像控制信号。例如，根据一个实施例，可从处理器420(例如，主处理器421(例如，AP))或独立于主处理器421的功能进行操作的辅助处理器423(例如，图形处理器)接收图像信息。例如，DDI 730可经由接口模块731与触摸电路750或传感器模块776通信。例如，DDI 730还可逐帧地将接收的图像信息的至少部分存储在存储器733中。
图像处理模块735可对图像数据的至少部分执行预处理或后处理(例如，分辨率、亮度或尺寸的调整)。例如，可至少部分地基于图像数据的一个或多个特性或显示器710的一个或多个特性来执行预处理或后处理。
映射模块737可生成与由图像处理模块735预处理或后处理的图像数据对应的电压值或电流值。例如，可至少部分地基于像素的一个或多个属性(例如，像素的阵列(诸如，RGB条带或pentile结构)，或者每个子像素的大小)来执行电压值或电流值的生成。例如，可至少部分地基于电压值或电流值来驱动显示器710的至少一些像素，使得可经由显示器710显示与图像数据对应的视觉信息(例如，文本、图像或图标)。
显示装置460还可包括触摸电路750。触摸电路750可包括触摸传感器751和用于控制触摸传感器751的触摸传感器IC 753。触摸传感器IC 753可控制触摸传感器751感测针对显示器710上的特定位置的触摸输入或悬停输入。为了实现这一点，例如，触摸传感器751可检测(例如，测量)与显示器710上的特定位置对应的信号(例如，电压、光量、电阻或一个或多个电荷的量)的变化。触摸电路750可向处理器420提供指示经由触摸传感器751检测的触摸输入或悬停输入的输入信息(例如，位置、面积、压力或时间)。触摸电路750的至少部分(例如，触摸传感器IC 753)可形成为DDI 730或显示器710的部分，或者形成为设置在显示装置460外部的另一组件(例如，辅助处理器423)的部分。
显示装置460还可包括传感器模块476的至少一个传感器(例如，指纹传感器、虹膜传感器、压力传感器或照度传感器)或者用于至少一个传感器的控制电路。在这种情况下，至少一个传感器或用于至少一个传感器的控制电路可嵌入在显示装置460的组件(例如，显示器710、DDI 730或触摸电路750)的一部分中。例如，当嵌入在显示装置460中的传感器模块476包括生物特征传感器(例如，指纹传感器)时，生物特征传感器可获得与经由显示器710的一部分接收的触摸输入对应的生物特征信息(例如，指纹图像)。例如，当嵌入在显示装置460中的传感器模块776包括压力传感器时，压力传感器可获得与经由显示器710的部分或整个区域接收的触摸输入对应的压力信息。触摸传感器751或传感器模块776可设置在显示器710的像素层中的像素之间，或者设置在像素层之上或之下。
图7是根据一个实施例的程序440的框图。
参照图7，程序440可包括用于控制电子装置401的一个或多个资源的操作***OS442、中间件444或可在OS 442中执行的应用446。例如，OS 442可包括
或BadaTM。例如，程序440的至少部分可在制造期间预加载到电子装置401上，或者可在用户使用期间从外部电子装置(例如，电子装置402或404或者服务器408)下载或由外部电子装置更新。
OS 442可控制对电子装置401的一个或多个***资源(例如，进程、存储器或电源)的管理(例如，分配或重新分配)。附加地或可选地，OS 442可包括一个或多个驱动程序，以驱动电子装置401的其他硬件装置(例如，输入装置450、声音输出装置455、显示装置460、音频模块470、传感器模块476、接口477、触觉模块479、相机模块480、电源管理模块488、电池489、通信模块490、用户识别模块496或天线模块497)。
中间件444可向应用446提供各种功能，使得从电子装置401的一个或多个资源提供的功能或信息可由应用446使用。例如，中间件444可包括应用管理器901、窗口管理器903、多媒体管理器905、资源管理器907、电源管理器909、数据库管理器911、包管理器913、连接管理器915、通知管理器917、位置管理器919、图形管理器921、安全管理器923、电话管理器925和/或语音识别管理器927。
例如，应用管理器901可管理应用446的生命周期。例如，窗口管理器903可管理在屏幕上使用的一个或多个图形用户界面(GUI)资源。例如，多媒体管理器905可识别用于播放媒体文件的一种或多种格式，并且可使用适合于从一种或多种格式选择的对应格式的编解码器来对媒体文件中的对应的媒体文件进行编码或解码。例如，资源管理器907可管理应用446的源代码或存储器430的存储器空间。例如，电源管理器909可管理电池489的容量、温度或功率，并且至少部分地基于电池489的容量、温度或功率的对应信息来确定或提供用于电子装置401的操作的相关信息。电源管理器909可与电子装置401的基本输入/输出***(BIOS)互操作。
例如，数据库管理器911可生成、搜索或改变将由应用446使用的数据库。例如，包管理器913可管理以包文件的形式分发的应用的安装或更新。例如，连接管理器915可管理电子装置401与外部电子装置之间的无线连接或直接连接。例如，通知管理器917可提供用于将特定事件(例如，来电呼叫、消息或警报)的发生通知给用户的功能。例如，位置管理器919可管理关于电子装置401的位置信息。例如，图形管理器921可管理将要提供给用户的一个或多个图形效果或与一个或多个图形效果相关的用户界面。
例如，安全管理器923可提供***安全或用户认证。例如，电话管理器925可管理由电子装置401提供的语音通话功能或视频通话功能。例如，语音识别管理器927可将用户的语音数据发送到服务器408，并且从服务器408接收与将在电子装置401上至少部分地基于语音数据或至少部分地基于语音数据转换的文本数据而执行的功能对应的命令。中间件444可动态地删除一些现有组件或添加新组件。根据一个实施例，中间件444的至少部分可被包括作为OS 442的部分，或者可在与OS 442分离的其他软件中实现。
例如，应用446可包括家庭应用951、拨号器应用953、短消息服务(SMS)/多媒体消息服务(MMS)应用955、即时消息(IM)应用957、浏览器应用959、相机应用961、报警应用963、联系人应用965、语音识别应用967、电子邮件应用969、日历应用971、媒体播放器应用973、相册应用975、手表应用977、健康应用979(例如，用于测量锻炼的程度或生物特征信息(诸如，血糖))和/或环境信息应用981(例如，用于测量气压、湿度或温度信息)。应用446还可包括能够支持电子装置401与外部电子装置之间的信息交换的信息交换应用。例如，信息交换应用可包括适于向外部电子装置传送指定信息(例如，呼叫、消息或警报)的通知中继应用，或者适于管理外部电子装置的装置管理应用。通知中继应用可将与在电子装置401的另一应用(例如，电子邮件应用869)处发生指定事件(例如，接收到电子邮件)对应的通知信息传送到外部电子装置。附加地或可选地，通知中继应用可从外部电子装置接收通知信息，并且将通知信息提供给电子装置401的用户。
装置管理应用可控制外部电子装置或其一些组件(例如，外部电子装置的显示装置或相机模块)的电力(例如，接通或断开)或功能(例如，亮度、分辨率或焦点的调节)。附加地或可选地，装置管理应用程序可支持在外部电子装置上运行的应用的安装、删除或更新。
尽管已经在本公开的具体实施方式中描述了本公开的特定实施例，但是在不脱离本公开的范围的情况下，可以以各种形式对本公开进行修改。因此，本公开的范围不应仅基于所描述的实施例来确定，而应基于所附权利要求及其等同物来确定。
Claims (20)
1.一种用于确定图像清晰度的设备，包括：
权重装置，被配置为：确定参考图像IR(x，y)的权重映射W(x，y)，其中，x是所述参考图像在水平方向上的像素，y是所述参考图像在垂直方向上的像素；
图像锐化装置，被配置为：使用至少一种锐化方法对所述参考图像进行锐化，以获得所述参考图像的与所述至少一种锐化方法分别对应的锐化图像；
第一边缘活动映射装置，连接到图像锐化装置，并且被配置为：确定所述参考图像的每个锐化图像的边缘活动映射Φ(x，y)；以及
边缘清晰度度量装置，连接到权重装置和第一边缘活动映射装置，并且被配置为：基于权重映射和每个锐化图像的边缘活动映射Φ(x，y)来确定每个锐化图像的边缘清晰度度量ESM。
2.如权利要求1所述的设备，还包括：
第二边缘活动映射装置，被配置为：接收所述参考图像并确定所述参考图像的边缘活动映射ΦR(x，y)；
概率密度函数PDF装置，连接到第二边缘活动映射装置，并且被配置为：确定所述参考图像的边缘活动映射ΦR(x，y)的PDF；以及
累积密度函数CDF装置，连接在概率密度函数装置与权重装置之间，并且被配置为确定所述PDF的CDF。
3.根据权利要求1所述的设备，其中，权重装置被配置为：将每个锐化图像划分为平滑区域和细节区域。
4.根据权利要求1所述的设备，其中，第一边缘活动映射装置被配置为：基于Sobel算子来确定边缘活动映射。
5.根据权利要求3所述的设备，其中，权重装置包括：
S型装置，包括：第一输入，用于接收累积密度函数；第二输入，用于接收权重函数的斜率参数α；第三输入，用于接收用于在平滑区域与细节区域之间划分所述参考图像的定中心参数β；以及
权重映射器装置，连接到S型装置，并且被配置为：确定所述参考图像的权重映射，其中，α＝10，β＝0.5。
6.根据权利要求2所述的设备，其中，第二边缘活动映射装置被配置为：基于Sobel算子来确定边缘活动映射。
7.根据权利要求1所述的设备，其中，权重映射具有介于[-1 1]之间的值，其中，平滑区域由负值指示，而细节区域由正值指示。
8.根据权利要求1所述的设备，其中，所述至少一种锐化方法包括拉普拉斯锐化方法和边缘保持锐化方法中的至少一种。
9.根据权利要求1所述的设备，其中，ESM被表示为：
10.根据权利要求2所述的设备，其中
其中，
11.一种用于确定图像清晰度的方法，包括：
由权重装置确定参考图像IR(x，t)的权重映射W(x，y)，其中，x是所述参考图像在水平方向上的像素，y是所述参考图像在垂直方向上的像素；
由图像锐化装置使用至少一种锐化方法对所述参考图像进行锐化，以获得所述参考图像的与所述至少一种锐化方法分别对应的锐化图像；
由连接到图像锐化装置的第一边缘活动映射装置，确定所述参考图像的每个锐化图像的边缘活动映射Φ(x，y)；以及
由连接到权重装置和第一边缘活动映射装置的边缘清晰度度量装置，基于权重映射和所述参考图像的每个锐化图像的边缘活动映射Φ(x，y)，确定所述参考图像的每个锐化图像的边缘清晰度度量ESM。
12.如权利要求11所述的方法，还包括：
由第二边缘活动映射装置接收所述参考图像；
确定所述参考图像的边缘活动映射ΦR(x，y)；
由连接到第二边缘活动映射装置的概率密度函数PDF装置，确定所述参考图像的边缘活动映射ΦR(x，y)的PDF；以及
由连接在概率密度函数装置与权重装置之间的累积密度函数CDF装置来确定所述PDF的CDF。
13.如权利要求11所述的方法，其中，权重装置被配置为：
由S型装置接收累积密度函数、权重函数的斜率参数α以及用于在平滑区域与细节区域之间划分参考图像的定中心参数β；以及
由连接到S型装置的权重映射器装置来确定所述参考图像的权重映射。
14.如权利要求11所述的方法，其中，第一边缘活动映射装置被配置为：基于Sobel算子来确定边缘活动映射。
15.权利要求13的方法，其中，α＝10，β＝0.5。
16.根据权利要求12所述的方法，其中，第二边缘活动映射装置被配置为：基于Sobel算子来确定边缘活动映射。
17.根据权利要求11所述的方法，其中，权重映射具有介于[-1 1]之间的值。
18.根据权利要求11所述的方法，其中，所述至少一种锐化方法包括拉普拉斯锐化方法和边缘保持锐化方法中的至少一种。
19.根据权利要求11所述的方法，其中，ESM被表示为：
其中，N为所述参考图像的宽度，M为所述参考图像的高度。
20.根据权利要求12所述的方法，其中，
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862778542P | 2018-12-12 | 2018-12-12 | |
| US62/778,542 | 2018-12-12 | ||
| US16/514,560 US11120536B2 (en) | 2018-12-12 | 2019-07-17 | Apparatus and method for determining image sharpness |
| US16/514,560 | 2019-07-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111311533A true CN111311533A (zh) | 2020-06-19 |
Family
ID=71072720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911005311.6A Pending CN111311533A (zh) | 2018-12-12 | 2019-10-22 | 用于确定图像清晰度的设备和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11120536B2 (zh) |
| KR (1) | KR102566998B1 (zh) |
| CN (1) | CN111311533A (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109219833B (zh) * | 2016-07-01 | 2023-10-17 | 英特尔公司 | 使用深度信息增强图像中的边缘 |
| US11341682B2 (en) * | 2020-08-13 | 2022-05-24 | Argo AI, LLC | Testing and validation of a camera under electromagnetic interference |
| US11568526B2 (en) | 2020-09-04 | 2023-01-31 | Altek Semiconductor Corp. | Dual sensor imaging system and imaging method thereof |
| US11496660B2 (en) | 2020-09-04 | 2022-11-08 | Altek Semiconductor Corp. | Dual sensor imaging system and depth map calculation method thereof |
| US11496694B2 (en) | 2020-09-04 | 2022-11-08 | Altek Semiconductor Corp. | Dual sensor imaging system and imaging method thereof |
| US11689822B2 (en) | 2020-09-04 | 2023-06-27 | Altek Semiconductor Corp. | Dual sensor imaging system and privacy protection imaging method thereof |
| TWI767468B (zh) * | 2020-09-04 | 2022-06-11 | 聚晶半導體股份有限公司 | 雙感測器攝像系統及其攝像方法 |
| US11418719B2 (en) | 2020-09-04 | 2022-08-16 | Altek Semiconductor Corp. | Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching |
| US11869118B2 (en) | 2021-09-22 | 2024-01-09 | Samsung Electronics Co., Ltd. | Generating a synthetic ground-truth image using a dead leaves model |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7016539B1 (en) * | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| US7072523B2 (en) | 2000-09-01 | 2006-07-04 | Lenovo (Singapore) Pte. Ltd. | System and method for fingerprint image enhancement using partitioned least-squared filters |
| US7512286B2 (en) | 2003-10-27 | 2009-03-31 | Hewlett-Packard Development Company, L.P. | Assessing image quality |
| US7545985B2 (en) | 2005-01-04 | 2009-06-09 | Microsoft Corporation | Method and system for learning-based quality assessment of images |
| US8411938B2 (en) * | 2007-11-29 | 2013-04-02 | Sri International | Multi-scale multi-camera adaptive fusion with contrast normalization |
| US8306262B2 (en) | 2008-05-15 | 2012-11-06 | Arcsoft, Inc. | Face tracking method for electronic camera device |
| US8515182B2 (en) | 2009-02-11 | 2013-08-20 | Ecole De Technologie Superieure | Method and system for determining a quality measure for an image using multi-level decomposition of images |
| KR101101434B1 (ko) | 2010-08-06 | 2012-01-02 | 동아대학교 산학협력단 | 이미지 선명도 향상 장치 |
| US8754988B2 (en) | 2010-12-22 | 2014-06-17 | Tektronix, Inc. | Blur detection with local sharpness map |
| WO2013050184A1 (en) | 2011-10-04 | 2013-04-11 | Telefonaktiebolaget L M Ericsson (Publ) | Objective 3d video quality assessment model |
| US9087262B2 (en) | 2011-11-10 | 2015-07-21 | Fuji Xerox Co., Ltd. | Sharpness estimation in document and scene images |
| WO2013078822A1 (en) | 2011-11-29 | 2013-06-06 | Thomson Licensing | Texture masking for video quality measurement |
| US9542736B2 (en) * | 2013-06-04 | 2017-01-10 | Paypal, Inc. | Evaluating image sharpness |
-
2019
- 2019-07-17 US US16/514,560 patent/US11120536B2/en active Active
- 2019-08-21 KR KR1020190102234A patent/KR102566998B1/ko active IP Right Grant
- 2019-10-22 CN CN201911005311.6A patent/CN111311533A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR102566998B1 (ko) | 2023-08-14 |
| US20200193584A1 (en) | 2020-06-18 |
| US11120536B2 (en) | 2021-09-14 |
| KR20200072393A (ko) | 2020-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102566998B1 (ko) | 이미지 선명도를 결정하기 위한 장치 및 방법 | |
| CN110581948B (zh) | 提供质量定制图像的电子装置及其控制方法、服务器 | |
| TWI775896B (zh) | 用於使用卷積神經網路的視頻超解析度的方法和設備 | |
| US11461910B2 (en) | Electronic device for blurring image obtained by combining plural images based on depth information and method for driving the electronic device | |
| TWI808987B (zh) | 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法 | |
| US10511758B2 (en) | Image capturing apparatus with autofocus and method of operating the same | |
| KR20190032061A (ko) | 이미지 보정을 수행하는 전자 장치 및 그 동작 방법 | |
| US11290641B2 (en) | Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme | |
| US11363199B2 (en) | Apparatus and method for estimating optical image stabilization motion | |
| KR102524982B1 (ko) | 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치 | |
| KR102383129B1 (ko) | 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치 | |
| US11025890B2 (en) | Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor | |
| US11144197B2 (en) | Electronic device performing function according to gesture input and operation method thereof | |
| CN114424520B (zh) | 图像处理方法和支持该图像处理方法的电子装置 | |
| US20210272249A1 (en) | Electronic device and method for correcting image on basis of image transmission state | |
| EP3926942A1 (en) | Method for processing photographed image and electronic device therefor | |
| US10970587B2 (en) | Electronic device for notifying of update of image signal processing and method for operating the same | |
| US11354777B2 (en) | Image processing device and method of electronic device | |
| US20230156349A1 (en) | Method for generating image and electronic device therefor | |
| EP3928236B1 (en) | Electronic device and method for securing personal information included in image | |
| CN114868180A (zh) | 用于改变显示器的指定区域中的显示的电子装置及其操作方法 | |
| US20190349519A1 (en) | Electronic device and image processing method therefor | |
| US20200273137A1 (en) | Electronic device for providing image related to inputted information, and operating method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |