CN104851073A - 用于处理图像数据的方法和装置 - Google Patents

用于处理图像数据的方法和装置 Download PDF

Info

Publication number
CN104851073A
CN104851073A CN201510087885.8A CN201510087885A CN104851073A CN 104851073 A CN104851073 A CN 104851073A CN 201510087885 A CN201510087885 A CN 201510087885A CN 104851073 A CN104851073 A CN 104851073A
Authority
CN
China
Prior art keywords
image
pixel
value
region
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510087885.8A
Other languages
English (en)
Other versions
CN104851073B (zh
Inventor
李智英
朴贤熙
金宗浩
朴起贤
李龙晚
赵宰宪
韩东均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104851073A publication Critical patent/CN104851073A/zh
Application granted granted Critical
Publication of CN104851073B publication Critical patent/CN104851073B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种用于处理图像数据的方法和装置。所述方法包括:通过执行以下处理来分别确定第一图像的多个区域的第一特性值:在顺序地接收包括在所述多个区域之中的每一个区域中的像素的像素值的同时,顺序地针对所述多个区域之中的每一个区域计算与像素的像素值之中的每一个像素值相应的特性值;基于确定的第一特性值,获取与作为第一图像之后的图像的第二图像相关的照度图像;基于获取的照度图像来修改第二图像。

Description

用于处理图像数据的方法和装置
本申请要求于2014年2月19日提交到韩国知识产权局的第10-2014-0019223号韩国专利申请的优先权,该申请的公开通过引用全部合并于此。
技术领域
与示例性实施例一致的设备和方法涉及对图像数据进行处理。
背景技术
根据信息和通信技术的发展,图像数据处理技术正持续发展。在一般的图像数据处理中,在处理图像数据时,像素的像素值被存储在存储器中并被处理。
此外,通常当图像数据被输入时,从第一像素开始顺序地输入图像数据。
相应地,现有技术通过下述处理来处理图像数据:在存储器中存储从第一像素起顺序输入的图像数据,并处理所述图像数据。
发明内容
一个或更多个示例性实施例的各方面包括一种有效地处理图像数据的方法。
一个或更多个示例性实施例的各方面包括一种由装置通过对输入图像数据执行操作来获取期望的输出值的方法。
将在接下来的描述中部分阐述另外的方面,还有一部分通过描述将是清楚的,或者可通过实施示例性实施例而获知。
根据示例性实施例的一方面,提供了一种处理图像数据的方法,所述方法包括:通过执行以下处理来分别确定第一图像的多个区域的第一特性值:在顺序地接收包括在所述多个区域之中的每一个区域中的像素的像素值时,顺序地针对所述多个区域之中的每一个区域计算与所述像素的像素值之中的每一个像素值相应的特性值;基于所确定的第一特性值,获取与作为第一图像后面的图像的第二图像相关的照度图像;基于获取的照度图像来修改第二图像。
确定所述第一特性值的步骤还可包括:在顺序地接收包括在第一图像的所述多个区域当中的第一区域中的像素的像素值时,获取包括在第一区域中的第一像素的第一像素值;在顺序地接收包括在第一区域中的像素的像素值时,获取包括在第一区域中的第二像素的第二像素值;基于第一像素值与第二像素值的加权和来确定累计特性值;在顺序地接收包括在第一区域中的像素的像素值时,获取包括在第一区域中的第三像素的第三像素值;基于累计特性值与第三像素值的加权和来更新累计特性值。
获取照度图像的步骤可包括:基于确定的第一特性值之中的预定数量的区域的第一特性值来获取包括在照度图像中的照度像素的像素值,其中,所述预定数量的区域在所述多个区域之中与所述照度像素最为邻近。
获取所述照度图像的步骤还可包括:对照度像素与所述预定数量的区域之间的间隔执行线性插值。
所述方法还可包括:通过执行以下处理来分别确定第二图像的多个区域的第二特性值:在顺序地接收包括在所述多个区域之中的每一个区域中的像素的像素值时,顺序地针对所述多个区域之中的每一个区域计算所述像素的像素值之中的每一个像素值的特性值;分别基于第一图像的所述多个区域和第二图像的所述多个区域之中相应的区域的第一特性值和第二特性值,分别确定所述相应的区域的第三特性值,其中,获取照度图像的处理可基于第三特性值而被执行,第三特性值基于第一特性值而被确定。
修改第二图像的步骤可包括:基于第三特性值和包括在第二图像的所述多个区域之中的每一个区域中的像素的像素值,确定反映像素值;基于第三特性值与反映像素值的加权和,确定输出像素值;基于确定的输出像素值来修改第二图像。
所述方法还可包括:在寄存器中存储确定的第一特性值。
修改第二图像的的步骤可包括:确定包括在第一图像的所述多个区域之中的每一个区域中的像素的像素值之中至少预定比例的像素值是否在预定范围内;基于所述像素值之中至少预定比例的像素值是否在所述预定范围内的确定结果,确定是否修改第二图像。
确定是否修改第二图像的步骤可包括:响应于确定所述像素值之中至少预定比例的像素值在预定范围内,跳过对第二图像的修改。
第一图像可以是先前帧的图像,并且第二图像可以是当前帧的图像。
根据另一示例性实施例的一方面,提供了一种用于处理图像数据的装置,所述装置包括:特性值确定器,被配置为通过执行以下处理来分别确定第一图像的多个区域的第一特性值:在顺序地接收包括在所述多个区域之中的每一个区域中的像素的像素值时,顺序地针对所述多个区域之中的每一个区域计算所述像素的像素值之中的每一个像素值的特性值;照度图像获取器,被配置为:基于所确定的第一特性值,获取与第一图像相关的照度图像;图像修改器,基于获取的照度图像来修改作为第一图像之后的图像的第二图像。
特性值确定器可被配置为:在顺序地接收包括在第一图像的所述多个区域当中的第一区域中的像素的像素值时,获取包括在第一区域中的第一像素的第一像素值;在顺序地接收包括在第一区域中的像素的像素值时,获取包括在第一区域中的第二像素的第二像素值;基于第一像素值和第二像素值来确定第一区域的特性值。
照度图像获取器可被配置为:基于确定的第一特性值之中的预定数量的区域的第一特性值来获取包括在照度图像中的照度像素的像素值,其中,所述预定数量的区域在所述多个区域之中与照度像素最为邻近。
特性值确定器可被配置为:通过执行以下处理来分别确定第二图像的多个区域的第二特性值:在顺序地接收包括在第二图像的所述多个区域之中的每一个区域中的像素的像素值时,顺序地针对第二图像的所述多个区域之中的每一个区域计算与所述像素的像素值之中的每一个像素值相应的特性值;分别基于第一图像的所述多个区域和第二图像的所述多个区域之中相应的区域的第一特性值和第二特性值,分别确定所述相应的区域的第三特性值;照度图像获取器可被配置为基于第三特性值来获取照度图像,其中,第三特性值基于第一特性值而被确定。
图像修改器可被配置为:基于第三特性值和包括在第二图像的所述多个区域之中的每一个区域中的像素的像素值,确定反映像素值;基于第三特性值与反映像素值的加权和,确定输出像素值;基于确定的输出像素值来修改第二图像。
所述装置还可包括:寄存器,被配置为存储确定的第一特性值。
图像修改器可被配置为:确定包括在第一图像的所述多个区域之中的每一个区域中的像素的像素值之中至少预定比例的像素值是否在预定范围内;基于所述像素值之中至少预定比例的像素值是否在所述预定范围内的确定结果,确定是否修改第二图像。
根据另一示例性实施例的一方面,提供了一种处理图像数据的方法,所述方法包括:基于先前帧图像来分别获取与先前帧图像的多个区域之中的每一个区域相应的照度值,并在寄存器中存储获取的照度值;基于获取的照度值来获取先前帧图像的照度图像;通过对获取的照度图像和当前帧图像执行retinex操作来更新当前帧图像。
所述方法还可包括:基于先前帧图像和当前帧图像来确定从先前帧图像到当前帧图像是否发生场景改变,其中,更新当前帧图像的处理可通过以下处理而被执行:响应于确定发生了场景改变,在当前帧图像中反映场景改变。
根据另一示例性实施例的一方面,提供了一种其上记录有当被计算机运行时执行以上方法的程序的非暂时性计算机只读记录介质。
根据另一示例性实施例的一方面,提供了一种用于处理图像数据的装置,所述装置包括:特性值确定器,被配置为基于先前帧图像分别获取与先前帧图像的多个区域中的每一个区域相应的照度值;照度图像获取器,被配置为基于获取的照度值来获取先前帧图像的照度图像;图像修改器,被配置为通过对获取的照度图像和当前帧图像执行retinex操作来更新当前帧图像。
所述装置还可包括:寄存器,被配置为存储获取的照度值。
图像修改器可被配置为通过以下处理来更新当前帧图像:响应于基于先前帧图像和当前帧图像而确定从先前帧图像到当前帧图像发生了场景改变,在当前帧图像中反映场景改变。
根据另一示例性实施例的一方面,提供了一种处理图像数据的方法,所述方法包括:通过顺序地计算与包括在第一图像的多个区域中的每一个区域中的像素相应的特性值,分别获取所述多个区域的第一特性值;基于获取的第一特性值来获取与第一图像或作为第一图像之后的图像的第二图像相关的照度图像;基于获取的照度图像来修改第二图像。
获取所述第一特性值的步骤可包括:在顺序地接收包括在第一图像的所述多个区域当中的第一区域中的像素的像素值时,获取包括在第一区域中的第一像素的第一像素值;在顺序地接收包括在第一区域中的像素的像素值时,获取包括在第一区域中的第二像素的第二像素值;基于第一像素值与第二像素值的加权和来确定累计特性值;在顺序地接收包括在第一区域中的像素的像素值时,获取包括在第一区域中的第三像素的第三像素值;基于累计特性值与第三像素值的加权和来更新累计特性值。
获取照度图像的步骤可包括:基于确定的第一特性值之中的预定数量的区域的第一特性值来获取包括在照度图像中的照度像素的像素值,其中,所述预定数量的区域在所述多个区域之中与所述照度像素最为邻近。
获取所述照度图像的步骤还可包括:对照度像素与所述预定数量的区域之间的间隔执行线性插值。
所述方法还可包括:通过执行以下处理来分别确定第二图像的多个区域的第二特性值:顺序地计算与包括在第二图像的所述多个区域中的每一个区域中的像素相应的特性值;分别基于与第一图像的所述多个区域和第二图像的所述多个区域之中相应的区域的第一特性值和第二特性值,获取所述相应的区域的第三特性值,其中,获取照度图像的处理可基于第三特性值而被执行,第三特性值基于第一特性值而被确定。
修改第二图像的步骤可包括:基于第三特性值和包括在第二图像的所述多个区域之中的每一个区域中的像素的像素值,确定反映像素值;基于第三特性值与反映像素值的加权和,获取输出像素值;基于获取的输出像素值来修改第二图像。
所述方法还可包括:在寄存器中存储获取的第一特性值。
修改第二图像的步骤可包括:确定包括在第一图像的所述多个区域之中的每一个区域中的像素的像素值之中至少预定比例的像素值是否在预定范围内;基于所述像素值之中至少预定比例的像素值是否在所述预定范围内的确定结果,确定是否修改第二图像。
确定是否修改第二图像的步骤可包括:响应于确定所述像素值之中至少预定比例的像素值在预定范围内,跳过对第二图像的修改。
第一图像可以是先前帧的图像,并且第二图像可以是当前帧的图像。
根据另一示例性实施例的一方面,提供了一种其上记录有当被计算机执行时执行以上方法的程序的非暂时性计算机可读记录介质。
附图说明
从以下结合附图对示例性实施例的描述,这些和/或其它方面将变得清楚且更易于理解,其中:
图1是描述根据一个或更多个示例性实施例的用于处理图像数据的方法和装置的示图;
图2是根据一个或更多个示例性实施例的由装置通过获得照度图像来修改图像的方法的流程图;
图3是根据一个或更多个示例性实施例的由装置确定特定区域的特征值的方法的流程图;
图4是根据一个或更多个示例性实施例的由装置获得照度图像的方法的流程图;
图5是根据一个或更多个示例性实施例的通过使用特征值和反映像素值来修改图像的方法的流程图;
图6是根据一个或更多个示例性实施例的由装置通过确定包括在图像中的像素的像素值中的至少一定比例是否在特定范围内来确定是否修改图像的方法的流程图;
图7是根据一个或更多个示例性实施例的由装置通过根据区域计算照度值并由装置执行retinex操作来估计照度图像的方法;
图8是根据一个或更多个示例性实施例的由装置通过反映场景改变来执行retinex操作的方法的流程图;
图9是根据一个或更多个示例性实施例的由装置通过使用直方图确定图像是否是电子书图像或网页图像来确定是否执行retinex操作的方法的流程图;
图10是根据一个或更多个示例性实施例的由装置执行retinex操作的方法的流程图;
图11A是根据一个或更多个示例性实施例的由装置执行线性插值的方法的示图;
图11B是根据一个或更多个示例性实施例的由装置执行线性插值的方法的示图;
图12A示出根据一个或更多个示例性实施例的由装置接收的原始图像;
图12B示出根据一个或更多个示例性实施例的当装置获得特征值时的图像;
图12C示出根据一个或更多个示例性实施例的由装置获得的照度图像;
图13A是用于描述根据一个或更多个示例性实施例的由装置处理与场景改变相关的图像的方法的示图;
图13B是用于描述根据一个或更多个示例性实施例的由装置处理与场景改变相关的图像的方法的示图;
图14是用于描述根据一个或更多个示例性实施例的由装置识别为电子书图像的图像的方法的示图;
图15是根据一个或更多个示例性实施例的装置的框图;
图16是根据一个或更多个示例性实施例的由装置更新当前帧图像的方法的流程图;
图17是根据一个或更多个示例性实施例的由装置通过反映场景改变来更新当前帧图像的方法的流程图。
具体实施方式
在下文中,根据一个或更多个示例性实施例,“图像”可全面地不仅包括静止图像而且包括运动图像,诸如视频。
现在将参照图1至图15描述根据一个或更多个示例性实施例的用于处理图像数据的方法和装置。
如这里所使用的那样,除非上下文明确指示,否则单数形式也意图包括复数形式。此外,应理解当诸如“……中的至少一个”的表达出现在一列元件之后时,其修饰整列元件而不修改列中的单个元件。
以下将参照附图更详细地描述一个或更多个示例性实施例。不管附图标号如何,同样或一致的组件以相同的参考标号来描绘,并且省略多余的解释。
图1是描述根据一个或更多个示例性实施例的用于处理图像数据的方法和装置110的示图。
参照图1,图像数据发送器120可将图像数据发送到装置110。装置110可处理从图像数据发送器120接收的图像数据。装置110可从图像数据发送器120接收图像数据并且同时实时地处理从图像数据发送器120接收的图像数据。
以下将描述根据示例性实施例的由装置110执行的处理图像数据的方法。
图2是根据一个或更多个示例性实施例的由装置110通过获得照度图像来修改图像的方法的流程图。
参照图2,在操作S210中,装置110通过在顺序地接收包括在第一图像中的像素的像素值时顺序地计算形成第一图像(例如,包括在第一图像中)的多个区域中的每个区域中所包括的像素的像素值,确定所述多个区域的第一特征值。
装置110可顺序地接收包括在第一图像中的像素的像素值。装置110可从顺序地接收的包括在第一图像中的像素的像素值之中,顺序地计算形成第一图像的多个区域中的每个区域中所包括的像素的像素值(例如,可计算与多个像素中的每个像素值对应的特征值(累计特征值))。例如,装置110可通过顺序地计算形成第一图像的第一区域中所包括的像素的像素值(例如,特征值),确定形成第一图像的第一区域的第一特征值。
例如,装置110可通过使用等式curr_accum_illum=(a xprev_accum_illum)+((1-a)x curr_pix)来计算像素值。这里,curr_accum_illum可表示当前像素的累计特征值,prv_accum_illum可表示先前像素的累计特征值,curr_pix可表示当前像素的像素值,a可以是0和1之间的系数。当装置110顺序地接收像素值时,装置110可通过对当前像素值((curr_pix)和当接收到先前像素值时计算的先前像素的累计特征值(prev_accum_illum)进行加权求和,获得当前像素的累计特征值(curr_accum_illum)。此外,通过计算形成第一图像的第一区域中所包括的全部像素而获得的累计特征值可被称为第一区域的第一特征值。当像素值表示像素的亮度信息时,第一区域的第一特征值可表示第一区域的平均亮度值。
由于使用通过每当接收到像素值时连续计算像素值而获得的结果,因此装置110可连续计算像素值,而不用将已计算出的像素值存储在存储器中。
由装置110确定的第一特征值可表示与第一区域的平均亮度相关的值。
例如,特定像素的像素值可表示特定像素的亮度信息。此外,由于通过使用亮度信息来确定第一特征值,因此第一特征值可以是与第一区域的亮度相关的值。
此外,可在装置110计算第一区域的像素的全部像素值之后确定由装置110确定的第一特征值。
装置110可将在装置110计算第一区域的像素的全部像素值之后确定的第一特征值存储在寄存器中。
装置110可确定分别与形成第一图像的多个区域对应的多个第一特征值。此外,装置110可存储分别与形成第一图像的多个区域对应的多个第一特征值。
与第一图像的一个区域对应的第一特征值的数量可以是一个。
形成第一图像的多个区域可被设置为使得所述多个区域没有间隙地填充第一图像的同时彼此不重叠。例如,形成第一图像的多个区域可具有矩形形状,所述矩形形状具有相同尺寸。装置110可通过将第一图像划分为MxN个矩形或正方形来设置多个区域。
在操作S220中,装置110基于在操作S210中确定的第一特征值,获得与第一图像或第二图像相关的照度图像,其中,第二图像是第一图像之后的图像。
照度图像可以是与通过使用第一特征值获得的亮度相关的图像。照度图像可以是与通过使用第一特征值获得的、形成第一图像的多个区域中的每个区域的亮度相关的图像。为了获得照度图像,装置110可计算形成照度图像的像素的每个像素值。
为了获得照度图像,装置110可使用在操作S210中确定的第一特征值。例如,为了确定第一照度像素的像素值,装置110可通过使用在操作S210中确定的第一特征值之中的与第一照度像素最邻近的区域的第一特征值,获得第一照度像素的像素值,其中,第一照度像素是形成照度图像(例如,包括在照度图像中)的任意照度像素。
可选择地,为了确定第一照度像素的像素值,装置110可通过以下方式来获得第一照度像素的像素值:使用在操作S210中确定的第一特征值之中的与第一照度像素最邻近的四个区域的第一特征值,并基于第一照度像素和与第一照度像素最邻近的四个区域之间的间隔对第一特征值执行线性插值。
可通过使用现有技术线性插值来执行线性插值。然而,应理解,一个或更多个其它示例性实施例不限于此。例如,可通过使用与照度像素邻近的区域的第一特征值并经由线性插值或者各种现有技术插值方法中的任何一种方法来获得照度像素值。
在操作S220中,如以下将参照图12详细描述的那样,与通过仅使用在操作S210中获得的第一特征值而获得的图像相比,装置110可获得平滑图像。
装置110可通过使用先前帧图像来获得照度图像。装置110可通过使用先前帧图像来预测当前帧图像的照度图像。
在操作S230中,装置110可通过使用在操作S220中获得的照度图像来修改第二图像(即,第一图像之后的图像)。
第一图像可以是先前帧图像,第二图像可以是当前帧图像。
例如,装置110可通过使用从第一图像(即,先前帧图像)获得的照度图像来修改第二图像(即,当前帧图像)。
可选择地,装置110可通过使用形成从第一图像获得的照度图像的像素的像素值和形成第二图像的像素的像素值之间的差值,来修改形成第二图像的像素的像素值。
在操作S230中修改的第二图像可比原始第二图像更清晰。例如,与被修改之前的第二图像相比,在操作S230中修改的第二图像可具有根据区域而被调节的亮度。由于第二图像的亮度根据区域被调节,与被修改之前的第二图像相比,对象可被更清晰地显示在在操作S230中修改的第二图像中。这样,装置110可通过根据区域调节亮度来获得根据图像的区域基于特征值而相适应地被清晰化的图像。
图3是根据一个或更多个示例性实施例的由装置110确定特定区域的特征值的方法的流程图。
参照图3,在操作S310中,装置110可在顺序地接收形成第一图像的第一区域中所包括的像素的像素值时,获得包括在第一区域中的第一像素的第一像素值。第一区域可以是形成第一图像(例如,包括在第一图像中)的多个区域中的一个区域,第一像素可以是形成第一区域(例如,包括在第一区域中)的多个像素中的一个像素。第一像素值可以是第一像素的像素值。
例如,装置110可获得形成第一图像的任意区域中所包括的任意像素的像素值。
在操作S320中,装置110可在顺序地接收包括在第一区域中的像素的像素值时获得包括在第一区域中的第二像素的第二像素值。第一区域可以是形成第一图像的多个区域中的一个区域,第二像素可以是形成第一区域的多个像素中的一个像素。第二像素值可以是第二像素的像素值。第二像素可与第一像素不同。
例如,装置110可获得与形成第一图像的任意区域中所包括的第一像素不同的任意像素的像素值。
可选择地,在操作S310和S320中,装置110可获得形成第一图像的任意一个区域中的两个不同像素的像素值。
第一像素值和第二像素值可以是由装置110顺序地接收的像素值。例如,装置110可在接收到第一像素值之后立即接收第二像素值。
在操作S330中,装置110通过使用在操作S310中获得的第一像素值和在操作S320中获得的第二像素值的加权和来确定累计特征值。
在操作S340中,装置110在顺序地接收包括在第一区域中的像素的像素值时获得包括在第一区域中的第三像素的第三像素值。可以以与在操作S320中获得第二像素值相同的方式获得第三像素值。
第一区域可以是形成第一图像的多个区域中的一个区域,第三像素可以是形成第一区域的多个像素中的一个像素。第三像素值可以是第三像素的像素值。第三像素可以是与第一像素和第二像素不同的像素。
装置110可在获得第一像素值和第二像素值之后获得第三像素值。
在操作S350中,装置110通过使用在操作S330中获得的累计特征值和在操作S340中获得的第三像素值的加权和来更新累计特征值。
装置110可更新先前通过使用先前获得的累计特征值和新获得的像素值的加权和而获得的累计特征值。
图4是根据一个或更多个示例性实施例的由装置110获得照度图像的方法的流程图。
在操作S410中,装置110可通过在顺序地接收包括在第二图像中的像素的像素值时顺序地计算形成第二图像的多个区域中的每个区域所包括的像素的像素值,确定所述多个区域的第二特征值。
可以以与在操作S210(图2)中确定第一特征值相同的方式确定第二特征值。
第二图像可以是第一图像之后的图像。此外,第一图像可以是先前帧图像,第二图像可以是当前帧图像。
在操作S420中,装置110可通过使用第一图像和第二图像的多个区域之中的相应区域的第一特征值和第二特征值,确定相应区域的第三特征值。
装置110可通过比较第一图像和第二图像的多个区域之中的相应区域的第一特征值和第二特征值,来检测第一图像和第二图像之间的剧烈的改变。
为了通过反映先前帧图像和当前帧图像之间的剧烈的改变来修改当前帧图像,装置110可比较先前帧图像和当前帧图像的多个区域之中的相应区域的第一特征值和第二特征值。
第一特征值中的每个特征值可表示分别与形成第一图像的每个区域对应的值,第二特征值中的每个特征值可表示分别与形成第二图像的每个区域对应的值。形成第一图像的每个区域和形成第二图像的每个区域可分别彼此对应。此外,装置110可通过使用第一特征值和第二特征值来确定相应区域的第三特征值。例如,装置110可通过使用形成第一图像的第二区域的第一特征值和形成第二图像的多个区域之中的与第二区域对应的第三区域的第二特征值,确定第三特征值。
例如,装置110可针对相应区域,通过使用基于先前帧图像获得的第一特征值(illum)和基于当前帧图像获得的第二特征值(accum_illum)的加权和,确定第三特征值(final_illum)。
例如,装置110可通过使用以下等式1来确定第三特征值。
[等式1]
final _ illum = ( | illum . - accum _ illum | max _ diff × accum _ illum ) + ( ( 1 - | illum . - accum _ illum | max _ diff ) × illum . )
这里,illum可表示第一特征值,accum_illum可表示第二特征值,final_illum可表示第三特征值。此外,max_diff可表示像素值之间的最大差。可选择地,max_diff可表示用于确定场景改变的阈值。
根据等式1,装置110可针对相应区域,通过使用基于第一图像获得的第一特征值(illum)和基于第二图像获得的第二特征值(accum_illum)的加权和,确定第三特征值(final_illum)。
在操作S430中,装置110可通过使用基于第一特征值确定的第三特征值来获得与第一图像相关的照度图像。
装置110可通过使用在操作S420中确定的第三特征值来获得照度图像。由于通过不仅使用第一图像的像素值而且使用第二图像的像素值来获得第三特征值,因此通过使用第三特征值获得的照度图像可反映第二图像的情况或特征。
第一图像可表示先前帧图像,第二图像可表示当前帧图像。因此,与通过仅使用第一特征值获得的照度图像不同,通过使用第三特征值获得的照度图像可反映第二图像的像素值。由于通过使用第一特征值和第二特征值两者获得第三特征值,因此装置110可在获得第三特征值时使用第一特征值。
此外,由于通过使用第三特征值来获得在操作S430中获得的照度图像,因此照度图像可反映当前帧图像的像素值。因此,当存在在先前帧图像改变为当前帧图像时剧烈地改变的像素值时,可获得考虑像素值的剧烈的改变的照度图像。装置110可获得考虑先前帧图像的像素值和当前帧图像的像素值两者的照度图像。
例如,当在先前帧图像改变为当前帧图像时像素值没有改变时,等式1中的第一特征值((illum)和第二特征值(accum_illum)之间不存在差别。因此,illum-accum_illum的值为0。因此,第三特征值(final_illum)具有与第一特征值(illum)相同的值,而第二特征值(accum_illum)没有反映在第三特征值中。当在先前帧图像改变为当前帧图像时像素值没有改变时,装置110可通过仅使用先前帧图像的像素值而不考虑当前帧图像的像素值来获得照度图像。
可选择地,当在先前帧图像改变为当前帧图像时第一特征值和第二特征值之间改变了max_diff时,等式1中的第一特征值(illum)和第二特征值(accum_illum)之间的差为max_diff。换言之,当存在场景改变时,第一特征值(illum)和第二特征值(accum_illum)之间的差为max_diff。可选择地,当第一特征值(illum)和第二特征值(accum_illum)之间的差为max_diff时,装置110可确定存在场景改变。因此,当第一特征值(illum)和第二特征值(accum_illum)之间的差为max_diff时,的值为1。因此,第三特征值(final_illum)具有与第二特征值(accum_illum)相同的值,而第一特征值没有反映在第三特征值中。当在先前帧图像改变为当前帧图像时像素值改变了最大值时,装置110可通过仅使用当前帧图像的像素值而不考虑先前帧图像的像素值来获得照度图像。
换言之,当max_diff表示确定场景改变的阈值时,装置110可通过调节max_diff来调节确定场景改变的标准。
可选择地,当在先前帧图像改变为当前帧图像时第一特征值和第二特征值之间改变了max_diff×k(其中,k为0和1之间的实数)时,等式1中的第一特征值(illum)和第二特征值(accum_illum)之间的差值为max_diff×k。因此,的值为k。因此,第三特征值(final_illum)可被确定为第一特征值(illum)和第二特征值(accum_illum)的加权和的结果。当在先前帧图像改变为当前帧图像时像素值改变了max_diff×k(其中,k为0和1之间的实数)时,装置110可通过使用先前帧图像的像素值和当前帧图像的像素值两者来获得照度图像。
图5是根据一个或更多个示例性实施例的通过使用特征值和反映像素值来修改图像的方法的流程图。在图5中,第一特征值至第三特征值可与以上参照图4描述的第一特征值至第三特征值相同。
参照图5,在操作S510中,装置110可通过使用包括在第二图像中的像素的像素值和第三特征值来确定第二图像的反映像素值。
这里,第一图像可表示先前帧图像,第二图像可表示当前帧图像。
装置110可通过使用第三特征值来获得形成照度图像的像素的像素值。当illum_img表示形成照度图像的像素的像素值并且final_illum表示第三特征值时,例如,等式“illum_img=log(final_illum)”可成立或被实现。
然后,装置110可通过使用包括在第二图像中的像素的像素值和形成照度图像的像素的像素值来确定第二图像的反映像素值。当ref_img表示反映像素值,input表示输入像素值时,例如,等式“ref_img=log(input)-illum_img”可成立或被实现。
根据以上示例,装置110可通过对第三特征值求对数来获得形成照度图像的像素的像素值((illum_img),并通过使用形成照度图像的像素的像素值(illum_img)和输入像素值(input)来获得反映像素值(ref_img)。因此,当第二图像是当前帧图像时,输入像素值(input)表示包括在第二图像中的像素的像素值,从而装置110可通过使用包括在第二图像中的像素的像素值和第三特征值来确定反映像素值。
在操作S520中,装置110可通过使用第三特征值和反映像素值的加权和来确定输出像素值。
例如,当out表示输出像素值,ref_img表示反映像素值,illum_img表示形成照度图像的像素的像素值,a、b和x表示三种类型的系数时,等式“out=exp((ref_img+b)x a+illum_img x x”可成立或被实现。此外,如上所述,当illum_img=log(final_illum)时,装置110可通过使用反映像素值和第三特征值(final_illum)的加权和来获得输出像素值(out)。
在操作S530中,装置110可通过使用确定的输出像素值来修改第二图像。
装置110可通过使用在操作S520中确定的输出像素值来获得当前图像,或通过使用在操作S520中确定的输出像素值来修改当前图像。第二图像可表示当前帧图像。
图6是根据一个或更多个示例性实施例的由装置100通过确定包括在图像中的像素的像素值中的至少一定比例是否在特定范围内来确定是否修改图像的方法的流程图。
由于操作S610和S630分别对应于操作S210和S220,因此不再提供关于操作S610和S630的多余细节。
参照图6,在操作S620中,装置110将在操作S610中确定的第一特征值存储在寄存器中。
寄存器可以是设置在(例如,包括在)装置110中的一种数据的临时存储空间。
在操作S640中,装置110确定包括在第一图像中的像素的像素值中的至少一定比例是否在特定(例如,预定)范围内。
当图像具有简单的背景时,装置110可确定包括在第一图像中的像素的像素值中的至少一定(例如,预定)比例在特定范围内。
例如,装置110可通过计算每个像素值是否具有等于或大于特定阈值的亮度值来计算具有等于或大于特定阈值的亮度值的像素值的比例,以确定图像是否具有明亮的背景。
可选择地,当包括在第一图像中的像素的像素值具有从1至256的亮度值时,如果包括在第一图像中的像素的像素值中的至少80%具有等于或大于210的亮度值,则装置110可确定包括在第一图像中的像素的像素值中的至少一定比例在特定范围内。
可选择地,当包括在第一图像中的像素的像素值具有从1至256的亮度值时,如果包括在第一图像中的像素的像素值中的至少90%具有220和250之间的亮度值,则装置110可确定包括在第一图像中的像素的像素值中的至少一定比例在特定范围内。根据当前示例性实施例,特定范围可以是从220至250的亮度值,一定比例可以是90%。
可选择地,当包括在第一图像中的像素的像素值具有从1至256的亮度值时,如果包括在第一图像中的像素的像素值中的至少40%具有220和250之间的亮度值且包括在第一图像中的像素的像素值中的至少20%具有20和50之间的亮度值,则装置110可确定包括在第一图像中的像素的像素值中的至少一定比例在特定范围内。当仅存在两个像素值时(例如,如在印刷品中和电子书中的背景中一样),装置110可确定包括在第一图像中的像素的像素值中的至少一定比例在特定范围内。
在操作S650中,装置110可基于在操作S640中确定的结果来确定是否修改第二图像。
当在操作S640中确定包括在第一图像中的像素的像素值中的至少一定比例在特定范围内时,装置110不修改第二图像,当在操作S640中确定包括在第一图像中的像素的像素值中的至少一定比例不在特定范围内时,装置110修改第二图像。
当在操作S640中确定包括在第一图像中的像素的像素值中的至少一定比例在特定范围内时,装置110跳过修改第二图像的操作。
因此,例如,在具有许多字母的图像、电子书图像或网页图像中,可防止字体被改变。
例如,当包括在第一图像中的大部分(例如,大于预定数量)像素的像素值具有至少特定亮度值时,装置110可确定不修改第二图像。当电子书图像是第一图像时,具有白色的明亮的亮度值的像素值的比例可能高,因此装置110可通过确定包括在第一图像中的像素的像素值中的至少一定比例具有至少特定亮度值,确定不修改第二图像。
可选择地,当包括在第一图像中的大部分像素的像素值具有至少特定亮度值时,装置110可确定不修改第二图像。当网页图像是第一图像时,具有白色的明亮的亮度值的像素值的比例可能高,因此装置110可通过确定包括在第一图像中的像素的像素值中的至少一定比例具有至少特定亮度值,确定不修改第二图像。当装置110确定不修改第二图像时,装置110可跳过修改第二图像的操作。
可选择地,当包括在第一图像中的大部分像素的像素值具有至少特定亮度值时,装置110可确定不修改第二图像。例如,当山脉图像是第一图像时,具有特定范围内的亮度值的像素值的比例可能不高,因此装置110可通过确定包括在第一图像中的像素的像素值中的至少一定比例不具有至少特定亮度值,确定修改第二图像。
当在操作S650中确定修改第二图像时,在操作S660中,装置110通过使用在操作S630中获得的照度图像来修改第二图像,其中,第二图像是第一图像之后的图像。第一图像可以是先前帧图像,第二图像可以是当前帧图像。
在操作S660中可以以与以上参照操作S230(图2)描述的相同方式来修改第二图像。
仅当在操作S650中确定修改第二图像时,在操作S660中,装置110可通过使用在操作S630中获得的照度图像来修改第二图像。
例如,装置110可基于确定包括在先前帧图像中的像素的像素值中的至少一定比例是否在特定范围内的结果来确定是否修改当前帧图像。
图7是根据一个或更多个示例性实施例的由装置110通过根据区域计算照度值并由装置100执行retinex操作来估计照度图像的方法的流程图。
参照图7,在操作S710中,装置110接收与像素相关的信息。例如,装置110可接收像素值。
在操作S720中,装置110可根据区域计算照度值。照度值可以是以上描述的特征值。可以以与以上描述的操作S210(图2)和S410(图4)中确定第一特征值和第二特征值相同的方式计算照度值。
在操作S730中,产生帧延迟。
在操作S740中,装置110估计照度图像。可以以与以上描述的在操作S220(图2)和操作S430(图4)中通过使用第一特征值以及通过使用第三特征值获得照度图像相同的方式来估计照度图像。
在操作S750中,装置110执行retinex操作。
这里,装置110可执行现有技术的retinex操作。
可选择地,可以以与在以上描述的在操作S230(图2)中修改第二图像相同的方式执行retinex操作。
可选择地,可以以与如以上参照图5所述的通过使用输出像素值来修改第二图像相同的方式执行retinex操作。
在操作S760中,装置110可发送与像素相关的信息。例如,装置110可发送像素值。
图8是根据一个或更多个示例性实施例的由装置110通过反映场景改变来执行retinex操作的方法的流程图。
由于操作S810、S820、S830、S840、S870和S880分别对应于操作S710、S720、S730、S740、S750和S760(图7),因此不再次提供它们的多余细节。
参照图8,在操作S850中,装置110可计算当前帧的累计照度值。累计照度值可以是以上描述的累计特征值。
以上已参照操作S210(图2)描述了根据示例性实施例的先前帧的累计特征值,并且以上已参照操作S410(图4)描述了根据示例性实施例的当前帧的累计特征值。根据当前的示例性实施例,可以以与在操作S410(图4)中确定第二特征值相同的方式计算当前帧的累计照度值。
在操作S860中,装置110可反映场景改变。可以以与以上参照图4描述的通过考虑先前帧图像的像素值和当前帧图像的像素值获得照度图像相同的方式来反映场景改变。
图9是根据一个或更多个示例性实施例的由装置110通过使用直方图确定图像是否是电子书图像或网页图像来确定是否执行retinex操作的方法的流程图。
由于操作S910、S920、S940、S970、S975、S980、S985和S990分别对应于操作S810、S820、S830、S840、S850、S860、S870和S880(图8),因此不再次提供它们的多余细节。
参照图9,在操作S930中,装置110计算直方图。可以以与操作S640(图6)相同的方式计算直方图。
当在操作S930中计算直方图时,装置110可执行计算以确定包括在第一图像中的像素的像素值中的至少一定(例如,预定)比例是否在特定(例如,预定)范围内。可选择地,装置110可执行计算以确定包括在先前帧中的像素的像素值中的至少一定比例是否在特定范围内。
在操作S950中,装置110确定在操作S930中计算的直方图。可以以与操作S650(图6)相同的方式确定直方图。
在操作S950中装置110基于在操作S930中计算的结果确定直方图。装置110可基于在操作S930中计算的直方图确定包括在第一图像中的像素的像素值中的至少一定比例是否在特定范围内。
在操作S960中,装置110确定图像是否是电子书图像或网页图像。可以以与操作S640(图6)相同的方式执行图像是否是电子书图像或网页图像的确定。
装置110可基于在操作S950中确定的直方图确定先前帧图像是否是电子书图像或网页图像。可选择地,装置110可基于在操作S950中确定的直方图确定当前帧图像是否是电子书图像或网页图像。装置110可基于确定先前帧图像的结果确定先前帧图像或当前帧图像是否是电子书图像或网页图像。
例如,当在操作S950中确定包括在第一图像中的像素的像素值中的至少一定比例在特定范围内时,装置110可确定先前帧图像或当前帧图像是电子书图像或网页图像。
图10是根据一个或更多个示例性实施例的由装置110执行retinex操作的方法的流程图。可以以与以上参照图5描述的相同方式来执行图10的方法。
参照图10,在操作S1010中,装置110将输入图像划分为照度图像和反映图像。以上已描述了根据示例性实施例的照度图像。反映图像可包括输入图像的除了照度图像分量之外的图像分量。
在操作S1020中,装置110可修改在操作S1010中获得的照度图像。在操作S1020中可通过将第三特征值改变为对数标度来修改照度图像。
例如,当illum_img表示形成照度图像的像素的像素值,final_illum表示第三特征值时,等式“illum_img=log(final_illum)”可成立或被实现。
在操作S1030中,装置110可修改在操作S1010中获得的反映图像。在操作S1030中可通过使用对数标度来修改反映图像。
例如,当illum_img表示形成照度图像的像素的像素值,ref_img表示反映像素值,input表示输入像素值时,等式“ref_img=log(input)-illum_img”可成立或被实现。
在操作S1040中,装置110可通过将在操作S1020中修改的照度图像和在操作S1030中修改的反映图像进行组合来产生组合图像。
装置110可通过使用加权和来将在操作S1020中修改的照度图像和在操作S1030中修改的反映图像进行组合。
在操作S1050中,装置110可通过将输入图像和组合图像进行组合来输出结果值。
图11A是用于描述根据一个或更多个示例性实施例的由装置110执行线性插值的方法的示图。
参照图11A,装置110可通过使用输入像素1150与靠近输入像素1150的四个区域1110至1140的中心位置Q11至122之间的间隔、四个区域1110至1140中的输入像素1150的像素值以及输入像素1150的相对位置执行线性插值来获得照度图像。
可通过使用现有技术方法来执行线性插值。
图11B是用于描述根据一个或更多个示例性实施例的由装置110执行线性插值的方法的示图。可以以与图11A相同的方式执行照度插值。
参照图11B,装置110可通过使用输入像素1195与最靠近输入像素1195的四个代表位置1160至1190之间的间隔以及四个代表位置1160至1190中的输入像素1195的像素值执行线性插值来获得照度图像。
图12A示出根据一个或更多个示例性实施例的由装置110接收的原始图像。
参照图12A,装置110可接收图像数据。
图12B示出根据一个或更多个示例性实施例的当装置110获得特征值时的图像。可以以与以上描述的操作S210(图2)相同的方式获得特征值。
参照图12B,当顺序地接收包括在图像中的像素的像素值时,装置110可通过顺序地计算包括在多个区域中的每个区域中的像素的像素值来确定形成图像的多个区域的特征值。在图12B的图像中,根据形成图像的多个区域中的每个区域确定一个特征值。
图12C示出根据一个或更多个示例性实施例的由装置110获得的照度图像。可以以与以上描述的操作S220(图2)相同的方式获得照度图像。
参照图12C,装置110通过使用在图12B中确定的特征值来获得照度图像。
图13A和图13B是用于描述根据一个或更多个示例性实施例的由装置110处理与场景改变相关的图像的方法的示图。可按照与以上参照图2至图4所描述的方式相同的方式来执行图13A和图13B的方法。
参照图13A和图13B,装置110可根据光栅扫描法沿一个方向读取图像中所包括的像素的像素值,以在计算相关区域的照度值时仅使用包括在图像中的多个区域之中的每一个区域中所包括的像素的像素值。例如,当第一区域和第二区域被并排地布置时,在确定第一区域和第二区域的照度值时,装置110可读取一条线上的像素,并在计算相关区域(例如,第一区域或第二区域)的照度值时仅使用相关区域的像素值。
装置110在顺序地接收到先前帧图像1310中所包括的像素的像素值时,通过顺序地计算形成先前帧图像1310的多个区域之中的每一个区域中所包括的像素的像素值,确定所述多个区域之中的每一个区域的第一特性值。随后,装置110可确定先前帧图像1310的某个区域1320的第一特性值。随后,装置110可在寄存器中存储确定的第一特性值。
装置110可在顺序地接收到当前帧图像1330中所包括的像素的像素值时,通过顺序地计算所述多个区域之中的每一个区域中所包括的像素值,确定形成当前帧图像1330的多个区域的第二特性值。
装置110可在计算第二特性值时,针对当前帧图像1330中正被处理的像素1350的先前位置,确定当前帧图像1330的累计特性值1340。装置110可通过将累计特性值1340与先前帧图像1310的某个区域1320的特性值进行比较来确定场景改变的程度,其中,从寄存器获取所述先前帧图像1310的某个区域1320的特性值。可按照与以上参照图4所描述的方式相同的方式来执行由装置110获取基于场景改变的程度的不同的照度图像的方法。
图14是用于描述根据一个或更多个示例性实施例的由装置110识别为电子书图像的图像的示图。
如图14中所示,当图像具有简单的背景时,装置110可确定图像中所包括的像素的至少一定比例的像素值在某个范围内。当确定至少一定比例的像素值在某个范围内时,装置110可跳过通过使用照度图像来对当前帧图像进行修改。
相应地,对具有许多字的图像、电子书图像和web图像中的字体的更改会被减少。
图15是根据一个或更多个示例性实施例的装置110的框图。
装置110执行上述方法,并可在所述方法能够执行的前提下具有任意结构。
如图15中所示,装置110可包括特性值确定器1510、照度图像获取器1520、图像修改器1530和寄存器1540。然而,应理解的是,在一个或更多个其他示例性实施例中,装置110可包括比图15所示的那些组件更多或更少的组件。
现在将详细描述装置110的组件。
特性值确定器1510可在顺序地接收第一图像中所包括的像素的像素值时,通过顺序地计算形成第一图像的多个区域之中的每一个区域中所包括的像素的像素值,确定所述多个区域的第一特性值。
装置110可顺序地接收第一图像中所包括的像素的像素值。装置110的特性值确定器1510可顺序地计算接收到的像素值当中形成第一图像的多个区域之中的每一个区域中所包括的像素的像素值。例如,特性值确定器1510可通过顺序地计算形成第一图像的第一区域中所包括的像素的像素值,确定第一图像的第一区域的第一特性值。
例如,特性值确定器1510可计算等式curr_accum_illum=(a*prev_accum_illum)+((1-a)*curr_pix)。这里,curr_accum_illum指示当前像素的累计特性值,prv_accum_illum指示先前像素的累计特性值,curr_pix指示当前像素的像素值,并且a指示0与1之间的系数。装置110可在顺序地接收像素值时,通过使用当前像素的像素值(curr_pix)与先前像素的累计特性值(pre_accum_illum)的加权和来获得当前像素的累计特性值,其中,在先前像素值被接收到时计算得到先前像素的累计特性值(pre_accum_illum)。通过计算形成第一图像的第一区域中所包括的所有像素而获得的累计特性值可以是形成第一图像的第一区域的第一特性值。当像素值指示像素的亮度信息时,第一区域的第一特性值可指示第一区域的平均亮度值。
由于每当像素值被接收到时,仅有通过连续计算像素值而获得的结果值被使用,因此特性值确定器1510可连续地计算像素值,而无需在存储器中存储已被计算过的像素值。
由特性值确定器1510确定的第一特性值可以是与形成第一图像的第一区域的平均亮度相关的值。
例如,某个像素的像素值可指示该像素的亮度信息。此外,由于通过使用亮度信息而计算出第一特性值,因此第一特性值可指示与第一区域的亮度相关的值。
此外,在特性值确定器1510计算第一区域中所包括的所有像素的像素值之后,可由特性值确定器1510确定第一特性值。
装置110可在寄存器1540中存储在第一区域中所包括的所有像素的像素值被计算过之后确定的第一特性值。
特性值确定器1510可确定与形成第一图像的多个区域相应的多个第一特性值。此外,特性值确定器150可在寄存器1540中存储所确定的多个第一特性值。
与形成第一区域的一个区域相应的第一特性值的数量可以是一。
形成第一图像的多个区域可被设置为无缝而又彼此不重叠地填充第一图像。例如,所述多个区域可具有尺寸相同的矩形形状。特性值确定器1510可通过将第一图像划分为M×N个长方形或正方形来设置所述多个区域。
照度图像获取器1520可基于由特性值确定器1510确定的第一特性值,获取与作为第一图像后面的图像的第二图像相关的照度图像。
照度图像可指示通过使用第一特性值而获取的与亮度相关的图像。照度图像可与根据通过使用第一特性值而获取的图像的区域的亮度相关。亮度图像获取器1520可计算形成照度图像的像素的像素值。
为了获取照度图像,照度图像获取器1520可使用由特性值确定器1510确定的第一特性值。例如,为了确定作为形成照度图像的任意一个照度像素的第一照度像素的像素值,照度图像获取器1520可通过使用由特性值确定器1510确定的第一特性值当中与第一照度像素最为邻近的区域的第一特性值,获取第一照度像素的像素值。
可选地,为了确定第一照度像素的像素值,照度图像获取器1520可通过下述处理来获取第一照度像素的像素值:基于由特性值确定器1510确定的第一特性值当中最靠近第一照度像素的四个区域的第一特性值以及第一照度像素和最靠近第一照度像素的四个区域之间的间隔,对第一特性值执行线性插值。
可通过使用现有技术的线性插值方法来执行线性插值。可不仅经由线性插值还经由任何现有技术的插值方法,通过使用与照度像素值邻近的区域的第一特性值来获取照度像素值。
照度图像获取器1520可获取比仅使用由特性值确定器1510获取的特性值而获取的图像更为平滑的图像。以上已参照图12详细地描述了这样的图像。
照度图像获取器1520可通过使用先前帧图像来获取照度图像。照度图像获取器1520可通过使用先前帧图像来预测当前帧图像的照度图像。
图像修改器1530可通过使用由照度图像获取器1520获取的照度图像来修改第二图像。
第一图像可以是先前帧图像,并且第二图像可以是当前帧图像。
例如,图像修改器1530可通过使用从作为先前帧图像的第一图像获取的照度图像,修改作为当前帧图像的第二图像。
可选地,图像修改器1530可通过使用形成照度图像的像素的像素值与形成第二图像的像素的像素值之间的差,修改形成第二图像的像素的像素值。
由图像修改器1530修改的第二图像可比修改前的第二图像更为清晰。例如,与修改前的第二图像相比,可根据区域来调节由图像修改器1530修改的第二图像的亮度。当根据区域调节亮度时,由图像修改器1530修改的第二图像中的对象可比修改前的第二图像中的对象更为清晰。图像修改器1530可根据区域调节亮度,以获取根据特性值而适应性地被清晰化的图像。
寄存器1540可存储由装置110确定的特性值。
寄存器1540可以是布置在装置110中的一种类型的数据临时存储空间。
图16是根据一个或更多个示例性实施例的由装置110更新当前帧图像的方法的流程图。
参照图16,在操作S1610,装置110可通过使用先前帧图像来获取与形成先前帧图像的多个区域相应的照度值,并在寄存器1540中存储所述照度值。
可按照与以上所描述的操作S210(图2)相同的方式来操作S1610。
装置110可将先前帧图像划分为所述多个区域。此外,装置110可获取形成先前帧图像的所述多个区域的照度值。先前帧图像的照度值可指示以上参照图2所描述的第一特性值。装置110可在寄存器1540中存储获取的照度值。
在操作S1620,装置110可通过使用在操作S1610获取的照度值来获取先前帧图像的照度图像。
可按照与以上所描述的操作S220(图2)相同的方式来执行操作S1620。
照度图像可与通过使用第一特性值获取的图像的区域亮度相关。
装置110可通过对在操作S1610获取的照度值执行插值,获取先前帧图像的照度图像。
在操作S1630,装置110可通过对在操作S1620获取的照度图像和当前帧图像执行retinex操作来更新当前帧图像。
可按照与以上所描述的操作S230(图2)相同的方式来执行操作S1630。
装置110可通过使用在操作S1620获取的照度图像和当前帧图像来更新当前帧图像。装置110可在通过使用在操作S1620获取的照度图像和当前帧图像来更新当前帧图像时,执行retinex操作。装置110可使用与retinex操作相关的任何现有技术方法。
图17是根据一个或更多个示例性实施例的由装置100通过反映场景改变来更新当前帧图像的方法的流程图。
由于操作S1710和操作S1720分别对应于操作S1610和操作S1620(图16),因此不再提供所述操作的多余的细节。
参照图17,在操作S1730,装置110可通过使用先前帧图像和当前帧图像来确定是否存在场景改变。
可按照与以上所描述的操作S410和操作S420(图4)相同的方式来执行操作S1730。
装置110可将先前帧图像与当前帧图像进行比较,以确定是否存在剧烈的场景改变。装置110可在通过将先前帧图像与当前帧图像进行比较来确定是否存在剧烈的场景改变时,使用先前帧图像的照度值和当前帧图像的照度值。可选地,装置110在通过将先前帧图像与当前帧图像进行比较来确定是否存在剧烈的场景改变时,可使用先前帧图像的照度值和当前帧图像的累计照度值。
当在S1730确定存在场景改变时,在操作S1740,装置110反映场景改变,并通过对获取的照度图像和当前帧图像执行retinex操作来更新当前帧图像。
可按照与以上所描述的操作S430(图4)相同的方式来执行操作S1740。
当在操作S1730确定存在场景改变时,装置110可获取反映出场景改变的照度图像。随后,装置110可通过使用当前帧图像和反映出场景改变的照度图像,更新当前帧图像。装置110在更新当前帧图像时,可使用retinex操作。装置110可使用与retinex操作相关的任何现有技术方法。
应理解的是,在以上描述中,当部件“包括”或“包含”元件时,除非存在与之相反的特定描述,否则该部件可包括其他元件,并不排除其他元件。
一个或更多个示例性实施例可被编写为计算机程序,并可在使用计算机可读记录介质执行程序的被编程为专用计算机的通用数字计算机中被实现。计算机可读记录介质的示例包括磁存储介质(例如,ROM、软盘、硬盘等)、光记录介质(例如,CD-ROM或DVD)等。此外,将理解的是,以上组件或单元中的任意一个可被实现为硬件和/或软件,例如可被实现为电路、存储器、至少一个处理器等。
应理解的是,应仅以描述性意义考虑这里所描述的示例性实施例,而不是出于限制的目的。典型情况下,应认为每个示例性实施例内的特征或方面的描述可用于其他示例性实施例中的其他类似的特征或方面。虽然已参照附图描述了一个或更多个示例性实施例,但本领域普通技术人员将理解的是,可在不脱离权利要求所定义的精神和范围的情况下做出形式和细节上的各种改变。

Claims (15)

1.一种处理图像数据的方法,所述方法包括:
通过执行以下处理来分别确定第一图像的多个区域的第一特性值:在顺序地接收包括在所述多个区域之中的每一个区域中的像素的像素值的同时,顺序地针对所述多个区域之中的每一个区域计算与所述像素的像素值之中的每一个像素值相应的特性值;
基于确定的第一特性值,获取与作为第一图像之后的图像的第二图像相关的照度图像;
基于获取的照度图像来修改第二图像。
2.如权利要求1所述的方法,其中,确定第一特性值的步骤包括:
在顺序地接收包括在第一图像的所述多个区域之中的第一区域中的像素的像素值的同时,获取包括在第一区域中的第一像素的第一像素值;
在顺序地接收包括在第一区域中的像素的像素值的同时,获取包括在第一区域中的第二像素的第二像素值;
基于第一像素值与第二像素值的加权和来确定累计特性值;
在顺序地接收包括在第一区域中的像素的像素值的同时,获取包括在第一区域中的第三像素的第三像素值;
基于累计特性值与第三像素值的加权和来更新累计特性值。
3.如权利要求1所述的方法,其中,获取照度图像的步骤包括:基于确定的第一特性值之中的预定数量的区域的第一特性值来获取包括在照度图像中的照度像素的像素值,其中,所述预定数量的区域在所述多个区域之中与照度像素最为邻近。
4.如权利要求3所述的方法,其中,获取照度图像的步骤还包括:对照度像素与所述预定数量的区域之间的间隔执行线性插值。
5.如权利要求1所述的方法,还包括:
通过执行以下处理来分别确定第二图像的多个区域的第二特性值:在顺序地接收包括在第二图像的所述多个区域之中的每一个区域中的像素的像素值的同时,顺序地针对第二图像的所述多个区域之中的每一个区域计算所述像素的像素值之中的每一个像素值的特性值;
分别基于第一图像的所述多个区域和第二图像的所述多个区域之中相应区域的第一特性值和第二特性值,分别确定所述相应区域的第三特性值,
其中,获取照度图像的处理基于第三特性值而被执行,第三特性值基于第一特性值而被确定。
6.如权利要求5所述的方法,其中,修改第二图像的步骤包括:
基于第三特性值和包括在第二图像的所述多个区域之中的每一个区域中的像素的像素值,确定反映像素值;
基于第三特性值与反映像素值的加权和,确定输出像素值;
基于确定的输出像素值来修改第二图像。
7.如权利要求1所述的方法,还包括:在寄存器中存储确定的第一特性值。
8.如权利要求1所述的方法,其中,修改第二图像的步骤包括:
确定包括在第一图像的所述多个区域之中的每一个区域中的像素的像素值之中至少预定比例的像素值是否在预定范围内;
基于所述像素值之中至少预定比例的像素值是否在所述预定范围内的确定结果,确定是否修改第二图像。
9.如权利要求8所述的方法,其中,确定是否修改第二图像的步骤包括:响应于确定所述像素值之中至少预定比例的像素值在所述预定范围内,跳过对第二图像的修改。
10.如权利要求1所述的方法,其中,第一图像是先前帧的图像,第二图像是当前帧的图像。
11.一种用于处理图像数据的装置,所述装置包括:
特性值确定器,被配置为通过执行以下处理来分别确定第一图像的多个区域的第一特性值:在顺序地接收包括在所述多个区域之中的每一个区域中的像素的像素值的同时,顺序地针对所述多个区域之中的每一个区域计算所述像素的像素值之中的每一个像素值的特性值;
照度图像获取器,被配置为:基于确定的第一特性值,获取与第一图像相关的照度图像;
图像修改器,基于获取的照度图像来修改作为第一图像之后的图像的第二图像。
12.如权利要求11所述的装置,其中,特性值确定器被配置为:
在顺序地接收包括在第一图像的所述多个区域之中的第一区域中的像素的像素值的同时,获取包括在第一区域中的第一像素的第一像素值;
在顺序地接收包括在第一区域中的像素的像素值的同时,获取包括在第一区域中的第二像素的第二像素值;
基于第一像素值和第二像素值来确定第一区域的特性值。
13.如权利要求12所述的装置,其中,照度图像获取器被配置为:基于确定的第一特性值之中的预定数量的区域的第一特性值来获取包括在照度图像中的照度像素的像素值,其中,所述预定数量的区域在所述多个区域之中与照度像素最为邻近。
14.如权利要求11所述的装置,其中:
特性值确定器被配置为:通过执行以下处理来分别确定第二图像的多个区域的第二特性值:在顺序地接收包括在第二图像的所述多个区域之中的每一个区域中的像素的像素值的同时,顺序地针对第二图像的所述多个区域之中的每一个区域计算与所述像素的像素值之中的每一个像素值相应的特性值,分别基于第一图像的所述多个区域和第二图像的所述多个区域之中相应区域的第一特性值和第二特性值,分别确定所述相应区域的第三特性值;
照度图像获取器被配置为基于第三特性值来获取照度图像,其中,第三特性值基于第一特性值而被确定。
15.一种处理图像数据的方法,所述方法包括:
基于先前帧图像来分别获取与先前帧图像的多个区域之中的每一个区域相应的照度值,并在寄存器中存储获取的照度值;
基于获取的照度值来获取先前帧图像的照度图像;
通过对获取的照度图像和当前帧图像执行retinex操作来更新当前帧图像。
CN201510087885.8A 2014-02-19 2015-02-25 用于处理图像数据的方法和装置 Expired - Fee Related CN104851073B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140019223A KR102166334B1 (ko) 2014-02-19 2014-02-19 영상 데이터 처리 방법 및 디바이스
KR10-2014-0019223 2014-02-19

Publications (2)

Publication Number Publication Date
CN104851073A true CN104851073A (zh) 2015-08-19
CN104851073B CN104851073B (zh) 2018-05-04

Family

ID=53798539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510087885.8A Expired - Fee Related CN104851073B (zh) 2014-02-19 2015-02-25 用于处理图像数据的方法和装置

Country Status (3)

Country Link
US (1) US9830692B2 (zh)
KR (1) KR102166334B1 (zh)
CN (1) CN104851073B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745531B (zh) * 2024-02-19 2024-05-31 瑞旦微电子技术(上海)有限公司 图像插值方法、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120379A (zh) * 2005-02-17 2008-02-06 富士通株式会社 图像处理方法、图像处理***、图像处理装置以及计算机程序
US20080112641A1 (en) * 2005-03-17 2008-05-15 Dmist Limited Image Processing Methods
CN102842116A (zh) * 2012-06-30 2012-12-26 南京汇兴博业数字设备有限公司 图像内快速响应矩阵码的光照均衡处理方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037976A (en) * 1995-10-31 2000-03-14 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence, such as fog, haze or shadows
US7433540B1 (en) * 2002-10-25 2008-10-07 Adobe Systems Incorporated Decomposing natural image sequences
KR100503471B1 (ko) * 2003-07-09 2005-07-25 삼성전자주식회사 장면 변화에 따른 흑/백 신장 조정 장치 및 조정 방법
US7760943B2 (en) * 2003-10-02 2010-07-20 Hewlett-Packard Development Company, L.P. Method to speed-up Retinex-type algorithms
US7421121B2 (en) * 2005-02-08 2008-09-02 Micron Technology, Inc. Spectral normalization using illuminant exposure estimation
US7590303B2 (en) * 2005-09-29 2009-09-15 Samsung Electronics Co., Ltd. Image enhancement method using local illumination correction
KR100771158B1 (ko) * 2005-10-07 2007-10-29 삼성전자주식회사 칼라 영상의 화질 향상을 위한 방법 및 시스템
US7876970B2 (en) * 2006-01-13 2011-01-25 Qualcomm Incorporated Method and apparatus for white balancing digital images
US20070268481A1 (en) * 2006-05-17 2007-11-22 Ramesh Raskar System and method for measuring scene reflectance using optical sensors
US20070268366A1 (en) * 2006-05-17 2007-11-22 Ramesh Raskar System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid state optical devices
US8009192B2 (en) * 2006-05-17 2011-08-30 Mitsubishi Electric Research Laboratories, Inc. System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid states optical devices
US7957007B2 (en) * 2006-05-17 2011-06-07 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for illuminating a scene with multiplexed illumination for motion capture
US8081839B2 (en) * 2006-08-31 2011-12-20 Brother Kogyo Kabushiki Kaisha Image processor
US8842118B1 (en) * 2006-10-02 2014-09-23 The Regents Of The University Of California Automated image replacement using deformation and illumination estimation
JP2008118216A (ja) * 2006-10-31 2008-05-22 Brother Ind Ltd 画像処理装置および画像処理プログラム
US7986834B2 (en) * 2006-11-08 2011-07-26 Zoran Corporation Method and apparatus for color image correction
JP4406443B2 (ja) * 2007-05-09 2010-01-27 株式会社東芝 画像補正装置
US8411979B2 (en) * 2007-07-26 2013-04-02 Omron Corporation Digital image processing and enhancing system and method with function of removing noise
US9830691B2 (en) * 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
WO2011014138A1 (en) * 2009-07-27 2011-02-03 Utc Fire & Security Corporation System and method for video-quality enhancement
JP5451313B2 (ja) * 2009-10-27 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2012247873A (ja) * 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
KR20120136451A (ko) * 2011-06-09 2012-12-20 삼성전자주식회사 영상 처리 장치, 이의 영상 처리 방법, 및 상기 영상 처리 장치를 포함하는 이미지 시스템
US8606050B2 (en) * 2011-06-16 2013-12-10 Tandent Vision Science, Inc. Method for processing multiple images of a same scene
US8582873B2 (en) * 2011-06-16 2013-11-12 Tandent Vision Science, Inc. Use of an object database in an image process
US20140269943A1 (en) * 2013-03-12 2014-09-18 Tandent Vision Science, Inc. Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression
KR20150051711A (ko) * 2013-11-05 2015-05-13 한국전자통신연구원 유해 콘텐츠 영상 차단을 위한 피부 영역 추출 장치 및 방법
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和***
US9158973B1 (en) * 2014-05-08 2015-10-13 Tandent Vision Science, Inc. Temporal constraint relationship for use in an image segregation for frames of a video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120379A (zh) * 2005-02-17 2008-02-06 富士通株式会社 图像处理方法、图像处理***、图像处理装置以及计算机程序
US20080112641A1 (en) * 2005-03-17 2008-05-15 Dmist Limited Image Processing Methods
CN102842116A (zh) * 2012-06-30 2012-12-26 南京汇兴博业数字设备有限公司 图像内快速响应矩阵码的光照均衡处理方法

Also Published As

Publication number Publication date
KR20150098095A (ko) 2015-08-27
CN104851073B (zh) 2018-05-04
US20150235353A1 (en) 2015-08-20
US9830692B2 (en) 2017-11-28
KR102166334B1 (ko) 2020-10-15

Similar Documents

Publication Publication Date Title
US9826149B2 (en) Machine learning of real-time image capture parameters
US10957093B2 (en) Scene-based foveated rendering of graphics content
US10991111B2 (en) Method and apparatus for refining depth image
EP3155593B1 (en) Method and device for color processing of digital images
EP3910598A1 (en) Graphic typesetting method and related device
US10679326B2 (en) Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data
US20160267695A1 (en) Acceleration of exposure fusion with pixel shaders
US20180068473A1 (en) Image fusion techniques
US11074742B2 (en) Image processing apparatus, image processing method, and storage medium
US11076140B2 (en) Information processing apparatus and method of controlling the same
CN111563517B (zh) 图像处理方法、装置、电子设备及存储介质
US11127141B2 (en) Image processing apparatus, image processing method, and a non-transitory computer readable storage medium
US8744179B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium that utilizes representative colors
CN104851073A (zh) 用于处理图像数据的方法和装置
KR102196749B1 (ko) 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템
US9122977B2 (en) Image processing apparatus and image processing method
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
JP4868139B2 (ja) 画像処理装置及び画像処理プログラム
CN114998172A (zh) 图像处理方法及相关***
US10140731B2 (en) Image processing apparatus, image processing method, and storage medium
US10970817B2 (en) Image magnifying apparatus
EP3038058A1 (en) Methods and systems for color processing of digital images
US10325347B2 (en) Image processing method and apparatus
CN112381836B (zh) 图像处理方法和装置、计算机可读存储介质、电子设备
JP7057268B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180504

CF01 Termination of patent right due to non-payment of annual fee