CN107888904B - 用于处理图像的方法和支持该方法的电子装置 - Google Patents

用于处理图像的方法和支持该方法的电子装置 Download PDF

Info

Publication number
CN107888904B
CN107888904B CN201710910187.2A CN201710910187A CN107888904B CN 107888904 B CN107888904 B CN 107888904B CN 201710910187 A CN201710910187 A CN 201710910187A CN 107888904 B CN107888904 B CN 107888904B
Authority
CN
China
Prior art keywords
image
light source
light
processing unit
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710910187.2A
Other languages
English (en)
Other versions
CN107888904A (zh
Inventor
朴宰亨
朴景台
朴暻俊
李正源
全在星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160127158A external-priority patent/KR102688619B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107888904A publication Critical patent/CN107888904A/zh
Application granted granted Critical
Publication of CN107888904B publication Critical patent/CN107888904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

提供一种用于处理图像的方法和支持该方法的电子装置。一种电子装置包括：镜头部分，从外界接收光；图像传感器，将接收的光改变为电子图像数据；图像处理单元，处理所述图像数据。如果所述图像数据中包括饱和像素，则图像处理单元通过使用所述饱和像素周围的多个不饱和像素的亮度的增加值或减小值来测量所述饱和像素的光量。

Description

用于处理图像的方法和支持该方法的电子装置
本申请要求于2016年09月30日提交到韩国知识产权局的第10-2016-0127158号韩国专利申请的优先权，所述申请的全部内容通过引用包含于此。
技术领域
本公开涉及一种用于处理图像的方法和支持该方法的电子装置。
背景技术
各种类型的拍摄装置(包括成像装置，诸如，数码单反(DSLR)相机、无反光数码相机等)正被设计。此外，诸如智能电话、平板个人计算机(PC)等的电子装置通常包括相机模块并提供拍摄照片或录制视频的功能。拍摄装置可提供各种拍摄模式，用户可根据用户希望拍摄照片的环境来选择拍摄模式。
拍摄装置的镜头具有聚焦入射光的功能。除了光聚焦功能之外，镜头可具有使表现照片的方式多样化的功能。例如，根据使用的镜头，诸如聚焦偏离(out-focusing)技术、变迹滤镜(apodization filter)和光爆(light burst)的技术可被应用于图像。由于用户不能通过单个镜头获得全部的这些技术，因此用户为了拍摄图像的目的可能需要各种镜头。
在将效果(例如，聚焦偏离、变迹、光爆等)通过点光源应用于图像的情况下，拍摄装置将基于镜头的光学特性的效果应用于图像。移动电子装置(诸如，智能电话等)中的相机模块可能难以使用各种不同的镜头，而且可能难以将所述效果应用于图像。
近年来，用于通过图像处理将光学效果(诸如聚焦偏离)人为添加到图像的技术已经发展。在这种情况下，如果在图像处理期间对光源对象执行卷积***的模糊处理，则可产生与通过镜头应用效果的情况下产生的图像不同的图像，从而改变用户感知图像的方式。此外，点光源对象在图像中通常表现为饱和像素，来自点光源对象的光量可能失真。
发明内容
根据本公开的一方面，提供一种图像处理方法和支持所述图像处理方法的电子装置，其中，所述图像处理方法从点光源提取光量以与使用镜头的方法类似地提供光源效果。
根据本公开的一方面，一种电子装置包括：镜头部分，被配置为从外界接收光；图像传感器，被配置为将接收的光改变为电子图像数据；图像处理单元，被配置为处理所述图像数据。如果所述图像数据中包括饱和像素，则图像处理单元从所述饱和像素周围的多个不饱和像素测量来自所述饱和像素的光强。
根据本公开的一个方面，提供一种在电子装置中执行的图像处理方法。所述方法包括：通过图像传感器将从外界接收的光改变为电子图像数据；收集具有第一曝光时间的第一图像的图像数据；如果所述图像数据中包括饱和像素，则验证所述饱和像素周围的多个不饱和像素的亮度的增加值或减小值；基于所述增加值或减小值测量来自所述饱和像素的光量。
附图说明
通过以下结合附图的描述，本公开的实施例的以上和其他方面、特征和优点将变得更加清楚，其中：
图1是示出根据本公开的实施例的电子装置的配置的视图；
图2是示出根据本公开的实施例的主处理单元的配置的框图；
图3是示出根据本公开的实施例的图像处理方法的流程图；
图4是示出根据本公开的实施例的用于通过使用第一图像和第二图像来提取点光源的时序信号的视图；
图5是描述如何通过使用不同曝光的多个图像测量光量的曲线图；
图6示出根据本公开的实施例的用于应用光源效果的查找表；
图7是示出应用根据本公开的实施例的聚焦偏离的示例的视图；
图8是示出应用了根据本公开的实施例的光爆的图像的视图；
图9示出网络环境中的电子装置；
图10是根据本公开的实施例的电子装置的框图。
贯穿附图，应注意，相同的参考标号可用于描述相同或相似的元件、特征和结构。
具体实施方式
在本公开中，在此使用的表述“具有”、“可具有”、“包括”和“包含”、“可包括”和“可包含”指示相应特征(例如，诸如数值、函数、操作或组件的元素)的存在，但不排除附加特征的存在。
在本公开中，在此使用的表述“A或B”、“A或/和B中的至少一个”或者“A或/和B中的一个或更多个”等可包括一个或更多个相关所列项的任何组合和所有组合。例如，术语“A或B”、“A和B中的至少一个”或者“A或B中的至少一个”可表示以下所有情况：(1)包括至少一个A；(2)包括至少一个B；或者(3)包括至少一个A和至少一个B二者。
在此使用的诸如“第一”、“第二”等的术语可表示本公开的实施例的各种元件，但不限制这些元件。例如，这样的术语仅用于将一个元件与另一元件区分，而不限制这些元件的顺序和/或优先级。例如，第一用户装置和第二用户装置可表示不同的用户装置，而不管顺序或重要性。例如，在不脱离本公开的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。
将理解，当一个元件(例如，第一元件)被称为“(可操作地或可通信地)与另一元件(例如，第二元件)结合/结合到另一元件(例如，第二元件)”或“连接到”另一元件(例如，第二元件)时，它能够直接与所述另一元件结合/结合到所述另一元件或连接到所述另一元件，或者可存在中间元件(例如，第三元件)。相反，当一个元件(例如，第一元件)被称为“与另一元件(例如，第二元件)直接结合/直接结合到另一元件(例如，第二元件)”或“直接连接到”另一元件(例如，第二元件)时，应理解，不存在中间元件(例如，第三元件)。
根据情况，在此使用的表述“被配置为”可与“适合于”、“具有……的能力”、“被设计为”、“适用于”、“被制成”或“能够……”互换使用。术语“被配置为(或设置为)”不只表示以硬件“专门被设计为”。相反，表述“一种被配置为……的装置”可表示所述装置“能够”与另一装置或其他元件(例如，中央处理器(CPU))一起操作。“一种被配置为(或设置为)执行A、B和C的处理器”可表示用于执行相应操作的专用处理器(例如，嵌入式处理器)或可通过执行存储在存储器装置中的一个或更多个软件程序来执行相应操作的通用处理器(例如，CPU或应用处理器(AP))。
在本说明书中使用的术语用于描述本公开的实施例，而不意图限制本公开的范围。除非另外指定，否则单数形式的术语可包括复数形式。除非在此另外定义，否则在此使用的所有术语(包括技术术语或科学术语)可具有与本领域技术人员通常理解的含义相同的含义。还将理解，在字典中定义的术语和通用术语也应如同在相关领域中惯常的那样来解释，而不以理想化或过于正式的方式来解释，除非在本公开的实施例中清楚地这样定义。在一些情况下，即使在本说明书中定义了术语，它们也不被解释为排除本公开的实施例。
根据本公开的实施例的电子装置可包括智能电话、平板PC、移动电话、视频电话、电子书阅读器、桌上PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装置、相机和可穿戴装置中的至少一个。可穿戴装置可包括配件(例如，手表、戒指、手镯、脚镯、眼镜、隐形眼镜或头戴式装置(HMD))、集成式衣物(例如，电子衣物)、附体型(例如，皮肤垫或纹身)或者可植入型(例如，可植入电路)。
在本公开的实施例中，电子装置可以是家电。家电可包括数字多功能盘(DVD)播放器、音响、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制板、安全控制板、TV盒(例如，三星HomeSyncTM、苹果TVTM或谷歌TVTM)、游戏机(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机或电子板中的至少一个。
在本公开的实施例中，电子装置可包括以下至少一个：医疗装置(例如，便携式医疗测量装置(血糖仪、心率测量装置、血压测量装置以及体温测量装置)、磁共振血管造影(MRA)、磁共振成像(MRI)装置、计算机断层扫描(CT)装置、拍摄装置以及超声装置)、导航***、全球卫星导航***(GNSS)、行车记录仪(EDR)、飞行记录仪(FDR)、车载娱乐装置、船舶电子装置(例如，船舶导航装置和陀螺罗盘)、航空电子、安全装置、车载头部单元、工业或家庭机器人、自动柜员机(ATM)、销售点(POS)装置、或者物联网(IoT)装置(例如，灯泡、传感器、电力或燃气表、弹簧冷却装置、火警装置、恒温器、电线杆、烤面包机、运动设备、热水器、加热器和锅炉)。
在本公开的实施例中，电子装置可包括家具或建筑/结构的部分、电子板、电子签名接收装置、投影仪或测量装置(例如，供水服务、电力、燃气或电波测量装置)中的至少一个。电子装置可以是上述装置中的一个或组合。电子装置可以是柔性电子装置。此外，电子装置不限于上述装置，而是可包括由于新技术的开发而生产的新的电子装置。
在此使用的术语“用户”可表示使用电子装置的人或可表示使用电子装置的装置(例如，人工智能电子装置)。
图1是示出根据本公开的实施例的电子装置的配置的视图。
参照图1，电子装置101可以是收集从外部对象反射的光以拍摄照片或视频的装置。电子装置101可包括镜头部分110、快门部分120、图像传感器130、传感器接口135、图像处理单元(或处理器)140、后处理单元165、存储器170以及显示器180。
根据本公开的实施例的镜头部分110可从对象收集光。收集的光可通过图像传感器130捕获。
根据本公开的实施例的快门部分120可通过狭缝驱动(slit driving)调节暴露于图像传感器130的光量。例如，快门部分120可使用具有机械形状的快门来实现或可通过传感器的控制使用电子快门来实现。对于另一示例，快门部分120可以是仅前幕帘(例如，前快门幕帘)被电子实现的快门。
根据本公开的实施例的图像传感器130可通过使用光电转换效应将光转换为电子图像数据。图像数据可通过传感器接口135被传送到图像处理单元140。图像传感器130可包括二维布置的一组像素并可在每个像素处将光转换为电子图像数据。
根据本公开的实施例，图像传感器130可通过使用在图像处理单元140中确定的曝光时间调节快门部分120来调节到达图像传感器130的光量(例如，曝光于图像传感器130的光量)。图像传感器130还可包括作为调节到达图像传感器130的光量的可变光圈的机械结构。
根据本公开的实施例，图像传感器130可根据在每个像素中记录的光电转换效应读出电子图像数据。
通过各种处理操作，图像处理单元(或处理器)140可在显示器180中输出在图像传感器130中收集的图像数据，或可将收集的图像数据存储在存储器170中。在本公开的实施例中，图像处理单元140可包括预处理单元150和主处理单元160。
根据本公开的实施例的预处理单元(例如，前图像信号处理器(ISP))150可在主处理单元(例如，图像处理单元)160中执行图像处理之前执行诸如图像配准、饱和度处理(gamma processing)等的功能。例如，在连续拍摄的多个图像之间存在模糊的情况下，预处理单元150可通过图像配准处理来去除或降低模糊分量。
根据本公开的实施例的主处理单元160(例如，AP、ISP或***控制器)可对通过预处理单元150处理的图像信号执行数字信号处理。在校正并组合从预处理单元150接收的信号以产生完整图像信号之后，主处理单元160可通过显示器180显示产生的完整图像信号。主处理单元160可执行控制总体操作(诸如，信号放大、信号转换、信号处理等)的功能，。
根据本公开的实施例，主处理单元160可计算包括在图像中的光源的位置和亮度并可针对每个光源被布置的点应用各种效果(例如，聚焦偏离
(out-focusing)、变迹(apodization)和光爆(light burst))。主处理单元160可通过使用一个短曝光图像或具有不同曝光的多个图像来计算光源的位置和亮度。传感器接口135可执行图像传感器130与图像处理单元140之间的接口。传感器接口135可根据电子装置101的构造被布置在预处理单元150的前方或紧邻预处理单元150布置。
根据本公开的实施例的后处理单元165可将从主处理单元160提供的图像信号存储在存储器170或显示器180中。后处理单元165可将图像信号转换成存储器170或显示器180所支持的格式并将其传送到存储器170或显示器180。
存储器170可存储通过图像处理单元140处理的图像。
显示器180可输出在图像处理单元140中处理的图像数据，允许用户验证图像数据。
图2是示出根据本公开的实施例的主处理单元的配置的框图。图2的元件可根据功能被分类，并且一些元件可被省略或被集成。
参照图2，主处理单元160可从预处理单元150接收图像数据或者可从连续拍摄或在指定时间间隔内拍摄的多个图像接收图像数据。
根据本公开的实施例，在主处理单元160从多个图像接收数据的情况下，主处理单元160可从具有不同曝光时间的多个图像接收数据。
例如，主处理单元160可接收具有比正常(或参考)曝光时间短的曝光时间的第一图像的数据以及根据正常曝光时间拍摄的第二图像的数据。主处理单元160可通过使用第一图像和第二图像分析光源，并可将各种效果应用于被存储作为最终结果的正常曝光图像。正常曝光时间或参考曝光时间可以是由用户设置或自动设置的曝光时间。以下，将针对使用第一图像和第二图像的情况给出描述。然而，本公开的实施例不限于此。例如，可通过使用一个图像来分析光源或通过使用三个或更多个图像来分析光源。
在用户按下快门或执行与按下快门相应的任何用户接口(例如，手势、语音等)的情况下，第一图像和第二图像可被顺序地拍摄。在本公开的实施例中，在第一图像和第二图像之中的图像中发生模糊的情况下，预处理单元150可执行图像配准处理并可将结果图像传送到主处理单元160。
第一图像和第二图像可具有不同的曝光时间并且可以是在光源(例如，光饱和的点)处没有发生聚焦偏离、光爆等的图像。以下，将针对第一图像为短曝光图像(例如，具有比用户设置或自动设置的曝光时间短的曝光时间的图像)并且第二图像为正常曝光图像(例如，具有用户设置或自动设置的曝光时间的图像)的情况给出描述。
在本公开的实施例中，在短曝光的第一图像被首先输入到主处理单元160之后，正常曝光的第二图像可被输入到主处理单元160。电子装置101可为了减少快门迟滞的目的，在存储第一图像之后等待一段时间。
主处理单元160可包括位置提取单元210、存储器215、像素确定单元220、光量计算单元230、距离确定单元235、效果应用单元240和查找表245。
根据本公开的实施例的位置提取单元210可从图像检测具有指定值或更大值的亮度的点或光源。例如，在短曝光的第一图像中，位置提取单元210可针对图像传感器130的每个读出线在存储器215中存储具有预设值或更大值的亮度的像素的坐标或具有预设值或更大值的亮度的多个像素的起点的坐标和终点的坐标、以及每个像素的增益。在存在数量为指定值或更大值的具有预设值或更大值的亮度的连续像素的情况下，位置提取单元210可使用滞后方法(hysteresis method)将关于像素的信息存储在存储器215中。如此，位置提取单元210可检测亮度值由于噪声而暂时改变的像素。
根据本公开的实施例的像素确定单元220可检测饱和像素。像素确定单元220可针对短曝光的第一图像的每个读出线检测饱和像素。像素确定单元220可针对图像传感器130的每个读出线将检测到的饱和像素的起点位置和终点位置的坐标信息存储在存储器215中。
光量计算单元230可基于在位置提取单元210中检测的位置，从图像中的点光源和在像素确定单元220中确定的饱和像素的坐标信息来计算来自光源的实际光量。
根据本公开的实施例，光量计算单元230可通过使用适当曝光的第二图像来计算来自光源的光量。例如，在通过使用第一图像和第二图像计算光量的情况下，光量计算单元230可参照第一图像与第二图像之间的曝光差(例如，16倍)以及饱和像素周围的邻近不饱和像素的光量来计算来自光源的光量。
距离确定单元235可分析图像以计算距对象的距离或计算距焦点的距离。在距离确定单元235中计算的距离信息可被提供给效果应用单元240或可用于应用诸如聚焦偏离、变迹等的效果。
效果应用单元240可基于计算出的光量应用各种光源效果。效果应用单元240可通过参照查找表245跟踪光量并根据光量的比率替换饱和像素的数据或针对该饱和像素的指定区域的数据，来应用光源效果。
查找表245可以以表格的形式存储用于应用与光源关联的各种效果(例如，聚焦偏离、光爆、变迹等)的方式。关于查找表245的附加信息可参照图6给出。
根据本公开的实施例，效果应用单元240可参照深度&分段结果应用光源效果。
根据本公开的实施例，主处理单元160可通过使用短曝光的第一图像跟踪来自点光源的光量。在这种情况下，位置提取单元210可不执行单独的功能，当短曝光图像的饱和像素在像素确定单元220中被确定时，位置提取单元210可参照饱和像素周围的邻近不饱和像素的值计算该饱和像素部分的光量。当接收到正常曝光的第二图像时，主处理单元160可使用应用了光源效果的数据替换饱和像素部分的数据。
主处理单元160可输出应用了光源效果的图像数据。图像数据可被存储在存储器170中或可通过显示器180被输出。
图3是示出根据本公开的实施例的图像处理方法的流程图。
参照图3，在步骤310，主处理单元160可从预处理单元150接收图像数据。
在步骤320，主处理单元160可验证具有指定值或更大值的亮度的点。主处理单元160可将具有预设值或更大值的亮度的像素的起点坐标和终点坐标以及像素的增益存储在存储器170中。
在步骤330，主处理单元160可检测饱和像素。来自检测到的饱和像素的以线为单位的起点和终点的坐标信息可被存储在存储器170中。
在步骤340，主处理单元160可基于检测到的光源的位置和饱和像素的坐标信息来计算来自光源对象的光量。主处理单元160可通过使用不饱和的邻近像素通过一阶拟合运算来提取饱和部分的实际光量。
在步骤350，主处理单元160可参照查找表245将光源效果应用于图像。例如，当接收到正常曝光的第二图像时，主处理单元160可使用应用了光源效果的数据替换来自饱和像素部分的数据。
根据本公开的实施例，一种在电子装置中执行的图像处理方法包括：通过图像传感器将从外界接收的光改变为电子图像数据；收集具有第一曝光时间的第一图像的图像数据；如果图像数据中包括饱和像素，则验证饱和像素周围的多个不饱和像素的亮度的增加值或减小值；基于所述增加值或减小值测量来自饱和像素的光量。
根据本公开的实施例，验证所述增加值或减小值的步骤包括：验证来自针对饱和像素的第一方向的第一邻近像素和第二邻近像素的光量；通过使用来自与第一方向相对的第二方向的第三邻近像素和第四邻近像素来验证饱和像素的光量。
根据本公开的实施例，验证所述增加值或减小值的步骤包括：将第一邻近像素与第二邻近像素之间的光量的斜率值和第三邻近像素与第四邻近像素之间的光量的斜率值进行比较。
根据本公开的实施例，收集图像数据的步骤包括：从具有比第一曝光时间长的第二曝光时间的第二图像收集图像数据。
根据本公开的实施例，该方法还包括：将光源效果应用于来自第二图像的与饱和像素对应的区域。
根据本公开的实施例，应用光源效果的步骤包括：应用聚焦偏离、变迹或光爆中的一个作为光源效果。
图4是示出根据本公开的实施例的用于通过使用第一图像和第二图像来提取点光源的时序信号的视图。在第二图像与第一图像的曝光比率为“N”并且第一图像的曝光时间为“t”的情况下，第二图像的曝光时间可近似等于(N×t)。
参照图4，图像传感器130可从每个像素读取亮度值。点光411的坐标和亮度值可从具有短曝光时间的第一图像410提取，提取的坐标和亮度值可被存储在存储器215中。
光量计算单元230可检测通过点光411而饱和的像素以及该饱和像素周围的预饱和状态的邻近像素。光量计算单元230可通过一阶拟合运算从饱和部分提取真实的光量。为了一阶拟合运算的目的，光量计算单元230可使用两个不饱和像素。这两个邻近像素可通过使用饱和像素的***值从具有短曝光时间的第一图像410获得，可通过使用具有短曝光时间的第一图像410和具有正常曝光时间的第二图像420获得，或者可通过仅使用具有正常曝光时间的第二图像420获得。
图5是描述如何通过使用不同曝光的多个图像测量光量的曲线图。
参照图5，光量计算单元230可通过一阶拟合运算从饱和部分提取真实的光量。光量计算单元230可通过使用饱和像素的***值计算实际饱和区域的光量值。如此，光量计算单元230可通过使用少量的短曝光图像从饱和区域提取光量。
根据本公开的实施例的光量计算单元230可通过使用具有不同曝光时间的N个图像之中的具有最短曝光时间的第N图像530来从饱和部分计算光量。
如果第N图像530与正常曝光图像(“曝光1”)510之间的曝光比率系数乘以第N图像530的数据，则可在除了点光或饱和部分之外的剩余部分中获得与曝光1 510的数据一致的值。由于第N图像是与曝光1 510相比曝光时间最短的图像，因此可显示质量下降的不饱和区域，并且第N图像可根据传感器的性能和曝光比率被显示为噪声区域。相反，第N图像530可包括饱和像素周围的相对高精度的图像数据。
在短曝光时间图像的读出顺序中，可通过在饱和之前对两个像素511和521执行一阶拟合运算来获得第一斜率值并通过在饱和之后对两个像素522和512执行一阶拟合运算来获得第二斜率值。在本公开的实施例中，光量计算单元230可通过使用第一斜率值和第二斜率值之中绝对值相对小的一个来计算饱和像素处的光量。
根据本公开的实施例，在从完整图像提取的来自光源的光量很小或很大(即使通过拟合运算获得了值)的情况下，光量计算单元230可执行将全局变量或局部变量应用于完整图像数据以校正一部分光量的操作。在这情况下，可获得饱和点光的光量的相对比率保持均匀的高质量图像。
图6示出根据本公开的实施例使用查找表来应用光源效果。
参照图6，查找表601、602、603a和603b可以以表格的形式存储与光源关联的效果(例如，聚焦偏离、光爆、变迹等)。
查找表601表示用于聚焦偏离的点扩散函数(PSF)查找表，查找表602表示用于变迹效果的PSF查找表。在查找表601和602中，水平方向的形状改变表示根据距光轴的距离的PSF。中心的整圆601a和602a是基于从镜头部分的光轴周围(例如，从图像传感器的中心区域)获得的出射光瞳的PSF。随着距光轴的距离增大，PSF可被显示为两个或更多个圆的重叠。
曲线图603a和603b表示用于光爆效果的PSF。与聚焦偏离或变迹不同，PSF的大小可根据来自点光源的亮度而不是距离信息而改变。光爆现象通过衍射而出现，并且光爆形状可根据来自光源的亮度而变化。光爆的PSF可具有增益从中心630向***部分锐减的形状。光爆的刃(blade)631的大小可根据点光源的亮度而变化。曲线图603a示出在中心630进行裁剪。然而，本公开的实施例不限于此。
图7是示出应用根据本公开的实施例的聚焦偏离的示例的视图。
参照图7，在应用聚焦偏离之前，在点光源区域710和720包括在第一图像701中的情况下，点光源区域710和720可在饱和状态下被输出。此外，即使来自点光源的光量之间存在差异，但是点光源在第一图像701上可能不是彼此可区分的。
在应用聚焦偏离之后，导致在第二图像702中，点光源区域710a和720a可以以光团的形式被显示。光团的大小或形状可针对每个图像高度且针对来自每个点光源的光的强度而变化。
主处理单元160可通过使用每个点光源中的饱和像素周围的不饱和像素来计算来自饱和像素的光量。主处理单元160可根据计算的光的强度、距离信息等使用查找表来替换点光源部分。
根据本公开的实施例，在聚焦偏离或变迹PSF中，主处理单元160可基于距离信息计算PSF的大小，并可以以正常曝光图像中的计算的PSF的形状替换已有图像的点光源部分。
根据本公开的实施例，在替换图像的点光源之前，主处理单元160可根据单独的距离信息对不饱和部分执行模糊处理，或可计算与饱和值被计算出的完整图像的对象的距离信息，以执行卷积处理。如果使用卷积***的运算，则会增加计算量，但具有在不区分提取的点光源和***图像的情况下进行计算的优点。
根据本公开的实施例，为了从真实的光团获取颜色信息的目的，主处理单元160可针对传感器颜色图案的每个颜色执行提取点光源的操作。例如，在具有贝尔图案(Bayerpattern)的传感器的情况下，主处理单元160可计算与短曝光图像中的R、G和B中的每个关联的饱和信息。如此，可防止由于正常曝光图像中的每个颜色的饱和而导致的颜色信息丢失(例如，光团的白化(whitening))，并可输出具有原始颜色信息的光团。
图8是示出应用了根据本公开的实施例的光爆的图像的视图。
参照图8，在应用光爆之前，在点光源810至850包括在第一图像801a的情况下，点光源810至850可在饱和状态下被输出，并且光爆效果不会出现。此外，即使在点光源的光量之间存在差异，但是点光源在第一图像801a上可能不是彼此可区分的。
在应用光爆效果之后，导致在第二图像801b中，点光源810a至850a可以以光爆的形式被显示。光爆的刃的长度可根据来自每个点光源的光的强度而改变。
主处理单元160可通过使用每个点光源中的饱和像素周围的不饱和像素来计算来自饱和像素的光量。主处理单元160可根据计算的光的强度参照查找表来以光爆的形式替换点光源部分。
根据本公开的实施例，在光爆的情况下，主处理单元160可不需要距离信息。光爆的刃的大小可根据点光源的亮度来确定，并且可通过在效果应用单元240根据从点光源提取的强度替换PSF形状来应用光爆效果。光爆效果具有亮度值随着向***部分而减小的PSF。如此，光爆的刃大小可在针对PSF的中心部分的值成比例地替换计算出的点光源的强度的情况下被平滑地调节。
在应用光爆效果之前，在点光源861和862包括在第一图像802a中的情况下，点光源861和862可在饱和状态下被输出，并且光爆效果不会出现。在应用光爆效果之后，在第二图像802b中，点光源861a1和862a1可以以光爆的形式被显示。光爆的刃的长度可根据每个光源的光量的强度而改变。
根据本公开的实施例，与聚焦偏离不同，在光爆的情况下，主处理单元160可从短曝光时间图像和正常曝光时间图像获得颜色信息。主处理单元160可不针对每个颜色执行点光源提取操作。在贝尔图案的情况下，在主处理单元160从R、G和B颜色信息选择代表性颜色并计算来自一个光源的光量之后，主处理单元160可根据最终图像中的正常曝光的颜色比率使用光爆效果的PSF替换已有的点光源。
图9示出根据本公开的实施例的网络环境中的电子装置。
将参照图9描述根据本公开的实施例的网络环境900中的电子装置901。电子装置901可包括总线910、处理器980、存储器930、输入/输出接口950、显示器920、通信接口960和输入装置970。上述元件中的至少一个可被省略，或者另一元件可被添加到电子装置901。
总线910可包括用于将上述元件910至980相互连接并在上述元件之间传递通信信息(例如，控制消息和/或数据)的电路。
处理器980可包括CPU、AP或通信处理器(CP)中的至少一个。处理器980可执行数据处理或与通信相关的操作和/或电子装置901的其他元件中的至少一个的控制。
存储器930可包括易失性存储器和/或非易失性存储器。存储器930可存储与电子装置901的其他元件中的至少一个相关的指令或数据。根据本公开的实施例，存储器930可存储软件和/或程序940。程序940可包括内核941、中间件943、应用编程接口(API)945和/或应用程序947。内核941、中间件943或API 945中的至少一部分可被称为操作***(OS)。
内核941可控制或管理用于执行其他程序(例如，中间件943、API 945或应用程序947)的操作或功能的***资源(例如，总线910、处理器980、存储器930等)。此外，内核941可提供用于允许中间件943、API 945或应用程序947访问电子装置901的各个元件以便控制或管理***资源的接口。
中间件943可用作允许API 945或应用程序947与内核941通信和交换数据的中介。
此外，中间件943可根据分配的优先级处理从应用程序947接收的多个任务请求。例如，中间件943可向至少一个应用程序947分配用于使用电子装置901的***资源(例如，总线910、处理器980、存储器930等)的优先级。例如，中间件943可根据分配给至少一个应用的优先级处理多个任务请求，从而针对所述多个任务请求执行调度或负载均衡。
作为用于允许应用程序947控制由内核941或中间件943提供的功能的接口的API945可包括用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，指令)。
输入/输出接口950可用于将指令或数据输入从用户或另一外部装置传送到电子装置901的其他元件。此外，输入/输出接口950可将从电子装置901的其他元件接收的指令或数据输出到用户或另一外部装置。
显示器920可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微电子机械***(MEMS)显示器或电子纸显示器。显示器920可将内容(例如，文本、图像、视频、图标、符号等)呈现给用户。显示器920可包括触摸屏，并可从电子笔或用户的身体的一部分接收触摸、手势、接近或悬停输入。
通信接口960可在电子装置901与外部装置(例如，第一外部电子装置902、第二外部电子装置904或服务器906)之间设置通信。例如，通信接口960可通过无线通信或有线通信连接到网络962，以允许与外部装置(例如，第二外部电子装置904或服务器906)的通信。
无线通信可采用蜂窝通信协议(诸如，长期演进(LTE)、先进LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信***(UMTS)、无线宽带(WiBro)或全球移动通信***(GSM))中的至少一个。无线通信可包括短程通信964。短程通信可包括无线保真(Wi-Fi)、蓝牙、近场通信(NFC)、磁条传输(MST)或GNSS中的至少一个。
MST可根据传输数据产生脉冲并且脉冲可产生电磁信号。电子装置901可将电磁信号发送到读取器装置(诸如POS装置)。POS装置可通过使用MST读取器检测所述电磁信号，并通过将检测的电磁信号转换为电信号来恢复数据。
根据使用区域或带宽，GNSS可包括全球定位***(GPS)、全球卫星导航***(GLONASS)、北斗卫星导航***(BeiDou)或伽利略(欧洲全球卫星导航***)中的至少一个。以下，术语“GPS”和术语“GNSS”可互换使用。有线通信可包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话服务(POTS)等中的至少一个。网络962可包括电信网络(例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络)中的至少一个。
第一外部电子装置902和第二外部电子装置904的类型可与电子装置901的类型相同或不同。根据本公开的实施例，服务器906可包括一个或更多个服务器的组。电子装置901中执行的操作的部分或全部可在一个或更多个其他电子装置(例如，第一电子装置902、第二外部电子装置904或服务器906)中执行。当电子装置901应自动或响应于请求而执行功能或服务时，电子装置901不是自行执行该功能或服务，或除了自行执行该功能或服务之外，还可向另一电子装置(例如，第一电子装置902、第二外部电子装置904或服务器906)请求该功能或服务的至少一部分。所述另一电子装置(例如，第一电子装置902、第二外部电子装置904或服务器906)可执行请求的功能或额外的功能，并可将执行的结果传送到电子装置901。电子装置901可使用由所述另一电子装置提供的接收结果或可对接收结果执行额外的处理以提供请求的功能或服务。为此，可使用云计算技术、分布式计算技术或客户端-服务器计算技术。
图10是示出根据本公开的实施例的电子装置的框图。
参照图10，电子装置1001可包括图9中示出的电子装置901的一部分或全部。电子装置1001可包括至少一个处理器(例如，AP)1010、通信模块1020、用户识别模块(SIM)1029、存储器1030、传感器模块1040、输入装置1050、显示器1060、接口1070、音频模块1080、相机模块1091、电源管理模块1095、电池1096、指示器1097和电机1098。
处理器1010可运行OS或应用程序以控制连接到处理器1010的多个硬件元件或软件元件，并可处理各种数据并执行操作。处理器1010可使用片上***(SoC)来实现。根据本公开的实施例，处理器1010还可包括图形处理器(GPU)和/或图像信号处理器。处理器1010可包括图10中示出的元件中的至少一部分(例如，蜂窝模块1021)。处理器1010可在易失性存储器上加载从其他元件(例如，非易失性存储器)中的至少一个接收的指令或数据以处理所述指令或数据，并可将各种数据存储在非易失性存储器中。
通信模块1020可具有与图9的通信接口960相同或相似的配置。通信模块1020可包括蜂窝模块1021、Wi-Fi模块1022、蓝牙(BT)模块1023、GNSS模块1024(例如，GPS模块、GLONASS模块、北斗模块或伽利略模块)、NFC模块1025、MST模块1026和射频(RF)模块1027。
蜂窝模块1021可通过通信网络提供语音呼叫服务、视频呼叫服务、文本消息服务或互联网服务。蜂窝模块1021可使用SIM 1029(例如，SIM卡)在通信网络中识别并认证电子装置1001。蜂窝模块1021可执行可由处理器1010提供的至少一部分功能。蜂窝模块1021可包括CP。
Wi-Fi模块1022、蓝牙模块1023、GNSS模块1024和NFC模块1025中的每个可包括用于处理通过这些模块发送/接收的数据的处理器。根据本公开的实施例，蜂窝模块1021、Wi-Fi模块1022、蓝牙模块1023、GNSS模块1024和NFC模块1025中的至少一部分可包括在单个IC或IC封装中。
RF模块1027可发送/接收通信信号(例如，RF信号)。RF模块1027可包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据本公开的实施例，蜂窝模块1021、Wi-Fi模块1022、蓝牙模块1023、GNSS模块1024或NFC模块1025中的至少一个可通过单独的RF模块发送/接收RF信号。
SIM 1029可包括嵌入式SIM和/或包含SIM的卡，并可包括唯一的标识信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户识别(IMSI))。
存储器1030可包括内部存储器1032或外部存储器1034。内部存储器1032可包括易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)、非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模(mask)ROM、闪速ROM、闪速存储器(例如，NAND闪速存储器、NOR闪速存储器等))、硬盘驱动器或固态盘(SSD)中的至少一个。
外部存储器1034可包括闪存驱动，诸如，紧凑式闪存(CF)、安全数字(SD)、微型SD、迷你SD、极速数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器1034可通过各种接口操作地和/或物理地连接到电子装置1001。
传感器模块1040可测量物理量或检测电子装置1001的操作状态以将测量的或检测的信息转换为电信号。传感器模块1040可包括手势传感器1040A、陀螺仪传感器1040B、大气压力传感器1040C、磁性传感器1040D、加速度传感器1040E、握持传感器1040F、接近传感器1040G、颜色传感器1040H(例如，红/绿/蓝(RGB)传感器)、生物特征传感器1040I、温度/湿度传感器1040J、照度传感器1040K或紫外线(UV)传感器1040M中的至少一个。额外地或可选地，传感器模块1040可包括嗅觉传感器(电子鼻传感器)、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜识别传感器和/或指纹传感器。传感器模块1040还可包括用于控制包括于其中的至少一个传感器的控制电路。在本公开的实施例中，电子装置1001还可包括处理器，所述处理器被配置为控制传感器模块1040作为处理器1010的一部分或独立于处理器1010，使得传感器模块1040在处理器1010处于睡眠状态时被控制。
输入装置1050可包括触摸板1052、(数字)笔传感器1054、键1056或超声输入装置1058。触摸板1052可采用电容式、电阻式、红外以及超声感测的方法中的至少一种。触摸板1052还可包括控制电路。触摸板1052还可包括用于向用户提供触觉反馈的触觉层。
(数字)笔传感器1054可包括作为触摸板的一部分或独立的用于识别的薄片。键1056可包括物理按钮、光学按钮或键区。超声输入装置1058可感测由输入工具通过麦克风1088产生的超声波，以识别与感测的超声波相应的数据。
显示器1060可包括面板1062、全息装置1064或投影仪1066。面板1062可具有与图9的显示器920相同或相似的配置。面板1062可以是柔性的、透明的或可穿戴的。面板1062和触摸板1052可被集成在单个模块中。全息装置1064可使用光的干涉现象在空间中显示立体图像。投影仪1066可将光投影到屏幕上以显示图像。屏幕可被布置在电子装置1001内部或外部。根据本公开的实施例，显示器1060还可包括用于控制面板1062、全息装置1064或投影仪1066的控制电路。
接口1070可包括HDMI 1072、USB 1074、光学接口1076或D-超小型(D-sub)1078。接口1070可包括在图9示出的通信接口960中。额外地或可选地，例如，接口1070可包括移动高清晰链接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)接口。
音频模块1080可将声音转换为电信号，反之亦可。音频模块1080的元件的至少一部分可包括在图9示出的输入/输出接口950中。音频模块1080可对通过扬声器1082、接收器1084、耳机1086或麦克风1088输入或输出的声音信息进行处理。
相机模块1091可以是用于拍摄静止图像或视频的装置。根据本公开的实施例，相机模块1091可包括至少一个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。
电源管理模块1095可管理电子装置1001的电源。根据本公开的实施例，电源管理模块1095可包括电源管理集成电路(PMIC)、充电器IC或电池量表。PMIC可采用有线和/或无线充电方法。无线充电方法可包括磁共振方法、磁感应方法、电磁方法等。还可包括用于无线充电的额外的电路，诸如，线圈回路、共振电路、整流器等。电池量表可测量电池1096的剩余容量以及电池充电时它的电压、电流或温度。电池1096可包括可再充电电池和/或太阳能电池。
指示器1097可显示电子装置1001或它的部件(例如，处理器1010)的特定状态，诸如，启动状态、消息状态、充电状态等。电机1098可将电信号转换成机械振动，并可产生振动或触觉效果。用于支持移动TV的处理装置(例如，GPU)可包括在电子装置1001中。用于支持移动TV的处理装置可根据数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFLOTM等的标准来处理媒体数据。
根据本公开的实施例，一种电子装置包括：镜头部分，被配置为从外界接收光；图像传感器，被配置为将接收的光改变为电子图像数据；图像处理单元，被配置为处理图像数据。如果图像数据中包括饱和像素，则图像处理单元通过使用饱和像素周围的多个不饱和像素的亮度的增加值或减小值来测量饱和像素的光量。
根据本公开的实施例，图像处理单元通过使用针对饱和像素的第一方向的第一邻近像素和第二邻近像素以及与第一方向相对的第二方向的第三邻近像素和第四邻近像素来测量饱和像素的光量。
根据本公开的实施例，图像处理单元基于第一邻近像素与第二邻近像素之间的光量的斜率值以及第三邻近像素与第四邻近像素之间的光量的斜率值来测量饱和像素的光量。
根据本公开的实施例，图像处理单元通过使用具有不同曝光时间的多个图像来确定光源的位置和光源的强度，其中，所述多个图像是连续的或在指定时间间隔内。
根据本公开的实施例，图像处理单元在所述多个图像之中的具有第一曝光时间的第一图像中确定光源的位置和光源的强度，并将光源效果应用于所述多个图像之中的具有第二曝光时间的第二图像中的与光源的位置对应的区域。
根据各种实施例，光源效果包括聚焦偏离、变迹或光爆中的一个。
根据本公开的实施例，如果光源效果对应于光爆，则图像处理单元根据光源的大小调节光爆的刃的大小或长度。
根据本公开的实施例，如果光源效果对应于光爆，则图像处理单元从所述多个图像之中的具有参考曝光时间的图像测量饱和像素的光量。
根据本公开的实施例，如果光源效果对应于聚焦偏离或变迹，则图像处理单元根据对光源成像的图像传感器的位置来改变光源效果的形状。
根据本公开的实施例，如果通过使用所述多个图像确定光源的强度，则图像处理单元从所述多个图像之中的指定曝光时间或更短曝光时间的图像测量饱和像素的红(R)、绿(G)和蓝(B)中的每个的光量。
根据本公开的实施例，如果光源效果对应于聚焦偏离，则图像处理单元将光源效果的形状确定为图像传感器的中心上的一个圆，如果图像成形区域沿径向远离图像传感器的中心的方向改变，则图像处理单元允许光源效果具有多个圆的公共区域的形状，其中，所述多个圆的中心彼此不一致。
根据本公开的实施例，如果光源效果对应于变迹，则图像处理单元不同地设置光源效果的形状的中心部分和***部分的透明度。
根据本公开的实施例，图像处理单元参照与用于应用光源效果的形状关联的查找表来应用光源效果。
根据本公开的实施例，图像处理单元通过使用所述多个图像之中的指定曝光时间或更短曝光时间的图像来确定光源的位置和光源的强度。
在此描述的每个元件可使用一个或更多个组件来配置，元件的名称可根据电子装置的类型而改变。在本公开的实施例中，电子装置可包括在此描述的至少一个元件，而一些元件可被省略或可添加其他额外的元件。此外，电子装置的一些元件可相互组合以形成一个实体，使得这些元件的功能可以以与组合前的方式相同的方式被执行。
在此使用的术语“模块”可表示包括硬件、软件和固件中的一个或它们的组合的单元。术语“模块”可与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或可以是集成组件的一部分。“模块”可以是用于执行一个或更多个功能或功能的一部分的最小单元。“模块”可被机械地或电气地实现。例如，“模块”可包括应用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和已知的或将被开发的用于执行一些操作的可编程逻辑装置中的至少一个。
根据本公开的各种实施例的装置(例如，模块或模块的功能)或方法(例如，操作)的至少一部分可被实现为以程序模块的形式存储在计算机可读存储介质中的指令。在由处理器执行所述指令的情况下，处理器可执行与所述指令对应的功能。例如，计算机可读存储介质可以是存储器930。
计算机可读记录介质可包括硬盘、软盘、磁性介质(例如，磁带)、光学介质(例如，CD-ROM、数字多功能盘(DVD))、磁光介质(例如，软光盘)或硬件装置(例如，ROM、RAM、闪存存储器等)。程序指令可包括由编译器产生的机器语言代码和能被计算机使用解释器执行的高级语言代码。上述硬件装置可被配置为操作为用于执行本公开的实施例的操作的一个或更多个软件模块，反之亦可。
根据本公开的实施例的模块或程序模块可包括上述元件中的至少一个，或者一些元件可被省略或可添加其他额外的元件。由模块、程序模块或其他元件执行的操作可以以顺序、并行、迭代或启发的方式执行。此外，一些操作可以以另一顺序被执行或者可被省略，或者可添加其他操作。
虽然已经参照本公开的各种实施例示出并描述了本公开，但是本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本公开的精神和范围的情况下，可对其做出形式和细节上的各种改变。

Claims (12)

1.一种电子装置，包括：
镜头部分，被配置为从外界接收光；
图像传感器，被配置为将接收的光改变为电子图像数据；
图像处理单元，被配置为处理所述图像数据，
其中，如果所述图像数据中包括饱和像素，则图像处理单元基于来自针对所述饱和像素的第一方向的第一邻近不饱和像素与第二邻近不饱和像素之间的光量的斜率值以及来自与第一方向相对的第二方向的第三邻近不饱和像素与第四邻近不饱和像素之间的光量的斜率值中的绝对值相对小的一个来测量所述饱和像素的光量。
2.如权利要求1所述的电子装置，其中，图像处理单元通过使用具有不同曝光时间的多个图像来确定光源的位置和光源的强度，其中，所述多个图像在连续时间段内被捕获。
3.如权利要求2所述的电子装置，其中，图像处理单元在所述多个图像之中的具有第一曝光时间的第一图像中确定光源的位置和光源的强度，并将光源效果应用于所述多个图像之中的具有第二曝光时间的第二图像中的与光源的位置对应的区域。
4.如权利要求3所述的电子装置，其中，如果光源效果对应于光爆，则图像处理单元根据光源的大小调节光爆的刃的大小和长度中的一个。
5.如权利要求3所述的电子装置，其中，如果光源效果对应于光爆，则图像处理单元从所述多个图像之中的具有参考曝光时间的图像测量所述饱和像素的光量。
6.如权利要求3所述的电子装置，其中，如果光源效果对应于聚焦偏离和变迹中的一个，则图像处理单元根据图像传感器的位置来改变光源效果的形状。
7.如权利要求2所述的电子装置，其中，如果通过使用所述多个图像确定光源的强度，则图像处理单元从所述多个图像之中的具有参考曝光时间和更短曝光时间之一的图像测量所述饱和像素的红、绿和蓝分量中的每个的光量。
8.如权利要求6所述的电子装置，其中，如果光源效果对应于聚焦偏离，则图像处理单元将光源效果的形状确定为图像传感器的中心上的一个圆，
其中，如果饱和像素的位置沿径向远离图像传感器的中心的方向改变，则图像处理单元允许光源效果具有多个圆的公共区域的形状，其中，所述多个圆的中心彼此不一致。
9.如权利要求6所述的电子装置，其中，如果光源效果对应于变迹，则图像处理单元设置光源效果的形状的中心部分和***部分的透明度。
10.如权利要求2所述的电子装置，其中，图像处理单元通过使用所述多个图像之中的具有参考曝光时间和更短曝光时间的图像中的一个来确定光源的位置和光源的强度。
11.如权利要求1所述的电子装置，其中，图像处理单元通过使用具有不同曝光时间的多个图像来确定光源的位置和光源的强度，其中，所述多个图像在指定时间段内被捕获。
12.一种在电子装置中执行的图像处理方法，所述图像处理方法包括：
通过图像传感器将从外界接收的光改变为电子图像数据；
收集具有第一曝光时间的第一图像的图像数据；
如果第一图像的图像数据中包括饱和像素，基于来自针对所述饱和像素的第一方向的第一邻近不饱和像素与第二邻近不饱和像素之间的光量的斜率值以及来自与第一方向相对的第二方向的第三邻近不饱和像素与第四邻近不饱和像素之间的光量的斜率值中的绝对值相对小的一个来测量所述饱和像素的光量。
CN201710910187.2A 2016-09-30 2017-09-29 用于处理图像的方法和支持该方法的电子装置 Active CN107888904B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0127158 2016-09-30
KR1020160127158A KR102688619B1 (ko) 2016-09-30 이미지 처리 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
CN107888904A CN107888904A (zh) 2018-04-06
CN107888904B true CN107888904B (zh) 2021-08-10

Family

ID=60153048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710910187.2A Active CN107888904B (zh) 2016-09-30 2017-09-29 用于处理图像的方法和支持该方法的电子装置

Country Status (3)

Country Link
US (1) US10506175B2 (zh)
EP (1) EP3301906A1 (zh)
CN (1) CN107888904B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11336835B2 (en) * 2018-10-04 2022-05-17 Barco N.V. Method and system for estimating exposure time of a multispectral light source
KR102574649B1 (ko) 2018-11-29 2023-09-06 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
CN110070182B (zh) * 2019-04-01 2021-08-24 京微齐力(北京)科技有限公司 适合人工智能的平台芯片及其制造和设计方法
CN111345032B (zh) * 2019-05-15 2021-12-31 合刃科技（深圳）有限公司 图像传感器、光强感知***及方法
KR20220072529A (ko) * 2020-11-25 2022-06-02 삼성전자주식회사 광량을 획득하는 전자 장치 및 방법
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494797A (zh) * 2008-01-22 2009-07-29 株式会社理光 摄像装置及摄像方法
CN102301694A (zh) * 2009-11-18 2011-12-28 松下电器产业株式会社 图像处理方法及图像处理装置
CN102469255A (zh) * 2010-11-08 2012-05-23 奥林巴斯映像株式会社 摄像装置和摄像方法
CN102687501A (zh) * 2010-12-20 2012-09-19 松下电器产业株式会社 图像处理装置、摄像装置及图像处理方法
CN103888663A (zh) * 2012-12-20 2014-06-25 佳能株式会社 图像处理设备、图像拾取设备和图像处理方法
CN105635593A (zh) * 2014-10-13 2016-06-01 广达电脑股份有限公司 多重曝光成像***及其白平衡方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1745436B1 (en) 2004-04-15 2012-05-30 Dolby Laboratories Licensing Corporation Methods and systems for converting images from low dynamic range to high dynamic range
US7612813B2 (en) * 2006-02-03 2009-11-03 Aptina Imaging Corporation Auto exposure for digital imagers
US9058648B2 (en) * 2012-03-15 2015-06-16 Bio-Rad Laboratories, Inc. Image acquisition for chemiluminescent samples
JP6202860B2 (ja) * 2013-04-05 2017-09-27 キヤノン株式会社 撮像装置及び撮像方法
KR102124014B1 (ko) 2013-10-29 2020-06-17 삼성전자주식회사 영상 촬상 장치 및 이의 보케 영상 생성 방법
CN107430258B (zh) * 2015-03-17 2020-03-31 奥林巴斯株式会社 对焦控制装置及其控制方法、摄像装置、内窥镜***
KR102436954B1 (ko) 2015-11-24 2022-08-29 삼성전자주식회사 영상 촬영 장치 및 영상 촬영 장치의 제어 방법
JP6936930B2 (ja) * 2016-10-28 2021-09-22 Ｏｍデジタルソリューションズ株式会社 撮像装置および焦点調節方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494797A (zh) * 2008-01-22 2009-07-29 株式会社理光 摄像装置及摄像方法
CN102301694A (zh) * 2009-11-18 2011-12-28 松下电器产业株式会社 图像处理方法及图像处理装置
CN102469255A (zh) * 2010-11-08 2012-05-23 奥林巴斯映像株式会社 摄像装置和摄像方法
CN102687501A (zh) * 2010-12-20 2012-09-19 松下电器产业株式会社 图像处理装置、摄像装置及图像处理方法
CN103888663A (zh) * 2012-12-20 2014-06-25 佳能株式会社 图像处理设备、图像拾取设备和图像处理方法
CN105635593A (zh) * 2014-10-13 2016-06-01 广达电脑股份有限公司 多重曝光成像***及其白平衡方法

Also Published As

Publication number Publication date
US20180098001A1 (en) 2018-04-05
EP3301906A1 (en) 2018-04-04
CN107888904A (zh) 2018-04-06
KR20180036463A (ko) 2018-04-09
US10506175B2 (en) 2019-12-10

Similar Documents

Publication Publication Date Title
KR102444085B1 (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
US10771706B2 (en) Method and electronic device for focus control
CN107888904B (zh) 用于处理图像的方法和支持该方法的电子装置
US20180131869A1 (en) Method for processing image and electronic device supporting the same
CN107409180B (zh) 具有相机模块的电子装置和用于电子装置的图像处理方法
CN105282430B (zh) 使用照片的构图信息的电子装置及使用该装置的拍摄方法
US10003785B2 (en) Method and apparatus for generating images
KR102603426B1 (ko) 이미지 처리장치 및 방법
US10319086B2 (en) Method for processing image and electronic device supporting the same
KR20170098089A (ko) 전자 장치 및 그의 동작 방법
JP6924901B2 (ja) 写真撮影方法および電子装置
KR20170097860A (ko) 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
US11153498B2 (en) Image processing method and electronic device supporting same
US20170064199A1 (en) Electronic device and method for processing image
KR102489279B1 (ko) 이미지 처리장치 및 방법
KR20170112066A (ko) 이미지를 처리하기 위한 전자 장치 및 방법
CN107888838B (zh) 用于处理图像的方法及支持该方法的电子设备
KR102423364B1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
EP3280131B1 (en) Method of processing image and electronic device supporting the same
US10009545B2 (en) Image processing apparatus and method of operating the same
KR102407624B1 (ko) 전자 장치의 영상 처리 방법 및 그 전자 장치
EP3255878B1 (en) Electronic device and control method therefor
KR102317624B1 (ko) 전자 장치 및 그의 이미지 처리 방법
KR102688619B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102688614B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant