CN112019737A - 操作包括图像传感器的电子装置的方法 - Google Patents

操作包括图像传感器的电子装置的方法 Download PDF

Info

Publication number
CN112019737A
CN112019737A CN202010478453.0A CN202010478453A CN112019737A CN 112019737 A CN112019737 A CN 112019737A CN 202010478453 A CN202010478453 A CN 202010478453A CN 112019737 A CN112019737 A CN 112019737A
Authority
CN
China
Prior art keywords
preview image
image
depth
user input
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010478453.0A
Other languages
English (en)
Inventor
李庸求
辛政龙
林埈绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190156527A external-priority patent/KR20200138639A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112019737A publication Critical patent/CN112019737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)

Abstract

一种操作电子装置的方法包括：响应于相机应用的执行而显示预览图像；从预览图像提取特征信息；响应于在预览图像上生成的用户输入而将用户输入转换为输入值；基于特征信息和输入值来设定深度；以及响应于成像操作的执行根据所述深度来生成结果图像。

Description

操作包括图像传感器的电子装置的方法
相关申请的交叉引用
本申请要求在韩国知识产权局于2019年11月29日提交的韩国专利申请No.10-2019-0156527和于2019年5月31日提交的韩国专利申请No.10-2019-0064237的优先权，该两件申请的共同主题以引用方式并入本文中。
技术领域
本发明构思的示例实施例总体上涉及操作包括图像传感器的电子装置的方法。
背景技术
图像传感器是能够响应于由包含图像传感器的电子装置所接收的入射光而生成电信号的半导体器件。图像传感器可与其它部件协作以基于电信号生成图像。已在各种电子装置中采用了各种图像传感器。近来，为了改进由图像传感器获得的图像的质量并生成更满足用户需求的图像，已向图像传感器添加了各种附加功能。还已经开发了可由包括图像传感器的电子装置执行的各种应用。
发明内容
本发明构思的示例实施例提供了一种操作电子装置的方法，其通过基于从预览图像获得的特征信息和/或发生在预览图像上的用户输入等确定结果图像的深度来满足各种用户需求。
根据本发明构思的示例实施例，一种操作电子装置的方法包括：响应于相机应用的执行而显示预览图像；从预览图像提取特征信息；响应于在预览图像上生成的用户输入将用户输入转换为输入值，并基于特征信息和输入值来设定深度；以及响应于成像操作的执行根据深度来生成结果图像。
根据本发明构思的示例实施例，一种操作电子装置的方法包括：响应于相机应用的执行在预览图像上显示具有光圈形状的光圈图标；响应于预览图像上生成的用户输入而调节显示在预览图像上的光圈图标的开口面积；以及响应于用户输入而调节显示在预览图像上的背景的模糊强度。
根据本发明构思的示例实施例，一种操作电子装置的方法包括：
通过应用从存储在存储器中的各个图像提取的特征信息作为输入参数并应用从各个图像提取的模糊强度作为输出参数来执行机器学习模型的学习操作；响应于相机应用的执行而从预览图像提取特征信息并将该特征信息输入到机器学习模型；以及基于机器学习模型的输出值来确定显示在预览图像上的背景的模糊强度。
附图说明
通过以下结合附图进行的详细描述，将更清楚地理解本发明构思的以上和其它方面、特征和优点，在附图中：
图1A和图1B是示出根据本发明构思的示例实施例的电子装置的各个图；
图2是示出根据本发明构思的示例实施例的电子装置的框图；
图3是进一步示出根据本发明构思的示例实施例的图像传感器的框图；
图4是进一步示出根据本发明构思的示例实施例的图像传感器的像素阵列的图；
图5和图6是示出根据本发明构思的示例实施例的图像传感器的像素的各个电路图；
图7、图8和图9是总结根据本发明构思的示例实施例的操作电子装置的方法或方法部分的各个流程图；
图10和图11是示出根据本发明构思的示例实施例的电子装置的操作方法的各个图；
图12是示出根据本发明构思的示例实施例的电子装置的操作的框图；
图13是示出根据本发明构思的示例实施例的电子装置中使用的查找表中可存储的数据关系的图表；
图14是总结根据本发明构思的示例实施例的操作电子装置的方法的流程图；
图15是进一步示出根据本发明构思的示例实施例的操作电子装置的方法的图；
图16是示出根据本发明构思的示例实施例的电子装置中可使用的人工神经网络的图；
图17是列出来自图16的神经网络的节点数据的图表；
图18是示出根据本发明构思的示例实施例的电子装置的操作的框图；
图19是总结根据本发明构思的示例实施例的操作电子装置的方法的流程图；
图20、图21、图22和图23是示出根据本发明构思的示例实施例的电子装置的操作的各个图。
具体实施方式
以下，将参照附图描述本发明构思的实施例。
图1A和图1B是示出根据示例实施例的电子装置的图。
参照图1A和图1B，电子装置1可被实现为诸如智能电话的移动装置。然而，电子装置1不仅限于诸如智能电话的移动装置，而是可包括提供相机功能以用于对对象进行成像的其它装置。
图1A所示的电子装置1包括壳体2、显示器5和相机6、7和8以及其它部件。在示例实施例中，显示器5基本上覆盖壳体2的前侧。这里，显示器5可被视觉上呈现为提供一个或多个图形用户界面GUI。例如，图1A的显示器被示出为分成第一区域3和第二区域4。按照本领域技术人员很好识别出的方式，用户可交互(或操纵)由GUI呈现的一个或多个图标以向电子装置1提供用户输入。响应于用户输入，可选择性地执行(或进行)加载到电子装置1的一个或多个应用。
参照图1A，由电子装置1提供的特定前置相机可包括第一前置相机6和第二前置相机7，其中，各个前置相机可根据各自不同的特性来操作。在这方面，本领域技术人员将认识到，与根据示例实施例的电子装置关联的相机可包括光圈(例如，可控开口，电磁能(例如，可见光)可通过该开口以成为图像传感器上的入射光)。上述不同特性的一个示例是各个光圈打开或关闭的程度。
作为示例，第一前置相机6和第二前置相机7可具有不同的光圈值、不同的焦距、不同的视场等。在某些示例实施例中，第一前置相机6可被配置成一般相机，第二前置相机7可被配置成飞行时间(ToF)相机。当第二前置相机7被配置成ToF相机时，它可在操作上与光源组合以提供距离测量功能、深度图生成功能、脸部识别功能等。
图1B示出电子装置1的后侧。这里，电子装置1包括后置相机8和发光单元9。后置相机8可包括多个后置相机(例如，后置相机8A、8B和8C)，其中，各个后置相机可根据各自不同的特性(例如，光圈值、视场、图像传感器像素数等)来进行操作。发光单元9可包括(例如)一个或多个发光二极管(LED)作为光源，并且可在关于后置相机8的一个或多个应用或用户输入的控制下作为相机闪关灯元件操作。
关于前述内容，本领域技术人员将理解，术语“前”和“后”本质上是相对的，可根据电子装置1的实际实现方式任意地定义。
关于图1A和图1B所示的实施例，电子装置1可不同地实现有多个前置相机6、7和/或多个后置相机8A、8B和8C。鉴于日益增长的消费者需求变化和越来越高质量的图像，多个前置相机6、7和/或多个后置相机8A、8B和8C通常必须能够以不同的光圈值、不同的图像传感器像素数、不同的视场、不同的焦距等操作。此外，需要对图像的生成和显示的更大用户控制(例如，成像功能)。例如，某些电子装置1提供成像功能，其中，用户可关于显示在显示器5上的预览图像提供用户输入。响应于用户输入，可在电子装置1上执行一个或多个相机应用以不同地调节预览图像以生成令用户满意的结果图像。
以下，术语“相机”通常将用于表示提供和/或使用一个或多个前置和/或后置相机。
在某些实施例中，响应于预览图像上用于调节光圈值的用户输入而可以不直接改变捕获并提供预览图像的相机的光圈值。相反，电子装置1可响应于用户输入而执行图像处理应用以便针对预览图像调节光圈值，使得降低了预览图像的背景部分的模糊强度减小，并且/或者相对于预览图像改善了结果图像。因此，可生成结果图像，就像响应于直接用户输入而改变了相机的光圈值和/或深度值一样。在这方面，本领域技术人员将认识到，图像可由特定深度表征。深度是表示向图像中的视觉感知范围的术语。深度可被称为“深”或“浅”，但这些仅是相对术语，可根据应用或图像感知要求而变化。
相比之下，当用户针对预览图像提供用户输入以便调节光圈值时，电子装置1可收集特征信息，诸如关于对象及其关联的背景的构图信息、关于周围环境的信息等。响应于特征信息以及用户输入，可准确地生成结果图像的深度。例如，可使用预存储的查找表和/或机器学习模型来自动地设定根据特征信息和/或用户输入优化的成像参数。即，可针对各种特征信息和/或用户输入执行一个或多个学习操作，以便定义适当的(或用户期望的)成像参数。由电子装置1设定的成像参数可包括与包括在结果图像中的背景的模糊强度对应的深度、结果图像的颜色等。在某些实施例中，一个或多个查找表和/或机器学习模型可用于从在用户的控制下由电子装置1捕获的预览图像或预先捕获并存储的图像生成结果。
图2是示出根据示例实施例的电子装置10的一般框图。
参照图2，电子装置10可包括显示器11、图像传感器12、存储器13、处理器14和通信器15以及其它部件。总的来说，包括在电子装置10中的元件11、12、13、14和15可使用总线16不同地发送和/或接收数据。在这方面，图2所示的元件11、12、13、14、15和16是这里为提供描述性上下文给出的块层面示例。如本领域技术人员将理解，电子装置10可包括附加元件。
图像传感器12可设置在电子装置10的前侧和/或后侧或其它区域上，并且可提供相机功能，如上面参照图1A和图1B描述的。处理器14可被配置成应用处理器、中央处理单元(CPU)等，并且可用于控制图像传感器12的总体操作。
响应于用户输入，在电子装置10上运行的一个或多个相机应用可捕获随后显示在显示器11上的预览图像。然后，用户可(例如)通过触摸显示器11上与预览图像一起显示在用户界面(例如，GUI)上的快门图标，或者通过使用布置在电子装置10的壳体中的输入单元对对象进行成像来从预览图像生成结果图像。在示例实施例中，用户可通过其直接调节显示在预览图像上的背景的模糊强度等的用户界面可与预览图像一起显示在显示器11上。
当用户经由用户界面提供用户输入时，电子装置10可使用各种特征信息(例如，周围环境信息、预览图像的背景信息等)以及用户输入来确定成像参数，以便使用所确定的成像参数来生成结果图像。作为示例，电子装置10可使用存储在存储器13中的查找表和/或至少部分地存储在存储器13中的机器学习模型来确定成像参数。
作为示例，成像参数可包括颜色、焦深(或深度)以及定义结果图像的其它要素。这里，结果图像的深度可响应于用户经由用户界面提供的用户输入而改变。在示例实施例中，结果图像上的离焦效果的程度可通过用户输入而变化。因此，电子装置10可提供成像功能，如同通过响应于预览图像的用户输入在手动操作的相机中通过直接打开和关闭光圈来定义期望的深度一样。另外，通过改变用户界面(例如，响应于关于预览图像生成的用户输入而显示在预览图像上的光圈图标的开口面积)，可改变结果图像的深度的光圈值的改变可直观地传送给用户。
图3是示出根据示例实施例的图像传感器100的框图。
参照图3，图像传感器100可包括像素阵列110和控制器120，其中，控制器120可包括行驱动器121、读出电路122、列驱动器123和控制逻辑124以及其它部件。
图像传感器100可用于将由电子装置10所接收的入射光转换为对应电信号(诸如图像数据)。包括在图像传感器100中的像素阵列110可包括多个像素PX，其中，多个像素PX中的各个像素PX包括响应于所接收到的入射光而生成电荷的至少一个光电器件。这里，例如，光电器件可以是光电二极管(PD)。在示例实施例中，多个像素PX中的每一个可包括两个或更多个光电二极管。这两个或更多个光电二极管可包括在多个像素PX中的每一个中，以便于各个像素PX生成与各种颜色对应的像素信号或者用于提供自动聚焦功能的目的。
多个像素PX中的每一个可包括用于从由光电二极管所生成的电荷生成像素信号的像素电路。作为示例，像素电路可包括传输晶体管、驱动器晶体管、选择晶体管、重置晶体管等。像素电路可从多个像素PX中的每一个检测重置电压和像素电压并且可计算它们之间的差，从而获得像素信号。在像素电压中，可反映由包括在多个像素PX中的每一个中的光电二极管所生成的电荷。在示例实施例中，两个或更多个相邻像素PX可包括在单个像素组中，并且包括在像素组中的两个或更多个相邻像素PX可共享传输晶体管、驱动器晶体管、选择晶体管和重置晶体管的至少一部分。
行驱动器121可根据行单位来驱动像素阵列110。例如，行驱动器121可生成用于控制传输晶体管的传输控制信号、用于控制重置晶体管的重置控制信号、用于控制选择晶体管的选择控制信号等，传输晶体管、重置晶体管和选择晶体管包括在像素电路中。
读出电路122可包括采样电路、模数转换器(ADC)等。采样电路可包括多个采样器，并且在示例实施例中，采样器可被配置成相关双采样器(CDS)。采样器可通过列线连接到由行驱动器121选择的行线中所包括的像素PX，并且可从各个像素PX检测重置电压和像素电压。采样器可将重置电压和像素电压中的每一个与斜坡电压进行比较，并且可输出比较结果。模数转换器可将由采样器所输出的比较结果转换为数字信号并输出该数字信号。
列驱动器123可包括可暂时存储数字信号的锁存器或者缓冲器电路和放大器电路，并且可处理从读出电路122接收的数字信号。行驱动器121、读出电路122和列驱动器123可由控制逻辑124控制。控制逻辑124可包括用于控制行驱动器121、读出电路122和列驱动器123的操作定时的定时控制器、用于处理图像数据的图像信号处理器等。
在示例实施例中，用于处理图像数据的图像信号处理器可包括在处理器200中。处理器200可处理图像数据并且可生成结果图像，并且可执行将结果图像显示在显示器上或将结果图像存储在存储器中的操作。
图像传感器100的控制器120和处理器200中的至少一个可基于关于预览图像生成的用户输入和/或特征信息来改变可确定结果图像的特性的成像参数。作为示例，成像参数可包括表示结果图像的深度的模糊强度等。例如，当模糊强度增加时，可使结果图像中被识别为对象的区域以外的背景模糊，使得结果图像的深度可变浅。当模糊强度减小时，在结果图像中背景可变清晰，使得深度可变深。
响应于用户输入而确定成像参数的方法可随示例实施例的实现方式而变化。作为示例，可从预存储在查找表中的数据读取与用户输入对应的成像参数，其中，成像参数随后被应用于图像传感器100。可替换地，从用户输入生成的输入值可被输入到机器学习模型，其中，可预先执行学习操作，并且所得输出作为成像参数应用于图像传感器100。在某些示例实施例中，各种形式的“特征信息”(例如，关于正成像的对象的特定类型或形状的信息、与图像的背景的至少一部分关联的背景信息、构图信息(例如，对象相对于背景的定位)、周围环境照度、成像时间、成像位置、对比度、颜色信息(例如，色温)等)可与从用户输入生成的输入值一起输入到机器学习模型。
图4是进一步示出根据示例实施例的图3的像素阵列110的一部分的图。
参照图4，示例实施例中的图像传感器的像素阵列PA可包括多个像素PX。多个像素PX可连接到多条行线ROW1至ROWm(ROW)和多条列线COL1至COLn(COL)。图像传感器可以以多条行线ROW为单位来驱动多个像素PX。作为示例，驱动多条行线ROW当中的所选驱动线并从连接到所选驱动线的像素PX读出重置电压和像素电压所需的时间可被定义为单个水平周期。通过分别将连接到多条行线ROW的像素PX顺序地曝露于光的滚动快门方法，或者通过将连接到所有行线ROW的像素同时曝露于光的全局快门方法，或另一方法，图像传感器可操作。
图像传感器的帧周期(FT)可被定义为从像素阵列PA中包括的所有像素读出重置电压和像素电压所需的时间段。作为示例，帧周期(FT)可等于或大于多条行线ROW的数量与水平周期的乘积。图像传感器的帧周期(FT)越短，图像传感器可在相同时间段生成越多图像帧。
图5和图6是分别示出根据示例实施例的图像传感器的像素阵列110中可使用的像素的可能实现方式的电路图。
参照图5，包括在图像传感器中的像素可包括响应于光而生成电荷的光电二极管PD以及用于处理由光电二极管PD所生成的电荷并输出电信号的多个电路器件。作为示例，多个电路器件可包括重置晶体管RX、驱动器晶体管DX、选择晶体管SX和传输晶体管TX。
重置晶体管RX可通过重置控制信号RG导通和截止，并且当重置晶体管RX导通时，浮置扩散部FD的电压可被重置为电源电压VDD。当浮置扩散部FD的电压被重置时，选择晶体管SX可通过选择控制信号SG(或SEL(见图6))导通，并且重置电压可被输出到列线COL。
在示例实施例中，光电二极管PD可响应于光而生成电子或空穴作为主电荷载流子。在重置电压被输出到列线COL之后，传输晶体管TX通过传输控制信号TG导通，由曝露于光的光电二极管PD所生成的电荷可向浮置扩散部FD移动。作为示例，由光电二极管PD所生成的电荷可存储在存在于浮置扩散部FD中的电容器CFD中。驱动器晶体管DX可作为使浮置扩散部FD的电压放大的源极跟随器放大器操作，并且当选择晶体管SX通过选择控制信号SG导通时，与由光电二极管PD所生成的电荷对应的像素电压可被输出到列线COL。
重置电压和像素电压中的每一个可由连接到列线COL的采样电路检测。采样电路可包括各自包括第一输入端子和第二输入端子的多个采样器，并且采样器可通过第一输入端子接收斜坡电压。采样器可将通过第一输入端子输入的斜坡电压与通过第二输入端子输入的重置电压和像素电压进行比较。模数转换器(ADC)可连接到采样器的输出端子，并且模数转换器可输出同斜坡电压与重置电压之间的比较结果对应的重置数据以及同斜坡电压与像素电压之间的比较结果对应的像素数据。控制逻辑可使用同重置数据与像素数据之差对应的像素信号来生成图像数据。
在图6所示的示例实施例中，像素可包括光电二极管PD、重置晶体管RX、驱动器晶体管DX、选择晶体管SX、传输晶体管TX、开关器件SW等。在图6所示的像素电路中，可响应于通过开关控制信号SG的开关器件SW的导通或截止来调节转换增益。
像素电路的转换增益可对应于由电荷生成的电压改变，并且可与浮置扩散部的电容成反比。换言之，当浮置扩散部的电容增大时，像素电路的转换增益可减小。当浮置扩散部的电容减小时，像素电路的转换增益可增大。因此，转换增益可通过使开关器件SW导通而增大，并且转换增益可通过使开关器件SW截止来减小。
转换增益可影响图像传感器的性能。作为示例，当像素电路的转换增益被设定为符合低照度环境时，在高照度环境中生成的像素电压可能超过图像传感器的动态范围，因此，图像的质量会劣化。当像素电路的转换增益被设定为符合低照度环境时，驱动器晶体管DX可能无法在低照度环境中充分操作，因此，可能无法充分地呈现图像的暗部分，或者可能发生其它问题。在图6所示的示例实施例中，可通过使开关器件SW导通或截止来动态地调节像素电路的转换增益。
作为示例，当开关器件SW截止时，存储由光电二极管PD所生成的电荷的浮置扩散部FD的电容可被确定为第一电容CFD1。当开关器件SW导通时，浮置扩散部FD的电容可被确定为第一电容CFD1和第二电容CFD2之和。换言之，通过使开关器件SW截止，可减小浮置扩散部FD的电容并且可增大转换增益，通过使开关器件SW导通，可增大浮置扩散部FD的电容并且可减小转换增益。
图7、图8和图9是示出根据各种示例实施例的操作电子装置的方法的各个流程图。
参照图2和图7，假设示例实施例中的操作电子装置10的方法开始于命令或用户输入使得执行相机应用(S100)。当执行相机应用时，电子装置10可感测周围照度(例如，所接收到的入射光的强度)(S110)。周围照度的感测可使用集成到电子装置10中的一个或多个相机和/或光传感器来不同地实现。响应于所感测到的周围照度，电子装置10的处理器14可用于设定图像传感器12的转换增益(S120)。在一个示例实施例中，在感测周围照度(S110)的同时，电子装置还可收集各种形式的特征信息，诸如色温信息、周围环境信息等。
在一种方法中，可根据浮置扩散区域的电容来确定图像传感器12的转换增益。作为示例，当所感测到的周围照度(S110)相对高时，图像传感器12的转换增益可相对低，但是当所感测到的周围照度(S 110)相对低时，图像传感器12的转换增益可相对高。
一旦设定图像传感器12的转换增益(S120)，电子装置10可确定要应用于结果图像的适当模糊强度(S130)。这里，电子装置10可参考提供与模糊强度关联的预存储数据的查找表。作为示例，周围照度、图像传感器12的转换增益以及根据周围照度和转换增益确定的模糊强度可存储在存储器13中所存储的查找表中。
在示例实施例中，可以设置查找表以在周围照度相对低时增加转换增益，从而生成具有相对浅的深度的结果图像。在这种情况下，可改善在低照度环境中获得的结果图像的随机噪声性质。还可以设置查找表以在周围照度相对高时减小转换增益，从而生成具有深深度的结果图像。在这种情况下，可改善在高照度环境中获得的结果图像的信噪比性质。然而，其示例实施例不限于此，存储器13的查找表可用于响应由用户输入所指示的一个或多个偏好使用各种方法来存储周围照度、转换增益和模糊强度之间的各种关系。作为示例，可以设置查找表以在高照度环境下以相对浅的深度或在低照度环境中以相对深的深度生成结果图像。
参照图2和图8，再次假设示例实施例中的操作电子装置10的方法开始于执行相机应用(S200)。当执行相机应用时，电子装置10可在显示器11上显示预览图像(S210)，并且使用处理器14来提取与预览图像关联的各种特征信息(S220)。
电子装置10还可确定是否针对预览图像生成用户输入(S230)。作为示例，用户可在预览图像显示在显示器11上的同时经由由电子装置10的显示器11所提供的触摸输入能力和/或操纵由电子装置10所提供的机械键来生成用户输入。
当确定生成用户输入(S230+是)时，电子装置10还可基于特征信息和用户输入来确定深度(S240)。然而，当确定未生成用户输入(S230＝否)时，电子装置10可基于特征信息来确定深度(S250)。然而，确定深度，可响应于针对预览图像执行的成像功能来生成结果图像(S260)。可替换地，在示例实施例中，可使用从预览图像提取的特征信息来确定模糊强度，并且可根据在预览图像上生成的用户输入来改变模糊强度。为了提高用户便利，根据用户改变的模糊强度的变化可实时显示在预览图像上。
在示例实施例中，电子装置10可改变相机的实际光圈值。当能够改变相机的实际光圈值时，可根据相机的实际光圈值在结果图像上显示所确定的深度(S240)或(S250)。当相机具有固定光圈值时，可通过经由图像处理操作增大或减小应用于结果图像的背景的模糊强度来呈现所确定的深度(S240)或(S250)。作为示例，可通过增大应用于背景的模糊强度来呈现浅深度，可通过减小应用于背景的模糊强度来呈现深深度。
示例实施例中的电子装置10可将响应于用户输入和/或从预览图像提取的特征信息而生成的输入值提供给机器学习模型的输入节点，使得可执行学习操作，以使用输出到机器学习模型的输出节点的值来确定模糊强度。机器学习模型的使用将在下文中更详细地描述。
示例实施例中的电子装置10可基于针对预览图像生成的用户输入和/或从预览图像提取的特征信息自适应地确定深度。当相机具有固定光圈值时，可通过调节模糊强度来在结果图像上呈现深度。在示例实施例中，预先执行了学习操作的机器学习模型可用于确定模糊强度，因此，可向用户提供基于用户的经验的结果图像。
参照图2和图9，再次假设操作电子装置10的方法开始于执行相机应用(S300)。当执行相机应用时，电子装置10可将预览图像与光圈图标一起显示在显示器11上(S310)。在示例实施例中，光圈图标可具有表示或描绘手动操作相机的模拟光圈的形状。
如前所述，电子装置10可用于从预览图像提取特征信息(S320)。在示例实施例中，电子装置10可基于所提取到的特征信息(S320)来确定应用于结果图像的模糊强度，并且可预先呈现预览图像的模糊强度。
电子装置10可响应于针对预览图像生成的用户输入而调节光圈图标的开口面积(S330)。作为示例，用户可提供对显示预览图像的显示器11的触摸输入，并且/或者可调节由电子装置10所提供的机械键。
例如，可响应于在预览图像上生成的第一用户输入而增大光圈图标的开口面积。可响应于不同于第一用户输入的第二用户输入而减小光圈图标的开口面积。作为示例，第一用户输入可以是增大至少两个手指之间的距离(或间隙)的多触摸输入(或第一手指手势)或者指示在第一方向上滑动的滑动手势。第二用户输入还可以是减小至少两个手指之间的距离的多触摸输入(或不同于第一手指手势的第二手指手势)或者指示在与第一方向相反的第二方向上滑动的滑动手势。
在这方面，应该注意，“用户输入”可采取许多不同的形式。
电子装置10可响应于通过用户输入生成的输入值和/或从预览画面提取的特征信息而针对显示在显示器11上的预览图像来调节模糊强度(S340)。在图9所示的示例实施例中，在执行预览画面的同时，可通过电子装置中接收的用户输入实时改变应用于预览图像的背景的模糊强度。当由用户执行成像操作时，可以以执行成像操作时的模糊强度来生成结果图像(S350)。因此，用户可在检查背景的模糊强度以预先呈现用户所期望的深度之后执行成像操作，从而获得期望的结果图像。
图10和图11是示出根据示例实施例的操作电子装置的方法的各个图。
在图10和图11所示的示例实施例中，用户可执行相机应用以使用电子装置200对对象进行成像。电子装置200可包括壳体210、显示器220、前置相机231和232等，并且壳体210可包括一个或多个输入按钮211至213。作为示例，输入按钮211至213可包括电源按钮211以及音量控制按钮212和213。
当执行相机应用时，显示器220可显示图10和图11所示的图标221至223。作为示例，第一图标221可被配置为直观地呈现根据用户输入改变的模糊强度。第一图标221可具有这样的光圈的形状：其与图7和图8所示的方法一致且看起来像手动操作相机一样物理地打开/关闭。
通常，在手动操作相机中，可根据相机的光圈值来确定深度，并且可根据深度来确定对象的背景的模糊强度。在示例实施例中，当生成将深度设定为浅深度的用户输入时，可增大具有光圈形状的第一图标221的开口面积，并且可增大背景的模糊强度。当生成将深度设定为深深度的用户输入时，可减小具有光圈形状的第一图标221的开口面积，并且可减小背景的模糊强度。因此，可提供这样的界面：其中可按照与调节(打开或关闭)与手动操作相机关联的光圈类似的方式来控制结果图像的深度。
第二图标222可被配置为指示是否启用智能成像功能。作为示例，用户可通过对第二图标222施加触摸输入来启用或停用智能成像功能。智能成像功能可指与某些示例实施例关联的成像功能，并且可被配置为参考预存储的查找表等与第二图标222对应的用户输入一起提供优化的结果图像。用于响应于用户的触摸输入而获得结果图像的第三图标223可显示在显示器220的一侧上。
在示例实施例中，用户可通过对显示器220施加第一手指手势240(例如，选自一组可能的手指手势)来改变光圈值(即，光圈打开或关闭的程度)。参照图10，当用户通过在触摸显示器220的同时增大两个手指之间的距离(或间隙)来输入第一手势时，可增大第一图标221的开口面积。因此，第一图标221的开口面积可与相机中定义为F值的光圈值对应。
相比之下，当用户通过在触摸显示器220的同时减小两个手指之间的距离(或间隙)来输入不同于第一手势的第二手势时，可减小第一图标221的开口面积。参照图11，随着用户施加第二手势，可减小第一图标221的开口面积。
本领域技术人员将理解，可对显示器施加各种手指手势作为触摸输入。触摸输入是与各种触敏显示器关联的广泛使用的技术。
在示例实施例中，第一图标221的开口面积可根据用户输入而增大或减小，同时，应用于预览图像的背景和结果图像的模糊强度也可减小或增大。作为示例，如图10所示的示例实施例中一样，当生成用于增大第一图标221的开口面积的用户输入时，可增大包括在预览图像中的背景的模糊强度。因此，当在第一图标221的开口面积增大的同时执行成像功能时，可生成具有更强离焦效果的结果图像。如图11所示的示例实施例中一样，当生成用于减小第一图标221的开口面积的用户输入时，可减小显示在预览图像上的背景的模糊强度。当在第一图标221的开口面积减小的同时执行成像功能时，可生成具有较弱离焦效果的结果图像。可通过由电子装置(1或10)执行的图像处理操作来改变模糊强度。
用于调节第一图标221的开口面积的用户输入也可通过张开或闭合两个手指的手势以外的不同手势来实现。作为示例，当用户沿着显示器220的边界在第一方向上移动他/她的手指时，可增大第一图标221的开口面积，并且当用户在与第一方向相反的第二方向上移动他/她的手指时，可减小第一图标221的开口面积。
还可使用包括在显示器220中的输入按钮211至213的至少一部分来调节光圈值。例如，当音量增大按钮212被按下时，可增大光圈值，当音量减小按钮213被按下时，可减小光圈值。音量控制按钮212和213与光圈值的增大和减小可与上述示例不同按相反方式彼此对应。通过将调节光圈值的功能指派给音量控制按钮212和213，可提供如同用户在检查显示在显示器220上的总体预览图像的同时调节光圈值一样的效果，并且用户可检查根据调节的光圈值改变的深度的变化。
在示例实施例中，具有光圈形状的第一图标221可不在预览图像上提供，或者可被配置为具有特定透明度。另外，如果在特定时间段内未在预览图像上生成用户输入，则第一图标221可消失并且可不显示。当在第一图标221消失之后在预览图像上生成触摸输入时，第一图标221可再次显示。另外，为了提高成像操作的便利性，可直接由用户调节显示在预览图像上的第一图标221的位置。
图12是示出根据示例实施例的电子装置的操作的可能附加方法的框图。
参照图12，电子装置300可包括神经网络框架310和存储器320以及其它部件。神经网络框架310可以以硬件、软件或者软件和硬件的组合来实现。用户所拍摄的图像321以及与相机和其它元件的成像参数的调节关联的参数数据库322可存储在存储器320中。在这方面，存储器320可采取包括分立存储器部件和/或分布式存储器部件二者的许多不同形式中的一种。
在图12所示的示例中，参数数据库322包括查找表323和库324以及其它部件。查找表323可用于存储(例如)与一个或多个图像关联的特定特征信息以及与用户输入对应的输入值。特征信息和输入值的组合可用于确定模糊强度，所述模糊强度转而可用于确定结果图像的深度等。在示例实施例中，可由电子装置300从云400(例如，基于通信连接的云)接收查找表323。一旦由电子装置300接收到查找表323，查找表323可存储在存储器320中。以这种方式，电子装置300可按预定更新间隔或响应于用户输入从云400接收新的和/或更新的数据。
作为示例，可由电子装置300或链接到电子装置300的电信服务提供与云400有关的通信能力。一旦由一个或多个用户拍摄的图像被存储到云400，云400可用于分析这些图像。以这种方式，可关于所存储的图像生成基于云的数据库(DB)410。作为示例，例如，由云400提供的处理能力可根据特征信息将图像和/或用户分类为定义的组。可用于对图像进行分类的特征信息可包括例如对象信息、背景信息、时间信息、位置信息、年龄信息、性别信息、用户信息等。无论使用何种关节特征信息，云400可将特征信息或特征信息的方面转换为(例如)可应用于图像、图像部分、滤波器、颜色等的一个或多个模糊强度。模糊强度可在使用数据库410的云中确定和应用，并且可根据组选择性地应用。
当从电子装置300接收到对查找表323的更新请求时，云400可参考与所存储的图像关联的特定特征信息从数据库410提取(例如)适合于用户的数据，以便生成更新的(或新的)查找表323。更新的查找表323此后可被传送到电子装置300并由电子装置300存储。由于可根据所指示的偏好和/或与用户关联的个性化特征信息(例如，先前由关于图像的用户输入指示的特征信息)来更新查找表323，所以可改善电子装置300上运行的相机应用的性能。
库324可由神经网络框架310管理，并且由机器学习模型312确定的模糊强度以及与相机操作关联的其它参数可包括在库324中。以下，将关于神经网络框架310的机器学习模型312、库324以及其它部件描述示例性学习过程。
神经网络框架310可包括参数提取模块311、机器学习模型312、管理器模块313以及其它部件。参数提取模块311可用于由存储在存储器320中的图像321计算出用于机器学习模型312的学习操作的输入参数和输出参数。存储在存储器320中的图像321可被配置成由用户拍摄并存储的结果图像。这些图像可根据用户输入被添加到存储器320或从存储器320移除。
作为示例，参数提取模块311可获得与拍摄图像时在预览图像上生成的用户输入对应的输入值以及与存储在存储器320中的图像321的至少一部分关联的特定特征信息。作为示例，输入值可与在预览图像上生成的用户输入对应以在拍摄图像之后直接调节模糊强度，并且可以以诸如相机的光圈值的数值表示。并且如前所述，在此过程期间还可参考大量特征信息。在另一示例中，参数提取模块311可获得与存储在存储器320中的一个或多个图像321的一个或多个模糊强度关联的信息。
参数提取模块311可将与所选图像关联的特定特征信息作为输入参数应用于(例如，选择并提供给)机器学习模型312的输入节点。作为示例，神经网络框架310可控制机器学习模型312执行学习操作，使得在机器学习模型312的输出节点处提供的输出参数与指示各个图像的深度的模糊强度准确对应。例如，神经网络框架310可控制机器学习模型312执行分别调节与机器学习模型312关联的隐藏层的隐藏节点中所包括的值的加权的学习操作。一旦完成机器学习模型312的学习操作，管理器模块313可将与机器学习模型312关联的输入参数、输出参数等存储在库324中。
当用户操作电子装置300时，通过移除和/或添加所选图像，可改变存储在存储器320中的图像321的目录(例如，组、列表或数量)。当证实已充分改变(即，已关于特定值或数量改变)存储在存储器320中的图像321的特定目录时，神经网络框架310可控制机器学习模型312再次执行学习操作以便适当地更新库324。可替换地，在自先前执行机器学习模型312的学习操作以来逝去了特定时间量之后，神经网络框架310可控制机器学习模型312再次执行学习操作并更新库324。
换言之，在示例实施例中，可控制机器学习模型312参考存储在存储器320中的一个或多个图像321执行一个或多个学习操作。此外，当用户启用关于图10和图11描述的智能成像功能时，特定特征信息(例如，从预览图像提取的特征信息)以及与关于预览图像生成的用户输入关联的输入值可被应用于机器学习模型312。以这种方式，电子装置300可参考机器学习模型312的输出提供根据用户偏好优化的结果图像。作为示例，电子装置300可参考机器学习模型312的输出来确定结果图像的模糊强度以便适当地调节离焦效果。
作为示例，可假设在由用户先前拍摄并存储的图像321当中，某些图像相对于具有高照度环境和浅深度的背景包括人像作为对象。由于这些深度相对浅，所以可确定当图像包括人像以及由高照度环境表征的背景时，用户偏好较强的模糊强度。因此，当对象是人像并且关联的背景是高照度环境时，机器学习模型312可被配置为执行学习操作以输出导致浅深度的较强模糊强度。以这种方式，电子装置300可通过参考机器学习模型312的输出增大应用于背景的模糊强度来生成具有浅深度的结果图像。
相比之下，存储在存储器320中的其它图像321可相对于具有低照度环境并由此具有相对深的深度的背景包括若干人像作为对象。这里，由于深度相对深，所以可确定当在低照度下包括若干人像作为对象时，用户偏好弱的模糊强度。当在预览图像中识别若干人像或者确定照度低时，机器学习模型312可输出弱的(或减小)模糊强度。电子装置300可通过参考机器学习模型312的输出减小背景的模糊强度来以深深度生成结果图像。
图13是示出根据示例实施例的电子装置中使用的查找表的图表。
参照图12和图13，存储在电子装置300的存储器320中的查找表323可用于照度级(从暗到亮的变化)与模糊强度(从浅到深的变化)之间的特定关系(或比率)。可根据所存储的图像的所选组、类别或所识别的类来执行这些关系的选择。作为示例，当在低照度环境下打开光圈时，电子装置300可以以浅深度生成结果图像，而当在高照度环境下关闭光圈时，电子装置300可设定为以深深度生成结果图像。当由电子装置300执行相机应用时，可参考存储在查找表323中的照度和模糊强度关系来自动地设定用于获得最优结果图像的模糊强度。在这方面，应该注意的是，随着模糊强度改变，也可改变在结果图像上呈现的焦外成像效果。
参照图12和图13所示的示例，图像传感器的模糊强度可根据照度级变化，并且模糊强度也可根据照度级以外的参数变化，其中这样的其它参数可存储在查找表323中。作为示例，基于照度级和转换增益确定的结果图像的深度可存储在查找表323中。
这里，应注意，图像传感器的转换增益可随着照度减小而增大，并且随着照度增大而减小。因此，当照度低时通过增大转换增益，可确保强度足以在相对暗的环境中生成图像的像素信号。另外，当照度高时通过减小转换增益，像素信号将不变得饱和。因此，随着转换增益增大，可生成具有浅深度的结果图像，并且随着转换增益减小，转换增益和模糊强度可存储在查找表323中以生成具有深深度的结果图像。
可参考多个样本图像来生成查找表323。可通过收集各种光圈值、模糊强度以及与样本图像关联的其它特征信息来生成查找表323。查找表323可存储在云410中，由电子装置300根据需要访问，通过云410中的处理能力更新等，使得电子装置300可在定义的间隔或操作条件下维持与样本图像和修正的样本图像关联的适当更新的查找表323。
在图13中的示例实施例中，(例如)因为用于构成图像传感器的调整基准和调整方向可根据不同的制造商要求进行不同地修改，因此可不同地调节用于生成具有中等深度的结果图像的数据(例如，图标元素P6、P7和P8)。然而，电子装置300可使用查找表323来适当地定义与中等照度环境对应的模糊强度以及中等转换增益。
图14是在一个示例中总结根据示例实施例的操作电子装置的方法的流程图。
参照图12和图14，操作电子装置300的方法可开始于使用存储在存储器320中的图像321来训练机器学习模型312(S400)。这里，可至少部分地通过提取与图像321关联的特征信息或分别与图像321关联的成像参数来执行机器学习模型312的训练。然后，所提取的特征信息可作为输入参数应用于机器学习模型312，以便确定图像321的各个模糊强度作为输出参数。机器学习模型312的该训练可例如由神经网络框架310执行。
一旦已训练机器学习模型(S400)，可由电子装置300执行相机应用(S410)，并且可显示预览图像(S420)。当显示预览图像时，电子装置300可提取与预览图像关联的特征信息并将所提取的特征信息应用于机器学习模型(S430)。作为示例，从预览图像提取特征信息(S430)的方法可与在操作S400中从存储在存储器320中的各个图像提取特征信息以执行机器学习模型的学习操作的方法相同。
电子装置300可使用已接收所提取的特征信息的机器学习模型312的输出来确定模糊强度(S440)。由于在完成机器学习模型312的训练之后执行相机应用，所以模糊强度可被确定为对应于与预览图像相同(或相似)的图像的模糊强度(S440)。因此，所确定的模糊强度应该是用户可接受的，并且可实时显示结果图像(S450)。然而，用户还通过经由执行成像功能检查在结果图像上呈现的模糊强度来生成另一结果图像。
因此，如果由机器学习模型312确定的模糊强度是不可接受的，则用户可针对预览图像生成新的输入并相应地调节模糊强度。
图15是进一步示出根据另一示例实施例的操作电子装置的方法的概念图。
参照图15，电子装置(例如，类似图1A、图1B、图2或图12所示的电子装置)可从预览图像PRE中指示的多个区域(例如，区域A1、A2、A3和A4)提取特征信息。多个区域的数量可随应用而变化，并且电子装置可从这多个区域获得特征信息。
参照图12、图14和图15，可将来自存储在存储器320中的先前存储的图像321的特定特征信息输入到机器学习模型312并执行训练操作(S400)。然后，机器学习模型312可接收特征信息并提供生成针对用户偏好优化的结果图像适当需要的模糊强度。由机器学习模型312所输出的模糊强度可被实时反映在预览图像PRE中。作为示例，模糊强度可以是应用于预览图像PRE的背景或部分背景的模糊强度。
这里，如果用户不满意如现在反映在预览图像PRE中的所确定的模糊强度，则还可使用诸如手势输入GES的用户输入来调节模糊强度。例如，如果用户确定反映在预览图像PRE中的模糊强度太弱，则用户可使用张开两个或用户的手指的手势来增大模糊强度。
图16是示出根据示例实施例的可用于根据电子装置中的光圈值来确定一个或多个成像参数的机器学习模型(类似图12的机器学习模型)的概念图并且图17是相关图表。
参照图16，机器学习模型500可包括输入层510、隐藏层520和输出层530。输入层510可包括多个输入节点511，隐藏层520可包括多个隐藏节点521，输出层530可包括输出节点531。在示例实施例中，输出层530可包括单个输出节点531。在示例实施例中，输出节点531的数量可变化。
多个输入参数可被输入到多个输入节点511。多个输入参数可与从由用户先前拍摄并存储在电子装置的存储器中的图像提取的特征信息对应。作为示例，多个输入参数可与类似上述特定特征信息对应。这里，输入值可与关于预览图像生成的用户输入以及特征信息对应。即，输入值可通过当拍摄图像时由用户关于预览图像生成以调节模糊强度的用户输入来确定，并且可被表示成光圈值。输入值可不与拍摄各个图像的相机的实际光圈值匹配。例如，用户可在拍摄第二图像时在预览图像上生成输入以设定最强的模糊强度，并且在拍摄第三图像时设定最弱的模糊强度，并且当拍摄第二图像和第三图像时相机的光圈值可相同。
当可从存储在电子装置的存储器中的图像提取上述特征信息并且在输入到多个输入节点511之前按特定顺序布置上述特征信息时，机器学习模型500的隐藏层520可使用输入到输入节点511的值来执行特定计算，从而将输出值导出到输出节点531。作为示例，隐藏层520可通过将分别输入到多个隐藏节点521的全部值相加，在分别输入到多个隐藏节点521的全部值之和大于特定阈值时通过将1或0传送到后续节点，或者通过对在多个隐藏节点521之间传送的值应用特定加权值来执行上述计算。
在示例实施例中，输出到输出节点531的输出值可与表示各个图像的深度的模糊强度对应。当输出到输出节点531的输出值不与表示各个图像的实际深度的模糊强度匹配，或者输出值与模糊强度之差超过特定基准时，机器学习模型500可调节应用于多个隐藏节点521的阈值或加权值。机器学习模型500可重复学习过程以用于调节阈值或加权值，直至输出值与表示各个图像的实际深度的模糊强度匹配或者输出值与模糊强度之差小于特定基准。作为示例，可对存储在存储器中的图像执行上述学习过程。
在以下描述中，将参照图16和图17描述使用存储在电子装置的存储器中的第一图像、第二图像、第三图像和第四图像来执行机器学习模型500的学习操作的过程。参照图17，特定特征信息可用于计算一个或多个输入参数。例如，当从第一图像计算的输入参数被输入到机器学习模型500的输入节点511时，可执行机器学习模型500的学习操作以将输出节点531的输出值控制为8(其指示第一图像的模糊强度)。类似地，从第二图像计算的输入参数被输入到机器学习模型500的输入节点511，并且可执行机器学习模型500的学习操作以将输出节点531的输出值控制为10(其指示第二图像的模糊强度)。机器学习模型500的学习过程可包括调节应用于隐藏节点521的加权值等的过程。
换言之，当从存储在电子装置中的各个图像获得的输入参数被输入到机器学习模型500时，可执行机器学习模型500的学习操作以控制机器学习模型500的输出参数与各个图像的模糊强度对应。因此，当执行相机应用，并且确定光圈值、照度、对象和背景的类型、构图等时，机器学习模型500可输出用于生成针对用户的偏好优化的结果图像的模糊强度。
在示例实施例中，当执行相机应用时，从预览图像提取的输入参数可被输入到已经训练的机器学习模型500，以便确定优化的模糊强度，因此，可提供具有用户偏好的深度的结果图像。在示例实施例中，机器学习模型500还可输出模糊强度以外的值，例如以颜色、对比度等为例。
图18是进一步示出根据示例实施例的电子装置的操作的概念图。
参照图18，电子装置600包括查找表610和机器学习模型620以及其它部件。
当执行相机应用时，电子装置可确定照度631。作为示例，例如，照度631可在晴天的室外具有相对高的级别。相比之下，照度631可在阴天的室内或在晚上具有相对低的级别。然后，指示所确定的照度631的一个或多个值可应用于查找表610和机器学习模型620。查找表610可参考照度631以及在图像传感器中根据照度631设定的转换增益来输出确定结果图像的深度的适当模糊强度641。
当执行相机应用时，可向用户提供在预览图像上直接调节光圈值的功能。与预览图像上生成的用户输入对应的输入值632可被表示成光圈值。在一些情况下，可能无法通过输入值632来改变相机的实际光圈值。输入值632可被输入到机器学习模型620。除了输入值632之外，电子装置600可将从预览图像获得的特征信息633输入到机器学习模型620。作为示例，特征信息633可包括关于对象的信息、关于背景的信息、对象和背景的组合以及其它信息。机器学习模型620可接收照度631、输入值632、特征信息633以及其它信息，并且可输出确定结果图像的深度的模糊强度。
相机应用可参考查找表610以及机器学习模型620所输出的模糊强度641和642来确定由用户所拍摄的结果图像的深度。作为示例，当模糊强度641和642相对高时，相机应用可将对象的背景处理为模糊，并且可将结果图像的深度设定为浅深度。当电子装置中提供多个图像传感器时，可通过使用由图像传感器所输出的信号的相位差计算对象和背景的深度来将背景处理为模糊。当提供单个图像传感器时，可通过使用软件算法识别对象的轮廓来将背景处理为模糊。
在示例实施例中，由查找表610输出的模糊强度641可由照度631来确定。作为示例，当照度相对低时，可应用浅深度，并且可减小模糊强度。当照度相对高时，可应用深深度，并且可增大模糊强度。然而，其示例实施例不限于此，模糊强度641与照度631之间的关系可根据查找表610的数据而变化。
除了照度631之外，由机器学习模型620输出的模糊强度642可由输入值632、特征信息633以及其它信息确定。可基于由用户过去拍摄并存储的图像来执行机器学习模型620的学习操作。因此，可根据用户的偏好来动态地确定由机器学习模型620输出的模糊强度。在示例实施例中，通过使用由电子装置的制造商所提供的查找表610输出的模糊强度641以及由机器学习模型620输出的模糊强度642二者，可向用户提供具有优化的质量的图像。
图19是总结根据示例实施例的操作电子装置的方法的流程图。
参照图19，操作电子装置的方法可开始于执行相机应用(S500)并感测周围照度环境(S510)。一旦感测到照度，就可根据照度来设定构成图像传感器的转换增益(S520)。如上所述，当周围照度相对高时，可减小转换增益，当周围照度相对低时，可增大转换增益。另外，电子装置可确定模糊强度(S530)。操作S530中的模糊强度可通过存储在电子装置中的查找表来确定。查找表可包括确定周围照度、转换增益和模糊强度之间的关系的数据。
电子装置可应用操作S530中确定的模糊强度并且可显示预览图像(S540)，并且可从预览图像提取特征信息(S550)。用户可检查其中反映了操作S530中确定的模糊强度的预览图像，可确定是否改变模糊强度，并且可生成用户输入(S560)。作为示例，用户可在预览图像上生成用于增大或减小模糊强度的手势输入。
当在操作S560中生成用户输入时，电子装置可基于与用户输入对应的输入值以及已从预览图像提取的特征信息来确定模糊强度(S570)。当在操作S560中未生成用户输入时，电子装置可基于所提取的特征信息来确定模糊强度(S580)。在操作S570或操作S580中确定的模糊强度可参考操作S530的模糊强度来确定。当用户执行成像功能时，可生成对其应用了在操作S570或操作S580中确定的模糊强度的结果图像(S590)。
图20、图21、图22和图23是进一步示出根据示例实施例的电子装置的操作的各种图。
参照图20和图21，可响应于电子装置700的相机应用的执行在显示器720上显示预览图像。图20所示的预览图像上存在两个对象721和722，并且第一对象721可比第二对象722更邻近电子装置700设置。当存在于距电子装置700不同距离中的对象721和722彼此交叠并出现在预览图像上时，可通过电子装置700中提供的机器学习模型将模糊强度设定为弱，并且可聚焦两个对象721和722。
在图21所示的示例实施例中，与图20所示的示例不同，第二对象722可不存在于预览图像上。由于在图21所示的示例实施例中仅存在单个对象721，所以可通过电子装置700中提供的机器学习模型将模糊强度设定为强。因此，如图21所示，可聚焦对象721，并且可模糊背景723，使得模糊效果可较强。如参照图20和图21所述，可由电子装置700的机器学习模型提供智能成像功能。
在示例实施例中，可通过在相同的视场、相同的照度、相同的光圈值等下简单地改变对象721和722的数量和位置来改变诸如模糊强度的成像参数。然而，参照图20和图21描述的示例实施例仅是示例，其示例实施例可根据用于提供智能成像功能的机器学习模型的学习操作的图像而变化。
参照图22，可响应于电子装置800的相机应用的执行来在显示器820上显示预览图像。在图22所示的预览图像上，可显示直观地显示应用于结果图像的模糊强度的具有光圈形状的第一图标821、指示是否启用智能成像功能的第二图标822、与成像按钮对应的第三图标823以及其它要素。
图22的电子装置800可在智能成像功能启用的同时向用户提供从云接收的推荐设定824。推荐设定824可以是由电子装置800参考特征信息从云服务器接收的设定。
推荐设定824可以是在与电子装置800获得当前图像的条件相同或相似的条件下由其他用户频繁选择的设定，并且可包括影响结果图像的模糊强度、滤色器等。电子装置800的用户可通过用于选择推荐设定824之一的触摸输入840来自动地设定成像参数，或者可在不考虑推荐设定824的情况下通过生成用于增大或减小第一图标821的开口面积的输入来直接改变模糊强度以及其它要素。
参照图23，用户可在显示在电子装置900的显示器920上的预览图像上禁用智能成像功能。作为示例，当用户通过触摸第二图标922来禁用智能成像功能时，与上述示例实施例不同，用于显示应用于结果图像的模糊强度的具有光圈形状的图标可消失。当智能成像功能被禁用时，模糊强度可被维持为恰好在智能成像功能被禁用之前获得的值。可替换地，电子装置900可参考存储有周围照度以及根据周围照度确定的模糊强度的查找表来自动地设定模糊强度。
作为示例，当智能成像功能被禁用时，可如图23所示另外显示用于调节模糊强度的第四图标924。用户可使用用于移动第四图标924的条的手势输入940来调节模糊强度，并且可通过软件来调节模糊强度而不必使用存储在电子装置900中的机器学习模型。
根据上述示例实施例，可响应于相机应用的执行而显示预览图像，并且可基于各种特征信息来确定(或设定)应用于结果图像的深度，特征信息中的至少一些可从预览图像提取。还可基于或可另外基于与预览图像关联的用户输入来确定(或设定)应用于结果图像的深度。包括在结果图像中的背景的模糊强度可根据应用于结果图像的深度而变化。因此，可获得能够提供更好地符合个人用户偏好的结果图像的电子装置。
尽管上面示出并描述了示例实施例，但对于本领域技术人员而言将显而易见，在不脱离由所附权利要求限定的本发明构思的范围的情况下，可进行修改和变化。

Claims (20)

1.一种操作电子装置的方法，所述方法包括：
显示通过执行相机应用而获得的预览图像；
从所述预览图像提取特征信息；
响应于关于所述预览图像生成的用户输入而将用户输入转换为输入值，并基于所述特征信息和所述输入值来设定深度；以及
通过执行成像操作根据所述深度来生成结果图像。
2.根据权利要求1所述的方法，还包括：
在所述预览图像上显示光圈图标；以及
响应于在所述预览图像上生成的用户输入而调节所述光圈图标的开口面积。
3.根据权利要求2所述的方法，其中，当所述用户输入是指示增大两个触摸区域之间的距离的触摸输入时，增大所述光圈图标的开口面积，并且将所述深度设定为浅深度，并且
当所述用户输入是指示减小两个触摸区域之间的距离的触摸输入时，减小所述光圈图标的开口面积，将所述深度设定为深深度。
4.根据权利要求2所述的方法，其中，当所述用户输入是指示第一方向上的手指移动的触摸输入时，增大所述光圈图标的开口面积，并将所述深度设定为浅深度，并且
当所述用户输入是指示与所述第一方向相反的第二方向上的手指移动的触摸输入时，减小所述光圈图标的开口面积，并将所述深度设定为深深度。
5.根据权利要求1所述的方法，其中，所述特征信息包括从所述预览图像提取的特征信息。
6.根据权利要求5所述的方法，其中，所述特征信息包括对象信息、背景信息、周围环境信息和构图信息中的至少一个。
7.根据权利要求5所述的方法，其中，所述特征信息包括色温信息和照度级信息中的至少一个。
8.根据权利要求5所述的方法，其中，通过将所述特征信息作为所述输入值应用于机器学习模型来基于所述机器学习模型的输出值来确定所述深度。
9.根据权利要求1所述的方法，还包括：
当在执行所述成像操作之前在所述预览图像上未生成用户输入时，基于所述特征信息设定所述深度。
10.根据权利要求9所述的方法，其中，参考存储在所述电子装置的存储器中的查找表来确定所述深度。
11.根据权利要求10所述的方法，其中，当所述图像传感器的转换增益增大时，所述深度被设定为浅深度，并且当所述图像传感器的转换增益减小时，所述深度被设定为深深度。
12.根据权利要求1所述的方法，其中，根据所述深度来确定与所述预览图像的背景关联的模糊强度。
13.一种操作电子装置的方法，所述方法包括：
响应于相机应用的执行而在预览图像上显示具有光圈形状的光圈图标；
响应于关于所述预览图像生成的用户输入而调节显示在所述预览图像上的光圈图标的开口面积；以及
响应于用户输入而调节与所述预览图像的背景关联的模糊强度。
14.根据权利要求13所述的方法，其中，当用户输入是第一手势时，所述光圈图标的开口面积和所述模糊强度增大，并且
当用户输入是不同于所述第一手势的第二手势时，所述光圈图标的开口面积和所述模糊强度减小。
15.根据权利要求13所述的方法，还包括：
关于所述预览图像执行成像操作并应用所述模糊强度以生成结果图像。
16.根据权利要求13所述的方法，其中，基于与所述预览图像关联的用户输入和特征信息中的至少一个来确定所述模糊强度。
17.根据权利要求13所述的方法，其中，当在所述预览图像上在预定时间段内未生成用户输入时，将所述光圈图标控制为不显示。
18.根据权利要求13所述的方法，其中，当在未显示所述光圈图标的预览图像上生成用户输入时，再次显示所述光圈图标。
19.一种操作电子装置的方法，所述方法包括：
通过应用分别从存储在存储器中的图像提取的特征信息作为输入参数并应用分别从所述图像提取的模糊强度作为输出参数来针对机器学习模型执行训练操作；
响应于相机应用的执行而从预览图像提取所述特征信息，并将所述特征信息输入到所述机器学习模型；以及
响应于所述机器学习模型的输出值而确定对所述预览图像的背景的模糊强度。
20.根据权利要求19所述的方法，还包括：
响应于关于所述预览图像生成的用户输入而改变所述模糊强度。
CN202010478453.0A 2019-05-31 2020-05-29 操作包括图像传感器的电子装置的方法 Pending CN112019737A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0064237 2019-05-31
KR20190064237 2019-05-31
KR1020190156527A KR20200138639A (ko) 2019-05-31 2019-11-29 이미지 센서를 포함하는 전자 기기의 동작 방법
KR10-2019-0156527 2019-11-29

Publications (1)

Publication Number Publication Date
CN112019737A true CN112019737A (zh) 2020-12-01

Family

ID=73507123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478453.0A Pending CN112019737A (zh) 2019-05-31 2020-05-29 操作包括图像传感器的电子装置的方法

Country Status (2)

Country Link
US (1) US11647277B2 (zh)
CN (1) CN112019737A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229916A1 (en) * 2022-05-27 2023-11-30 Chevron U.S.A. Inc. Iterative well log depth shifting

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756475A (zh) * 2012-10-28 2015-07-01 谷歌公司 移动设备中的相机变焦指示符
CN105210018A (zh) * 2013-05-16 2015-12-30 索尼公司 用于在图像重新对焦期间选择参数的用户界面
KR20160096989A (ko) * 2015-02-06 2016-08-17 엘지전자 주식회사 깊이 정보를 이용하여 조리개 효과를 구현하는 모바일 디바이스 및 그 제어 방법
CN108289169A (zh) * 2018-01-09 2018-07-17 北京小米移动软件有限公司 拍摄方法、装置、电子设备及存储介质
WO2019039870A1 (ko) * 2017-08-22 2019-02-28 삼성전자 주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101297545B (zh) 2005-10-28 2012-05-02 株式会社尼康 摄影装置、图像处理装置
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
JP5306266B2 (ja) * 2010-03-15 2013-10-02 キヤノン株式会社 撮像装置及びその制御方法
US8614767B2 (en) * 2010-09-20 2013-12-24 Canon Kabushiki Kaisha Preview image display compensation based on environmental lighting conditions
US9153031B2 (en) 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US9749532B1 (en) * 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US10200598B2 (en) * 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
JP6593629B2 (ja) 2015-09-09 2019-10-23 ソニー株式会社 画像処理装置、固体撮像素子、および電子機器
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US10198621B2 (en) 2016-11-28 2019-02-05 Sony Corporation Image-Processing device and method for foreground mask correction for object segmentation
US10217195B1 (en) 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
KR102117050B1 (ko) 2017-09-08 2020-05-29 삼성전자주식회사 이미지 내 휴먼 분리를 위한 전자 장치 및 방법
US10582138B2 (en) 2017-09-22 2020-03-03 Semiconductor Components Industries, Llc Image sensors with dual conversion gain pixels and anti-eclipse circuitry

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756475A (zh) * 2012-10-28 2015-07-01 谷歌公司 移动设备中的相机变焦指示符
CN105210018A (zh) * 2013-05-16 2015-12-30 索尼公司 用于在图像重新对焦期间选择参数的用户界面
KR20160096989A (ko) * 2015-02-06 2016-08-17 엘지전자 주식회사 깊이 정보를 이용하여 조리개 효과를 구현하는 모바일 디바이스 및 그 제어 방법
WO2019039870A1 (ko) * 2017-08-22 2019-02-28 삼성전자 주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
CN108289169A (zh) * 2018-01-09 2018-07-17 北京小米移动软件有限公司 拍摄方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229916A1 (en) * 2022-05-27 2023-11-30 Chevron U.S.A. Inc. Iterative well log depth shifting
US20230400598A1 (en) * 2022-05-27 2023-12-14 Chevron U.S.A. Inc. Iterative well log depth shifting

Also Published As

Publication number Publication date
US11647277B2 (en) 2023-05-09
US20200382719A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
US8760534B2 (en) Image processing apparatus with function for specifying image quality, and method and storage medium
CN110505411B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN101465972B (zh) 在数字图像处理装置中使图像背景模糊的设备和方法
US8786760B2 (en) Digital photographing apparatus and method using face recognition function
KR101594295B1 (ko) 촬영 장치 및 촬영 방법
CN113518210B (zh) 图像自动白平衡的方法及装置
WO2016168783A1 (en) Methods and apparatus for filtering image data to reduce noise and/or generating an image
CN105141840B (zh) 信息处理方法及电子设备
KR20200134374A (ko) 이미지 신호 프로세서의 모델링 방법, 및 전자 기기
JP6460721B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10095941B2 (en) Vision recognition apparatus and method
CN106210532B (zh) 一种拍照处理方法及终端设备
KR20160108827A (ko) 이미지 필터를 생성하기 위한 방법 및 장치
CN109756668A (zh) 在不同图像捕获条件下结合光学变焦和数字变焦
CN112019737A (zh) 操作包括图像传感器的电子装置的方法
CN112312035B (zh) 曝光参数调节方法、曝光参数调节装置和电子设备
JP6270578B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US20180082437A1 (en) Arithmetic method, imaging apparatus, and storage medium
US20130293735A1 (en) Imaging control device, imaging apparatus, and control method for imaging control device
KR101599871B1 (ko) 촬상 장치 및 촬상 방법
KR20150014226A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
KR20200138639A (ko) 이미지 센서를 포함하는 전자 기기의 동작 방법
JP6099973B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
CN115988303A (zh) 一种图像传感器电路及图像采集方法
CN115052097A (zh) 拍摄方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination